JP2020061187A - 仮想および拡張現実を作成する方法およびシステム - Google Patents
仮想および拡張現実を作成する方法およびシステム Download PDFInfo
- Publication number
- JP2020061187A JP2020061187A JP2020002609A JP2020002609A JP2020061187A JP 2020061187 A JP2020061187 A JP 2020061187A JP 2020002609 A JP2020002609 A JP 2020002609A JP 2020002609 A JP2020002609 A JP 2020002609A JP 2020061187 A JP2020061187 A JP 2020061187A
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual
- item
- user interface
- illustrate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 712
- 230000003190 augmentative effect Effects 0.000 title abstract description 141
- 230000033001 locomotion Effects 0.000 claims description 294
- 230000003993 interaction Effects 0.000 claims description 257
- 230000015654 memory Effects 0.000 claims description 41
- 230000009466 transformation Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 abstract description 33
- 210000001508 eye Anatomy 0.000 description 483
- 210000003811 finger Anatomy 0.000 description 261
- 230000003287 optical effect Effects 0.000 description 214
- 239000000835 fiber Substances 0.000 description 174
- 210000001747 pupil Anatomy 0.000 description 146
- 230000004044 response Effects 0.000 description 140
- 230000000875 corresponding effect Effects 0.000 description 134
- 238000009877 rendering Methods 0.000 description 130
- 230000000007 visual effect Effects 0.000 description 122
- 230000008569 process Effects 0.000 description 117
- 238000012545 processing Methods 0.000 description 115
- 210000003128 head Anatomy 0.000 description 107
- 238000013459 approach Methods 0.000 description 95
- 230000000694 effects Effects 0.000 description 85
- 230000006870 function Effects 0.000 description 77
- 230000008859 change Effects 0.000 description 60
- 239000000758 substrate Substances 0.000 description 60
- 238000013507 mapping Methods 0.000 description 58
- 230000009471 action Effects 0.000 description 57
- 238000004891 communication Methods 0.000 description 56
- 230000006854 communication Effects 0.000 description 56
- 210000001525 retina Anatomy 0.000 description 56
- 238000004458 analytical method Methods 0.000 description 55
- 230000007246 mechanism Effects 0.000 description 53
- 230000008447 perception Effects 0.000 description 48
- 241000282414 Homo sapiens Species 0.000 description 41
- 239000013598 vector Substances 0.000 description 41
- 238000007667 floating Methods 0.000 description 40
- RVCKCEDKBVEEHL-UHFFFAOYSA-N 2,3,4,5,6-pentachlorobenzyl alcohol Chemical compound OCC1=C(Cl)C(Cl)=C(Cl)C(Cl)=C1Cl RVCKCEDKBVEEHL-UHFFFAOYSA-N 0.000 description 39
- 210000004087 cornea Anatomy 0.000 description 39
- 238000010586 diagram Methods 0.000 description 39
- 238000005259 measurement Methods 0.000 description 38
- 230000004308 accommodation Effects 0.000 description 37
- 210000003813 thumb Anatomy 0.000 description 37
- 230000006399 behavior Effects 0.000 description 36
- 239000013307 optical fiber Substances 0.000 description 36
- 230000008878 coupling Effects 0.000 description 34
- 238000010168 coupling process Methods 0.000 description 34
- 238000005859 coupling reaction Methods 0.000 description 34
- 230000003068 static effect Effects 0.000 description 34
- 239000004973 liquid crystal related substance Substances 0.000 description 33
- 239000004567 concrete Substances 0.000 description 31
- 230000005540 biological transmission Effects 0.000 description 29
- 238000005286 illumination Methods 0.000 description 29
- 239000000463 material Substances 0.000 description 27
- 210000004247 hand Anatomy 0.000 description 26
- 238000001514 detection method Methods 0.000 description 25
- 239000003826 tablet Substances 0.000 description 25
- 210000004556 brain Anatomy 0.000 description 24
- 230000004424 eye movement Effects 0.000 description 24
- 241000196324 Embryophyta Species 0.000 description 23
- 230000001133 acceleration Effects 0.000 description 23
- 239000000872 buffer Substances 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 23
- 239000011295 pitch Substances 0.000 description 23
- 239000000047 product Substances 0.000 description 22
- 230000035807 sensation Effects 0.000 description 22
- 238000013519 translation Methods 0.000 description 22
- 230000001965 increasing effect Effects 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 20
- 238000013461 design Methods 0.000 description 18
- 230000004807 localization Effects 0.000 description 18
- 230000001953 sensory effect Effects 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 17
- 238000003491 array Methods 0.000 description 16
- 230000008901 benefit Effects 0.000 description 16
- 238000000576 coating method Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 239000000243 solution Substances 0.000 description 16
- 230000000903 blocking effect Effects 0.000 description 15
- 238000001125 extrusion Methods 0.000 description 15
- 235000013305 food Nutrition 0.000 description 15
- 230000012010 growth Effects 0.000 description 15
- 230000036541 health Effects 0.000 description 15
- 230000002829 reductive effect Effects 0.000 description 15
- 210000000707 wrist Anatomy 0.000 description 15
- 230000001934 delay Effects 0.000 description 14
- 239000011521 glass Substances 0.000 description 14
- 230000006855 networking Effects 0.000 description 14
- 230000010287 polarization Effects 0.000 description 14
- 238000000513 principal component analysis Methods 0.000 description 14
- 241000221931 Hypomyces rosellus Species 0.000 description 13
- 239000011248 coating agent Substances 0.000 description 13
- 239000003086 colorant Substances 0.000 description 13
- GQYHUHYESMUTHG-UHFFFAOYSA-N lithium niobate Chemical compound [Li+].[O-][Nb](=O)=O GQYHUHYESMUTHG-UHFFFAOYSA-N 0.000 description 13
- 238000012546 transfer Methods 0.000 description 13
- 230000001960 triggered effect Effects 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 12
- 239000002131 composite material Substances 0.000 description 12
- 239000012634 fragment Substances 0.000 description 12
- 238000012552 review Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 230000007704 transition Effects 0.000 description 12
- 235000014101 wine Nutrition 0.000 description 12
- 210000004027 cell Anatomy 0.000 description 11
- 239000003795 chemical substances by application Substances 0.000 description 11
- 230000001427 coherent effect Effects 0.000 description 11
- 230000008451 emotion Effects 0.000 description 11
- 230000002996 emotional effect Effects 0.000 description 11
- 230000004438 eyesight Effects 0.000 description 11
- 238000005457 optimization Methods 0.000 description 11
- 238000005192 partition Methods 0.000 description 11
- 230000007480 spreading Effects 0.000 description 11
- 238000003892 spreading Methods 0.000 description 11
- 206010010904 Convulsion Diseases 0.000 description 10
- 241001422033 Thestylus Species 0.000 description 10
- 210000001217 buttock Anatomy 0.000 description 10
- 230000005057 finger movement Effects 0.000 description 10
- 230000004886 head movement Effects 0.000 description 10
- 230000000873 masking effect Effects 0.000 description 10
- 239000000123 paper Substances 0.000 description 10
- 239000000523 sample Substances 0.000 description 10
- 238000000638 solvent extraction Methods 0.000 description 10
- 230000002123 temporal effect Effects 0.000 description 10
- 238000009826 distribution Methods 0.000 description 9
- 230000008921 facial expression Effects 0.000 description 9
- 239000010408 film Substances 0.000 description 9
- 239000003550 marker Substances 0.000 description 9
- 239000003973 paint Substances 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 9
- 241000282412 Homo Species 0.000 description 8
- 210000003484 anatomy Anatomy 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 210000003414 extremity Anatomy 0.000 description 8
- 125000001475 halogen functional group Chemical group 0.000 description 8
- 230000000670 limiting effect Effects 0.000 description 8
- 230000037081 physical activity Effects 0.000 description 8
- 230000036544 posture Effects 0.000 description 8
- 230000002207 retinal effect Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- VPNMENGBDCZKOE-LNYNQXPHSA-N [(1R,5S)-8-methyl-8-azabicyclo[3.2.1]octan-3-yl] 3-hydroxy-2-phenylpropanoate [(1S,2S,4R,5R)-9-methyl-3-oxa-9-azatricyclo[3.3.1.02,4]nonan-7-yl] (2S)-3-hydroxy-2-phenylpropanoate (1R,3S)-1,2,2-trimethylcyclopentane-1,3-dicarboxylic acid Chemical compound CC1(C)[C@H](CC[C@@]1(C)C(O)=O)C(O)=O.CC1(C)[C@H](CC[C@@]1(C)C(O)=O)C(O)=O.CN1[C@H]2CC[C@@H]1CC(C2)OC(=O)C(CO)c1ccccc1.CN1[C@H]2CC(C[C@@H]1[C@H]1O[C@@H]21)OC(=O)[C@H](CO)c1ccccc1 VPNMENGBDCZKOE-LNYNQXPHSA-N 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 239000011263 electroactive material Substances 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 7
- 210000000887 face Anatomy 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000002085 persistent effect Effects 0.000 description 7
- 238000012800 visualization Methods 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 230000004075 alteration Effects 0.000 description 6
- 230000002238 attenuated effect Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000010304 firing Methods 0.000 description 6
- 239000004615 ingredient Substances 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 239000002516 radical scavenger Substances 0.000 description 6
- 238000010079 rubber tapping Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 238000012384 transportation and delivery Methods 0.000 description 6
- 230000016776 visual perception Effects 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 238000007792 addition Methods 0.000 description 5
- 229910052782 aluminium Inorganic materials 0.000 description 5
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000005253 cladding Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000003278 mimic effect Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000007639 printing Methods 0.000 description 5
- 230000001737 promoting effect Effects 0.000 description 5
- 230000000644 propagated effect Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 208000021384 Obsessive-Compulsive disease Diseases 0.000 description 4
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 4
- 235000013351 cheese Nutrition 0.000 description 4
- 230000001886 ciliary effect Effects 0.000 description 4
- 150000001875 compounds Chemical class 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 239000007769 metal material Substances 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 230000002688 persistence Effects 0.000 description 4
- 108091008695 photoreceptors Proteins 0.000 description 4
- 230000011514 reflex Effects 0.000 description 4
- 230000002040 relaxant effect Effects 0.000 description 4
- 230000003362 replicative effect Effects 0.000 description 4
- 230000004256 retinal image Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000010408 sweeping Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 241000274965 Cyrestis thyodamas Species 0.000 description 3
- 206010025421 Macule Diseases 0.000 description 3
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 239000012298 atmosphere Substances 0.000 description 3
- 230000035559 beat frequency Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 210000002683 foot Anatomy 0.000 description 3
- 235000012055 fruits and vegetables Nutrition 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 210000004932 little finger Anatomy 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000012528 membrane Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 235000016709 nutrition Nutrition 0.000 description 3
- 230000003534 oscillatory effect Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 210000000608 photoreceptor cell Anatomy 0.000 description 3
- 230000000704 physical effect Effects 0.000 description 3
- 239000004033 plastic Substances 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 230000000272 proprioceptive effect Effects 0.000 description 3
- 238000012887 quadratic function Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 230000033458 reproduction Effects 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 239000010409 thin film Substances 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- KRQUFUKTQHISJB-YYADALCUSA-N 2-[(E)-N-[2-(4-chlorophenoxy)propoxy]-C-propylcarbonimidoyl]-3-hydroxy-5-(thian-3-yl)cyclohex-2-en-1-one Chemical compound CCC\C(=N/OCC(C)OC1=CC=C(Cl)C=C1)C1=C(O)CC(CC1=O)C1CCCSC1 KRQUFUKTQHISJB-YYADALCUSA-N 0.000 description 2
- 241000256844 Apis mellifera Species 0.000 description 2
- 235000000832 Ayote Nutrition 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 235000009854 Cucurbita moschata Nutrition 0.000 description 2
- 240000001980 Cucurbita pepo Species 0.000 description 2
- 235000009804 Cucurbita pepo subsp pepo Nutrition 0.000 description 2
- 239000004606 Fillers/Extenders Substances 0.000 description 2
- 241000283973 Oryctolagus cuniculus Species 0.000 description 2
- 208000006011 Stroke Diseases 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 210000000617 arm Anatomy 0.000 description 2
- 201000009310 astigmatism Diseases 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000003098 cholesteric effect Effects 0.000 description 2
- HVYWMOMLDIMFJA-DPAQBDIFSA-N cholesterol Chemical compound C1C=C2C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2 HVYWMOMLDIMFJA-DPAQBDIFSA-N 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 235000020805 dietary restrictions Nutrition 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000035622 drinking Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000012377 drug delivery Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 229920001746 electroactive polymer Polymers 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005669 field effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000005224 forefinger Anatomy 0.000 description 2
- 125000000524 functional group Chemical group 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 238000007373 indentation Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 230000035764 nutrition Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 235000015136 pumpkin Nutrition 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000035900 sweating Effects 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000239290 Araneae Species 0.000 description 1
- 201000001320 Atherosclerosis Diseases 0.000 description 1
- 241000972773 Aulopiformes Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010007559 Cardiac failure congestive Diseases 0.000 description 1
- 208000002177 Cataract Diseases 0.000 description 1
- 239000004986 Cholesteric liquid crystals (ChLC) Substances 0.000 description 1
- 239000004593 Epoxy Substances 0.000 description 1
- 102000017177 Fibromodulin Human genes 0.000 description 1
- 108010013996 Fibromodulin Proteins 0.000 description 1
- 208000004262 Food Hypersensitivity Diseases 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 230000005374 Kerr effect Effects 0.000 description 1
- 229920001410 Microfiber Polymers 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 239000004988 Nematic liquid crystal Substances 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 102100026827 Protein associated with UVRAG as autophagy enhancer Human genes 0.000 description 1
- 101710102978 Protein associated with UVRAG as autophagy enhancer Proteins 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 244000061456 Solanum tuberosum Species 0.000 description 1
- 235000002595 Solanum tuberosum Nutrition 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 235000017899 Spathodea campanulata Nutrition 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 229910052770 Uranium Inorganic materials 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000002350 accommodative effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- TZCXTZWJZNENPQ-UHFFFAOYSA-L barium sulfate Chemical compound [Ba+2].[O-]S([O-])(=O)=O TZCXTZWJZNENPQ-UHFFFAOYSA-L 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000001914 calming effect Effects 0.000 description 1
- 239000002041 carbon nanotube Substances 0.000 description 1
- 229910021393 carbon nanotube Inorganic materials 0.000 description 1
- 239000011111 cardboard Substances 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 235000012000 cholesterol Nutrition 0.000 description 1
- 210000004240 ciliary body Anatomy 0.000 description 1
- 239000002642 cobra venom Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000001268 conjugating effect Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 235000012495 crackers Nutrition 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000023077 detection of light stimulus Effects 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 235000020785 dietary preference Nutrition 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000005262 ferroelectric liquid crystals (FLCs) Substances 0.000 description 1
- 235000019688 fish Nutrition 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 235000020932 food allergy Nutrition 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000010437 gem Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000002789 length control Methods 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000003658 microfiber Substances 0.000 description 1
- 230000004459 microsaccades Effects 0.000 description 1
- 210000004115 mitral valve Anatomy 0.000 description 1
- 230000037230 mobility Effects 0.000 description 1
- 230000004973 motor coordination Effects 0.000 description 1
- 230000004220 muscle function Effects 0.000 description 1
- 210000001087 myotubule Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 210000005112 optic tract Anatomy 0.000 description 1
- 230000004421 optic tracts Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- -1 or other smartphones Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000011087 paperboard Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000005019 pattern of movement Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- JTJMJGYZQZDUJJ-UHFFFAOYSA-N phencyclidine Chemical compound C1CCCCN1C1(C=2C=CC=CC=2)CCCCC1 JTJMJGYZQZDUJJ-UHFFFAOYSA-N 0.000 description 1
- 238000001126 phototherapy Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000007517 polishing process Methods 0.000 description 1
- 238000004382 potting Methods 0.000 description 1
- 239000010970 precious metal Substances 0.000 description 1
- 239000011253 protective coating Substances 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 108020003175 receptors Proteins 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 210000000964 retinal cone photoreceptor cell Anatomy 0.000 description 1
- 210000000880 retinal rod photoreceptor cell Anatomy 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 235000019515 salmon Nutrition 0.000 description 1
- 238000005488 sandblasting Methods 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 229920002994 synthetic fiber Polymers 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 230000036410 touch Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000012043 vestibular reflex Effects 0.000 description 1
- 230000004462 vestibulo-ocular reflex Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/24—Coupling light guides
- G02B6/26—Optical coupling means
- G02B6/27—Optical coupling means with polarisation selective and adjusting means
- G02B6/2706—Optical coupling means with polarisation selective and adjusting means as bulk elements, i.e. free space arrangements external to a light guide, e.g. polarising beam splitters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/08—Biomedical applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】仮想および拡張現実を作成する方法およびシステムを提供すること。【解決手段】仮想現実および拡張現実体験をユーザに提示するための構成が、開示される。本システムは、１つ以上の画像を捕捉するための画像捕捉デバイスと、頭部搭載式拡張現実デバイスのユーザの視野に対応する１つ以上の画像と、画像捕捉デバイスに通信可能に結合され、マップ点の集合を集合の画像から抽出し、低密度点の集合および高密度点の集合を抽出されたマップ点の集合から識別し、正規化をマップ点の集合上で行う、プロセッサとを備えてもよい。【選択図】図１
Description
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式においてユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の視覚化の拡張として、デジタルまたは仮想画像情報の提示を伴う。例えば、拡張現実場面は、ＡＲ技術のユーザに、実世界オブジェクト上またはその中間に重畳された１つ以上の仮想オブジェクトが見えることを可能にし得る（例えば、背景に人々、木々、建物を特徴とする、実世界の公園のような設定等）。
ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲまたはＡＲ技術を生成することは、困難である。従来の立体視装着式眼鏡は、概して、３次元遠近画がヒトの視覚系によって知覚されるように、若干異なる要素の提示を伴う画像を表示するように構成される、２つのディスプレイを特徴とする。そのような構成は、画像を３次元で知覚するために克服され得る、両眼離反運動と遠近調節との間の不整合に起因して、多くのユーザにとって不快であることが見出されている。実際、一部のユーザは、立体視構成に耐えることができない。
いくつかの光学構成（例えば、頭部搭載式眼鏡）が、利用可能である（例えば、ＧｏｏｇｌｅＧｌａｓｓ（登録商標）、Ｏｃｃｕｌｕｓ Ｒｉｆｔ（登録商標）等）が、これらの構成はいずれも、部分的に、従来のシステムが、可視化の知覚をユーザにもたらすための網膜の視細胞および脳とのその相互作用を含む、ヒトの知覚系の基本側面のいくつかに対処できていないため、ユーザにとって快適かつ最大限に有用となるであろう様式で、豊かな双眼用の３次元拡張現実体験を提示するために最適に適していない。
ヒトの眼は、非常に複雑な器官であって、典型的には、角膜、虹彩、水晶体、黄斑、網膜、および脳への視神経路を備えている。黄斑は、網膜の中枢であって、中程度の詳細を見るために利用される。黄斑の中枢には、「中心窩」と称される網膜の一部があり、これは、場面の最も細かい詳細を見るために利用され、網膜の任意の他の部分より多くの視細胞（視度あたり約１２０個の錐体）を含む。
ヒトの視覚系は、受動的センサタイプのシステムではない。すなわち、環境を能動的に走査する。画像を捕捉するためのフラットベッドスキャナの使用、または紙から点字を読み取るための指の使用に若干類似する様式において、眼の視細胞は、一定刺激状態に一定に応答するのではなく、刺激の変化に応答して、信号を発する。したがって、視細胞情報を脳に提示するための運動が、要求される。
実際、眼の筋肉を麻痺させるために利用されたコブラ毒等の物質を用いた実験は、ヒト対象が、眼が開かれ、毒によって誘発され麻痺した眼で静的場面を視認したまま位置付けられる場合、失明するであろうことを示している。言い換えると、刺激の変化がない場合、視細胞は、脳に入力を提供せず、失明する。これは、正常なヒトの眼が、「マイクロサッカード」としても知られる横運動において、往復移動する、すなわち、微動することが観察されていることの少なくとも１つの理由であると考えられる。
前述のように、網膜の中心窩は、視細胞の最大密度を含む。典型的には、ヒトは、視野全体を通して高分解能可視化能力を持つ知覚を有することが認知されているが、実際には、ヒトは、中心窩で最近捕捉された高分解能情報の持続的記憶とともに、ほぼ常時、機械的に見渡す、小さな高分解能中枢のみを有する。若干類似する様式において、眼の焦点距離制御機構（例えば、毛様体弛緩が、毛様体結合線維の緊張を生じさせ、より離れた焦点距離のためにレンズを平坦化させ、毛様体収縮が、毛様体結合線維の弛緩を生じさせ、レンズがより近い焦点距離のためにより丸い幾何学形状をとることを可能にする様式で水晶体に動作可能に結合される毛様筋）は、標的焦点距離の近側および遠側の両方に、少量の「光屈折ぼけ」を周期的に誘発するために、約１／４〜１／２ジオプタだけ往復微動する。これは、針路を常に補正し、固定されたオブジェクトの網膜画像をほぼ合焦させて保つのに役立つ、周期的負のフィードバックとして、脳の遠近調節制御回路によって利用される。
脳の可視化中枢はまた、両眼およびその構成要素の相互に対する運動から有益な知覚情報を得る。相互に対する両眼の両眼離反運動（例えば、眼の視線を収束させ、オブジェクトに固定するための相互に向かって、またはそこから離れる、瞳孔の転動）は、眼のレンズの合焦（または「遠近調節」）と密接に関連付けられる。正常条件下では、眼のレンズの焦点を変化させる、すなわち、眼を遠近調節させ、異なる距離におけるオブジェクトに合焦させることは、「遠近調節−両眼離反運動反射作用」として知られる関係下、自動的に、同一距離までの両眼離反運動における整合変化を生じさせるであろう。同様に、両眼離反運動の変化は、正常条件下では、遠近調節の整合変化も誘起するであろう。本反射作用に逆らう作用は（従来の立体視ＡＲまたはＶＲ構成の大部分におけるように）、眼疲労、頭痛、または他の形態の不快感をユーザにもたらすことが知られている。
眼を格納する、頭部の移動もまた、オブジェクトの可視化に重要な影響を及ぼす。ヒトは、その頭部を移動させ、その周囲の世界を視覚化する傾向にあって、多くの場合、非常に一定状態において、頭部を着目オブジェクトに対して再位置付けおよび再配向する。さらに、大部分の人々は、その視線が、特定のオブジェクトに合焦させるために、中心から約２０度を上回って移動する必要があるとき、その頭部を移動させることを好む（例えば、人々は、典型的には、「眼の端から」物を見ることを好まない）。ヒトはまた、典型的には、音に連動してその頭部を走査または移動させ、オーディオ信号捕捉を改善し、頭部に対する耳の幾何学形状を利用する。ヒトの視覚系は、頭部の運動および眼の両眼離反運動距離の関数として、異なる距離におけるオブジェクトの相対運動に関連する、「頭部運動視差」と呼ばれるものから優れた深度の手掛かりを得る。言い換えると、人がその頭部を横移動させ、オブジェクトに対して固定状態を維持する場合、そのオブジェクトからより遠いアイテムは、頭部と同一方向に移動し、そのオブジェクトの正面のアイテムは、頭部運動と反対に移動するであろう。これらは、オブジェクトが人に対して環境内に空間的に位置する場所の非常に顕著な手掛かりであり得る。頭部運動はまた、当然ながら、オブジェクトを見回すためにも利用される。
さらに、頭部および眼の運動は、頭部回転の間、網膜に対する画像情報を安定化させ、したがって、オブジェクト画像情報を網膜のほぼ中心に保つ、「前庭眼反射作用」と協調される。頭部の回転に応答して、眼は、反射的かつ比例的に反対方向に回転され、オブジェクトに対する安定した固定状態を維持する。本補償関係の結果として、多くのヒトは、その頭部を往復して振動させながら、本を読むことができる。興味深いことに、本が、頭部がほぼ定常のまま、同一速度で往復してめくられる場合、同じことは、概して、当てはまらない。すなわち、人は、めくられている本を読むことができない可能性が高い。前庭眼反射作用は、頭部および眼の運動協調のうちの１つであって、概して、手の運動のために発達されていない。本パラダイムは、ユーザの頭部運動が、比較的に直接、眼の運動に関連付けられ得るため、ＡＲシステムのために重要であり得、理想的システムは、好ましくは、本関係と協働する準備ができたものとなるであろう。
実際、これらの種々の関係を前提として、デジタルコンテンツ（例えば、部屋の実世界ビューを拡張させるために提示される仮想シャンデリアオブジェクト等の３−Ｄコンテンツ、または部屋の実世界ビューを拡張させるために提示される平面／平坦仮想油絵オブジェクト等の２−Ｄコンテンツ）を設置するとき、オブジェクトの挙動を制御するための設計選択が、行われ得る。例えば、２−Ｄ油絵オブジェクトは、頭部を中心とし得、その場合、オブジェクトは、ユーザの頭部に伴って移動する（例えば、ＧｏｏｇｌｅＧｌａｓｓ（登録商標）アプローチにおけるように）。別の実施例では、オブジェクトは、世界を中心とし得、その場合、ユーザが、実世界に対してオブジェクトの位置を移動させずに、その頭部または眼を移動させ得るように、実世界座標系の一部であるかのように提示され得る。
したがって、仮想コンテンツをＡＲシステムを用いて提示される拡張現実世界の中に設置するとき、オブジェクトが、世界を中心として、身体を中心として、頭部を中心として、または眼を中心として提示されるべきかどうについて、選定が行われる。頭部中心アプローチでは、仮想オブジェクトは、ユーザが、実世界壁等のそれを囲繞する実世界オブジェクトに対してその位置を変化させずに、その身体、頭部、眼をその周囲で移動させ得るように、実世界内の定位置に留まる。身体中心アプローチでは、仮想要素は、ユーザが、オブジェクトを移動させずに、その頭部または眼を移動させることができるが、胴体の移動に従動されるように、ユーザの胴体に対して固定され得る。頭部中心アプローチでは、表示されるオブジェクト（および／またはディスプレイ自体）は、ＧｏｏｇｌｅＧｌａｓｓ（登録商標）を参照して前述のように、頭部の移動に伴って移動され得る。以下に説明されるような「中心窩ディスプレイ」構成におけるように、眼中心アプローチでは、コンテンツは、眼の位置の関数として従動される。
世界を中心とした構成では、正確な頭部姿勢測定、ユーザの周囲の実世界オブジェクトおよび幾何学形状の正確な表現および／または測定、頭部姿勢の関数としての拡張現実ディスプレイにおける短待ち時間の動的レンダリング、ならびに概して短い待ち時間のディスプレイ等の入力を有することが望ましくあり得る。
前述の米国特許出願は、典型的ヒトの視覚的構成と協働し、仮想現実および拡張現実用途における種々の課題に対処するためのシステムおよび技法を提示する。これらの仮想現実および／またはＡＲシステムの設計は、仮想コンテンツを送達する際のシステムのスピード、仮想コンテンツの品質、ユーザの瞳距離、システムのサイズおよび可搬性、ならびに他のシステムおよび光学課題を含む、多数の課題を提示する。
本明細書に説明されるシステムおよび技法は、典型的ヒトの視覚的構成と連動し、これらの課題に対処するように構成される。
本発明の実施形態は、１人以上のユーザのための仮想現実および／または拡張現実相互作用を促進するためのデバイス、システム、および方法を対象とする。一側面では、仮想コンテンツを表示するためのシステムが、開示される。
一側面では、拡張現実ディスプレイシステムは、１つ以上の画像を捕捉するための画像捕捉デバイスと、頭部搭載式拡張現実デバイスのユーザの視野に対応する１つ以上の画像と、画像捕捉デバイスに通信可能に結合され、マップ点の集合を画像の集合から抽出し、低密度点の集合および高密度点の集合を抽出されたマップ点の集合から識別し、正規化をマップ点の集合上で行う、プロセッサとを備えている。１つ以上の実施形態では、プロセッサは、それぞれ、低密度点の集合および高密度点の集合のための低密度および高密度点記述子を生成してもよい。
１つ以上の実施形態では、低密度点記述子および高密度点記述子は、マップデータとして記憶される。１つ以上の実施形態では、低密度点の集合は、１つ以上の画像の別個の特徴に対応する。１つ以上の実施形態では、別個の特徴は、角、円形、三角形、およびテキストから成る群から選択される。
１つ以上の実施形態では、高密度点の集合は、視野内の３Ｄ点に対応する。１つ以上の実施形態では、高密度点の集合はさらに、色値を含む。１つ以上の実施形態では、正規化は、スケール正規化を備えている。１つ以上の実施形態では、正規化は、共通原点に対する座標正規化を備えている。１つ以上の実施形態では、正規化は、機械学習を利用する。１つ以上の実施形態では、低密度および高密度点記述子は、低密度および高密度点の集合のそれぞれの低密度および高密度点に対応する。１つ以上の実施形態では、低密度および高密度点記述子は、スケール、テクスチャ、配向、およびパッチデータのうちの少なくとも１つに関する情報を備えている。
別の側面では、マップデータを生成する方法は、１つ以上の画像に関連付けられたマップ点の集合を識別するステップと、低密度点の集合および高密度点の集合を識別されたマップ点から決定するステップと、それぞれの低密度点の集合および高密度点の正規化を行うステップとを含む。
１つ以上の実施形態では、本方法はさらに、それぞれの低密度点の集合および高密度点のための低密度および高密度点記述子を生成するステップと、低密度点記述子および高密度点記述子を組み合わせ、マップデータとして記憶するステップとを含む。
１つ以上の実施形態では、低密度点の集合は、別個の特徴に対応する。１つ以上の実施形態では、別個の特徴は、角、円形、三角形、およびテキストから成る群から選択される。１つ以上の実施形態では、高密度点の集合は、視野内の３Ｄ点に対応する。１つ以上の実施形態では、高密度点の集合はまた、色値を含む。
１つ以上の実施形態では、正規化は、スケール正規化を備えている。１つ以上の実施形態では、正規化は、共通原点に対する座標正規化を備えている。１つ以上の実施形態では、正規化は、機械学習を使用して実装される。１つ以上の実施形態では、低密度および高密度点記述子は、それぞれの低密度および高密度点の集合の各低密度および高密度点に対応する。１つ以上の実施形態では、各低密度および高密度点記述子は、スケール、配向、パッチデータ、およびテクスチャから成る群から選択される、それぞれの低密度および高密度点に関する情報を含む。
別の側面では、拡張現実ディスプレイシステムは、１つ以上の画像を捕捉するための画像捕捉デバイスであって、１つ以上の画像は、ユーザの視野に対応し、画像は、ユーザによって作成された少なくとも１つのジェスチャを捕捉する、画像捕捉デバイスと、画像捕捉デバイスに通信可能に結合され、ジェスチャに関連付けられた点の集合を識別し、点の集合と所定のジェスチャのデータベースを比較し、少なくとも部分的に比較に基づいて、ジェスチャを認識し、少なくとも部分的に認識されたジェスチャに基づいて、ユーザ入力を決定するように構成される、プロセッサとを備えている。
１つ以上の実施形態では、プロセッサは、比較に基づいて、識別された点の集合のためのスコア化値を生成する。１つ以上の実施形態では、プロセッサは、スコア化値が閾値を超えている場合、ジェスチャを認識する。１つ以上の実施形態では、拡張現実ディスプレイシステムは、所定のジェスチャの集合を記憶するためのデータベースを備えている。１つ以上の実施形態では、本システムはさらに、所定のジェスチャのデータベースにアクセスするためのネットワーク化されたメモリを備えている。
１つ以上の実施形態では、ジェスチャは、手のジェスチャである。１つ以上の実施形態では、ジェスチャは、指ジェスチャである。１つ以上の実施形態では、ジェスチャは、指間相互作用である。１つ以上の実施形態では、ジェスチャは、指間相互作用、指示、タップ、および摩擦から成る群から選択される。
１つ以上の実施形態では、拡張現実ディスプレイシステムはさらに、空間光変調器を備え、空間光変調器は、プロセッサに通信可能に結合され、プロセッサは、１つ以上の仮想オブジェクトが、少なくとも部分的に決定されたユーザ入力に基づいて、ユーザに表示されるように、空間光変調器を制御する。１つ以上の実施形態では、１つ以上の仮想オブジェクトは、仮想ユーザインターフェースを備えている。
別の側面では、ユーザ入力を決定する方法は、ユーザの視野の画像を捕捉するステップであって、画像は、ユーザによって作成されたジェスチャを含む、ステップと、捕捉された画像を分析し、ジェスチャに関連付けられた点の集合を識別するステップと、識別された点の集合と所定のジェスチャのデータベースに関連付けられた点の集合を比較するステップと、認識されたジェスチャに基づいて、ユーザ入力を決定するステップとを含む。
１つ以上の実施形態では、本方法はさらに、比較に基づいて、識別された点の集合のためのスコア化値を生成するステップを含む。１つ以上の実施形態では、本方法はさらに、スコア化値が閾値を超えている場合、ジェスチャを認識するステップを含む。１つ以上の実施形態では、本方法はさらに、所定のジェスチャをデータベース内に記憶するステップを含む。１つ以上の実施形態では、本方法はさらに、ネットワーク化されたメモリにアクセスし、所定のジェスチャのデータベースにアクセスするステップを含む。
１つ以上の実施形態では、ジェスチャは、手のジェスチャである。１つ以上の実施形態では、ジェスチャは、指ジェスチャである。１つ以上の実施形態では、ジェスチャは、指間相互作用である。１つ以上の実施形態では、ジェスチャは、指間相互作用、指示、タップ、および摩擦から成る群から選択される。
１つ以上の実施形態では、本方法はさらに、少なくとも部分的に決定されたユーザ入力に基づいて、１つ以上の仮想オブジェクトをユーザに表示するステップを含む。１つ以上の実施形態では、１つ以上の仮想オブジェクトは、仮想ユーザインターフェースを備えている。
別の側面では、拡張現実ディスプレイシステムは、１つ以上の画像を捕捉するための画像捕捉デバイスと、画像捕捉デバイスに通信可能に結合され、捕捉された画像を分析し、ユーザによって作成された１つ以上のジェスチャを識別する、プロセッサとを備え、１つ以上のジェスチャの識別は、複数の段階を有するカスケード機構を利用するステップを含む。
１つ以上の実施形態では、カスケード機構は、複数のノードを備え、各ノードは、複数の段階のうちのある段階に対応する。１つ以上の実施形態では、カスケード機構は、一連のパーミッシブ型分析ノードを備えている。１つ以上の実施形態では、カスケード機構の複数の段階のうちの前の段階は、カスケード機構の複数の段階のうちの後の段階と比較して少ない処理電力を消費するように構成される。
１つ以上の実施形態では、非ジェスチャは、カスケード機構の前の段階において捕捉された画像の分析に基づいて、除去される。１つ以上の実施形態では、複数の段階のうちの後の段階は、少なくとも部分的に捕捉された画像に基づいて、より複雑なジェスチャを決定するように構成される。
１つ以上の実施形態では、捕捉された画像の分析は、捕捉された画像内の種々の形状の輪郭の鮮鋭度がジェスチャを構成するために十分に鮮鋭であるかどうかを決定するステップを含む。１つ以上の実施形態では、カスケード機構の後の段階は、異なるジェスチャ間で区別するために利用される。１つ以上の実施形態では、プロセッサはさらに、少なくとも部分的に分析に基づいて、スコアを生成するように構成される。１つ以上の実施形態では、プロセッサは、生成されたスコアが最小閾値より低い場合、候補画像を検討から除去する。１つ以上の実施形態では、プロセッサは、生成されたスコアが最小閾値より高い場合、カスケード機構の後の段階に前進する。
別の側面では、方法は、ユーザの視野に対応する１つ以上の画像を捕捉するステップと、捕捉された１つ以上の画像を分析し、ユーザによって作成された１つ以上のジェスチャを識別するステップであって、分析は、複数の段階を有するカスケード機構を利用するステップを含む、ステップとを含む。
１つ以上の実施形態では、カスケード機構は、複数のノードを備え、各ノードは、複数の段階のうちのある段階に対応する。１つ以上の実施形態では、カスケード機構は、一連のパーミッシブ型分析ノードを備えている。１つ以上の実施形態では、カスケード機構の複数の段階のうちの前の段階は、カスケード機構の複数の段階のうちの後の段階と比較して少ない処理電力を消費するように構成される。
１つ以上の実施形態では、非ジェスチャは、カスケード機構の前の段階において捕捉された画像の分析に基づいて、除去される。１つ以上の実施形態では、複数の段階のうちの後の段階は、少なくとも部分的に捕捉された画像に基づいて、より複雑なジェスチャを決定するように構成される。
１つ以上の実施形態では、捕捉された画像の分析は、捕捉された画像内の種々の形状の輪郭の鮮鋭度がジェスチャを構成するために十分に鮮鋭であるかどうかを決定するステップを含む。１つ以上の実施形態では、カスケード機構の後の段階は、異なるジェスチャ間で区別するために利用される。
１つ以上の実施形態では、本方法はさらに、少なくとも部分的に分析に基づいて、スコアを生成するステップを含む。１つ以上の実施形態では、本方法はさらに、候補画像を生成されたスコアが最小閾値より低いかどうかの検討から除去するステップを含む。１つ以上の実施形態では、本方法はさらに、生成されたスコアが最小閾値より高い場合、カスケード機構の後の段階に前進するステップを含む。
別の側面では、拡張現実システムは、ユーザのそれぞれの視野の複数の画像を捕捉するための画像捕捉デバイスと、画像捕捉デバイスに通信可能に結合され、複数の画像を分析し、複数のジェスチャ候補を捕捉された複数の画像から生成し、複数のジェスチャ候補に対応する分析値を生成する、プロセッサとを備え、ジェスチャは、少なくとも部分的に分析値に基づいて、認識される。
１つ以上の実施形態では、プロセッサはさらに、少なくとも部分的にそれぞれの分析値に基づいて、ジェスチャ候補をソートするように構成される。１つ以上の実施形態では、プロセッサはさらに、最小閾値より低い分析値を有するジェスチャ候補を排除するように構成される。１つ以上の実施形態では、プロセッサはさらに、分析値が最小閾値より高い場合、ジェスチャ候補を処理の次の段階に前進させるように構成される。
別の側面では、方法は、ユーザのそれぞれの視野の複数の画像を捕捉するステップと、複数の画像を分析し、複数のジェスチャ候補を生成するステップと、複数の分析値に対応する分析値を生成するステップであって、ジェスチャは、少なくとも部分的に分析値に基づいて、認識される、ステップとを含む。
１つ以上の実施形態では、本方法はさらに、少なくとも部分的にそれぞれの分析値に基づいて、ジェスチャ候補をソートするステップを含む。１つ以上の実施形態では、本方法はさらに、最小閾値より低い分析値を有するジェスチャ候補を排除するステップを含む。１つ以上の実施形態では、本方法はさらに、分析値が最小閾値より高い場合、ジェスチャ候補を処理の次の段階に前進させるステップを含む。
さらに別の側面では、拡張現実ディスプレイシステムは、ユーザの視野の画像を捕捉するための画像捕捉デバイスと、捕捉された画像に対応する深度マップを生成し、捕捉された画像の深度マップを分析し、ジェスチャを識別するように構成される、プロセッサとを備えている。
１つ以上の実施形態では、プロセッサはさらに、分類機構を利用して、生成された深度マップの点に対応する手の一部を識別するように構成される。１つ以上の実施形態では、プロセッサはさらに、手の一部の識別に基づいて、深度マップを骨格化するように構成される。
１つ以上の実施形態では、プロセッサは、少なくとも部分的に骨格化された深度マップに基づいて、画像をジェスチャとして分類する。１つ以上の実施形態では、深度は、少なくとも部分的に深度区画化プロセスを行うことによって生成される。
１つ以上の実施形態では、深度区画化は、線検索を備えている。１つ以上の実施形態では、プロセッサは、カスケード分析を深度マップに行い、画像をジェスチャとして分類する。１つ以上の実施形態では、プロセッサは、深度拡張を深度マップに行う。１つ以上の実施形態では、プロセッサは、表面正規化を深度マップに行う。
１つ以上の実施形態では、プロセッサは、配向正規化を深度マップに行う。１つ以上の実施形態では、プロセッサは、背景減算を深度マップに行う。１つ以上の実施形態では、プロセッサは、深度比較を深度マップに行う。１つ以上の実施形態では、プロセッサは、少なくとも部分的に骨格化された深度マップおよび以前の情報に基づいて、画像をジェスチャとして分類する。１つ以上の実施形態では、分類機構は、決定森である。
別の側面では、ジェスチャを分類する方法は、ユーザの視野の画像を捕捉するステップと、深度区画化を捕捉された画像に行い、深度マップを生成するステップと、少なくとも部分的に生成された深度マップに基づいて、ジェスチャを識別するステップとを含む。
１つ以上の実施形態では、本方法はさらに、分類機構を使用して、深度マップを分析し、深度マップ内の点に対応する手の一部を識別するステップを含む。１つ以上の実施形態では、本方法はさらに、手の一部の識別に基づいて、深度マップを骨格化するステップを含む。１つ以上の実施形態では、本方法はさらに、骨格化された深度マップに基づいて、画像をジェスチャとして分類するステップを含む。
１つ以上の実施形態では、深度区画化は、線検索を備えている。１つ以上の実施形態では、本方法はさらに、カスケード分析を深度マップに行い、画像をジェスチャとして分類するステップを含む。１つ以上の実施形態では、本方法はさらに、深度拡張を深度マップに行うステップを含む。
１つ以上の実施形態では、本方法はさらに、表面正規化を深度マップに行うステップを含む。１つ以上の実施形態では、本方法はさらに、配向正規化を深度マップに行うステップを含む。１つ以上の実施形態では、本方法はさらに、背景減算を深度マップに行うステップを含む。
１つ以上の実施形態では、本方法はさらに、深度比較を深度マップに行うステップを含む。１つ以上の実施形態では、本方法はさらに、骨格化された深度マップおよび以前の情報に基づいて、画像をジェスチャとして分類するステップを含む。１つ以上の実施形態では、分類機構は、決定森である。
別の側面では、拡張現実ディスプレイシステムは、ユーザの視野の画像の集合を捕捉するための画像捕捉デバイスであって、画像の集合は、所定の物理オブジェクトに関係するユーザの移動を捕捉する、画像捕捉デバイスと、画像捕捉デバイスに通信可能に結合され、所定の物理オブジェクトに関係する移動を分析し、少なくとも部分的に分析された移動に基づいて、ユーザ入力を決定する、プロセッサとを備えている。
１つ以上の実施形態では、プロセッサは、所定の物理オブジェクトを認識する。１つ以上の実施形態では、所定の物理オブジェクトは、少なくとも部分的に所定の物理オブジェクトの捕捉された画像と所定の物理オブジェクトのデータベースとの間の画像比較に基づいて、認識される。１つ以上の実施形態では、所定の物理オブジェクトに関係するユーザの分析された移動は、パターンを生成するために使用される。１つ以上の実施形態では、生成されたパターンは、所定のパターンのデータベースと比較される。１つ以上の実施形態では、プロセッサは、比較に基づいて、認識されたパターンのためのスコア化値を生成する。
１つ以上の実施形態では、プロセッサは、スコア化値が閾値を超えている場合、ユーザ入力を決定する。１つ以上の実施形態では、画像捕捉デバイスは、所定の物理オブジェクトに関係する移動を視覚的に追跡し、ビデオ録画を生成する。１つ以上の実施形態では、ビデオ録画は、ユーザ入力を決定するために分析される。
１つ以上の実施形態では、拡張現実ディスプレイシステムはさらに、所定のパターンのデータベースにアクセスするためのネットワーク化されたメモリを備えている。１つ以上の実施形態では、所定の物理オブジェクトは、視野内の既存の構造、能動的にマークされたトーテム、受動的にマークされたトーテム、カメラ／センサに統合されたオブジェクト、およびトーテムコントローラオブジェクトから成る群から選択される。
１つ以上の実施形態では、所定の物理オブジェクトに関係する移動は、基準フレームに対する所定の物理オブジェクトの位置、配向、および移動から成る群から選択される。１つ以上の実施形態では、所定の物理オブジェクトは、ユーザの手のうちの第１の手を備え、第１の手に関係する移動は、ユーザの手のうちの第２の手を用いた第１の手の操作を備えている。
１つ以上の実施形態では、所定の物理オブジェクトは、軟質硬度表面を有し、所定の物理オブジェクトに関係する移動は、ユーザによる軟質硬度表面の押下を備えている。１つ以上の実施形態では、プロセッサは、ユーザのための所定の物理オブジェクトに関連付けられた仮想インターフェース要素をレンダリングし、仮想インターフェース要素は、ディスプレイデバイスを通してユーザによって視認される。
１つ以上の実施形態では、仮想インターフェース要素は、ユーザによって視認されると、仮想インターフェース要素が、少なくとも部分的に所定の物理オブジェクトに関係する修正に基づいて、修正されるように、所定の物理オブジェクトに関係して表示される。１つ以上の実施形態では、所定の物理オブジェクトは、電子入力デバイスを備え、ユーザ入力は、所定の物理オブジェクトの認識された移動に基づいて、決定され、電子入力デバイスから入力される。
１つ以上の実施形態では、プロセッサは、ユーザに表示される仮想コンテンツが、少なくとも部分的に決定されたユーザ入力に基づいて、修正されるように、ユーザの眼に結合されるディスプレイデバイスを制御するように構成される。
別の側面では、ユーザ入力を決定する方法は、１つ以上のユーザの視野の画像を捕捉するステップであって、画像は、少なくとも所定の物理オブジェクトを備えている、ステップと、画像を分析し、所定の物理オブジェクトに関係するユーザの移動を検出するステップと、少なくとも部分的に所定の物理オブジェクトに関係する移動の分析に基づいて、ユーザ入力を決定するステップとを含む。
１つ以上の実施形態では、本方法はさらに、所定の物理オブジェクトを認識するステップを含む。１つ以上の実施形態では、所定の物理オブジェクトは、少なくとも部分的に所定の物理オブジェクトの捕捉された画像と所定の物理オブジェクトのデータベースとの間の画像比較に基づいて、認識される。１つ以上の実施形態では、所定の物理オブジェクトに関係するユーザの移動は、パターンを生成するために使用される。
１つ以上の実施形態では、本方法はさらに、生成されたパターンを所定のパターンのデータベースと比較するステップを含む。１つ以上の実施形態では、本方法はさらに、比較に基づいて、認識されたパターンのためのスコア化値を生成するステップを含む。１つ以上の実施形態では、本方法はさらに、スコア化値が閾値を超えている場合、ユーザ入力を決定するステップを含む。
１つ以上の実施形態では、本方法はさらに、所定の物理オブジェクトに関係する移動を視覚的に追跡し、ビデオ録画を生成するステップを含む。１つ以上の実施形態では、ビデオ録画は、ユーザ入力を決定するために分析される。１つ以上の実施形態では、本方法はさらに、ネットワーク化されたメモリを通して、所定のパターンのデータベースにアクセスするステップを含む。１つ以上の実施形態では、所定の物理オブジェクトは、視野内の既存の構造、能動的にマークされたトーテム、受動的にマークされたトーテム、カメラ／センサに統合されたオブジェクト、およびトーテムコントローラオブジェクトから成る群から選択される。
１つ以上の実施形態では、所定の物理オブジェクトに関係する移動は、基準フレームに対する所定の物理オブジェクトの位置、配向、および移動から成る群から選択される。１つ以上の実施形態では、所定の物理オブジェクトは、ユーザの手のうちの第１の手を備え、第１の手に関係する移動は、ユーザの手のうちの第２の手を用いた第１の手の操作を備えている。
１つ以上の実施形態では、所定の物理オブジェクトは、軟質硬度表面を有し、所定の物理オブジェクトに関係する移動は、ユーザによる軟質硬度表面の押下を備えている。１つ以上の実施形態では、本方法はさらに、ユーザのための所定の物理オブジェクトに関連付けられた仮想インターフェース要素をレンダリングするステップを含む。
１つ以上の実施形態では、仮想インターフェース要素は、ユーザによって視認されると、仮想インターフェース要素が、少なくとも部分的に所定の物理オブジェクトに関係する修正に基づいて、修正されるように、所定の物理オブジェクトに関係して表示される。１つ以上の実施形態では、所定の物理オブジェクトは、電子入力デバイスを備え、ユーザ入力は、所定の物理オブジェクトの認識された移動に基づいて、決定され、電子入力デバイスから入力される。１つ以上の実施形態では、本方法はさらに、少なくとも部分的に決定されたユーザ入力に基づいて、ユーザに表示される仮想コンテンツの少なくとも１つの特性を修正するステップを含む。
別の側面では、拡張現実ディスプレイシステムは、ユーザの眼に物理的に結合され、１つ以上の物理オブジェクトに関係する仮想コンテンツの集合を表示する、ディスプレイと、ディスプレイおよび画像捕捉デバイスに通信可能に結合され、ユーザ入力に基づいて、ディスプレイを介して、ユーザに表示されるべき仮想ユーザインターフェースを識別し、世界に関係するユーザの場所を得て、仮想ユーザインターフェースを表示すべき座標点の集合を決定し、識別された仮想ユーザインターフェースがユーザに表示されるように、ディスプレイを制御する、プロセッサとを備えている。
１つ以上の実施形態では、ユーザ入力は、少なくとも部分的に認識されたジェスチャに基づいて、決定される。１つ以上の実施形態では、ユーザ入力は、少なくとも部分的に音声コマンドに基づいて、決定される。１つ以上の実施形態では、ユーザ入力は、少なくとも部分的に所定の物理オブジェクトとの相互作用に基づいて、決定される。
１つ以上の実施形態では、拡張現実ディスプレイシステムはさらに、ユーザインターフェースのライブラリを備え、識別されたユーザインターフェースは、ユーザインターフェースのライブラリから読み出される。１つ以上の実施形態では、識別された仮想ユーザインターフェースは、基準フレームに関連付けられる。１つ以上の実施形態では、基準フレームは、身体中心基準フレームである。
１つ以上の実施形態では、基準フレームは、頭部中心基準フレームである。１つ以上の実施形態では、基準フレームは、手中心基準フレームである。１つ以上の実施形態では、基準フレームは、世界中心基準フレームである。１つ以上の実施形態では、プロセッサは、識別された仮想ユーザインターフェースに関連付けられた基準フレームと世界に関係するユーザの得られた場所との間の変換を行い、仮想ユーザインターフェースの座標点の集合を決定する。
１つ以上の実施形態では、世界内のユーザの場所は、ユーザのＧＰＳ場所に基づいて、決定される。１つ以上の実施形態では、世界内のユーザの場所は、ユーザに関連付けられたマップ点の集合に基づいて、決定される。１つ以上の実施形態では、仮想ユーザインターフェースは、ユーザが移動するにつれて、定常であるように見える。
１つ以上の実施形態では、仮想ユーザインターフェースは、ユーザの移動に関係して移動する。１つ以上の実施形態では、プロセッサは、識別された仮想ユーザインターフェースに関連付けられた基準フレームを決定し、世界基準フレームに関係する基準フレームの場所を決定し、決定された場所を原点として設定し、原点に関係する座標点の集合を決定する。
別の側面では、仮想ユーザインターフェースを生成する方法は、ユーザ入力に基づいて、ユーザに表示されるべき仮想ユーザインターフェースを識別するステップと、ユーザに関連付けられた場所を得るステップと、少なくとも部分的に得られた場所に基づいて、識別された仮想ユーザインターフェースを表示すべき座標点の集合を決定するステップと、決定された座標点において、仮想ユーザインターフェースをユーザに表示するステップとを含む。
１つ以上の実施形態では、ユーザ入力は、少なくとも部分的に認識されたジェスチャに基づいて、決定される。１つ以上の実施形態では、ユーザ入力は、少なくとも部分的に音声コマンドに基づいて、決定される。１つ以上の実施形態では、ユーザ入力は、少なくとも部分的に所定の物理オブジェクトとの相互作用に基づいて、決定される。
１つ以上の実施形態では、本方法はさらに、識別されたユーザ仮想ユーザインターフェースをユーザインターフェースのライブラリから読み出すステップを含む。１つ以上の実施形態では、識別された仮想ユーザインターフェースは、基準フレームに関連付けられる。１つ以上の実施形態では、基準フレームは、身体中心基準フレームである。
１つ以上の実施形態では、基準フレームは、頭部中心基準フレームである。１つ以上の実施形態では、基準フレームは、手中心基準フレームである。１つ以上の実施形態では、基準フレームは、世界中心基準フレームである。
１つ以上の実施形態では、本方法はさらに、識別された仮想ユーザインターフェースに関連付けられた基準フレームと世界に関係するユーザの得られた場所との間の変換を行い、仮想ユーザインターフェースの座標点の集合を決定するステップを含む。１つ以上の実施形態では、世界内のユーザの場所は、ユーザのＧＰＳ場所に基づいて、決定される。
１つ以上の実施形態では、世界内のユーザの場所は、ユーザに関連付けられたマップ点の集合に基づいて、決定される。１つ以上の実施形態では、仮想ユーザインターフェースは、ユーザが移動するにつれて、定常であるように見える。１つ以上の実施形態では、仮想ユーザインターフェースは、ユーザの移動に関係して移動する。
１つ以上の実施形態では、本方法はさらに、識別された仮想ユーザインターフェースに関連付けられた基準フレームを決定するステップと、世界基準フレームに関係する基準フレームの場所を決定するステップと、決定された場所を原点として設定するステップと、原点に関係する座標点の集合を決定するステップとを含む。
１つ以上の実施形態では、本方法はさらに、マップ点の集合をネットワーク化されたメモリから読み出すステップを含む。１つ以上の実施形態では、ユーザ入力は、仮想ユーザインターフェースが表示されるべき空間内の場所を備えている。１つ以上の実施形態では、空間内の場所は、ユーザの場所における物理エンティティに関連付けられる。１つ以上の実施形態では、ユーザ入力は、壁を示す投げる入力を含むジェスチャを含む。１つ以上の実施形態では、ユーザ入力は、仮想ユーザインターフェースを生成するための命令の終了を意味するジェスチャを含む。
別の側面では、仮想ユーザインターフェースを生成する方法は、所定の物理オブジェクトの操作を検出するステップと、検出された操作に基づいて、仮想ユーザインターフェースを作成するためのコマンドを認識するステップと、仮想世界モデルから、所定の物理オブジェクトの位置に関連付けられたマップ点の集合を決定するステップと、仮想ユーザインターフェースが、ユーザによって視認されると、所定の物理オブジェクトの位置に定常であるように見えるように、仮想ユーザインターフェースをトーテムの位置に関連付けられた決定されたマップ点にリアルタイムでレンダリングするステップとを含む。
１つ以上の実施形態では、所定の物理オブジェクトの操作は、所定の物理オブジェクトの表面上でユーザの手によって挟んだ状態を広げるジェスチャを含む。１つ以上の実施形態では、仮想ユーザインターフェースは、ユーザによって視認されると、所定の物理オブジェクトの表面の一部を覆うように見え、部分は、挟んだ状態を広げるジェスチャの形成の間、ユーザの手の場所に対応する。１つ以上の実施形態では、所定の物理オブジェクトは、ユーザの手である。
１つ以上の実施形態では、所定の物理オブジェクトの操作は、ユーザが手を広げること、ユーザが手のひらを広げて見せること、およびユーザが手を挙げることから成る群から選択される、アクションを含む。１つ以上の実施形態では、仮想ユーザインターフェースは、ユーザによって視認されると、手の表面の一部を被覆するように見える。
１つ以上の実施形態では、仮想ユーザインターフェースは、手の指または親指によって選択可能な複数の第１のレベルのメニューアイテムを備えている。１つ以上の実施形態では、本方法はさらに、手のさらなる操作を検出するステップと、検出されたさらなる操作に基づいて、第２の仮想ユーザインターフェースを作成するためのコマンドを認識するステップと、仮想ユーザインターフェースが、ユーザによって視認されると、所定の物理オブジェクトの位置において定常であるように見えるように、所定の物理オブジェクトの位置に関連付けられた決定されたマップ点に第２の仮想ユーザインターフェースをリアルタイムでレンダリングするステップとを含む。
１つ以上の実施形態では、本方法はさらに、手の指が離れるように広げることを含む、手のさらなる操作を含む。１つ以上の実施形態では、第２の仮想ユーザインターフェースは、手の指または親指によって選択可能な複数の第２のレベルのメニューアイテムを備え、第２のレベルは、第１のレベルより低い。
１つ以上の実施形態では、トーテムのさらなる操作は、ユーザの手のうちの第２の手からの指を用いて、手のひらに円を描写する運動を行なうことを含む。１つ以上の実施形態では、第２の仮想ユーザインターフェースは、弧に配列された複数のメニューアイテムを備え、メニューアイテムは、第２の手の指によってスクロール可能かつ選択可能である。
別の側面では、拡張現実ディスプレイシステムは、ユーザの視野の１つ以上の画像を捕捉するための画像捕捉デバイスであって、少なくとも１つの画像は、所定の物理オブジェクトの操作を捕捉する、画像捕捉デバイスと、１つ以上の仮想オブジェクトをユーザに表示するためのディスプレイデバイスと、パス可能世界モデルを備えている、データベースであって、パス可能世界モデルは、世界の物理オブジェクトに関連付けられたマップ点の集合を備えている、データベースと、画像捕捉デバイスに通信可能に結合され、１つ以上の画像に基づいて、仮想ユーザインターフェースを作成するためのコマンドを認識し、少なくとも部分的にパス可能世界モデルに基づいて、所定の物理オブジェクトに対応するマップ点を決定し、仮想ユーザインターフェースが所定の物理オブジェクトの位置において定常であるように見えるように、仮想ユーザインターフェースが所定の物理オブジェクトに対応する決定されたマップ点に生成されるような様式で、ディスプレイを制御する、プロセッサとを備えている。
１つ以上の実施形態では、所定の物理オブジェクトの操作は、所定の物理オブジェクトの表面上でユーザの手によって挟んだ状態を広げるジェスチャを含む。１つ以上の実施形態では、仮想ユーザインターフェースは、ユーザによって視認されると、所定の物理オブジェクトの表面の一部を覆うように見え、部分は、挟んだ状態を広げるジェスチャの形成の間、ユーザの手の場所に対応する。１つ以上の実施形態では、所定の物理オブジェクトは、ユーザの手である。
１つ以上の実施形態では、所定の物理オブジェクトの操作は、ユーザが手を広げること、ユーザが手のひらを広げて見せること、およびユーザが手を挙げることから成る群から選択される、アクションを含む。１つ以上の実施形態では、仮想ユーザインターフェースは、ユーザによって視認されると、手の表面の一部を被覆するように見える。
１つ以上の実施形態では、仮想ユーザインターフェースは、手の指または親指によって選択可能な複数の第１のレベルのメニューアイテムを備えている。１つ以上の実施形態では、所定の物理オブジェクトは、手であって、プロセッサは、手のさらなる操作を検出し、第２の仮想ユーザインターフェースを作成するためのコマンドを認識し、第２の仮想ユーザインターフェースが決定されたマップ点に表示されるように、ディスプレイを制御する。
１つ以上の実施形態では、手のさらなる操作は、手の指が離れるように広げることを含む。１つ以上の実施形態では、第２の仮想ユーザインターフェースは、手の指または親指によって選択可能な複数の第２のレベルのメニューアイテムを備え、第２のレベルは、第１のレベルより低い。１つ以上の実施形態では、トーテムのさらなる操作は、ユーザの手のうちの第２の手からの指を用いて、手のひらに円を描写する運動を行なうことを含む。
１つ以上の実施形態では、第２の仮想ユーザインターフェースは、弧に配列された複数のメニューアイテムを備え、メニューアイテムは、第２の手の指によってスクロール可能かつ選択可能である。
別の側面では、仮想世界を更新する方法は、第１の入力を第１のユーザの第１のデバイスから受信するステップであって、第１の入力は、第１のユーザの物理環境に対応する、ステップと、受信された第１の入力に基づいて、仮想世界モデルを更新するステップであって、仮想世界モデルは、第１のユーザの物理環境に対応する、ステップと、仮想世界モデルの第１の部分に対応する第１の更新された情報を第２のユーザに伝送するステップとを含み、第１の更新された情報は、第１の更新された情報の任意の部分が第２のユーザに表示される必要があるかどうかを示すように構成される。
１つ以上の実施形態では、仮想世界モデルは、ネットワーク化されたメモリ上に常駐する。１つ以上の実施形態では、第１のユーザおよび第２のユーザは、それぞれの異なる場所に位置する。１つ以上の実施形態では、第１のユーザの第１のデバイスは、ＦＯＶカメラ、他のカメラ、センサ、眼追跡用の第１のデバイス、およびオーディオ用の第１のデバイスから成る群から選択される。
１つ以上の実施形態では、本方法はさらに、仮想世界モデルの第１の部分に対応する第１の更新された情報を第１のユーザに伝送するステップを含み、第１の更新された情報は、第１の更新された情報の任意の部分が第１のユーザに表示される必要があるかどうかを示すように構成される。１つ以上の実施形態では、本方法はさらに、仮想世界モデルの第１の部分に対応する第１の更新された情報を複数の他のユーザに伝送するステップを含み、第１の更新された情報は、第１の更新された情報の任意の部分が複数の他のユーザの各々に表示される必要があるかどうかを示すように構成される。
１つ以上の実施形態では、本方法はさらに、複数の入力を複数の他のユーザのそれぞれの第１のデバイスから受信するステップであって、複数の入力は、第１のユーザの物理環境に対応する、ステップと、受信された複数の入力に基づいて、仮想世界モデルを更新するステップと、仮想世界モデルのそれぞれの追加の部分に対応する追加の更新された情報を第２のユーザに伝送するステップとを含み、追加の更新された情報は、追加の更新された情報の任意の部分が第２のユーザに表示される必要があるかどうかを示すように構成される。
１つ以上の実施形態では、本方法はさらに、仮想世界モデルの部分に対応する追加の更新された情報を第１のユーザに伝送するステップを含み、追加の更新された情報は、追加の更新された情報の任意の部分が第１のユーザに表示される必要があるかどうかを示すように構成される。
１つ以上の実施形態では、本方法はさらに、仮想世界モデルのそれぞれの追加の部分に対応する追加の更新された情報を複数の他のユーザに伝送するステップを含み、追加の更新された情報は、追加の更新された情報の任意の部分が複数の他のユーザの各々に表示される必要があるかどうかを示すように構成される。
１つ以上の実施形態では、本方法はさらに、第２の入力を第２のユーザの第２のデバイスから受信するステップであって、第２の入力は、第２のユーザの物理環境に対応する、ステップと、受信された第２の入力に基づいて、仮想世界モデルを更新するステップであって、仮想世界モデルは、第１のユーザの物理環境に対応する、ステップと、仮想世界モデルの第２の部分に対応する第２の更新された情報を第１のユーザに伝送するステップとを含み、第２の更新された情報は、第２の更新された情報の任意の部分が第１のユーザに表示される必要があるかどうかを示すように構成される。１つ以上の実施形態では、第２の更新された情報は、仮想世界モデルの第２の部分内の第２のユーザのアバタの移動に対応する。
別の側面では、方法は、光パターンを空間上に投影するステップと、カメラを用いて、光パターンの第１および第２の部分を検出し、パターンの第１および第２の部分に対応する第１および第２のデータ点を生成するステップと、三角測量分析を行い、少なくとも部分的に第１および第２のデータ点に基づいて、光パターンの第１および第２の部分の場所を決定するステップとを含む。
１つ以上の実施形態では、本方法はさらに、パターンの複数の部分を投影し、検出し、三角測量するステップを繰り返し、空間の追加のテクスチャデータを取得するステップを含む。１つ以上の実施形態では、光を空間上に投影するステップは、ファイバベースのプロジェクタを使用して、光を空間上に投影するステップを含む。
１つ以上の実施形態では、本方法はさらに、光が空間上に投影される前に、光学要素を用いて光を修正し、光線の束を形成するステップを含む。１つ以上の実施形態では、光パターンは、構造化された光に対応し、光パターンは、動的である。１つ以上の実施形態では、光パターンは、パターン化された光に対応し、光パターンは、複数の点を含む。
１つ以上の実施形態では、光パターンは、テクスチャ化された光に対応し、光パターンは、不規則である。１つ以上の実施形態では、光パターンの第１および第２の部分は、光パターンのそれぞれのピクセルである。
別の側面では、拡張現実ディスプレイシステムは、光パターンを空間内に投影するための光プロジェクタと、拡張現実ディスプレイシステムのフレームに結合され、ユーザの視野の画像を捕捉するためのカメラであって、投影された光パターンに対応する第１および第２の部分を捕捉するためのカメラと、カメラに通信可能に結合され、少なくとも部分的にカメラから受信されるデータに基づいて、パターンの第１および第２の部分に対応する第１および第２のデータ点を検出し、三角測量分析を行い、少なくとも部分的に第１および第２のデータ点に基づいて、光パターンの第１および第２の部分の場所を決定する、プロセッサとを備えている。
１つ以上の実施形態では、プロセッサは、パターンの複数の部分を用いて、投影、検出、および三角測量するステップを繰り返し、空間の追加のテクスチャデータを取得する。１つ以上の実施形態では、光プロジェクタは、ファイバベースのプロジェクタを備えている。１つ以上の実施形態では、投影される光は、光が空間上に投影される前に、光線の束を形成するように、光学要素を用いて修正される。
１つ以上の実施形態では、光パターンは、構造化された光に対応し、光パターンは、動的である。１つ以上の実施形態では、光パターンは、パターン化された光に対応し、光パターンは、複数の点を含む。１つ以上の実施形態では、光パターンは、テクスチャ化された光に対応し、光パターンは、不規則である。１つ以上の実施形態では、光パターンの第１および第２の部分は、光パターンのそれぞれのピクセルである。
別の側面では、拡張現実システムは、操作が拡張現実システムによってユーザ入力として検出可能であるように操作されるように構成される表面を有する、所定の物理オブジェクトを備え、所定の物理オブジェクトは、ユーザが、タッチを介して、所定の物理オブジェクトと相互作用すると、触覚知覚をユーザに提供するように構成される材料を備えている。
１つ以上の実施形態では、所定の物理オブジェクトは、ユーザ入力デバイスをシミュレートするように構成される。１つ以上の実施形態では、ユーザ入力デバイスは、コンピュータキーボード、コンピュータマウス、コンピュータトラックパッド、およびハンドヘルドコントローラから成る群から選択される。
１つ以上の実施形態では、本システムはさらに、１つ以上の仮想オブジェクトをユーザに表示するためのディスプレイデバイスと、仮想ユーザインターフェースが所定の物理オブジェクトの表面上に表示されるように、ディスプレイデバイスを制御するためのプロセッサとを備えている。
１つ以上の実施形態では、所定の物理オブジェクトは、球状形状を有する。１つ以上の実施形態では、本システムは、仮想ユーザインターフェースが所定の物理オブジェクトから出現するように見えるように、仮想ユーザインターフェースを表示するように構成される。１つ以上の実施形態では、所定の物理オブジェクトは、テクスチャ化された外側表面を有する。
１つ以上の実施形態では、所定の物理オブジェクトは、ユーザ入力要素を備えている。１つ以上の実施形態では、ユーザ入力要素は、キー、ボタン、およびスクロールホイールから成る群から選択される。１つ以上の実施形態では、ユーザ入力要素は、電子機器に動作可能に結合されない。１つ以上の実施形態では、本システムはさらに、トーテムのユーザの操作を検出するように構成される、カメラを備えている。
１つ以上の実施形態では、所定の物理オブジェクトは、くぼみ、空洞、または突出部を備えている。１つ以上の実施形態では、操作は、スワイプ、揺動、回転、スクロール、タップ、ダブルタップ、短タップ、および長タップから成る、指運動の群から選択される。
１つ以上の実施形態では、操作は、いくつかの相互作用、相互作用のタイプ、および相互作用の持続時間から成る、指運動特性の群から選択される。１つ以上の実施形態では、操作は、距離、方向、スピード、および加速から成る、指特性の群から選択される。
さらに別の側面では、仮想部屋を生成する方法は、ユーザに表示されるべき仮想部屋を識別するステップと、仮想部屋に関連付けられた第１のマップ点の集合を得るステップであって、第１のマップ点の集合は、ユーザの場所における第１の物理部屋に対応する、ステップと、仮想部屋を第１のマップ点の集合にテザリングするステップと、仮想部屋が、ユーザによって視認されると、第１のマップ点の集合の集合において定常であるように見えるように、仮想部屋をユーザに表示するステップとを含む。
１つ以上の実施形態では、本方法はさらに、ユーザ入力に基づいて、仮想部屋を識別するステップを含む。１つ以上の実施形態では、ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される。
１つ以上の実施形態では、仮想部屋は、ユーザによって与えられる。１つ以上の実施形態では、本方法はさらに、第１のマップ点の集合をネットワーク化されたメモリから読み出すステップを含む。１つ以上の実施形態では、本方法はさらに、仮想部屋に関連付けられた第２のマップ点の集合を得るステップであって、第２のマップ点の集合は、ユーザが第１の物理部屋から移動した後のユーザの場所における第２の物理部屋に対応する、ステップと、仮想部屋を第２のマップ点の集合にテザリングするステップと、仮想部屋が、ユーザによって視認されると、第２のマップ点の集合において定常であるように見えるように、仮想部屋をユーザに表示するステップとを含む。
１つ以上の実施形態では、仮想部屋はまた、第１および第２の仮想オブジェクトを含み、本方法はさらに、仮想部屋が第２のマップ点の集合にテザリングされている場合、第１のマップ点の集合に対応する第１の仮想オブジェクトと第２の仮想オブジェクトとの間の相対的空間位置を保つステップを含む。１つ以上の実施形態では、本方法はさらに、仮想部屋が、ユーザによって視認されると、第１の物理部屋の一部に対して定常であるように見えるように、仮想部屋をユーザに表示するステップを含む。１つ以上の実施形態では、仮想部屋はまた、選択可能仮想装飾を含む。
別の側面では、小売体験を作成する方法は、小売店舗内のユーザの場所を認識するステップと、小売店舗に対応するデータを読み出すステップと、読み出されたデータに基づいて、小売店舗に関連する仮想コンテンツを生成するステップと、仮想ユーザインターフェースをユーザの視野内に作成するステップと、ユーザが小売店舗内で小売アクティビティに従事する間、仮想コンテンツを仮想ユーザインターフェース上に表示するステップとを含む。
１つ以上の実施形態では、読み出されたデータは、小売店舗に対応するマップ点の集合を備え、仮想ユーザインターフェースは、ユーザによって視認されると、マップ点の集合において定常であるように見える。１つ以上の実施形態では、ユーザの場所は、無線周波数識別トランスポンダおよび通信を使用して認識される。１つ以上の実施形態では、仮想コンテンツは、仮想キャラクタ、仮想クーポン、ユーザ場所に基づくゲーム、宣伝アイテムの一覧、栄養情報、アイテムに関連するメタデータ、有名人の登場、クロスセリング広告、ユーザに既知の人物からの情報、および電子書籍から成る群から選択される。
１つ以上の実施形態では、本方法はさらに、ユーザに対応するユーザデータを読み出すステップと、読み出されたデータおよび読み出されたユーザデータの両方に基づいて、仮想コンテンツを生成するステップとを含む。１つ以上の実施形態では、仮想コンテンツは、仮想食料品一覧、仮想クーポン書籍、仮想レシピ書籍、ユーザの家内の種々の資材の一覧、および仮想レシピビルダから成る群から選択される。１つ以上の実施形態では、本方法はさらに、ユーザ入力を受信するステップと、ユーザ入力に基づいて、追加の仮想コンテンツを生成するステップと、ユーザが小売店舗内の小売アクティビティに従事する間、追加の仮想コンテンツを仮想ユーザインターフェース上に表示するステップとを含む。
１つ以上の実施形態では、ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される。１つ以上の実施形態では、仮想コンテンツは、総運営コスト、スマート仮想食料品一覧、ユーザ場所に近接するアイテムのインジケータ、および仮想支払システムから成る群から選択される。１つ以上の実施形態では、本方法はさらに、生成された仮想コンテンツを表示のためにユーザデバイスに送信するステップを含む。
別の側面では、方法は、患者の医療履歴に関連する患者データを読み出すステップと、少なくとも部分的に読み出された患者データに基づいて、仮想コンテンツを生成するステップと、第１のユーザの第１の場所に対応する第１のマップ点の集合を読み出すステップと、少なくとも部分的に読み出されたマップ点の集合に基づいて、第１の仮想ユーザインターフェースを第１のユーザの視野内に作成するステップと、第１の仮想ユーザインターフェースが、第１のユーザによって視認されると、第１のマップ点の集合において固定されるように見えるように、仮想コンテンツを第１の仮想ユーザインターフェース上に表示するステップとを含む。
１つ以上の実施形態では、仮想コンテンツは、外科手術の標的の３次元画像、患者識別情報、医療画像、患者のバイタルサイン情報、およびカルテから成る群から選択される。１つ以上の実施形態では、患者データは、ネットワーク化されたメモリから読み出される。
１つ以上の実施形態では、本方法はさらに、第１のユーザと第２のユーザとの間の通信を促進するように構成される、第２の仮想ユーザインターフェースを生成するステップを含み、第２のユーザは、第１のユーザの第１の場所と異なる第２の場所内に居る。１つ以上の実施形態では、第２の仮想ユーザインターフェースは、第２のユーザの視覚的表現である。１つ以上の実施形態では、第２のユーザは、上級専門外科医、患者、患者に関連する者、および医学生から成る群から選択される。１つ以上の実施形態では、本方法はさらに、第１の仮想ユーザインターフェースが、第２のユーザによって視認されると、マップ点の集合において固定されるように見えるように、仮想コンテンツを第１の仮想ユーザインターフェース上において第２のユーザに表示するステップを含む。
１つ以上の実施形態では、仮想コンテンツは、外科手術手技中、第１のユーザに表示され、本方法はさらに、ユーザ入力を受信するステップと、ユーザ入力に基づいて、追加の仮想コンテンツを生成するステップと、第１のユーザが外科手術手技を行っている間、追加の仮想コンテンツを第１の仮想ユーザインターフェース上に表示するステップとを含む。
１つ以上の実施形態では、ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される。１つ以上の実施形態では、ユーザ入力は、第１のユーザの視野の画像を備え、本方法はさらに、第１の仮想ユーザインターフェースが、第２のユーザによって視認されると、マップ点の集合において固定されるように見えるように、追加の仮想コンテンツを第１の仮想ユーザインターフェース上において第２のユーザに表示するステップを含む。
１つ以上の実施形態では、医療リハビリテーションを促進する方法は、医療リハビリテーションに関連するユーザ入力を受信するステップと、受信されたユーザ入力に基づいて、医療リハビリテーションに関連する要求をクラウドサーバに送信するステップと、要求に基づいて、医療リハビリテーションに関連するデータをクラウドサーバに接続されている知識ベースから受信するステップと、受信されたデータに基づいて、医療リハビリテーションに関連する仮想コンテンツを第１のユーザに表示するステップとを含む。
１つ以上の実施形態では、ユーザ入力は、視覚的、聴覚的、および感覚入力から成る群から選択される。１つ以上の実施形態では、本方法はさらに、要求をクラウドサーバに送信する前に、ユーザ入力が有効であるかどうかを決定するステップを含む。１つ以上の実施形態では、データは、クラウドサーバに接続されている複数の知識ベースから受信される。
１つ以上の実施形態では、要求は、クラウドサーバに、データを知識ベースから読み出すように命令する。１つ以上の実施形態では、仮想コンテンツは、リラックスさせる環境を含む。１つ以上の実施形態では、本方法はさらに、追加のデータを第２のユーザから受信するステップと、受信された追加のデータに基づいて、追加の仮想コンテンツを第１のユーザに表示するステップとを含む。
１つ以上の実施形態では、第１および第２のユーザは、異なる物理場所に位置する。１つ以上の実施形態では、追加の仮想コンテンツは、第２のユーザの視覚的表現である。１つ以上の実施形態では、本方法はさらに、第１のユーザデータを第１のユーザから受信するステップと、第２のユーザデータを第２のユーザから受信するステップと、受信された第１および第２のユーザデータに基づいて、仮想コンテンツを修正するステップと、修正された仮想コンテンツを第１および第２のユーザに表示するステップとを含む。
１つ以上の実施形態では、第１のユーザは、医療リハビリテーションのための物理アクティビティに従事し、仮想コンテンツは、物理アクティビティに関する。１つ以上の実施形態では、仮想コンテンツは、物理アクティビティについての情報、第１のユーザのパフォーマンス統計、物理アクティビティに対応する仮想体験、および仮想アバタから成る群から選択される。１つ以上の実施形態では、データは、ネットワーク化されたメモリから読み出される。
別の側面では、タスクのパフォーマンスを向上させる方法は、ユーザによって行われるべきタスクに関連するタスクデータを読み出すステップと、タスクデータに基づいて、仮想コンテンツを生成するステップと、仮想ユーザインターフェースをユーザの視野内に作成するステップと、ユーザの場所に対応するマップ点の集合を読み出すステップと、仮想ユーザインターフェースが、ユーザによって視認されると、マップ点の集合において固定されるように見えるように、ユーザがタスクを行っている間、仮想コンテンツを仮想ユーザインターフェース上に表示するステップとを含む。
１つ以上の実施形態では、仮想コンテンツは、仮想マップされたパターンを有するゲームであり、ゲームは、ユーザによるタスクのパフォーマンスを改良するように構成される。１つ以上の実施形態では、ゲームは、仮想マップされたパターンに従うことに対してポイントを与える。１つ以上の実施形態では、ゲームは、仮想マップされたパターン内の地点に所定の時間内に到達することに対してポイントを倍にする。
１つ以上の実施形態では、ゲームは、仮想マップされたパターンから外れることに対してポイントを差し引く。１つ以上の実施形態では、ゲームは、物理オブジェクトに隣接して移動することに対してポイントを差し引く。１つ以上の実施形態では、タスクは、造園機械を運転すること、在庫アイテムを読み出すこと、小売棚に陳列すること、および郵便をソートすることから成る群から選択される。１つ以上の実施形態では、タスクデータは、ネットワーク化されたメモリから読み出される。
１つ以上の実施形態では、本方法はさらに、ユーザ入力を受信するステップと、ユーザ入力に基づいて、追加の仮想コンテンツを生成するステップと、ユーザがタスクを行っている間、追加の仮想コンテンツを仮想ユーザインターフェース上に表示するステップとを含む。１つ以上の実施形態では、ユーザ入力は、タスクのパフォーマンスに関連するユーザアクションを含む。
さらに別の側面では、拡張現実ディスプレイシステムは、１つ以上の仮想画像をユーザの眼に表示するように構成可能なディスプレイデバイスと、１つ以上の仮想画像をディスプレイデバイスに提供するために構成されるディスプレイデバイスに通信可能に結合される、プロセッサであって、仮想画像のディスプレイに関するタイミング不一致を予測的に補正するための予測機構を備えている、プロセッサとを備えている。
１つ以上の実施形態では、タイミング不一致は、１つ以上のセンサによって行われる１つ以上のセンサ測定に関わり、１つ以上のセンサは、プロセッサに通信可能に結合される。１つ以上の実施形態では、タイミング不一致は、着信データを処理するときの処理遅延に関わる。
１つ以上の実施形態では、予測機構は、フィルタを利用して、タイミング不一致の影響を補正する。１つ以上の実施形態では、フィルタは、１つ以上のセンサ測定の相対的スピードを考慮し、センサ測定は、プロセッサに通信可能に結合されている１つ以上のセンサによって行われる。１つ以上の実施形態では、予測機構は、カルマン予測子を利用する。
１つ以上の実施形態では、カルマン予測子は、ディスプレイ処理段階中、利用される。１つ以上の実施形態では、プロセッサは、補償変更を１つ以上の仮想画像に関連付けられたデータに行い、タイミング不一致を補償する。１つ以上の実施形態では、補償変更は、仮想画像に関連付けられたデータのシフトを行うステップを含む。
１つ以上の実施形態では、補償変更は、仮想画像に関連付けられた１つ以上の視覚的アーチファクトを平滑化するステップを含む。１つ以上の実施形態では、補償変更は、１つ以上のセンサのセンサ測定の負の影響を補正するステップを含み、１つ以上のセンサは、プロセッサに通信可能に結合される。
別の側面では、拡張現実ディスプレイシステムにおける遅延を補正する方法は、仮想画像をユーザに表示する少なくとも１つの段階における１つ以上のタイミング不一致を決定するステップと、予測機構を利用して、タイミング不一致を予測的に補正するステップと、少なくとも部分的に予測機構に基づいて、仮想画像のデータに関連する少なくとも１つの特性を補償するステップとを含む。
１つ以上の実施形態では、タイミング不一致は、１つ以上のセンサによって行われる１つ以上のセンサ測定に関わり、１つ以上のセンサは、プロセッサに通信可能に結合される。１つ以上の実施形態では、タイミング不一致は、着信データを処理するときの処理遅延に関わる。
１つ以上の実施形態では、予測機構は、フィルタを利用して、タイミング不一致の影響を補正する。１つ以上の実施形態では、フィルタは、１つ以上のセンサ測定の相対的スピードを考慮し、センサ測定は、プロセッサに通信可能に結合されている１つ以上のセンサによって行われる。
１つ以上の実施形態では、予測機構は、カルマン予測子を利用する。１つ以上の実施形態では、カルマン予測子は、ディスプレイ処理段階中、利用される。１つ以上の実施形態では、補償は、仮想画像に関連付けられたデータのシフトを行うステップを含む。１つ以上の実施形態では、補償は、仮想画像に関連付けられた１つ以上の視覚的アーチファクトを平滑化するステップを含む。１つ以上の実施形態では、補償は、１つ以上のセンサのセンサ測定の負の影響を補正するステップを含み、１つ以上のセンサは、プロセッサに通信可能に結合される。
別の側面では、拡張現実システムを較正する方法は、仮想画像をユーザに表示するステップであって、仮想画像は、既知の焦点距離に表示されるように構成され、仮想画像は、ピクセル点を備えている、ステップと、ピクセル点がユーザに表示される場所を決定するステップであって、ピクセルの場所は、少なくとも部分的にユーザの眼の瞳孔の場所に基づいて、計算される、ステップと、仮想画像のピクセル点と空間内の既知の点を整合させるステップとを含む。
１つ以上の実施形態では、ステップは、複数のピクセル点に対して繰り返される。１つ以上の実施形態では、ピクセル点がユーザに表示される場所は、少なくとも部分的に空間内の既知の点の場所に基づいて、計算される。１つ以上の実施形態では、瞳孔の場所、ピクセル点の場所、および空間内の既知の点の場所は、同一線上にある。
１つ以上の実施形態では、ピクセル点がユーザに表示される場所は、ユーザ入力に基づいて、修正される。１つ以上の実施形態では、本方法はさらに、複数のピクセル点がユーザに提示されるように、ゲーム用インターフェースを作成するステップを含む。１つ以上の実施形態では、ゲーム用インターフェースは、ユーザの眼移動を通してレーザを発射するステップを含む。
１つ以上の実施形態では、既知の点の場所は、少なくとも部分的に１つ以上の世界カメラから受信されるデータに基づいて、決定される。１つ以上の実施形態では、ステップは、ユーザの別の眼に対して繰り返される。１つ以上の実施形態では、ピクセル点の場所は、少なくとも部分的に瞳孔の場所および既知の点の場所の関数に基づいて、決定される。１つ以上の実施形態では、関数は、二次関数を備えている。
別の側面では、拡張現実ディスプレイシステムは、仮想画像をユーザに表示するためのディスプレイデバイスであって、仮想画像は、既知の焦点距離に表示されるように構成され、仮想画像は、ピクセル点を備えている、ディスプレイデバイスと、ディスプレイデバイスに通信可能に結合され、ピクセル点がユーザに表示される場所を決定し、少なくとも部分的にユーザの眼の瞳孔の場所に基づいて、ピクセル点の場所を計算し、仮想画像のピクセル点を空間内の既知の点に整合させるように構成される、プロセッサとを備えている。
１つ以上の実施形態では、ステップは、複数のピクセル点に対して繰り返される。１つ以上の実施形態では、ピクセル点がユーザに表示される場所は、少なくとも部分的に空間内の既知の点の場所に基づいて、計算される。１つ以上の実施形態では、瞳孔の場所、ピクセル点の場所、および空間内の既知の点の場所は、同一線上にある。１つ以上の実施形態では、ピクセル点がユーザに表示される場所は、ユーザ入力に基づいて、修正される。
１つ以上の実施形態では、本システムはさらに、複数のピクセル点をユーザに提示するように構成される、ゲーム用インターフェースを備えている。１つ以上の実施形態では、ゲーム用インターフェースは、ユーザの眼移動を通してレーザを発射するステップを含む。１つ以上の実施形態では、既知の点の場所は、少なくとも部分的に１つ以上の世界カメラから受信されるデータに基づいて、決定される。
１つ以上の実施形態では、ステップは、ユーザの別の眼に対して繰り返される。１つ以上の実施形態では、ピクセル点の場所は、少なくとも部分的に瞳孔の場所および既知の点の場所の関数に基づいて、決定される。１つ以上の実施形態では、関数は、二次関数を備えている。
別の側面では、仮想インターフェースを表示する方法は、ユーザ入力に基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、少なくとも１つの物理オブジェクトに関係して、アバタユーザインターフェースを表示するステップであって、アバタユーザインターフェースは、少なくとも１つの仮想ユーザインターフェース要素を提示する、ステップと、少なくとも部分的にユーザとアバタユーザインターフェースとの間の相互作用に基づいて、少なくとも１つの仮想ユーザインターフェース要素を選択するステップとを含む。
１つ以上の実施形態では、ユーザ入力は、ジェスチャを含む。１つ以上の実施形態では、本方法はさらに、ユーザの拡張現実ディスプレイシステムに関係するジェスチャの場所を決定するステップを含み、仮想ユーザインターフェースは、決定された場所に表示される。１つ以上の実施形態では、アバタは、事前に選択されたアバタである。１つ以上の実施形態では、アバタは、ユーザに似ている。
１つ以上の実施形態では、アバタは、物理オブジェクトの上に立っているかのように表示される。１つ以上の実施形態では、少なくとも１つの仮想要素は、アプリケーションを備えている。１つ以上の実施形態では、本方法はさらに、別のユーザ入力に少なくとも部分的に基づいて、少なくとも１つの仮想要素を選択するステップであって、少なくとも１つの仮想要素は、ユーザの仲介者を備えている、ステップと、アバタ仮想ユーザインターフェースおよび物理オブジェクトに関係して、ユーザの仲介者を表す別のアバタを表示するステップであって、ユーザとユーザの仲介者との間の相互作用は、アバタ仮想ユーザインターフェースとユーザの仲介者を表す他のアバタとの間の仮想相互作用を通して動画化される、ステップとを含む。
１つ以上の実施形態では、相互作用は、データをユーザの拡張現実システムとユーザの仲介者に対応するコンピューティングシステムとの間で伝送するステップを含む。１つ以上の実施形態では、ユーザ入力は、音声コマンドを備えている。
別の側面では、仮想インターフェースを表示する方法は、ユーザ入力に基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、少なくとも１つの物理オブジェクトに関係して、１つ以上の選択可能仮想インターフェース要素を備えているフローティング式ユーザインターフェースを表示するステップであって、フローティング式ユーザインターフェースは、ユーザ入力が受信された場所から押し出されたように見える、ステップとを含む。
１つ以上の実施形態では、ユーザ入力は、ユーザの指のジェスチャを含む。１つ以上の実施形態では、ユーザの指のジェスチャは、ユーザの一方の手の指をユーザの他方の手の別の指を用いてタッチすることを含む。１つ以上の実施形態では、本方法はさらに、ユーザの一方の手の指をユーザの他方の手の別の指を用いてタッチした場所を決定するステップを含み、フローティング式仮想ユーザインターフェースは、決定された場所から生じる。
１つ以上の実施形態では、フローティング式ユーザインターフェースは、３次元ブロックの集合を備え、３次元ブロックの集合のうちの３次元ブロックは、少なくとも１つの選択可能仮想ユーザインターフェース要素を表す。１つ以上の実施形態では、フローティング式仮想ユーザインターフェースは、少なくとも部分的に世界基準フレームに基づいて、作成される。
１つ以上の実施形態では、少なくとも１つの選択可能仮想ユーザインターフェース要素は、３次元ブロックのスタックとして存在し、３次元ブロックのスタックは、別のユーザ入力に少なくとも部分的に基づいて、回転される。１つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザから受信される別のユーザ入力に基づいて、少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップであって、仮想インターフェース要素は、少なくとも１つの他のサブ仮想インターフェース要素に関連付けられる、ステップと、少なくとも１つの他のサブ仮想インターフェース要素を選択された仮想インターフェース要素の下に表示するステップとを含む。
１つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザから受信される別のユーザ入力に基づいて、少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、仮想ボックス内に、選択された仮想インターフェース要素に関連付けられたコンテンツを表示するステップであって、仮想ボックスは、ユーザの視野内に表示されるコンテンツを備えている、ステップとを含む。
１つ以上の実施形態では、本方法はさらに、仮想ボックスが閉鎖されるべきことを示す、第２のユーザ入力を識別するステップと、少なくとも部分的に第２のユーザ入力に基づいて、仮想ボックスを紙をくしゃくしゃに丸めることに似た様式で動画化するステップと、選択された仮想インターフェース要素に関連付けられたコンテンツを終了させるステップとを含む。１つ以上の実施形態では、第２のユーザ入力は、ジェスチャを含み、ジェスチャは、１枚の紙をくしゃくしゃに丸めることに似ている。
さらに別の側面では、仮想ユーザインターフェースを表示する方法は、ユーザ入力に基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、少なくとも１つの物理オブジェクトに関係して、１つ以上の選択可能仮想インターフェース要素を備えているフローティング式ユーザインターフェースを表示するステップとを含み、フローティング式ユーザインターフェースは、少なくとも１つの物理オブジェクト上に置かれているように見え、少なくとも１つの物理オブジェクトの縦軸の周りでの少なくとも１つの物理オブジェクトの回転は、追加の選択可能仮想インターフェース要素が表示されることをもたらし、追加の選択可能仮想インターフェース要素は、少なくとも１つの物理オブジェクトの別の側に静置されるように見える。
１つ以上の実施形態では、少なくとも１つの物理オブジェクトは、ユーザの腕を備えている。１つ以上の実施形態では、ユーザ入力は、ジェスチャを含む。１つ以上の実施形態では、ジェスチャは、選択可能仮想インターフェース要素が表示されるように見える、ユーザの腕上におけるユーザの手のカップを形成するような運動を含む。
１つ以上の実施形態では、本方法はさらに、ユーザの腕上におけるユーザの手のカップを形成するような運動の場所を決定するステップを含み、フローティング式ユーザインターフェースは、決定された場所から生じる。１つ以上の実施形態では、本方法はさらに、別のユーザ入力に少なくとも部分的に基づいて、フローティング式仮想ユーザインターフェースのレンダリングを終了させるステップを含む。
１つ以上の実施形態では、他のユーザ入力は、ジェスチャを含み、ジェスチャは、物理オブジェクトを横断してユーザのカップ状の手をドラッグする運動を含む。１つ以上の実施形態では、フローティング式仮想ユーザインターフェースは、少なくとも部分的に手中心基準フレームに基づいて、作成される。１つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザから受信される別のユーザ入力に基づいて、少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、選択された仮想インターフェース要素に関連付けられたコンテンツを表示するステップであって、コンテンツは、フローティング式仮想インターフェースに関係して表示される、ステップとを含む。
１つ以上の実施形態では、表示されるコンテンツは、手中心基準フレームに対応する。１つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザから受信される入力に基づいて、フローティング式仮想ユーザインターフェースが移動している場合、表示されるコンテンツが静止したままであるように、表示されるコンテンツを手中心基準フレームから世界中心基準フレームに移動させるステップを含む。
別の側面では、仮想ユーザインターフェースを作成する方法は、ユーザ入力に基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、少なくとも１つの物理オブジェクトに関係して、少なくとも１つの物理オブジェクトにタッチした場所から生じる、仮想ユーザインターフェースを表示するステップとを含み、仮想ユーザインターフェースは、少なくとも１つの物理オブジェクトにタッチした場所から飛び出ているように見え、仮想ユーザインターフェースは、仮想ユーザインターフェースに取り付けられるように見える少なくとも１つの選択可能仮想ユーザインターフェース要素を備えている。
１つ以上の実施形態では、少なくとも１つの物理オブジェクトは、水平表面を備えている。１つ以上の実施形態では、ユーザ入力は、ジェスチャを含む。１つ以上の実施形態では、ジェスチャは、所定の期間の間、伸ばされた指が少なくとも１つの物理オブジェクトをタッチすることを含む。１つ以上の実施形態では、本方法はさらに、ユーザの指が少なくとも１つの物理オブジェクトにタッチした場所を決定するステップを含み、仮想ユーザインターフェースは、決定された場所から生じる。
１つ以上の実施形態では、本方法はさらに、別のユーザ入力に少なくとも部分的に基づいて、フローティング式仮想ユーザインターフェースのレンダリングを終了させるステップを含む。１つ以上の実施形態では、他のユーザ入力は、ジェスチャを含み、ジェスチャは、レンダリングされた仮想ユーザインターフェースを横断して、ユーザの手を用いて切断する運動を含む。１つ以上の実施形態では、仮想ユーザインターフェースは、仮想ユーザインターフェースがユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される。
１つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザから受信される別のユーザ入力に基づいて、少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、少なくとも１つの物理オブジェクトの別の場所に、第２の仮想ユーザインターフェースを生成するステップであって、第２の仮想ユーザインターフェースは、追加の選択可能仮想インターフェース要素を備えている、ステップとを含む。１つ以上の実施形態では、仮想ユーザインターフェースは、少なくとも１つの物理オブジェクトにタッチした場所から生える木に類似する。
別の側面では、仮想ユーザインターフェースを表示する方法は、ユーザ入力に基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、仮想ユーザインターフェースが指の移動を鏡映するように、ユーザの指の運動を鏡映するような仮想ユーザインターフェースを描写するステップと、１つ以上の選択可能ユーザインターフェース要素を仮想ユーザインターフェースが描写されているエリア内に表示するステップとを含む。１つ以上の実施形態では、指ジェスチャは、所定の期間の間、ユーザの手の少なくとも１本の指を用いて指示するジェスチャを含む。
１つ以上の実施形態では、本方法はさらに、指示ジェスチャの場所を決定するステップを含み、仮想ユーザインターフェースは、決定された場所から生じる。１つ以上の実施形態では、本方法はさらに、ユーザが仮想ユーザインターフェースをもはや描写していないことを検出するステップを含み、仮想ユーザインターフェース要素は、少なくとも部分的に検出に基づいて、表示される。１つ以上の実施形態では、仮想ユーザインターフェースの描写は、空間を横断したユーザの指のドラッグ運動を鏡映する。１つ以上の実施形態では、本方法はさらに、別のユーザ入力に少なくとも部分的に基づいて、フローティング式仮想ユーザインターフェースのレンダリングを終了させるステップを含む。
１つ以上の実施形態では、他のユーザ入力は、ジェスチャを含み、ジェスチャは、ユーザの指の連続ドラッグ運動の終了を含む。１つ以上の実施形態では、仮想ユーザインターフェースは、仮想ユーザインターフェースがユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される。
１つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザから受信される別のユーザ入力に基づいて、少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、仮想ユーザインターフェースに関係する選択された仮想インターフェース要素に関連付けられたコンテンツを生成するステップとを含む。１つ以上の実施形態では、仮想ユーザインターフェースの形状は、ユーザの指によって描写される形状に類似する。
別の側面では、仮想ユーザインターフェースを作成する方法は、ユーザの手のジェスチャに基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、仮想ユーザインターフェースが物理オブジェクトの垂直側面にあるように見えるように、手のジェスチャの方向における物理オブジェクトの垂直側面の手のジェスチャに応答して、少なくとも１つの選択可能仮想インターフェース要素を有する仮想ユーザインターフェースを表示するステップとを含む。
１つ以上の実施形態では、本方法はさらに、手のジェスチャに応答して、塗料の斑点に似た仮想コンテンツの集合を表示するステップを含み、仮想コンテンツは、手のジェスチャによって示される点において生じる。１つ以上の実施形態では、手のジェスチャは、物理オブジェクトの垂直側面の方向に振り上げられた伸ばされた指を含む。１つ以上の実施形態では、本方法はさらに、物理オブジェクトの垂直側面の方向に振り上げられた伸ばされた指の場所を決定するステップを含み、塗料の斑点に似た仮想コンテンツの集合は、決定された場所に表示される。
１つ以上の実施形態では、本方法はさらに、仮想斑点を物理オブジェクトの垂直側面に表示するステップを含み、仮想斑点の少なくとも１つの特性は、少なくとも部分的に物理オブジェクトの垂直側面の方向に振り上げられた伸ばされた指の決定された場所に基づいて、物理オブジェクトの垂直側面に表示される。１つ以上の実施形態では、物理オブジェクトは、壁を備えている。
１つ以上の実施形態では、仮想ユーザインターフェースは、仮想ユーザインターフェースがユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される。１つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザから受信される別のユーザ入力に基づいて、少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、物理オブジェクトの別の場所に、選択されたユーザインターフェース要素に関連付けられたコンテンツを生成するステップとを含む。
１つ以上の実施形態では、本方法はさらに、選択されたユーザインターフェース要素に関連付けられたコンテンツを縮小形態で記憶するステップを含み、縮小形態は、仮想バンドを備え、仮想バンドは、ユーザの手の周囲に表示される。１つ以上の実施形態では、仮想バンドは、仮想バンドが、少なくとも部分的に手の移動に基づいて、移動するように、少なくとも部分的に手中心基準フレームに基づいて、作成される。
１つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザの別のジェスチャに基づいて、コンテンツを完全形態で表示するステップを含む。１つ以上の実施形態では、他のジェスチャは、仮想バンドが表示される、手の振り上げる運動を含む。
別の側面では、仮想ユーザインターフェースを作成する方法は、ユーザの手のジェスチャに基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、手のジェスチャに応答して、仮想ユーザインターフェースを表示するステップとを含み、仮想ユーザインターフェースは、少なくとも１つの選択可能仮想インターフェース要素が、少なくとも部分的にユーザの別の手のジェスチャに基づいて、移動し、追加の選択可能仮想インターフェース要素を表示するように、少なくとも１つの選択可能仮想インターフェース要素を有する水平糸に似ている。
１つ以上の実施形態では、手のジェスチャは、ユーザの第１の手の第１の指を第２の手の第２の指を用いてタッチする運動を含む。１つ以上の実施形態では、ジェスチャはさらに、第１の指が第２の指から引き離されるように、第１の指および第２の指の両方を引き離す運動を含む。１つ以上の実施形態では、仮想糸は、第１および第２の指の移動の長さを鏡映し、仮想糸の長さは、少なくとも部分的に第１および第２の指の移動に基づく。
１つ以上の実施形態では、本方法はさらに、第１および第２の指のタッチ運動を決定するステップを含み、仮想糸は、決定された場所から生じる。１つ以上の実施形態では、他方の手のジェスチャは、ユーザの手の転向運動を含み、転向移動は、少なくとも１つの選択可能仮想インターフェース要素を転向運動の方向に移動させる。
１つ以上の実施形態では、仮想ユーザインターフェースは、仮想ユーザインターフェースがユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される。１つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザの別の手のジェスチャに基づいて、少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、物理オブジェクトの別の場所に、選択されたユーザインターフェース要素に関連付けられたコンテンツを生成するステップとを含む。１つ以上の実施形態では、他方の手のジェスチャは、ユーザの一方の手を前方に持って来る運動を含む。
別の側面では、仮想ユーザインターフェースを作成する方法は、ユーザの手のジェスチャに基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、手のジェスチャに応答して、仮想ユーザインターフェースを表示するステップであって、仮想ユーザインターフェースは、垂直糸の集合を備え、垂直糸の各々は、少なくとも１つの選択可能仮想インターフェース要素に関連付けられる、ステップとを含む。
１つ以上の実施形態では、手のジェスチャは、所定の期間の間、ユーザの第１の手を広げるジェスチャを含む。１つ以上の実施形態では、本方法はさらに、別の手のジェスチャに少なくとも部分的に基づいて、少なくとも１つの選択可能仮想インターフェース要素を選択するステップを含み、他方の手のジェスチャは、ユーザの２本の指を用いて、仮想糸の集合の仮想糸のうちの少なくとも１つを引っ張る運動を含む。
１つ以上の実施形態では、本方法はさらに、手のジェスチャに少なくとも部分的に基づいて、第１の仮想糸に関連付けられた第１の仮想要素に関連付けられたデータを第２の仮想糸に関連付けられた第２の仮想要素に伝送するステップを含む。１つ以上の実施形態では、他方の手のジェスチャは、第２の仮想糸に関連付けられた第２の仮想要素を用いた第１の仮想糸に関連付けられた第１の仮想要素の圧搾運動を含み、圧搾運動は、ユーザの指によって行われる。
１つ以上の実施形態では、仮想インターフェースは、少なくとも１つの物理オブジェクトに関係して表示される。１つ以上の実施形態では、少なくとも１つの物理オブジェクトは、壁を備えている。１つ以上の実施形態では、本方法はさらに、手のジェスチャの場所を決定するステップを含み、仮想糸は、決定された場所から生じる。
１つ以上の実施形態では、仮想ユーザインターフェースは、仮想ユーザインターフェースがユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される。１つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザの別の手のジェスチャに基づいて、少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、物理オブジェクトの別の場所に、選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成するステップとを含む。
別の側面では、仮想ユーザインターフェースを作成する方法は、ユーザの手のジェスチャに基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、手のジェスチャに応答して、仮想ユーザインターフェースを表示するステップであって、仮想ユーザインターフェースは、垂直糸の集合を備え、垂直糸の各々は、少なくとも１つの選択可能仮想インターフェース要素に関連付けられる、ステップとを含む。１つ以上の実施形態では、手のジェスチャは、所定の期間の間、ユーザの第１の手を広げるジェスチャを含む。
１つ以上の実施形態では、本方法はさらに、別の手のジェスチャに少なくとも部分的に基づいて、少なくとも１つの選択可能仮想インターフェース要素を選択するステップを含み、他方の手のジェスチャは、ユーザの２本の指を用いて、仮想糸の集合の仮想糸のうちの少なくとも１つを引っ張る運動を含む。１つ以上の実施形態では、本方法はさらに、手のジェスチャに少なくとも部分的に基づいて、第１の仮想糸に関連付けられた第１の仮想要素に関連付けられたデータを第２の仮想糸に関連付けられた第２の仮想要素に伝送するステップを含む。
１つ以上の実施形態では、他方の手のジェスチャは、第２の仮想糸に関連付けられた第２の仮想要素を用いた第１の仮想糸に関連付けられた第１の仮想要素の圧搾運動を含み、圧搾運動は、ユーザの指によって行われる。１つ以上の実施形態では、仮想インターフェースは、少なくとも１つの物理オブジェクトに関係して表示される。１つ以上の実施形態では、少なくとも１つの物理オブジェクトは、壁を備えている。
１つ以上の実施形態では、本方法はさらに、手のジェスチャの場所を決定するステップを含み、仮想糸は、決定された場所から生じる。１つ以上の実施形態では、仮想ユーザインターフェースは、仮想ユーザインターフェースがユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される。
１つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザの別の手のジェスチャに基づいて、少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、物理オブジェクトの別の場所に、選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成するステップとを含む。
さらに別の側面では、仮想ユーザインターフェースを作成する方法は、ユーザの手のジェスチャに基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、手のジェスチャに応答して、仮想ユーザインターフェースを表示するステップとを含み、仮想ユーザインターフェースは、仮想クモの巣に似ており、ユーザは、仮想クモの巣の仮想糸を引っ張り、仮想インターフェースをユーザにより近付ける。
１つ以上の実施形態では、手のジェスチャは、ユーザの手の握り拳を用いて引っ張る運動を含む。１つ以上の実施形態では、仮想クモの巣の仮想糸は、少なくとも１つの選択可能仮想要素を備えている。１つ以上の実施形態では、本方法はさらに、別の手のジェスチャに少なくとも部分的に基づいて、少なくとも１つの選択可能仮想インターフェース要素を選択するステップを含み、他方の手のジェスチャは、仮想糸のうちの少なくとも１つをユーザに向かって引っ張る運動を含む。
１つ以上の実施形態では、本方法はさらに、手のジェスチャに少なくとも部分的に基づいて、第１の仮想糸に関連付けられた第１の仮想要素に関連付けられたデータを第２の仮想糸に関連付けられた第２の仮想要素に伝送するステップを含む。１つ以上の実施形態では、他方の手のジェスチャは、第２の仮想糸に関連付けられた第２の仮想要素を用いた第１の仮想糸に関連付けられた第１の仮想要素の圧搾運動を含み、圧搾運動は、ユーザの指によって行われる。
１つ以上の実施形態では、仮想インターフェースは、少なくとも１つの物理オブジェクトに関係して表示される。１つ以上の実施形態では、少なくとも１つの物理オブジェクトは、壁を備えている。１つ以上の実施形態では、本方法はさらに、手のジェスチャの場所を決定するステップを含み、仮想クモの巣は、決定された場所から生じる。
１つ以上の実施形態では、仮想ユーザインターフェースは、仮想ユーザインターフェースがユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される。１つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザの別の手のジェスチャに基づいて、少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、物理オブジェクトの別の場所に、選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成するステップとを含む。
本発明の付加的ならびに他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
マップデータを生成する方法であって、
１つ以上の画像に関連付けられたマップ点の集合を識別することと、
低密度点の集合および高密度点の集合を前記識別されたマップ点から決定することと、
前記それぞれの低密度点および高密度点の集合の正規化を行うことと
を含む、方法。
（項目２）
前記それぞれの低密度点および高密度点の集合のための低密度および高密度点記述子を生成することと、
前記低密度点記述子および高密度点記述子を組み合わせ、マップデータとして記憶することと
をさらに含む、項目１に記載の方法。
（項目３）
前記低密度点の集合は、固有の特徴に対応する、項目１に記載の方法。
（項目４）
前記固有の特徴は、角、円形、三角形、およびテキストから成る群から選択される、項目３に記載の方法。
（項目５）
前記高密度点の集合は、視野内の３Ｄ点に対応する、項目１に記載の方法。
（項目６）
前記高密度点の集合はまた、色値を含む、項目５に記載の方法。
（項目７）
前記正規化は、スケール正規化を備えている、項目１に記載の方法。
（項目８）
前記正規化は、共通原点に対する座標正規化を備えている、項目１に記載の方法。
（項目９）
前記正規化は、機械学習を使用して実装される、項目１に記載の方法。
（項目１０）
前記低密度および高密度点記述子は、前記それぞれの低密度および高密度点の集合の各低密度および高密度点に対応する、項目１に記載の方法。
（項目１１）
各低密度および高密度点記述子は、スケール、配向、パッチデータ、およびテクスチャから成る群から選択される、それぞれの低密度および高密度点に関する情報を含む、項目１０に記載の方法。
（項目１２）
ユーザ入力を決定する方法であって、
ユーザの視野の画像を捕捉することであって、前記画像は、前記ユーザによって作成されたジェスチャを含む、ことと、
前記捕捉された画像を分析し、前記ジェスチャに関連付けられた点の集合を識別することと、
前記識別された点の集合を所定のジェスチャのデータベースに関連付けられた点の集合と比較することと、
認識されたジェスチャに基づいて、ユーザ入力を決定することと
を含む、方法。
（項目１３）
前記比較に基づいて、前記識別された点の集合のためのスコア化値を生成することをさらに含む、項目１２に記載の方法。
（項目１４）
前記スコア化値が閾値を超えている場合、前記ジェスチャを認識することをさらに含む、項目１３に記載の方法。
（項目１５）
前記所定のジェスチャをデータベース内に記憶することをさらに含む、項目１２に記載の方法。
（項目１６）
ネットワーク化されたメモリにアクセスし、前記所定のジェスチャのデータベースにアクセスすることをさらに含む、項目１５に記載の方法。
（項目１７）
前記ジェスチャは、手のジェスチャである、項目１２に記載の方法。
（項目１８）
前記ジェスチャは、指ジェスチャである、項目１２に記載の方法。
（項目１９）
前記ジェスチャは、指間相互作用である、項目１２に記載の方法。
（項目２０）
前記ジェスチャは、指間相互作用、指示、タップ、および摩擦から成る群から選択される、項目１２に記載の方法。
（項目２１）
前記決定されたユーザ入力に少なくとも部分的に基づいて、１つ以上の仮想オブジェクトを前記ユーザに表示することをさらに含む、項目１２に記載の方法。
（項目２２）
前記１つ以上の仮想オブジェクトは、仮想ユーザインターフェースを備えている、項目２１に記載の方法。
（項目２３）
方法であって、
ユーザの視野に対応する１つ以上の画像を捕捉することと、
前記捕捉された１つ以上の画像を分析し、前記ユーザによって作成された１つ以上のジェスチャを識別することであって、前記分析は、複数の段階を有するカスケード機構を利用することを含む、ことと
を含む、方法。
（項目２４）
前記カスケード機構は、複数のノードを備え、各ノードは、前記複数の段階のうちのある段階に対応する、項目２３に記載の方法。
（項目２５）
前記カスケード機構は、一連のパーミッシブ型分析ノードを備えている、項目２３に記載の方法。
（項目２６）
前記カスケード機構の前記複数の段階のうちの前の段階は、前記カスケード機構の前記複数の段階のうちの後の段階と比較して少ない処理電力を消費する、項目２３に記載の方法。
（項目２７）
非ジェスチャは、前記カスケード機構の前記前の段階において捕捉された画像の分析に基づいて、除去される、項目２６に記載の方法。
（項目２８）
前記複数の段階のうちの前記後の段階は、前記捕捉された画像に少なくとも部分的に基づいて、より複雑なジェスチャを決定する、項目２６に記載の方法。
（項目２９）
前記捕捉された画像の分析は、前記捕捉された画像内の種々の形状の輪郭の鮮鋭度がジェスチャを構成するために十分に鮮鋭であるかどうかを決定することを含む、項目２６に記載の方法。
（項目３０）
前記カスケード機構の前記後の段階は、異なるジェスチャ間で区別するために利用される、項目２６に記載の方法。
（項目３１）
前記分析に少なくとも部分的に基づいて、スコアを生成することをさらに含む、項目２３に記載の方法。
（項目３２）
前記生成されたスコアが最小閾値より低い場合、候補画像を検討から除くことをさらに含む、項目３１に記載の方法。
（項目３３）
前記生成されたスコアが最小閾値より高い場合、前記カスケード機構の前記後の段階に前進することをさらに含む、項目３１に記載の方法。
（項目３４）
方法であって、
ユーザのそれぞれの視野の複数の画像を捕捉することと、
前記複数の画像を分析し、複数のジェスチャ候補を生成することと、
前記複数の分析値に対応する分析値を生成することであって、ジェスチャが、前記分析値に少なくとも部分的に基づいて、認識される、ことと
を含む、方法。
（項目３５）
前記それぞれの分析値に少なくとも部分的に基づいて、前記ジェスチャ候補をソートすることをさらに含む、項目３４に記載の方法。
（項目３６）
最小閾値より低い分析値を有するジェスチャ候補を排除することをさらに含む、項目３４に記載の方法。
（項目３７）
前記分析値が最小閾値より高い場合、前記ジェスチャ候補を処理の次の段階に前進させることをさらに含む、項目３４に記載の方法。
（項目３８）
ジェスチャを分類する方法であって、
ユーザの視野の画像を捕捉することと、
深度区画化を前記捕捉された画像に行い、深度マップを生成することと、
前記生成された深度マップに少なくとも部分的に基づいて、ジェスチャを識別することと
を含む、方法。
（項目３９）
分類機構を使用して、前記深度マップを分析し、前記深度マップ内の点に対応する手の一部を識別することをさらに含む、項目３８に記載の方法。
（項目４０）
前記手の一部の識別に基づいて、前記深度マップを骨格化することをさらに含む、項目３９に記載の方法。
（項目４１）
前記骨格化された深度マップに基づいて、前記画像をジェスチャとして分類することをさらに含む、項目４０に記載の方法。
（項目４２）
前記深度区画化は、線検索を備えている、項目３８に記載の方法。
（項目４３）
カスケード分析を前記深度マップに行い、前記画像を前記ジェスチャとして分類することをさらに含む、項目３８に記載の方法。
（項目４４）
深度拡張を前記深度マップに行うことをさらに含む、項目３８に記載の方法。
（項目４５）
表面正規化を前記深度マップに行うことをさらに含む、項目３８に記載の方法。
（項目４６）
配向正規化を前記深度マップに行うことをさらに含む、項目３８に記載の方法。
（項目４７）
背景減算を前記深度マップに行うことをさらに含む、項目３８に記載の方法。
（項目４８）
深度比較を前記深度マップに行うことをさらに含む、項目３８に記載の方法。
（項目４９）
前記骨格化された深度マップおよび以前の情報に基づいて、前記画像をジェスチャとして分類することをさらに含む、項目３８に記載の方法。
（項目５０）
前記分類機構は、決定森である、項目３８に記載の方法。
（項目５１）
ユーザ入力を決定する方法であって、
１つ以上のユーザの視野の画像を捕捉することであって、前記画像は、少なくとも所定の物理オブジェクトを備えている、ことと、
前記画像を分析し、前記所定の物理オブジェクトに関係する前記ユーザの移動を検出することと、
前記所定の物理オブジェクトに関係する前記移動の分析に少なくとも部分的に基づいて、ユーザ入力を決定することと
を含む、方法。
（項目５２）
前記所定の物理オブジェクトを認識することをさらに含む、項目５１に記載の方法。
（項目５３）
前記所定の物理オブジェクトは、前記所定の物理オブジェクトの捕捉された画像と所定の物理オブジェクトのデータベースとの間の画像比較に少なくとも部分的に基づいて、認識される、項目５２に記載の方法。
（項目５４）
前記所定の物理オブジェクトに関係する前記ユーザの前記移動は、パターンを生成するために使用される、項目５１に記載の方法。
（項目５５）
前記生成されたパターンを所定のパターンのデータベースと比較することをさらに含む、項目５４に記載の方法。
（項目５６）
前記比較に基づいて、前記認識されたパターンのためのスコア化値を生成することをさらに含む、項目５１に記載の方法。
（項目５７）
前記スコア化値が閾値を超えている場合、前記ユーザ入力を決定することをさらに含む、項目５６に記載の方法。
（項目５８）
前記所定の物理オブジェクトに関係する前記移動を視覚的に追跡し、ビデオ録画を生成することをさらに含む、項目５１に記載の方法。
（項目５９）
前記ビデオ録画は、前記ユーザ入力を決定するために分析される、項目５８に記載の方法。
（項目６０）
ネットワーク化されたメモリを通して、前記所定のパターンのデータベースにアクセスすることをさらに含む、項目５５に記載の方法。
（項目６１）
前記所定の物理オブジェクトは、前記視野内の既存の構造、能動的にマークされたトーテム、受動的にマークされたトーテム、カメラ／センサに統合されたオブジェクト、およびトーテムコントローラオブジェクトから成る群から選択される、項目５１に記載の方法。
（項目６２）
前記所定の物理オブジェクトに関係する前記移動は、基準フレームに対する前記所定の物理オブジェクトの位置、配向、および移動から成る群から選択される、項目５１に記載の方法。
（項目６３）
前記所定の物理オブジェクトは、前記ユーザの手のうちの第１の手を備え、前記第１の手に関係する移動は、前記ユーザの手のうちの第２の手を用いた前記第１の手の操作を備えている、項目５１に記載の方法。
（項目６４）
前記所定の物理オブジェクトは、軟質硬度表面を有し、前記所定の物理オブジェクトに関係する移動は、前記ユーザによる前記軟質硬度表面の押下を備えている、項目５１に記載の方法。
（項目６５）
前記ユーザのための前記所定の物理オブジェクトに関連付けられた仮想インターフェース要素をレンダリングすることをさらに含む、項目５１に記載の方法。
（項目６６）
前記仮想インターフェース要素は、前記ユーザによって視認されると、前記仮想インターフェース要素が、前記所定の物理オブジェクトに関係する修正に少なくとも部分的に基づいて、修正されるように、前記所定の物理オブジェクトに関係して表示される、項目６５に記載の方法。
（項目６７）
前記所定の物理オブジェクトは、電子入力デバイスを備え、ユーザ入力は、前記所定の物理オブジェクトの認識された移動に基づいて、決定され、前記電子入力デバイスから入力される、項目５１に記載の方法。
（項目６８）
前記決定されたユーザ入力に少なくとも部分的に基づいて、前記ユーザに表示される仮想コンテンツの少なくとも１つの特性を修正することをさらに含む、項目５１に記載の方法。
（項目６９）
仮想ユーザインターフェースを生成する方法であって、
ユーザ入力に基づいて、ユーザに表示されるべき仮想ユーザインターフェースを識別することと、
前記ユーザに関連付けられた場所を得ることと、
前記得られた場所に少なくとも部分的に基づいて、前記識別された仮想ユーザインターフェースを表示すべき座標点の集合を決定することと、
前記決定された座標点において、前記仮想ユーザインターフェースを前記ユーザに表示することと
を含む、方法。
（項目７０）
前記ユーザ入力は、認識されたジェスチャに少なくとも部分的に基づいて、決定される、項目６９に記載の方法。
（項目７１）
前記ユーザ入力は、音声コマンドに少なくとも部分的に基づいて、決定される、項目６９に記載の方法。
（項目７２）
前記ユーザ入力は、所定の物理オブジェクトとの相互作用に少なくとも部分的に基づいて、決定される、項目６９に記載の方法。
（項目７３）
前記識別されたユーザ仮想ユーザインターフェースをユーザインターフェースのライブラリから読み出すことをさらに含む、項目６９に記載の方法。
（項目７４）
前記識別された仮想ユーザインターフェースは、基準フレームに関連付けられている、項目６９に記載の方法。
（項目７５）
前記基準フレームは、身体中心基準フレームである、項目７４に記載の方法。
（項目７６）
前記基準フレームは、頭部中心基準フレームである、項目７４に記載の方法。
（項目７７）
前記基準フレームは、手中心基準フレームである、項目７４に記載の方法。
（項目７８）
前記基準フレームは、世界中心基準フレームである、項目７４に記載の方法。
（項目７９）
前記識別された仮想ユーザインターフェースに関連付けられた基準フレームと前記世界に関係する前記ユーザの得られた場所との間の変換を行い、前記仮想ユーザインターフェースの座標点の集合を決定することをさらに含む、項目６９に記載の方法。
（項目８０）
前記世界内の前記ユーザの場所は、前記ユーザのＧＰＳ場所に基づいて、決定される、項目６９に記載の方法。
（項目８１）
前記世界内の前記ユーザの場所は、前記ユーザに関連付けられたマップ点の集合に基づいて、決定される、項目６９に記載の方法。
（項目８２）
前記仮想ユーザインターフェースは、前記ユーザが移動する場合、静止しているように見える、項目６９に記載の方法。
（項目８３）
前記仮想ユーザインターフェースは、前記ユーザの移動に関係して移動する、項目６９に記載の方法。
（項目８４）
前記識別された仮想ユーザインターフェースに関連付けられた基準フレームを決定することと、
前記世界基準フレームに関係する前記基準フレームの場所を決定することと、
前記決定された場所を原点として設定することと、
前記原点に関係する前記座標点の集合を決定することと
をさらに含む、項目６９に記載の方法。
（項目８５）
前記マップ点の集合をネットワーク化されたメモリから読み出すことをさらに含む、項目６９に記載の方法。
（項目８６）
前記ユーザ入力は、前記仮想ユーザインターフェースが表示されるべき空間内の場所を備えている、項目６９に記載の方法。
（項目８７）
前記空間内の場所は、前記ユーザの場所における物理エンティティに関連付けられている、項目８６に記載の方法。
（項目８８）
前記ユーザ入力は、壁を示す投げる入力を含むジェスチャを含む、項目６９に記載の方法。
（項目８９）
前記ユーザ入力は、前記仮想ユーザインターフェースを生成するための命令の終了を意味するジェスチャを含む、項目６９に記載の方法。
（項目９０）
仮想ユーザインターフェースを生成する方法であって、
所定の物理オブジェクトの操作を検出することと、
前記検出された操作に基づいて、仮想ユーザインターフェースを作成するためのコマンドを認識することと、
仮想世界モデルから、前記所定の物理オブジェクトの位置に関連付けられたマップ点の集合を決定することと、
前記仮想ユーザインターフェースが前記ユーザによって視認されると、前記所定の物理オブジェクトの位置に静止しているように見えるように、前記仮想ユーザインターフェースを前記トーテムの位置に関連付けられた前記決定されたマップ点にリアルタイムでレンダリングすることと
を含む、方法。
（項目９１）
前記所定の物理オブジェクトの操作は、前記所定の物理オブジェクトの表面上で前記ユーザの手によって挟んだ状態を広げるジェスチャを含む、項目９０に記載の方法。
（項目９２）
前記仮想ユーザインターフェースは、前記ユーザによって視認されると、前記所定の物理オブジェクトの表面の一部を覆うように見え、前記部分は、前記挟んだ状態を広げるジェスチャの形成中の前記ユーザの手の場所に対応する、項目９１に記載の方法。
（項目９３）
前記所定の物理オブジェクトは、前記ユーザの手である、項目９０に記載の方法。
（項目９４）
前記所定の物理オブジェクトの操作は、前記ユーザが手を広げること、前記ユーザが手のひらを広げて見せること、および前記ユーザが手を挙げることから成る群から選択される、アクションを備えている、項目９３に記載の方法。
（項目９５）
前記仮想ユーザインターフェースは、前記ユーザによって視認されると、前記手の表面の一部を覆うように見える、項目９４に記載の方法。
（項目９６）
前記仮想ユーザインターフェースは、前記手の指または親指によって選択可能な複数の第１のレベルのメニューアイテムを備えている、項目９５に記載の方法。
（項目９７）
前記手のさらなる操作を検出することと、
前記検出されたさらなる操作に基づいて、第２の仮想ユーザインターフェースを作成するためのコマンドを認識することと、
前記ユーザによって視認されると、前記仮想ユーザインターフェースが前記所定の物理オブジェクトの位置において静止しているように見えるように、前記所定の物理オブジェクトの位置に関連付けられた前記決定されたマップ点に前記第２の仮想ユーザインターフェースをリアルタイムでレンダリングすることと
をさらに含む、項目９６に記載の方法。
（項目９８）
前記手のさらなる操作は、前記手の指が離れるように広げることを含む、項目９７に記載の方法。
（項目９９）
前記第２の仮想ユーザインターフェースは、前記手の指または親指によって選択可能な複数の第２のレベルのメニューアイテムを備え、前記第２のレベルは、前記第１のレベルより低い、項目９８に記載の方法。
（項目１００）
前記トーテムのさらなる操作は、前記ユーザの手のうちの第２の手からの指を用いて、前記手のひらに円を描写する運動を行なうことを含む、項目９７に記載の方法。
（項目１０１）
前記第２の仮想ユーザインターフェースは、弧に配列された複数のメニューアイテムを備え、前記メニューアイテムは、前記第２の手の指によってスクロール可能かつ選択可能である、項目１００に記載の方法。
（項目１０２）
仮想世界を更新する方法であって、
第１の入力を第１のユーザの第１のデバイスから受信することであって、前記第１の入力は、前記第１のユーザの物理環境に対応する、ことと、
前記受信された第１の入力に基づいて、仮想世界モデルを更新することであって、前記仮想世界モデルは、前記第１のユーザの物理環境に対応する、ことと、
前記仮想世界モデルの第１の部分に対応する第１の更新された情報を第２のユーザに伝送することと
を含み、
前記第１の更新された情報は、前記第１の更新された情報の任意の部分が前記第２のユーザに表示される必要があるかどうかを示す、方法。
（項目１０３）
前記仮想世界モデルは、ネットワーク化されたメモリ上に常駐する、項目１０２に記載の方法。
（項目１０４）
第１のユーザおよび前記第２のユーザは、それぞれの異なる場所に位置する、項目１０２に記載の方法。
（項目１０５）
前記第１のユーザの第１のデバイスは、ＦＯＶカメラ、他のカメラ、センサ、眼追跡用の第１のデバイス、およびオーディオ用の第１のデバイスから成る群から選択される、項目１０２に記載の方法。
（項目１０６）
前記仮想世界モデルの第１の部分に対応する前記第１の更新された情報を前記第１のユーザに伝送することをさらに含み、前記第１の更新された情報は、前記第１の更新された情報の任意の部分が前記第１のユーザに表示される必要があるかどうかを示す、項目１０２に記載の方法。
（項目１０７）
前記仮想世界モデルの第１の部分に対応する前記第１の更新された情報を複数の他のユーザに伝送することをさらに含み、前記第１の更新された情報は、前記第１の更新された情報の任意の部分が前記複数の他のユーザの各々に表示される必要があるかどうかを示す、項目１０２に記載の方法。
（項目１０８）
複数の入力を複数の他のユーザのそれぞれの第１のデバイスから受信することであって、前記複数の入力は、前記第１のユーザの物理環境に対応する、ことと、
前記受信された複数の入力に基づいて、前記仮想世界モデルを更新することと、
前記仮想世界モデルのそれぞれの追加の部分に対応する追加の更新された情報を前記第２のユーザに伝送することと
をさらに含み、
前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記第２のユーザに表示される必要があるかどうかを示す、項目１０２に記載の方法。
（項目１０９）
前記仮想世界モデルの前記部分に対応する前記追加の更新された情報を前記第１のユーザに伝送することをさらに含み、前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記第１のユーザに表示される必要があるかどうかを示す、項目１０８に記載の方法。
（項目１１０）
前記仮想世界モデルのそれぞれの追加の部分に対応する前記追加の更新された情報を前記複数の他のユーザに伝送することをさらに含み、前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記複数の他のユーザの各々に表示される必要があるかどうかを示す、項目１０８に記載の方法。
（項目１１１）
第２の入力を前記第２のユーザの第２のデバイスから受信することであって、前記第２の入力は、前記第２のユーザの物理環境に対応する、ことと、
前記受信された前記第２の入力に基づいて、前記仮想世界モデルを更新することであって、前記仮想世界モデルは、前記第１のユーザの物理環境に対応する、ことと、
前記仮想世界モデルの第２の部分に対応する第２の更新された情報を前記第１のユーザに伝送することと
をさらに含み、
前記第２の更新された情報は、前記第２の更新された情報の任意の部分が前記第１のユーザに表示される必要があるかどうかを示す、項目１０２に記載の方法。
（項目１１２）
前記第２の更新された情報は、前記仮想世界モデルの前記第２の部分内の前記第２のユーザのアバタの移動に対応する、項目１１１に記載の方法。
（項目１１３）
方法であって、
光パターンを空間上に投影することと、
カメラを用いて、前記光パターンの第１および第２の部分を検出し、前記パターンの前記第１および第２の部分に対応する第１および第２のデータ点を生成することと、
三角測量分析を行い、前記第１および第２のデータ点に少なくとも部分的に基づいて、前記光パターンの前記第１および第２の部分の場所を決定することと
を含む、方法。
（項目１１４）
前記パターンの複数の部分を投影し、検出し、三角測量するステップを繰り返し、前記空間の追加のテクスチャデータを取得することをさらに含む、項目１１３に記載の方法。
（項目１１５）
前記光を空間上に投影することは、ファイバベースのプロジェクタを使用して、前記光を前記空間上に投影することを含む、項目１１３に記載の方法。
（項目１１６）
前記光が前記空間上に投影される前に、光学要素を用いて前記光を修正し、光線の束を形成することをさらに含む、項目１１３に記載の方法。
（項目１１７）
前記光パターンは、構造化された光に対応し、前記光パターンは、動的である、項目１１３に記載の方法。
（項目１１８）
前記光パターンは、パターン化された光に対応し、前記光パターンは、複数の点を含む、項目１１３に記載の方法。
（項目１１９）
前記光パターンは、テクスチャ化された光に対応し、前記光パターンは、不規則である、項目１１３に記載の方法。
（項目１２０）
前記光パターンの前記第１および第２の部分は、前記光パターンのそれぞれの画素である、項目１１３に記載の方法。
（項目１３０）
仮想部屋を生成する方法であって、
ユーザに表示されるべき仮想部屋を識別することと、
前記仮想部屋に関連付けられた第１のマップ点の集合を得ることであって、前記第１のマップ点の集合は、前記ユーザの場所における第１の物理部屋に対応する、ことと、
前記仮想部屋を前記第１のマップ点の集合にテザリングすることと、
前記ユーザによって視認されると、前記仮想部屋が前記第１のマップ点の集合において静止しているように見えるように、前記仮想部屋を前記ユーザに表示することと
を含む、方法。
（項目１３１）
ユーザ入力に基づいて、前記仮想部屋を識別することをさらに含む、項目１３０に記載の方法。
（項目１３２）
前記ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される、項目１３１に記載の方法。
（項目１３３）
前記仮想部屋は、前記ユーザによって事前決定される、項目１３１に記載の方法。
（項目１３４）
前記第１のマップ点の集合をネットワーク化されたメモリから読み出すことをさらに含む、項目１３１に記載の方法。
（項目１３５）
前記仮想部屋に関連付けられた第２のマップ点の集合を得ることであって、前記第２のマップ点の集合は、前記ユーザが前記第１の物理部屋から移動した後の前記ユーザの場所における第２の物理部屋に対応する、ことと、
前記仮想部屋を前記第２のマップ点の集合にテザリングすることと、
前記ユーザによって視認されると、前記仮想部屋が前記第２のマップ点の集合において静止しているように見えるように、前記仮想部屋を前記ユーザに表示することと
をさらに含む、項目１３１に記載の方法。
（項目１３６）
前記仮想部屋はまた、第１および第２の仮想オブジェクトを含み、前記方法は、前記仮想部屋が前記第２のマップ点の集合にテザリングされている場合、前記第１のマップ点の集合に対応する前記第１の仮想オブジェクトと第２の仮想オブジェクトとの間の相対的空間位置を保つことをさらに含む、項目１３５に記載の方法。
（項目１３７）
前記ユーザによって視認されると、前記仮想部屋が前記第１の物理部屋の一部に対して静止しているように見えるように、前記仮想部屋を前記ユーザに表示することをさらに含む、項目１３１に記載の方法。
（項目１３８）
前記仮想部屋はまた、選択可能仮想装飾を含む、項目１３１に記載の方法。
（項目１３９）
小売体験を作成する方法であって、
小売店舗内のユーザの場所を認識することと、
前記小売店舗に対応するデータを読み出すことと、
前記読み出されたデータに基づいて、前記小売店舗に関連する仮想コンテンツを生成することと、
仮想ユーザインターフェースを前記ユーザの視野内に作成することと、
前記ユーザが前記小売店舗内で小売アクティビティに従事する間、前記仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
を含む、方法。
（項目１４０）
前記読み出されたデータは、前記小売店舗に対応するマップ点の集合を備え、
前記仮想ユーザインターフェースは、前記ユーザによって視認されると、前記マップ点の集合において静止しているように見える、項目１３９に記載の方法。
（項目１４１）
前記ユーザの場所は、無線周波数識別トランスポンダおよび通信を使用して認識される、項目１３９に記載の方法。
（項目１４２）
前記仮想コンテンツは、仮想キャラクタ、仮想クーポン、前記ユーザ場所に基づくゲーム、宣伝アイテムの一覧、栄養情報、アイテムに関連するメタデータ、有名人の登場、クロスセリング広告、前記ユーザに既知の人物からの情報、および電子書籍から成る群から選択される、項目１３９に記載の方法。
（項目１４３）
前記ユーザに対応するユーザデータを読み出すことと、
前記読み出されたデータおよび前記読み出されたユーザデータの両方に基づいて、前記仮想コンテンツを生成することと
をさらに含む、項目１３９に記載の方法。
（項目１４４）
前記仮想コンテンツは、仮想食料品一覧、仮想クーポン書籍、仮想レシピ書籍、前記ユーザの家内の種々の資材の一覧、および仮想レシピビルダから成る群から選択される、項目１４３に記載の方法。
（項目１４５）
ユーザ入力を受信することと、
前記ユーザ入力に基づいて、追加の仮想コンテンツを生成することと、
前記ユーザが前記小売店舗内の小売アクティビティに従事する間、前記追加の仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
をさらに含む、項目１３９に記載の方法。
（項目１４６）
前記ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される、項目１４５に記載の方法。
（項目１４７）
前記仮想コンテンツは、総運営コスト、スマート仮想食料品一覧、前記ユーザ場所に近接するアイテムのインジケータ、および仮想支払システムから成る群から選択される、項目１４５に記載の方法。
（項目１４８）
前記生成された仮想コンテンツを表示のためにユーザデバイスに送信することをさらに含む、項目１３９に記載の方法。
（項目１４９）
方法であって、
患者の医療履歴に関連する患者データを読み出すことと、
前記読み出された患者データに少なくとも部分的に基づいて、仮想コンテンツを生成することと、
前記第１のユーザの第１の場所に対応する第１のマップ点の集合を読み出すことと、
前記読み出されたマップ点の集合に少なくとも部分的に基づいて、第１の仮想ユーザインターフェースを第１のユーザの視野内に作成することと、
前記第１のユーザによって視認されると、前記第１の仮想ユーザインターフェースが前記第１のマップ点の集合において固定されているように見えるように、前記仮想コンテンツを前記第１の仮想ユーザインターフェース上に表示することと
を含む、方法。
（項目１５０）
前記仮想コンテンツは、外科手術の標的の３次元画像、患者識別情報、医療画像、患者のバイタルサイン情報、およびカルテから成る群から選択される、項目１４９に記載の方法。
（項目１５１）
前記患者データは、ネットワーク化されたメモリから読み出される、項目１４９に記載の方法。
（項目１５２）
第２の仮想ユーザインターフェースを生成し、前記第１のユーザと第２のユーザとの間の通信を促進することをさらに含み、前記第２のユーザは、前記第１のユーザの前記第１の場所と異なる第２の場所内に居る、項目１４９に記載の方法。
（項目１５３）
前記第２の仮想ユーザインターフェースは、前記第２のユーザの視覚的表現である、項目１５２に記載の方法。
（項目１５４）
前記第２のユーザは、上級専門外科医、患者、前記患者に関連する者、および医学生から成る群から選択される、項目１５２に記載の方法。
（項目１５５）
前記第２のユーザによって視認されると、前記第１の仮想ユーザインターフェースが前記マップ点の集合において固定されているように見えるように、前記仮想コンテンツを前記第１の仮想ユーザインターフェース上において前記第２のユーザに対して表示することをさらに含む、項目１５２に記載の方法。
（項目１５６）
前記仮想コンテンツは、前記外科手術手技中、前記第１のユーザに表示され、前記方法は、
ユーザ入力を受信することと、
前記ユーザ入力に基づいて、追加の仮想コンテンツを生成することと、
前記第１のユーザが前記外科手術手技を行っている間、前記追加の仮想コンテンツを前記第１の仮想ユーザインターフェース上に表示することと
をさらに含む、項目１４９に記載の方法。
（項目１５７）
前記ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される、項目１５６に記載の方法。
（項目１５８）
前記ユーザ入力は、前記第１のユーザの視野の画像を備え、前記方法は、前記第２のユーザによって視認されると、前記第１の仮想ユーザインターフェースが前記マップ点の集合において固定されているように見えるように、前記追加の仮想コンテンツを前記第１の仮想ユーザインターフェース上において前記第２のユーザに対して表示することをさらに含む、項目１５６に記載の方法。
（項目１５９）
医療リハビリテーションを促進する方法であって、
医療リハビリテーションに関連するユーザ入力を受信することと、
前記受信されたユーザ入力に基づいて、医療リハビリテーションに関連する要求をクラウドサーバに送信することと、
前記要求に基づいて、医療リハビリテーションに関連するデータを前記クラウドサーバに接続されている知識ベースから受信することと、
前記受信されたデータに基づいて、医療リハビリテーションに関連する仮想コンテンツを第１のユーザに表示することと
を含む、方法。
（項目１６０）
前記ユーザ入力は、視覚的、聴覚的、および感覚入力から成る群から選択される、項目１５９に記載の方法。
（項目１６１）
前記要求を前記クラウドサーバに送信する前に、前記ユーザ入力が有効であるかどうかを決定することをさらに含む、項目１５９に記載の方法。
（項目１６２）
前記データは、前記クラウドサーバに接続されている複数の知識ベースから受信される、項目１５９に記載の方法。
（項目１６３）
前記要求は、前記クラウドサーバに、データを前記知識ベースから読み出すように命令する、項目１５９に記載の方法。
（項目１６４）
前記仮想コンテンツは、リラックスさせる環境を含む、項目１５９に記載の方法。
（項目１６５）
追加のデータを第２のユーザから受信することと、
前記受信された追加のデータに基づいて、追加の仮想コンテンツを前記第１のユーザに表示することと
をさらに含む、項目１５９に記載の方法。
（項目１６６）
前記第１および第２のユーザは、異なる物理場所に位置する、項目１６５に記載の方法。
（項目１６７）
前記追加の仮想コンテンツは、前記第２のユーザの視覚的表現である、項目１６５に記載の方法。
（項目１６８）
第１のユーザデータを前記第１のユーザから受信することと、
第２のユーザデータを第２のユーザから受信することと、
前記受信された第１および第２のユーザデータに基づいて、前記仮想コンテンツを修正することと、
修正された仮想コンテンツを前記第１および第２のユーザに表示することと
をさらに含む、項目１５９に記載の方法。
（項目１６９）
前記第１のユーザは、医療リハビリテーションのための物理アクティビティに従事し、前記仮想コンテンツは、前記物理アクティビティに関連する、項目１５９に記載の方法。
（項目１７０）
前記仮想コンテンツは、前記物理アクティビティについての情報、前記第１のユーザのパフォーマンス統計、前記物理アクティビティに対応する仮想体験、および仮想アバタから成る群から選択される、項目１６９に記載の方法。
（項目１７１）
前記データは、ネットワーク化されたメモリから読み出される、項目１５９に記載の方法。
（項目１７２）
タスクのパフォーマンスを向上させる方法であって、
ユーザによって行われるべきタスクに関連するタスクデータを読み出すことと、
前記タスクデータに基づいて、仮想コンテンツを生成することと、
仮想ユーザインターフェースを前記ユーザの視野内に作成することと、
前記ユーザの場所に対応するマップ点の集合を読み出すことと、
前記ユーザによって視認されると、前記仮想ユーザインターフェースが前記マップ点の集合において固定されているように見えるように、前記ユーザが前記タスクを行っている間、前記仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
を含む、方法。
（項目１７３）
前記仮想コンテンツは、仮想マップされたパターンを有するゲームであり、前記ゲームは、前記ユーザによる前記タスクのパフォーマンスを改良する、項目１７２に記載の方法。
（項目１７４）
前記ゲームは、前記仮想マップされたパターンに従うことに対してポイントを与える、項目１７３に記載の方法。
（項目１７５）
前記ゲームは、前記仮想マップされたパターン内の地点に所定の時間内に到達することに対してポイントを倍にする、項目１７４に記載の方法。
（項目１７６）
前記ゲームは、前記仮想マップされたパターンから外れることに対してポイントを差し引く、項目１７５に記載の方法。
（項目１７７）
前記ゲームは、物理オブジェクトに隣接して移動することに対してポイントを差し引く、項目１７５に記載の方法。
（項目１７８）
前記タスクは、造園機械を運転すること、在庫アイテムを読み出すこと、小売棚に陳列すること、および郵便をソートすることから成る群から選択される、項目１７２に記載の方法。
（項目１７９）
前記タスクデータは、ネットワーク化されたメモリから読み出される、項目１７２に記載の方法。
（項目１８０）
ユーザ入力を受信することと、
前記ユーザ入力に基づいて、追加の仮想コンテンツを生成することと、
前記ユーザが前記タスクを行っている間、前記追加の仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
をさらに含む、項目１７２に記載の方法。
（項目１８１）
前記ユーザ入力は、前記タスクのパフォーマンスに関連するユーザアクションを備えている、項目１８０に記載の方法。
（項目１８２）
拡張現実ディスプレイシステムにおける遅延を補正する方法であって、
仮想画像をユーザに表示する少なくとも１つの段階における１つ以上のタイミング不一致を決定することと、
予測機構を利用して、前記タイミング不一致を予測的に補正することと、
前記予測機構に少なくとも部分的に基づいて、前記仮想画像のデータに関連する少なくとも１つの特性を補償することと
を含む、方法。
（項目１８３）
前記タイミング不一致は、１つ以上のセンサによって行われる１つ以上のセンサ測定に関わり、前記１つ以上のセンサは、前記プロセッサに通信可能に結合されている、項目１８２に記載の方法。
（項目１８４）
前記タイミング不一致は、着信データを処理するときの処理遅延に関わる、項目１８２に記載の方法。
（項目１８５）
前記予測機構は、フィルタを利用して、前記タイミング不一致の影響を補正する、項目１８２に記載の方法。
（項目１８６）
前記フィルタは、１つ以上のセンサ測定の相対的スピードを考慮し、前記センサ測定は、前記プロセッサに通信可能に結合されている１つ以上のセンサによって行われる、項目１８５に記載の方法。
（項目１８７）
前記予測機構は、カルマン予測子を利用する、項目１８２に記載の方法。
（項目１８８）
前記カルマン予測子は、ディスプレイ処理段階中、利用される、項目１８７に記載の方法。
（項目１８９）
前記補償は、前記仮想画像に関連付けられたデータのシフトを行うことを含む、項目１８２に記載の方法。
（項目１９０）
前記補償は、前記仮想画像に関連付けられた１つ以上の視覚的アーチファクトを平滑化することを含む、項目１８２に記載の方法。
（項目１９１）
前記補償は、１つ以上のセンサのセンサ測定の負の影響を補正することを含み、前記１つ以上のセンサは、前記プロセッサに通信可能に結合されている、項目１８２に記載の方法。
（項目１９２）
拡張現実システムを較正する方法であって、
仮想画像をユーザに表示することであって、前記仮想画像は、既知の焦点距離に表示され、前記仮想画像は、画素点を備えている、ことと、
前記画素点が前記ユーザに表示されている場所を決定することであって、前記画素の場所は、前記ユーザの眼の瞳孔の場所に少なくとも部分的に基づいて、計算される、ことと、
前記仮想画像の画素点を空間内の既知の点と整列させることと
を含む、方法。
（項目１９３）
項目３３１のステップは、複数の画素点に対して繰り返される、項目１９２に記載の方法。
（項目１９４）
前記画素点が前記ユーザに表示されている場所は、前記空間内の既知の点の場所に少なくとも部分的に基づいて、計算される、項目１９２に記載の方法。
（項目１９５）
前記瞳孔の場所、前記画素点の場所および前記空間内の既知の点の場所は、同一線上にある、項目１９２に記載の方法。
（項目１９６）
前記画素点が前記ユーザに表示されている場所は、ユーザ入力に基づいて、修正される、項目１９２に記載の方法。
（項目１９７）
複数の画素点が前記ユーザに提示されるように、ゲーム用インターフェースを作成することをさらに含む、項目１９６に記載の方法。
（項目１９８）
前記ゲーム用インターフェースは、前記ユーザの眼移動を通してレーザを発射することを含む、項目１９７に記載の方法。
（項目１９９）
前記既知の点の場所は、１つ以上の世界カメラから受信されるデータに少なくとも部分的に基づいて、決定される、項目１９７に記載の方法。
（項目２００）
項目１のステップは、前記ユーザの他方の眼に対して繰り返される、項目１９２に記載の方法。
（項目２０１）
前記画素点の場所は、前記瞳孔の場所および前記既知の点の場所の関数に少なくとも部分的に基づいて、決定される、項目１９３に記載の方法。
（項目２０２）
前記関数は、二次関数を備えている、項目２０１に記載の方法。
（項目２０３）
仮想インターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも１つの物理オブジェクトに関係して、アバタユーザインターフェースを表示することであって、前記アバタユーザインターフェースは、少なくとも１つの仮想ユーザインターフェース要素を提示する、ことと、
前記ユーザと前記アバタユーザインターフェースとの間の相互作用に少なくとも部分的に基づいて、少なくとも１つの仮想ユーザインターフェース要素を選択することと
を含む、方法。
（項目２０４）
前記ユーザ入力は、ジェスチャを含む、項目２０３に記載の方法。
（項目２０５）
前記ユーザの拡張現実ディスプレイシステムに関係する前記ジェスチャの場所を決定することをさらに含み、前記仮想ユーザインターフェースは、前記決定された場所に表示される、項目２０４に記載の方法。
（項目２０６）
前記アバタは、事前に選択されたアバタである、項目２０３に記載の方法。
（項目２０７）
前記アバタは、前記ユーザに似ている、項目２０３に記載の方法。
（項目２０８）
前記アバタは、前記物理オブジェクトの上に立っているかのように表示される、項目２０３に記載の方法。
（項目２０９）
前記少なくとも１つの仮想要素は、アプリケーションを備えている、項目２０３に記載の方法。
（項目２１０）
別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも１つの仮想要素を選択することであって、前記少なくとも１つの仮想要素は、前記ユーザの連絡先を備えている、ことと、
前記アバタ仮想ユーザインターフェースおよび前記物理オブジェクトに関係して、前記ユーザの連絡先を表す別のアバタを表示することであって、前記ユーザと前記ユーザの連絡先との間の相互作用は、前記アバタ仮想ユーザインターフェースと前記ユーザの連絡先を表す他のアバタとの間の仮想相互作用を通して動画化される、ことと
をさらに含む、項目２０３に記載の方法。
（項目２１１）
前記相互作用は、データを前記ユーザの拡張現実システムと前記ユーザの連絡先に対応するコンピューティングシステムとの間で伝送することを含む、項目２１０に記載の方法。
（項目２１２）
前記ユーザ入力は、音声コマンドを備えている、項目２０３に記載の方法。
（項目２１３）
仮想インターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも１つの物理オブジェクトに関係して、１つ以上の選択可能仮想インターフェース要素を備えているフローティング式ユーザインターフェースを表示することであって、前記フローティング式ユーザインターフェースは、前記ユーザ入力が受信された場所から押し出されたように見える、ことと
を含む、方法。
（項目２１４）
前記ユーザ入力は、前記ユーザの指のジェスチャを含む、項目２１３に記載の方法。
（項目２１５）
前記ユーザの指のジェスチャは、前記ユーザの一方の手の指を前記ユーザの他方の手の別の指を用いてタッチすることを含む、項目２１４に記載の方法。
（項目２１６）
前記ユーザの一方の手の指を前記ユーザの他方の手の別の指を用いてタッチした場所を決定することをさらに含み、前記フローティング式仮想ユーザインターフェースは、前記決定された場所から生じる、項目２１５に記載の方法。
（項目２１７）
前記フローティング式ユーザインターフェースは、３次元ブロックの集合を備え、前記３次元ブロックの集合のうちの３次元ブロックは、前記少なくとも１つの選択可能仮想ユーザインターフェース要素を表す、項目２１３に記載の方法。
（項目２１８）
前記フローティング式仮想ユーザインターフェースは、世界基準フレームに少なくとも部分的に基づいて、作成される、項目２１３に記載の方法。
（項目２１９）
前記少なくとも１つの選択可能仮想ユーザインターフェース要素は、３次元ブロックのスタックとして存在し、前記３次元ブロックのスタックは、別のユーザ入力に少なくとも部分的に基づいて、回転される、項目２１３に記載の方法。
（項目２２０）
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することであって、前記仮想インターフェース要素は、少なくとも１つの他のサブ仮想インターフェース要素に関連付けられている、ことと、
前記少なくとも１つの他のサブ仮想インターフェース要素を前記選択された仮想インターフェース要素の下に表示することと
をさらに含む、項目２１３に記載の方法。
（項目２２１）
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することと、
仮想ボックス内に、前記選択された仮想インターフェース要素に関連付けられたコンテンツを表示することであって、前記仮想ボックスは、前記ユーザの視野内に表示されるコンテンツを備えている、ことと
をさらに含む、項目２１３に記載の方法。
（項目２２２）
前記仮想ボックスが閉鎖されるべきことを示す第２のユーザ入力を識別することと、
前記第２のユーザ入力に少なくとも部分的に基づいて、前記仮想ボックスを紙をくしゃくしゃに丸めることに似た様式で動画化することと、
前記選択された仮想インターフェース要素に関連付けられたコンテンツを終了させることと
をさらに含む、項目２２１に記載の方法。
（項目２２３）
前記第２のユーザ入力は、ジェスチャを含み、前記ジェスチャは、１枚の紙をくしゃくしゃに丸めることに似ている、項目２２２に記載の方法。
（項目２２４）
仮想ユーザインターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも１つの物理オブジェクトに関係して、１つ以上の選択可能仮想インターフェース要素を備えているフローティング式ユーザインターフェースを表示することと
を含み、
前記フローティング式ユーザインターフェースは、前記少なくとも１つの物理オブジェクト上に置かれているように見え、前記少なくとも１つの物理オブジェクトの縦軸の周りでの前記少なくとも１つの物理オブジェクトの回転は、追加の選択可能仮想インターフェース要素が表示されることをもたらし、前記追加の選択可能仮想インターフェース要素は、前記少なくとも１つの物理オブジェクトの別の側に置かれているように見える、方法。
（項目２２５）
前記少なくとも１つの物理オブジェクトは、前記ユーザの腕を備えている、項目２２４に記載の方法。
（項目２２６）
前記ユーザ入力は、ジェスチャを含む、項目２２４に記載の方法。
（項目２２７）
前記ジェスチャは、前記選択可能仮想インターフェース要素が表示されているように見える、前記ユーザの腕上における前記ユーザの手のカップを形成するような運動を含む、項目２２６に記載の方法。
（項目２２８）
前記ユーザの腕上における前記ユーザの手のカップを形成するような運動の場所を決定することをさらに含み、前記フローティング式ユーザインターフェースは、前記決定された場所から生じる、項目２２７に記載の方法。
（項目２２９）
別のユーザ入力に少なくとも部分的に基づいて、前記フローティング式仮想ユーザインターフェースのレンダリングを終了させることをさらに含む、項目２２４に記載の方法。
（項目２３０）
前記他のユーザ入力は、ジェスチャを含み、前記ジェスチャは、前記物理オブジェクトを横断して前記ユーザのカップ状の手をドラッグする運動を含む、項目２２９に記載の方法。
（項目２３１）
前記フローティング式仮想ユーザインターフェースは、手中心基準フレームに少なくとも部分的に基づいて、作成される、項目２２４に記載の方法。
（項目２３２）
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することと、
前記選択された仮想インターフェース要素に関連付けられたコンテンツを表示することであって、前記コンテンツは、前記フローティング式仮想インターフェースに関係して表示される、ことと
をさらに含む、項目２２４に記載の方法。
（項目２３３）
前記表示されるコンテンツは、前記手中心基準フレームに対応する、項目２３１に記載の方法。
（項目２３４）
前記ユーザから受信される入力に少なくとも部分的に基づいて、前記フローティング式仮想ユーザインターフェースが移動している場合、前記表示されるコンテンツが静止したままであるように、前記表示されるコンテンツを前記手中心基準フレームから世界中心基準フレームに移動させることをさらに含む、項目２３１に記載の方法。
（項目２３５）
仮想ユーザインターフェースを作成する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも１つの物理オブジェクトに関係して、前記少なくとも１つの物理オブジェクトにタッチした場所から生じる仮想ユーザインターフェースを表示することであって、前記仮想ユーザインターフェースは、前記少なくとも１つの物理オブジェクトにタッチした場所から飛び出ているように見え、前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースに取り付けられているように見える少なくとも１つの選択可能仮想ユーザインターフェース要素を備えている、ことと
を含む、方法。
（項目２３６）
前記少なくとも１つの物理オブジェクトは、水平表面を備えている、項目２３５に記載の方法。
（項目２３７）
前記ユーザ入力は、ジェスチャを含む、項目２３５に記載の方法。
（項目２３８）
前記ジェスチャは、所定の期間の間、伸ばされた指が前記少なくとも１つの物理オブジェクトをタッチすることを含む、項目２３７に記載の方法。
（項目２３９）
前記ユーザの指が前記少なくとも１つの物理オブジェクトにタッチした場所を決定することをさらに含み、前記仮想ユーザインターフェースは、前記決定された場所から生じる、項目２３５に記載の方法。
（項目２４０）
別のユーザ入力に少なくとも部分的に基づいて、前記フローティング式仮想ユーザインターフェースのレンダリングを終了させることをさらに含む、項目２３５に記載の方法。
（項目２４１）
前記他のユーザ入力は、ジェスチャを含み、前記ジェスチャは、前記レンダリングされた仮想ユーザインターフェースを横断して、前記ユーザの手を用いて切断する運動を含む、項目２４０に記載の方法。
（項目２４２）
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目２３５に記載の方法。
（項目２４３）
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することと、
前記少なくとも１つの物理オブジェクトの別の場所に、第２の仮想ユーザインターフェースを生成することであって、前記第２の仮想ユーザインターフェースは、追加の選択可能仮想インターフェース要素を備えている、ことと
をさらに含む、項目２３５に記載の方法。
（項目２４４）
前記仮想ユーザインターフェースは、前記少なくとも１つの物理オブジェクトにタッチした場所から生えている木に似ている、項目２３５に記載の方法。
（項目２４５）
仮想ユーザインターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記仮想ユーザインターフェースが指の移動を鏡映するように、前記ユーザの前記指の運動を鏡映するような仮想ユーザインターフェースを描写することと、
１つ以上の選択可能ユーザインターフェース要素を前記仮想ユーザインターフェースが描写されているエリア内に表示することと
を含む、方法。
（項目２４６）
前記指ジェスチャは、所定の期間の間、前記ユーザの手の少なくとも１本の指を用いて指示するジェスチャを含む、項目２４５に記載の方法。
（項目２４７）
前記指示ジェスチャの場所を決定することをさらに含み、前記仮想ユーザインターフェースは、前記決定された場所から生じる、項目２４６に記載の方法。
（項目２４８）
前記ユーザが前記仮想ユーザインターフェースをもはや描写していないことを検出することをさらに含み、前記仮想ユーザインターフェース要素は、前記検出に少なくとも部分的に基づいて、表示される、項目２４５に記載の方法。
（項目２４９）
前記仮想ユーザインターフェースの描写は、空間を横断した前記ユーザの指のドラッグ運動を鏡映する、項目２４５に記載の方法。
（項目２５０）
別のユーザ入力に少なくとも部分的に基づいて、フローティング式仮想ユーザインターフェースのレンダリングを終了させることをさらに含む、項目２４５に記載の方法。
（項目２５１）
前記他のユーザ入力は、ジェスチャを含み、前記ジェスチャは、前記ユーザの指の連続ドラッグ運動の終了を含む、項目２５０に記載の方法。
（項目２５２）
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目２４５に記載の方法。
（項目２５３）
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記仮想ユーザインターフェースに関係して前記選択された仮想インターフェース要素に関連付けられたコンテンツを生成することと
をさらに含む、項目２４５に記載の方法。
（項目２５４）
前記仮想ユーザインターフェースの形状は、前記ユーザの指によって描写される形状に似ている、項目２４５に記載の方法。
（項目２５５）
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、前記仮想ユーザインターフェースが前記物理オブジェクトの垂直側面にあるように見えるように、前記手のジェスチャの方向における物理オブジェクトの前記垂直側面に少なくとも１つの選択可能仮想インターフェース要素を有する仮想ユーザインターフェースを表示することと
を含む、方法。
（項目２５６）
前記手のジェスチャに応答して、塗料の斑点に似た仮想コンテンツの集合を表示することをさらに含み、前記仮想コンテンツは、前記手のジェスチャによって示される点において生じる、項目２５５に記載の方法。
（項目２５７）
前記手のジェスチャは、前記物理オブジェクトの前記垂直側面の方向に振り上げられた伸ばされた指を含む、項目２５５に記載の方法。
（項目２５８）
前記物理オブジェクトの前記垂直側面の方向に振り上げられた伸ばされた指の場所を決定することをさらに含み、塗料の斑点に似た仮想コンテンツの集合は、前記決定された場所に表示される、項目２５７に記載の方法。
（項目２５９）
仮想斑点を前記物理オブジェクトの前記垂直側面に表示することをさらに含み、前記仮想斑点の少なくとも１つの特性は、前記物理オブジェクトの前記垂直側面の方向に振り上げられた伸ばされた指の決定された場所に少なくとも部分的に基づいて、前記物理オブジェクトの前記垂直側面に表示される、項目２５８に記載の方法。
（項目２６０）
前記物理オブジェクトは、壁を備えている、項目２５５に記載の方法。
（項目２６１）
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目２５５に記載の方法。
（項目２６２）
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられたコンテンツを生成することと
をさらに含む、項目２５５に記載の方法。
（項目２６３）
前記選択されたユーザインターフェース要素に関連付けられたコンテンツを縮小形態で記憶することをさらに含み、前記縮小形態は、仮想バンドを備え、前記仮想バンドは、前記ユーザの手の周囲に表示される、項目２６２２に記載の方法。
（項目２６４）
前記仮想バンドは、前記仮想バンドが少なくとも部分的に前記手の移動に基づいて移動するように、少なくとも部分的に手中心基準フレームに基づいて、作成される、項目２６３に記載の方法。
（項目２６５）
前記ユーザの別のジェスチャに少なくとも部分的に基づいて、前記コンテンツを完全形態で表示することをさらに含む、項目２６３に記載の方法。
（項目２６６）
前記他のジェスチャは、前記仮想バンドが表示される前記手の振り上げる運動を含む、項目２６５に記載の方法。
（項目２６７）
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、少なくとも１つの選択可能仮想インターフェース要素が前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、移動し、追加の選択可能仮想インターフェース要素を表示するように、前記少なくとも１つの選択可能仮想インターフェース要素を有する水平糸に似ている、方法。
（項目２６８）
前記手のジェスチャは、前記ユーザの第１の手の第１の指を第２の手の第２の指を用いてタッチする運動を含む、項目２６７に記載の方法。
（項目２６９）
前記ジェスチャは、前記第１の指が前記第２の指から離れるように、前記第１の指および前記第２の指の両方を引き離す運動をさらに含む、項目２６８に記載の方法。
（項目２７０）
前記仮想糸は、前記第１および第２の指の移動の長さを鏡映し、前記仮想糸の長さは、前記第１および第２の指の移動に少なくとも部分的に基づく、項目２６９に記載の方法。（項目２７１）
前記第１の指と第２の指とのタッチ運動の場所を決定することをさらに含み、前記仮想糸は、前記決定された場所から生じる、項目２６７に記載の方法。
（項目２７２）
前記他方の手のジェスチャは、前記ユーザの手の方向転換運動を含み、前記方向転換移動は、前記少なくとも１つの選択可能仮想インターフェース要素に前記方向転換運動の方向に移動させる、項目２６７に記載の方法。
（項目２７３）
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目２６７に記載の方法。
（項目２７４）
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられたコンテンツを生成することと
をさらに含む、項目２６７に記載の方法。
（項目２７５）
前記他方の手のジェスチャは、前記ユーザの一方の手を前方に持って来る運動を含む、項目２７４に記載の方法。
（項目２７６）
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、垂直糸の集合を備え、前記垂直糸の各々は、少なくとも１つの選択可能仮想インターフェース要素に関連付けられている、方法。
（項目２７７）
前記手のジェスチャは、所定の期間の間、前記ユーザの第１の手を広げるジェスチャを含む、項目２７６に記載の方法。
（項目２７８）
別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素を選択することをさらに含み、前記他方の手のジェスチャは、前記ユーザの２本の指を用いて、前記仮想糸の集合のうちの仮想糸のうちの少なくとも１つを引っ張る運動を含む、項目２７７に記載の方法。
（項目２７９）
手のジェスチャに少なくとも部分的に基づいて、第１の仮想糸に関連付けられた第１の仮想要素に関連付けられたデータを第２の仮想糸に関連付けられた第２の仮想要素に伝送することをさらに含む、項目２７６に記載の方法。
（項目２８０）
前記他方の手のジェスチャは、前記第２の仮想糸に関連付けられた前記第２の仮想要素を用いた前記第１の仮想糸に関連付けられた前記第１の仮想要素の圧搾運動を含み、前記圧搾運動は、前記ユーザの指によって行われる、項目２７９に記載の方法。
（項目２８１）
前記仮想インターフェースは、少なくとも１つの物理オブジェクトに関係して表示される、項目２７６に記載の方法。
（項目２８２）
前記少なくとも１つの物理オブジェクトは、壁を備えている、項目２８１に記載の方法。
（項目２８３）
手のジェスチャの場所を決定することをさらに含み、前記仮想糸は、前記決定された場所から生じる、項目２７６に記載の方法。
（項目２８４）
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目２７６に記載の方法。
（項目２８５）
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成することと
をさらに含む、項目２７６に記載の方法。
（項目２８６）
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、垂直糸の集合を備え、前記垂直糸の各々は、少なくとも１つの選択可能仮想インターフェース要素に関連付けられている、方法。
（項目２８７）
前記手のジェスチャは、所定の期間の間、前記ユーザの第１の手を広げるジェスチャを含む、項目２８６に記載の方法。
（項目２８８）
別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素を選択することをさらに含み、前記他方の手のジェスチャは、前記ユーザの２本の指を用いて、前記仮想糸の集合のうちの仮想糸のうちの少なくとも１つを引っ張る運動を含む、項目２８７に記載の方法。
（項目２８９）
手のジェスチャに少なくとも部分的に基づいて、第１の仮想糸に関連付けられた第１の仮想要素に関連付けられたデータを第２の仮想糸に関連付けられた第２の仮想要素に伝送することをさらに含む、項目２８６に記載の方法。
（項目２９０）
前記他方の手のジェスチャは、前記第２の仮想糸に関連付けられた前記第２の仮想要素を用いた前記第１の仮想糸に関連付けられた前記第１の仮想要素の圧搾運動を含み、前記圧搾運動は、前記ユーザの指によって行われる、項目２８９に記載の方法。
（項目２９１）
前記仮想インターフェースは、少なくとも１つの物理オブジェクトに関係して表示される、項目２８６に記載の方法。
（項目２９２）
前記少なくとも１つの物理オブジェクトは、壁を備えている、項目２９１に記載の方法。
（項目２９３）
手のジェスチャの場所を決定することをさらに含み、前記仮想糸は、前記決定された場所から生じる、項目２８６に記載の方法。
（項目２９４）
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目２８６に記載の方法。
（項目２９５）
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成することと
をさらに含む、項目２８６に記載の方法。
（項目２９６）
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、仮想クモの巣に似ており、前記ユーザは、前記仮想クモの巣の仮想糸を引っ張り、前記仮想インターフェースを前記ユーザに近付ける、方法。
（項目２９７）
前記手のジェスチャは、前記ユーザの手の握り拳を用いて引っ張る運動を含む、項目２９６に記載の方法。
（項目２９８）
前記仮想クモの巣の仮想糸は、少なくとも１つの選択可能仮想要素を備えている、項目２９７に記載の方法。
（項目２９９）
別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素を選択することをさらに含み、前記他方の手のジェスチャは、前記仮想糸のうちの少なくとも１つを前記ユーザに向かって引っ張る運動を含む、項目２９８に記載の方法。
（項目３００）
手のジェスチャに少なくとも部分的に基づいて、第１の仮想糸に関連付けられた第１の仮想要素に関連付けられたデータを第２の仮想糸に関連付けられた第２の仮想要素に伝送することをさらに含む、項目２９６に記載の方法。
（項目３０１）
前記他方の手のジェスチャは、前記第２の仮想糸に関連付けられた前記第２の仮想要素を用いた前記第１の仮想糸に関連付けられた前記第１の仮想要素の圧搾運動を含み、前記圧搾運動は、前記ユーザの指によって行われる、項目３００に記載の方法。
（項目３０２）
前記仮想インターフェースは、少なくとも１つの物理オブジェクトに関係して表示される、項目２９６に記載の方法。
（項目３０３）
前記少なくとも１つの物理オブジェクトは、壁を備えている、項目３０２に記載の方法。
（項目３０４）
手のジェスチャの場所を決定することをさらに含み、前記仮想クモの巣は、前記決定された場所から生じる、項目２９６に記載の方法。
（項目３０５）
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目２９６に記載の方法。
（項目３０６）
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成することと
をさらに含む、項目２９６に記載の方法。
（項目３０７）
前記方法ステップを実装する手段を有するシステムとして実装される、項目１−３０６に記載の方法。
（項目３０８）
前記方法ステップを実行するための実行可能コードを有するコンピュータ使用可能記憶媒体を備えているコンピュータプログラム製品として実装される、項目１−３０６に記載の方法。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
マップデータを生成する方法であって、
１つ以上の画像に関連付けられたマップ点の集合を識別することと、
低密度点の集合および高密度点の集合を前記識別されたマップ点から決定することと、
前記それぞれの低密度点および高密度点の集合の正規化を行うことと
を含む、方法。
（項目２）
前記それぞれの低密度点および高密度点の集合のための低密度および高密度点記述子を生成することと、
前記低密度点記述子および高密度点記述子を組み合わせ、マップデータとして記憶することと
をさらに含む、項目１に記載の方法。
（項目３）
前記低密度点の集合は、固有の特徴に対応する、項目１に記載の方法。
（項目４）
前記固有の特徴は、角、円形、三角形、およびテキストから成る群から選択される、項目３に記載の方法。
（項目５）
前記高密度点の集合は、視野内の３Ｄ点に対応する、項目１に記載の方法。
（項目６）
前記高密度点の集合はまた、色値を含む、項目５に記載の方法。
（項目７）
前記正規化は、スケール正規化を備えている、項目１に記載の方法。
（項目８）
前記正規化は、共通原点に対する座標正規化を備えている、項目１に記載の方法。
（項目９）
前記正規化は、機械学習を使用して実装される、項目１に記載の方法。
（項目１０）
前記低密度および高密度点記述子は、前記それぞれの低密度および高密度点の集合の各低密度および高密度点に対応する、項目１に記載の方法。
（項目１１）
各低密度および高密度点記述子は、スケール、配向、パッチデータ、およびテクスチャから成る群から選択される、それぞれの低密度および高密度点に関する情報を含む、項目１０に記載の方法。
（項目１２）
ユーザ入力を決定する方法であって、
ユーザの視野の画像を捕捉することであって、前記画像は、前記ユーザによって作成されたジェスチャを含む、ことと、
前記捕捉された画像を分析し、前記ジェスチャに関連付けられた点の集合を識別することと、
前記識別された点の集合を所定のジェスチャのデータベースに関連付けられた点の集合と比較することと、
認識されたジェスチャに基づいて、ユーザ入力を決定することと
を含む、方法。
（項目１３）
前記比較に基づいて、前記識別された点の集合のためのスコア化値を生成することをさらに含む、項目１２に記載の方法。
（項目１４）
前記スコア化値が閾値を超えている場合、前記ジェスチャを認識することをさらに含む、項目１３に記載の方法。
（項目１５）
前記所定のジェスチャをデータベース内に記憶することをさらに含む、項目１２に記載の方法。
（項目１６）
ネットワーク化されたメモリにアクセスし、前記所定のジェスチャのデータベースにアクセスすることをさらに含む、項目１５に記載の方法。
（項目１７）
前記ジェスチャは、手のジェスチャである、項目１２に記載の方法。
（項目１８）
前記ジェスチャは、指ジェスチャである、項目１２に記載の方法。
（項目１９）
前記ジェスチャは、指間相互作用である、項目１２に記載の方法。
（項目２０）
前記ジェスチャは、指間相互作用、指示、タップ、および摩擦から成る群から選択される、項目１２に記載の方法。
（項目２１）
前記決定されたユーザ入力に少なくとも部分的に基づいて、１つ以上の仮想オブジェクトを前記ユーザに表示することをさらに含む、項目１２に記載の方法。
（項目２２）
前記１つ以上の仮想オブジェクトは、仮想ユーザインターフェースを備えている、項目２１に記載の方法。
（項目２３）
方法であって、
ユーザの視野に対応する１つ以上の画像を捕捉することと、
前記捕捉された１つ以上の画像を分析し、前記ユーザによって作成された１つ以上のジェスチャを識別することであって、前記分析は、複数の段階を有するカスケード機構を利用することを含む、ことと
を含む、方法。
（項目２４）
前記カスケード機構は、複数のノードを備え、各ノードは、前記複数の段階のうちのある段階に対応する、項目２３に記載の方法。
（項目２５）
前記カスケード機構は、一連のパーミッシブ型分析ノードを備えている、項目２３に記載の方法。
（項目２６）
前記カスケード機構の前記複数の段階のうちの前の段階は、前記カスケード機構の前記複数の段階のうちの後の段階と比較して少ない処理電力を消費する、項目２３に記載の方法。
（項目２７）
非ジェスチャは、前記カスケード機構の前記前の段階において捕捉された画像の分析に基づいて、除去される、項目２６に記載の方法。
（項目２８）
前記複数の段階のうちの前記後の段階は、前記捕捉された画像に少なくとも部分的に基づいて、より複雑なジェスチャを決定する、項目２６に記載の方法。
（項目２９）
前記捕捉された画像の分析は、前記捕捉された画像内の種々の形状の輪郭の鮮鋭度がジェスチャを構成するために十分に鮮鋭であるかどうかを決定することを含む、項目２６に記載の方法。
（項目３０）
前記カスケード機構の前記後の段階は、異なるジェスチャ間で区別するために利用される、項目２６に記載の方法。
（項目３１）
前記分析に少なくとも部分的に基づいて、スコアを生成することをさらに含む、項目２３に記載の方法。
（項目３２）
前記生成されたスコアが最小閾値より低い場合、候補画像を検討から除くことをさらに含む、項目３１に記載の方法。
（項目３３）
前記生成されたスコアが最小閾値より高い場合、前記カスケード機構の前記後の段階に前進することをさらに含む、項目３１に記載の方法。
（項目３４）
方法であって、
ユーザのそれぞれの視野の複数の画像を捕捉することと、
前記複数の画像を分析し、複数のジェスチャ候補を生成することと、
前記複数の分析値に対応する分析値を生成することであって、ジェスチャが、前記分析値に少なくとも部分的に基づいて、認識される、ことと
を含む、方法。
（項目３５）
前記それぞれの分析値に少なくとも部分的に基づいて、前記ジェスチャ候補をソートすることをさらに含む、項目３４に記載の方法。
（項目３６）
最小閾値より低い分析値を有するジェスチャ候補を排除することをさらに含む、項目３４に記載の方法。
（項目３７）
前記分析値が最小閾値より高い場合、前記ジェスチャ候補を処理の次の段階に前進させることをさらに含む、項目３４に記載の方法。
（項目３８）
ジェスチャを分類する方法であって、
ユーザの視野の画像を捕捉することと、
深度区画化を前記捕捉された画像に行い、深度マップを生成することと、
前記生成された深度マップに少なくとも部分的に基づいて、ジェスチャを識別することと
を含む、方法。
（項目３９）
分類機構を使用して、前記深度マップを分析し、前記深度マップ内の点に対応する手の一部を識別することをさらに含む、項目３８に記載の方法。
（項目４０）
前記手の一部の識別に基づいて、前記深度マップを骨格化することをさらに含む、項目３９に記載の方法。
（項目４１）
前記骨格化された深度マップに基づいて、前記画像をジェスチャとして分類することをさらに含む、項目４０に記載の方法。
（項目４２）
前記深度区画化は、線検索を備えている、項目３８に記載の方法。
（項目４３）
カスケード分析を前記深度マップに行い、前記画像を前記ジェスチャとして分類することをさらに含む、項目３８に記載の方法。
（項目４４）
深度拡張を前記深度マップに行うことをさらに含む、項目３８に記載の方法。
（項目４５）
表面正規化を前記深度マップに行うことをさらに含む、項目３８に記載の方法。
（項目４６）
配向正規化を前記深度マップに行うことをさらに含む、項目３８に記載の方法。
（項目４７）
背景減算を前記深度マップに行うことをさらに含む、項目３８に記載の方法。
（項目４８）
深度比較を前記深度マップに行うことをさらに含む、項目３８に記載の方法。
（項目４９）
前記骨格化された深度マップおよび以前の情報に基づいて、前記画像をジェスチャとして分類することをさらに含む、項目３８に記載の方法。
（項目５０）
前記分類機構は、決定森である、項目３８に記載の方法。
（項目５１）
ユーザ入力を決定する方法であって、
１つ以上のユーザの視野の画像を捕捉することであって、前記画像は、少なくとも所定の物理オブジェクトを備えている、ことと、
前記画像を分析し、前記所定の物理オブジェクトに関係する前記ユーザの移動を検出することと、
前記所定の物理オブジェクトに関係する前記移動の分析に少なくとも部分的に基づいて、ユーザ入力を決定することと
を含む、方法。
（項目５２）
前記所定の物理オブジェクトを認識することをさらに含む、項目５１に記載の方法。
（項目５３）
前記所定の物理オブジェクトは、前記所定の物理オブジェクトの捕捉された画像と所定の物理オブジェクトのデータベースとの間の画像比較に少なくとも部分的に基づいて、認識される、項目５２に記載の方法。
（項目５４）
前記所定の物理オブジェクトに関係する前記ユーザの前記移動は、パターンを生成するために使用される、項目５１に記載の方法。
（項目５５）
前記生成されたパターンを所定のパターンのデータベースと比較することをさらに含む、項目５４に記載の方法。
（項目５６）
前記比較に基づいて、前記認識されたパターンのためのスコア化値を生成することをさらに含む、項目５１に記載の方法。
（項目５７）
前記スコア化値が閾値を超えている場合、前記ユーザ入力を決定することをさらに含む、項目５６に記載の方法。
（項目５８）
前記所定の物理オブジェクトに関係する前記移動を視覚的に追跡し、ビデオ録画を生成することをさらに含む、項目５１に記載の方法。
（項目５９）
前記ビデオ録画は、前記ユーザ入力を決定するために分析される、項目５８に記載の方法。
（項目６０）
ネットワーク化されたメモリを通して、前記所定のパターンのデータベースにアクセスすることをさらに含む、項目５５に記載の方法。
（項目６１）
前記所定の物理オブジェクトは、前記視野内の既存の構造、能動的にマークされたトーテム、受動的にマークされたトーテム、カメラ／センサに統合されたオブジェクト、およびトーテムコントローラオブジェクトから成る群から選択される、項目５１に記載の方法。
（項目６２）
前記所定の物理オブジェクトに関係する前記移動は、基準フレームに対する前記所定の物理オブジェクトの位置、配向、および移動から成る群から選択される、項目５１に記載の方法。
（項目６３）
前記所定の物理オブジェクトは、前記ユーザの手のうちの第１の手を備え、前記第１の手に関係する移動は、前記ユーザの手のうちの第２の手を用いた前記第１の手の操作を備えている、項目５１に記載の方法。
（項目６４）
前記所定の物理オブジェクトは、軟質硬度表面を有し、前記所定の物理オブジェクトに関係する移動は、前記ユーザによる前記軟質硬度表面の押下を備えている、項目５１に記載の方法。
（項目６５）
前記ユーザのための前記所定の物理オブジェクトに関連付けられた仮想インターフェース要素をレンダリングすることをさらに含む、項目５１に記載の方法。
（項目６６）
前記仮想インターフェース要素は、前記ユーザによって視認されると、前記仮想インターフェース要素が、前記所定の物理オブジェクトに関係する修正に少なくとも部分的に基づいて、修正されるように、前記所定の物理オブジェクトに関係して表示される、項目６５に記載の方法。
（項目６７）
前記所定の物理オブジェクトは、電子入力デバイスを備え、ユーザ入力は、前記所定の物理オブジェクトの認識された移動に基づいて、決定され、前記電子入力デバイスから入力される、項目５１に記載の方法。
（項目６８）
前記決定されたユーザ入力に少なくとも部分的に基づいて、前記ユーザに表示される仮想コンテンツの少なくとも１つの特性を修正することをさらに含む、項目５１に記載の方法。
（項目６９）
仮想ユーザインターフェースを生成する方法であって、
ユーザ入力に基づいて、ユーザに表示されるべき仮想ユーザインターフェースを識別することと、
前記ユーザに関連付けられた場所を得ることと、
前記得られた場所に少なくとも部分的に基づいて、前記識別された仮想ユーザインターフェースを表示すべき座標点の集合を決定することと、
前記決定された座標点において、前記仮想ユーザインターフェースを前記ユーザに表示することと
を含む、方法。
（項目７０）
前記ユーザ入力は、認識されたジェスチャに少なくとも部分的に基づいて、決定される、項目６９に記載の方法。
（項目７１）
前記ユーザ入力は、音声コマンドに少なくとも部分的に基づいて、決定される、項目６９に記載の方法。
（項目７２）
前記ユーザ入力は、所定の物理オブジェクトとの相互作用に少なくとも部分的に基づいて、決定される、項目６９に記載の方法。
（項目７３）
前記識別されたユーザ仮想ユーザインターフェースをユーザインターフェースのライブラリから読み出すことをさらに含む、項目６９に記載の方法。
（項目７４）
前記識別された仮想ユーザインターフェースは、基準フレームに関連付けられている、項目６９に記載の方法。
（項目７５）
前記基準フレームは、身体中心基準フレームである、項目７４に記載の方法。
（項目７６）
前記基準フレームは、頭部中心基準フレームである、項目７４に記載の方法。
（項目７７）
前記基準フレームは、手中心基準フレームである、項目７４に記載の方法。
（項目７８）
前記基準フレームは、世界中心基準フレームである、項目７４に記載の方法。
（項目７９）
前記識別された仮想ユーザインターフェースに関連付けられた基準フレームと前記世界に関係する前記ユーザの得られた場所との間の変換を行い、前記仮想ユーザインターフェースの座標点の集合を決定することをさらに含む、項目６９に記載の方法。
（項目８０）
前記世界内の前記ユーザの場所は、前記ユーザのＧＰＳ場所に基づいて、決定される、項目６９に記載の方法。
（項目８１）
前記世界内の前記ユーザの場所は、前記ユーザに関連付けられたマップ点の集合に基づいて、決定される、項目６９に記載の方法。
（項目８２）
前記仮想ユーザインターフェースは、前記ユーザが移動する場合、静止しているように見える、項目６９に記載の方法。
（項目８３）
前記仮想ユーザインターフェースは、前記ユーザの移動に関係して移動する、項目６９に記載の方法。
（項目８４）
前記識別された仮想ユーザインターフェースに関連付けられた基準フレームを決定することと、
前記世界基準フレームに関係する前記基準フレームの場所を決定することと、
前記決定された場所を原点として設定することと、
前記原点に関係する前記座標点の集合を決定することと
をさらに含む、項目６９に記載の方法。
（項目８５）
前記マップ点の集合をネットワーク化されたメモリから読み出すことをさらに含む、項目６９に記載の方法。
（項目８６）
前記ユーザ入力は、前記仮想ユーザインターフェースが表示されるべき空間内の場所を備えている、項目６９に記載の方法。
（項目８７）
前記空間内の場所は、前記ユーザの場所における物理エンティティに関連付けられている、項目８６に記載の方法。
（項目８８）
前記ユーザ入力は、壁を示す投げる入力を含むジェスチャを含む、項目６９に記載の方法。
（項目８９）
前記ユーザ入力は、前記仮想ユーザインターフェースを生成するための命令の終了を意味するジェスチャを含む、項目６９に記載の方法。
（項目９０）
仮想ユーザインターフェースを生成する方法であって、
所定の物理オブジェクトの操作を検出することと、
前記検出された操作に基づいて、仮想ユーザインターフェースを作成するためのコマンドを認識することと、
仮想世界モデルから、前記所定の物理オブジェクトの位置に関連付けられたマップ点の集合を決定することと、
前記仮想ユーザインターフェースが前記ユーザによって視認されると、前記所定の物理オブジェクトの位置に静止しているように見えるように、前記仮想ユーザインターフェースを前記トーテムの位置に関連付けられた前記決定されたマップ点にリアルタイムでレンダリングすることと
を含む、方法。
（項目９１）
前記所定の物理オブジェクトの操作は、前記所定の物理オブジェクトの表面上で前記ユーザの手によって挟んだ状態を広げるジェスチャを含む、項目９０に記載の方法。
（項目９２）
前記仮想ユーザインターフェースは、前記ユーザによって視認されると、前記所定の物理オブジェクトの表面の一部を覆うように見え、前記部分は、前記挟んだ状態を広げるジェスチャの形成中の前記ユーザの手の場所に対応する、項目９１に記載の方法。
（項目９３）
前記所定の物理オブジェクトは、前記ユーザの手である、項目９０に記載の方法。
（項目９４）
前記所定の物理オブジェクトの操作は、前記ユーザが手を広げること、前記ユーザが手のひらを広げて見せること、および前記ユーザが手を挙げることから成る群から選択される、アクションを備えている、項目９３に記載の方法。
（項目９５）
前記仮想ユーザインターフェースは、前記ユーザによって視認されると、前記手の表面の一部を覆うように見える、項目９４に記載の方法。
（項目９６）
前記仮想ユーザインターフェースは、前記手の指または親指によって選択可能な複数の第１のレベルのメニューアイテムを備えている、項目９５に記載の方法。
（項目９７）
前記手のさらなる操作を検出することと、
前記検出されたさらなる操作に基づいて、第２の仮想ユーザインターフェースを作成するためのコマンドを認識することと、
前記ユーザによって視認されると、前記仮想ユーザインターフェースが前記所定の物理オブジェクトの位置において静止しているように見えるように、前記所定の物理オブジェクトの位置に関連付けられた前記決定されたマップ点に前記第２の仮想ユーザインターフェースをリアルタイムでレンダリングすることと
をさらに含む、項目９６に記載の方法。
（項目９８）
前記手のさらなる操作は、前記手の指が離れるように広げることを含む、項目９７に記載の方法。
（項目９９）
前記第２の仮想ユーザインターフェースは、前記手の指または親指によって選択可能な複数の第２のレベルのメニューアイテムを備え、前記第２のレベルは、前記第１のレベルより低い、項目９８に記載の方法。
（項目１００）
前記トーテムのさらなる操作は、前記ユーザの手のうちの第２の手からの指を用いて、前記手のひらに円を描写する運動を行なうことを含む、項目９７に記載の方法。
（項目１０１）
前記第２の仮想ユーザインターフェースは、弧に配列された複数のメニューアイテムを備え、前記メニューアイテムは、前記第２の手の指によってスクロール可能かつ選択可能である、項目１００に記載の方法。
（項目１０２）
仮想世界を更新する方法であって、
第１の入力を第１のユーザの第１のデバイスから受信することであって、前記第１の入力は、前記第１のユーザの物理環境に対応する、ことと、
前記受信された第１の入力に基づいて、仮想世界モデルを更新することであって、前記仮想世界モデルは、前記第１のユーザの物理環境に対応する、ことと、
前記仮想世界モデルの第１の部分に対応する第１の更新された情報を第２のユーザに伝送することと
を含み、
前記第１の更新された情報は、前記第１の更新された情報の任意の部分が前記第２のユーザに表示される必要があるかどうかを示す、方法。
（項目１０３）
前記仮想世界モデルは、ネットワーク化されたメモリ上に常駐する、項目１０２に記載の方法。
（項目１０４）
第１のユーザおよび前記第２のユーザは、それぞれの異なる場所に位置する、項目１０２に記載の方法。
（項目１０５）
前記第１のユーザの第１のデバイスは、ＦＯＶカメラ、他のカメラ、センサ、眼追跡用の第１のデバイス、およびオーディオ用の第１のデバイスから成る群から選択される、項目１０２に記載の方法。
（項目１０６）
前記仮想世界モデルの第１の部分に対応する前記第１の更新された情報を前記第１のユーザに伝送することをさらに含み、前記第１の更新された情報は、前記第１の更新された情報の任意の部分が前記第１のユーザに表示される必要があるかどうかを示す、項目１０２に記載の方法。
（項目１０７）
前記仮想世界モデルの第１の部分に対応する前記第１の更新された情報を複数の他のユーザに伝送することをさらに含み、前記第１の更新された情報は、前記第１の更新された情報の任意の部分が前記複数の他のユーザの各々に表示される必要があるかどうかを示す、項目１０２に記載の方法。
（項目１０８）
複数の入力を複数の他のユーザのそれぞれの第１のデバイスから受信することであって、前記複数の入力は、前記第１のユーザの物理環境に対応する、ことと、
前記受信された複数の入力に基づいて、前記仮想世界モデルを更新することと、
前記仮想世界モデルのそれぞれの追加の部分に対応する追加の更新された情報を前記第２のユーザに伝送することと
をさらに含み、
前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記第２のユーザに表示される必要があるかどうかを示す、項目１０２に記載の方法。
（項目１０９）
前記仮想世界モデルの前記部分に対応する前記追加の更新された情報を前記第１のユーザに伝送することをさらに含み、前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記第１のユーザに表示される必要があるかどうかを示す、項目１０８に記載の方法。
（項目１１０）
前記仮想世界モデルのそれぞれの追加の部分に対応する前記追加の更新された情報を前記複数の他のユーザに伝送することをさらに含み、前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記複数の他のユーザの各々に表示される必要があるかどうかを示す、項目１０８に記載の方法。
（項目１１１）
第２の入力を前記第２のユーザの第２のデバイスから受信することであって、前記第２の入力は、前記第２のユーザの物理環境に対応する、ことと、
前記受信された前記第２の入力に基づいて、前記仮想世界モデルを更新することであって、前記仮想世界モデルは、前記第１のユーザの物理環境に対応する、ことと、
前記仮想世界モデルの第２の部分に対応する第２の更新された情報を前記第１のユーザに伝送することと
をさらに含み、
前記第２の更新された情報は、前記第２の更新された情報の任意の部分が前記第１のユーザに表示される必要があるかどうかを示す、項目１０２に記載の方法。
（項目１１２）
前記第２の更新された情報は、前記仮想世界モデルの前記第２の部分内の前記第２のユーザのアバタの移動に対応する、項目１１１に記載の方法。
（項目１１３）
方法であって、
光パターンを空間上に投影することと、
カメラを用いて、前記光パターンの第１および第２の部分を検出し、前記パターンの前記第１および第２の部分に対応する第１および第２のデータ点を生成することと、
三角測量分析を行い、前記第１および第２のデータ点に少なくとも部分的に基づいて、前記光パターンの前記第１および第２の部分の場所を決定することと
を含む、方法。
（項目１１４）
前記パターンの複数の部分を投影し、検出し、三角測量するステップを繰り返し、前記空間の追加のテクスチャデータを取得することをさらに含む、項目１１３に記載の方法。
（項目１１５）
前記光を空間上に投影することは、ファイバベースのプロジェクタを使用して、前記光を前記空間上に投影することを含む、項目１１３に記載の方法。
（項目１１６）
前記光が前記空間上に投影される前に、光学要素を用いて前記光を修正し、光線の束を形成することをさらに含む、項目１１３に記載の方法。
（項目１１７）
前記光パターンは、構造化された光に対応し、前記光パターンは、動的である、項目１１３に記載の方法。
（項目１１８）
前記光パターンは、パターン化された光に対応し、前記光パターンは、複数の点を含む、項目１１３に記載の方法。
（項目１１９）
前記光パターンは、テクスチャ化された光に対応し、前記光パターンは、不規則である、項目１１３に記載の方法。
（項目１２０）
前記光パターンの前記第１および第２の部分は、前記光パターンのそれぞれの画素である、項目１１３に記載の方法。
（項目１３０）
仮想部屋を生成する方法であって、
ユーザに表示されるべき仮想部屋を識別することと、
前記仮想部屋に関連付けられた第１のマップ点の集合を得ることであって、前記第１のマップ点の集合は、前記ユーザの場所における第１の物理部屋に対応する、ことと、
前記仮想部屋を前記第１のマップ点の集合にテザリングすることと、
前記ユーザによって視認されると、前記仮想部屋が前記第１のマップ点の集合において静止しているように見えるように、前記仮想部屋を前記ユーザに表示することと
を含む、方法。
（項目１３１）
ユーザ入力に基づいて、前記仮想部屋を識別することをさらに含む、項目１３０に記載の方法。
（項目１３２）
前記ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される、項目１３１に記載の方法。
（項目１３３）
前記仮想部屋は、前記ユーザによって事前決定される、項目１３１に記載の方法。
（項目１３４）
前記第１のマップ点の集合をネットワーク化されたメモリから読み出すことをさらに含む、項目１３１に記載の方法。
（項目１３５）
前記仮想部屋に関連付けられた第２のマップ点の集合を得ることであって、前記第２のマップ点の集合は、前記ユーザが前記第１の物理部屋から移動した後の前記ユーザの場所における第２の物理部屋に対応する、ことと、
前記仮想部屋を前記第２のマップ点の集合にテザリングすることと、
前記ユーザによって視認されると、前記仮想部屋が前記第２のマップ点の集合において静止しているように見えるように、前記仮想部屋を前記ユーザに表示することと
をさらに含む、項目１３１に記載の方法。
（項目１３６）
前記仮想部屋はまた、第１および第２の仮想オブジェクトを含み、前記方法は、前記仮想部屋が前記第２のマップ点の集合にテザリングされている場合、前記第１のマップ点の集合に対応する前記第１の仮想オブジェクトと第２の仮想オブジェクトとの間の相対的空間位置を保つことをさらに含む、項目１３５に記載の方法。
（項目１３７）
前記ユーザによって視認されると、前記仮想部屋が前記第１の物理部屋の一部に対して静止しているように見えるように、前記仮想部屋を前記ユーザに表示することをさらに含む、項目１３１に記載の方法。
（項目１３８）
前記仮想部屋はまた、選択可能仮想装飾を含む、項目１３１に記載の方法。
（項目１３９）
小売体験を作成する方法であって、
小売店舗内のユーザの場所を認識することと、
前記小売店舗に対応するデータを読み出すことと、
前記読み出されたデータに基づいて、前記小売店舗に関連する仮想コンテンツを生成することと、
仮想ユーザインターフェースを前記ユーザの視野内に作成することと、
前記ユーザが前記小売店舗内で小売アクティビティに従事する間、前記仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
を含む、方法。
（項目１４０）
前記読み出されたデータは、前記小売店舗に対応するマップ点の集合を備え、
前記仮想ユーザインターフェースは、前記ユーザによって視認されると、前記マップ点の集合において静止しているように見える、項目１３９に記載の方法。
（項目１４１）
前記ユーザの場所は、無線周波数識別トランスポンダおよび通信を使用して認識される、項目１３９に記載の方法。
（項目１４２）
前記仮想コンテンツは、仮想キャラクタ、仮想クーポン、前記ユーザ場所に基づくゲーム、宣伝アイテムの一覧、栄養情報、アイテムに関連するメタデータ、有名人の登場、クロスセリング広告、前記ユーザに既知の人物からの情報、および電子書籍から成る群から選択される、項目１３９に記載の方法。
（項目１４３）
前記ユーザに対応するユーザデータを読み出すことと、
前記読み出されたデータおよび前記読み出されたユーザデータの両方に基づいて、前記仮想コンテンツを生成することと
をさらに含む、項目１３９に記載の方法。
（項目１４４）
前記仮想コンテンツは、仮想食料品一覧、仮想クーポン書籍、仮想レシピ書籍、前記ユーザの家内の種々の資材の一覧、および仮想レシピビルダから成る群から選択される、項目１４３に記載の方法。
（項目１４５）
ユーザ入力を受信することと、
前記ユーザ入力に基づいて、追加の仮想コンテンツを生成することと、
前記ユーザが前記小売店舗内の小売アクティビティに従事する間、前記追加の仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
をさらに含む、項目１３９に記載の方法。
（項目１４６）
前記ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される、項目１４５に記載の方法。
（項目１４７）
前記仮想コンテンツは、総運営コスト、スマート仮想食料品一覧、前記ユーザ場所に近接するアイテムのインジケータ、および仮想支払システムから成る群から選択される、項目１４５に記載の方法。
（項目１４８）
前記生成された仮想コンテンツを表示のためにユーザデバイスに送信することをさらに含む、項目１３９に記載の方法。
（項目１４９）
方法であって、
患者の医療履歴に関連する患者データを読み出すことと、
前記読み出された患者データに少なくとも部分的に基づいて、仮想コンテンツを生成することと、
前記第１のユーザの第１の場所に対応する第１のマップ点の集合を読み出すことと、
前記読み出されたマップ点の集合に少なくとも部分的に基づいて、第１の仮想ユーザインターフェースを第１のユーザの視野内に作成することと、
前記第１のユーザによって視認されると、前記第１の仮想ユーザインターフェースが前記第１のマップ点の集合において固定されているように見えるように、前記仮想コンテンツを前記第１の仮想ユーザインターフェース上に表示することと
を含む、方法。
（項目１５０）
前記仮想コンテンツは、外科手術の標的の３次元画像、患者識別情報、医療画像、患者のバイタルサイン情報、およびカルテから成る群から選択される、項目１４９に記載の方法。
（項目１５１）
前記患者データは、ネットワーク化されたメモリから読み出される、項目１４９に記載の方法。
（項目１５２）
第２の仮想ユーザインターフェースを生成し、前記第１のユーザと第２のユーザとの間の通信を促進することをさらに含み、前記第２のユーザは、前記第１のユーザの前記第１の場所と異なる第２の場所内に居る、項目１４９に記載の方法。
（項目１５３）
前記第２の仮想ユーザインターフェースは、前記第２のユーザの視覚的表現である、項目１５２に記載の方法。
（項目１５４）
前記第２のユーザは、上級専門外科医、患者、前記患者に関連する者、および医学生から成る群から選択される、項目１５２に記載の方法。
（項目１５５）
前記第２のユーザによって視認されると、前記第１の仮想ユーザインターフェースが前記マップ点の集合において固定されているように見えるように、前記仮想コンテンツを前記第１の仮想ユーザインターフェース上において前記第２のユーザに対して表示することをさらに含む、項目１５２に記載の方法。
（項目１５６）
前記仮想コンテンツは、前記外科手術手技中、前記第１のユーザに表示され、前記方法は、
ユーザ入力を受信することと、
前記ユーザ入力に基づいて、追加の仮想コンテンツを生成することと、
前記第１のユーザが前記外科手術手技を行っている間、前記追加の仮想コンテンツを前記第１の仮想ユーザインターフェース上に表示することと
をさらに含む、項目１４９に記載の方法。
（項目１５７）
前記ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される、項目１５６に記載の方法。
（項目１５８）
前記ユーザ入力は、前記第１のユーザの視野の画像を備え、前記方法は、前記第２のユーザによって視認されると、前記第１の仮想ユーザインターフェースが前記マップ点の集合において固定されているように見えるように、前記追加の仮想コンテンツを前記第１の仮想ユーザインターフェース上において前記第２のユーザに対して表示することをさらに含む、項目１５６に記載の方法。
（項目１５９）
医療リハビリテーションを促進する方法であって、
医療リハビリテーションに関連するユーザ入力を受信することと、
前記受信されたユーザ入力に基づいて、医療リハビリテーションに関連する要求をクラウドサーバに送信することと、
前記要求に基づいて、医療リハビリテーションに関連するデータを前記クラウドサーバに接続されている知識ベースから受信することと、
前記受信されたデータに基づいて、医療リハビリテーションに関連する仮想コンテンツを第１のユーザに表示することと
を含む、方法。
（項目１６０）
前記ユーザ入力は、視覚的、聴覚的、および感覚入力から成る群から選択される、項目１５９に記載の方法。
（項目１６１）
前記要求を前記クラウドサーバに送信する前に、前記ユーザ入力が有効であるかどうかを決定することをさらに含む、項目１５９に記載の方法。
（項目１６２）
前記データは、前記クラウドサーバに接続されている複数の知識ベースから受信される、項目１５９に記載の方法。
（項目１６３）
前記要求は、前記クラウドサーバに、データを前記知識ベースから読み出すように命令する、項目１５９に記載の方法。
（項目１６４）
前記仮想コンテンツは、リラックスさせる環境を含む、項目１５９に記載の方法。
（項目１６５）
追加のデータを第２のユーザから受信することと、
前記受信された追加のデータに基づいて、追加の仮想コンテンツを前記第１のユーザに表示することと
をさらに含む、項目１５９に記載の方法。
（項目１６６）
前記第１および第２のユーザは、異なる物理場所に位置する、項目１６５に記載の方法。
（項目１６７）
前記追加の仮想コンテンツは、前記第２のユーザの視覚的表現である、項目１６５に記載の方法。
（項目１６８）
第１のユーザデータを前記第１のユーザから受信することと、
第２のユーザデータを第２のユーザから受信することと、
前記受信された第１および第２のユーザデータに基づいて、前記仮想コンテンツを修正することと、
修正された仮想コンテンツを前記第１および第２のユーザに表示することと
をさらに含む、項目１５９に記載の方法。
（項目１６９）
前記第１のユーザは、医療リハビリテーションのための物理アクティビティに従事し、前記仮想コンテンツは、前記物理アクティビティに関連する、項目１５９に記載の方法。
（項目１７０）
前記仮想コンテンツは、前記物理アクティビティについての情報、前記第１のユーザのパフォーマンス統計、前記物理アクティビティに対応する仮想体験、および仮想アバタから成る群から選択される、項目１６９に記載の方法。
（項目１７１）
前記データは、ネットワーク化されたメモリから読み出される、項目１５９に記載の方法。
（項目１７２）
タスクのパフォーマンスを向上させる方法であって、
ユーザによって行われるべきタスクに関連するタスクデータを読み出すことと、
前記タスクデータに基づいて、仮想コンテンツを生成することと、
仮想ユーザインターフェースを前記ユーザの視野内に作成することと、
前記ユーザの場所に対応するマップ点の集合を読み出すことと、
前記ユーザによって視認されると、前記仮想ユーザインターフェースが前記マップ点の集合において固定されているように見えるように、前記ユーザが前記タスクを行っている間、前記仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
を含む、方法。
（項目１７３）
前記仮想コンテンツは、仮想マップされたパターンを有するゲームであり、前記ゲームは、前記ユーザによる前記タスクのパフォーマンスを改良する、項目１７２に記載の方法。
（項目１７４）
前記ゲームは、前記仮想マップされたパターンに従うことに対してポイントを与える、項目１７３に記載の方法。
（項目１７５）
前記ゲームは、前記仮想マップされたパターン内の地点に所定の時間内に到達することに対してポイントを倍にする、項目１７４に記載の方法。
（項目１７６）
前記ゲームは、前記仮想マップされたパターンから外れることに対してポイントを差し引く、項目１７５に記載の方法。
（項目１７７）
前記ゲームは、物理オブジェクトに隣接して移動することに対してポイントを差し引く、項目１７５に記載の方法。
（項目１７８）
前記タスクは、造園機械を運転すること、在庫アイテムを読み出すこと、小売棚に陳列すること、および郵便をソートすることから成る群から選択される、項目１７２に記載の方法。
（項目１７９）
前記タスクデータは、ネットワーク化されたメモリから読み出される、項目１７２に記載の方法。
（項目１８０）
ユーザ入力を受信することと、
前記ユーザ入力に基づいて、追加の仮想コンテンツを生成することと、
前記ユーザが前記タスクを行っている間、前記追加の仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
をさらに含む、項目１７２に記載の方法。
（項目１８１）
前記ユーザ入力は、前記タスクのパフォーマンスに関連するユーザアクションを備えている、項目１８０に記載の方法。
（項目１８２）
拡張現実ディスプレイシステムにおける遅延を補正する方法であって、
仮想画像をユーザに表示する少なくとも１つの段階における１つ以上のタイミング不一致を決定することと、
予測機構を利用して、前記タイミング不一致を予測的に補正することと、
前記予測機構に少なくとも部分的に基づいて、前記仮想画像のデータに関連する少なくとも１つの特性を補償することと
を含む、方法。
（項目１８３）
前記タイミング不一致は、１つ以上のセンサによって行われる１つ以上のセンサ測定に関わり、前記１つ以上のセンサは、前記プロセッサに通信可能に結合されている、項目１８２に記載の方法。
（項目１８４）
前記タイミング不一致は、着信データを処理するときの処理遅延に関わる、項目１８２に記載の方法。
（項目１８５）
前記予測機構は、フィルタを利用して、前記タイミング不一致の影響を補正する、項目１８２に記載の方法。
（項目１８６）
前記フィルタは、１つ以上のセンサ測定の相対的スピードを考慮し、前記センサ測定は、前記プロセッサに通信可能に結合されている１つ以上のセンサによって行われる、項目１８５に記載の方法。
（項目１８７）
前記予測機構は、カルマン予測子を利用する、項目１８２に記載の方法。
（項目１８８）
前記カルマン予測子は、ディスプレイ処理段階中、利用される、項目１８７に記載の方法。
（項目１８９）
前記補償は、前記仮想画像に関連付けられたデータのシフトを行うことを含む、項目１８２に記載の方法。
（項目１９０）
前記補償は、前記仮想画像に関連付けられた１つ以上の視覚的アーチファクトを平滑化することを含む、項目１８２に記載の方法。
（項目１９１）
前記補償は、１つ以上のセンサのセンサ測定の負の影響を補正することを含み、前記１つ以上のセンサは、前記プロセッサに通信可能に結合されている、項目１８２に記載の方法。
（項目１９２）
拡張現実システムを較正する方法であって、
仮想画像をユーザに表示することであって、前記仮想画像は、既知の焦点距離に表示され、前記仮想画像は、画素点を備えている、ことと、
前記画素点が前記ユーザに表示されている場所を決定することであって、前記画素の場所は、前記ユーザの眼の瞳孔の場所に少なくとも部分的に基づいて、計算される、ことと、
前記仮想画像の画素点を空間内の既知の点と整列させることと
を含む、方法。
（項目１９３）
項目３３１のステップは、複数の画素点に対して繰り返される、項目１９２に記載の方法。
（項目１９４）
前記画素点が前記ユーザに表示されている場所は、前記空間内の既知の点の場所に少なくとも部分的に基づいて、計算される、項目１９２に記載の方法。
（項目１９５）
前記瞳孔の場所、前記画素点の場所および前記空間内の既知の点の場所は、同一線上にある、項目１９２に記載の方法。
（項目１９６）
前記画素点が前記ユーザに表示されている場所は、ユーザ入力に基づいて、修正される、項目１９２に記載の方法。
（項目１９７）
複数の画素点が前記ユーザに提示されるように、ゲーム用インターフェースを作成することをさらに含む、項目１９６に記載の方法。
（項目１９８）
前記ゲーム用インターフェースは、前記ユーザの眼移動を通してレーザを発射することを含む、項目１９７に記載の方法。
（項目１９９）
前記既知の点の場所は、１つ以上の世界カメラから受信されるデータに少なくとも部分的に基づいて、決定される、項目１９７に記載の方法。
（項目２００）
項目１のステップは、前記ユーザの他方の眼に対して繰り返される、項目１９２に記載の方法。
（項目２０１）
前記画素点の場所は、前記瞳孔の場所および前記既知の点の場所の関数に少なくとも部分的に基づいて、決定される、項目１９３に記載の方法。
（項目２０２）
前記関数は、二次関数を備えている、項目２０１に記載の方法。
（項目２０３）
仮想インターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも１つの物理オブジェクトに関係して、アバタユーザインターフェースを表示することであって、前記アバタユーザインターフェースは、少なくとも１つの仮想ユーザインターフェース要素を提示する、ことと、
前記ユーザと前記アバタユーザインターフェースとの間の相互作用に少なくとも部分的に基づいて、少なくとも１つの仮想ユーザインターフェース要素を選択することと
を含む、方法。
（項目２０４）
前記ユーザ入力は、ジェスチャを含む、項目２０３に記載の方法。
（項目２０５）
前記ユーザの拡張現実ディスプレイシステムに関係する前記ジェスチャの場所を決定することをさらに含み、前記仮想ユーザインターフェースは、前記決定された場所に表示される、項目２０４に記載の方法。
（項目２０６）
前記アバタは、事前に選択されたアバタである、項目２０３に記載の方法。
（項目２０７）
前記アバタは、前記ユーザに似ている、項目２０３に記載の方法。
（項目２０８）
前記アバタは、前記物理オブジェクトの上に立っているかのように表示される、項目２０３に記載の方法。
（項目２０９）
前記少なくとも１つの仮想要素は、アプリケーションを備えている、項目２０３に記載の方法。
（項目２１０）
別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも１つの仮想要素を選択することであって、前記少なくとも１つの仮想要素は、前記ユーザの連絡先を備えている、ことと、
前記アバタ仮想ユーザインターフェースおよび前記物理オブジェクトに関係して、前記ユーザの連絡先を表す別のアバタを表示することであって、前記ユーザと前記ユーザの連絡先との間の相互作用は、前記アバタ仮想ユーザインターフェースと前記ユーザの連絡先を表す他のアバタとの間の仮想相互作用を通して動画化される、ことと
をさらに含む、項目２０３に記載の方法。
（項目２１１）
前記相互作用は、データを前記ユーザの拡張現実システムと前記ユーザの連絡先に対応するコンピューティングシステムとの間で伝送することを含む、項目２１０に記載の方法。
（項目２１２）
前記ユーザ入力は、音声コマンドを備えている、項目２０３に記載の方法。
（項目２１３）
仮想インターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも１つの物理オブジェクトに関係して、１つ以上の選択可能仮想インターフェース要素を備えているフローティング式ユーザインターフェースを表示することであって、前記フローティング式ユーザインターフェースは、前記ユーザ入力が受信された場所から押し出されたように見える、ことと
を含む、方法。
（項目２１４）
前記ユーザ入力は、前記ユーザの指のジェスチャを含む、項目２１３に記載の方法。
（項目２１５）
前記ユーザの指のジェスチャは、前記ユーザの一方の手の指を前記ユーザの他方の手の別の指を用いてタッチすることを含む、項目２１４に記載の方法。
（項目２１６）
前記ユーザの一方の手の指を前記ユーザの他方の手の別の指を用いてタッチした場所を決定することをさらに含み、前記フローティング式仮想ユーザインターフェースは、前記決定された場所から生じる、項目２１５に記載の方法。
（項目２１７）
前記フローティング式ユーザインターフェースは、３次元ブロックの集合を備え、前記３次元ブロックの集合のうちの３次元ブロックは、前記少なくとも１つの選択可能仮想ユーザインターフェース要素を表す、項目２１３に記載の方法。
（項目２１８）
前記フローティング式仮想ユーザインターフェースは、世界基準フレームに少なくとも部分的に基づいて、作成される、項目２１３に記載の方法。
（項目２１９）
前記少なくとも１つの選択可能仮想ユーザインターフェース要素は、３次元ブロックのスタックとして存在し、前記３次元ブロックのスタックは、別のユーザ入力に少なくとも部分的に基づいて、回転される、項目２１３に記載の方法。
（項目２２０）
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することであって、前記仮想インターフェース要素は、少なくとも１つの他のサブ仮想インターフェース要素に関連付けられている、ことと、
前記少なくとも１つの他のサブ仮想インターフェース要素を前記選択された仮想インターフェース要素の下に表示することと
をさらに含む、項目２１３に記載の方法。
（項目２２１）
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することと、
仮想ボックス内に、前記選択された仮想インターフェース要素に関連付けられたコンテンツを表示することであって、前記仮想ボックスは、前記ユーザの視野内に表示されるコンテンツを備えている、ことと
をさらに含む、項目２１３に記載の方法。
（項目２２２）
前記仮想ボックスが閉鎖されるべきことを示す第２のユーザ入力を識別することと、
前記第２のユーザ入力に少なくとも部分的に基づいて、前記仮想ボックスを紙をくしゃくしゃに丸めることに似た様式で動画化することと、
前記選択された仮想インターフェース要素に関連付けられたコンテンツを終了させることと
をさらに含む、項目２２１に記載の方法。
（項目２２３）
前記第２のユーザ入力は、ジェスチャを含み、前記ジェスチャは、１枚の紙をくしゃくしゃに丸めることに似ている、項目２２２に記載の方法。
（項目２２４）
仮想ユーザインターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも１つの物理オブジェクトに関係して、１つ以上の選択可能仮想インターフェース要素を備えているフローティング式ユーザインターフェースを表示することと
を含み、
前記フローティング式ユーザインターフェースは、前記少なくとも１つの物理オブジェクト上に置かれているように見え、前記少なくとも１つの物理オブジェクトの縦軸の周りでの前記少なくとも１つの物理オブジェクトの回転は、追加の選択可能仮想インターフェース要素が表示されることをもたらし、前記追加の選択可能仮想インターフェース要素は、前記少なくとも１つの物理オブジェクトの別の側に置かれているように見える、方法。
（項目２２５）
前記少なくとも１つの物理オブジェクトは、前記ユーザの腕を備えている、項目２２４に記載の方法。
（項目２２６）
前記ユーザ入力は、ジェスチャを含む、項目２２４に記載の方法。
（項目２２７）
前記ジェスチャは、前記選択可能仮想インターフェース要素が表示されているように見える、前記ユーザの腕上における前記ユーザの手のカップを形成するような運動を含む、項目２２６に記載の方法。
（項目２２８）
前記ユーザの腕上における前記ユーザの手のカップを形成するような運動の場所を決定することをさらに含み、前記フローティング式ユーザインターフェースは、前記決定された場所から生じる、項目２２７に記載の方法。
（項目２２９）
別のユーザ入力に少なくとも部分的に基づいて、前記フローティング式仮想ユーザインターフェースのレンダリングを終了させることをさらに含む、項目２２４に記載の方法。
（項目２３０）
前記他のユーザ入力は、ジェスチャを含み、前記ジェスチャは、前記物理オブジェクトを横断して前記ユーザのカップ状の手をドラッグする運動を含む、項目２２９に記載の方法。
（項目２３１）
前記フローティング式仮想ユーザインターフェースは、手中心基準フレームに少なくとも部分的に基づいて、作成される、項目２２４に記載の方法。
（項目２３２）
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することと、
前記選択された仮想インターフェース要素に関連付けられたコンテンツを表示することであって、前記コンテンツは、前記フローティング式仮想インターフェースに関係して表示される、ことと
をさらに含む、項目２２４に記載の方法。
（項目２３３）
前記表示されるコンテンツは、前記手中心基準フレームに対応する、項目２３１に記載の方法。
（項目２３４）
前記ユーザから受信される入力に少なくとも部分的に基づいて、前記フローティング式仮想ユーザインターフェースが移動している場合、前記表示されるコンテンツが静止したままであるように、前記表示されるコンテンツを前記手中心基準フレームから世界中心基準フレームに移動させることをさらに含む、項目２３１に記載の方法。
（項目２３５）
仮想ユーザインターフェースを作成する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも１つの物理オブジェクトに関係して、前記少なくとも１つの物理オブジェクトにタッチした場所から生じる仮想ユーザインターフェースを表示することであって、前記仮想ユーザインターフェースは、前記少なくとも１つの物理オブジェクトにタッチした場所から飛び出ているように見え、前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースに取り付けられているように見える少なくとも１つの選択可能仮想ユーザインターフェース要素を備えている、ことと
を含む、方法。
（項目２３６）
前記少なくとも１つの物理オブジェクトは、水平表面を備えている、項目２３５に記載の方法。
（項目２３７）
前記ユーザ入力は、ジェスチャを含む、項目２３５に記載の方法。
（項目２３８）
前記ジェスチャは、所定の期間の間、伸ばされた指が前記少なくとも１つの物理オブジェクトをタッチすることを含む、項目２３７に記載の方法。
（項目２３９）
前記ユーザの指が前記少なくとも１つの物理オブジェクトにタッチした場所を決定することをさらに含み、前記仮想ユーザインターフェースは、前記決定された場所から生じる、項目２３５に記載の方法。
（項目２４０）
別のユーザ入力に少なくとも部分的に基づいて、前記フローティング式仮想ユーザインターフェースのレンダリングを終了させることをさらに含む、項目２３５に記載の方法。
（項目２４１）
前記他のユーザ入力は、ジェスチャを含み、前記ジェスチャは、前記レンダリングされた仮想ユーザインターフェースを横断して、前記ユーザの手を用いて切断する運動を含む、項目２４０に記載の方法。
（項目２４２）
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目２３５に記載の方法。
（項目２４３）
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することと、
前記少なくとも１つの物理オブジェクトの別の場所に、第２の仮想ユーザインターフェースを生成することであって、前記第２の仮想ユーザインターフェースは、追加の選択可能仮想インターフェース要素を備えている、ことと
をさらに含む、項目２３５に記載の方法。
（項目２４４）
前記仮想ユーザインターフェースは、前記少なくとも１つの物理オブジェクトにタッチした場所から生えている木に似ている、項目２３５に記載の方法。
（項目２４５）
仮想ユーザインターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記仮想ユーザインターフェースが指の移動を鏡映するように、前記ユーザの前記指の運動を鏡映するような仮想ユーザインターフェースを描写することと、
１つ以上の選択可能ユーザインターフェース要素を前記仮想ユーザインターフェースが描写されているエリア内に表示することと
を含む、方法。
（項目２４６）
前記指ジェスチャは、所定の期間の間、前記ユーザの手の少なくとも１本の指を用いて指示するジェスチャを含む、項目２４５に記載の方法。
（項目２４７）
前記指示ジェスチャの場所を決定することをさらに含み、前記仮想ユーザインターフェースは、前記決定された場所から生じる、項目２４６に記載の方法。
（項目２４８）
前記ユーザが前記仮想ユーザインターフェースをもはや描写していないことを検出することをさらに含み、前記仮想ユーザインターフェース要素は、前記検出に少なくとも部分的に基づいて、表示される、項目２４５に記載の方法。
（項目２４９）
前記仮想ユーザインターフェースの描写は、空間を横断した前記ユーザの指のドラッグ運動を鏡映する、項目２４５に記載の方法。
（項目２５０）
別のユーザ入力に少なくとも部分的に基づいて、フローティング式仮想ユーザインターフェースのレンダリングを終了させることをさらに含む、項目２４５に記載の方法。
（項目２５１）
前記他のユーザ入力は、ジェスチャを含み、前記ジェスチャは、前記ユーザの指の連続ドラッグ運動の終了を含む、項目２５０に記載の方法。
（項目２５２）
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目２４５に記載の方法。
（項目２５３）
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記仮想ユーザインターフェースに関係して前記選択された仮想インターフェース要素に関連付けられたコンテンツを生成することと
をさらに含む、項目２４５に記載の方法。
（項目２５４）
前記仮想ユーザインターフェースの形状は、前記ユーザの指によって描写される形状に似ている、項目２４５に記載の方法。
（項目２５５）
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、前記仮想ユーザインターフェースが前記物理オブジェクトの垂直側面にあるように見えるように、前記手のジェスチャの方向における物理オブジェクトの前記垂直側面に少なくとも１つの選択可能仮想インターフェース要素を有する仮想ユーザインターフェースを表示することと
を含む、方法。
（項目２５６）
前記手のジェスチャに応答して、塗料の斑点に似た仮想コンテンツの集合を表示することをさらに含み、前記仮想コンテンツは、前記手のジェスチャによって示される点において生じる、項目２５５に記載の方法。
（項目２５７）
前記手のジェスチャは、前記物理オブジェクトの前記垂直側面の方向に振り上げられた伸ばされた指を含む、項目２５５に記載の方法。
（項目２５８）
前記物理オブジェクトの前記垂直側面の方向に振り上げられた伸ばされた指の場所を決定することをさらに含み、塗料の斑点に似た仮想コンテンツの集合は、前記決定された場所に表示される、項目２５７に記載の方法。
（項目２５９）
仮想斑点を前記物理オブジェクトの前記垂直側面に表示することをさらに含み、前記仮想斑点の少なくとも１つの特性は、前記物理オブジェクトの前記垂直側面の方向に振り上げられた伸ばされた指の決定された場所に少なくとも部分的に基づいて、前記物理オブジェクトの前記垂直側面に表示される、項目２５８に記載の方法。
（項目２６０）
前記物理オブジェクトは、壁を備えている、項目２５５に記載の方法。
（項目２６１）
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目２５５に記載の方法。
（項目２６２）
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられたコンテンツを生成することと
をさらに含む、項目２５５に記載の方法。
（項目２６３）
前記選択されたユーザインターフェース要素に関連付けられたコンテンツを縮小形態で記憶することをさらに含み、前記縮小形態は、仮想バンドを備え、前記仮想バンドは、前記ユーザの手の周囲に表示される、項目２６２２に記載の方法。
（項目２６４）
前記仮想バンドは、前記仮想バンドが少なくとも部分的に前記手の移動に基づいて移動するように、少なくとも部分的に手中心基準フレームに基づいて、作成される、項目２６３に記載の方法。
（項目２６５）
前記ユーザの別のジェスチャに少なくとも部分的に基づいて、前記コンテンツを完全形態で表示することをさらに含む、項目２６３に記載の方法。
（項目２６６）
前記他のジェスチャは、前記仮想バンドが表示される前記手の振り上げる運動を含む、項目２６５に記載の方法。
（項目２６７）
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、少なくとも１つの選択可能仮想インターフェース要素が前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、移動し、追加の選択可能仮想インターフェース要素を表示するように、前記少なくとも１つの選択可能仮想インターフェース要素を有する水平糸に似ている、方法。
（項目２６８）
前記手のジェスチャは、前記ユーザの第１の手の第１の指を第２の手の第２の指を用いてタッチする運動を含む、項目２６７に記載の方法。
（項目２６９）
前記ジェスチャは、前記第１の指が前記第２の指から離れるように、前記第１の指および前記第２の指の両方を引き離す運動をさらに含む、項目２６８に記載の方法。
（項目２７０）
前記仮想糸は、前記第１および第２の指の移動の長さを鏡映し、前記仮想糸の長さは、前記第１および第２の指の移動に少なくとも部分的に基づく、項目２６９に記載の方法。（項目２７１）
前記第１の指と第２の指とのタッチ運動の場所を決定することをさらに含み、前記仮想糸は、前記決定された場所から生じる、項目２６７に記載の方法。
（項目２７２）
前記他方の手のジェスチャは、前記ユーザの手の方向転換運動を含み、前記方向転換移動は、前記少なくとも１つの選択可能仮想インターフェース要素に前記方向転換運動の方向に移動させる、項目２６７に記載の方法。
（項目２７３）
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目２６７に記載の方法。
（項目２７４）
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられたコンテンツを生成することと
をさらに含む、項目２６７に記載の方法。
（項目２７５）
前記他方の手のジェスチャは、前記ユーザの一方の手を前方に持って来る運動を含む、項目２７４に記載の方法。
（項目２７６）
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、垂直糸の集合を備え、前記垂直糸の各々は、少なくとも１つの選択可能仮想インターフェース要素に関連付けられている、方法。
（項目２７７）
前記手のジェスチャは、所定の期間の間、前記ユーザの第１の手を広げるジェスチャを含む、項目２７６に記載の方法。
（項目２７８）
別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素を選択することをさらに含み、前記他方の手のジェスチャは、前記ユーザの２本の指を用いて、前記仮想糸の集合のうちの仮想糸のうちの少なくとも１つを引っ張る運動を含む、項目２７７に記載の方法。
（項目２７９）
手のジェスチャに少なくとも部分的に基づいて、第１の仮想糸に関連付けられた第１の仮想要素に関連付けられたデータを第２の仮想糸に関連付けられた第２の仮想要素に伝送することをさらに含む、項目２７６に記載の方法。
（項目２８０）
前記他方の手のジェスチャは、前記第２の仮想糸に関連付けられた前記第２の仮想要素を用いた前記第１の仮想糸に関連付けられた前記第１の仮想要素の圧搾運動を含み、前記圧搾運動は、前記ユーザの指によって行われる、項目２７９に記載の方法。
（項目２８１）
前記仮想インターフェースは、少なくとも１つの物理オブジェクトに関係して表示される、項目２７６に記載の方法。
（項目２８２）
前記少なくとも１つの物理オブジェクトは、壁を備えている、項目２８１に記載の方法。
（項目２８３）
手のジェスチャの場所を決定することをさらに含み、前記仮想糸は、前記決定された場所から生じる、項目２７６に記載の方法。
（項目２８４）
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目２７６に記載の方法。
（項目２８５）
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成することと
をさらに含む、項目２７６に記載の方法。
（項目２８６）
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、垂直糸の集合を備え、前記垂直糸の各々は、少なくとも１つの選択可能仮想インターフェース要素に関連付けられている、方法。
（項目２８７）
前記手のジェスチャは、所定の期間の間、前記ユーザの第１の手を広げるジェスチャを含む、項目２８６に記載の方法。
（項目２８８）
別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素を選択することをさらに含み、前記他方の手のジェスチャは、前記ユーザの２本の指を用いて、前記仮想糸の集合のうちの仮想糸のうちの少なくとも１つを引っ張る運動を含む、項目２８７に記載の方法。
（項目２８９）
手のジェスチャに少なくとも部分的に基づいて、第１の仮想糸に関連付けられた第１の仮想要素に関連付けられたデータを第２の仮想糸に関連付けられた第２の仮想要素に伝送することをさらに含む、項目２８６に記載の方法。
（項目２９０）
前記他方の手のジェスチャは、前記第２の仮想糸に関連付けられた前記第２の仮想要素を用いた前記第１の仮想糸に関連付けられた前記第１の仮想要素の圧搾運動を含み、前記圧搾運動は、前記ユーザの指によって行われる、項目２８９に記載の方法。
（項目２９１）
前記仮想インターフェースは、少なくとも１つの物理オブジェクトに関係して表示される、項目２８６に記載の方法。
（項目２９２）
前記少なくとも１つの物理オブジェクトは、壁を備えている、項目２９１に記載の方法。
（項目２９３）
手のジェスチャの場所を決定することをさらに含み、前記仮想糸は、前記決定された場所から生じる、項目２８６に記載の方法。
（項目２９４）
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目２８６に記載の方法。
（項目２９５）
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成することと
をさらに含む、項目２８６に記載の方法。
（項目２９６）
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、仮想クモの巣に似ており、前記ユーザは、前記仮想クモの巣の仮想糸を引っ張り、前記仮想インターフェースを前記ユーザに近付ける、方法。
（項目２９７）
前記手のジェスチャは、前記ユーザの手の握り拳を用いて引っ張る運動を含む、項目２９６に記載の方法。
（項目２９８）
前記仮想クモの巣の仮想糸は、少なくとも１つの選択可能仮想要素を備えている、項目２９７に記載の方法。
（項目２９９）
別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素を選択することをさらに含み、前記他方の手のジェスチャは、前記仮想糸のうちの少なくとも１つを前記ユーザに向かって引っ張る運動を含む、項目２９８に記載の方法。
（項目３００）
手のジェスチャに少なくとも部分的に基づいて、第１の仮想糸に関連付けられた第１の仮想要素に関連付けられたデータを第２の仮想糸に関連付けられた第２の仮想要素に伝送することをさらに含む、項目２９６に記載の方法。
（項目３０１）
前記他方の手のジェスチャは、前記第２の仮想糸に関連付けられた前記第２の仮想要素を用いた前記第１の仮想糸に関連付けられた前記第１の仮想要素の圧搾運動を含み、前記圧搾運動は、前記ユーザの指によって行われる、項目３００に記載の方法。
（項目３０２）
前記仮想インターフェースは、少なくとも１つの物理オブジェクトに関係して表示される、項目２９６に記載の方法。
（項目３０３）
前記少なくとも１つの物理オブジェクトは、壁を備えている、項目３０２に記載の方法。
（項目３０４）
手のジェスチャの場所を決定することをさらに含み、前記仮想クモの巣は、前記決定された場所から生じる、項目２９６に記載の方法。
（項目３０５）
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目２９６に記載の方法。
（項目３０６）
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも１つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成することと
をさらに含む、項目２９６に記載の方法。
（項目３０７）
前記方法ステップを実装する手段を有するシステムとして実装される、項目１−３０６に記載の方法。
（項目３０８）
前記方法ステップを実行するための実行可能コードを有するコンピュータ使用可能記憶媒体を備えているコンピュータプログラム製品として実装される、項目１−３０６に記載の方法。
図面は、本発明の種々の実施形態の設計および可用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点ならびに目的を得る方法をより深く理解するために、簡単に前述された発明を実施するための形態が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して付加的具体性および詳細とともに記載ならびに説明されるであろう。
図１は、例証される実施形態の１つによる、１つ以上のサーバと相互作用する拡張現実（ＡＲ）システムのシステムアーキテクチャを図示する。
図２は、例証される実施形態の１つによる、１つ以上のサーバと相互作用するＡＲデバイスとして使用される携帯電話の詳細図を図示する。
図３は、例証される実施形態の１つによる、ユーザの頭部上に搭載される例示的ＡＲデバイスの平面図を図示する。
図４Ａ−４Ｄは、装着式ＡＲデバイスの種々の内部処理構成要素の１つ以上の実施形態を図示する。
図４Ａ−４Ｄは、装着式ＡＲデバイスの種々の内部処理構成要素の１つ以上の実施形態を図示する。
図４Ａ−４Ｄは、装着式ＡＲデバイスの種々の内部処理構成要素の１つ以上の実施形態を図示する。
図４Ａ−４Ｄは、装着式ＡＲデバイスの種々の内部処理構成要素の１つ以上の実施形態を図示する。
図５Ａ−５Ｈは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図５Ａ−５Ｈは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図５Ａ−５Ｈは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図５Ａ−５Ｈは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図５Ａ−５Ｈは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図５Ａ−５Ｈは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図５Ａ−５Ｈは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図５Ａ−５Ｈは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図６Ａおよび６Ｂは、レンズ要素と図５Ａ−５Ｈの透過性ビームスプリッタ基板の結合の実施形態を図示する。
図６Ａおよび６Ｂは、レンズ要素と図５Ａ−５Ｈの透過性ビームスプリッタ基板の結合の実施形態を図示する。
図７Ａおよび７Ｂは、光をユーザに伝送するための１つ以上の導波管の使用の実施形態を図示する。
図７Ａおよび７Ｂは、光をユーザに伝送するための１つ以上の導波管の使用の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図８Ａ−８Ｑは、可能回折光学要素可能回折光学要素（ＯＤＥ）の実施形態を図示する。
図９Ａおよび９Ｂは、例証される実施形態の１つによる、光プロジェクタから生成される波正面を図示する。
図１０は、例証される実施形態の１つによる、光学要素と結合される複数の透過性ビームスプリッタ基板のスタックされた構成の実施形態を図示する。
図１１Ａ−１１Ｃは、例証される実施形態による、ユーザの瞳孔の中に投影されるビームレットの集合を図示する。
図１１Ａ−１１Ｃは、例証される実施形態による、ユーザの瞳孔の中に投影されるビームレットの集合を図示する。
図１１Ａ−１１Ｃは、例証される実施形態による、ユーザの瞳孔の中に投影されるビームレットの集合を図示する。
図１２Ａおよび１２Ｂは、例証される実施形態による、マイクロプロジェクタのアレイの構成を図示する。
図１２Ａおよび１２Ｂは、例証される実施形態による、マイクロプロジェクタのアレイの構成を図示する。
図１３Ａ−１３Ｍは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図１３Ａ−１３Ｍは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図１３Ａ−１３Ｍは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図１３Ａ−１３Ｍは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図１３Ａ−１３Ｍは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図１３Ａ−１３Ｍは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図１３Ａ−１３Ｍは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図１３Ａ−１３Ｍは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図１３Ａ−１３Ｍは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図１３Ａ−１３Ｍは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図１３Ａ−１３Ｍは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図１３Ａ−１３Ｍは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図１３Ａ−１３Ｍは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図１４Ａ−１４Ｆは、例証される実施形態による、光学要素と結合される空間光変調器の実施形態を図示する。
図１４Ａ−１４Ｆは、例証される実施形態による、光学要素と結合される空間光変調器の実施形態を図示する。
図１４Ａ−１４Ｆは、例証される実施形態による、光学要素と結合される空間光変調器の実施形態を図示する。
図１４Ａ−１４Ｆは、例証される実施形態による、光学要素と結合される空間光変調器の実施形態を図示する。
図１４Ａ−１４Ｆは、例証される実施形態による、光学要素と結合される空間光変調器の実施形態を図示する。
図１４Ａ−１４Ｆは、例証される実施形態による、光学要素と結合される空間光変調器の実施形態を図示する。
図１５Ａ−１５Ｃは、例証される実施形態による、複数の光源とともに、楔タイプ導波管の使用を図示する。
図１５Ａ−１５Ｃは、例証される実施形態による、複数の光源とともに、楔タイプ導波管の使用を図示する。
図１５Ａ−１５Ｃは、例証される実施形態による、複数の光源とともに、楔タイプ導波管の使用を図示する。
図１６Ａ−１６Ｏは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図１６Ａ−１６Ｏは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図１６Ａ−１６Ｏは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図１６Ａ−１６Ｏは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図１６Ａ−１６Ｏは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図１６Ａ−１６Ｏは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図１６Ａ−１６Ｏは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図１６Ａ−１６Ｏは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図１６Ａ−１６Ｏは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図１６Ａ−１６Ｏは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図１６Ａ−１６Ｏは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図１６Ａ−１６Ｏは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図１６Ａ−１６Ｏは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図１６Ａ−１６Ｏは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図１６Ａ−１６Ｏは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図１７は、例証される実施形態の１つによる、ノッチフィルタを図示する。
図１８は、例証される実施形態の１つによる、ファイバ走査ディスプレイの渦巻パターンを図示する。
図１９Ａ−１９Ｎは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図１９Ａ−１９Ｎは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図１９Ａ−１９Ｎは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図１９Ａ−１９Ｎは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図１９Ａ−１９Ｎは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図１９Ａ−１９Ｎは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図１９Ａ−１９Ｎは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図１９Ａ−１９Ｎは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図１９Ａ−１９Ｎは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図１９Ａ−１９Ｎは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図１９Ａ−１９Ｎは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図１９Ａ−１９Ｎは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図１９Ａ−１９Ｎは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図１９Ａ−１９Ｎは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図２０Ａ−２０Ｏは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図２０Ａ−２０Ｏは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図２０Ａ−２０Ｏは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図２０Ａ−２０Ｏは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図２０Ａ−２０Ｏは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図２０Ａ−２０Ｏは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図２０Ａ−２０Ｏは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図２０Ａ−２０Ｏは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図２０Ａ−２０Ｏは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図２０Ａ−２０Ｏは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図２０Ａ−２０Ｏは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図２０Ａ−２０Ｏは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図２０Ａ−２０Ｏは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図２０Ａ−２０Ｏは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図２０Ａ−２０Ｏは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図２１Ａ−２１Ｎは、例証される実施形態による、他の光学要素に結合されるＤＯＥの種々の構成を図示する。
図２１Ａ−２１Ｎは、例証される実施形態による、他の光学要素に結合されるＤＯＥの種々の構成を図示する。
図２１Ａ−２１Ｎは、例証される実施形態による、他の光学要素に結合されるＤＯＥの種々の構成を図示する。
図２１Ａ−２１Ｎは、例証される実施形態による、他の光学要素に結合されるＤＯＥの種々の構成を図示する。
図２１Ａ−２１Ｎは、例証される実施形態による、他の光学要素に結合されるＤＯＥの種々の構成を図示する。
図２１Ａ−２１Ｎは、例証される実施形態による、他の光学要素に結合されるＤＯＥの種々の構成を図示する。
図２１Ａ−２１Ｎは、例証される実施形態による、他の光学要素に結合されるＤＯＥの種々の構成を図示する。
図２１Ａ−２１Ｎは、例証される実施形態による、他の光学要素に結合されるＤＯＥの種々の構成を図示する。
図２１Ａ−２１Ｎは、例証される実施形態による、他の光学要素に結合されるＤＯＥの種々の構成を図示する。
図２１Ａ−２１Ｎは、例証される実施形態による、他の光学要素に結合されるＤＯＥの種々の構成を図示する。
図２１Ａ−２１Ｎは、例証される実施形態による、他の光学要素に結合されるＤＯＥの種々の構成を図示する。
図２１Ａ−２１Ｎは、例証される実施形態による、他の光学要素に結合されるＤＯＥの種々の構成を図示する。
図２１Ａ−２１Ｎは、例証される実施形態による、他の光学要素に結合されるＤＯＥの種々の構成を図示する。
図２１Ａ−２１Ｎは、例証される実施形態による、他の光学要素に結合されるＤＯＥの種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２２Ａ−２２Ｙは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図２３は、簡略化された個々のＡＲデバイスの構成要素の上面図を図示する。
図２４は、個々のＡＲシステムの光学の例示的実施形態を図示する。
図２５は、一実施形態による、個々のＡＲシステムのシステムアーキテクチャを図示する。
図２６は、一実施形態による、部屋ベースのセンサシステムを図示する。
図２７は、拡張現実システムの通信アーキテクチャおよび多くのユーザの拡張現実システムとクラウドの相互作用を図示する。
図２８は、一実施形態による、パス可能世界モデルの簡略化された図を図示する。
図２９は、一実施形態による、パス可能世界モデルを使用してレンダリングする例示的方法を図示する。
図３０は、一実施形態による、オブジェクトを認識するプロセスのための高レベルフロー図を図示する。
図３１は、一実施形態による、パス可能世界内のオブジェクトを認識するオブジェクト認識器によって採用されるリングバッファアプローチを図示する。
図３２は、一実施形態による、例示的トポロジマップを図示する。
図３３は、一実施形態による、トポロジマップを使用した位置特定のプロセスのための高レベルフロー図を図示する。
図３４は、一実施形態による、種々のキーフレーム間の接続としての幾何学的マップを図示する。
図３５は、一実施形態による、幾何学的マップの上部に層化されたトポロジマップの例示的実施形態を図示する。
図３６は、一実施形態による、波伝搬束調節を行うプロセスのための高レベルフロー図を図示する。
図３７は、一実施形態による、仮想キーフレームを通して見られるマップ点およびマップ点からキーフレームまでのレンダリング線を図示する。
図３８は、一実施形態による、検索ではなく、レンダリングに基づいて、マップ点を発見するプロセスのための高レベルフロー図を図示する。
図３９は、一実施形態による、光マップに基づいて、仮想オブジェクトをレンダリングするプロセスのための高レベルフロー図を図示する。
図４０は、一実施形態による、光マップを作成するプロセスのための高レベルフロー図を図示する。
図４１は、一実施形態による、ユーザ中心光マップを描写する。
図４２は、一実施形態による、オブジェクト中心光マップを描写する。
図４３は、一実施形態による、光マップを変換するプロセスのための高レベルフロー図を図示する。
図４４は、一実施形態による、自律的ナビゲーション定義またはオブジェクトのライブラリを図示する。
図４５は、一実施形態による、種々の自律的ナビゲーションオブジェクトの相互作用を図示する。
図４６は、一実施形態による、自律的ナビゲーション定義またはオブジェクトのスタックを図示する。
図４７Ａ−４７Ｂは、一実施形態による、感情状態を識別するための自律的ナビゲーション定義の使用を図示する。
図４７Ａ−４７Ｂは、一実施形態による、感情状態を識別するための自律的ナビゲーション定義の使用を図示する。
図４８は、一実施形態による、自律的ナビゲーション定義またはオブジェクトを定義するために使用されるべき相関閾値グラフを図示する。
図４９は、一実施形態による、パス可能世界モデルの系統図を図示する。
図５０は、一実施形態による、仮想場面を表示する例示的方法を図示する。
図５１は、例証される実施形態の１つによる、ＡＲシステムの種々のモジュールの平面図を図示する。
図５２は、例証される実施形態の１つによる、ＡＲデバイスが拡張現実モードにおいて動作されるときのユーザによって視認されるオブジェクトの実施例を図示する。
図５３は、例証される実施形態の１つによる、ＡＲデバイスが仮想モードにおいて動作されるときのユーザによって視認されるオブジェクトの実施例を図示する。
図５４は、例証される実施形態の１つによる、ＡＲデバイスが混成仮想インターフェースモードにおいて動作されるときのユーザによって視認されるオブジェクトの実施例を図示する。
図５５は、一実施形態による、２人のユーザが異なる地理的場所に位置し、それぞれ、そのそれぞれのユーザデバイスを通して、他のユーザおよび共通仮想世界と相互作用する、実施形態を図示する。
図５６は、一実施形態による、図５５の実施形態が触知デバイスの使用を含むように拡張される、実施形態を図示する。
図５７Ａ−５７Ｂは、１つ以上の実施形態による、混合モードインターフェースの実施例を図示する。
図５７Ａ−５７Ｂは、１つ以上の実施形態による、混合モードインターフェースの実施例を図示する。
図５８は、一実施形態による、ＡＲシステムとインターフェースをとるときのユーザのビューの例示的例証を図示する。
図５９は、一実施形態による、ユーザが拡張現実モードにおけるシステムとインターフェースをとるときの物理オブジェクトによってトリガされる仮想オブジェクトを示す、ユーザのビューの例示的例証を図示する。
図６０は、拡張現実体験におけるあるユーザが、仮想現実体験における別のユーザの存在を視覚化する、拡張および仮想現実統合構成の一実施形態を図示する。
図６１は、時間および／または付随イベントベースの拡張現実体験構成の一実施形態を図示する。
図６２は、仮想および／または拡張現実体験に好適なユーザディスプレイ構成の一実施形態を図示する。
図６３は、ローカルおよびクラウドベースのコンピューティング協調の一実施形態を図示する。
図６４は、例証される実施形態の１つによる、位置合わせ構成の種々の側面を図示する。
図６５は、一実施形態による、ＡＲシステムと相互作用する例示的シナリオを図示する。
図６６は、別の実施形態による、図６５の例示的シナリオの別の斜視図を図示する。
図６７は、別の実施形態による、図６５の例示的シナリオのさらに別の斜視図を図示する。
図６８は、一実施形態による、例示的シナリオの上面図を図示する。
図６９は、一実施形態による、図６５−６８の例示的シナリオのゲームビューを図示する。
図７０は、一実施形態による、図６５−６８の例示的シナリオの上面図を図示する。
図７１は、一実施形態による、複数のユーザを含む拡張現実シナリオを図示する。
図７２Ａ−７２Ｂは、一実施形態による、ＡＲデバイスとしてのスマートフォンまたはタブレットの使用を図示する。
図７２Ａ−７２Ｂは、一実施形態による、ＡＲデバイスとしてのスマートフォンまたはタブレットの使用を図示する。
図７３は、一実施形態による、ＡＲシステムユーザ間で通信するために位置特定を使用する例示的方法を図示する。
図７４Ａ−７４Ｂは、一実施形態による、ＡＲシステムと相互作用する例示的オフィスでのシナリオを図示する。
図７４Ａ−７４Ｂは、一実施形態による、ＡＲシステムと相互作用する例示的オフィスでのシナリオを図示する。
図７５は、一実施形態による、家の中でＡＲシステムと相互作用する例示的シナリオを図示する。
図７６は、一実施形態による、家の中でＡＲシステムと相互作用する別の例示的シナリオを図示する。
図７７は、一実施形態による、家の中でＡＲシステムと相互作用する別の例示的シナリオを図示する。
図７８Ａ−７８Ｂは、一実施形態による、家の中でＡＲシステムと相互作用するさらに別の例示的シナリオを図示する。
図７８Ａ−７８Ｂは、一実施形態による、家の中でＡＲシステムと相互作用するさらに別の例示的シナリオを図示する。
図７９Ａ−７９Ｅは、一実施形態による、家の中でＡＲシステムと相互作用する別の例示的シナリオを図示する。
図７９Ａ−７９Ｅは、一実施形態による、家の中でＡＲシステムと相互作用する別の例示的シナリオを図示する。
図７９Ａ−７９Ｅは、一実施形態による、家の中でＡＲシステムと相互作用する別の例示的シナリオを図示する。
図７９Ａ−７９Ｅは、一実施形態による、家の中でＡＲシステムと相互作用する別の例示的シナリオを図示する。
図７９Ａ−７９Ｅは、一実施形態による、家の中でＡＲシステムと相互作用する別の例示的シナリオを図示する。
図８０Ａ−８０Ｃは、一実施形態による、仮想部屋内でＡＲシステムと相互作用する別の例示的シナリオを図示する。
図８０Ａ−８０Ｃは、一実施形態による、仮想部屋内でＡＲシステムと相互作用する別の例示的シナリオを図示する。
図８０Ａ−８０Ｃは、一実施形態による、仮想部屋内でＡＲシステムと相互作用する別の例示的シナリオを図示する。
図８１は、一実施形態による、別の例示的ユーザ相互作用シナリオを図示する。
図８２は、一実施形態による、別の例示的ユーザ相互作用シナリオを図示する。
図８３Ａ−８３Ｂは、１つ以上の実施形態による、さらに別の例示的ユーザ相互作用シナリオを図示する。
図８３Ａ−８３Ｂは、１つ以上の実施形態による、さらに別の例示的ユーザ相互作用シナリオを図示する。
図８４Ａ−８４Ｃは、１つ以上の実施形態による、仮想空間内でＡＲシステムと相互作用するユーザを図示する。
図８４Ａ−８４Ｃは、１つ以上の実施形態による、仮想空間内でＡＲシステムと相互作用するユーザを図示する。
図８４Ａ−８４Ｃは、１つ以上の実施形態による、仮想空間内でＡＲシステムと相互作用するユーザを図示する。
図８５Ａ−８５Ｃは、種々のユーザインターフェース実施形態を図示する。
図８５Ａ−８５Ｃは、種々のユーザインターフェース実施形態を図示する。
図８５Ａ−８５Ｃは、種々のユーザインターフェース実施形態を図示する。
図８６Ａ−８６Ｃは、１つ以上の実施形態による、ユーザインターフェースを作成するための他の実施形態を図示する。
図８６Ａ−８６Ｃは、１つ以上の実施形態による、ユーザインターフェースを作成するための他の実施形態を図示する。
図８６Ａ−８６Ｃは、１つ以上の実施形態による、ユーザインターフェースを作成するための他の実施形態を図示する。
図８７Ａ−８７Ｃは、１つ以上の実施形態による、ユーザインターフェースを作成および移動させるための他の実施形態を図示する。
図８７Ａ−８７Ｃは、１つ以上の実施形態による、ユーザインターフェースを作成および移動させるための他の実施形態を図示する。
図８７Ａ−８７Ｃは、１つ以上の実施形態による、ユーザインターフェースを作成および移動させるための他の実施形態を図示する。
図８８Ａ−８８Ｃは、１つ以上の実施形態による、ユーザの手上に作成されたユーザインターフェースを図示する。
図８８Ａ−８８Ｃは、１つ以上の実施形態による、ユーザの手上に作成されたユーザインターフェースを図示する。
図８８Ａ−８８Ｃは、１つ以上の実施形態による、ユーザの手上に作成されたユーザインターフェースを図示する。
図８９Ａ−８９Ｊは、１つ以上の実施形態による、ＡＲシステムを用いた例示的ユーザ買物体験を図示する。
図８９Ａ−８９Ｊは、１つ以上の実施形態による、ＡＲシステムを用いた例示的ユーザ買物体験を図示する。
図８９Ａ−８９Ｊは、１つ以上の実施形態による、ＡＲシステムを用いた例示的ユーザ買物体験を図示する。
図８９Ａ−８９Ｊは、１つ以上の実施形態による、ＡＲシステムを用いた例示的ユーザ買物体験を図示する。
図８９Ａ−８９Ｊは、１つ以上の実施形態による、ＡＲシステムを用いた例示的ユーザ買物体験を図示する。
図８９Ａ−８９Ｊは、１つ以上の実施形態による、ＡＲシステムを用いた例示的ユーザ買物体験を図示する。
図８９Ａ−８９Ｊは、１つ以上の実施形態による、ＡＲシステムを用いた例示的ユーザ買物体験を図示する。
図８９Ａ−８９Ｊは、１つ以上の実施形態による、ＡＲシステムを用いた例示的ユーザ買物体験を図示する。
図８９Ａ−８９Ｊは、１つ以上の実施形態による、ＡＲシステムを用いた例示的ユーザ買物体験を図示する。
図８９Ａ−８９Ｊは、１つ以上の実施形態による、ＡＲシステムを用いた例示的ユーザ買物体験を図示する。
図９０は、１つ以上の実施形態による、ＡＲシステムを用いた例示的図書館体験を図示する。
図９１Ａ−９１Ｆは、１つ以上の実施形態による、ＡＲシステムを用いた例示的健康管理体験を図示する。
図９１Ａ−９１Ｆは、１つ以上の実施形態による、ＡＲシステムを用いた例示的健康管理体験を図示する。
図９１Ａ−９１Ｆは、１つ以上の実施形態による、ＡＲシステムを用いた例示的健康管理体験を図示する。
図９１Ａ−９１Ｆは、１つ以上の実施形態による、ＡＲシステムを用いた例示的健康管理体験を図示する。
図９１Ａ−９１Ｆは、１つ以上の実施形態による、ＡＲシステムを用いた例示的健康管理体験を図示する。
図９１Ａ−９１Ｆは、１つ以上の実施形態による、ＡＲシステムを用いた例示的健康管理体験を図示する。
図９２は、１つ以上の実施形態による、ＡＲシステムを用いた例示的労働体験を図示する。
図９３Ａ−９３Ｌは、１つ以上の実施形態による、ＡＲシステムを用いた例示的作業空間体験を図示する。
図９３Ａ−９３Ｌは、１つ以上の実施形態による、ＡＲシステムを用いた例示的作業空間体験を図示する。
図９３Ａ−９３Ｌは、１つ以上の実施形態による、ＡＲシステムを用いた例示的作業空間体験を図示する。
図９３Ａ−９３Ｌは、１つ以上の実施形態による、ＡＲシステムを用いた例示的作業空間体験を図示する。
図９３Ａ−９３Ｌは、１つ以上の実施形態による、ＡＲシステムを用いた例示的作業空間体験を図示する。
図９３Ａ−９３Ｌは、１つ以上の実施形態による、ＡＲシステムを用いた例示的作業空間体験を図示する。
図９３Ａ−９３Ｌは、１つ以上の実施形態による、ＡＲシステムを用いた例示的作業空間体験を図示する。
図９３Ａ−９３Ｌは、１つ以上の実施形態による、ＡＲシステムを用いた例示的作業空間体験を図示する。
図９３Ａ−９３Ｌは、１つ以上の実施形態による、ＡＲシステムを用いた例示的作業空間体験を図示する。
図９３Ａ−９３Ｌは、１つ以上の実施形態による、ＡＲシステムを用いた例示的作業空間体験を図示する。
図９３Ａ−９３Ｌは、１つ以上の実施形態による、ＡＲシステムを用いた例示的作業空間体験を図示する。
図９３Ａ−９３Ｌは、１つ以上の実施形態による、ＡＲシステムを用いた例示的作業空間体験を図示する。
図９４は、１つ以上の実施形態による、ＡＲシステムを用いた別の例示的作業空間体験を図示する。
図９５Ａ−９５Ｅは、１つ以上の実施形態による、別のＡＲ体験を図示する。
図９５Ａ−９５Ｅは、１つ以上の実施形態による、別のＡＲ体験を図示する。
図９５Ａ−９５Ｅは、１つ以上の実施形態による、別のＡＲ体験を図示する。
図９５Ａ−９５Ｅは、１つ以上の実施形態による、別のＡＲ体験を図示する。
図９５Ａ−９５Ｅは、１つ以上の実施形態による、別のＡＲ体験を図示する。
図９６Ａ−９６Ｄは、１つ以上の実施形態による、さらに別のＡＲ体験を図示する。
図９６Ａ−９６Ｄは、１つ以上の実施形態による、さらに別のＡＲ体験を図示する。
図９６Ａ−９６Ｄは、１つ以上の実施形態による、さらに別のＡＲ体験を図示する。
図９６Ａ−９６Ｄは、１つ以上の実施形態による、さらに別のＡＲ体験を図示する。
図９７Ａ−９７Ｈは、１つ以上の実施形態による、ＡＲシステムを用いたゲーム体験を図示する。
図９７Ａ−９７Ｈは、１つ以上の実施形態による、ＡＲシステムを用いたゲーム体験を図示する。
図９７Ａ−９７Ｈは、１つ以上の実施形態による、ＡＲシステムを用いたゲーム体験を図示する。
図９７Ａ−９７Ｈは、１つ以上の実施形態による、ＡＲシステムを用いたゲーム体験を図示する。
図９７Ａ−９７Ｈは、１つ以上の実施形態による、ＡＲシステムを用いたゲーム体験を図示する。
図９７Ａ−９７Ｈは、１つ以上の実施形態による、ＡＲシステムを用いたゲーム体験を図示する。
図９７Ａ−９７Ｈは、１つ以上の実施形態による、ＡＲシステムを用いたゲーム体験を図示する。
図９７Ａ−９７Ｈは、１つ以上の実施形態による、ＡＲシステムを用いたゲーム体験を図示する。
図９８Ａ−９８Ｄは、１つ以上の実施形態による、ＡＲシステムを用いたウェブショッピング体験を図示する。
図９８Ａ−９８Ｄは、１つ以上の実施形態による、ＡＲシステムを用いたウェブショッピング体験を図示する。
図９８Ａ−９８Ｄは、１つ以上の実施形態による、ＡＲシステムを用いたウェブショッピング体験を図示する。
図９８Ａ−９８Ｄは、１つ以上の実施形態による、ＡＲシステムを用いたウェブショッピング体験を図示する。
図９９は、１つ以上の実施形態による、ゲーム用プラットフォーム内の種々のゲームのブロック図を図示する。
図１００は、一実施形態による、拡張現実システムと通信するための種々のユーザ入力を図示する。
図１０１は、一実施形態による、ユーザの眼の移動を追跡するＬＥＤ光およびダイオードを図示する。
図１０２は、一実施形態による、プルキニエ像を図示する。
図１０３は、一実施形態による、拡張現実システムと通信するために使用され得る、種々の手のジェスチャを図示する。
図１０４は、一実施形態による、例示的トーテムを図示する。
図１０５Ａ−１０５Ｃは、１つ以上の実施形態による、他の例示的トーテムを図示する。
図１０５Ａ−１０５Ｃは、１つ以上の実施形態による、他の例示的トーテムを図示する。
図１０５Ａ−１０５Ｃは、１つ以上の実施形態による、他の例示的トーテムを図示する。
図１０６Ａ−１０６Ｃは、拡張現実システムと通信するために使用され得る、他のトーテムを図示する。
図１０６Ａ−１０６Ｃは、拡張現実システムと通信するために使用され得る、他のトーテムを図示する。
図１０６Ａ−１０６Ｃは、拡張現実システムと通信するために使用され得る、他のトーテムを図示する。
図１０７Ａ−１０７Ｄは、１つ以上の実施形態による、他の例示的トーテムを図示する。
図１０７Ａ−１０７Ｄは、１つ以上の実施形態による、他の例示的トーテムを図示する。
図１０７Ａ−１０７Ｄは、１つ以上の実施形態による、他の例示的トーテムを図示する。
図１０７Ａ−１０７Ｄは、１つ以上の実施形態による、他の例示的トーテムを図示する。
図１０８Ａ−１０８Ｃは、１つ以上の実施形態による、リングおよびブレスレット型トーテムの例示的実施形態を図示する。
図１０８Ａ−１０８Ｃは、１つ以上の実施形態による、リングおよびブレスレット型トーテムの例示的実施形態を図示する。
図１０８Ａ−１０８Ｃは、１つ以上の実施形態による、リングおよびブレスレット型トーテムの例示的実施形態を図示する。
図１０９Ａ−１０９Ｃは、１つ以上の実施形態による、さらに例示的トーテムを図示する。
図１０９Ａ−１０９Ｃは、１つ以上の実施形態による、さらに例示的トーテムを図示する。
図１０９Ａ−１０９Ｃは、１つ以上の実施形態による、さらに例示的トーテムを図示する。
図１１０Ａ−１１０Ｂは、１つ以上の実施形態による、チャーム型トーテムおよびキーチェーン型トーテムを図示する。
図１１０Ａ−１１０Ｂは、１つ以上の実施形態による、チャーム型トーテムおよびキーチェーン型トーテムを図示する。
図１１１は、一実施形態による、トーテムを通してユーザ入力を決定するプロセスのための高レベルフロー図を図示する。
図１１２は、一実施形態による、音波正面を生成するプロセスのための高レベルフロー図を図示する。
図１１３は、一実施形態による、音波正面を生成するために使用される構成要素のブロック図である。
図１１４は、一実施形態による、低密度および高密度点を決定する例示的方法である。
図１１５は、一実施形態による、テクスチャ化された光を投影するブロック図である。
図１１６は、一実施形態による、データ処理の例示的ブロック図である。
図１１７は、一実施形態による、視線を追跡するための眼の概略図である。
図１１８は、一実施形態による、視線を追跡するための眼の別の斜視図および１つ以上のカメラを示す。
図１１９は、一実施形態による、視線を追跡するための眼のさらに別の斜視図および１つ以上のカメラを示す。
図１２０は、一実施形態による、視線を追跡するための眼のさらに別の斜視図および１つ以上のカメラを示す。
図１２１は、一実施形態による、視線を追跡するための平行移動行列ビューを示す。
図１２２は、一実施形態による、視線を追跡する例示的方法を図示する。
図１２３Ａ−１２３Ｄは、一実施形態による、アバタを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２３Ａ−１２３Ｄは、一実施形態による、アバタを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２３Ａ−１２３Ｄは、一実施形態による、アバタを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２３Ａ−１２３Ｄは、一実施形態による、アバタを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２４Ａ−１２４Ｍは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２４Ａ−１２４Ｍは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２４Ａ−１２４Ｍは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２４Ａ−１２４Ｍは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２４Ａ−１２４Ｍは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２４Ａ−１２４Ｍは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２４Ａ−１２４Ｍは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２４Ａ−１２４Ｍは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２４Ａ−１２４Ｍは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２４Ａ−１２４Ｍは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２４Ａ−１２４Ｍは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２４Ａ−１２４Ｍは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２４Ａ−１２４Ｍは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２５Ａ−１２５Ｍは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２５Ａ−１２５Ｍは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２５Ａ−１２５Ｍは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２５Ａ−１２５Ｍは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２５Ａ−１２５Ｍは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２５Ａ−１２５Ｍは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２５Ａ−１２５Ｍは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２５Ａ−１２５Ｍは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２５Ａ−１２５Ｍは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２５Ａ−１２５Ｍは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２５Ａ−１２５Ｍは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２５Ａ−１２５Ｍは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２５Ａ−１２５Ｍは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２６Ａ−１２６Ｌは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２６Ａ−１２６Ｌは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２６Ａ−１２６Ｌは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２６Ａ−１２６Ｌは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２６Ａ−１２６Ｌは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２６Ａ−１２６Ｌは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２６Ａ−１２６Ｌは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２６Ａ−１２６Ｌは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２６Ａ−１２６Ｌは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２６Ａ−１２６Ｌは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２６Ａ−１２６Ｌは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２６Ａ−１２６Ｌは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図１２７Ａ−１２７Ｅは、一実施形態による、ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２７Ａ−１２７Ｅは、一実施形態による、ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２７Ａ−１２７Ｅは、一実施形態による、ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２７Ａ−１２７Ｅは、一実施形態による、ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２７Ａ−１２７Ｅは、一実施形態による、ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２８Ａ−１２８Ｐは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２９Ａ−１２９Ｍは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２９Ａ−１２９Ｍは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２９Ａ−１２９Ｍは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２９Ａ−１２９Ｍは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２９Ａ−１２９Ｍは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２９Ａ−１２９Ｍは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２９Ａ−１２９Ｍは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２９Ａ−１２９Ｍは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２９Ａ−１２９Ｍは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２９Ａ−１２９Ｍは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２９Ａ−１２９Ｍは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２９Ａ−１２９Ｍは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図１２９Ａ−１２９Ｍは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図１３０Ａ−１３０Ｉは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３０Ａ−１３０Ｉは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３０Ａ−１３０Ｉは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３０Ａ−１３０Ｉは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３０Ａ−１３０Ｉは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３０Ａ−１３０Ｉは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３０Ａ−１３０Ｉは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３０Ａ−１３０Ｉは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３０Ａ−１３０Ｉは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３１Ａ−１３１Ｉは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３１Ａ−１３１Ｉは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３１Ａ−１３１Ｉは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３１Ａ−１３１Ｉは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３１Ａ−１３１Ｉは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３１Ａ−１３１Ｉは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３１Ａ−１３１Ｉは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３１Ａ−１３１Ｉは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３１Ａ−１３１Ｉは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図１３２は、仮想オブジェクトが１つ以上の物理オブジェクトに関連する、種々の機構の平面図である。
図１３３は、１つ以上の実施形態による、種々のタイプのＡＲレンダリングの平面図である。
図１３４は、１つ以上の実施形態による、ＡＲシステムにおける種々のタイプのユーザ入力を図示する。
図１３５Ａ−１３５Ｊは、１つ以上の実施形態による、ＡＲシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図１３５Ａ−１３５Ｊは、１つ以上の実施形態による、ＡＲシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図１３５Ａ−１３５Ｊは、１つ以上の実施形態による、ＡＲシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図１３５Ａ−１３５Ｊは、１つ以上の実施形態による、ＡＲシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図１３５Ａ−１３５Ｊは、１つ以上の実施形態による、ＡＲシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図１３５Ａ−１３５Ｊは、１つ以上の実施形態による、ＡＲシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図１３５Ａ−１３５Ｊは、１つ以上の実施形態による、ＡＲシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図１３５Ａ−１３５Ｊは、１つ以上の実施形態による、ＡＲシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図１３５Ａ−１３５Ｊは、１つ以上の実施形態による、ＡＲシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図１３５Ａ−１３５Ｊは、１つ以上の実施形態による、ＡＲシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図１３６は、１つ以上の実施形態による、ＡＲシステムの較正機構のための種々の構成要素の平面図を図示する。
図１３７は、１つ以上の実施形態による、ユーザの顔上のＡＲデバイスの図を図示し、ＡＲデバイスは、眼追跡カメラを有する。
図１３８は、１つ以上の実施形態による、ＡＲシステムの眼識別画像を図示する。
図１３９は、１つ以上の実施形態による、ＡＲシステムを用いて撮影された網膜画像を図示する。
図１４０は、例証される実施形態の１つによる、仮想ユーザインターフェースを生成する例示的方法のプロセスフロー図である。
図１４１は、例証される実施形態の１つによる、座標フレームに基づいて仮想ユーザインターフェースを生成する例示的方法の別のプロセスフロー図である。
図１４２は、例証される実施形態の１つによる、カスタマイズされたユーザインターフェースを構築する例示的方法のプロセスフロー図である。
図１４３は、例証される実施形態の１つによる、情報をパス可能世界モデルから読み出し、ＡＲシステムの他のユーザと相互作用する例示的方法のプロセスフロー図である。
図１４４は、例証される実施形態の１つによる、受信された入力に基づいて、情報をクラウド内の知識ベースから読み出す例示的方法のプロセスフロー図である。
図１４５は、例証される実施形態の１つによる、ＡＲシステムを較正する例示的方法のプロセスフロー図である。
ここで、種々の実施形態が、当業者が本発明を実践することを可能にするように、本発明の例証的実施例として提供される、図面を参照して詳細に説明される。留意すべきこととして、以下の図および実施例は、本発明の範囲を限定することを意味するものではない。本発明のある要素が、公知の構成要素（または方法もしくはプロセス）を使用して部分的または完全に実装され得る場合、本発明の理解のために必要なそのような公知の構成要素（または方法もしくはプロセス）のそれらの部分のみ、説明され、そのような公知の構成要素（または方法もしくはプロセス）の他の部分の詳細な説明は、本発明を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照される構成要素の現在および将来的公知の均等物を包含する。
前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広範な精神および範囲から逸脱することなく、そこに成され得ることは明白となるであろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証的であると見なされるものとする。
開示されるのは、仮想および／または拡張現実を生成する方法およびシステムである。現実的かつ楽しめる仮想現実（ＶＲ）または拡張現実（ＡＲ）体験を提供するために、仮想コンテンツは、ヒトの眼の生理学および限界を重視する様式でユーザの眼に方略的に送達され得る。以下の開示は、ＡＲシステムの中に統合され得る、そのような光学システムの種々の実施形態を提供するであろう。本明細書における本開示の大部分は、ＡＲシステムの文脈において論じられるであろうが、同一技術は、ＶＲシステムのためにもまた使用されてもよく、以下の実施形態は、限定として読まれるべきではないことを理解されたい。
以下の開示は、ＡＲユーザが、実世界の物理オブジェクトについての包括的情報をリアルタイムで備えているマップの作成を通して、相互に相互作用し得る、種々のタイプのシステムに関する詳細を提供するであろう。マップは、有利には、既知の実オブジェクトに関係する仮想画像を投影するために考慮され得る。以下の開示は実世界についての情報を理解し、本情報を使用して、より現実的かつ楽しめるＡＲ体験を提供するための種々のアプローチを提供するであろう。加えて、本開示は、本明細書に説明されるもの等のＡＲシステムが実現され得る、種々のユーザシナリオおよび用途を提供するであろう。
（システム概要）
１つ以上の実施形態では、ＡＲシステム１０は、１つ以上の高帯域幅インターフェース１５を通して接続される１つ以上のコンピュータサーバ１１から成る、コンピューティングネットワーク５を備えている。コンピューティングネットワーク内のサーバ１１は、同じ場所に位置してもよく、またはそうでなくてもよい。１つ以上のサーバ１１の各々は、プログラム命令を実行するための１つ以上のプロセッサを備えている。サーバはまた、プログラム命令の指令下でサーバ１１によって実施されるプロセスによって使用および／または生成される、プログラム命令およびデータを記憶するためのメモリを含んでもよい。
１つ以上の実施形態では、ＡＲシステム１０は、１つ以上の高帯域幅インターフェース１５を通して接続される１つ以上のコンピュータサーバ１１から成る、コンピューティングネットワーク５を備えている。コンピューティングネットワーク内のサーバ１１は、同じ場所に位置してもよく、またはそうでなくてもよい。１つ以上のサーバ１１の各々は、プログラム命令を実行するための１つ以上のプロセッサを備えている。サーバはまた、プログラム命令の指令下でサーバ１１によって実施されるプロセスによって使用および／または生成される、プログラム命令およびデータを記憶するためのメモリを含んでもよい。
コンピューティングネットワーク５は、１つ以上のデータネットワーク接続１３を経由して、サーバ１１間およびサーバと１つ以上のユーザデバイス１２との間でデータを通信する。そのようなデータネットワークの実施例として、限定ではないが、例えば、一般にインターネットと称される、そのようなネットワークの多くの相互接続を含む、モバイルおよび有線の両方のあらゆるタイプの公共およびプライベートデータネットワークが挙げられる。特定の媒体、トポロジ、またはプロトコルが、図によって含意されることが意図されるわけではない。
ユーザデバイスは、直接、コンピューティングネットワーク５またはサーバ１１のいずれかと通信するために構成される。代替として、ユーザデバイス１２は、遠隔サーバ１１と、随意に、他のユーザデバイスと、ネットワーク５と１つ以上のローカルユーザデバイス１２との間でデータを処理し、および／またはデータを通信するための特別にプログラムされたローカルゲートウェイ１４を通してローカルで、通信する。
図示されるように、ゲートウェイ１４は、ソフトウェア命令を実行するためのプロセッサと、ソフトウェア命令およびデータを記憶するためのメモリとを含む、別個のハードウェア構成要素として実装される。ゲートウェイは、コンピューティングネットワーク５を備えているサーバ１１と通信するために、データネットワークへのその独自の有線および／または無線接続を有する。代替として、ゲートウェイ１４は、ユーザによって装着または携行される、ユーザデバイス１２と統合されることができる。例えば、ゲートウェイ１４は、ユーザデバイス１２内に含まれるプロセッサ上にインストールされ、起動する、ダウンロード可能ソフトウェアアプリケーションとして実装されてもよい。ゲートウェイ１４は、一実施形態では、データネットワーク１３を介して、コンピューティングネットワーク５への１つ以上のユーザアクセスを提供する。
サーバ１１の各々は、例えば、データおよびソフトウェアプログラムを記憶するための作業メモリおよび記憶と、プログラム命令を実行するためのマイクロプロセッサと、グラフィック、画像、ビデオ、オーディオ、およびマルチメディアファイルをレンダリングおよび生成するためのグラフィックプロセッサおよび他の特殊プロセッサとを含む。コンピューティングネットワーク５はまた、サーバ１１によってアクセス、使用、または作成される、データを記憶するためのデバイスを備えてもよい。
サーバ上と、随意に、ユーザデバイス１２およびゲートウェイ１４上とで起動するソフトウェアプログラムは、ユーザがユーザデバイス１２と相互作用する、デジタル世界（本明細書では、仮想世界とも称される）を生成するために使用される。デジタル世界（またはマップ）（以下にさらに詳細に説明されるであろうように）は、ユーザが体験および相互作用するためのユーザデバイス１２を通してユーザに提示され得る、仮想上の非存在エンティティ、環境、および条件を説明および／または定義する、データおよびプロセスによって表される。例えば、ユーザによって視認または体験されている場面内にインスタンス化されると、物理的に存在するように見えるでろう、いくつかのタイプのオブジェクト、エンティティ、またはアイテムは、その外観、その挙動、ユーザがそれと相互作用することが許可される方法、および他の特性の説明を含んでもよい。
仮想世界（仮想オブジェクトを含む）の環境を作成するために使用されるデータは、例えば、大気データ、地形データ、天候データ、温度データ、場所データ、ならびに仮想環境を定義および／または説明するために使用される他のデータを含んでもよい。加えて、仮想世界の動作を統制する、種々の条件を定義するデータは、例えば、物理の法則、時間、空間関係、ならびに仮想世界（仮想オブジェクトを含む）の動作を統制する種々の条件を定義および／または作成するために使用され得る、他のデータを含んでもよい。
デジタル世界のエンティティ、オブジェクト、条件、特性、挙動、または他の特徴は、文脈によって別様に示されない限り、本明細書では、オブジェクト（例えば、デジタルオブジェクト、仮想オブジェクト、レンダリングされた物理オブジェクト等）と一般的に称されるであろう。オブジェクトは、限定ではないが、建物、植物、車両、人々、動物、創造物、機械、データ、ビデオ、テキスト、写真、および他のユーザを含む、任意のタイプの生物または非生物オブジェクトであってもよい。オブジェクトはまた、物理世界に実際に存在するアイテム、挙動、または条件についての情報を記憶するために、デジタル世界内に定義されてもよい。エンティティ、オブジェクト、またはアイテムを説明もしくは定義する、またはその現在の状態を記憶する、データは、概して、本明細書では、オブジェクトデータと称される。本データは、サーバ１１によって、または実装に応じて、ゲートウェイ１４またはユーザデバイス１２によって、処理され、オブジェクトのインスタンスをインスタンス化し、ユーザがユーザデバイスを通して体験するための適切な様式でオブジェクトをレンダリングする。
デジタル世界を開発および／または監督するプログラマは、オブジェクトおよびそれらがインスタンス化される条件を作成または定義する。しかしながら、デジタル世界は、他者が、オブジェクトを作成または修正することを可能にすることができる。いったんオブジェクトがインスタンス化されると、オブジェクトの状態は、デジタル世界を体験する１人以上のユーザによって、改変、制御、または操作されることが許可されてもよい。
例えば、一実施形態では、デジタル世界の開発、作製、および管理は、概して、１つ以上のシステム管理プログラマによって提供される。いくつかの実施形態では、これは、デジタル世界内の話の筋、テーマ、およびイベントの開発、設計、および／または実行、ならびに、例えば、映画、デジタル、ネットワーク、モバイル、拡張現実、およびライブエンターテインメント等の種々の形態のイベントおよび媒体を通した物語の分布を含んでもよい。システム管理プログラマはまた、デジタル世界およびそれに関連付けられたユーザコミュニティの技術的管理、調整、および監督、ならびに典型的にはネットワーク管理人によって行われる他のタスクにも対処し得る。
ユーザは、概して、ユーザデバイス１２として指定される、いくつかのタイプのローカルコンピューティングデバイスを使用して、１つ以上のデジタル世界と相互作用する。そのようなユーザデバイスの実施例として、限定ではないが、スマートフォン、タブレットデバイス、頭部搭載式ディスプレイ（ＨＭＤ）、ゲーム用コンソール、またはデータを通信し、インターフェースもしくディスプレイをユーザに提供可能である、任意の他のデバイス、ならびにそのようなデバイスの組み合わせが挙げられる。いくつかの実施形態では、ユーザデバイス１２は、例えば、キーボード、マウス、ジョイスティック、ゲーム用コントローラ、触知インターフェースデバイス、運動捕捉コントローラ、光学追跡デバイス、オーディオ機器、音声機器、プロジェクタシステム、３Ｄディスプレイ、および／またはホログラム３Ｄコンタクトレンズ等のローカル周辺機器または入力／出力構成要素を含む、またはそれらと通信してもよい。
システム１０と相互作用するためのユーザデバイス１２の実施例は、図２に図示される。図２に示される例示的実施形態では、ユーザ２１は、スマートフォン２２を通して１つ以上のデジタル世界とインターフェースをとってもよい。ゲートウェイは、スマートフォン２２上に記憶され、その上で起動する、ソフトウェアアプリケーション２３によって実装される。本特定の実施例では、データネットワーク１３は、ユーザデバイス（例えば、スマートフォン２２）をコンピュータネットワーク５に接続する、無線モバイルネットワークを含む。
好ましい実施形態の一実装では、システム１０は、それぞれ、いくつかのタイプのユーザデバイス１２を使用して、同一デジタル世界または複数のデジタル世界とインターフェースをとる、多数の同時ユーザ（例えば、数百万人のユーザ）をサポート可能である。
ユーザデバイスは、ユーザに、他のユーザおよびユーザに提示されるオブジェクト（実または仮想）を含む、ユーザとサーバ１１によって生成されたデジタル世界との間の視覚的、聴覚的、および／または物理的相互作用を可能にするためのインターフェースを提供する。インターフェースは、ユーザに、視認、聴取、または別様に感知され得る、レンダリングされた場面と、場面とリアルタイムで相互作用するための能力とを提供する。ユーザがレンダリングされた場面と相互作用する様式は、ユーザデバイスの能力によって決定され得る。例えば、ユーザデバイスが、スマートフォンである場合、ユーザ相互作用は、ユーザがタッチスクリーンに接触することによって実装されてもよい。別の実施例では、ユーザデバイスが、コンピュータまたはゲーム用コンソールである場合、ユーザ相互作用は、キーボードまたはゲーム用コントローラを使用して実装されてもよい。ユーザデバイスは、センサ等のユーザ相互作用を可能にする、付加的構成要素を含んでもよく、センサによって検出されるオブジェクトおよび情報（ジェスチャを含む）は、ユーザデバイスを使用した仮想世界とのユーザ相互作用を表す、入力として提供されてもよい。
レンダリングされた場面は、例えば、２次元または３次元視覚的ディスプレイ（投影を含む）、音、および触知または触覚フィードバック等の種々のフォーマットで提示されることができる。レンダリングされた場面は、例えば、拡張現実、仮想現実、およびそれらの組み合わせを含む、１つ以上のモードにおいて、ユーザによってインターフェースがとられてもよい。レンダリングされる場面のフォーマットならびにインターフェースモードは、ユーザデバイス、データ処理能力、ユーザデバイス接続、ネットワーク容量、およびシステム作業負荷のうちの１つ以上のものによって決定され得る。多数のユーザを同時にデジタル世界と相互作用させることおよびデータ交換のリアルタイム性質は、コンピューティングネットワーク５、サーバ１１、ゲートウェイ構成要素１４（随意）、およびユーザデバイス１２によって可能にされる。
一実施例では、コンピューティングネットワーク５は、高速接続（例えば、高帯域幅インターフェース１５）を通して接続される単一および／またはマルチコアサーバ（例えば、サーバ１１）を有する、大規模コンピューティングシステムから成る。コンピューティングネットワーク５は、クラウドまたはグリッドネットワークを形成してもよい。サーバの各々は、デジタル世界のオブジェクトを作成、設計、改変、または処理するためのデータを実装するために、メモリを含む、またはソフトウェアを記憶するためのコンピュータ可読メモリと結合される。これらのオブジェクトおよびそのインスタンス化は、動的であって、出現したり消失したりし、経時的に変化し、かつ他の条件に応答して変化してもよい。オブジェクトの動的能力の実施例は、概して、種々の実施形態に関して本明細書で論じられる。いくつかの実施形態では、システム１０とインターフェースをとる各ユーザもまた、オブジェクトおよび／またはオブジェクトのコレクションとして１つ以上のデジタル世界内に表されてもよい。
コンピューティングネットワーク５内のサーバ１１はまた、デジタル世界毎に計算状態データを記憶する。計算状態データ（本明細書では、状態データとも称される）は、オブジェクトデータの構成要素であり得、概して、所与の時間インスタンスにおけるオブジェクトのインスタンスの状態を定義する。したがって、計算状態データは、経時的に変化し得、システム１０を維持する１人以上のユーザおよび／またはプログラマのアクションによって影響を受け得る。ユーザが計算状態データ（またはデジタル世界を備えている他のデータ）に影響を及ぼすにつれて、ユーザは、直接、デジタル世界を改変または別様に操作する。デジタル世界が、他のユーザと共有される、またはそれによってインターフェースがとられる場合、ユーザのアクションは、デジタル世界と相互作用する他のユーザによって体験されるものに影響を及ぼし得る。したがって、いくつかの実施形態では、ユーザによって作製されるデジタル世界への変更は、システム１０とインターフェースをとる他のユーザによっても体験されるであろう。
コンピューティングネットワーク５内の１つ以上のサーバ１１に記憶されるデータは、一実施形態では、高速かつ短待ち時間で、１つ以上のユーザデバイス１２および／またはゲートウェイ構成要素１４に伝送または展開される。一実施形態では、サーバによって共有されるオブジェクトデータは、完全であってもよく、または圧縮され、完全オブジェクトデータをユーザ側で再作成するための命令を含み、ユーザのローカルコンピューティングデバイス（例えば、ゲートウェイ１４および／またはユーザデバイス１２）によってレンダリングおよび視覚化されてもよい。コンピューティングネットワーク５のサーバ１１上で起動するソフトウェアは、いくつかの実施形態では、それが生成し、特定のユーザのデバイス１２に送信するデータを、ユーザの具体的デバイスおよび帯域幅の関数として、コンピューティングネットワーク５によって交換されるデジタル世界内のオブジェクト（または任意の他のデータ）のために適合させてもよい。
例えば、ユーザがユーザデバイス１２を通してデジタル世界またはマップと相互作用するとき、サーバ１１は、ユーザによって使用されているデバイスの具体的タイプ、デバイスの接続性、および／またはユーザデバイスとサーバとの間で利用可能な帯域幅を認識し、ユーザ相互作用を最適化するためにデバイスに送信されているデータを適切にサイズ設定および平衡化してもよい。これの実施例として、データが低分解能ディスプレイを有する特定のユーザデバイス上に表示され得るように、伝送されるデータのサイズを低分解能品質に低下させることが挙げられ得る。好ましい実施形態では、コンピューティングネットワーク５および／またはゲートウェイ構成要素１４は、１５フレーム／秒またはそれを上回って、かつ高精細度品質である分解能またはそれを上回って動作するインターフェースを提示するために十分なレートで、データをユーザデバイス１２に送達する。
ゲートウェイ１４は、１人以上のユーザのために、コンピューティングネットワーク５へのローカル接続を提供する。いくつかの実施形態では、図２に示されるもの等のユーザデバイス１２または別のローカルデバイス上で起動する、ダウンロード可能ソフトウェアアプリケーションによって実装されてもよい。他の実施形態では、ユーザデバイス１２と通信するが、それとともに組み込まれない、もしくはそれに取り込まれないか、またはユーザデバイス１２とともに組み込まれるかのいずれかである、ハードウェア構成要素（構成要素上に記憶される適切なソフトウェア／ファームウェアを伴い、構成要素は、プロセッサを有する）によって実装されてもよい。ゲートウェイ１４は、データネットワーク１３を介して、コンピューティングネットワーク５と通信し、コンピューティングネットワーク５と１つ以上のローカルユーザデバイス１２との間のデータ交換を提供する。以下により詳細に論じられるように、ゲートウェイ構成要素１４は、ソフトウェア、ファームウェア、メモリ、および処理回路を含んでもよく、ネットワーク５と１つ以上のローカルユーザデバイス１２との間で通信されるデータを処理可能であってもよい。
いくつかの実施形態では、ゲートウェイ構成要素１４は、ユーザデバイス１２とコンピュータネットワーク５との間で交換されるデータのレートを監視および調整し、特定のユーザデバイス１２のための最適データ処理能力を可能にする。例えば、いくつかの実施形態では、ゲートウェイ１４は、デジタル世界の静的および動的側面の両方（ユーザデバイスと接続されるインターフェースを通してユーザに提示される視野を越えるものさえ）をバッファおよびダウンロードする。そのような実施形態では、静的オブジェクト（構造化されたデータ、ソフトウェア実装方法、または両方）のインスタンスは、メモリ（ゲートウェイ構成要素１４、ユーザデバイス１２、または両方にローカル）内に記憶されてもよく、コンピューティングネットワーク５および／またはユーザのデバイス１２によって提供されるデータによって示される、ローカルのユーザの現在の位置に対して参照される。
例えば、他のユーザおよび／またはローカルユーザによって制御される知的ソフトウェアエージェントおよびオブジェクトを含み得る、動的オブジェクトのインスタンスは、高速メモリバッファ内に記憶される。ユーザに提示される場面内の２次元または３次元オブジェクトを表す動的オブジェクトは、例えば、移動するが変化しない静的形状および変化する動的形状等の構成要素形状に分割されることができる。変化する動的オブジェクトの部分は、ゲートウェイ構成要素１４によって管理されるコンピューティングネットワーク５を通して、サーバ１１からのリアルタイムのスレッド化された高優先度データストリームによって更新されることができる。
優先化されたスレッド化データストリームの一実施例として、ユーザの眼の６０度視野内のデータは、より周辺にあるデータより高い優先度が与えられ得る。別の実施例として、背景内の静的オブジェクトにわたるユーザの視野内の動的キャラクタおよび／またはオブジェクトを優先化することが挙げられる。
コンピューティングネットワーク５とユーザデバイス１２との間のデータ接続の管理に加え、ゲートウェイ構成要素１４は、ユーザデバイス１２に提示され得るデータを記憶および／または処理してもよい。例えば、ゲートウェイ構成要素１４は、いくつかの実施形態では、例えば、ユーザによって視認するためにレンダリングされるべきグラフィカルオブジェクトを記述する圧縮されたデータを、コンピューティングネットワーク５から受信し、コンピューティングネットワーク５からユーザデバイス１２に伝送されるデータ負荷を軽減するための高度レンダリング技法を行ってもよい。ゲートウェイ１４が別個のデバイスである、別の実施例では、ゲートウェイ１４は、データを処理のためにコンピューティングネットワーク５に伝送するのではなく、オブジェクトのローカルインスタンスのためのデータを記憶および／または処理してもよい。
ここで図３を参照すると、仮想世界は、ユーザのデバイスの能力に依存し得る種々のフォーマットにおいて、１人以上のユーザによって達成されてもよい。いくつかの実施形態では、ユーザデバイス１２は、例えば、スマートフォン、タブレットデバイス、頭部搭載式ディスプレイ（ＨＭＤ）、ゲーム用コンソール、または装着式デバイスを含んでもよい。概して、ユーザデバイスは、ディスプレイと結合される、デバイス上のメモリ内に記憶されるプログラムコードを実行するためのプロセッサと、通信インターフェースとを含むであろう。
ユーザデバイスの例示的実施形態は、図３に図示されており、ユーザデバイスは、モバイル装着式デバイス、すなわち、頭部搭載式ディスプレイシステム３０を備えている。本開示のある実施形態によると、頭部搭載式ディスプレイシステム３０は、ユーザインターフェース３７と、ユーザ感知システム３４と、環境感知システム３６と、プロセッサ３８とを含む。プロセッサ３８は、頭部搭載式システム３０と別個の隔離された構成要素として図３に示されるが、代替実施形態では、プロセッサ３８は、頭部搭載式システム３０の１つ以上の構成要素と統合されてもよく、または、例えば、図１および図２に示されるように、ゲートウェイ１４等の他のシステム１０構成要素の中に統合されてもよい。
ユーザデバイス３０は、ユーザに、デジタル世界と相互作用し、それを体験するためのインターフェース３７を提示する。そのような相互作用は、ユーザおよびデジタル世界と、システム１０とインターフェースをとる１人以上の他のユーザと、デジタル世界内のオブジェクトとを伴い得る。インターフェース３７は、概して、画像および／またはオーディオ感覚入力（およびいくつかの実施形態では、物理感覚入力）をユーザに提供する。したがって、インターフェース３７は、スピーカ（図示せず）と、いくつかの実施形態では、立体視３Ｄ視認および／またはヒト視覚系のより自然な特性を具現化する３Ｄ視認をもたらすことが可能なディスプレイ構成要素３３とを含んでもよい。
いくつかの実施形態では、ディスプレイ構成要素３３は、「オフ」設定にあるとき、殆ど／全く光学歪曲またはコンピューティングオーバーレイを伴わずに、ユーザの周囲の物理環境の光学的に正しいビューを可能にする、透明インターフェース（クリアＯＬＥＤ等）を備えてもよい。以下により詳細に論じられるように、インターフェース３７は、種々の視覚的／インターフェース性能および機能性を可能にする、付加的設定を含んでもよい。
ユーザ感知システム３４は、いくつかの実施形態では、システム３０を装着する個々のユーザに関連するある特徴、特性、または情報を検出するように動作可能な１つ以上のセンサ３１を含んでもよい。例えば、いくつかの実施形態では、センサ３１は、ユーザのリアルタイム光学特性／測定を検出する可能なカメラまたは光学検出／走査回路を含んでもよい。
ユーザのリアルタイム光学特性／測定は、例えば、瞳孔狭窄／拡張、各瞳孔の角度測定／測位、真球度、眼形状（眼形状が経時的に変化するにつれて）、および他の解剖学的データのうちの１つ以上のものであってもよい。本データは、ユーザの視認体験を最適化するために頭部搭載式システム３０および／またはインターフェースシステム１０によって使用され得る、情報（例えば、ユーザの視覚的焦点）を提供する、またはそれを計算するために使用されてもよい。例えば、一実施形態では、センサ３１の各々は、ユーザの眼毎に、瞳孔収縮率を測定してもよい。本データは、プロセッサ３８（またはゲートウェイ構成要素１４もしくはサーバ１１）に伝送されてもよく、データは、例えば、インターフェースディスプレイ３３の輝度設定に対するユーザの反応を決定するために使用される。
インターフェース３７は、ユーザの反応が、ディスプレイ３３の輝度レベルが高すぎることを示す場合、例えば、ディスプレイ３３を調光することによって、ユーザの反応に従って調節されてもよい。ユーザ感知システム３４は、前述または図３に図示されるもの以外の他の構成要素を含んでもよい。例えば、いくつかの実施形態では、ユーザ感知システム３４は、音声入力をユーザから受信するためのマイクロホンを含んでもよい。ユーザ感知システム３４はまた、１つ以上の赤外線カメラセンサと、１つ以上の可視スペクトルカメラセンサと、構造化された光エミッタおよび／またはセンサと、赤外線光エミッタと、コヒーレント光エミッタおよび／またはセンサと、ジャイロスコープと、加速度計と、磁力計と、近接センサと、ＧＰＳセンサと、超音波エミッタおよび検出器と、触知インターフェースとを含んでもよい。
環境感知システム３６は、データをユーザの周囲の物理環境から得るための１つ以上のセンサ３２を含む。センサによって検出されたオブジェクトまたは情報は、ユーザデバイスへの入力として提供されてもよい。いくつかの実施形態では、本入力は、仮想世界とのユーザ相互作用を表してもよい。例えば、机上の仮想キーボードを視認しているユーザは、仮想キーボード上でタイプしているかのように指を用いてジェスチャしてもよい。指移動の運動は、センサ３２によって捕捉され、ユーザデバイスまたはシステムに入力として提供されてもよく、入力は、仮想世界を変更する、または新しい仮想オブジェクトを作成するために使用されてもよい。
例えば、指の運動は、タイプとして認識されてもよく（例えば、プロセッサのソフトウェアプログラム等を使用して）、タイプの認識されたジェスチャは、仮想キーボード上の仮想キーの既知の場所と組み合わせられてもよい。システムは、次いで、ユーザ（またはシステムとインターフェースをとる他のユーザ）に表示される仮想モニタをレンダリングしてもよく、仮想モニタは、ユーザによってタイプされているテキストを表示する。
センサ３２は、例えば、継続的および／または断続的に投影される赤外線の構造化された光を通して、場面情報を解釈するために、例えば、概して、外向きに面したカメラまたはスキャナを含んでもよい。環境感知システム（３６）は、静的オブジェクト、動的オブジェクト、人々、ジェスチャおよび種々の照明、大気、および音響条件を含む、ローカル環境を検出および位置合わせすることによって、ユーザの周囲の物理環境の１つ以上の要素をマップするために使用されてもよい。したがって、いくつかの実施形態では、環境感知システム（３６）は、ローカルコンピューティングシステム（例えば、ゲートウェイ構成要素１４またはプロセッサ３８）内に埋め込まれ、センサ３２によって検出された１つ以上のオブジェクトもしくは情報をデジタル的に再構成するように動作可能である、画像ベースの３Ｄ再構成ソフトウェアを含んでもよい。
一例示的実施形態では、環境感知システム３６は、運動捕捉データ（ジェスチャ認識を含む）、深度感知、顔認識、オブジェクト認識、一意のオブジェクト特徴認識、音声／オーディオ認識および処理、音響源位置特定、雑音低減、赤外線または類似レーザ投影、ならびに単色および／またはカラーＣＭＯＳセンサ（または他の類似センサ）、視野センサ、および種々の他の光学増強センサのうちの１つ以上のものを提供する。
環境感知システム３６は、前述または図３に図示されるもの以外の他の構成要素を含んでもよいことを理解されたい。例えば、いくつかの実施形態では、環境感知システム３６は、オーディオをローカル環境から受信するためのマイクロホンを含んでもよい。ユーザ感知システム（３６）はまた、１つ以上の赤外線カメラセンサと、１つ以上の可視スペクトルカメラセンサと、構造光エミッタおよび／またはセンサと、赤外線光エミッタと、コヒーレント光エミッタおよび／またはセンサと、ジャイロスコープと、加速度計と、磁力計と、近接センサと、ＧＰＳセンサと、超音波エミッタおよび検出器と、触知インターフェースとを含んでもよい。
前述のように、プロセッサ３８は、いくつかの実施形態では、頭部搭載式システム３０の他の構成要素と統合される、インターフェースシステム１０の他の構成要素と統合されてもよく、または図３に示されるように、隔離されたデバイス（装着式またはユーザと別個）であってもよい。プロセッサ３８は、物理的有線接続を通して、または、例えば、モバイルネットワーク接続（携帯電話およびデータネットワークを含む）、Ｗｉ−Ｆｉ、もしくはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を通して、頭部搭載式システム３０の種々の構成要素および／またはインターフェースシステム１０の構成要素に接続されてもよい。
１つ以上の実施形態では、プロセッサ３８は、メモリモジュールと、統合されたおよび／または付加的グラフィック処理ユニットと、無線および／または有線インターネット接続と、源（例えば、コンピューティングネットワーク５、ユーザ感知システム３４、環境感知システム３６、またはゲートウェイ構成要素１４）からのデータを画像および聴覚的データに変換可能なコーデックおよび／またはファームウェアとを含んでもよく、画像／ビデオおよびオーディオは、インターフェース３７を介して、ユーザに提示されてもよい。
１つ以上の実施形態では、プロセッサ３８は、頭部搭載式システム３０の種々の構成要素のためのデータ処理と、頭部搭載式システム３０とゲートウェイ構成要素１４、いくつかの実施形態では、コンピューティングネットワーク５との間のデータ交換とに対処する。例えば、プロセッサ３８は、ユーザとコンピューティングネットワーク５との間のデータストリームをバッファおよび処理し、それによって、平滑、連続、かつ高忠実性ユーザ体験を可能にするために使用されてもよい。
いくつかの実施形態では、プロセッサ３８は、３２０×２４０分解能で８フレーム／秒〜高精細度分解能（１２８０×７２０）で２４フレーム／秒、または４ｋ分解能で６０〜１２０フレーム／秒およびより高いもの（１０ｋ＋分解能で５０，０００フレーム／秒）等、それを上回って達成するために十分なレートでデータを処理してもよい。加えて、プロセッサ３８は、ユーザに提示され得るデータを、コンピューティングネットワーク５からリアルタイムでストリームされるのではなく、記憶および／または処理してもよい。
例えば、プロセッサ３８は、いくつかの実施形態では、圧縮されたデータをコンピューティングネットワーク５から受信し、および高度レンダリング技法（照射または陰影等）を行い、コンピューティングネットワーク５からユーザデバイス１２に伝送されるデータ負荷を軽減してもよい。別の実施例では、プロセッサ３８は、データをゲートウェイ構成要素１４またはコンピューティングネットワーク５に伝送するのではなく、ローカルオブジェクトデータを記憶および／または処理してもよい。
頭部搭載式システム３０は、いくつかの実施形態では、種々の視覚的／インターフェース性能および機能性を可能にするための種々の設定、すなわち、モードを含んでもよい。モードは、ユーザによって手動で、または頭部搭載式システム３０もしくはゲートウェイ構成要素１４の構成要素によって自動的に、選択されてもよい。前述のように、頭部搭載式システム３０の一例示的モードは、「オフ」モードを含み、インターフェース３７は、実質的に、デジタルまたは仮想コンテンツを提供しない。「オフ」モードでは、ディスプレイ構成要素３３は、透明であって、それによって、光学歪曲またはコンピューティングオーバーレイを殆ど／全く伴わずに、ユーザの周囲に物理環境の光学的に正しいビューを可能にしてもよい。
一例示的実施形態では、頭部搭載式システム３０は、「拡張」モードを含み、インターフェース３７は、拡張現実インターフェースを提供する。拡張モードでは、インターフェースディスプレイ３３は、実質的に透明であって、それによって、ユーザが、ローカルの物理環境を視認することを可能にしてもよい。同時に、コンピューティングネットワーク５、プロセッサ３８、および／またはゲートウェイ構成要素１４によって提供される仮想オブジェクトデータが、物理的ローカル環境と組み合わせて、ディスプレイ３３上に提供される。以下のセクションは、仮想および拡張現実目的のために使用され得る、例示的頭部搭載式ユーザシステムの種々の実施形態を検討するであろう。
（ユーザシステム）
図４Ａ−４Ｄを参照すると、いくつかの一般的構成要素選択肢が、図示される。図４Ａ−４Ｄの議論に続く詳細な説明の一部では、種々のシステム、サブシステム、および構成要素が、ヒトＶＲおよび／またはＡＲのための高品質で快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される。
図４Ａ−４Ｄを参照すると、いくつかの一般的構成要素選択肢が、図示される。図４Ａ−４Ｄの議論に続く詳細な説明の一部では、種々のシステム、サブシステム、および構成要素が、ヒトＶＲおよび／またはＡＲのための高品質で快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される。
図４Ａに示されるように、頭部搭載式拡張現実システム（「ＡＲシステム」）のユーザ６０が、ユーザの眼の正面に位置付けられるディスプレイシステム６２に結合される、フレーム６４構造を装着した状態で描写される。スピーカ６６が、描写される構成では、フレーム６４に結合され、ユーザ６０の外耳道に隣接して位置付けられる（一実施形態では、図示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ６２は、有線導線または無線接続等によって、フレーム６４に固定して取り付けられる、図４Ｂの実施形態に示されるように、ヘルメットまたは帽子８０に固定して取り付けられる、ヘッドホン内に埋め込まれる、図４Ｃの実施形態に示されるように、ある構成で（例えば、リュック（図示せず）内に設置される）ユーザ６０の胴体８２に可撤性に取り付けられる、または図４Ｄの実施形態に示されるように、ベルト結合式構成でユーザ６０の腰８４に可撤性に取り付けられる等、種々の構成で搭載され得る、ローカル処理およびデータモジュール７０に動作可能に結合される６８。
ローカル処理およびデータモジュール７０は、省電力プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備えてもよく、両方とも、（ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等、フレーム６４に動作可能に結合され得る、センサから捕捉された、および／または（ｂ）可能性として、処理または読み出し後にディスプレイ６２への通過のために、遠隔処理モジュール７２および／または遠隔データリポジトリ７４を使用して取得および／または処理されたデータの処理、キャッシュ、および記憶を補助するために利用されてもよい。
ローカル処理およびデータモジュール７０は、これらの遠隔モジュール（７２、７４）が、相互に動作可能に結合され、ローカル処理およびデータモジュール７０へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、遠隔処理モジュール７２および遠隔データリポジトリ７４に動作可能に結合されてもよい（７６、７８）。処理モジュール７０は、ＡＲシステムの光学システムおよび他のシステムを制御し、仮想コンテンツをユーザに提供するために、メモリまたは１つ以上のデータベース（例えば、クラウドベースのサーバ）からのデータの読み出しを含む、１つ以上のコンピューティングタスクを実行してもよい。
一実施形態では、遠隔処理モジュール７２は、データおよび／または画像情報を分析かつ処理するように構成される、１つ以上の比較的に強力なプロセッサまたはコントローラを備えてもよい。一実施形態では、遠隔データリポジトリ７４は、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であり得る、比較的に大規模なデジタルデータ記憶設備を備えてもよい。一実施形態では、全てのデータは、記憶され、全ての計算は、ローカル処理およびデータモジュール内で行われ、任意の遠隔モジュールからの完全自律使用を可能にする。
（光学実施形態）
頭部搭載式ユーザデバイスの光学要素を通して、ユーザの眼に３Ｄ仮想コンテンツを提示する多くのアプローチがあることを理解されたい。以下の例示的実施形態は、他のアプローチと組み合わせて使用されてもよく、限定的意味で読まれるべきではない。以下の例示的実施形態は、頭部搭載式ユーザデバイス（３０）と統合され得るいくつかの実施例光学システムを表し、ユーザが快適で遠近調節しやすい様式で仮想コンテンツを視認できるようにする。
頭部搭載式ユーザデバイスの光学要素を通して、ユーザの眼に３Ｄ仮想コンテンツを提示する多くのアプローチがあることを理解されたい。以下の例示的実施形態は、他のアプローチと組み合わせて使用されてもよく、限定的意味で読まれるべきではない。以下の例示的実施形態は、頭部搭載式ユーザデバイス（３０）と統合され得るいくつかの実施例光学システムを表し、ユーザが快適で遠近調節しやすい様式で仮想コンテンツを視認できるようにする。
図５Ａから２２Ｙを参照すると、ヒトの眼に、高レベルの画質および３次元知覚を伴って、かつ２次元コンテンツも提示可能である、物理的現実に対する拡張として快適に知覚され得る、光子ベースの放射パターンを提示するように設計される、種々のディスプレイ構成が、提示される。
図５Ａを参照すると、簡略化された実施例において、４５度の反射表面１０２を伴う透過性ビームスプリッタ基板１０４が、レンズ（図示せず）から眼５８の瞳孔４５を通して網膜５４に出力され得る、入射放射１０６を指向させる。そのようなシステムのための視野は、ビームスプリッタ１０４の幾何学形状によって限定される。最小限のハードウェアを用いて快適な視認を得たいという所望に対応するために、一実施形態では、より大きい視野が、種々の異なる反射および／または回折表面の出力／反射を凝集させることによって、作成され得る。これは、例えば、眼５８に、高周波数でフレームのシーケンスが提示され、単一コヒーレント場面の知覚を提供するようなフレーム順次構成を使用して、達成され得る。
異なる画像データを異なる反射体を介して時系列方式で提示することの代替として、またはそれに加え、反射体は、偏光選択性または波長選択性等の他の手段によって、コンテンツを分離してもよい。２次元画像を中継可能であることに加え、反射体はまた、実際の物理的オブジェクトの真の３次元視認に関連付けられた３次元波面を中継してもよい。
図５Ｂを参照すると、複数の角度１１０における複数の反射体を備えている、基板１０８が、示され、各反射体は、例証目的のために、描写される構成では、能動的に反射する。反射体は、時間的選択性を促進するように切替可能要素を備えてもよい。一実施形態では、反射表面は、意図的に、かつ順次、フレーム順次入力情報１０６で活性化されてもよく、各反射表面は、他の反射表面によって提示される他の狭視野サブ画像とともにタイル表示される狭視野サブ画像を提示し、複合広視野画像を形成する。
例えば、図５Ｃ、５Ｄ、および５Ｅを参照すると、表面１１０（例えば、基板１０８の中央にある）は、入射画像情報１０６を反射させ、比較的に狭視野サブ画像をより大きい視野の中央に表すように反射状態「オン」に切り替えられる一方、他の潜在的反射表面は、透過性状態である。
図５Ｃを参照すると、狭視野サブ画像の右側から生じる入射画像情報１０６（入力インターフェース１１２における基板１０８に対する入射ビーム１０６の角度と、基板１０８から出射する角度とによって示されるように）は、反射表面１１０から眼５８に向かって反射される。図５Ｄは、同一反射体１１０が活性であることを図示し、画像情報は、入力インターフェース１１２における入力情報１０６の角度と、基板１０８から出射する際のその角度とによって示されるように、狭視野サブ画像の中央から生じる。
図５Ｅは、同一反射体１１０が活性であることを図示し、画像情報は、入力インターフェース１１２における入力情報１０６の角度と、基板１０８の表面において得られた出射角度とによって示されるように、視野の左側から生じる。図５Ｆは、底側反射体１１０が活性であって、画像情報１０６が、全体的視野の最右側から生じる、構成を図示する。例えば、図５Ｃ、５Ｄ、および５Ｅは、フレーム順次タイルディスプレイ画像の中心を表す１つのフレームを図示し得、図５Ｆは、そのタイルディスプレイ画像の最右側を表す第２のフレームを図示し得る。
一実施形態では、画像情報１０６を搬送する光は、最初に、基板１０８の表面から反射せずに、直接、入力インターフェース１１２において基板１０８に入射後、反射表面１１０に衝打してもよい。一実施形態では、画像情報１０６を搬送する光は、入力インターフェース１１２に入射後、反射表面１１０に衝打する前に、基板１０８の１つ以上の表面から反射してもよい。例えば、基板１０８は、平面導波管として作用し、画像情報１０６を搬送する光を全内部反射によって伝搬させてもよい。光はまた、部分反射コーティング、波長選択コーティング、角度選択コーティング、および／または偏光選択コーティングを通して、基板１０８の１つ以上の表面から反射してもよい。
一実施形態では、角度付けられた反射体は、特定の反射体への電圧および／または電流の印加に応じて、そのような反射体を備えている材料の屈折率が、基板１０８の残りと実質的に一致する屈折率から変化するように、電気活性材料を使用して構築されてもよい。反射体の屈折率が基板１０８の残りのものと整合するとき、反射体は、透過性構成にある。反射体の屈折率が基板１０８の残りのものと不整合であるとき、反射体は、反射効果が作成されるように、反射構成にある。例示的電気活性材料として、ニオブ酸リチウムおよび電気活性ポリマーが挙げられる。複数のそのような反射体を制御するための好適な実質的に透明な電極として、液晶ディスプレイにおいて利用される、インジウムスズ酸化物等の材料が挙げられ得る。
一実施形態では、電気活性反射体１１０は、ガラスまたはプラスチック等の基板１０８のホスト媒体中に埋め込まれる、液晶を備えてもよい。いくつかの変形例では、バイナリ（１つの透過性状態から１つの反射状態に）とは対照的に、よりアナログ的な変化が遂行され得るように、印加される電気信号の関数として屈折率を変化させる、液晶が、選択されてもよい。６つのサブ画像が、眼にフレーム順次方式で提示され、全体的リフレッシュレート６０フレーム／秒で大規模なタイルディスプレイ画像を形成する、ある実施形態では、約３６０Ｈｚのレートでリフレッシュすることができる入力ディスプレイとともに、そのような周波数を保つことができる電気活性反射体アレイを有することが望ましい。
一実施形態では、ニオブ酸リチウムが、液晶とは対照的に、電気活性反射材料として利用されてもよい。ニオブ酸リチウムは、高速スイッチおよび光ファイバネットワークのための光工学産業において利用されており、印加された電圧に応答して、超高周波数において屈折率を切り替える能力を有する。本高周波数は、特に、入力ディスプレイが、ファイバ走査ディスプレイまたは走査鏡ベースのディスプレイ等の走査光ディスプレイである場合、線順次またはピクセル順次サブ画像情報を操向するために使用されてもよい。
別の実施形態では、可変切替可能な角度付けられた鏡構成が、ＭＥＭＳ（微小電気機械システム）デバイス等の１つ以上の高速機械的に再位置付け可能である反射表面を備えてもよい。ＭＥＭＳデバイスは、「デジタル鏡デバイス」、すなわち、「ＤＭＤ」、（多くの場合、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ， Ｉｎｃ．から利用可能なもの等の「デジタル光処理」、すなわち、「ＤＬＰ」システムの一部）として知られるものを含んでもよい。別の電気機械的実施形態では、複数の空気で隔てられた（または真空中）反射表面が、高周波数で、定位置および定位置外に機械的に移動され得る。別の電気機械的実施形態では、単一反射表面が、上下に移動され、超高周波数で再ピッチ化されてもよい。
図５Ｇを参照すると、本明細書に説明される切替可能可変角度反射体構成は、コリメートまたは平坦波面情報を眼５８の網膜５４だけではなく、また、図５Ｇの例証に示されるように、湾曲波面１２２の画像情報も通過させることが可能であることに留意されたい。これは、概して、湾曲波面情報の全内部反射が望ましくない複雑化を生じさせ、したがって、入力は、概して、コリメートされなければならない、他の導波管ベースの構成には該当しない。湾曲波面情報をパスするための能力は、網膜５４に、光学無限遠（他の手掛かりがない場合のコリメートされた光の解釈となるであろう）だけではなく、眼５８からの種々の距離において合焦されるにつれて知覚される入力を提供するための図５Ｂ−５Ｈに示されるもの等の構成の能力を促進する。
図５Ｈを参照すると、別の実施形態では、静的部分反射表面１１６のアレイ（例えば、常時、反射モードである；別の実施形態では、前述のように、電気活性であり得る）が、眼５８の出力を制御する高周波数ゲーティング層１１８とともに、基板１１４内に埋め込まれてもよい。高周波数ゲーティング層１１８は、制御可能に可動である、開口１２０を通した伝送のみを可能にしてもよい。言い換えると、開口１２０を通した伝送以外全て、選択的に遮断され得る。ゲーティング層１１８は、液晶アレイ、ニオブ酸リチウムアレイ、ＭＥＭＳシャッタ要素のアレイ、ＤＬＰ ＤＭＤ要素のアレイ、または伝送モードに切り替えられることに応じて、比較的に高周波数切替および高伝達率で通過もしくは伝送するように構成される、他のＭＥＭＳデバイスのアレイを備えてもよい。
図６Ａ−６Ｂを参照すると、アレイ状光学要素が、射出瞳拡大構成と組み合わせられ、ユーザの仮想または拡張現実体験の快適性を補助し得る、他の実施形態が、描写される。光学構成のための「射出瞳」が大きいほど、システムのより大きい射出瞳に起因して、ユーザの解剖学的瞳孔が、依然として、所望に応じて、ディスプレイシステムから情報を受信するように位置付けられ得る、より大きい容認可能面積が存在するため、ディスプレイ（図４Ａ−４Ｄにおけるように、眼鏡状の構成でユーザの頭部に取り付けられ得る）に対するユーザの眼の位置決めは、その体験を妨害しにくい。言い換えると、射出瞳が大きいほど、システムは、ユーザの解剖学的瞳孔に対するディスプレイの若干の不整合に対して感受性が低くなり、ディスプレイ／眼鏡とのその関係に及ぼす幾何学的制約が少ないことから、ユーザにとってより快適性が、達成され得る。
ここで図６Ａおよび６Ｂを参照すると、代替アプローチが、図示される。図６Ａに示されるように、左側のディスプレイ１４０は、平行な光線の集合を基板１２４の中に供給する。一実施形態では、ディスプレイは、示されるような角度で光の狭ビームを往復走査し、角度走査光を収集し、それを光線の平行束に変換するために利用され得る、レンズまたは他の光学要素１４２を通して、画像を投影する、走査ファイバディスプレイであってもよい。光線は、光が反射表面（１２６、１２８、１３０、１３２、１３４、１３６）群を横断してほぼ等しく共有され得るように、入射光を部分的に反射し、部分的に伝送し得る、一連の反射表面（１２６、１２８、１３０、１３２、１３４、１３６）から反射されてもよい。小型レンズ１３８が、導波管１２４からの各出射点に設置され、出射光線は、節点を通して操向され、眼５８に向かって走査され、ディスプレイシステムを注視する際、ユーザによって使用可能な射出瞳のアレイまたは１つの大きな射出瞳の機能的均等物を提供し得る。
導波管を通して実世界１４４もまた透視可能であることが望ましい仮想現実構成のために、レンズ１３９の類似集合が、導波管１２４の反対側に提示され、レンズの下位集合を補償し、したがって、ゼロ倍率望遠鏡の均等物を作成してもよい。反射表面（１２６、１２８、１３０、１３２、１３４、１３６）の各々は、示されるように、約４５度で整合されてもよく、または異なる整合を有するように構成されてもよい（例えば、図５Ｂ−５Ｈの構成に類似する）。反射表面（１２６、１２８、１３０、１３２、１３４、１３６）は、波長選択反射体、帯域通過反射体、半透鏡、または他の反射構成を備えてもよい。示されるレンズ（１３８、１３９）は、屈折レンズであるが、回折レンズ要素もまた、利用されてもよい。
図６Ｂを参照すると、複数の湾曲反射表面（１４８、１５０、１５２、１５４、１５６、１５８）が、図６Ａの実施形態のレンズ（図６Ａの要素１３８）と反射体（図６Ａの要素１２６、１２８、１３０、１３２、１３４、１３６）の機能性を効果的に組み合わせ、それによって、２つのレンズ群（図６Ａの要素１３８）の必要性を排除するために利用され得る、若干類似する構成が、描写される。
湾曲反射表面（１４８、１５０、１５２、１５４、１５６、１５８）は、放物または楕円形湾曲表面等、反射および角度変化の付与の両方を行うように選択される、種々の湾曲構成であってもよい。放物形状では、入射光線の平行集合は、単一出力点の中に収集されるであろう。楕円形構成では、単一生成点から発散する光線の集合が、単一出力点に収集される。図６Ａの構成と同様に、湾曲反射表面（１４８、１５０、１５２、１５４、１５６、１５８）は、好ましくは、入射光が導波管１４６の長さを横断して共有されるように、部分的に反射し、部分的に伝送する。湾曲反射表面（１４８、１５０、１５２、１５４、１５６、１５８）は、波長選択ノッチ反射体、半透鏡、または他の反射構成を備えてもよい。別の実施形態では、湾曲反射表面（１４８、１５０、１５２、１５４、１５６、１５８）は、反射させ、また、偏向させる、回折反射体と置換されてもよい。
図７Ａを参照すると、Ｚ軸差（例えば、光学軸に沿って眼からの直線距離）の知覚が、導波管と可変焦点光学要素構成を併用することによって、促進され得る。図７Ａに示されるように、ディスプレイ１６０からの画像情報が、例えば、図６Ａおよび６Ｂを参照して説明されるもの等の構成、または当業者に公知の他の基板誘導光学方法を使用して、コリメートされ、導波管１６４の中に投入され、大射出瞳様式で分布されてもよく、次いで、可変焦点光学要素能力が、導波管から現れる光の波面の焦点を変化させ、眼に、導波管１６４から生じる光が特定の焦点距離からのものであるという知覚を提供するために利用されてもよい。
言い換えると、入射光は、全内部反射導波管構成における課題を回避するためにコリメートされているため、コリメートされた方式で出射し、視認者の眼が、遠点が網膜上で合焦するように遠近調節することを要求し、必然的に、何らかの他の介入が、光を再合焦され、異なる視認距離からとして知覚させない限り、光学無限遠からであるように解釈されるであろう。好適なそのような介入の１つは、可変焦点レンズである。
図７Ａの実施形態では、ディスプレイ１６０からコリメートされた画像情報は、全内部反射し、隣接する導波管１６４の中に通過されるような角度で、ガラス１６２または他の材料片の中に投入される。導波管１６４は、ディスプレイからのコリメートされた光が、導波管の長さに沿って、反射体または回折特徴の分布を横断してほぼ均一に出射するよう分布されるように、図６Ａまたは６Ｂの導波管（それぞれ、１２４、１４６）と同様に構成されてもよい。眼５８に向かう出射に応じて、描写される構成では、出射光は、可変焦点レンズ要素１６６を通して通過され、可変焦点レンズ要素１６６の制御された焦点に応じて、可変焦点レンズ要素１６６から出射し、眼５８に入射する光は、種々のレベルの焦点を有するであろう（コリメートされた平坦波面は、光学無限遠を表し、ビーム発散／波面曲率が大きいほど、眼５８に対してより近い視認距離を表す）。
眼５８と導波管１６４との間の可変焦点レンズ要素１６６を補償するために、別の類似可変焦点レンズ要素１６７が、導波管１６４の反対側に設置され、拡張現実のために、世界１４４から生じる光に対するレンズ１６６の光学効果を相殺する（例えば、前述のように、一方のレンズが、他方のレンズを補償し、ゼロ倍率望遠鏡の機能的均等物を生成する）。
可変焦点レンズ要素１６６は、液晶レンズ、電気活性レンズ、可動要素を伴う従来の屈折レンズ、機械的変形ベースのレンズ（流体充填膜レンズ、または可撓性要素がアクチュエータによって撓曲および弛緩される、ヒト水晶体に類似するレンズ等）、エレクトロウェッティングレンズ、または異なる屈折率を伴う複数の流体等の屈折要素であってもよい。
可変焦点レンズ要素１６６はまた、切替可能回折光学要素を備えてもよい（電圧が印加されると、分子が、その屈折率がホスト媒体のものともはや一致しないように再配向し、それによって、高周波数切替可能回折パターンを作成する、ポリマー材料等のホスト媒体が材料内に分散された液晶の微小液滴を有する、高分子分散型液晶アプローチを特徴とするもの等）。
一実施形態は、ニオブ酸リチウム等のカー効果ベースの電気活性材料の微小液滴が、ホスト媒体内に分散され、ファイバ走査ディスプレイまたは走査鏡ベースのディスプレイ等の走査光ディスプレイと結合されると、ピクセル毎または行毎ベースで画像情報の再合焦を可能にする、ホスト媒体を含む。液晶、ニオブ酸リチウム、または他の技術が、パターンを表すために利用される、可変焦点レンズ要素１６６構成では、パターン間隔は、可変焦点レンズ要素１６６の焦点力を変化させるだけではなく、また、ズームレンズタイプの機能性のために、全体的光学系の焦点力を変化させるために変調され得る。
一実施形態では、レンズ１６６は、写真撮影用のズームレンズが焦点をズーム位置から切り離すように構成され得るものと同一方法で、ディスプレイ画像の焦点が倍率を一定に保ちながら改変されることができるという点において、テレセントリックであり得る。別の実施形態では、レンズ１６６は、焦点変化がまた、ズーム変化に従動するであろうように、非テレセントリックであってもよい。そのような構成では、そのような倍率変化は、焦点変化と同期するグラフィックシステムからの出力の動的スケーリングを用いて、ソフトウェアにおいて補償されてもよい。
「フレーム順次」構成における、プロジェクタまたは他のビデオディスプレイユニット１６０と、画像を光学ディスプレイシステムの中に供給する方法の問題に戻って参照すると、順次２次元画像のスタックが、スタックされた画像スライスを使用して３次元構造を表す、コンピュータ断層撮影システムと同様の様式で、ディスプレイに順次供給され、３次元知覚を経時的に生成し得る。
一連の２次元画像スライスが、それぞれ、眼に対して異なる焦点距離で、眼に提示され得、眼／脳は、そのようなスタックをコヒーレント３次元ボリュームの知覚の中に統合するであろう。ディスプレイタイプに応じて、行毎またはさらにピクセル毎シーケンス処理が、３次元視認の知覚を生成するために行われ得る。例えば、走査光ディスプレイ（走査ファイバディスプレイまたは走査鏡ディスプレイ等）では、ディスプレイは、導波管１６４に、順次方式で１度に１つの線または１つのピクセルを提示する。
可変焦点レンズ要素１６６が、高周波数のピクセル毎または行毎提示を保つことが可能である場合、各線またはピクセルは、可変焦点レンズ要素１６６を通して提示され、動的に合焦され、眼５８から異なる焦点距離で知覚され得る。ピクセル毎焦点変調は、概して、超高速／高周波数可変焦点レンズ要素１６６を要求する。例えば、全体的フレームレート６０フレーム／秒を伴う、１０８０Ｐ分解能ディスプレイは、典型的には、約１億２，５００万ピクセル／秒を表す。そのような構成はまた、電気活性材料、例えば、ニオブ酸リチウムまたは電気活性ポリマーを使用するもの等、固体切替可能レンズを使用して構築されてもよい。図７Ａに図示されるシステムとのその互換性に加え、フレーム順次多焦点ディスプレイ駆動アプローチは、本開示に説明されるいくつかのディスプレイシステムおよび光学実施形態と併用されてもよい。
図７Ｂを参照すると、電気活性層１７２（液晶またはニオブ酸リチウムを備えているもの等）が、（インジウムスズ酸化物から作製され得る）機能電極（１７０、１７４）と、従来の透過性基板１７６を伴う、導波管１６８とによって囲繞されてもよい。導波管は、１つ以上の実施形態では、電気活性層１７２のオンまたはオフ状態に一致する既知の全内部反射特性および屈折率を伴う、ガラスまたはプラスチックから作製されてもよい。電気活性層１７２は、入射ビームの経路が、本質的に、時変明視野を作成するように動的に改変され得るように、制御され得る。
図８Ａを参照すると、スタックされた導波管アセンブリ１７８が、その導波管レベルに対して知覚されるべき焦点距離を示す導波管レベル毎の種々のレベルの波面曲率で、画像情報を眼に送信するようにともに構成される、複数の導波管（１８２、１８４、１８６、１８８、１９０）および複数の弱レンズ（１９８、１９６、１９４、１９２）を有することによって、３次元知覚を眼／脳に提供するために利用されてもよい。複数のディスプレイ（２００、２０２、２０４、２０６、２０８）、または別の実施形態では、単一多重化ディスプレイが、それぞれ、前述のように、眼に出射するために、各導波管の長さを横断して、入射光を実質的に等しく分布させるように構成され得る、導波管（１８２、１８４、１８６、１８８、１９０）の中にコリメートされた画像情報を投入するために利用されてもよい。
眼に最も近い導波管１８２は、光学無限遠焦点面を表し得る、そのような導波管１８２の中に投入されるにつれて、コリメートされた光を眼に送達するように構成される。別の導波管１８４は、第１の弱レンズ（１９２；例えば、弱い負のレンズ）を通して通過し、ユーザの眼５８に送達される、コリメートされた光を送光するように構成される。第１の弱レンズ１９２は、眼／脳が、導波管１８４から生じる光を光学無限遠から人に向かって内向きにより近い第１の焦点面から生じているよう解釈するように、若干の凸面波面曲率を作成するように構成されてもよい。同様に、次の導波管１８６は、眼５８に到達する前に、その出力光を第１の１９２および第２の１９４レンズを通して通過させる。第１の１９２および第２の１９４レンズの組み合わせられた屈折力は、眼／脳が、導波管１８６から生じている光を導波管１８４からの光より光学無限遠から人に向かってさらにより内向きに近い第２の焦点面から生じているよう解釈するように、別の漸増量の波面発散を作成するように構成されてもよい。
他の導波管層（１８８、１９０）および弱レンズ（１９６、１９８）も同様に、構成され、スタック内の最高導波管１９０は、人に最も近い焦点面を表す凝集焦点力のために、その出力をそれと眼との間の弱レンズの全てを通して送光する。スタックされた導波管アセンブリ１７８の他側の世界１４４から生じる光を視認／解釈するとき、レンズ（１９８、１９６、１９４、１９２）のスタックを補償するために、補償レンズ層１８０が、スタックの上部に配置され、下方のレンズスタック（１９８、１９６、１９４、１９２）の凝集屈折力を補償する。
そのような構成は、前述のように、利用可能な導波管／レンズ対合と同じ数の知覚される焦点面に、再び、比較的に大きな射出瞳構成を提供する。導波管の反射側面およびレンズの合焦側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。代替実施形態では、動的であって、前述のように、電気活性特徴を使用し、少数の導波管が、時系列方式で多重化され、より多数の有効焦点面を生成することを可能にしてもよい。
図８Ｂ−８Ｎを参照すると、コリメートされたビームを合焦および／または再指向させるための回折構成の種々の側面が、描写される。そのような目的のための回折システムの他の側面は、米国特許出願第１４／３３１，２１８号に開示されている。
図８Ｂを参照すると、ブラッググレーティング等のコリメートされたビームを線形回折パターン２１０を通して通過させることは、ビームを偏向、すなわち、「操向」させるであろうことを理解されたい。また、コリメートされたビームを半径方向対称回折パターン２１２、すなわち、「フレネルゾーンプレート」を通して通過させることは、ビームの焦点を変化させるであろうことを理解されたい。図８Ｃは、コリメートされたビームを線形回折パターン２１０を通して通過させる偏向効果を図示する。図８Ｄは、コリメートされたビームを半径方向対称回折パターン２１２を通して通過させることの合焦効果を図示する。
図８Ｅおよび８Ｆを参照すると、線形および半径方向要素２１４の両方を有する、組み合わせ回折パターンが、コリメートされた入力ビームの偏向および合焦の両方を生成する。これらの偏向および合焦効果は、反射ならびに透過性モードで生成されることができる。これらの原理は、例えば、図８Ｇ−８Ｎに示されるように、付加的光学系制御を可能にするための導波管構成とともに適用されてもよい。
図８Ｇ−８Ｎに示されるように、回折パターン（２２０）、すなわち、「回折光学要素」（または「ＤＯＥ」）が、コリメートされたビームが平面導波管２１６に沿って全内部反射されるにつれて、多数の場所において回折パターン２２０に交差するように、平面導波管２１６内に埋め込まれている。
好ましくは、ＤＯＥ２２０は、ビームの光の一部のみ、ＤＯＥ２２０の各交差点を用いて、眼５８に向かって偏向される一方、残りは、全内部反射を介して、平面導波管２１６を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、多数の場所において導波管から出射する、いくつかの関連光ビームに分割され、結果として、図８Ｈに示されるように、平面導波管２１６内で跳ね返る本特定のコリメートされたビームに対して、眼５８に向かって非常に均一なパターンの出射放出がもたらされる。眼５８に向かう出射ビームは、この場合、ＤＯＥ２２０が、線形回折パターンのみを有するため、実質的に平行として図８Ｈに示される。図８Ｌ、８Ｍ、および８Ｎ間の比較に示されるように、本線形回折パターンピッチに対する変化は、出射平行ビームを制御可能に偏向させ、それによって、走査またはタイルディスプレイ機能性を生成するために利用されてもよい。
図８Ｉを参照すると、埋め込まれるＤＯＥ２２０の半径方向対称回折パターン構成要素の変化に伴って、出射ビームパターンは、より発散性となり、眼がより近い距離に対して遠近調節を行い、網膜上で合焦させることを要求し、光学無限遠より眼に近い視認距離からの光として脳によって解釈されるであろう。図８Ｊを参照すると、その中にビームが投入され得る（例えば、プロジェクタまたはディスプレイによって）、別の導波管２１８の追加に伴って、線形回折パターン等の本他の導波管２１８内に埋め込まれたＤＯＥ２２１は、光をより大きい平面導波管２１６全体を横断して拡散させるように機能し得る。これは、眼５８に、稼働中の特定のＤＯＥ構成に従って、より大きい平面導波管２１６から出射する、入射光の非常に大きな入射場、例えば、大型のアイボックスを提供し得る。
ＤＯＥ（２２０、２２１）は、関連付けられた導波管（２１６、２１８）を二分するように描写されるが、これは、該当する必要はない。１つ以上の実施形態では、それらは、同一機能性を有するように、導波管（２１６、２１８）のいずれかの両側により近くに、またはその上に設置されてもよい。したがって、図８Ｋに示されるように、単一のコリメートされたビームの投入に伴って、クローン化されたコリメートビームの場全体が、眼５８に向かって指向され得る。加えて、図８Ｆの２１４および８Ｉの２２０に描写されるもの等の組み合わせられた線形回折パターン／半径方向対称回折パターンシナリオでは、Ｚ軸合焦能力を伴う、ビーム分布導波管光学（射出瞳の機能的拡張等の機能性のため；図８Ｋのもの等の構成を用いると、射出瞳は、光学要素自体と同じ大きさとなり得、これは、ユーザ快適性および人間工学のために非常に有意な利点となり得る）が、提示され、クローン化されたビームの発散角度および各ビームの波面曲率は両方とも、光学無限遠より近い点から生じる光を表す。
一実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と、有意に回折しない「オフ」状態との間で切替可能である。例えば、切替可能ＤＯＥは、微小液滴が、ホスト媒体内に回折パターンを備え、微小液滴の屈折率が、ホスト材料の屈折率に実質的に一致するように切り替えられることができる（その場合、パターンは、入射光を著しく回折しない）、高分子分散型液晶の層を備えてもよい。または微小液滴が、ホスト媒体のものに一致しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折する）。
さらに、図８Ｌ−８Ｎにおけるように、線形回折ピッチ項等の回折項に対する動的変化に伴って、ビーム走査またはタイルディスプレイ機能性が、達成され得る。前述のように、光の分布を促進するため、ＤＯＥ（２２０、２２１）の各々に比較的に低回折グレーティング効率を有することが望ましくあり得る。また、望ましく伝送される、導波管を通して生じる光（例えば、拡張現実構成では、世界１４４から眼５８に向かって生じる光）が、それが越えるＤＯＥ２２０の回折効率がより低いとき、あまり影響を受けないため、そのような構成を通して実世界のより優れたビューが、達成され得る。
図８Ｋに図示されるもの等の構成は、好ましくは、時系列アプローチにおける画像情報の投入に伴って駆動され、フレーム順次駆動は、最も実装が簡単である。例えば、光学無限遠における空の画像が、時間１で投入され得、光のコリメートを保つ回折グレーティングが、利用されてもよい。次いで、より近い木の枝の画像が、時間２で投入され得る一方、ＤＯＥが、例えば、１ジオプタまたは１メートル離れて、焦点変化を制御可能に付与し、眼／脳に、枝の光情報がより近い焦点距離から生じているという知覚を提供する。
本種類のパラダイムは、眼／脳が、入力が同一画像の全部分であることを知覚するような高速時系列方式で繰り返されてもよい。これは、２つの焦点面の実施例にすぎないが、好ましくは、システムは、より多くの焦点面を有し、オブジェクトとその焦点距離との間のより平滑な遷移を提供するように構成されるであろうことを理解されたい。本種類の構成は、概して、ＤＯＥが比較的に低速で（例えば、数十〜数百サイクル／秒の範囲内で画像を投入するディスプレイのフレームレートと同期して）切り替えられると仮定する。
正反対のものは、ＤＯＥ要素が、数十〜数百ＭＨｚまたはそれを上回って焦点を偏移させることができ、ピクセルが、走査光ディスプレイタイプのアプローチを使用して、眼５８の中に走査されるにつれて、ピクセル毎ベースでＤＯＥ要素の焦点状態の切替を促進する、構成であってもよい。これは、全体的ディスプレイフレームレートが非常に低く保たれ得る（「フリッカー」が問題ではない（約６０〜１２０フレーム／秒の範囲内である）ことを確実にするために十分に低い）ことを意味するため、望ましい。
これらの範囲間では、ＤＯＥが、ＫＨｚレートで切り替えられ得る場合、行毎ベースで、各走査線上の焦点は、調節されてもよく、これは、ユーザに、例えば、ディスプレイに対する眼運動の間、時間的アーチファクトの観点から可視利点を与え得る。例えば、場面内の異なる焦点面は、このように、インタリーブされ、頭部の運動に応答して、可視アーチファクトを最小限にし得る（本開示の後半で詳細に論じられるように）。行毎焦点変調器は、ピクセルの線形アレイが、掃引され、画像を形成する、グレーティング光弁ディスプレイ等の線走査ディスプレイに動作可能に結合されてもよく、ファイバ走査ディスプレイおよび鏡走査光ディスプレイ等の走査光ディスプレイに動作可能に結合されてもよい。
図８Ａのものに類似するスタックされた構成は、動的ＤＯＥ（図８Ａの実施形態の静的導波管およびレンズではなく）を使用して、多平面合焦を同時に提供してもよい。例えば、３つの同時焦点面では、一次焦点平面（例えば、測定された眼遠近調節に基づいて）が、ユーザに提示され得、＋境界および−境界（例えば、一方の焦点面は、より近く、一方の焦点面は、より離れている）が、平面の更新が必要とされる前に、ユーザが遠近調節することができる、大焦点距離を提供するために利用され得る。本増加される焦点距離は、ユーザが、より近いまたはより遠い焦点（例えば、遠近調節測定によって決定されるように）に切り替える場合、時間的利点を提供することができる。次いで、焦点の新しい平面が、中央焦点深度にされ得、＋および−境界は、再び、システムが追い付く間、いずれか一方への高速切替の準備ができた状態となる。
図８Ｏを参照すると、それぞれ、反射体（２５４、２５６、２５８、２６０、２６２）を端部に有し、ディスプレイ（２２４、２２６、２２８、２３０、２３２）によって一端に投入されたコリメートされた画像情報が、反射体までの全内部反射によって跳ね返り、その時点で、光の一部または全部が、眼もしくは他の標的に向かって反射されるように構成される、平面導波管（２４４、２４６、２４８、２５０、２５２）のスタック２２２が、示される。反射体の各々は、全て、出射光を瞳孔等の共通目的地に向かって反射させるように、若干異なる角度を有してもよい。そのような構成は、図５Ｂのものに若干類似するが、図８Ｏの実施形態における各異なる角度付けられた反射体は、投影された光が標的反射体に進行しているとき、殆ど干渉しないために、その独自の導波管を有する。レンズ（２３４、２３６、２３８、２４０、２４２）は、ビーム操向および／または合焦のために、ディスプレイと導波管との間に介在されてもよい。
図８Ｐは、反射体（２７６、２７８、２８０、２８２、２８４）が、出射ビームが解剖学的瞳孔等のオブジェクトと比較的に容易に整合され得るように、導波管（２６６、２６８、２７０、２７２、２７４）内で交互長に位置付けられる、幾何学的に交互にされたバージョンを図示する。スタック（２６４）と眼との間の距離（典型的快適幾何学形状である、眼の角膜と眼鏡レンズとの間の２８ｍｍ等）は、既知であるため、反射体（２７６、２７８、２８０、２８２、２８４）および導波管（２６６、２６８、２７０、２７２、２７４）の幾何学形状は、出射光で眼の瞳孔を充填するように設定されてもよい（典型的には、幅約８ｍｍまたはそれ未満）。
光を眼の瞳孔の直径より大きいアイボックスに指向することによって、視認者は、表示される画像を見る能力を保ちながら、任意の回数の眼の移動を自由に行なう。視野拡大および反射体サイズに関する図５Ａおよび５Ｂに関連する議論に戻って参照すると、拡大される視野は、図８Ｐの構成によっても同様に提示され、図５Ｂの実施形態の切替可能反射要素の複雑性を伴わない。
図８Ｑは、多くの反射体２９８が、全体的曲線と整合するように配向される、凝集または離散平坦ファセット内に比較的に連続した湾曲反射表面を形成する、バージョン２８６を図示する。曲線は、放物または楕円形曲線であり得、複数の導波管（２８８、２９０、２９２、２９４、２９６）を横断して切断し、任意のクロストーク問題を最小限にするように示されるが、また、モノリシック導波管構成とも併用され得る。
一実装では、高フレームレートおよびより低い持続性のディスプレイが、より低いフレームレートおよびより高い持続性ディスプレイならびに可変合焦要素と組み合わせられ、比較的に高周波数フレームの順次立体ディスプレイを構成してもよい。一実施形態では、高フレームレートディスプレイは、より低いビット深度を有し、より低いフレームレートディスプレイは、より高いビット深度を有し、フレーム順次方式における画像スライス提示に非常に好適である、効果的高フレームレートおよび高ビット深度ディスプレイを構成するように組み合わせられる。そのようなアプローチを用いて、望ましく表される３次元ボリュームが、一連の２次元スライスに機能的に分割される。それらの２次元スライスの各々は、眼フレームに順次投影され、本提示と同期して、可変合焦要素の焦点が、変化される。
一実施形態では、そのような構成をサポートするための十分なフレームレートを提供するために、２つのディスプレイ要素、すなわち、６０フレーム／秒で動作する、フルカラー高分解能液晶ディスプレイ（「ＬＣＤ」；背面光付き強誘電パネルディスプレイもまた、別の実施形態では利用されてもよい；さらなる実施形態では、走査ファイバディスプレイが、利用されてもよい）と、より高い周波数のＤＬＰシステムの側面とが、統合されてもよい。ＬＣＤパネルの背面を従来の様式で（例えば、フルサイズ蛍光灯またはＬＥＤアレイを用いて）照射する代わりに、従来の照射構成は、ＤＬＰプロジェクタを収容し、ＬＣＤの背面上にマスクパターンを投影するために除去されてもよい。一実施形態では、マスクパターンは、バイナリであってもよい（例えば、ＤＬＰは、照射されるか、または照射されないかのいずれかである）。以下に説明される別の実施形態では、ＤＬＰは、階調マスク画像を投影するために利用されてもよい。
ＤＬＰ投影システムは、非常に高いフレームレートで動作されることができることを理解されたい。６０フレーム／秒における６つの深度平面のための一実施形態では、ＤＬＰ投影システムは、３６０フレーム／秒でＬＣＤディスプレイの背面に対して動作されることができる。次いで、ＤＬＰプロジェクタは、ＬＣＤパネルの視認側とユーザの眼との間に配置される、高周波数可変合焦要素（変形可能膜鏡等）（可変合焦要素（ＶＦＥ）は、３６０フレーム／秒においてフレームベースでフレーム上の全体的ディスプレイ焦点を変動させるように構成される）と同期して、ＬＣＤパネルの一部を選択的に照射するために利用されてもよい。
一実施形態では、ＶＦＥは、同時に、画像倍率または「ズーム」に影響を及ぼさずに、焦点の調節を可能にするために、射出瞳に光学的に共役するように位置付けられる。別の実施形態では、ＶＦＥは、画像倍率変化が焦点調節を伴うように、射出瞳に共役されない。そのような実施形態では、ソフトウェアが、提示されるべき画像を事前スケーリングし、歪曲させることによって、光学倍率変化および任意の歪曲を補償するために使用されてもよい。
動作上、３次元場面が、ユーザに提示されるべきであって、背景中の空が、光学無限遠の視認距離にあって、木に結合される枝が、枝の先端が木の幹に接合する枝の近位部分よりユーザに近くなるように、木の幹から延在する、実施例を検討することは、有用である。木は、光学無限遠より近い場所にあり得、枝は、木の幹と比較してさらに近くにあり得る。
一実施形態では、所与の全体的フレームのために、システムは、ＬＣＤ上に、空の正面に木の枝のフルカラーの全合焦画像を提示するように構成されてもよい。次いで、全体的フレーム内のサブフレーム１において、バイナリマスキング構成（例えば、照射または無照射）におけるＤＬＰプロジェクタが、空と同一焦点距離で知覚されるべきではない木の枝および他の要素を表す、ＬＣＤの部分を機能的に黒色マスキング（例えば、照射不能）しながら、曇った空を表す、ＬＣＤの部分のみを照射するために使用されてもよく、ＶＦＥ（変形可能膜鏡等）が、サブフレーム１におけるサブ画像を無限に離れた雲として眼に見えるように、焦点面を光学無限遠に位置付けるために利用されてもよい。
次いで、サブフレーム２において、ＶＦＥは、ユーザの眼から約１メートル（例えば、枝の場所に対して１メートル）離れた点に合焦させるように切り替えられてもよい。ＤＬＰからの照射のパターンは、システムが、木の枝と同一焦点距離で知覚されるべきではない空および他の要素を表す、ＬＣＤの部分を機能的に黒色マスキング（例えば、照射不能）しながら、木の枝を表すＬＣＤの部分のみを照射するように、切り替えられることができる。
したがって、眼は、光学無限遠における雲の高速フラッシュに続いて、１メートルにおいて木の高速フラッシュを取得し、シーケンスは、眼／脳によって３次元知覚を形成するように統合される。枝は、視認距離の範囲を通して延在するように、視認者に対して対角線上に位置付けられてもよく、例えば、約２メートルの視認距離において幹と接合されてもよい一方、枝の先端は、１メートルのより近い位置にある。
この場合、ディスプレイシステムは、木の枝の３−Ｄボリュームを、１メートルにおける単一スライスではなく、複数のスライスに分割することができる。例えば、１つの焦点スライスが、空を表すために使用されてもよい（本スライスの提示の間、ＤＬＰを使用して、木の全面積をマスクする）一方、木の枝は、５つの焦点スライスを横断して分割される（ＤＬＰを使用して、空と、提示されるべき木の枝の部分毎に１つを除く木の全ての部分とをマスクする）。好ましくは、深度スライスは、視認者がスライス間の遷移に気付く可能性が低く、代わりに、焦点範囲を通して枝の平滑かつ連続したフローを知覚するであろうように、眼の焦点深度と等しいまたはより小さい間隔を有するように位置付けられる。
別の実施形態では、ＤＬＰをバイナリ（照射または暗視野のみ）モードで利用するのではなく、階調（例えば、２５６陰影の階調）マスクをＬＣＤパネルの背面上に投影させ、３次元知覚を向上させるために利用されてもよい。階調陰影は、眼／脳に、何かが隣接する深度または焦点面間に存在しているという知覚を付与するために利用されてもよい。
前述のシナリオに戻ると、ユーザに最も近い枝の前縁が、焦点平面１に投影されるべき場合、サブフレーム１において、ＬＣＤ上のその部分は、焦点平面１におけるＶＦＥを用いて、ＤＬＰシステムから最大強度白色で照らされてもよい。
次いで、サブフレーム２において、焦点平面２におけるＶＦＥが、照らされた部分のすぐ背後にあると、照射はないであろう。これらは、前述のバイナリＤＬＰマスキング構成と類似ステップである。しかしながら、焦点平面１と焦点平面１との間の、例えば、半分の位置に知覚されるべき枝の部分がある場合、階調マスキングが、利用されてもよい。ＤＬＰは、サブフレーム１およびサブフレーム２の両方の間、照射マスクをその部分に投影することができるが、サブフレーム毎に、半照射（２５６階調のレベル１２８等において）である。
これは、焦点深度層の混成の知覚を提供し、知覚される焦点距離は、サブフレーム１とサブフレーム２との間の照度比率に比例する。例えば、焦点平面１と焦点平面２との間の３／４にあるべき木の枝の部分に対して、約２５％強度階調マスクが、サブフレーム１におけるＬＣＤのその部分を照射するために使用されることができ、約７５％階調マスクが、サブフレーム２におけるＬＣＤの同一部分を照射するために使用されることができる。
一実施形態では、低フレームレートディスプレイおよび高フレームレートディスプレイの両方のビット深度は、画像変調のために組み合わせられ、高ダイナミックレンジディスプレイを作成することができる。高ダイナミックレンジ駆動は、前述の焦点平面アドレス指定機能と連動して行われ、高ダイナミックレンジ多焦点３−Ｄディスプレイを構成してもよい。
別のより効率的実施形態では、ディスプレイ（例えば、ＬＣＤ）出力のある部分のみ、プロジェクタ（例えば、ＤＭＤ、ＤＭＤ等）によってマスク照射されてもよく、ユーザの眼までの途中で可変合焦されてもよい。例えば、ディスプレイの中央部分は、マスク照射され、ディスプレイの周縁は、均一遠近調節手掛かりをユーザに提供してもよい（例えば、周縁は、ＤＬＰ ＤＭＤによって均一に照射され得る一方、中心部分は、能動的にマスクされ、眼までの途中で可変合焦される）。
前述の説明される実施形態では、約３６０Ｈｚのリフレッシュレートは、それぞれ、約６０フレーム／秒における、６つの深度平面を可能にする。別の実施形態では、さらにより高いリフレッシュレートが、ＤＬＰの動作周波数を増加させることによって達成されてもよい。標準的ＤＬＰ構成は、光をディスプレイまたはユーザに向かって反射させるモードと、光をディスプレイまたはユーザから光トラップ等の中に反射させるモードとの間でトグルする、ＭＥＭＳデバイスおよび微小鏡のアレイを使用し、したがって、ＤＬＰは、本質的にバイナリである。ＤＬＰは、典型的には、鏡が、より明るいピクセルまたは中間の輝度のピクセルを作成するために、可変デューティサイクルのための可変時間量の間、「オン」状態にされる、パルス幅変調方式を使用して、階調画像を作成する。したがって、適度なフレームレートで階調画像を作成するために、ＤＬＰは、はるかに高いバイナリレートで起動していることになる。
前述の説明される構成では、そのような設定は、階調マスキングを作成するために良好に機能する。しかしながら、ＤＬＰ駆動方式が、バイナリパターンでサブ画像をフラッシュさせるように適合される場合、フレームレートは、数千フレーム／秒と有意に増加され得、これは、数百〜数千の深度平面が、６０フレーム／秒でリフレッシュされることを可能にし、前述のような深度平面間階調補間を排除するために利用され得る。Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ ＤＬＰシステムのための典型的パルス幅変調方式は、構成が２８（２の８乗）の異なる照射レベルを作成し得るように、８ビットコマンド信号を有する（第１のビットは、鏡の第１の長パルスであって、第２のビットは、第１のものの長さの半分のパルスであって、第３のビットも、再び半分の長さである、等と続く）。一実施形態では、ＤＬＰからの背面照明は、ＤＭＤの異なるパルスと同期してその強度を変動させ、作成されるサブ画像の輝度を等化させてもよい。これは、既存のＤＭＤ駆動電子機器を使用して、有意により高いフレームレートを生成させるための実践的アプローチであり得る。
別の実施形態では、ＤＭＤ駆動電子機器およびソフトウェアに対する直接制御変化は、鏡が、常時、従来の可変オン時間構成の代わりに、等しいオン時間を有するために利用されてもよく、これは、より高いフレームレートを促進するであろう。別の実施形態では、ＤＭＤ駆動電子機器は、高ビット深度画像のものを上回るが、バイナリフレームレートより低いフレームレートで低ビット深度画像を提示し、焦点平面の数を適度に増加させながら、焦点平面間のある階調混成を可能にするように構成されてもよい。
別の実施形態では、有限数の深度平面（例えば、前述の実施例では、６）に限定されるとき、ユーザに提示されている場面内で最大限に有用であるように、これらの６つの深度平面を機能的に移動させることが望ましくあり得る。例えば、ユーザが、部屋の中に立っており、仮想モンスタが、その拡張現実ビューの中に設置されるべき場合、仮想モンスタは、ユーザの眼からＺ軸において直線約２フィートの深度にあって、全６つの深度平面をモンスタの現在の場所の中心の周囲にクラス化する（かつモンスタがユーザに対して移動するにつれて、それらをモンスタとともに動的に移動させる）ことは、より有用となり得る。これは、モンスタの直接領域内の全６つの深度平面（例えば、モンスタの中心の正面に３つ、モンスタの中心の背面に３つ）とともに、より豊かな遠近調節の手掛かりがユーザに提供し得る。そのような深度平面の配分は、コンテンツ依存性である。
例えば、前述の場面では、同一モンスタが、同一部屋内に提示されてもよいが、仮想窓フレーム要素、次いで、仮想窓フレームから光学無限遠までの仮想ビューもまた、ユーザに提示されるためには、少なくとも１つの深度平面を光学無限遠において、１つを仮想窓フレームを格納するためのものである壁の深度において、次いで、おそらく、残りの４つの深度平面を部屋内のモンスタに費やすことが有用であろう。コンテンツが、仮想窓を消失させる場合、２つの深度平面が、モンスタの周囲の領域に動的に再割り当てされ得る。したがって、焦点面リソースのコンテンツベースの動的配分は、コンピューティングおよび提示リソースを前提として、最も豊かな体験をユーザに提供し得る。
別の実施形態では、マルチコアファイバまたは単一コアファイバのアレイにおける位相遅延が、可変焦点光波面を作成するために利用されてもよい。図９Ａを参照すると、マルチコアファイバ（３００）は、複数の個々のファイバ（３０２）の凝集体を備えてもよい。図９Ｂは、それぞれからの球状波面（３０４）の形態で各コアから光を放出する、マルチコアアセンブリの拡大図を示す。コアが、例えば、共有レーザ光源からコヒーレント光を伝送している場合、これらの小球状波面は、最終的には、相互に建設的および破壊的に干渉し、マルチコアファイバから同相で放出される場合、示されるように、略平面波面（３０６）を凝集体内に生成させるであろう。
しかしながら、位相遅延が、コア間に誘発される（ニオブ酸リチウムを使用したもの等の従来の位相変調器を使用して、例えば、いくつかのコアの経路を他のコアの経路に対して減速させる）場合、湾曲または球状波面が、凝集体内に作成され、眼／脳に、光学無限遠により近い点から生じるオブジェクトを表し得る。これは、上記で論じられた前述の実施形態におけるように、ＶＦＥを使用するのではなく、複数の焦点面を提示するために使用され得る、別のアプローチとなり得る。言い換えると、そのような位相マルチコア構成、すなわち、位相アレイは、光源から複数の光学焦点レベルを作成するために利用されてもよい。
光ファイバの使用に関連する別の実施形態では、マルチモード光ファイバまたは光誘導ロッドもしくはパイプの公知のフーリエ変換側面が、そのようなファイバから出力される波面の制御のために利用されてもよい。光ファイバは、典型的には、２つのカテゴリ、すなわち、単一モードおよびマルチモードにおいて利用可能である。マルチモード光ファイバは、典型的には、より大きいコア直径を有し、単一モード光ファイバのような１つだけではなく、複数の角度経路に沿って、光が伝搬することを可能にする。画像が、マルチモードファイバの一端の中に投入される場合、その画像の中にエンコードされるその角度差は、マルチモードファイバを通して伝搬するにつれて、ある程度まで保たれることが知られている。いくつかの構成では、ファイバからの出力は、ファイバの中に入力された画像のフーリエ変換に有意に類似するであろう。
したがって、一実施形態では、波面（光学無限遠よりユーザに近い焦点面を表すための発散性球状波面等）の逆フーリエ変換が、フーリエ変換を光学的に付与するファイバを通して通過後、出力が所望の形状または合焦波面となるように入力されてもよい。そのような入力端は、例えば、走査ファイバディスプレイとして使用されるように走査されてもよく、または走査鏡のための光源として使用され、画像を形成してもよい。
したがって、そのような構成は、さらに別の焦点変調サブシステムとして利用されてもよい。入力端に、ある空間パターンが放出されるように、他の種類の光パターンおよび波面が、マルチモードファイバの中に投入されてもよい。これは、ウェーブレットパターンの均等物を提供するために利用されてもよい（光学では、光学系は、ゼルニケ係数の観点から分析されてもよく、画像は、同様に、特性評価され、より小さい主成分、すなわち、比較的より単純な画像成分の加重組み合わせに分解される）。したがって、光が、入力側の主成分を使用して眼の中に走査される場合、より高い分解能画像が、マルチモードファイバの入力端で回収され得る。
別の実施形態では、ホログラムのフーリエ変換が、マルチモードファイバの入力端の中に投入され、３次元焦点変調および／または分解能向上のために使用され得る、波面を出力してもよい。ある単一ファイバコア、マルチコアファイバ、または同心コア＋クラッディング構成もまた、前述の逆フーリエ変換構成において利用されてもよい。
別の実施形態では、遠近調節または視線のユーザの特定の状態にかかわらず、高フレームレートでユーザの眼に接近する波面を物理的に操作するのではなく、システムは、ユーザの遠近調節を監視し、複数の異なる光波面の集合を提示するのではなく、眼の遠近調節状態に対応する単一波面を１度に提示するように構成されてもよい。
遠近調節は、直接（赤外線自動屈折計または偏心光屈折法等によって）または間接的に（ユーザの両眼の収束レベルを測定すること等によって；前述のように、両眼離反運動および遠近調節は、神経学的に強く結び付けられ、したがって、遠近調節の推定は、両眼離反運動幾何学形状に基づいて行われることができる）測定されてもよい。したがって、例えば、ユーザから１メートルの遠近調節が決定されると、次いで、眼における波面提示は、前述の可変焦点構成のいずれかを使用して、１メートル焦点距離のために構成されてもよい。２メートルにおいて合焦するための遠近調節変化が検出される場合、眼における波面提示は、２メートル焦点距離のために再構成されてもよい、等となる。
したがって、遠近調節追跡を組み込む、一実施形態では、ＶＦＥが、焦点が眼の遠近調節変化とともに変化され得るように（例えば、好ましくは、それと同一レートで）、出力コンバイナ（例えば、導波管またはビームスプリッタ）とユーザの眼との間の光学経路内に設置されてもよい。ソフトウェア効果が、可変量ぼかし（例えば、ガウス）を合焦すべきではないオブジェクトに生成し、オブジェクトがその視認距離にあるかのように、網膜に予期される光屈折ぼけをシミュレートするために利用されてもよい。これは、眼／脳による３次元知覚を向上させる。
単純実施形態は、その焦点レベルが視認者の遠近調節レベルに従動される、単一平面である。しかしながら、遠近調節追跡システムに対する性能要求は、少数の複数の平面が使用される場合でも、緩和され得る。図１０を参照すると、別の実施形態では、約３つの導波管（３１８、３２０、３２２）のスタック３２８が、波面の３つの焦点面を同時に作成するために利用されてもよい。一実施形態では、弱レンズ（３２４、３２６）は、静的焦点距離を有してもよく、可変焦点レンズ３１６は、３つの導波管のうちの１つ（例えば、中央導波管３２０）が、合焦波面であると見なされるものを出力する一方、他の２つの導波管（３２２、３１８）が、＋境界波面および−境界波面（例えば、検出される焦点距離からわずかに遠い、検出される焦点距離からわずかに近い）を出力するように、眼の遠近調節追跡に従動されてもよい。これは、３次元知覚を改善し、また、脳／眼遠近調節制御システムがある程度のぼかしを負のフィードバックとして感知するために十分な差異を提供し、これは、ひいては、現実の知覚を向上させ、必要に応じて、焦点レベルの物理的調節の前に、ある遠近調節の範囲を可能にし得る。
拡張現実構成における実世界１４４から生じる光が、スタック３２８および出力レンズ３１６のアセンブリによって、再合焦または拡大されないことを確実にするために、可変焦点補償レンズ３１４もまた、示される。レンズ（３１６、３１４）内の可変焦点は、前述のように、屈折、回折、または反射技法を用いて達成されてもよい。
別の実施形態では、スタック内の導波管の各々は、ＶＦＥが、図１０の構成のスタック３２８内の中心である必要はないように、焦点を変化させるためのその独自の能力を含み得る（含まれた電子的に切替可能なＤＯＥを有すること等によって）。
別の実施形態では、ＶＦＥは、スタックの導波管間にインタリーブされ（例えば、図１０の実施形態におけるように、固定された焦点弱レンズではなく）、固定された焦点弱レンズとスタック全体の再合焦可変合焦要素の組み合わせの必要性を排除してもよい。そのようなスタック構成は、本明細書に説明されるような遠近調節追跡変形例において、また、フレーム順次多焦点ディスプレイアプローチにおいて使用されてもよい。
光が１／２ｍｍ直径またはそれ未満等の小射出瞳を伴う瞳に入射する、構成では、ビームが、常時、眼／脳によって合焦していると解釈される、ピンホールレンズ構成の均等物を有する。例えば、走査光ディスプレイは、０．５ｍｍ直径ビームを使用して、画像を眼に走査する。そのような構成は、マクスウェル視構成として知られ、一実施形態では、遠近調節追跡入力が、ソフトウェアを使用して、遠近調節追跡から決定された焦点面の背面または正面の焦点面として知覚されるべき画像情報にぼかしを誘発するために利用されてもよい。言い換えると、マクスウェル視を提示するディスプレイから開始する場合、全てのものが、理論的に合焦され得る。豊かであって、かつ自然な３次元知覚を提供するために、シミュレートされた光屈折ぼけが、ソフトウェアを用いて誘発されてもよく、遠近調節追跡ステータスに従動されてもよい。
一実施形態では、走査ファイバディスプレイは、小径ビームのみをマクスウェル形態において出力するように構成され得るため、そのような構成に非常に好適である。別の実施形態では、小射出瞳のアレイが、１つ以上の走査ファイバディスプレイによって等、システムの機能的アイボックスを増加させる（また、眼の硝子体または角膜内に存在し得る、光遮断粒子の影響を低減させる）ために作成されてもよい。または、これは、１つのみが任意の所与の時間で解剖学的ユーザの瞳孔に衝突することを確実にする、提示される射出瞳のアレイ内のピッチを用いて（例えば、平均的解剖学的瞳孔径が４ｍｍである場合、一構成は、約４ｍｍ間隔離して離間される、１／２ｍｍ射出瞳を備えてもよい）、図８Ｋを参照して説明されるもの等のＤＯＥ構成を通して達成されてもよい。
そのような射出瞳はまた、眼が、常時、１つであって、かつ１つのみである、活性小射出瞳のみを１度に受容し、より密度の高い射出瞳のアレイを可能にするように、眼の位置に応答して、切替可能であってもよい。そのようなユーザは、ソフトウェアベースのぼかし技法が知覚される深度知覚を向上させるために追加され得る、大焦点深度を有するであろう。
前述のように、光学無限遠におけるオブジェクトは、実質的に平面波面を作成する。眼から１ｍ等、より近いオブジェクトは、湾曲波面（約１ｍ凸面曲率半径を伴う）を作成する。眼の光学系は、光線が網膜上に合焦される（凸面波面は、凹面に変えられ、次いで、網膜上の焦点に至る）ように、光の入射光線を混成させるために十分な屈折力を保有することが要求されることを理解されたい。これらは、眼の基本機能である。
前述の実施形態の多くでは、眼に指向される光は、１つの連続波面の一部として取り扱われ、その一部の下位集合が、特定の眼の瞳孔に衝突するであろう。別のアプローチでは、眼に指向される光は、ビームレットまたは光線の凝集体とともに機能的に作成され得る、より大きな凝集波面の一部として、それぞれ、直径約０．５ｍｍ未満および一意の伝搬経路を有する、複数のビームレットまたは個々の光線に効果的に離散化もしくは分割されてもよい。例えば、湾曲波面は、それぞれ、適切な角度から眼に接近し、原点を表す、複数の離散する近隣のコリメートされたビームを凝集させることによって近似されてもよい。原点は、所望の凝集波面の曲率半径の中心に一致し得る。
ビームレットが、直径約０．５ｍｍまたはそれ未満を有するとき、本構成は、ピンホールレンズ構成に類似する。言い換えると、各個々のビームレットが、常時、眼の遠近調節状態から独立して、網膜上の相対焦点内にあるが、しかしながら、各ビームレットの軌道が、遠近調節状態によって影響されるであろう。例えば、ビームレットが、眼に平行に接近し、離散化されたコリメートされた凝集波面を表す場合、無限遠に正しく遠近調節される眼は、ビームレットを偏向させ、網膜上の同一共有スポットに収束させ、合焦して見えるであろう。眼が、例えば、１ｍに遠近調節する場合、ビームは、網膜の正面のスポットに収束され、経路を越え、網膜上の複数の近隣または部分的重複スポットに当たり、ぼけて見えるであろう。
ビームレットが、視認者から１メートルの共有原点を伴って、発散性構成において眼に接近する場合、１ｍの遠近調節は、ビームを網膜上の単一スポットに操向し、合焦して見えるであろう。視認者が、無限遠に遠近調節する場合、ビームレットは、網膜の背後のスポットに収束し、複数の近隣または部分的重複スポットを網膜上に生成し、ぼけた画像を生成するであろう。より一般的に述べると、眼の遠近調節は、網膜上のスポットの重複度を決定し、所与のピクセルは、スポットの全てが網膜上の同一スポットに指向されると、「合焦」し、スポットが相互からオフセットされると、「焦点ぼけ」となる。０．５ｍｍ直径またはそれ未満のビームレットが全て、常時、合焦し、ビームレットが、コヒーレント波面のように眼／脳によって知覚されるように凝集され得るという本概念は、快適な３次元仮想または拡張現実知覚のための構成を生成する際に利用されてもよい。
言い換えると、複数の狭ビームの集合が、より大きい直径可変焦点ビームを用いる際の状態を模倣するために使用されてもよい。ビームレット径が、最大約０．５ｍｍに保たれる場合、比較的に静的焦点レベルを維持され得る。所望に応じて、焦点がずれた知覚を生成するために、ビームレット角度軌道が、より大きい焦点ずれビームに類似する効果を作成するように選択されてもよい（そのような焦点ぼけ処理は、より大きいビームに対するようなガウスぼかし処理と同一ではない場合があるが、ガウスぼかしと類似方式で解釈され得る、多峰性点拡がり関数を作成するであろう）。
好ましい実施形態では、ビームレットは、本凝集焦点効果を形成するように機械的に偏向されず、むしろ、眼が、ビームレットが瞳孔を交差する多数の入射角度および多数の場所の両方を含む、多くのビームレットの上位集合を受光する。特定の視認距離からの所与のピクセルを表すために、適切な入射角度および瞳孔との交差点を備えている、上位集合からのビームレットの下位集合（空間内の同一共有原点から放出されているかのように）が、凝集波面を表すために、一致する色および強度でオンにされる一方、共有原点と一貫しない上位集合内のビームレットは、その色および強度でオンにされない（但し、そのうちの一部は、ある他の色および強度レベルでオンにされ、例えば、異なるピクセルを表し得る）。
図１１Ａを参照すると、多数の入射ビームレット（３３２）の各々は、離散化された波面ディスプレイ構成において、眼５８に対して小射出瞳（３３０）を通して通過する。図１１Ｂを参照すると、ビームレット（３３２）群の下位集合（３３４）が、一致する色および強度レベルで駆動され、同一のより大きいサイズの光線の一部であるかのように知覚され得る（太字サブ群（３３４）は、「凝集されたビーム」と見なされ得る）。この場合、ビームレットの下位集合は、相互に平行であって、光学無限遠（遠くの山から生じる光等）からのコリメートされた凝集ビームを表す。眼は、無限遠に遠近調節され、したがって、ビームレットの下位集合は、眼の角膜およびレンズによって偏向され、全て、実質的に網膜の同一場所に当たり、単一合焦ピクセルを構成するように知覚される。
図１１Ｃは、眼５８が、上から冠状式平面ビューで視認される場合、ユーザの眼５８の視野の右側から生じる凝集されたコリメートビーム（３３６）を表す、別のビームレットの下位集合を示す。再び、眼は、無限遠に遠近調節されて示され、したがって、ビームレットは、網膜の同一スポットに当たり、ピクセルは、合焦して知覚される。対照的に、発散性光線扇として眼に到達している、異なるビームレットの下位集合が、選定される場合、それらのビームレットは、眼が遠近調節をその光線扇の幾何学的原点に一致する近点に偏移するまで、網膜上の同一場所に当たらない（かつ合焦して知覚されない）であろう。
ビームレットと眼の解剖学的瞳孔の交差点のパターン（例えば、射出瞳のパターン）に関して、交差点の点は、断面効率的六角形格子（例えば、図１２Ａに示されるように）または正方形格子もしくは他の２次元アレイ等の構成で編成されてもよい。さらに、３次元射出瞳のアレイだけではなく、時変射出瞳のアレイも作成されてもよい。
離散化された凝集波面は、付加的中間視認光学、連続空間光変調アレイ技法、または図８Ｋに関係して説明されるもの等の導波管技法を伴わずに、眼に直接光を投影するように、直接視野基板（眼鏡レンズ等）に結合される、視認光学、マイクロディスプレイ、またはマイクロプロジェクタアレイの射出瞳と光学的に共役して設置されるマイクロディスプレイまたはマイクロプロジェクタのアレイ等のいくつかの構成を使用して、作成されてもよい。
図１２Ａを参照すると、一実施形態では、明視野が、小型プロジェクタまたはディスプレイユニット（走査ファイバディスプレイ等）群を束化することによって作成されてもよい。図１２Ａは、例えば、７ｍｍ直径の六角形アレイを作成し得る、六角形格子投影束３３８を描写し、各ファイバディスプレイは、サブ画像（３４０）を出力する。そのようなアレイが、レンズ等の光学系を有する場合、アレイが眼の入射瞳と光学的に共役して設置されるように、その正面に設置され、これは、図１２Ｂに示されるように、アレイの画像を眼の瞳孔に作成し、これは、本質的に、図１１Ａの実施形態と同一光学配列を提供する。
構成の小射出瞳の各々は、走査ファイバディスプレイ等の束３３８内の専用小型ディスプレイによって作成される。光学的に、六角形アレイ３３８全体が、解剖学的瞳孔４５の中に真っすぐ位置付けられるかのようである。そのような実施形態は、異なるサブ画像を、多数の入射角度および眼の瞳孔との交差点を伴うビームレットの上位集合を備えている、眼のより大きい解剖学的入射瞳４５内の異なる小射出瞳に推進するために使用されてもよい。別個のプロジェクタまたはディスプレイの各々は、サブ画像が、異なる光強度および色で駆動されるべき異なる光線の集合を引き出すために作成され得るように、若干異なる画像で駆動されてもよい。
一変形例では、厳密な画像共役が、図１２Ｂの実施形態におけるように、作成されてもよく、アレイ３３８と瞳孔４５との直接１／１マッピングが存在する。別の変形例では、間隔は、アレイと眼の瞳孔の共役マッピングを受信する代わりに、眼の瞳孔が、ある他の距離でアレイから光線を捕捉し得るように、アレイ内のディスプレイと光学系（図１２Ｂにおけるレンズ（３４２））との間で変化されてもよい。そのような構成では、依然として、それを通して離散化された凝集波面表現が作成され得る、ビームの角度多様性を得るであろうが、どの光線をどの屈折力および強度で推進させるかの方法に関する算術計算は、より複雑になり得る（但し、一方で、そのような構成は、視認光学の観点からは、より単純と見なされ得る）。明視野画像捕捉に関わる算術計算が、これらの計算に活用されてもよい。
図１３Ａを参照すると、マイクロディスプレイまたはマイクロプロジェクタ３４６のアレイが、眼鏡フレーム等のフレーム（３４４）に結合され得る、別の明視野作成実施形態が、描写される。本構成は、眼５８の正面に位置付けられてもよい。描写される構成は、非共役配列であって、大規模光学要素は、アレイ３４６のディスプレイ（例えば、走査ファイバディスプレイ）と眼５８との間に介在されない。一対の眼鏡があって、眼鏡表面に直交して位置付けられ、ユーザの瞳孔を指すように全て内向きに角度付けられた、走査ファイバエンジン等の複数のディスプレイが、それらの眼鏡に結合されていると想像されたい。各ディスプレイは、ビームレット上位集合の異なる要素を表す光線の集合を作成するように構成されてもよい。
そのような構成では、解剖学的瞳孔４５において、ユーザは、図１１Ａを参照して論じられる実施形態において受容されるような類似結果を受容してもよく、ユーザの瞳孔における全ての点が、異なるディスプレイから寄与されている多数の入射角度および交差点を伴う光線を受光する。図１３Ｂは、図１３Ａのものに類似する非共役構成を図示するが、図１３Ｂの実施形態は、眼５８の視野から離れるようなディスプレイアレイ３４６の移動を促進する一方、また、反射表面（３４８）を通した実世界１４４のビューも可能にする、反射表面（３４８）を特徴とする。
したがって、離散化された凝集波面ディスプレイのために必要な角度多様性を作成するための別の構成が、提示される。そのような構成を最適化するために、ディスプレイのサイズは、最大まで減少されてもよい。ディスプレイとして利用され得る、走査ファイバディスプレイは、１ｍｍの範囲内のベースライン直径を有してもよいが、封入体および投影レンズハードウェアの縮小は、そのようなディスプレイの直径を約０．５ｍｍまたはそれ未満まで減少させ得、これは、ユーザを殆ど妨害しない。別の小型化による幾何学的精緻化は、ファイバ走査ディスプレイアレイの場合、直接、コリメートレンズ（例えば、勾配屈折率を備え得る、すなわち、「ＧＲＩＮ」レンズ、従来の湾曲レンズ、または回折レンズ）を走査ファイバ自体の先端に結合することによって達成されてもよい。例えば、図１３Ｄを参照すると、ＧＲＩＮレンズ（３５４）が、単一モード光ファイバの端部に融合されて示される。圧電アクチュエータ等のアクチュエータ３５０が、ファイバ３５２に結合されてもよく、ファイバ先端を走査するために使用されてもよい。
別の実施形態では、ファイバの端部は、光ファイバの湾曲研磨処理を使用して半球状形状に成形され、レンズ効果を作成してもよい。別の実施形態では、標準的屈折レンズが、接着剤を使用して、各光ファイバの端部に結合されてもよい。別の実施形態では、レンズは、エポキシ等の少量の透過性ポリマー材料またはガラスから構築されてもよい。別の実施形態では、光ファイバの端部は、溶融され、レンズ効果のための湾曲表面を作成してもよい。
図１３Ｃ−２は、図１３Ｄに示されるもの等のディスプレイ構成（例えば、図１３Ｃ−１の拡大図に示される、ＧＲＩＮレンズを伴う走査ファイバディスプレイ）が、好ましくは、ファイバ自体が、描写されるアセンブリを横断して外界の視認のために実質的に可視ではないように、光ファイバ３５２のクラッディングに厳密に一致する屈折率を有する、単一透明基板３５６を通してともに結合され得る、実施形態を示す。クラッディングの屈折率整合が精密に行われる場合、より大きいクラッディング／筐体は、透明となり、好ましくは、約３ミクロンの直径の小コアのみ、ビューを妨害するであろうことを理解されたい。一実施形態では、ディスプレイのマトリクス３５８は全て、内向きに角度付けられ、したがって、ユーザの解剖学的瞳孔に向かって指向されてもよい（別の実施形態では、相互に平行に留まってもよいが、そのような構成は、あまり効率的ではない）。
図１３Ｅを参照すると、円形ファイバを使用して、周期的に移動するのではなく、薄型の一連の平面導波管（３５８）が、より大きい基板構造３５６に対して片持ち支持されるように構成される、別の実施形態が、描写される。一変形例では、基板３５６は、基板構造に対して平面導波管の周期的運動を生成するように移動されてもよい（例えば、片持ち支持される部材３５８の共振周波数において）。別の変形例では、片持ち支持される導波管部分３５８は、基板に対して圧電または他のアクチュエータとともに作動されてもよい。画像照射情報が、例えば、片持ち支持される導波管部分（３５８）の中に結合される基板構造の右側（３６０）から投入されてもよい。一実施形態では、基板３５６は、入射光３６０をその長さに沿って全内部反射させ、次いで、それを片持ち支持される導波管部分３５８に再指向するように構成される（前述のように、統合されたＤＯＥ構成等を用いて）、導波管を備えてもよい。人が、片持ち支持される導波管部分（３５８）に向かって、背後の実世界１４４を通して注視する際、平面導波管は、その平面形状因子を用いて、任意の分散および／または焦点変化を最小限にするように構成される。
離散化された凝集波面ディスプレイの文脈では、眼の射出瞳内の全ての点のためにある程度の角度多様性をもたせることに重きが置かれ得る。言い換えると、各ピクセルを表示される画像内に表すために、複数の入射ビームを有することが望ましい。図１３Ｆ−１および１３Ｆ−２を参照すると、さらなる角度および空間多様性を得るためのアプローチの１つは、マルチコアファイバを使用して、ＧＲＩＮレンズ等のレンズを出射点に設置することである。これは、出射ビームを単一節点３６６を通して偏向させ得る。本節点３６６は、次いで、走査ファイバタイプの配列において往復走査され得る（圧電アクチュエータ３６８等によって）。網膜共役点が、ＧＲＩＮレンズの端部に定義された平面に設置される場合、ディスプレイは、前述の一般的場合の離散化された凝集波面構成と機能的均等物となるように作成されてもよい。
図１３Ｇを参照すると、ビームのより高い角度および空間多様性をもたらすために、類似効果が、レンズを使用してではなく、光学系３７２の正しい共役点においてマルチコアシステムの面を走査することによって達成されてもよい。言い換えると、（前述の図１２Ａの束状実施例に示されるように）、複数の別個の走査ファイバディスプレイの束を有するのではなく、本必要角度および空間多様性の一部は、導波管によって中継され得る平面を作成するための複数のコアの使用を通してもたらされてもよい。図１３Ｈを参照すると、マルチコアファイバ３６２は、導波管３７０によって眼５８に中継され得る、多数の入射角度および交差点を伴うビームレットの集合を作成するように走査されてもよい（圧電アクチュエータ３６８によって等）。したがって、一実施形態では、コリメートされた明視野画像は、明視野ディスプレイが、直接、ヒトの眼に変換され得るように、任意の付加的再合焦要素を伴わずに、導波管の中に投入されてもよい。
図１３Ｉ−１３Ｌは、長方形断面を伴う一変形例３６３と、平坦出射面３７２および角度付けられた出射面３７４を伴う変形例とを含む、（Ｍｉｔｓｕｂｉｓｈｉ Ｃａｂｌｅ
Ｉｎｄｕｓｔｒｉｅｓ， Ｌｔｄ．（日本）等の供給業者からの）ある市販のマルチコアファイバ３６２の構成を描写する。
Ｉｎｄｕｓｔｒｉｅｓ， Ｌｔｄ．（日本）等の供給業者からの）ある市販のマルチコアファイバ３６２の構成を描写する。
図１３Ｍを参照すると、ある程度の付加的角度多様性が、走査ファイバディスプレイ等のディスプレイ３７８の線形アレイが供給された導波管３７６を有することによってもたらされてもよい。
図１４Ａ−１４Ｆを参照すると、固定された視点の明視野ディスプレイを作成するための別の構成群が、説明される。図１１Ａに戻って参照すると、２次元平面が、左側から生じる小ビームの全てを交差するように作成される場合、各ビームレットは、その平面とのある交差点を有するであろう。別の平面が、左側に異なる距離で作成される場合、ビームレットは全て、異なる場所でその平面に交差するであろう。次いで、図１４Ａに戻って参照すると、２つまたはそれを上回る平面のそれぞれ上の種々の位置が、それを通して指向される光放射を選択的に伝送または遮断することを可能にされることができる場合、そのような多平面構成は、独立して、個々のビームレットを変調させることによって、明視野を選択的に作成するために利用されてもよい。
図１４Ａの基本実施形態は、液晶ディスプレイパネル（３８０、３８２）等の２つの空間光変調器を示す。他の実施形態では、空間光変調器は、ＭＥＭＳシャッタディスプレイまたはＤＬＰ ＤＭＤアレイであってもよい。空間光変調器は、独立して、高分解能ベースで異なる光線を遮断または伝送するように制御されてもよい。例えば、図１４Ａを参照すると、第２のパネル３８２が、点「ａ」３８４において、光線の伝送を遮断または減衰させる場合、描写される光線は全て、遮断されるであろう。しかしながら、第１のパネル３８０のみが、点「ｂ」３８６において、光線の伝送を遮断または減衰させる場合、より低い入射光線３８８のみ、遮断／減衰されるであろう一方、残りは、瞳孔４５に向かって伝送されるであろう。
制御可能パネルまたは平面の各々は、「空間光変調器」または「ｆａｔｔｅ」と見なされ得る。一連のＳＬＭを通して通過される各伝送ビームの強度は、種々のＳＬＭアレイ内の種々のピクセルの透明度の組み合わせの関数となるであろう。したがって、任意の種類のレンズ要素を伴わずに、多数の角度および交差点を伴うビームレットの集合（または「明視野」）が、複数のスタックされたＳＬＭを使用して作成されてもよい。２つを超える付加的数のＳＬＭは、どのビームが選択的に減衰されるかを制御するためのより多くの機会を提供する。
前述で簡単に述べられたように、ＳＬＭとしてスタックされた液晶ディスプレイの使用に加え、ＤＬＰシステムからのＤＭＤデバイスの平面は、ＳＬＭとして機能するようにスタックされてもよい。１つ以上の実施形態では、それらは、光をより効率的に通過させるその能力に起因して、ＳＬＭとしての液晶システムより好ましくあり得る（例えば、鏡要素が第１の状態にあると、眼に向かう途中の次の要素に対する反射率は、非常に効率的となり得、鏡要素が第２の状態にあると、鏡の角度が、１２度等の角度だけ移動され、光を経路から眼まで指向し得る）。
図１４Ｂを参照すると、一ＤＭＤ実施形態では、２つのＤＭＤ（３９０、３９０）が、潜望鏡タイプの構成において、一対のレンズ（３９４、３９６）と直列に利用され、実世界１４４からユーザの眼５８への多量の光の伝送を維持してもよい。図１４Ｃの実施形態は、６つの異なるＤＭＤ（４０２、４０４、４０６、４０８、４１０、４１２）平面に、ビーム制御のための２つのレンズ（３９８、４００）とともに、ビームが眼５８に経路指定されるにつれて、ＳＬＭ機能性を引き継ぐ機会を提供する。
図１４Ｄは、ＳＬＭ機能性のための最大４つのＤＭＤ（４２２、４２４、４２６、４２８）と、４つのレンズ（４１４、４２０、４１６、４１８）とを伴う、より複雑な潜望鏡タイプ配列を図示する。本構成は、画像が眼５８を通して進行するにつれて、上下逆に反転されないことを確実にするように設計される。図１４Ｅは、ディスプレイが、「鏡の間」を通して視認され、図１４Ａに図示されるものに実質的に類似するモードで動作し得る、鏡の間タイプの配列において、任意の介在レンズ（前述の設計におけるレンズは、実世界からの画像情報を組み込むためのそのような構成において有用である）を伴わずに、光が２つの異なるＤＭＤデバイス（４３０、４３２）間で反射され得る、実施形態を図示する。
図１４Ｆは、２つの対面ＤＭＤチップ（４３４、４３６）の非ディスプレイ部分が、反射層で被覆され、ＤＭＤチップの活性ディスプレイ領域（４３８、４４０）へおよびそこから光を伝搬し得る、実施形態を図示する。他の実施形態では、ＳＬＭ機能性のためのＤＭＤの代わりに、スライド式ＭＥＭＳシャッタ（Ｑｕａｌｃｏｍｍ， Ｉｎｃ．の子会社であるＰｉｘｔｒｏｎｉｃｓ等の供給業者から利用可能なもの等）のアレイが、光の通過または遮断のいずれかを行うために利用されてもよい。別の実施形態では、定位置外に移動し、光伝送開口を提示する、小型ルーバのアレイも同様に、ＳＬＭ機能性のために凝集されてもよい。
多くの小ビームレット（例えば、約０．５ｍｍ未満の直径）の明視野が、導波管または他の光学系の中に投入され、それを通して伝搬されてもよい。例えば、従来の「水盤」タイプの光学系は、以下に説明されるように、明視野入力、または自由形状光学設計、または任意の数の導波管構成の光の伝達のために好適であり得る。
図１５Ａ−１５Ｃは、明視野を作成する際に有用な別の構成として、複数の光源とともに、楔タイプ導波管４４２の使用を図示する。図１５Ａを参照すると、光は、２つの異なる場所／ディスプレイ（４４４、４４６）からの楔形状の導波管４４２の中に投入され得、導波管の中への投入点に基づいて、異なる角度４４８で楔形状の導波管の全内部反射特性に従って出現するであろう。
図１５Ｂを参照すると、ディスプレイ（走査ファイバディスプレイ等）の線形アレイ４５０が作成され、示されるように導波管の端部の中に投影する場合、ビーム４５２の大角度多様性が、図１５Ｃに示されるように、１次元において導波管から出射するであろう。実際、導波管の端部の中に投入するディスプレイのさらに別の線形アレイが、追加されるが、但し、若干異なる角度である場合、図１５Ｃに示される扇状出射パターンに類似するが、但し、直交軸において、出射する、ビームの角度多様性が、作成され得る。ともにこれらのビームは、導波管の各場所から出射する光線の２次元扇を作成するために利用されてもよい。したがって、別の構成は、１つ以上の走査ファイバディスプレイアレイを使用して（または代替として、小型ＤＬＰ投影構成等の空間要件を満たすであろう、他のディスプレイを使用して）、角度多様性をもたらし、明視野ディスプレイを形成するために提示される。
代替として、本明細書に示される楔形状の導波管への入力として、ＳＬＭデバイスのスタックが、利用されてもよい。本実施形態では、前述のように、ＳＬＭ出力の直接ビューではなく、ＳＬＭ構成からの明視野出力が、図１５Ｃに示されるもの等の構成への入力として使用されてもよい。従来の導波管が、小径コリメートビームの明視野を伴う、コリメートされた光のビームの中継を成功させるために最も好適であるが、従来の導波管技術が、ビームサイズ／コリメートに起因して、楔形状の導波管等の導波管の側方に投入されるにつれて、そのような明視野システムの出力をさらに操作するために利用され得ることを理解されたい。
別の関連実施形態では、複数の別個のディスプレイを用いて投影するのではなく、マルチコアファイバは、明視野を生成させ、それを導波管の中に投入するために使用されてもよい。さらに、明視野から生じるビームレットの静的分布を作成するのではなく、ビームの集合の経路を方法論的に変化させる、動的要素もまた導入され得るように、時変明視野が、入力として利用されてもよい。これは、２つの光学経路が、作成される、ＤＯＥ（例えば、図８Ｂ−８Ｎを参照して前述のもの、または図７Ｂを参照して説明されるような液晶層等）が埋め込まれた導波管等の構成要素を使用して遂行されてもよい。
１つの経路は、液晶層が、第１の電圧状態に設置され、他の基板材料の導波管のみを辿って全内部反射を生じさせるように、他の基板材料と一致する屈折率を有する、より小さい全内部反射経路である。別の経路は、液晶層が、第２の電圧状態に設置され、光が、液晶部分および他の基板部分の両方を含む、複合導波管を通して全内部反射するように、他の基板材料と一致する屈折率を有する、より大きい全内部反射光学経路である。
同様に、楔形状の導波管は、二峰性全内部反射パラダイムを有するように構成されてもよい。例えば、一変形例では、楔形状の要素は、液晶部分が活性化されると、間隔のみではなく、ビームが反射される角度も変化されるように構成されてもよい。
走査光ディスプレイの一実施形態は、単に、走査ファイバの端部にレンズを伴う走査ファイバディスプレイとして特徴付けられてもよい。ＧＲＩＮレンズ等の多くのレンズ変形例が、好適であって、光をコリメートする、またはファイバのモードフィールド径より小さいスポットまで光を合焦させ、開口数（または「ＮＡ」）増加を生成する利点を提供し、スポットサイズと逆相関する、光学不変量を回避するために使用されてもよい。
より小さいスポットサイズは、概して、ディスプレイの観点から、より高い分解能機会を促進し、概して、好ましい。一実施形態では、ＧＲＩＮレンズは、振動要素を備え得る（例えば、走査ファイバディスプレイを伴う通常の遠位ファイバ先端振動ではなく）ファイバに対して、十分な長さであってもよい。
別の実施形態では、回折レンズが、走査ファイバディスプレイの出射端で利用されてもよい（例えば、ファイバ上にパターン化される）。別の実施形態では、湾曲鏡が、ファイバの端部に位置付けられ、反射構成で動作してもよい。本質的に、ビームをコリメートおよび合焦させることが知られている構成のいずれも、好適な走査光ディスプレイを生成するために、走査ファイバの端部で使用されてもよい。
走査ファイバの端部に結合される、またはそれを備えている、レンズを有することの２つの有意な有用性（例えば、非結合レンズが、ファイバから出射後、光を指向するために利用され得る、構成と比較して）は、（ａ）光出射が、コリメートされ、それを行うための他の外部光学を使用する必要性を回避し得ることと、（ｂ）ＮＡ、すなわち、光が単一モードファイバコアの端部から広がる円錐角が、増加され、それによって、ファイバのための関連付けられたスポットサイズを減少させ、ディスプレイのために利用可能な分解能を増加させ得ることである。
前述のように、ＧＲＩＮレンズ等のレンズは、光ファイバの端部に融合もしくは別様に結合される、または研磨等の技法を使用して、ファイバの端部の一部から形成されてもよい。一実施形態では、ＮＡ約０．１３または０．１４を伴う典型的光ファイバは、約３ミクロンのスポットサイズ（開口数（ＮＡ）を前提として、光ファイバのための「モードフィールド径」としても知られる）を有し得る。これは、産業標準的ディスプレイ分解能パラダイムを前提として、比較的に高分解能のディスプレイの可能性を提供する（例えば、ＬＣＤまたは有機発光ダイオード、すなわち、「ＯＬＥＤ」等の典型的マイクロディスプレイ技術は、スポットサイズ約５ミクロンを有する）。したがって、前述の走査光ディスプレイは、従来のディスプレイで利用可能な最小ピクセルピッチの３／５を有し得る。さらに、ファイバの端部にレンズを使用することによって、前述の構成は、１〜２ミクロンの範囲内のスポットサイズを生成し得る。
別の実施形態では、走査円筒形ファイバを使用するのではなく、導波管（延伸マイクロファイバ技法ではなく、マスキングおよびエッチング等のマイクロ加工プロセスを使用して作成された導波管等）の片持ち支持される部分が、走査発振運動の中に設置されてもよく、出射端でレンズと嵌合されてもよい。
別の実施形態では、走査されるべきファイバのための開口数の増加が、ファイバの出射端を被覆する、拡散器（例えば、光を散乱させ、より大きいＮＡを作成するように構成されるもの）を使用してもたらされてもよい。一変形例では、拡散器は、ファイバの端部をエッチングし、光を散乱させる小領域を作成することによって作成されてもよい。別の変形例では、ビーズもしくはサンドブラスト技法または直接サンディング／スカッフィング技法が、散乱領域を作成するために利用されてもよい。さらに別の変形例では、工学的拡散器が、回折要素と同様に、望ましいＮＡを伴う完全スポットサイズを維持するために作成されてもよい。
図１６Ａを参照すると、光ファイバのアレイ４５４が、その端部が、研削および研磨され、入力ファイバの縦方向軸に対する臨界角（４５８；例えば、大部分のガラスでは、４２度）に出力縁を有し、角度付けられた面から出射する光が、プリズムを通して通過されるかのように出射し、屈曲し、研磨された面の表面と略平行になるであろうように、それらをともに平行に保持するように構成される、結合器４５６に結合されて示される。束内のファイバ４６０から出射するビームは、重畳されるであろうが、異なる経路長に起因して、縦方向に位相がずれるであろう（図１６Ｂを参照すると、例えば、異なるコアに対する角度付けられた出射面から合焦レンズまでの経路長の差が、可視である）。
角度付けられた面から出射する前の束内のＸ軸タイプの分離は、Ｚ軸分離となる。この事実は、そのような構成から多焦点光源を作成する際に有用である。別の実施形態では、束状／結合された複数の単一モードファイバを使用するのではなく、Ｍｉｔｓｕｂｉｓｈｉ ＣａｂｌｅＩｎｄｕｓｔｒｉｅｓ， Ｌｔｄ．（日本）から利用可能なもの等のマルチコアファイバが、角度研磨されてもよい。
一実施形態では、４５度の角度が、鏡コーティング等の反射要素で被覆されたファイバの中に研磨される場合、出射光は、ファイバが走査されるにつれて、走査の過程の間の距離の変化に伴って、Ｘ−Ｙ走査ではなく、Ｘ−Ｙ走査の均等物において機能的に走査されるように、研磨された表面から反射され、ファイバの側面から（一実施形態では、平坦に研磨された出射窓がファイバの側面に作成された場所において）出現し得る。そのような構成は、ディスプレイの焦点を変化させるためにも同様に有益に利用され得る。
マルチコアファイバは、ディスプレイ分解能向上（例えば、より高い分解能）に役割を果たすように構成されてもよい。例えば、一実施形態では、別個のピクセルデータが、マルチコアファイバ内の１９のコアの密束に送信され、そのクラスタが、低密度な渦巻パターンの周囲で走査され、渦間のピッチが、マルチコアの直径にほぼ等しい場合、掃引が、同様に走査される単一コアファイバの分解能の約１９倍のディスプレイ分解能を効果的に作成する。実際、７つのクラスタ４６４を有する、図１６Ｃの構成におけるように、ファイバを相互に対してより低密度に配列することは、より実践的であり得る。７つのクラスタは、効率的タイルディスプレイ／六角形パターンであるため、例証目的のために使用され、他のパターンまたは数も、利用されてもよい（例えば、１９のクラスタ）ことを理解されたい。それぞれ、導管４６２内に格納される、３つのファイバの構成は、スケールアップまたはダウンされる。
図１６Ｃに示されるような低密度な構成では、マルチコアの走査は、コアが全て、ともに緊密に充塞され、走査される構成とは対照的に、その独自のローカル領域を通して、コアのそれぞれを走査する。コアは、コアが、過度に相互に近接する場合、走査と重複し得、コアのＮＡは、十分に大きくはなく、非常に密接に充塞されたコアは、相互にぼけさせ、それによって、識別可能であるように、ディスプレイのためのスポットを作成しない。したがって、分解能増加のために、低密度なタイルディスプレイではなく、非常に高密度のタイルディスプレイを有することが好ましいが、両アプローチとも、利用されてもよい。
高密度に充塞された走査コアは、一実施形態では、ディスプレイにぼかしを作成し得るという概念は、各三連構造が、赤色、緑色、および青色光を特徴とする重複されたスポットの三連構造を形成するように、複数のコア（例えば、赤色、緑色、および青色光を搬送するための三連構造またはコア）が、意図的にともに高密度に充塞され得る、利点として利用されてもよい。そのような構成では、赤色、緑色、および青色を単一モードコアの中に組み合わせる必要なく、ＲＧＢディスプレイを有することが可能であって、これは、光の複数（３つ等）のウェーブレットを単一コアの中に組み合わせるための従来の機構が、光学エネルギー中の有意な損失を被るため、利点である。
図１６Ｃを参照すると、一実施形態では、３つのファイバコアの各緊密なクラスタは、赤色光を中継する１つのコアと、緑色光を中継する１つのコアと、青色光を中継する１つのコアとを含み、３つのファイバコアは、その位置差が後続中継光学によって分解可能ではないように十分にともに近接し、効果的に重畳されたＲＧＢピクセルを形成する。したがって、７つのクラスタの低密度なタイルディスプレイは、分解能向上をもたらす一方、クラスタ内の３つのコアの緊密な充塞は、見かけ倒しのＲＧＢファイバコンバイナ（例えば、波長分割多重化またはエバネセント結合技法を使用するもの）を利用する必要なく、シームレスな色混成を促進する。
図１６Ｄを参照すると、別のより単純な変形例では、１つのみのクラスタ４６４が、例えば、赤色／緑色／青色のための導管４６８内に格納されてもよい（別の実施形態では、別のコアが、眼追跡等の使用のための赤外線のために追加されてもよい）。別の実施形態では、付加的コアが、緊密なクラスタ内に設置され、付加的波長の光を搬送し、色域増加のために、複数の一次ディスプレイを構成してもよい。
図１６Ｅを参照すると、別の実施形態では、導管４６６内の単一コア４７０の低密度なアレイ（一変形例では、赤色、緑色、および青色が、それらの各々に組み合わせられる）が、利用されてもよい。そのような構成は、分解能増加のためにそれほど効果的ではないものの機能可能であるが、赤色／緑色／青色の組み合わせに最適ではない。
マルチコアファイバはまた、明視野ディスプレイを作成するために利用されてもよい。実際、コアが、明視野ディスプレイを用いて、走査光ディスプレイを作成する文脈に前述のように、ディスプレイパネルにおいて相互のローカル面積を走査しないように、コアを相互から十分に分離させて維持するのではなく、高密度に充塞された複数のファイバを走査することが望ましくあり得る。これは、生成されるビームがそれぞれ、明視野の具体的部分を表すためである。束状ファイバ先端から出射する光は、ファイバが小ＮＡを有する場合、比較的に狭小であり得る。
明視野構成は、これを利用し、解剖学的瞳孔において、複数の若干異なるビームがアレイから受光される、構成を利用してもよい。したがって、単一走査ファイバモジュールのアレイの機能的均等物である、マルチコアの走査を伴う、光学構成が存在し、したがって、明視野は、単一モードファイバ群を走査するのではなく、マルチコアを走査することによって作成されてもよい。
一実施形態では、マルチコア位相アレイアプローチが大射出瞳可変波面構成を作成し、３次元知覚を促進するように使用されてもよい。位相変調器を伴う単一レーザ構成が、前述されている。マルチコア実施形態では、位相遅延が、単一レーザの光が、相互コヒーレンスが存在するように、マルチコア構成のコアの全ての中に投入されるように、マルチコアファイバの異なるチャネルの中に誘発されてもよい。
一実施形態では、マルチコアファイバは、ＧＲＩＮレンズ等のレンズと組み合わせられてもよい。そのようなレンズは、例えば、屈折レンズ、回折レンズ、またはレンズとして機能する研磨された縁であってもよい。レンズは、単一光学表面であってもよく、または上方にスタックされた複数の光学表面を備えてもよい。実際、マルチコアの直径を拡大する単一レンズを有することに加え、より小さいレンズレットアレイが、例えば、マルチコアのコアからの光の出射点において望ましくあり得る。図１６Ｆは、マルチコアファイバ４７０が、複数のビームをＧＲＩＮレンズ等のレンズ４７２の中に放出する、実施形態を示す。レンズは、ビームをレンズの正面の空間内の焦点４７４にまとめる。多くの従来の構成では、マルチコアファイバから出射するビームは、発散し得る。ＧＲＩＮまたは他のレンズは、コリメートされた結果が、例えば、明視野ディスプレイのために走査され得るように、それらを単一点に指向し、それらをコリメートするよう機能するように構成される。
図１６Ｇを参照すると、より小さいレンズ４７８が、マルチコア４７６構成のコアのそれぞれの正面に設置されてもよく、これらのレンズは、光線をコリメートするために利用されてもよい。加えて、共有レンズ４８０が、コリメートされたビームを、３つのスポットの全てのために整合される、回折限界スポット４８２に合焦させるように構成されてもよい。３つのコリメートされた狭ビームと狭ＮＡをともに組み合わせことによって、示されるように全３つをはるかに大きい放出角度に効果的に組み合わせ、例えば、頭部搭載式光学ディスプレイシステム内でより小さいスポットサイズに変換する。
図１６Ｈを参照すると、一実施形態は、個々のコアによって生成されるビームを共通点に偏向させる小プリズムアレイ４８４に光を供給する、レンズレット４７８アレイを伴う、マルチコアファイバ４７６を特徴とする。代替として、光が単一点に偏向および合焦されるように、小レンズレットアレイをコアに対して偏移させてもよい。そのような構成は、ＮＡを増加させるために利用されてもよい。
図１６Ｉを参照すると、マルチコアファイバ４７６から光を捕捉する小レンズレット４７８アレイに続いて、順次、共有レンズ４８６による、ビームの単一点４８８への合焦を伴う、２ステップ構成が、示される。そのような構成は、開口数を増加させるために利用されてもよい。前述のように、より大きいＮＡは、より小さいピクセルサイズおよびより高い可能性として考えられるディスプレイ分解能に対応する。
図１６Ｊを参照すると、前述のもの等の結合器４５６とともに保持され得る、斜角が付けられたファイバアレイが、ＤＬＰシステムのＤＭＤモジュール等の反射デバイス４９４を用いて走査されてもよい。複数の単一ファイバ４５４が、アレイ、または代わりに、マルチコアの中に結合されると、重畳された光は、１つ以上の合焦レンズ（４９０、４９２）を通して指向され、多焦点ビームを作成することができる。アレイの重畳および角度付けを用いることによって、異なる源が、合焦レンズから異なる距離に存在し、レンズ４９２から出現し、ユーザの眼５８の網膜５４に向かって指向されるにつれて、ビームに異なる焦点レベルをもたらす。例えば、最も遠い光学ルート／ビームは、光学無限遠焦点位置を表す、コリメートされたビームとなるように設定され得る。より近いルート／ビームは、より近い焦点場所の発散性球状波面に関連付けられ得る。
多焦点ビームは、一連の合焦レンズを通して、次いで、眼の角膜および水晶体を通過され得る、多焦点ビームのラスター走査（または、例えば、リサジュー曲線走査パターンもしくは渦巻走査パターン）を作成するように構成され得る、走査鏡の中に通過されてもよい。レンズから出現する種々のビームは、重畳される可変焦点距離の異なるピクセルまたはボクセルを作成する。
一実施形態では、フロントエンドにおいて、異なるデータを光変調チャネルの各々に書き込み、それによって、１つ以上の合焦要素を用いて眼に投影される画像を作成してもよい。水晶体の焦点距離を変化させることによって（例えば、遠近調節することによって）、水晶体が異なるＺ軸位置にある、図１６Ｋおよび１６Ｌに示されるように、異なる入射ピクセルは、合焦および合焦解除され得る。
別の実施形態では、ファイバアレイは、圧電アクチュエータによって、作動／移動されてもよい。別の実施形態では、比較的に薄いリボンアレイが、圧電アクチュエータが活性化されると、アレイファイバの配列と垂直な軸に沿って（例えば、リボンの薄い方向に）、片持ち支持された形態で共振されてもよい。一変形例では、別個の圧電アクチュエータが、直交長軸において、振動走査をもたらすために利用されてもよい。別の実施形態では、単一鏡軸走査が、ファイバリボンが共振振動される間、長軸に沿った低速走査のために採用されてもよい。
図１６Ｍを参照すると、走査ファイバディスプレイ４９８のアレイ４９６が、効果的分解能増加のために有益に束化／タイル表示され得る。そのような構成では、例えば、図１６Ｎに示されるように、束の各走査ファイバが、画像平面５００の異なる部分に書き込むように構成されることが予測される。図１６Ｎを参照すると、画像平面の各部分が少なくとも１つの束からの放出によってアドレス指定される。他の実施形態では、光学構成が、ディスプレイ平面に衝突する六角形または他の格子パターン内にある程度の重複が存在するように、ビームが光ファイバから出射するにつれて、ビームの若干の拡大を可能にするために利用されてもよい。これは、適正な小スポットサイズもまた画像平面に維持しつつ、その画像平面にわずかな拡大を維持しながら、より優れた曲線因子を可能にし得る。
個々のレンズを各走査ファイバ封入体筐体の端部で利用するのではなく、一実施形態では、レンズが、可能な限り密接に配列され得るように、モノリシックレンズレットアレイが、利用されてもよい。これは、光学系内でより低い倍率量を使用し得るため、画像平面にさらにより小さいスポットサイズを可能にする。したがって、各エンジンが視野の異なる部分を走査するために使用されているため、ファイバ走査ディスプレイのアレイは、ディスプレイの分解能を増加させるために使用されてもよく、または言い換えると、ディスプレイの視野を増加させるために使用されてもよい。
明視野構成のために、放出は、より望ましくは、画像平面において重複され得る。一実施形態では、明視野ディスプレイは、空間内で走査される複数の小径ファイバを使用して作成されてもよい。例えば、前述のように、ファイバの全てに画像平面の異なる部分をアドレス指定させる代わりに、構成は、より多くの重複（例えば、内向きに角度付けられたより多くのファイバ等）を可能にしてもよい。または、別の実施形態では、小スポットサイズがタイル表示された画像平面構成と共役しないように、レンズの焦点力が、変化されてもよい。そのような構成は、同一物理的空間内で傍受される複数のより小さい直径の光線を走査するための明視野ディスプレイを作成するために使用されてもよい。
図１２Ｂに戻って参照すると、明視野ディスプレイを作成する方法の１つとして、左側の要素の出力を狭ビームとコリメートさせ、次いで、投影アレイを右側の眼の瞳孔と共役させることを伴うことが論じられた。
図１６Ｏを参照すると、共通基板ブロック５０２とともに、単一アクチュエータが、図１３−Ｃ−１および１３−Ｃ−２を参照して前述される構成に類似する、複数のファイバ５０６をともに連動して作動させるために利用されてもよい。ファイバ全てに、同一共振周波数を保たせる、相互に望ましい位相関係で振動させる、または基板ブロックから片持ち支持する同一寸法を有することは、実践的に困難であり得る。本課題に対処するために、ファイバの先端は、非常に薄く、剛性であって、かつ軽量のグラフェンシート等の格子またはシート５０４と機械的に結合されてもよい。そのような結合を用いることによって、アレイ全体が、同様に振動し、かつ同一位相関係を有し得る。別の実施形態では、カーボンナノチューブのマトリクスが、ファイバを結合するために利用されてもよく、または非常に薄い平面ガラス片（液晶ディスプレイパネルを作成する際に使用される種類等）が、ファイバ端に結合されてもよい。さらに、レーザまたは他の精度の切断デバイスが、全関連付けられたファイバを同一片持ち支持長に切断するために利用されてもよい。
図１７を参照すると、一実施形態では、角膜と直接界面接触され、非常に近接する（角膜と眼鏡レンズとの間の典型的距離等）ディスプレイ上への眼の合焦を促進するように構成される、コンタクトレンズを有することが望ましくあり得る。光学レンズをコンタクトレンズとして設置するのではなく、一変形例では、レンズは、選択フィルタを備えてもよい。図１７は、４５０ｎｍ（ピーク青色）、５３０ｎｍ（緑色）、および６５０ｎｍ等のある波長帯域のみを遮断し、概して、他の波長を通過または伝送させるためのその設計に起因する、プロット５０８または「ノッチフィルタ」を描写する。一実施形態では、誘電コーティングのいくつかの層は、凝集され、ノッチフィルタ機能性を提供してもよい。
そのようなフィルタ構成は、赤色、緑色、および青色のための非常に狭帯域の照射を生成する、走査ファイバディスプレイと結合されてもよく、ノッチフィルタを伴うコンタクトレンズは、透過性波長以外、ディスプレイ（通常眼鏡レンズによって占有される位置に搭載される、ＯＬＥＤディスプレイ等の小型ディスプレイ等）から生じる光を全て遮断するであろう。
狭小ピンホールが、小開口（例えば、約１．５ｍｍ未満の直径）が、そうでなければ遮断される波長の通過を可能にするように、コンタクトレンズフィルタ層／フィルムの中央に作成されてもよい。したがって、赤色、緑色、および青色のみが、小型ディスプレイからの画像を取り込む一方、概して、広帯域照射である、実世界からの光が、比較的に妨害されずにコンタクトレンズを通して通過するであろう、ピンホール様式で機能する、ピンホールレンズ構成が、作成される。したがって、大焦点深度仮想ディスプレイ構成が、組み立てられ、動作され得る。別の実施形態では、導波管から出射するコリメートされた画像が、ピンホールの大焦点深度のため、網膜で可視となるであろう。
その焦点深度を経時的に変動させることができる、ディスプレイを作成することは、有用となり得る。例えば、一実施形態では、ディスプレイは、非常に大きな焦点深度と小射出瞳径を組み合わせる、第１のモード（例えば、全てのものが常時合焦されるように）と、より大きい射出瞳およびより狭い焦点深度を特徴とする、第２のモード等、オペレータによって選択され得る（好ましくは、オペレータのコマンドでその２つの間を迅速にトグルする）、異なるディスプレイモードを有するように構成されてもよい。
動作時、ユーザが、多くの被写界深度で知覚されるべきオブジェクトを伴う、３次元ビデオゲームをプレイしようとする場合、オペレータは、第１のモードを選択してもよい。代替として、ユーザが、２次元ワード処理ディスプレイ構成を使用して、長いエッセイをタイプしようとする場合（例えば、比較的に長期間の間）、より大きい射出瞳およびより鮮明な画像の利便性を有するために、第２のモードに切り替えることがより望ましくあり得る。
別の実施形態では、いくつかのサブ画像が、大焦点深度で提示される一方、他のサブ画像が、小焦点深度で提示される、多焦点深度ディスプレイ構成を有することが望ましくあり得る。例えば、一構成は、常時、合焦するように、赤色波長および青色波長チャネルを非常に小射出瞳で提示させてもよい。次いで、緑色チャネルのみ、複数の深度平面を伴う大射出瞳構成で提示されてもよい（例えば、ヒトの遠近調節システムは、焦点レベルを最適化するために、緑色波長を優先的に標的化する傾向があるため）。
したがって、赤色、緑色、および青色を全深度平面で表すためのあまりに多くの要素を含むことに関連付けられたコストを削減するために、緑色波長は、優先化され、種々の異なる波面レベルで表されてもよい。赤色および青色は、よりマクスウェル的アプローチで表されるように格下げされてもよい（マクスウェルディスプレイを参照して前述のように、ソフトウェアが、ガウスレベルのぼかしを誘発するために利用されてもよい）。そのようなディスプレイは、同時に、複数の焦点深度を提示するであろう。
前述のように、より高い密度の光センサを有する、網膜の部分がある。中心窩部分には、例えば、概して、約１２０錐体／視度が存在する。ディスプレイシステムは、従来、眼または注視追跡を入力として使用し、人がその時に注視している場所に基づいて、非常に高い分解能のレンダリングのみを作成することによって、計算リソースを節約するように作成されていた。しかしながら、より低い分解能のレンダリングが、網膜の残りに提示される。高対低分解能部分の場所は、「中心窩ディスプレイ」と称され得る、そのような構成では、追跡された注視場所に動的に従動され得る。
そのような構成における改良として、追跡された視線に動的に従動され得るパターン間隔を伴う、走査ファイバディスプレイが挙げられ得る。例えば、図１８に示されるように、渦巻パターンで動作する典型的走査ファイバディスプレイでは（図１８における画像の最左部分５１０は、走査マルチコアファイバ５１４の渦巻運動パターンを図示し、図１８における画像の最右部分５１２は、比較のための走査単一ファイバ５１６の渦巻運動パターンを図示する）、一定パターンピッチが、均一ディスプレイ分解能を提供する。
中心窩ディスプレイ構成では、非均一走査ピッチが、検出される注視場所に動的に従動される、より小さい／より緊密なピッチ（したがって、より高い分解能）とともに利用されてもよい。例えば、ユーザの注視が、ディスプレイ画面の縁に向かって移動するにつれて検出される場合、渦巻は、そのような場所においてより高密度にクラスタ化されてもよく、これは、高分解能部分のためにトロイドタイプ走査パターンを作成し、ディスプレイの残りは、より低い分解能モードにあるであろう。間隙が、より低い分解能モードにあるディスプレイの部分において作成され得る構成では、ぼかしが、走査間ならびに高分解能からより低い分解能走査ピッチへの遷移間の遷移を平滑化するために意図的に動的に作成され得る。
用語「明視野」は、オブジェクトから視認者の眼に進行する光の立体３−Ｄ表現を説明するために使用され得る。しかしながら、光学透視ディスプレイは、光を眼に反射させることのみでき、光が不在ではない場合、実世界からの周囲光が、仮想オブジェクトを表す任意の光に追加されるであろう。すなわち、眼に提示される仮想オブジェクトが、黒色または非常に暗部分を含む場合、実世界からの周囲光は、その暗部分を通して通過し、暗くなるように意図されるものを目立たなくし得る。
それにもかかわらず、暗仮想オブジェクトを明るい実背景にわたって提示し、その暗仮想オブジェクトが、ボリュームを所望の視認距離で占有して見えることが可能となることが望ましい。例えば、光の不在が空間内の特定の点に位置するように知覚される、その暗仮想オブジェクトの「暗視野」表現を作成することが有用である。非常に明るい実際の環境においても、仮想オブジェクトの暗視野側面を知覚し得るような遮閉要素およびユーザの眼への情報の提示に関して、前述の空間光変調器、すなわち、「ＳＬＭ」構成のある側面が、関連する。
前述のように、眼等の光感知系では、暗視野の選択知覚のためのアプローチの１つは、ディスプレイのそのような部分からの光を選択的に減衰させることである。言い換えると、暗視野は、本質的に、投影されることができない。これは、暗視野として知覚され得る照射の欠如である。以下の議論は、照射の選択減衰のための種々の構成を提示するであろう。
ＳＬＭ構成の議論に戻って参照すると、暗視野知覚のために選択的に減衰させる方法の１つは、１つの角度から生じる光を全て遮断する一方、他の角度からの光が伝送されることを可能にすることである。これは、前述のように、液晶（伝送状態にあるとき、その比較的に低透明度に起因して、最適ではなくなり得る）、ＤＬＰシステムのＤＭＤ要素（そのようなモードにあるとき、相対的高伝送／反射比率を有する）、および光放射を制御可能に閉鎖または通過させるように構成されるＭＥＭＳアレイまたはシャッタ等の要素を備えている複数のＳＬＭ平面を用いて遂行されてもよい。
好適な液晶ディスプレイ（「ＬＣＤ」）構成に関して、コレステリックＬＣＤアレイが、制御式遮閉／遮断アレイのために利用されてもよい。偏光状態が電圧の関数として変化される、従来のＬＣＤパラダイムとは対照的に、コレステリックＬＣＤ構成では、顔料が、液晶分子に結合されており、次いで、分子は、印加される電圧に応答して、物理的に傾斜される。そのような構成は、透過性モードにあるとき、従来のＬＣＤより高い透明度を達成するように設計されてもよく、偏光フィルムのスタックは、必要とされなくてもよい。
別の実施形態では、制御可能に中断されたパターンの複数の層が、モアレ効果を使用して、光の選択された提示を制御可能に遮断するために利用されてもよい。例えば、一構成では、それぞれ、例えば、ガラス基板等の透明平面材料上に印刷または塗布された微細ピッチ正弦波を備え得る、減衰パターンの２つのアレイが、視認者がパターンのいずれかのみを通してみるとき、ビューが本質的に透明であるが、視認者がシーケンスで並べられた両パターンを通して見る場合、視認者には、２つの減衰パターンが、ユーザの眼に比較的に近接するシーケンス内に設置されるときでも、空間的ビート周波数のモアレ減衰パターンが見えるであろうために十分に近接した距離で、ユーザの眼に提示されてもよい。
ビート周波数は、２つの減衰平面上のパターンのピッチに依存し、したがって、一実施形態では、暗視野知覚のために、ある光伝送を選択的に遮断するための減衰パターンは、それぞれ、そうでなければユーザに透明となるであろうが、ともに直列に、ＡＲシステムにおいて所望される暗視野知覚に従って減衰させるように選択される、空間的ビート周波数のモアレ減衰パターンを作成する、２つの順次パターンを使用して作成されてもよい。
別の実施形態では、暗視野効果のための制御式遮閉パラダイムが、マルチビューディスプレイ式オクルーダを使用して作成されてもよい。例えば、一構成は、前述のもの等のＬＣＤ、ＤＬＰシステム、または他の選択減衰層構成を備え得る、選択減衰層と直列に、小開口またはピンホール以外、完全に遮閉する、１つのピンホール層を備えてもよい。一シナリオでは、角膜から典型的眼鏡レンズ距離（約３０ｍｍ）に設置されるピンホールアレイと、眼から見てピンホールアレイと反対に位置する選択減衰パネルとを用いることによって、空間内に鮮明な機械的縁の知覚が、作成され得る。
要するに、構成が、ある角度の光が通過し、他の光が遮断または遮閉されることを可能にするであろう場合、鮮明な縁投影等の非常に鮮明なパターンの知覚が、作成され得る。別の関連実施形態では、ピンホールアレイ層は、第２の動的減衰層と置換され、若干類似するが、静的ピンホールアレイ層（静的ピンホール層が、シミュレートされ得るが、そうである必要はない）より制御を伴う構成を提供してもよい。
別の関連実施形態では、ピンホールは、円筒形レンズと置換されてもよい。ピンホールアレイ層構成におけるような遮閉の同一パターンが、達成されてもよいが、円筒形レンズでは、アレイは、非常に極小のピンホール幾何学形状に制限されない。実世界を通して視認するとき、レンズに起因して、眼に歪曲が提示されないように防止するために、第２のレンズアレイが、眼に最も近い側の開口またはレンズアレイの反対側に追加され、照射を通したビューを補償し、基本的にゼロ屈折力の望遠鏡構成を提供してもよい。
別の実施形態では、暗視野知覚の遮閉および作成のために、光を物理的に遮断するのではなく、光は、屈曲もしくは再指向されてもよい。または、液晶層が利用される場合、光の偏光が、変化されてもよい。例えば、一変形例では、各液晶層は、パターン化された偏光材料が、パネルの１面上に組み込まれる場合、実世界から生じる個々の光線の偏光が、選択的に操作され、パターン化された偏光子の一部を捕捉し得るように、偏光回転子として作用してもよい。「市松模様ボックス」の半分が垂直偏光を有し、残りの半分が水平偏光を有する、市松模様パターンを有する、当技術分野において公知の偏光子がある。加えて、偏光が選択的に操作され得る、液晶等の材料が、使用される場合、光は、これを用いて選択的に減衰されてもよい。
前述のように、選択反射体は、ＬＣＤより大きな伝送効率を提供し得る。一実施形態では、レンズシステムが、実世界から生じる光が、画像平面上に合焦させるように設置される場合、かつＤＭＤ（例えば、ＤＬＰ技術）が、その画像平面に設置され、「オン」状態にあるとき、光を眼に通過させるレンズの別の集合に向かって光を反射させ、それらのレンズもまた、ＤＭＤをその焦点距離に有する場合、眼のために合焦する減衰パターンが、作成され得る。言い換えると、ＤＭＤは、図１９Ａに示されるように、ゼロ倍率望遠鏡構成において、選択反射体平面内で使用され、暗視野知覚の作成を制御可能に遮閉および促進してもよい。
図１９Ａに示されるように、レンズ（５１８）は、光を実世界１４４から捕らえ、それを画像平面５２０に合焦させている。ＤＭＤ（または他の空間減衰デバイス）５２２が、レンズの焦点距離（例えば、画像平面５２０）に設置される場合、レンズ５１８は、光学無限遠から生じる光を利用し、それを画像平面５２０上に合焦させるであろう。次いで、空間減衰器５２２は、減衰されるべきものコンテンツを選択的に遮断するために利用されてもよい。
図１９Ａは、透過性モードにおける減衰器ＤＭＤを示し、それらは、示されるビームを通過させ、デバイスを越えさせる。画像は、次いで、第２のレンズ５２４の焦点距離に設置される。好ましくは、２つのレンズ（５１８、５２４）は、実世界１４４からの光が拡大させないように、同一焦点力を有する。そのような構成は、あるピクセルの選択遮断／減衰もまた可能にしながら、世界の非拡大ビューを提示するために使用されてもよい。
別の実施形態では、図１９Ｂおよび１９Ｃに示されるように、付加的ＤＭＤが、光が眼に通過する前に、４つのＤＭＤ（５２６、５２８、５３０、５３２）のそれぞれから反射するように、追加されてもよい。図１９Ｂは、ゼロ屈折力望遠鏡効果を有するように相互から２Ｆ関係に設置される、好ましくは、同一焦点力（焦点距離「Ｆ」）の２つのレンズ（第１のものの焦点距離は、第２のものの焦点距離に共役される）を伴う、実施形態を示す。図１９Ｃは、レンズを伴わない、実施形態を示す。図１９Ｂおよび１９Ｃの描写される実施形態における４つの反射パネル（５２６、５２８、５３０、５３２）の配向の角度は、単純例証目的のために、約４５度であるように示されるが、具体的相対配向が、１つ以上の実施形態では、要求されてもよい（例えば、典型的ＤＭＤは、約１２度の角度で反射する）。
別の実施形態では、パネルはまた、強誘電性であってもよく、または任意の他の種類の反射または選択減衰器パネルもしくはアレイであってもよい。一実施形態では、図１９Ｂおよび１９Ｃに描写されるものと同様に、３つの反射体アレイのうちの１つは、他の３つが選択減衰器であって、したがって、依然として、３つの独立平面を提供し、暗視野知覚の増進のために、入射照射の一部を制御可能に遮閉するように、単純鏡であってもよい。複数の動的反射減衰器を直列に有することによって、実世界に対して異なる光学距離におけるマスクが、作成され得る。
代替として、図１９Ｃに戻って参照すると、１つ以上のＤＭＤが、任意のレンズを伴わずに、反射潜望鏡構成で設置される、構成を作成してもよい。そのような構成は、明視野アルゴリズムで駆動され、選択的に、ある光線を減衰させる一方、他の光線を通過させてもよい。
別の実施形態では、ＤＭＤまたは類似マトリクスの制御可能に可動であるデバイスが、仮想現実等の透過性構成において使用するための概して不透明の基板とは対照的に、透明基板上に作成されてもよい。
別の実施形態では、２つのＬＣＤパネルが、明視野オクルーダとして利用されてもよい。一変形例では、２つのＬＣＤパネルは、前述のようなその減衰能力に起因して、減衰器と見なされ得る。代替として、それらは、共有偏光子スタックを伴う偏光回転子と見なされ得る。好適なＬＣＤは、青色相液晶、コレステリック液晶、強誘電液晶、および／またはねじれネマティック液晶等の構成要素が挙げられ得る。
一実施形態は、特定の角度から生じる光の大部分は通過されるが、広い面が異なる角度から生じる光に提示されるように、回転を変化させ得るルーバの集合を特徴とする、ＭＥＭＳデバイス等の指向性の選択遮閉要素のアレイを備えてもよい。これは、農園のシャッタが典型的ヒトスケールの窓とともに利用され得る様式に若干類似する。ＭＥＭＳ／ルーバ構成は、実質的に不透明のルーバとともに、光学的に透明な基板上に設置されてもよい。
理想的には、そのような構成は、ピクセル毎ベースで光を選択的に遮閉するために十分に微細なルーバピッチを備えているであろう。別の実施形態では、ルーバの２つまたはそれを上回る層もしくはスタックが、組み合わせられ、さらなる制御を提供してもよい。別の実施形態では、光を選択的に遮断するのではなく、ルーバは、制御可能に可変ベースで光の偏光状態を変化させるように構成される、偏光子であってもよい。
前述のように、選択遮閉のための別の実施形態は、スライド式パネルが、光を小フレームまたは開口を通して伝送するために制御可能に開放され、かつフレームまたは開口を遮閉し、伝送を防止するように制御可能に閉鎖され得るように、ＭＥＭＳデバイス内にスライド式パネルのアレイを備えてもよい（例えば、第１の位置から第２の位置に平面方式で摺動することによって、または第１の配向から第２の配向に回転させることによって、または、例えば、回転再配向および変位を組み合わせて）。アレイは、減衰されるべき光線を最大限に減衰させ、伝送されるべき光線を最小限にのみ減衰させるよう種々のフレームまたは開口を開放もしくは遮閉するように構成されてもよい。
固定数のスライド式パネルが、第１の開口を遮閉し、第２の開口を開放させる第１の位置または第２の開口を遮閉し、第１の開口を開放させる第２の位置のいずれかを占有することができる、ある実施形態では、常時、同一量の光が全体的に伝送され得る（そのような構成では、開口の５０％は、遮閉され、他の５０％は、開放されるため）が、シャッタまたはドアのローカル位置変化は、種々のスライド式パネルの動的位置付けに伴って、暗視野知覚のための標的モアレまたは他の効果を作成し得る。一実施形態では、スライド式パネルは、スライド式偏光子を備えてもよい。スライド式パネルが、他の偏光要素とともにスタックされた構成に配置される場合、パネルは、静的または動的のいずれかであってもよく、選択的に減衰させるために利用されてもよい。
図１９Ｄを参照すると、一対の合焦要素（５４０、５４２）および反射体（５３４；ＤＭＤ等）とともに、２つの導波管（５３６、５３８）のスタックされた集合が、入射反射体（５４４）を用いて入射光の一部を捕捉するために使用され得るように、ＤＭＤ式反射体アレイ（５３４）等を介して、選択反射のための機会を提供する別の構成が、示される。反射された光は、第１の導波管（５３６）の長さを辿って、合焦要素（５４０）の中に全内部反射され、光をＤＭＤアレイ等の反射体（５３４）上に合焦させてもよい。ＤＭＤは、導波管から眼５８に向かって光を出射するように構成される、出射反射体（５４６）までの全内部反射のために、光の一部を選択的に減衰させ、合焦レンズ（５４２；第２の導波管の中に戻る光の投入を促進するように構成される、レンズ）を通して第２の導波管（５３８）の中に反射させてもよい。
そのような構成は、比較的に薄い形状因子を有してもよく、実世界１４４からの光が選択的に減衰されることを可能にするように設計されてもよい。導波管が、コリメートされた光と最も滑らかに協働するため、そのような構成は、合焦距離が光学無限遠の範囲内にある仮想現実構成に非常に好適となり得る。より近い焦点距離のためには、明視野ディスプレイが、前述の選択減衰／暗視野構成によって作成された輪郭の上部の層として使用され、光が別の焦点距離から生じているという他の手掛かりをユーザの眼に提供してもよい。別の実施形態では、遮閉マスクが、望ましくないことに、焦点から外れ得る。さらに別の実施形態では、マスキング層の上部の明視野が、ユーザが暗視野が誤った焦点距離にあり得るということを検出しないように使用されてもよい。
図１９Ｅを参照すると、それぞれ、約４５度で示される、例証目的のために２つの角度付けられた反射体（５５８、５４４および５５６、５４６）を有する、２つの導波管（５５２、５５４）を特徴とする、実施形態が、示される。実際の構成では、角度は、導波管の反射表面、反射／屈折特性等に応じて異なってもよいことを理解されたい。角度付けられた反射体は、選択減衰のために使用され得るＤＭＤ等の各端部における反射体（５４８、５５０）に衝突するように、実世界から入射する光の一部を第１の導波管の両側（または上部層がモノリシックではない場合、２つの別個の導波管）まで指向する。反射された光は、眼５８に向かった出射のために、第２の導波管（または底側層がモノリシックではない場合、２つの別個の導波管）の中に、２つの角度付けられた反射体（再び、示されるような４５度である必要はない）に引き返して投入され得る。
合焦レンズもまた、各端部における反射体と導波管との間に設置されてもよい。別の実施形態では、各端部における反射体（５４８、５５０）は、標準的鏡（アルミ表面鏡等）を備えてもよい。さらに、反射体は、二色性鏡またはフィルム干渉フィルタ等の波長選択反射体であってもよい。さらに、反射体は、入射光を反射させるように構成される、回折要素であってもよい。
図１９Ｆは、ピラミッドタイプ構成における４つの反射表面が、光を２つの導波管（５６０、５６２）を通して指向するために利用され、実世界からの入射光が、分割され、４つの異なる軸に反射され得る、構成を図示する。ピラミッド形状の反射体（５６４）は、４つを上回るファセットを有してもよく、図１９Ｅの構成の反射体と同様に、基板プリズム内に存在してもよい。図１９Ｆの構成は、図１９Ｅのものの拡張である。
図１９Ｇを参照すると、単一導波管（５６６）が、１つ以上の反射表面（５７４、５７６、５７８、５８０、５８２）を用いて、光を世界１４４から捕捉し、５７０を選択減衰器（５６８；ＤＭＤアレイ等）に中継し、伝搬５７２し、少なくとも部分的に、経路上の導波管からユーザの眼５８に向かって出射（５９４）させる、１つ以上の他の反射表面（５８４、５８６、５８８、５９０、５９２）に遭遇するように、それを同一導波管の中に戻って再結合させるために利用されてもよい。好ましくは、導波管は、１つの群（５７４、５７６、５７８、５８０、５８２）が、入射光を捕捉し、それを選択減衰器まで指向させるようオンに切り替えられ得る一方、別個の別の群（５８４、５８６、５８８、５９０、５９２）が、選択減衰器から戻る光を眼５８に向かって出射させるようオンに切り替えられ得るように、選択反射体を備えている。
便宜上、選択減衰器は、導波管に対して実質的に垂直に配向されて示される。他の実施形態では、屈折または反射光学等の種々の光学構成要素が、導波管に対して異なり、かつよりコンパクトな配向で選択減衰器を平面化するために利用されてもよい。
図１９Ｈを参照すると、図１９Ｄを参照して説明される構成における変形例が、図示される。本構成は、図５Ｂを参照して前述されているものに若干類似し、切替可能反射体のアレイが、一対の導波管（６０２、６０４）のそれぞれ内に埋め込まれてもよい。図１９Ｈを参照すると、コントローラが、複数の反射体がフレーム順次ベースで動作されるように、反射体（５９８、６００）をシーケンスでオンおよびオフにするように構成されてもよい。次いで、ＤＭＤまたは他の選択減衰器（５９４）もまた、オンおよびオフにされる異なる鏡と同期して、順次、駆動されてもよい。
図１９Ｉを参照すると、前述のもの（例えば、図１５Ａ−１５Ｃを参照して）に類似する一対の楔形状の導波管が、側面図または断面図に示され、各楔形状の導波管（６１０、６１２）の２つの長い表面が同一平面ではないことを図示する。「転向フィルム」（６０６、６０８；本質的に、マイクロプリズムアレイを備えている、商標名「ＴＲＡＦ」の下、３Ｍ ｃｏｒｐｏｒａｔｉｏｎから利用可能なもの等）が、光線が全内部反射によって捕捉されるであろうような角度で入射光線を転向させるか、または導波管から出射する出射光線を眼または他の標的に向かって再指向させるかのいずれかのために、楔形状の導波管の１つ以上の表面上で利用されてもよい。入射光線は、第１の楔を辿って、ＤＭＤ、ＬＣＤ（強誘電ＬＣＤ等）、またはＬＣＤスタック（マスクとして作用する）等の選択減衰器６１４に向かって指向される。
選択減衰器（６１４）後、反射された光は、第２の楔形状の導波管の中に逆結合され、次いで、全内部反射によって光を楔に沿って中継する。楔形状の導波管の特性は、光の各跳ね返りが、角度変化を生じさせるように意図的であることである。角度が全内部反射を逃散させるための臨界角となるために十分に変化した点は、楔形状の導波管からの出射点となる。典型的には、出射は、斜角において行われるであろう。したがって、転向フィルムの別の層が、出射光を眼５８等の標的オブジェクトに向かって「転向」させるために使用されてもよい。
図１９Ｊを参照すると、いくつかの弧状レンズレットアレイ（６１６、６２０、６２２）が、眼に対して位置付けられ、空間減衰器アレイ６１８が、眼５８と合焦し得るように、焦点／画像平面に位置付けられるように構成される。第１の６１６および第２の６２０のアレイは、凝集体として、実世界から眼に通過する光が、本質的に、ゼロ屈折力望遠鏡を通して通過されるように構成される。図１９Ｊの実施形態は、改良された光学補償のために利用され得るが、一般的場合、そのような第３の層を要求しない、レンズレットの第３のアレイ６２２を示す。前述のように、視認光学の直径を保有する伸縮自在レンズを利用することは、望ましくないほど大きい形状因子を作成し得る（小集合の双眼鏡の束を眼の正面に有することに若干類似する）。
全体的幾何学形状を最適化する方法の１つは、図１９Ｊに示されるように、より小さいレンズレットに分割することによって（例えば、１つの単一の大きなレンズではなく、レンズのアレイ）、レンズの直径を縮小させることである。レンズレットアレイ（６１６、６２０、６２２）は、瞳孔に入射するビームが適切なレンズレットを通して整合される（そうでなければ、システムは、分散、エイリアシング、および／または焦点の欠如等の光学問題に悩まされ得る）ことを確実にするために、半径方向または弧状に眼５８の周囲に巻装されるように示される。したがって、レンズレットは全て、「内向きに」配向され、眼５８の瞳孔に向けられ、システムは、光線が瞳孔までの途中で意図されないレンズの集合を通して伝搬される、シナリオの回避を促進する。
図１９Ｋ−１９Ｎを参照すると、種々のソフトウェアアプローチが、仮想または拡張現実変位シナリオにおける暗視野の提示を補助するために利用されてもよい。図１９Ｋを参照すると、拡張現実に関する典型的課題シナリオが、織加工されたカーペット６２４および非均一背景の建築特徴６２６（両方とも、薄く着色されている）とともに描写される６３２。描写される黒色ボックス６２８は、１つ以上の拡張現実特徴が、３次元知覚のためにユーザに提示されるべき、ディスプレイの領域を示し、黒色ボックス内では、例えば、ユーザが関わる拡張現実ゲームの一部であり得る、ロボット創造物６３０が、提示されている。描写される実施例では、ロボットキャラクタ６３０は、濃く着色されおり、特に、本実施例シナリオのために選択される背景では、３次元知覚における提示を困難にする。
前述で簡単に論じられたように、暗視野拡張現実オブジェクトを提示するための主要な課題の１つは、システムが、概して、「暗度」を追加または塗布することができない。概して、ディスプレイは、光を追加するように構成される。したがって、図１９Ｌを参照すると、暗視野知覚を向上させるための任意の特殊ソフトウェア処理を伴わない場合、拡張現実ビュー内のロボットキャラクタの提示は、提示内で本質的に艶無しの黒色となるべきロボットキャラクタの部分が不可視となり、ある程度の照明を有するロボットキャラクタの部分（ロボットキャラクタの肩撃ち銃の薄く着色されたカバー等）がかろうじてのみ可視である、場面をもたらす（６３４）。これらの部分は、そうでなければ正常な背景画像に対して、明階調崩壊のように見える。
図１９Ｍを参照すると、ソフトウェアベースの全体的減衰処理（一対のサングラスをデジタル的に置くことに類似する）の使用は、ほぼ黒色のロボットキャラクタの輝度が、ここではより暗く見える、空間の残りに対して効果的に増加されるため、向上した可視性をロボットキャラクタに提供する６４０。また、図１９Ｍに示されるのは、ここではより可視であるロボットキャラクタ形状６３８を強調させ、背景から区別するために追加され得る、デジタル的に追加された光の後光６３６である。後光処理を用いることによって、艶無しの黒色として提示されるべきロボットキャラクタの部分さえ、ロボットキャラクタの周囲に提示される白色後光、すなわち、「オーラ」と対照的に可視となる。
好ましくは、後光は、３次元空間内のロボットキャラクタの焦点距離の背後の知覚される焦点距離とともに、ユーザに提示されてもよい。前述のもの等の単一パネル遮閉技法が暗視野を提示するために利用されている構成では、光の後光は、遮閉をともに得る暗後光に一致する強度勾配とともに提示され、いずれかの暗視野効果の可視性を最小限にしてもよい。さらに、後光は、さらなる区別効果のために、提示される後光照射の背景に対するぼかしとともに提示されてもよい。よりわずかなオーラまたは後光効果は、少なくとも部分的に、比較的に薄く着色された背景の色および／または輝度を一致させることによって、作成され得る。
図１９Ｎを参照すると、ロボットキャラクタの黒色色調の一部または全部は、暗いクールブルー色に変化され、背景に対してさらなる区別効果と、ロボット６４２の比較的に良好な可視化とを提供してもよい。
楔形状の導波管が、図１５Ａ−１５Ｄおよび図１９Ｉ等を参照して前述されている。楔形状の導波管の重要な側面は、光線が非同一平面表面の１つから跳ね返る度に、角度変化がもたらされ、最終的には、表面の１つに対するそのアプローチ角が臨界角を上回ると、光線が全内部反射から出射する結果をもたらすことである。転向フィルムが、出射ビームが、幾何学的および人間工学的当該問題に応じて、出射表面に略垂直な軌道を伴って出て行くように、出射光を再指向するために使用されてもよい。
例えば、図１５Ｃに示されるように、画像情報を楔形状の導波管の中に投入する、一連またはアレイのディスプレイでは、楔形状の導波管は、楔から出現する角度バイアス光線の微細ピッチアレイを作成するように構成されてもよい。若干類似するように、明視野ディスプレイまたは可変波面作成導波管が両方とも、眼がどこに位置付けられようとも、眼が、ディスプレイパネルの正面のその特定の眼の位置に一意である、複数の異なるビームレットまたはビームによって衝突されるように、空間内の単一ピクセルを表すために、多数のビームレットまたはビームを生成し得ることが前述されている。
明視野ディスプレイの文脈においてさらに前述されたように、複数の視認ゾーンが、所与の瞳孔内に作成されてもよく、それぞれ、異なる焦点距離のために使用されてもよく、その凝集体は、可変波面作成導波管のものと類似する、または実物として視認されるオブジェクトの現実の実際の光物理学に類似する、知覚を生成する。したがって、複数のディスプレイを伴う楔形状の導波管が、明視野を生成させるために利用されてもよい。画像情報を投入するディスプレイの線形アレイを伴う、図１５Ｃのものに類似する実施形態では、出射光線の扇が、ピクセル毎に作成される。本概念は、複数の線形アレイが、スタックされ、全て、画像情報を楔形状の導波管の中に投入し（一変形例では、１つのアレイが、楔形状の導波管面に対して１つの角度で投入する一方、第２のアレイは、楔形状の導波管面に対して第２の角度で投入してもよい）、その場合、出射ビームが、楔から２つの異なる軸において扇状になる、実施形態に拡張されてもよい。
したがって、そのような構成は、複数の異なる角度で広がる複数のビームを生成するために利用されてもよく、各ビームは、そのような構成下では、各ビームが別個のディスプレイを使用して駆動されるという事実に起因して、別個に駆動されてもよい。別の実施形態では、１つ以上のアレイまたはディスプレイは、全内部反射構成の中に投入された画像情報を楔形状の導波管に対して屈曲させるための回折光学等を使用して、画像情報を、図１５Ｃに示されるもの以外の楔形状の導波管の側面または面を通して楔形状の導波管の中に投入するように構成されてもよい。
種々の反射体または反射表面もまた、そのような楔形状の導波管実施形態と連動して利用され、楔形状の導波管からの光を出力結合および管理してもよい。一実施形態では、楔形状の導波管に対する入射開口または図１５Ｃに示されるもの以外の異なる面を通した画像情報の投入が、Ｚ軸デルタもまた、３次元情報を楔形状の導波管の中に投入するための手段として開発され得るように、異なるディスプレイおよびアレイの（幾何学的および／または時間的）交互配置を促進するために利用されてもよい。３次元を上回るアレイ構成のために、種々のディスプレイが、より高い次元構成を得るための交互配置を用いて、複数のスタック内の複数の縁において楔形状の導波管に進入するように構成されてもよい。
図２０Ａを参照すると、導波管６４６が中央に狭入された回折光学要素（６４８；または前述のような「ＤＯＥ」）を有する、図８Ｈに描写されるものに類似する構成が、示される（代替として、前述のように、回折光学要素は、描写される導波管の正面または背面上に存在してもよい）。光線は、プロジェクタまたはディスプレイ６４４から導波管６４６に入射してもよい。いったん導波管６４６に入ると、光線がＤＯＥ６４８に交差する度に、光線の一部は、導波管６４６から出射される。
前述のように、ＤＯＥは、導波管６４６の長さを横断する出射照度が、ほぼ均一であるように設計されてもよい。例えば、第１のそのようなＤＯＥ交差点は、光の約１０％を出射するように構成されてもよい。次いで、第２のＤＯＥ交差点は、８１％が通過されるように、残りの光の約１０％を出射するように構成されてもよい等となる。別の実施形態では、ＤＯＥは、その長さに沿って、線形減少回折効率等の可変回折効率を備え、導波管の長さを横断してより均一な出射照度をマップするように設計されてもよい。
端部に到達する残りの光をさらに分布させるために（一実施形態では、世界に対するビューの透明度の観点から好ましいであろう、比較的に低回折効率ＤＯＥの選択を可能にするために）、反射要素（６５０）が、一端または両端に含まれてもよい。さらに、図２０Ｂの実施形態を参照すると、付加的分布および保存が、示されるように、導波管の長さを横断して伸長反射体６５２を含む（例えば、波長選択性である薄膜二色性コーティングを備えている）ことによって、達成されてもよい。好ましくは、そのような反射体は、偶発的に上向きに（視認者によって利用されないであろうように、出射のために実世界１４４に引き返して）反射される光を遮断するであろう。いくつかの実施形態では、そのような伸長反射体は、ユーザによる「ゴースト生成」効果知覚に寄与し得る。
一実施形態では、本ゴースト生成効果は、導波管アセンブリの長さを横断して、好ましくは、実質的に等しく分布された様式で、眼５８に向かって出射されるまで、光を移動させ続けるように設計される、図２０Ｃに示されるもの等の二重導波管（６４６、６５４）循環反射構成を有することによって、排除され得る。図２０Ｃを参照すると、光が、プロジェクタまたはディスプレイ６４４を用いて投入され、第１の導波管６５４のＤＯＥ６５６を横断して進行するにつれて、好ましくは、光の実質的に均一パターンを眼５８に向かって放出させてもよい。第１の導波管内に留まる光は、第１の反射体アセンブリ６６０によって、第２の導波管６４６の中に反射される。一実施形態では、第２の導波管６４６は、第２の反射体アセンブリを使用して、単に、残りの光を第１の導波管に逆移送または再利用するように、ＤＯＥを有しないように構成されてもよい。
別の実施形態では（図２０Ｃに示されるように）、第２の導波管６４６はまた、３次元知覚のために、進行する光の一部を均一に放出し、第２の焦点平面を提供するように構成される、ＤＯＥ６４８を有してもよい。図２０Ａおよび２０Ｂの構成と異なり、図２０Ｃの構成は、光が導波管を一方向に進行するように設計され、ＤＯＥを用いて導波管を通して後方に通過する光に関連する前述のゴースト生成問題を回避する。図２０Ｄを参照すると、光を再利用するために、導波管の端部に鏡またはボックス式反射体アセンブリ６６０を含むのではなく、より小さい逆反射体６６２のアレイまたは逆反射材料が、利用されてもよい。
図２０Ｅを参照すると、底側に到達する前に、導波管６４６を複数回往復して交差し、その時点で、さらなる再利用のための最大レベルまで再利用され得るように、図２０Ｃの実施形態の光再利用構成のいくつかを利用し、ディスプレイまたはプロジェクタ６４４を用いて投入された後、狭入ＤＯＥ６４８を有する導波管６４６を通して光を「蛇行」させる、実施形態が、示される。そのような構成は、光を再利用し、光を眼５８に向かって出射するための比較的に低回折効率のＤＯＥ要素の使用を促進させるだけではなく、また、光を分布させ、図８Ｋを参照して説明されるものに類似する大射出瞳構成を提供する。
図２０Ｆを参照すると、入力投影１０６、走査、またはその他が、プリズムの跳ね返り内に保たれるため、入射光が、全内部反射を伴わずに（例えば、プリズムは、導波管と見なされない）、従来のプリズムまたはビームスプリッタ基板１０４に沿って反射体１０２に投入される、図５Ａのものに類似する例証的構成が、示される。これは、そのようなプリズムの幾何学形状が有意な制約となることを意味する。別の実施形態では、導波管が、図２０Ｆの単純プリズムの代わりに利用されてもよく、これは、全内部反射の使用を促進し、より幾何学的柔軟性を提供する。
前述の他の構成は、類似操作および光のための導波管を含むことから利益を享受するように構成される。例えば、図７Ａに戻って参照すると、その中に図示される一般的概念は、実世界からの光の視認を促進するようにもまた設計される構成において、導波管の中に投入されたコリメート画像が、眼に向かって移送される前に、再合焦され得るというものである。図７Ａに示される屈折レンズの代わりに、回折光学要素が、可変合焦要素として使用されてもよい。
図７Ｂに戻って参照すると、別の導波管構成が、より小さい経路（導波管を通した全内部反射）とより大きい経路（元々の導波管と、屈折率が主導波管と補助導波管との間で実質的に整合されるモードに切り替えられる液晶を伴う液晶隔離領域とを備えている、ハイブリッド導波管を通した全内部反射）との間の制御可能アクセストグルを伴う、相互にスタックされた複数の層を有する文脈において図示される。これは、コントローラが、フレーム毎ベースでどの経路が辿られるかを調整可能となることを可能にする。ニオブ酸リチウム等の電気活性材料の高速切替は、より大きいレート（例えば、約ＧＨｚ）におけるそのような構成を用いた経路変化を促進し、これは、ピクセル毎ベースで、光の経路を変化させることを可能にする。
図８Ａに戻って参照すると、弱レンズと対合された導波管のスタックが、レンズおよび導波管要素が静的であり得る、多焦点構成を実証するために図示される。各対の導波管およびレンズは、図８Ｉを参照して説明されるもの等のＤＯＥ要素が埋め込まれた導波管（図８Ａの構成により類似するものでは、静的であってもよく、または動的であってもよい）と機能的に置換されてもよい。
図２０Ｇを参照すると、透明プリズムまたはブロック１０４（例えば、導波管ではない）が、鏡または反射体１０２を潜望鏡タイプの構成に保持し、光をレンズ６６２およびプロジェクタまたはディスプレイ６４４等の他の構成要素から受光するために利用される場合、視野は、その反射体１０２のサイズによって限定される。
反射体が大きいほど、視野が広くなることを理解されたい。したがって、そのような構成を用いてより大きい視野を遠近調節するために、より厚い基板が、より大きい反射体を保持するために必要とされ得る。別様に、凝集された複数の反射体の機能性が、図８Ｏ、８Ｐ、および８Ｑを参照して説明されるように、機能的視野を増加させるために利用されてもよい。図２０Ｈを参照すると、それぞれ、ディスプレイまたはプロジェクタ（６４４；または別の実施形態では、単一ディスプレイの多重化）が供給され、出射反射体６６８を有する、平面導波管６６６のスタック６６４が、より大きい単一反射体の機能に向かって凝集させるために利用されてもよい。出射反射体は、アセンブリに対する眼５８の位置付けに応じて、ある場合には、同一角度にあって、または他の場合には、同一角度になくてもよい。
図２０Ｉは、平面導波管（６７０、６７２、６７４、６７６、６７８）のそれぞれ内の反射体（６８０、６８２、６８４、６８６、６８８）が、相互からオフセットされた関連構成を図示する。各導波管は、光をプロジェクタまたはディスプレイ６４４から受光し、これは、平面導波管（６７０、６７２、６７４、６７６、６７８）のそれぞれ内の反射体（６８０、６８２、６８４、６８６、６８８）によってレンズ６９０を通して送光され、最終的には、眼５８の瞳孔４５に出射光を伝送し得る。場面に見られることが予期されるであろう角度の全ての総範囲を作成することができる場合（例えば、好ましくは、重要な視野内に盲目点を伴わない）、有用視野が、達成され得る。
前述のように、眼５８は、少なくとも部分的に、光線が眼に入射する角度に基づいて機能する。これは、有利には、シミュレートされ得る。光線は、瞳孔における空間内の正確に同一点を通して通過する必要はない。むしろ、光線は、瞳孔を通り抜け、網膜によって感知されることのみ必要である。図２０Ｋは、光学アセンブリの陰影部分が、補償レンズとして利用され、ゼロ屈折力望遠鏡を通して通過されるかのように、実世界１４４からの光をアセンブリを通して通過させるように機能し得る、変形例６９２を図示する。
図２０Ｊを参照すると、前述の光線はそれぞれまた、全内部反射によって、関連導波管（６７０、６７２）を通して反射されている、相対的広ビームであってもよい。反射体（６８０、６８２）ファセットサイズは、出射ビーム幅を決定するであろう。
図２０Ｌを参照すると、複数の小直線角度反射体が、導波管またはそのスタック６９６を通して、凝集体として略放物反射表面６９４を形成し得る、反射体のさらなる離散化が、示される。レンズ６９０等を通して、ディスプレイ（６４４；または、例えば、単一多重ディスプレイ）から生じる光は全て、眼５８の瞳孔４５における同一共有焦点に向かって指向される。
図１３Ｍに戻って参照すると、ディスプレイ３７８の線形アレイが、光を共有導波管３７６の中に投入する。別の実施形態では、単一ディスプレイが、一連の入射レンズに多重化され、図１３Ｍの実施形態と類似機能性を提供してもよく、入射レンズは、導波管を通して伝わる光線の平行経路を作成する。
全内部反射が光伝搬のために依拠される、従来の導波管アプローチでは、導波管を通して伝搬する光線のある角度範囲のみがある（他の光線は逃散し得る）ため、視野が制限される。一実施形態では、ある波長のみに対して高度に反射性であり、他の波長に対しては低反射性である、薄膜干渉フィルタと同様に、赤色／緑色／青色（または「ＲＧＢ」）レーザ線反射体が平面の一端または両端に設置される場合には、光伝搬の角度の範囲を機能的に増加させることができる。窓（コーティングを伴わない）が、光が所定の場所で出射することを可能にするために提供されてもよい。さらに、コーティングは、（若干ある入射角度のみに対して高度に反射性である反射要素のように）を有する指向選択性を有するように選択されてもよい。そのようなコーティングは、導波管のより大きい平面／側に最も関連し得る。
図１３Ｅに戻って参照すると、種々の投入されたビームが全内部反射に伴って通り過ぎている場合に、構成が振動要素３５８の縁から逃散するビームの線形アレイを機能的に提供するであろうように、複数の非常に薄い平面導波管３５８が発振または振動させられ得るような走査薄型導波管構成と見なされ得る、走査ファイバディスプレイの変形例が論じられた。描写される構成は、透明であるが、好ましくは、光が、外部投影平面導波管部分３５８に最終的に供給する（描写される実施形態では、光を外向きに伝送するために平面、湾曲、または他の反射体が利用され得る点において、各経路内に９０度転向がある）、基板結合小型導波管のそれぞれの内の全内部反射の中にとどまるように、異なる屈折率を有する、ホスト媒体または基板３５６の中に約５つの外部投影平面導波管部分３５８を有する。
外部投影平面導波管部分３５８は、個々に、または基板３５６の発振運動とともに一群として、振動させられてもよい。そのような走査運動は、水平走査を提供してもよく、垂直走査のために、アセンブリの入力３６０の側面（例えば、垂直軸において走査する、１つ以上の走査ファイバディスプレイ等）が利用されてもよい。したがって、走査ファイバディスプレイの変形例が提示される。
図１３Ｈに戻って参照すると、導波管（３７０）が、明視野を作成するために利用されてもよい。知覚の観点から光学無限遠に関連付けられ得る、コリメートされたビームとともに最良に機能する導波管を用いることによって、合焦したままである全てのビームが、知覚不快感を引き起こし得る（例えば、眼は、遠近調節の関数として光屈折ぼけの識別できる差異を生じず、言い換えると、０．５ｍｍまたはそれ未満等の狭い直径のコリメートされたビームレットは、眼の遠近調節／両眼離反運動系を開ループし、不快感を引き起こし得る）。
一実施形態では、いくつかの円錐ビームレットが生じるとともに、単一のビームが供給されてもよいが、入射ビームの導入ベクトルが変化させられた（例えば、導波管に対してプロジェクタ／ディスプレイのためのビーム投入場所を側方に偏移させる）場合、眼に向かって指向されるにつれて、ビームが導波管から出射する場所を制御してもよい。したがって、狭い直径のコリメートされたビームの束を作成することによって、明視野を作成するために導波管を使用してもよく、そのような構成は、眼における所望の知覚に関連付けられる光波面の真の変動に依拠しない。
角度的および側方に多様なビームレットの集合が、導波管の中に投入される場合（例えば、マルチコアファイバを使用して、各コアを別個に駆動することによって；別の構成は、異なる角度から生じる複数のファイバスキャナを利用してもよい；別の構成は、その上にレンズレットアレイを伴う高分解能パネルディスプレイを利用してもよい）、いくつかの出射ビームレットが、異なる出射角度および出射場所で作成されることができる。導波管が明視野を混乱させ得るため、好ましくは、復号が事前に決定される。
図２０Ｍおよび２０Ｎを参照すると、垂直または水平軸にスタックされた導波管構成要素を備えている、導波管６４６のアセンブリ６９６が示されている。１つのモノリシック平面導波管を有するのではなく、導波管アセンブリ６９６は、全内部反射によって、そのような導波管を辿って伝搬する（例えば、＋Ｘ、−Ｘにおける全内部反射に伴ってＺ軸に沿って伝搬する）ことに加えて、１つの導波管に導入される光もまた、他の面積の中へ溢出しないように、垂直軸（＋ｙ、−Ｙ）において完全に内部反射するように、相互に直接隣接して複数のより小さい導波管６４６をスタックする。
言い換えると、全内部反射がＺ軸伝搬の間に左から右にある場合、上側または底側に衝突する任意の光を全内部反射するように、構成が設定されるであろう。各層は、他の層からの干渉を伴わずに、別個に駆動されてもよい。各導波管は、所定の焦点距離構成（０．５メートルから光学無限遠に及ぶように図２０Ｍに示される）を伴って、前述のように、導波管の長さに沿った所定の分布で光を放出するように埋め込まれ、構成されるＤＯＥ６４８を有してもよい。
別の変形例では、埋め込みＤＯＥを伴う導波管の非常に高密度のスタックが、眼の解剖学的瞳孔のサイズに跨架するように（例えば、複合導波管の複数の層６９８が、図２０Ｎに図示されるように、射出瞳を横断することを要求され得るように）生成されてもよい。そのような構成では、１つの波長のためのコリメートされた画像を供給してもよく、次いで、次の１ミリメートルに位置する部分が、例えば、１５メートル等の離れた焦点距離から生じるオブジェクトを表す、発散性波面を生成する等となる。ここでの概念は、ＤＯＥおよび導波管を通してＤＯＥを横断する全内部反射の結果として、射出瞳がいくつかの異なる導波管から生じているというものである。したがって、１つの均一な射出瞳を作成するのではなく、そのような構成は、凝集体として、眼／脳による異なる焦点深度の知覚を促進する、複数の縞を作成する。
そのような概念は、各導波管を横断する軸においてより効率的な光捕捉を可能にする、図８Ｂ−８Ｎに関して説明されるもの等の切替可能／制御可能な埋め込みＤＯＥを伴う（例えば、異なる焦点距離に切替可能である）導波管を備えている、構成に拡張されてもよい。複数のディスプレイが、層のそれぞれの中に結合されてもよく、ＤＯＥを伴う各導波管は、その独自の長さに沿って光線を放出するであろう。別の実施形態では、全内部反射に依拠するのではなく、レーザ線反射体が、角度範囲を増加させるために使用されてもよい。複合導波管の層の間には、アルミニウム等の完全に反射性の金属化コーティングが、全反射を確実にするために利用されてもよく、または代替として、二色性もしくは狭帯域反射体が利用されてもよい。
図２０Ｏを参照すると、複合導波管アセンブリ６９６全体は、個々の導波管のそれぞれが瞳孔に向かって指向されるように、眼５８に向かって凹面状に湾曲されてもよい。言い換えると、構成は、瞳孔が存在する可能性が高い場所に向かって光をより効率的に指向するように設計されてもよい。そのような構成はまた、視野を増加させるために利用されてもよい。
図８Ｌ、８Ｍ、および８Ｎに関して前述されたように、変化可能な回折構成は、走査光ディスプレイと若干類似する、１つの軸における走査を可能にする。図２１Ａは、示されるように、導波管からの出射光７０２の出射角度を変更するように変化させられ得る、線形グレーティング項を伴う埋め込み（例えば、その中に挟入された）ＤＯＥ７００を有する、導波管６９８を図示する。ニオブ酸リチウム等の高周波数切替えＤＯＥ材料、が利用されてもよい。一実施形態では、そのような走査構成は、１つの軸においてビームを走査するための唯一の機構として使用されてもよく、別の実施形態では、走査構成は、他の走査軸と組み合わせられてもよく、より大きい視野を作成するために使用されてもよい。例えば、正常な視野が４０度であって、線形回折ピッチを変化させることによって、別の４０度にわたって操向することができる場合、システムのための効果的な使用可能視野は、８０度である。
図２１Ｂを参照すると、従来の構成では、導波管（７０８）は、ビームが、テレビまたは他の目的のために視認可能なディスプレイを提供する走査構成において、導波管７０８からレンズ７０６を通してパネル７０４の中へ投入され得るように、ＬＣＤまたはＯＬＥＤパネル等のパネルディスプレイ７０４と垂直に設置されてもよい。したがって、導波管は、単一の光のビームが、異なる角度場所を通して掃引するように走査ファイバまたは他の要素によって操作されてもよく、加えて、別の方向が、高周波数回折光学要素を使用して走査され得る、図２１Ａを参照して説明される構成とは対照的に、走査画像源等の構成で利用されてもよい。
別の実施形態では、一軸方向走査ファイバディスプレイ（例えば、走査ファイバが比較的高周波数であるため、高速線走査を走査する）が、導波管の中に高速線走査を投入するために使用されてもよく、次いで、比較的に低いＤＯＥ切替（例えば、１００Ｈｚの範囲内）が、他の軸における線を走査して画像を形成するために使用されてもよい。
別の実施形態では、固定ピッチのグレーティングを伴うＤＯＥは、光が異なる角度でグレーティングの中に再指向され得るように、動的屈折率を有する電気活性材料（液晶等）の隣接する層と組み合わせられてもよい。これは、光線が導波管から出現する角度を変化させるように、液晶またはニオブ酸リチウム等の電気活性材料を備えている電気活性層が、その屈折率を変化させ得る、図７Ｂを参照して前述されている基本的多経路構成の用途である。回折グレーティングが、固定ピッチでとどまり得るが、光がグレーティングに衝突する前にバイアスをかけられるように、線形回折グレーティングが、図７Ｂの構成に追加されてもよい（一実施形態では、より大きい下側導波管を備えている、ガラスまたは他の材料内に狭入される）。
図２１Ｃは、２つの楔状導波管要素（７１０、７１２）を特徴とする、別の実施形態を示し、それらのうちの１つ以上のものは、関連屈折率が変化させられ得るように、電気活性であり得る。要素は、楔が一致する屈折率を有するとき、光がその対（凝集体として、両方の楔が一致している平面導波管に類似して機能する）を通して全内部反射する一方、楔界面がいかなる効果も及ぼさないように、構成されてもよい。屈折率のうちの１つが不整合をもたらすように変化させられる場合、楔界面７１４におけるビーム偏向が引き起こされ、全内部反射がその表面から関連楔の中へ戻るように引き起こされる。次いで、線形グレーティングを伴う制御可能ＤＯＥ７１６は、光が出射して望ましい出射角度で眼に到達することを可能にするように、楔の長縁のうちの１つに沿って結合されてもよい。
別の実施形態では、ブラッググレーティング等のＤＯＥは、グレーティングの機械的延伸（例えば、グレーティングが弾性材料上に存在するか、またはそれを備えている場合）、２つの異なる平面上の２つのグレーティングの間のモアレビートパターン（グレーティングは、同一または異なるピッチであってもよい）、仮想上グレーティングの延伸に機能的に類似する、グレーティングのＺ軸運動（例えば、眼により近い、または眼からより遠い）、または液晶液滴が屈折率を変化させて活性グレーティングになるように制御可能に活性化される、高分子分散型液晶アプローチを使用して作成されるもの等のオンまたはオフに切り替えられ得る電気活性グレーティングによって等、ピッチ対時間を変化させるように構成されてもよい。これは、電圧をオフにし、ホスト媒体のものに一致する屈折率への切替を可能にすることと対照的である。
別の実施形態では、時変グレーティングが、タイル表示されたディスプレイ構成を作成することによって、視野拡大のために利用されてもよい。さらに、時変グレーティングは、色収差（同一の焦点において全ての色／波長を合焦できないこと）に対処するために利用されてもよい。回折グレーティングの１つの特性は、それらがその入射角度および波長の関数としてビームを偏向させるであろうことである（例えば、単純なプリズムがビームをその波長成分に分割するであろう様式に若干類似して、ＤＯＥが、異なる角度によって異なる波長を偏向させるであろう）。
視野拡大に加えて、色収差を補償するために、時変グレーティング制御を使用してもよい。したがって、例えば、前述のような埋め込みＤＯＥタイプの構成を伴う導波管は、ＤＯＥが、赤色波長を緑色および青色と若干異なる場所に駆動して、望ましくない色収差に対処するように構成されてもよい。ＤＯＥは、オンおよびオフに切り替える（例えば、赤色、緑色、および青色を同様に外向きに回折されるように）要素のスタックを有することによって、時間変動されてもよい。
別の実施形態では、時変グレーティングが、射出瞳拡大のために利用されてもよい。例えば、図２１Ｄを参照すると、関連ピクセルがユーザによって欠損されるであろうように、ベースラインモードにおいて出射するビームが実際に標的瞳孔４５に入射しないように、埋め込みＤＯＥ７２０を伴う導波管７１８が標的瞳孔に対して位置付けられ得ることが、可能である。時変構成は、５つの出射ビームのうちの１つが眼の瞳孔に衝突することをより確実にするように、出射パターンを側方に（鎖線／点線で示される）偏移させてビームのそれぞれを効果的に走査することによって、外向き出射パターンで間隙を充填するために利用されてもよい。言い換えると、ディスプレイシステムの機能的な射出瞳は、拡大される。
別の実施形態では、時変グレーティングは、１、２、または３軸光走査のための導波管とともに利用されてもよい。図２１Ａを参照して説明されるものに類似する様式において、垂直軸にビームを走査しているグレーティングならびに水平軸に走査しているグレーティングにおける項を使用してもよい。さらに、グレーティングの半径方向要素が、図８Ｂ−８Ｎに関して上記で論じられるように組み込まれる場合、全て時系列走査であり得る、Ｚ軸における（例えば、眼に向かった／から離れた）ビームの走査を有してもよい。
概して、導波管に関連する、ＤＯＥの特殊処理および使用に関する、本明細書の議論にかかわらず、ＤＯＥのこれらの使用の多くは、ＤＯＥが導波管に埋め込まれているかどうかを問わず使用可能である。例えば、導波管の出力は、ＤＯＥを使用して別個に操作されてもよい。または、ビームは、導波管の中に投入される前にＤＯＥによって操作されてもよい。さらに、時変ＤＯＥ等の１つ以上のＤＯＥは、以下に論じられるように、自由形状光学構成のための入力として利用されてもよい。
図８Ｂ−８Ｎを参照して前述のように、ＤＯＥの要素は、制御された出射パターンを作成するように線形項と合計され得る、円形対称項を有してもよい（例えば、前述のように、光を出力結合する同一のＤＯＥもそれを合焦させてもよい）。別の実施形態では、ＤＯＥ回折グレーティングの円形対称項は、それらの関連ピクセルを表すビームの焦点が変調されるように変動されてもよい。加えて、一構成は、ＤＯＥにおいて線形項を有する必要性を排除して、第２／別個の円形ＤＯＥを有してもよい。
図２１Ｅを参照すると、ＤＯＥ要素が埋め込まれていない、コリメートされた光を出力する導波管７２２と、一実施形態では、オン／オフに切り替えられることができる、そのようなＤＯＥ要素のスタック７２４を有することによって、複数の構成の間で切り替えられることができる円形対称ＤＯＥを有する第２の導波管とを有してもよい（図２１Ｆは、ＤＯＥ要素の機能的スタック７２８が、前述のように、高分子分散型液晶要素のスタック７２６を備え得る、別の構成を示し、電圧が印加されていないと、ホスト媒体屈折率は、液晶の分散分子の屈折率に一致する；別の実施形態では、ニオブ酸リチウムの分子は、より速い応答時間のために分散させられてもよい：ホスト媒体の両側の透明インジウムスズ酸化物層等を通して、電圧が印加されると、分散された分子が屈折率を変化させ、ホスト媒体内に回折パターンを機能的に形成する）。
別の実施形態では、円形ＤＯＥが、焦点変調のために、導波管の正面に層化されてもよい。図２１Ｇを参照すると、導波管７２２は、別様に修正されない限り、光学無限遠の焦点深度に関連付けられると知覚されるであろう、コリメートされた光を出力している。導波管からのコリメートされた光は、動的焦点変調のために使用され得る回折光学要素７３０の中に入力されてもよい（例えば、種々の異なる焦点を出射光に付与するように、異なる円形ＤＯＥパターンをオンおよびオフに切り替えてもよい）。関連実施形態では、導波管から出射するコリメートされた光を、特定のユーザ用途のために有用であり得る単一の焦点深度に合焦させるために、静的ＤＯＥが使用されてもよい。
別の実施形態では、複数のスタックされた円形ＤＯＥが、比較的少数の切替可能ＤＯＥ層から、付加屈折力および多くの焦点レベルのために使用されてもよい。言い換えると、３つの異なるＤＯＥ層が、相互に対して種々の組み合わせでオンに切り替えられてもよく、オンに切り替えられるＤＯＥの屈折力が追加されてもよい。最大４ジオプタの範囲が所望される、一実施形態では、例えば、第１のＤＯＥは、所望される全ジオプタ範囲の半分（本実施例では、２ジオプタの焦点変化）を提供するように構成されてもよく、第２のＤＯＥは、１ジオプタ焦点変化を誘発するように構成されてもよく、次いで、第３のＤＯＥは、１／２ジオプタ焦点変化を誘発するように構成されてもよい。これら３つのＤＯＥは、混合され、１／２、１、１．５、２、２．５、３、および３．５ジオプタの焦点変化を提供するように一致させられてもよい。したがって、比較的広い範囲の制御を得るために、極めて多数のＤＯＥは、必要とされない。
一実施形態では、切替可能ＤＯＥ要素のマトリクスが、走査、視野拡大、および／または射出瞳拡大のために利用されてもよい。概して、ＤＯＥの前述の議論では、典型的ＤＯＥは、全てオンまたは全てオフのいずれかであると仮定されている。一変形例では、ＤＯＥ７３２は、それぞれ、好ましくは、オンまたはオフであるように一意に制御可能である、複数の機能的サブセクション（図２１Ｈで要素７３４として標識されるもの等）に細分されてもよい（例えば、図２１Ｈを参照すると、各サブセクションは、インジウムスズ酸化物、または他の制御線材料、中心コントローラに戻る電圧印加線７３６のその独自の集合によって動作されてもよい）。ＤＯＥパラダイムに対する本レベルの制御を前提として、付加的構成が促進される。
図２１Ｉを参照すると、埋め込みＤＯＥ７４０を伴う導波管７３８が、ユーザの眼が導波管の前に位置付けられた状態で、上から下に視認される。所与のピクセルが、ビームの集合として導波管から出て行くように回折パターンによって出射され得るまで、導波管の中に入り、全内部反射するビームとして表されてもよい。回折構成に応じて、ビームは、（便宜上図２１Ｉに示されるように）平行に／コリメートされて、または光学無限遠より近い焦点距離を表す場合は、発散扇構成で出て行ってもよい。
平行出射ビームの描写される集合は、例えば、導波管を通して視認されるように、ユーザが実世界で見ているものの最左ピクセルを表してもよく、最右端へ出る光は、異なる一群の平行出射ビームであろう。実際、前述のようなＤＯＥサブセクションのモジュール式制御を用いると、ユーザの瞳孔に能動的に対処している可能性が高いビームのわずかな下位集合を作成して操作することにより多くのコンピューティングリソースまたは時間を費やし得る（例えば、他のビームがユーザの眼に決して到達せず、仮想上無駄にされるため）。したがって、図２１Ｊを参照すると、ユーザの瞳孔４５に対処する可能性が高いと見なされる、ＤＯＥ７４４の２つのサブセクション（７４０、７４２）が起動される、導波管７３８構成が示されている。好ましくは、１つのサブセクションは、別のサブセクションが異なる方向に光を指向すると同時に、一方向に光を指向するように構成されてもよい。
図２１Ｋは、ＤＯＥ７３２の２つの独立して制御されるサブセクション（７３４、７４６）の直交図を示す。図２１Ｌの上面図を参照すると、そのような独立制御は、光を走査または合焦させるために使用されてもよい。図２１Ｋに描写される構成では、３つの独立して制御されるＤＯＥ／導波管サブセクション（７５０、７５２、７５４）のアセンブリ７４８が、走査し、視野を増加させ、および／または射出瞳領域を増加させるために使用されてもよい。そのような機能性は、そのような独立して制御可能なＤＯＥサブセクションを伴う単一の導波管、または付加的複雑性のためのこれらの垂直スタックから生じ得る。
一実施形態では、円形ＤＯＥが、半径方向に対称的に、制御可能に延伸され得る場合、回折ピッチが変調されてもよく、ＤＯＥが、アナログタイプの制御とともに同調可能レンズとして利用されてもよい。別の実施形態では、（例えば、線形ＤＯＥ項の角度を調節するための）単一の延伸軸が、ＤＯＥ制御のために利用されてもよい。さらに、別の実施形態では、ドラムヘッドに類似する膜が、経時的にＺ軸制御および焦点変化を提供する、Ｚ軸における（例えば、眼に向かった／から離れた）発振運動とともに振動させられてもよい。
図２１Ｍを参照すると、導波管７２２からコリメートされた光を受光し、活性化されたＤＯＥの付加屈折力に基づいてそれを再合焦させる、いくつかのＤＯＥ７５６のスタックが示されている。ＤＯＥの線形および／または半径方向対称項は、導波管から生じ、好ましくは、ユーザの眼に向かって出射する光のための種々の処理（タイルディスプレイディスプレイ構成または拡大した視野等）を生成するように、フレーム順次ベース等で経時的に変調されてもよい。ＤＯＥまたは複数のＤＯＥが導波管内に埋め込まれる構成では、実世界から通過される光の透明度を最大限にするように、低回折効率が所望される。ＤＯＥまたは複数のＤＯＥが埋め込まれていない構成では、前述のように、高回折効率が所望され得る。一実施形態では、線形および半径方向ＤＯＥ項は両方とも、導波管の外側で組み合わせられてもよく、その場合、高回折効率が所望されるであろう。
図２１Ｎを参照すると、図８Ｑにおいて前述のもの等のセグメント化または放物反射体が示されている。複数のより小さい反射体を組み合わせることによって、セグメント化反射体を実行するのではなく、一実施形態では、サブセクションによって制御可能であるように、同一の機能性が、各セクションのための異なる位相プロファイルを有するＤＯＥを伴う単一の導波管から生じてもよい。言い換えると、セグメント化反射体の機能性全体は、ともにオンまたはオフにされてもよいが、概して、ＤＯＥは、空間（例えば、ユーザの瞳孔）内の同一の領域に向かって光を指向するように構成されてもよい。
図２２Ａ−２２Ｚを参照すると、「自由形状光学」として知られる光学構成が、前述の課題のうちのあるものにおいて利用されてもよい。用語「自由形状」は、概して、球状、放物、または円筒形レンズが幾何学的制約等の設計複雑性を満たさない状況で利用され得る、恣意的に湾曲した表面を参照して使用される。例えば、図２２Ａを参照すると、ユーザが鏡（およびまた、時として、レンズ７６０）を覗き込んでいるときのディスプレイ７６２構成に関する共通課題のうちの１つは、視野がシステムの最終レンズ７６０によって輪郭を成される面積によって制限されることである。
図２２Ｂを参照すると、簡単に言うと、いくつかのレンズ要素を含み得るディスプレイ７６２を有する場合、視野がディスプレイ（７６２）によって輪郭を成される角度より大きくなり得ないように、単純な幾何学的関係がある。図２２Ｃを参照すると、そのような場合において、多くの場合、レンズ７６０につながる反射体７６４があるため、本課題は、実世界からの光も光学システムを通過させられる、拡張現実体験を有しようとしている場合に悪化する。反射体を介在させることによって、眼からレンズに達する全体的経路長が増加させられ、角度をきつくし、視野を縮小させる。
これを前提として、視野が増加させられるべき場合、レンズのサイズもまた増加され得る。しかしながら、これは、人間工学的な観点から、ユーザの額に向かって物理的レンズを押動させることを意味し得る。さらに、反射体は、より大きいレンズから光の全てを捕捉しない場合がある。したがって、ヒトの頭部の幾何学形状によって課せられる実用的制限があり、概して、従来の透視ディスプレイおよびレンズを使用して、４０度を上回る視野を得る課題がある。
自由形状レンズでは、前述のような標準的平面反射体を有するのではなく、湾曲レンズ幾何学形状が視野を決定することを意味する、屈折力を伴う複合反射体およびレンズ（例えば、湾曲反射体７６６）を有する。図２２Ｄを参照すると、図２２Ｃを参照して前述のような従来のパラダイムの遠回りの経路長がないと、自由形状配列が光学的要件の所与の集合のために有意により大きい視野を実現することが、可能である。
図２２Ｅを参照すると、典型的自由形状光学は、３つの活性表面を有する。図２２Ｅを参照すると、１つの典型的自由形状光学７７０構成では、光は、フラットパネルディスプレイ７６８等の画像平面から自由形状光学に向かって、第１の活性表面７７２の中へ指向されてもよい。本第１の活性表面７７２は、透過光を屈折させ、焦点変化を付与する、主に透過性の自由形状表面（第３の表面からの最終的な跳ね返りが一致／反対無非点収差を追加し得、これらが望ましくは相殺されるため、追加無非点収差等）であってもよい。入射光は、第１の表面から第２の表面（７７４）へ指向されてもよく、それは、第３の表面７７６に向かった全内部反射下で光を反射させるために十分に浅い角度で衝打してもよい。
第３の表面は、図２２Ｅに示されるように、第２の表面を通して眼に向かって光を跳ね返すように構成される、半透の恣意的に湾曲した表面を備えてもよい。したがって、描写される典型的自由形状構成では、光は、第１の表面を通って入射し、第２の表面から跳ね返り、第３の表面から跳ね返り、第２の表面から外へ指向される。第１の通過での必要反射特性、ならびに光が眼に向かって出射される際の第２の通過での屈折特性を有するための第２の表面の最適化により、単純な球体または放物線よりも高次の形状を伴う種々の湾曲表面が、自由形状光学の中に形成される。
図２２Ｆを参照すると、補償レンズ７８０は、光学アセンブリの総厚が実質的に均一な厚さであるように、自由形状光学７７０に、好ましくは、倍率を伴わずに、拡張現実構成において実世界１４４から入射する光に追加されてもよい。
図２２Ｇを参照すると、自由形状光学７７０は、ある制約内で捕捉された光の全内部反射を促進するように構成される導波管７７８と組み合わせられてもよい。例えば、図２２Ｇに示されるように、光は、フラットパネルディスプレイ等の画像平面から自由形状／導波管アセンブリの中へ指向され、湾曲自由形状表面に衝突し、ユーザの眼に向かって逃散するまで、導波管内で全内部反射されてもよい。したがって、光は、自由形状楔部分に接近するまで、全内部反射において数回跳ね返る。
そのようなアセンブリを用いた主要な目的のうちの１つは、より大きい視野のために（全内部反射による移送、また、さらなる補償を伴わないアセンブリを通した世界の視認を促進するように）可能な限り均一な厚さを保持しながら、光学アセンブリを延長しようとすることである。図２２Ｈは、図２２Ｈの構成がまた、厚さの均一性をさらに拡張し、さらなる補償を伴わないアセンブリを通した世界の視認を支援するように、補償レンズ部分を特徴とすることを除いて、図２２Ｇに類似する構成を描写する。
図２２Ｉを参照すると、別の実施形態では、左下の角に、典型的には、自由形状光学とともに使用されるものとは異なる場所において画像情報の投入を促進するように構成される、小さい平坦表面、すなわち、第４の面７８４を伴って、自由形状光学７８２が示されている。入力デバイス７８６は、例えば、非常に小さい出力幾何学形状を有するように設計され得る、走査ファイバディスプレイを備えてもよい。第４の面は、それ自体が種々の幾何学形状を備え、平面または自由形状表面幾何学形状を使用すること等によって、その独自の屈折力を有してもよい。
図２２Ｊを参照すると、実際は、そのような構成はまた、光を第２の表面に戻るように指向し、次いで、第２の表面を横断して眼５８に光を指向する、第３の表面に光を跳ね返すように、第１の表面に沿って反射コーティング７８８を特徴としてもよい。画像情報の投入のための第４の小さい表面の追加は、よりコンパクトな構成を促進する。古典的な自由形状入力構成および走査ファイバディスプレイ７９０が利用される、ある実施形態では、いくつかのレンズ（７９２、７９４）が、走査ファイバディスプレイからの出力を使用して画像平面（７９６）を適切に形成するために必要とされてもよい。これらのハードウェア構成要素は、所望されない場合がある、余分な体積を追加し得る。
図２２Ｋを参照すると、走査ファイバディスプレイ７９０からの光が、画像平面７９６まで入力光学アセンブリ（７９２、７９４）を通過され、次いで、自由形状光学７７０の第１の表面を横断して、第２の表面から跳ね返る全内部反射に指向され、次いで、第３の表面から跳ね返る別の全内部反射が、光を第２の表面を横断して出射させ、眼５８に向かって指向させる、実施形態が示されている。
反射コーティングがないように（例えば、表面との入射臨界角が満たされ、その時点で前述の楔形状の光学に類似する様式で光が出射するまで、全内部反射が光の伝搬のために依拠されているように）完全内部反射自由形状導波管が、作成されてもよい。言い換えると、２つの平面表面を有するのではなく、放物線、球体、楕円形等の円錐形曲線の集合からの１つ以上のサブ表面を備えている、表面を有してもよい。
そのような構成は、光学内で全内部反射のための十分に浅い角度を生成してもよい。本アプローチは、従来の自由形状光学と楔形状の導波管との間のハイブリッドであると見なされ得る。そのような構成を有する１つの動機は、製品反射に役立ち得るが、実世界１４４から透過する光の比較的大部分（５０％等）の透過を防止することが知られている、反射コーティングの使用を回避することである。さらに、そのようなコーティングはまた、入力デバイスから自由形状光学の中に入る同等量の光を遮断し得る。したがって、反射コーティングを有していない設計を開発する理由がある。
前述のように、従来の自由形状光学の表面の内の１つは、半透反射表面を備えてもよい。概して、そのような反射表面は、概して、全ての波長を同様に反射することを意味する、「中性密度」であろう。走査ファイバディスプレイが入力として利用される実施形態等の別の実施形態では、従来の反射体パラダイムは、薄膜レーザ線反射体等の波長感受性である狭帯域反射体と置換されてもよい。したがって、一実施形態では、構成は、特定の赤色／緑色／青色波長範囲を反射し、他の波長に対して受動的なままであってもよい。これは、概して、光学の透明度を増加させ、したがって、光学を横断する実世界１４４からの画像情報の伝送も重視される、拡張現実構成のために好ましいであろう。
図２２Ｌを参照すると、複数の自由形状光学（７７０）がＺ軸において（例えば、眼の光学軸と実質的に整合される軸に沿って）スタックされ得る、実施形態が描写されている。一変形例では、３つの描写される自由形状光学のそれぞれは、青色を１つの表面から、緑色を別の表面から、赤色を第３の表面から反射させるよう、画像がそれぞれの中へ投入され得るように、波長選択的コーティング（例えば、１つが青色に対して、次が緑色に対して、次が赤に対して高度に選択的である）を有してもよい。そのような構成は、例えば、色収差問題に対処するため、明視野を作成するため、および／または機能的な射出瞳サイズを増加させるために利用されてもよい。
図２２Ｍを参照すると、単一の自由形状光学７９８が、それらの反射特性が個々に制御され得るように、それぞれ、波長または偏光選択的であり得る、複数の反射表面（８００、８０２、８０４）を有する、実施形態が示されている。
図２２Ｎを参照すると、一実施形態では、走査光ディスプレイ７８６等の複数のマイクロディスプレイが、画像をタイル状にし（それによって、増加した視野を提供し）、機能的瞳孔サイズを増加させ、または（例えば、１つのディスプレイにつき１つの波長を反射することによって）色収差等の課題に対処するように、単一自由形状光学の中に投入されてもよい。描写されるディスプレイのそれぞれは、自由形状光学に対するディスプレイの異なる位置付けにより、自由形状光学を通した異なる経路をとるであろう光を投入し、それによって、より大きい機能的射出瞳出力を提供するであろう。
一実施形態では、走査ファイバディスプレイのパケットまたは束が、走査ファイバディスプレイを自由形状光学に動作時可能に結合する際に課題のうちの１つを克服するために、入力として利用されてもよい。走査ファイバディスプレイ構成に関する１つのそのような課題は、個々のファイバの出力が、ある開口数または「ＮＡ」を用いて放出されることである。ＮＡは、ファイバからの光の投影角度である。最終的には、本角度は、種々の光学を通過するビームの直径を決定し、かつ最終的には、出射機能的射出瞳サイズを決定する。
したがって、自由形状光学構成を伴う射出瞳サイズを最大限にするために、コアとクラッディングとの間等の最適化された屈折関係を使用して、ファイバのＮＡを増加させてもよく、または、ファイバの端部にレンズ（例えば、勾配屈折率レンズまたは「ＧＲＩＮ」レンズ等の屈折レンズ）を設置し、もしくは前述のようにファイバの端部の中へレンズを構築してもよい。別のアプローチは、自由形状光学の中へ供給しているファイバのアレイを作成することであってもよく、その場合、束の中のこれらのＮＡの全ては、小さいままであり、それによって、射出瞳において、凝集体として大射出瞳の機能的均等物を形成する、小射出瞳のアレイを生成する。
代替として、別の実施形態では、走査ファイバディスプレイまたは他のディスプレイのより低密度なアレイ（例えば、パケットとして緊密に束化されていない）が、仮想画像の視野を自由形状光学を通して機能的に増加させるために利用されてもよい。図２２Ｏを参照すると、別の実施形態では、複数のディスプレイまたはディスプレイ７８６が、自由形状光学７７０の上部を通して、別の複数のディスプレイ７８６が、下側の角を通して投入されてもよい。ディスプレイアレイは、２または３次元アレイであってもよい。図２２Ｐを参照すると、別の関連実施形態では、画像情報はまた、自由形状光学７７０の側面８０６からも同様に投入されてもよい。
複数のより小さい射出瞳が機能的により大きい射出瞳の中に凝集されるべき、ある実施形態では、所与の束または複数のプロジェクタもしくはディスプレイ内に、赤色ファイバのみのサブ群、青色ファイバのみのサブ群、および緑色ファイバのみのサブ群を有し得るように、走査ファイバのそれぞれを単色にするように選択してもよい。そのような構成は、光を光ファイバの中にもたらすための出力結合の際、さらなる効率性を促進する。例えば、本アプローチは、赤色、緑色、および青色を同一帯域の中に重畳させる必要はないであろう。
図２２Ｑ−２２Ｖを参照すると、種々の自由形状光学タイルディスプレイ構成が、描写される。図２２Ｑを参照すると、２つの自由形状光学が、隣り合わせでタイル表示され、各側の走査光ディスプレイ７８６等のマイクロディスプレイが、１つの自由形状光学楔が視野の各半分を表すように、画像情報を各側から投入するように構成される、実施形態が、描写される。
図２２Ｒを参照すると、補償器レンズ８０８が、光学アセンブリを通して実世界のビューを促進するために含まれてもよい。図２２Ｓは、自由形状光学楔が、そのような光学アセンブリの厚さを比較的に均一に保ちながら、機能的視野を増加させるために隣り合わせでタイル表示される、構成を図示する。
図２２Ｔを参照すると、星形形状のアセンブリが、比較的に薄い全体的光学アセンブリ厚もまた維持しながら、より大きい視野拡大を提供し得る構成において、複数の自由形状光学楔を備えている（また、画像情報を入力するための複数のディスプレイとともに示される）。
タイル表示された自由形状光学アセンブリでは、光学要素は、より大きい視野を生成するように凝集されてもよい。前述のタイルディスプレイ構成は、本概念に対処している。例えば、２つの自由形状導波管が、図２２Ｒに描写されるもの等、眼に照準されている構成では、視野を増加させるためのいくつかの方法がある。１つの選択肢は、その出力が、瞳孔の空間内で共有、すなわち、重畳されるように、自由形状導波管を「内向き」にすることである。例えば、ユーザには、左側自由形状導波管を通して視野の左半分が、右側自由形状導波管を通して視野の右半分が見え得る。
そのような構成では、視野は、タイル表示された自由形状導波管を用いて増加されているが、射出瞳のサイズは、拡大されていない。代替として、自由形状導波管は、それほど内向きではないように配向されてもよく、したがって、眼の解剖学的瞳孔において隣り合わせの射出瞳が作成される。一実施例では、解剖学的瞳孔は、８ｍｍの幅であり得、隣り合わせの射出瞳の各々は、機能的射出瞳が約２倍拡大されるように、８ｍｍであってもよい。したがって、そのような構成は、拡大された射出瞳を提供する。しかしながら、眼が、その射出瞳によって定義された「アイボックス」の周囲で移動される場合、その眼は、視野の一部を喪失（例えば、そのような構成の隣り合わせの性質のため、左または右入射光のいずれかの一部を損失）し得る。
特に、ユーザの眼に対してＺ軸において、自由形状光学をタイル表示するためのそのようなアプローチを使用する、一実施形態では、赤色／緑色／青色色収差が対処され得るように、赤色波長は、１つの自由形状光学を通して、緑色は、別の自由形状光学を通して、青色は、別の自由形状光学を通して駆動されてもよい。複数の自由形状光学要素がまた、それぞれ、特定の波長をアドレス指定するように構成される、スタックされたそのような構成に提供されてもよい。
図２２Ｕを参照すると、２つの反対に配向された自由形状光学が、Ｚ軸にスタックされて示される（例えば、相互に対して上下逆である）。そのような構成では、補償レンズは、アセンブリを通した正確なビューを促進するために要求されなくてもよい。言い換えると、図２２Ｆまたは図２２Ｒの実施形態におけるように、補償レンズを有するのではなく、光を眼に経路指定するのをさらに補助し得る、付加的自由形状光学が、利用されてもよい。図２２Ｖは、２つの自由形状光学要素のアセンブリが垂直スタックとして提示される、別の類似構成を示す。
１つの表面が自由形状光学内の別の表面に干渉しないことを確実にするために、波長または偏光選択反射体表面を使用してもよい。例えば、図２２Ｖを参照すると、６５０ｎｍ、５３０ｎｍ、および４５０ｎｍの形態の赤色、緑色、ならびに青色波長が、６２０ｎｍ、５５０ｎｍ、および４７０ｎｍの形態における赤色、緑色、ならびに青色波長と同様に、投入されてもよい。異なる選択反射体が、相互に干渉しないように、自由形状光学の各々において利用されてもよい。偏光フィルタが類似目的のために使用される構成では、特定の軸において偏光される光のための反射／伝送選択性が、変動されてもよい（例えば、画像は、各自由形状導波管に送信される前に事前に偏光され、反射体選択性と協働してもよい）。
図２２Ｗおよび２２Ｘを参照すると、複数の自由形状導波管がともに直列に利用され得る構成が、図示される。図２２Ｗを参照すると、光が、実世界から入射し、順次、第１の自由形状光学７７０を通して、ピクセル毎ベースでフィルタリングされた光を反射させるように構成され得る（例えば、遮閉マスクが、前述のように、暗視野知覚等のために、実世界のある要素を遮断するために利用されてもよい；前述のように、ＤＭＤ、ＬＣＤ、強誘電ＬＣＯＳ、ＭＥＭＳシャッタアレイ、および同等物を備えている、好適な空間光変調器が、使用されてもよい）、ＤＬＰシステムからのＤＭＤ等の反射体８１０に光を中継するように構成され得る、随意のレンズ８１２を通して、光をユーザの眼２８に中継する別の自由形状光学７７０に指向され得る。そのような構成は、空間光変調のための従来のレンズを使用するものよりコンパクトであり得る。
図２２Ｘを参照すると、全体的厚さを最小限に保つことが非常に重要なシナリオでは、高反射性表面が光を別のコンパクトに位置付けられた自由形状光学の中に直線に跳ね返り得るように高反射性である、１つの表面を有する、構成が、利用されてもよい。一実施形態では、選択減衰器８１４が、２つの自由形状光学７７０間に介在されてもよい。
図２２Ｙを参照すると、自由形状光学７７０がコンタクトレンズシステムの一側面を備え得る、実施形態が、描写される。小型自由形状光学が、図２２Ｆを参照して説明されるものと同様に、小型補償器レンズ部分７８０とともに、ユーザの眼５８の角膜に対して係合されて示される。信号が、例えば、自由形状光学とユーザの涙管面積との間または自由形状光学と別の頭部搭載ディスプレイ構成との間に結合され得る、テザリングされた走査ファイバディスプレイを使用して、小型自由形状アセンブリの中に投入されてもよい。
（１人以上のユーザとＡＲシステムとの間の相互作用）
（クラウドとのユーザシステム相互作用）
前述の実施形態では、種々の光学が説明されたが、以下の議論は、１つ以上のＡＲシステム間の相互作用およびＡＲシステムと物理世界との間の相互作用に焦点を当てるであろう。図２３および２４に図示されるように、明視野生成サブシステム（例えば、それぞれ、２３００および２３０２）は、好ましくは、明視野を生成するために動作可能である。例えば、光学装置２３６０またはサブシステムは、光を生成または投影し、実３次元オブジェクトまたは場面から反射する光によって生成されるであろう、４次元（４Ｄ）明視野をシミュレートしてもよい。例えば、導波管反射体アレイプロジェクタ（ＷＲＡＰ）装置２３１０または複数の深度平面３次元（３Ｄ）ディスプレイシステム等の光学装置が、複数の仮想深度平面をそれぞれの半径方向焦点距離に生成または投影し、４Ｄ明視野をシミュレートしてもよい。
（クラウドとのユーザシステム相互作用）
前述の実施形態では、種々の光学が説明されたが、以下の議論は、１つ以上のＡＲシステム間の相互作用およびＡＲシステムと物理世界との間の相互作用に焦点を当てるであろう。図２３および２４に図示されるように、明視野生成サブシステム（例えば、それぞれ、２３００および２３０２）は、好ましくは、明視野を生成するために動作可能である。例えば、光学装置２３６０またはサブシステムは、光を生成または投影し、実３次元オブジェクトまたは場面から反射する光によって生成されるであろう、４次元（４Ｄ）明視野をシミュレートしてもよい。例えば、導波管反射体アレイプロジェクタ（ＷＲＡＰ）装置２３１０または複数の深度平面３次元（３Ｄ）ディスプレイシステム等の光学装置が、複数の仮想深度平面をそれぞれの半径方向焦点距離に生成または投影し、４Ｄ明視野をシミュレートしてもよい。
ＷＲＡＰ装置２３１０または複数の深度平面３Ｄディスプレイシステムの形態における光学装置２３６０は、例えば、直接または間接的にのいずれかにおいて、画像をユーザの各眼の中に投影してもよい。仮想深度平面の数および半径方向場所が、半径方向距離の関数として、ヒト視覚系の深度分解能に匹敵するとき、離散集合の投影された深度平面は、実連続３次元オブジェクトまたは場面によって生成される、心理物理的影響を模倣する。１つ以上の実施形態では、システム２３００は、ＡＲユーザ毎にカスタマイズされ得る、フレーム２３７０を備えてもよい。システム２３００の付加的構成要素は、ＡＲシステムの種々の電気および電子サブ部分を相互に接続する、（以下にさらに詳細に論じられるであろうような）電子機器２３３０を含んでもよい。
システム２３００はさらに、１つ以上の仮想画像に関連付けられた光を導波管プリズム２３１０の中に投影する、マイクロディスプレイ２３２０を備えてもよい。図２３に示されるように、マイクロディスプレイ２３２０から生成される光は、導波管２３１０内を進行し、光の一部は、ユーザの眼２３９０に到達する。１つ以上の実施形態では、システム２３００はさらに、１つ以上の補償レンズ２３８０を備え、仮想画像に関連付けられた光を改変してもよい。図２４は、図２３と同一構成要素を図示するが、マイクロディスプレイ２３２０からの光が、どのように導波管２３１０を通して進行し、ユーザの眼２３９０に到達するかを図示する。
光学装置２３６０は、それぞれ、線形導波管のそれぞれ内に埋め込まれる、位置する、または形成される、それぞれの一連の非構成湾曲球状反射体または鏡を伴う、いくつかの線形導波管を含んでもよいことを理解されたい。一連の非構成湾曲球状反射体または鏡は、無限遠合焦光を具体的半径方向距離に再合焦するように設計される。凸面球状鏡が、出力球状波を生成し、凸面球状鏡映の背後の定義された距離に位置するように見える、仮想点源を表すために使用されることができる。
線形または長方形導波管内に一連のマイクロ反射体（その形状（例えば、２つの軸を中心とする曲率半径）および配向）をともに連結することによって、特定のｘ、ｙ、ｚ座標における仮想点源によって生成される球状波正面に対応する、３Ｄ画像を投影可能となる。２Ｄ導波管または層の各々は、他の導波管に対して独立光学経路を提供し、波正面を成形し、入射光を合焦させ、それぞれの半径方向距離に対応する仮想深度平面を投影する。
十分な数の２Ｄ導波管を用いることで、投影された仮想深度平面を視認するユーザは、３Ｄ効果を体験する。そのようなデバイスは、２０１３年６月１１日に出願された米国特許出願第１３／９１５，５３０号に説明されている。他の実施形態は、他の組み合わせの光学システムを備えてもよく、図２３および２４に関連して説明される実施形態は、例証目的にすぎないことを理解されたい。
ＡＲシステムのオーディオサブシステムは、種々の形態をとってもよい。例えば、オーディオサブシステムは、単純な２つのスピーカの２チャネルステレオシステムまたはより複雑な複数のスピーカシステム（５．１、７．１、１２．１チャネル）の形態をとってもよい。いくつかの実装では、オーディオサブシステムは、３次元音場を生成するように動作可能であってもよい。
ＡＲシステムは、１つ以上の別個の構成要素を含んでもよい。例えば、ＡＲシステムは、図２３および２４の例証される実施形態に示されるもの等の頭部装着または搭載式構成要素を含んでもよい。頭部装着または搭載式構成要素は、典型的には、視覚システム（例えば、図２３および２４に示されるもの等）を含む。頭部装着式構成要素はまた、オーディオ変換器（例えば、スピーカ、マイクロホン）を含んでもよい。
オーディオ変換器は、視覚的構成要素と統合されてもよく、例えば、各オーディオ変換器は、視覚的構成要素を伴う共通フレームから支持される。代替として、オーディオ変換器は、視覚的構成要素を担持するフレームと別個であってもよい。例えば、オーディオ変換器は、図４Ｄに示されるもの等、ベルトパックの一部であってもよい。
図２３および２４に図示されるように、ＡＲシステムは、頭部装着式構成要素（例えば、図２３および２４に示されるように、光学サブシステム）と別個の、別個の計算構成要素（例えば、処理サブシステム）を含んでもよい。処理サブシステムまたは計算構成要素は、例えば、使用の間、ベルトまたはズボンの胴回りに便宜的に結合され得る、ベルトパックの形態をとってもよい。代替として、計算構成要素は、例えば、携帯情報端末またはスマートフォンタイプデバイスの形態をとってもよい。
計算構成要素は、１つ以上のプロセッサ、例えば、１つ以上のマイクロコントローラ、マイクロプロセッサ、グラフィカル処理ユニット、デジタル信号プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ、プログラマブル論理回路、または論理を具現化するか、もしくはソフトウェアまたはファームウェア内にエンコードされた命令内に具現化された論理を実行可能であるかのいずれかである、他の回路を含んでもよい。計算構成要素は、１つ以上の非一過性コンピュータまたはプロセッサ可読媒体、例えば、揮発性および／または不揮発性メモリ、例えば読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、静的ＲＡＭ、動的ＲＡＭ、フラッシュメモリ、ＥＥＰＲＯＭ等を含んでもよい。
前述のように、計算構成要素は、頭部装着式構成要素に通信可能に結合されてもよい。例えば、計算構成要素は、適切なコネクタを伴うケーブルを介した１つ以上のワイヤまたは光ファイバを介して、頭部装着式構成要素に通信可能にテザリングされてもよい。計算構成要素および頭部装着式構成要素は、種々のテザリングされたプロトコル、例えば、ＵＢＳ（登録商標）、ＵＳＢ２（登録商標）、ＵＳＢ３（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、Ｌｉｇｈｔｎｉｎｇ（登録商標）プロトコルのいずれかに従って通信してもよい。
代替として、または加えて、計算構成要素は、頭部装着式構成要素に無線で通信可能に結合されてもよい。例えば、計算構成要素および頭部装着式構成要素の各々は、送信機と、受信機または送受信機（集合的に、無線）に関連付けられたアンテナとを含み、無線通信をその間に確立してもよい。無線およびアンテナは、種々の形態をとってもよい。例えば、無線は、短距離通信可能であってもよく、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷＩ−ＦＩ（登録商標）、またはあるＩＥＥＥ８０２．１１準拠プロトコル（例えば、ＩＥＥＥ８０２．１１ｎ、ＩＥＥＥ８０２．１１ａ／ｃ）等の通信プロトコルを採用してもよい。
図２３および２４に図示されるように、身体または頭部装着式構成要素は、拡張現実コンテンツ、例えば、拡張現実視覚および／または聴覚コンテンツをユーザに送達するように動作可能な電子機器ならびにマイクロディスプレイを含んでもよい。電子機器（例えば、図２３および２４における２３２０の一部）は、電気または電子構成要素を含む、種々の回路を含んでもよい。種々の回路は、拡張現実コンテンツを送達するか、および／または周囲物理環境および／またはユーザについての情報を感知、測定、もしくは収集するかのいずれかである、いくつかの変換器に通信可能に結合される。
図２５は、例証される実施形態の１つによる、拡張現実デバイスのための電子機器のための例示的アーキテクチャ２５００を示す。
ＡＲデバイスは、１つ以上の印刷回路基板構成要素、例えば、左（２５０２）および右（２５０４）印刷回路基板アセンブリ（ＰＣＢＡ）を含んでもよい。図示されるように、左ＰＣＢＡ２５０２は、能動電子機器の大部分を含む一方、右ＰＣＢＡ６０４は、主に、ディスプレイまたはプロジェクタ要素をサポートする。
右ＰＣＢＡ２５０４は、画像情報および制御信号を画像生成構成要素に提供する、いくつかのプロジェクタドライバ構造を含んでもよい。例えば、右ＰＣＢＡ２５０４は、第１または左のプロジェクタドライバ構造２５０６および第２または右のプロジェクタドライバ構造２５０８を担持してもよい。第１または左のプロジェクタドライバ構造２５０６は、第１または左のプロジェクタファイバ２５１０および信号線の集合（例えば、圧電ドライバワイヤ）を接合する。第２または右のプロジェクタドライバ構造２５０８は、第２または右のプロジェクタファイバ２５１２および信号線の集合（例えば、圧電ドライバワイヤ）を接合する。第１または左のプロジェクタドライバ構造２５０６は、第１または左の画像プロジェクタに通信可能に結合される一方、第２または右のプロジェクタドライバ構造２５０８は、第２または右の画像プロジェクタに通信可能に結合される。
動作時、画像プロジェクタは、仮想コンテンツを、それぞれの光学構成要素、例えば導波管および／または補償レンズを介して、ユーザの左および右眼（例えば、網膜）にレンダリングする（例えば、図２３および２４に示されるように）。
画像プロジェクタは、例えば、左および右プロジェクタアセンブリを含んでもよい。プロジェクタアセンブリは、種々の異なる画像形成または作製技術、例えば、ファイバ走査プロジェクタ、液晶ディスプレイ（ＬＣＤ）、ＬＣＯＳディスプレイ、デジタル光処理（ＤＬＰ）ディスプレイを使用してもよい。ファイバ走査プロジェクタが採用される場合、画像は、光ファイバの先端を介して、光ファイバに沿って、そこから投影されるように送達され得る。先端は、導波管の中に送り込まれるように配向されてもよい（図２３および２４）。光ファイバの先端は、画像を投影してもよく、撓曲または発振するようにサポートされ得る。いくつかの圧電アクチュエータは、先端の発振（例えば、周波数、振幅）を制御してもよい。プロジェクタドライバ構造は、画像をそれぞれの光ファイバに提供し、圧電アクチュエータを制御するための信号を制御し、画像をユーザの眼に投影する。
右ＰＣＢＡ２５０４について継続すると、ボタンボードコネクタ２５１４は、種々のユーザアクセス可能ボタン、キー、スイッチ、または他の入力デバイスを担持する、ボタンボード２５１６に通信および物理結合を提供してもよい。右ＰＣＢＡ２５０４は、右イヤホンまたはスピーカコネクタ２５１８を含み、オーディオ信号を頭部装着式構成要素の右イヤホン２５２０またはスピーカに通信可能に結合してもよい。右ＰＣＢＡ２５０４はまた、右マイクロホンコネクタ２５２２を含み、オーディオ信号を頭部装着式構成要素のマイクロホンから通信可能に結合してもよい。右ＰＣＢＡ２５０４はさらに、右遮蔽ドライバコネクタ２５２４を含み、遮蔽情報を頭部装着式構成要素の右遮蔽ディスプレイ２５２６に通信可能に結合してもよい。右ＰＣＢＡ２５０４はまた、ボード／ボードコネクタを含み、そのボード／ボードコネクタ２５３４を介して、左ＰＣＢＡ２５０２との通信を提供してもよい。
右ＰＣＢＡ２５０４は、身体または頭部装着式である、１つ以上の右外向きに面したまたは世界ビューカメラ２５２８に、随意に、画像が捕捉されているときを他者に示すために照射する、右カメラ視覚的インジケータ（例えば、ＬＥＤ）に通信可能に結合されてもよい。右ＰＣＢＡ２５０４は、頭部装着式構成要素によって担持され、右眼の画像を捕捉し、右眼の配向および／または移動の追跡、検出、または監視を可能にするように位置付けられ、配向される、１つ以上の右眼カメラ２５３２に通信可能に結合されてもよい。右ＰＣＢＡ２５０４は、随意に、本明細書に説明されるように、右眼をあるパターン（例えば、時間的、空間的）の照射を用いて照射し、右眼の配向および／または移動の追跡、検出、または監視を促進する、１つ以上の右眼照射源２５３０（例えば、ＬＥＤ）に通信可能に結合されてもよい。
左ＰＣＢＡ２５０２は、１つ以上のコントローラ（例えば、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、グラフィカル処理ユニット、中央処理ユニット、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）２５４０、および／またはプログラマブル論理ユニット（ＰＬＵ））を含み得る、制御サブシステムを含んでもよい。制御システムは、実行可能論理もしくは命令および／またはデータもしくは情報を記憶する、１つ以上の非一過性コンピュータまたはプロセッサ可読媒体を含んでもよい。非一過性コンピュータまたはプロセッサ可読媒体は、種々の形態、例えば、揮発性および不揮発性形態、例えば、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ、ＤＲＡＭ、ＳＤ−ＲＡＭ）、フラッシュメモリ等をとってもよい。非一過性コンピュータまたはプロセッサ可読媒体は、例えば、マイクロプロセッサ、ＦＰＧＡ、またはＡＳＩＣの１つ以上のレジスタとして形成されてもよい。
左ＰＣＢＡ２５０２は、左イヤホンまたはスピーカコネクタ２５３６を含み、オーディオ信号を頭部装着式構成要素の左イヤホンまたはスピーカ２５３８に通信可能に結合してもよい。左ＰＣＢＡ２５０２は、ドライバイヤホンまたはスピーカに通信可能に結合される、オーディオ信号増幅器（例えば、ステレオ増幅器）２５４２を含んでもよい。左ＰＣＢＡ２５０２はまた、左マイクロホンコネクタ２５４４を含み、オーディオ信号を頭部装着式構成要素のマイクロホンから通信可能に結合してもよい。左ＰＣＢＡ２５０２はさらに、左遮蔽ドライバコネクタ２５４６を含み、遮蔽情報を頭部装着式構成要素の左遮蔽ディスプレイ２５４８に通信可能に結合してもよい。
左ＰＣＢＡ２５０２はまた、周囲環境および／またはユーザについての情報を検出、測定、捕捉、または別様に感知する、１つ以上のセンサまたは変換器を含んでもよい。例えば、加速変換器２５５０（例えば、３軸加速度計）は、３つの軸における加速を検出し、それによって、移動を検出してもよい。ジャイロスコープセンサ２５５２は、磁石またはコンパスの向きもしくは配向を検出してもよい。他のセンサまたは変換器は、同様に、採用されてもよい。
左ＰＣＢＡ２５０２は、身体または頭部装着式である、１つ以上の左外向きに面したまたは世界ビューカメラ２５５４、随意に、画像が捕捉されているときを他者に示すように照射する、左カメラ視覚的インジケータ（例えば、ＬＥＤ）２５５６に通信可能に結合されてもよい。左ＰＣＢＡは、頭部装着式構成要素によって担持され、左眼の画像を捕捉し、左眼の配向および／または移動の追跡、検出、または監視を可能にするように位置付けられ、配向される、１つ以上の左眼カメラ２５５８に通信可能に結合されてもよい。左ＰＣＢＡ２５０２は、随意に、本明細書に説明されるように、左眼をあるパターン（例えば、時間的、空間的）の照射を用いて照射し、左眼の配向および／または移動の追跡、検出、または監視を促進する、１つ以上の左眼照射源（例えば、ＬＥＤ）２５５６に通信可能に結合されてもよい。
ＰＣＢＡ２５０２および２５０４は、１つ以上のポート、コネクタ、および／または経路を介して、別個の計算構成要素（例えば、ベルトパック）と通信可能に結合される。例えば、左ＰＣＢＡ２５０２は、１つ以上の通信ポートまたはコネクタを含み、ベルトパックとの通信（例えば、双方向通信）を提供してもよい。１つ以上の通信ポートまたはコネクタはまた、電力をベルトパックから左ＰＣＢＡ２５０２に提供してもよい。左ＰＣＢＡ２５０２は、通信ポートまたはコネクタに電気的に結合され、調整（例えば、昇圧、降圧、電流平滑化、過渡電圧の低減）するように動作可能な電力調整回路２５８０（例えば、ＤＣ／ＤＣ電力コンバータ、入力フィルタ）を含んでもよい。
通信ポートまたはコネクタは、例えば、データおよび電力コネクタまたは送受信機２５８２（例えば、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）ポート、ＵＳＢ（登録商標）ポート）の形態をとってもよい。右ＰＣＢＡ２５０４は、ポートまたはコネクタを含み、電力をベルトパックから受信してもよい。画像生成要素は、電力を、例えば、ベルトパック内に位置し得る、ポータブル電源（例えば、化学電池、一次または二次電池、ウルトラキャパシタ電池、燃料電池）から受信してもよい。
図示されるように、左ＰＣＢＡ２５０２は、能動電子機器の大部分を含む一方、右ＰＣＢＡ２５０４は、主に、ディスプレイまたはプロジェクタおよび関連付けられた圧電駆動信号をサポートする。電気および／または光ファイバ接続は、ＡＲシステムの身体または頭部装着式構成要素の正面、後面、または上部を横断して採用される。
ＰＣＢＡ２５０２および２５０４は両方とも、ベルトパックに通信可能に（例えば、電気的に、光学的に）結合される。左ＰＣＢＡ２５０２は、電力サブシステムおよび高速通信サブシステム含む。右ＰＣＢＡ２５０４は、ファイバディスプレイ圧電駆動信号に対処する。例証される実施形態では、右ＰＣＢＡ２５０４のみ、ベルトパックに光学的に接続される必要がある。他の実施形態では、右ＰＣＢＡおよび左ＰＣＢＡは両方とも、ベルトパックに接続されてもよい。
２つのＰＣＢＡ２５０２および２５０４を採用するように図示されるが、身体または頭部装着式構成要素の電子機器は、他のアーキテクチャを採用してもよい。例えば、いくつかの実装は、より少ないまたはより多い数のＰＣＢＡを使用してもよい。また、例えば、種々の構成要素またはサブシステムは、図２５に図示されるものと異なるように配列されてもよい。例えば、いくつかの代替実施形態では、一方のＰＣＢＡ上に常駐する図２５に図示される構成要素のうちのいくつかは、一般性を失うことなく、他方のＰＣＢＡ上に位置してもよい。
図４Ａ−４Ｄに図示されるように、各ユーザは、そのそれぞれのＡＲシステム（概して、以下の議論では、個々のＡＲシステムと称される）を使用してもよい。いくつかの実装では、個々のＡＲシステムは、相互に通信してもよい。例えば、２つまたはそれを上回る近接して位置するＡＲシステムは、相互に通信してもよい。本明細書にさらに説明されるように、通信は、１つ以上の実施形態では、ハンドシェイキングプロトコルの実施後に生じてもよい。ＡＲシステムは、１つ以上の無線を介して、無線で通信してもよい。前述のように、そのような無線は、短距離の直接通信が可能であってもよく、またはより長距離の直接通信が可能であってもよい（例えば、リピータ、エクステンダ等を伴わずに）。加えて、または代替として、間接的なより長距離の通信が、１つ以上の中間デバイス（例えば、無線アクセスポイント、リピータ、エクステンダ）を介して、達成されてもよい。
ＡＲシステムの頭部装着式構成要素は、１つ以上の「外向き」に面したカメラを有してもよい。１つ以上の実施形態では、頭部装着式構成要素は、１つ以上の「内向き」に面したカメラを有してもよい。本明細書で使用されるように、「外向きに面した」とは、頭部装着式構成要素を装着しているユーザではなく、カメラが周囲環境の画像を捕捉することを意味する。とりわけ、「外向き」に面したカメラは、ユーザの正面、左、右、またはさらに背後の面積を包含する、視野を有し得る。これは、ユーザの顔に面し、ユーザの顔の表情または眼の移動を捕捉する、頭部装着式構成要素、例えば、カメラを装着している個人の画像を捕捉する、内向きに面したカメラとは対照的である。
多くの実装では、ユーザによって装着されるパーソナル（または個人）ＡＲシステムは、１つ以上のセンサ、変換器、または他の構成要素を含んでもよい。センサ、変換器、または他の構成要素は、（ｉ）センサを装着するユーザの側面を検出するもの（例えば、本明細書では、内向きに面したセンサと称される）と、（ｉｉ）ユーザが位置する周囲環境内の条件を検出するもの（例えば、本明細書では、外向きに面したセンサと称される）との２つの一般的カテゴリにカテゴリ化され得る。これらのセンサは、多種多様な形態をとってもよい。例えば、センサは、１つ以上の画像センサ、例えばデジタル静止画または動画カメラを含んでもよい。また、例えば、センサは、１つ以上のオーディオセンサまたはマイクロホンを含んでもよい。他のセンサは、位置、移動、温度、心拍数、発汗等を検出してもよい。
前述のように、１つ以上の実施形態では、センサは、内向きに面してもよい。例えば、ユーザによって装着される画像センサは、ユーザの眼移動、ユーザの表情、またはユーザの四肢（腕、脚、手）を検出するように位置付けられる、および／または配向されてもよい。例えば、ユーザによって装着されるオーディオセンサまたはマイクロホンは、ユーザによって行われた発話を検出するように位置付けられる、および／または配向されてもよい。そのようなオーディオセンサまたはマイクロホンは、指向性であってもよく、使用の間、ユーザの口に近接して位置してもよい。
前述のように、センサは、外向きに面してもよい。例えば、ユーザによって装着される画像センサは、ユーザが位置する周囲環境および／またはユーザが相互作用するオブジェクトを視覚的に検出するように位置付けられる、および／または配向されてもよい。１つ以上の実施形態では、画像ベースのセンサは、カメラ（例えば、視野カメラ、ＩＲカメラ、眼追跡カメラ等）を指し得る。また、例えば、ユーザによって装着されるオーディオセンサまたはマイクロホンは、他の人々のような自然源またはオーディオスピーカ等の非生物オブジェクトから生成されるかどうかにかかわらず、周囲環境内の音を検出するように位置付けられる、および／または配向されてもよい。外向きに面したセンサは、周囲環境の他の特性を検出してもよい。例えば、外向きに面したセンサは、周囲環境内の温度を検出する、温度センサまたは熱電対を含んでもよい。
外向きに面したセンサは、周囲環境内の湿度、空気の質、および／または気流を検出してもよい。外向きに面したセンサは、光検出器（例えば、フォトダイオード）を含み、周囲環境内の周囲光条件を検出してもよい。１つ以上の実施形態では、光プローブもまた、個々のＡＲシステムの一部として使用されてもよい。外向きに面したセンサは、周囲環境内の他の人々および／または周囲環境内の移動を含む、オブジェクトの存在および／または不在を検出する、１つ以上のセンサを含んでもよい。
（物理空間／部屋ベースのセンサシステム）
図２６のシステムアーキテクチャ２６００に図示されるように、いくつかの実装では、ＡＲシステムは、物理空間または部屋ベースのセンサシステムを含んでもよい。図２６に図示されるように、ＡＲシステム２６０２は、図２３および２４に示されるようなユーザの個々のＡＲシステム（例えば、頭部搭載式拡張現実ディスプレイシステム等）から引き出すだけではなく、また、部屋ベースのセンサシステム２６０４を使用して、部屋および物理空間についての情報を収集してもよい。空間または部屋ベースのセンサシステム２６０４は、物理環境、例えば、部屋（例えば、オフィス、リビングルーム、メディアルーム、キッチン、または他の物理空間）等の空間から情報を検出および／または収集する。空間または部屋ベースのセンサシステム２６０４は、典型的には、１つ以上の画像センサ２６０６、例えば、１つ以上のカメラ（例えば、デジタル静止画カメラ、デジタル動画またはビデオカメラ）を含む。
図２６のシステムアーキテクチャ２６００に図示されるように、いくつかの実装では、ＡＲシステムは、物理空間または部屋ベースのセンサシステムを含んでもよい。図２６に図示されるように、ＡＲシステム２６０２は、図２３および２４に示されるようなユーザの個々のＡＲシステム（例えば、頭部搭載式拡張現実ディスプレイシステム等）から引き出すだけではなく、また、部屋ベースのセンサシステム２６０４を使用して、部屋および物理空間についての情報を収集してもよい。空間または部屋ベースのセンサシステム２６０４は、物理環境、例えば、部屋（例えば、オフィス、リビングルーム、メディアルーム、キッチン、または他の物理空間）等の空間から情報を検出および／または収集する。空間または部屋ベースのセンサシステム２６０４は、典型的には、１つ以上の画像センサ２６０６、例えば、１つ以上のカメラ（例えば、デジタル静止画カメラ、デジタル動画またはビデオカメラ）を含む。
画像センサは、１つ以上の実施形態では、ユーザによって装着されるパーソナルＡＲシステムの一部を形成する、画像センサに加え、使用されてもよい。空間または部屋ベースのセンサシステムはまた、１つ以上のオーディオセンサまたは変換器２６０８、例えば、多指向性または指向性マイクロホンを含んでもよい。オーディオセンサまたは変換器は、音を生物オブジェクト（例えば、１人以上のユーザまたは周囲環境内の他の人々）から検出してもよい。オーディオセンサまたは変換器は、音を非生物オブジェクト、例えば、足音、テレビ、ステレオシステム、無線、または他の器具から検出してもよい。
空間または部屋ベースのセンサシステム２６０４はまた、周囲環境内の温度２６１２、湿度２６１４、空気の質２６１０、気流または速度２６１２、周囲光２６１６、存在／不在、移動２６１４等を感知する、他の環境センサを含んでもよい。これらの入力は全て、図２６に示されるように、ＡＲシステム２６０２にフィードバックされる。部屋ベースのセンサのうちのいくつかのみが、図２６に示され、いくつかの実施形態は、より少ないまたはより多いセンササブシステムを備えてもよく、図２６の実施形態は、限定として見なされるべきではないことを理解されたい。
空間または部屋ベースのセンサシステム２６０４は、空間または部屋ベースの座標系に関する情報を検出および／または収集してもよい。例えば、視覚もしくは光学情報および／または聴覚情報は、ユーザの基準フレームと異なる基準フレーム内のそのような情報の場所または源に対して参照されてもよい。例えば、そのような情報の源の場所は、空間または部屋ベースのセンサシステムもしくはその構成要素の基準フレーム内で識別されてもよい。空間または部屋ベースのセンサシステムもしくは構成要素の基準フレームは、比較的に固定されてもよく、物理空間自体の基準フレームと同じであってもよい。代替として、１つ以上の変換（例えば、平行移動および／または回転行列）が、空間または部屋ベースのセンサシステムもしくは構成要素の基準フレームと物理空間の基準フレームを数学的に関連させてもよい。
図２７は、例証される実施形態の１つによる、１つ以上の有線または無線ネットワークによって通信可能に結合される、１つ以上のハブと、中央または分散型サーバコンピュータシステムと、１つ以上の個々のＡＲシステムとを採用する、通信アーキテクチャを図示する。１つ以上の実施形態では、クラウドサーバは、ネットワーク（例えば、有線ネットワーク、無線ネットワーク、Ｂｌｕｅｔｏｏｔｈ（登録商標）、セルラーネットワーク等）を通して、１つ以上の個々のＡＲシステムによってアクセスされる、サーバを指し得る。例証される実施形態では、個々のＡＲシステムは、ネットワーク２７０４を通して、クラウドサーバまたはサーバコンピュータシステム２７８０と通信する。１つ以上の実施形態では、クラウドサーバは、異なる場所にホストし、インターネットまたはあるタイプのネットワークを通して、オンデマンドで複数のユーザによってアクセスされる、ホスト化されたサーバまたは処理システムを指し得る。１つ以上の実施形態では、クラウドサーバは、クラウドを備えている、複数の接続されたサーバの集合であってもよい。
サーバコンピュータシステム２７８０は、例えば、クラスタ化されてもよい。例えば、サーバコンピュータシステムのクラスタは、種々の地理的に散乱した場所に位置してもよい。そのようなものは、通信を促進し、通過経路を短縮し、および／または冗長性を提供し得る。
パーソナルＡＲシステム２７０８の具体的インスタンスは、クラウドネットワーク２７０４を通して、サーバコンピュータシステム２７８０に通信可能に結合されてもよい。サーバコンピュータシステム２７８０は、具体的ユーザの独自の物理および／または仮想世界についての情報を維持してもよい。サーバコンピュータシステム２７８０は、所与のユーザが、具体的ユーザの独自の物理および／または仮想世界についての情報を他のユーザと共有することを可能にしてもよい。加えて、または代替として、サーバコンピュータシステム２７８０は、他のユーザが、その独自の物理および／または仮想世界についての情報を所与のまたは具体的ユーザと共有することを可能にしてもよい。本明細書に説明されるように、サーバコンピュータシステム２７８０は、物理世界の大部分のマッピングおよび／またはキャラクタ化を可能にしてもよい。情報は、１人以上のユーザのパーソナルＡＲシステムを介して、収集されてもよい。物理世界のモデルは、経時的に、多数のユーザを介した収集によって開発されてもよい。これは、所与のユーザが、物理世界の新しい部分または場所に進入し、特定の場所に以前行ったことがあるか、または現在居るかのいずれかである、他者によって収集された情報によって利益を享受することを可能にし得る。仮想世界のモデルは、それぞれのユーザによって、ユーザを介して経時的に作成されてもよい。
個々のＡＲシステム２７０８は、サーバコンピュータシステムに通信可能に結合されてもよい。例えば、パーソナルＡＲシステム２７０８は、１つ以上の無線を介して、サーバコンピュータシステム２７８０に無線で通信可能に結合されてもよい。無線は、前述のような短距離無線、または比較的に長距離の無線、例えば、セルラーチップセットおよびアンテナの形態をとってもよい。個々のＡＲシステム２７０８は、典型的には、いくつかの中間通信ネットワークまたは構成要素介して、間接的に、サーバコンピュータシステム２７８０に通信可能に結合されるであろう。例えば、個々のＡＲシステム２７０８は、典型的には、１つ以上の電気通信プロバイダシステム、例えば、１つ以上のセルラー通信プロバイダネットワークを介して、サーバコンピュータシステム２７８０に通信可能に結合されるであろう。
多くの実装では、ＡＲシステムは、付加的構成要素を含んでもよい。１つ以上の実施形態では、ＡＲデバイスは、例えば、１つ以上の触知デバイスもしくは構成要素を含んでもよい。触知デバイスまたは構成要素は、触感をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたは構成要素は、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造物）にタッチすると、圧力および／またはテクスチャの触感を提供してもよい。触感は、仮想オブジェクトが表す、物理オブジェクトの感触を複製してもよく、または仮想コンテンツが表す、想像上のオブジェクトもしくはキャラクタ（例えば、ドラゴン）の感触を複製してもよい。
いくつかの実装では、触知デバイスまたは構成要素は、ユーザによって装着されてもよい。ユーザ装着式手袋の形態の触知デバイスの実施例が、本明細書に説明される。いくつかの実装では、触知デバイスまたは構成要素は、ユーザによって保持されてもよい。ユーザ装着式手袋の形態の触知デバイスの実施例（例えば、図３４Ａ）が、本明細書に説明される。種々の触知トーテムの形態の触知デバイスの他の実施例は、以下にさらに説明される。ＡＲシステムは、加えて、または代替として、他のタイプの触知デバイスまたはユーザ入力構成要素を採用してもよい。
ＡＲシステムは、例えば、ＡＲシステムを用いて入力または相互作用可能であるようにユーザによって操作可能である、１つ以上の物理オブジェクトを含んでもよい。これらの物理オブジェクトは、本明細書では、トーテムと称され、以下にさらに詳細に説明されるであろう。いくつかのトーテムは、非生物オブジェクト、例えば、金属またはプラスチック片、壁、テーブルの表面の形態をとってもよい。代替として、いくつかのトーテムは、生物オブジェクト、例えば、ユーザの手の形態をとってもよい。
本明細書に説明されるように、トーテムは、実際には、任意の物理入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理表面を提供してもよく、ＡＲシステムは、トーテムの１つ以上の表面上にあるようにユーザに見るように、ユーザインターフェースをレンダリングしてもよい。例えば、さらに本明細書により詳細に論じられるように、ＡＲシステムは、トーテムの１つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ＡＲシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理キーまたはトラックパッドもしくはセンサを有していない。しかしながら、ＡＲシステムは、長方形プレートを用いたユーザ操作または相互作用もしくはタッチを、仮想キーボードおよび／または仮想トラックパッドを介して行われた選択または入力として、検出してもよい。これらの構成要素の多くは、以下にさらに詳細に説明される。
（パス可能世界モデル）
パス可能世界モデルは、ユーザが、仮想上、ユーザの世界の断片（例えば、周囲環境、相互作用等）を別のユーザにパスすることを可能にする。各ユーザのそれぞれの個々のＡＲシステムは、ユーザが環境を通過またはそこに存在するにつれて、ＡＲシステムがパス可能世界モデルを生成するために処理する、情報を捕捉する。
パス可能世界モデルは、ユーザが、仮想上、ユーザの世界の断片（例えば、周囲環境、相互作用等）を別のユーザにパスすることを可能にする。各ユーザのそれぞれの個々のＡＲシステムは、ユーザが環境を通過またはそこに存在するにつれて、ＡＲシステムがパス可能世界モデルを生成するために処理する、情報を捕捉する。
個々のＡＲシステムは、パス可能世界モデルをクラウドにおける共通または共有データのコレクションに通信またはパスしてもよい。個々のＡＲシステムは、直接またはクラウドを介してのいずれかにおいて、パス可能世界モデルをＡＲシステムの他のユーザに通信またはパスしてもよい。パス可能世界モデルは、本質的に、少なくともユーザの視野を包含する、情報を効率的に通信またはパスする能力を提供する。当然ながら、他の入力（例えば、感覚入力、画像入力、眼追跡入力等）も、加えて、クラウドにおけるパス可能世界モデルを拡張させるために伝送されてもよいことを理解されたい。
図２８は、例証される実施形態の１つによる、パス可能世界モデル２８００の構成要素を図示する。ユーザ２８０１が、環境を通して歩くにつれて、ユーザの個々のＡＲシステム２８１０は、情報（例えば、画像、場所情報、位置、および配向情報等）を捕捉し、姿勢がタグ付けされた画像を通して情報を保存する。例証される実施形態では、オブジェクト２８２０（テーブルに類似する）の画像が、撮影されてもよく、マップ点２８０４は、捕捉された画像に基づいて収集されてもよい。これは、環境についての情報を捕捉した複数のキーフレーム（例えば、カメラ）２８０２によって示されるように、パス可能世界モデルのコアを形成する。
図２８に示されるように、任意の所与の時間点における空間についての情報を捕捉する、複数のキーフレーム２８０２が存在してもよい。例えば、キーフレームは、特定の視点から情報を捕捉する、別のユーザのＡＲシステムであってもよい。別のキーフレームは、定常視点を通して画像および点２８０４を捕捉する、部屋ベースのカメラ／センサシステムであってもよい。複数の視点からの画像および点を三角測量することによって、３Ｄ空間内の実オブジェクトの位置および配向が、決定されてもよい。
１つ以上の実施形態では、パス可能世界モデル２８０８は、ラスタ画像、点および記述子クラウド、ならびに多角形／幾何学的定義（本明細書では、パラメータ幾何学形状と称される）の組み合わせである。全本情報は、クラウドにアップロードされ、そこから読み出され、その区分は、ユーザが歩いたであろう特定の空間に対応する。図２８に示されるように、パス可能世界モデルはまた、クラウドまたはユーザの個々のシステム２８１０上で機能し、複数のユーザの種々のキーフレームを通して捕捉された点および姿勢がタグ付けされた画像に基づいて、環境内のオブジェクトを認識する、多くのオブジェクト認識器２８１２を含む。本質的に、複数のキーフレーム２８０２を通して物理世界についての情報を継続して捕捉することによって、パス可能世界は、常時、成長し、実世界の既存の物理オブジェクトに関係する仮想コンテンツをレンダリングする方法を決定するために、検討されてもよい（継続的にまたは必要に応じて、）。情報をユーザの環境から収集することによって、パス可能世界２８０６の断片が、構築／拡張され、同時にまたは将来的に、１人以上のＡＲユーザに「パス」されてもよい。
非同期通信が、ユーザのそれぞれの個々のＡＲシステムとクラウドベースのコンピュータ（例えば、サーバコンピュータ）との間に確立される。言い換えると、ユーザの個々のＡＲシステムは、常時、ユーザの周囲についての情報をクラウドに更新し、パス可能世界についてクラウドから情報を受信する。したがって、各ＡＲユーザが、画像を捕捉し、捕捉された画像に基づいて、オブジェクトを認識する必要なく、非同期システムを有することによって、システムがより効率的となることが可能となる。世界のその部分についてすでに存在する情報は、自動的に、個々のＡＲシステムに通信される一方、新しい情報は、クラウドに更新される。パス可能世界モデルは、クラウドまたは他の形態のネットワーキングコンピューティングもしくはピアツーピアシステム上に存在するだけではなく、また、ユーザの個々のＡＲシステム上の両方に存在することを理解されたい。
１つ以上の実施形態では、ＡＲシステムは、ローカル構成要素（例えば、ベルトパック等の計算構成要素）および遠隔構成要素（例えば、クラウドベースのコンピュータ２７８０）のための異なるレベルの分解能を採用してもよい。これは、遠隔構成要素（例えば、クラウドサーバ上に常駐するリソース）が、典型的には、ローカル構成要素より計算能力が高いためである。クラウドベースのコンピュータは、多くの異なる個々のＡＲシステムおよび／または１つ以上の空間または部屋ベースのセンサシステムによって収集されたデータを取り上げ、本情報を利用して、パス可能世界モデルに追加してもよい。クラウドベースのコンピュータは、最良（例えば、最も有用な）情報のみを持続的世界モデルの中に集約してもよい。言い換えると、冗長情報および／または準最適品質情報は、システムの品質および／または性能を低下させないように、タイムリーに廃棄され得る。
図２９は、パス可能世界モデルと相互作用する例示的方法２９００を図示する。２９０２では、ユーザの個々のＡＲシステムは、世界内のユーザの場所および配向を検出してもよい。１つ以上の実施形態では、場所は、以下にさらに詳細に説明されるであろうように、システムのトポロジマップによって導出されてもよい。他の実施形態では、場所は、ＧＰＳまたは任意の他の位置特定ツールによって導出されてもよい。パス可能世界は、常時、個々のＡＲシステムによってアクセスされてもよいことを理解されたい。
別の実施形態では（図示せず）、ユーザは、別のユーザの空間へのアクセスを要求し、他のユーザに対応するパス可能世界のその区分および関連付けられたパラメータ情報にアクセスするようにシステムを促してもよい。したがって、パス可能世界のための多くのトリガが存在し得る。しかしながら、最も単純レベルでは、パス可能世界は、常時、複数のユーザシステムによって更新およびアクセスされ、それによって、常時、情報をクラウドに追加し、そこから受信することを理解されたい。
前述の実施例に従って、既知のユーザの場所に基づいて、２９０４では、システムは、ユーザの位置および意図される方向の両方を通信する、ユーザの周囲の物理面積を示す半径を引き出してもよい。次に、２９０６では、システムは、ユーザの予期される位置に基づいて、パス可能世界の断片を読み出してもよい。１つ以上の実施形態では、パス可能世界の断片は、以前のキーフレームを通して取得された空間の幾何学的マップと、クラウド内に記憶された捕捉された画像およびデータとからの情報を含み得る。２９０８では、ＡＲシステムは、ユーザの環境からの情報をパス可能世界モデルの中にアップロードする。２９１０では、アップロードされた情報に基づいて、ＡＲシステムは、ユーザの位置に関連付けられたパス可能世界をユーザの個々のＡＲシステムにレンダリングする。
本情報は、仮想コンテンツが、コヒーレント様式でユーザの実環境と有意義に相互作用することを可能にする。例えば、仮想「モンスタ」が、実世界の特定の建物から生じるようにレンダリングされてもよい。または、別の実施例では、ユーザは、友人（同様に、ＡＲシステムを装着している）が同一物理座標内で仮想オブジェクトを見つけるように、実世界の物理座標に関係する仮想オブジェクトを残してもよい。そのような能力（およびより多くのもの）を可能にするために、ＡＲシステムが、常時、パス可能世界にアクセスし、情報を読み出し、アップロードすることが重要である。パス可能世界は、物理空間の実座標に関係する仮想および／またはデジタルコンテンツをレンダリングする際に必ず利用される、実空間の持続的デジタル表現を含むことを理解されたい。ＡＲシステムは、実世界および／または仮想世界の座標を維持し得ることを理解されたい。いくつかの実施形態では、第三者は、実世界のマップ（例えば、座標）を維持してもよく、ＡＲシステムは、世界の実オブジェクトに関係する仮想コンテンツをレンダリングするために、マップを検討し、１つ以上のパラメータを決定してもよい。
パス可能世界モデル自体は、ユーザに表示されるコンテンツをレンダリングしないことを理解されたい。むしろ、これは、クラウド内の実世界の持続的デジタル表現を動的に読み出し、更新する高レベル概念である。１つ以上の実施形態では、導出された幾何学的情報は、ゲームエンジン上にロードされ、これは、次いで、パス可能世界に関連付けられたコンテンツをレンダリングする。したがって、ユーザが特定の空間内に居るかどうかにかかわらず、その特定の空間は、デジタル表現を任意のユーザによってアクセスされ得るクラウド内に有する。パス可能世界の本断片は、空間の物理幾何学形状および空間の画像についての情報、空間を占有する種々のアバタについての情報、仮想オブジェクトについての情報、ならびに他の様々な情報を含み得る。
本明細書にさらに詳細に説明されるように、１つ以上のオブジェクト認識器は、パス可能世界モデルを検証または「クロール」し、パラメータ幾何学形状に属する点をタグ付けしてもよい。パラメータ幾何学形状、点、および記述子は、パス可能世界モデルの中にパッケージ化され、物理世界または環境の一部に対応する情報の短待ち時間パスまたは通信を可能にしてもよい。１つ以上の実施形態では、ＡＲシステムは、２つの階層構造を実装することができ、パス可能世界モデルは、第１の階層において、高速後処理を可能にするが、次いで、その枠組みの中には、第２の階層（例えば、高速特徴）がある。１つ以上の実施形態では、第２の階層構造は、フレーム毎ベースの３次元（３Ｄ）特徴マッピングを行うことによって、分解能を増加させることができる。
図３０は、オブジェクト認識器を通してオブジェクトを認識する例示的方法３０００を図示する。３００２では、ユーザが部屋の中に歩いていくと、ユーザの個々のＡＲシステムは、ユーザの周囲についての情報（例えば、画像、センサ情報、姿勢タグ付けされた画像等）を複数の視点から捕捉する。３００４では、３Ｄ点の集合が、１つ以上の捕捉された画像から抽出されてもよい。例えば、ユーザが部屋のある区分の中に歩いていくまでに、ユーザの個々のＡＲシステムは、周囲についての多数のキーフレームおよび姿勢タグ付けされた画像をすでに捕捉している（図２８に示される実施形態に類似する）。１つ以上の実施形態では、各キーフレームは、周囲内のオブジェクトの深度および色についての情報を含んでもよいことを理解されたい。
１つ以上の実施形態では、オブジェクト認識器（ローカルまたはクラウド内のいずれか）は、画像区画化技法を使用して、１つ以上のオブジェクトを見つけてもよい。異なるオブジェクトが、開発者によって書き込まれ、その特定のオブジェクトを認識するようにプログラムされたその独自のオブジェクト認識器によって認識され得ることを理解されたい。例証目的のために、以下の実施例は、オブジェクト認識器がドアを認識すると仮定するであろう。オブジェクト認識器は、キーフレームならびに複数のキーフレームから得られた２Ｄおよび３Ｄ特徴点を含む、空間の姿勢タグ付けされた画像を利用し、本情報および空間の幾何学形状を使用して、１つ以上のオブジェクト（例えば、ドア）を認識する、自律的および／またはアトミックなソフトウェアオブジェクトまたは「ロボット」であってもよい。
複数のオブジェクト認識器が、同時に、データの集合に起動されてもよく、複数のオブジェクト認識器は、相互に独立して起動してもよいことを理解されたい。オブジェクト認識器は、オブジェクトの２Ｄ画像（２Ｄカラー情報等）、３Ｄ画像（深度情報）を求め、また、３Ｄ低密度点を求め、世界の幾何学的座標フレーム内のオブジェクトを認識することを理解されたい。
次に、３００６では、オブジェクト認識器は、２Ｄ区画化された画像特徴と低密度３Ｄ点を相関させ、２Ｄ／３Ｄデータ融合を使用して、オブジェクト構造およびオブジェクトについての１つ以上の特性を導出してもよい。例えば、オブジェクト認識器は、キーフレームに対するドアの具体的幾何学形状を識別してもよい。次に、３００８では、オブジェクト認識器は、オブジェクトの幾何学形状をパラメータ化する。例えば、オブジェクト認識器は、意味論的情報をオブジェクトの幾何学的基本要素（例えば、ドアは、ヒンジを有する、ドアは、９０度回転することができる等）に結び付けてもよい。または、オブジェクト認識器は、ドアのサイズを縮小し、オブジェクトの残りを周囲内に一致させてもよい等である。
３０１０では、ＡＲシステムは、オブジェクトのパラメータ幾何学形状をクラウドに同期化させてもよい。次に、３０１２では、オブジェクト認識器は、幾何学的およびパラメータ情報をパス可能世界モデル中に再挿入してもよい。例えば、オブジェクト認識器は、ドアの角度を動的に推定し、それを世界の中に挿入してもよい。したがって、オブジェクト認識器の使用は、常時、ドアの角度またはドアの移動についての情報をリアルタイムで捕捉することを要求するのではなく、オブジェクト認識器が、記憶されたパラメータ情報を使用して、ドアの移動または角度を推定するため、システムが計算パワーを節約することを可能にすると予期され得る。これは、システムが、必ずしも、クラウドサーバ内の情報に依拠せずに、個々のＡＲシステムの計算能力に基づいて、独立して機能することを可能にする。本情報は、仮想コンテンツが認識されたドアに関係して適切に表示され得るように、クラウドに更新され、他のＡＲシステムに伝送されてもよいことを理解されたい。
前述で概略されたように、オブジェクト認識器は、低密度点（例えば、必ずしも、高密度点クラウドではない）、姿勢がタグ付けされた画像、および幾何学形状を取り込み、結び付けられた意味論を有する、パラメータ幾何学形状を生成する、アトミックな自律的ソフトウェアおよび／またはハードウェアモジュールである。意味論は、分類上の記述子、例えば、「壁」、「椅子」、「Ａｅｒｏｎ（登録商標）椅子」、および分類上の記述子に関連付けられた特性または特徴の形態をとってもよい。例えば、テーブル等の分類上の記述子は、「他のオブジェクトを支持することができる、平坦水平表面を有する」等の関連付けられた説明を有してもよい。存在論を前提として、オブジェクト認識器は、画像、点、随意に、他の幾何学形状を、意味（例えば、意味論）を有する幾何学形状に変換する。
個々のＡＲシステムは、実世界環境内で動作することが意図されるため、点は、低密度の統計的に関連する自然特徴を表す。自然特徴は、機械視覚認識の目的のために、オブジェクトに追加（例えば、印刷、彫刻、または標識）される人工特徴とは対照的に、オブジェクトに固有のもの（例えば、縁、孔）である。点は、必ずしも、ヒトに可視である必要はない。点は、点特徴、例えば、線特徴および高次元特徴に限定されないことを理解されたい。
１つ以上の実施形態では、オブジェクト認識器は、タイプ１−基本オブジェクト（例えば、壁、カップ、椅子）と、タイプ２−詳細なオブジェクト（例えば、Ａｅｒｏｎ（登録商標）椅子、私の壁等）の２つのタイプにカテゴリ化され得る。いくつかの実装では、タイプ１認識器は、クラウド全体を横断して起動する一方、タイプ２認識器は、以前に見つけたタイプ１データに対して起動される（例えば、Ａｅｒｏｎ（登録商標）椅子に対して全椅子を検索する）。１つ以上の実施形態では、オブジェクト認識器は、オブジェクトの固有の特性を使用し、オブジェクト識別を促進してもよい。または、他の実施形態では、オブジェクト認識器は、実装を促進するために、オブジェクト間の存在論関係を使用してもよい。例えば、オブジェクト認識器は、窓が壁の「中」にあり得るという事実を使用し、窓のインスタンスの認識を促進してもよい。
１つ以上の実施形態では、オブジェクト認識器は、バンドル化、対合、または１つ以上のアプリケーションと論理的に関連付けられてもよい。例えば、「カップファインダ」オブジェクト認識器は、物理空間内のカップの存在を識別することが有用となるであろう、１つ、２つ、またはそれを上回るアプリケーションに関連付けられてもよい。例えば、コーヒー会社は、コーヒー会社によって提供されるカップの認識を可能にする、その独自の「カップファインダ」アプリケーションを作成してもよい。これは、コーヒー会社に関連する仮想コンテンツ／広告等の配信を可能にし得、直接および／または間接的に、コーヒー会社への関わりまたは関心を促し得る。
アプリケーションは、定義された認識可能視覚的データまたはモデルに論理的に接続される、もしくはそれに関連付けられることができる。例えば、画像内の任意のＡｅｒｏｎ（登録商標）椅子の検出に応答して、ＡＲシステムは、Ａｅｒｏｎ（登録商標）椅子の製造業者および／または販売者であるＨｅｒｍａｎ Ｍｉｌｌｅｒ Ｃｏｍｐａｎｙからのアプリケーションを呼び出す、または実行する。同様に、画像内のＳｔａｒｂｕｃｋｓ（登録商標）の標識またはロゴの検出に応答して、ＡＲシステムは、Ｓｔａｒｂｕｃｋｓ（登録商標）アプリケーションを呼び出す、または実行する。
さらに別の実施例では、ＡＲシステムは、一般的壁ファインダオブジェクト認識器のインスタンスを採用してもよい。一般的壁ファインダオブジェクト認識器は、壁についての詳細にかかわらず、画像情報内の壁のインスタンスを識別する。したがって、一般的壁ファインダオブジェクト認識器は、画像データ内に壁を構成する、垂直に配向された表面を識別し得る。ＡＲシステムはまた、一般的壁ファインダと別個かつ異なる、具体的壁ファインダオブジェクト認識器のインスタンスを採用してもよい。
具体的壁ファインダオブジェクト認識器は、画像データ内で壁を構成し、一般的壁のもの以外の１つ以上の具体的特性を有する、垂直に配向された表面を識別する。例えば、所与の具体的壁は、定義された位置における１つ以上の窓と、定義された位置における１つ以上のドアとを有し得、定義された塗料色を有し得、壁から吊架された絵画を有し得る等であって、具体的壁を他の壁と視覚的に区別する。そのような特徴は、具体的壁ファインダオブジェクト認識器が、特定の壁を識別することを可能にする。例えば、具体的壁ファインダオブジェクト認識器の１つのインスタンスは、ユーザのオフィスの壁を識別してもよい。具体的壁ファインダオブジェクト認識器の他のインスタンスは、ユーザのリビングルームまたはベッドルームのそれぞれの壁を識別してもよい。
具体的オブジェクト認識器は、一般的オブジェクト認識器から自立してもよい。例えば、具体的壁ファインダオブジェクト認識器は、一般的壁ファインダオブジェクト認識器によって生成される任意の情報を採用せずに、一般的壁ファインダオブジェクト認識器から完全に独立して起動してもよい。代替として、具体的（例えば、より精緻化された）オブジェクト認識器は、より一般的オブジェクト認識器によって以前に見つけられたオブジェクトに対してネスト化されて起動されてもよい。例えば、一般的および／または具体的ドアファインダオブジェクト認識器は、ドアが壁内にあるはずであるため、一般的および／または具体的壁ファインダオブジェクト認識器によって見つけられた壁に対して起動してもよい。同様に、一般的および／または具体的窓ファインダオブジェクト認識器は、窓が壁の「中」にあるはずであるため、一般的および／または具体的壁ファインダオブジェクト認識器によって見つけられた壁に対して起動してもよい。
１つ以上の実施形態では、オブジェクト認識器は、オブジェクトの実在または存在を識別し得るだけではなく、また、オブジェクトに関連付けられた他の特性を識別してもよい。例えば、一般的または具体的ドアファインダオブジェクト認識器は、ドアが、ヒンジ付きまたはスライド式であるかどうか、ヒンジまたはスライドが位置するかどうか、ドアが現在開放または閉鎖位置にあるかどうか、および／またはドアが透明または不透明であるかどうか等、ドアのタイプを識別してもよい。
前述のように、各オブジェクト認識器は、アトミックである、すなわち、オブジェクト認識器は、自発的、自律的、非同期的、かつ本質的にブラックボックスソフトウェアオブジェクトである。これは、オブジェクト認識器が、コミュニティ構築されることを可能にする。開発者は、オブジェクト認識器を構築するように動機付けされてもよい。例えば、オブジェクト認識器のためのオンライン市場またはコレクションポイントが、確立されてもよい。オブジェクト認識器開発者は、他のオブジェクト認識器またはアプリケーション開発者によって開発されたアプリケーションとリンクまたは関連付けるために、オブジェクト認識器をポストすることが可能にされてもよい。
種々の他の報奨も同様に、提供されてもよい。また、例えば、報奨は、オブジェクト認識器がアプリケーションと論理的に関連付けられた回数に基づいて、および／またはオブジェクト認識器が論理的に関連付けられたアプリケーションの配信総数に基づいて、オブジェクト認識器開発者または作者に提供されてもよい。さらなる実施例として、報奨は、オブジェクト認識器がオブジェクト認識器と論理的に関連付けられたアプリケーションによって使用された回数に基づいて、オブジェクト認識器開発者または作者に提供されてもよい。報奨は、１つ以上の実施形態では、金銭による報奨であってもよい。他の実施形態では、報奨は、有料コンテンツのサービスまたは媒体へのアクセスの提供、および／または提供するサービス、媒体、または商品を取得するためのクレジットの提供を含んでもよい。
例えば、任意の数の別個の一般的および／または具体的オブジェクト認識器をインスタンス化可能であろう。いくつかの実施形態は、非常に多数の一般的および具体的オブジェクト認識器を要求してもよい。これらの一般的および／または具体的オブジェクト認識器は全て、同一データに対して起動されてもよい。前述のように、いくつかのオブジェクト認識器は、本質的に、相互の上部に層化されるように、ネスト化されることができる。
１つ以上の実施形態では、制御プログラムは、種々のオブジェクト認識器の選択、使用、または動作を制御し、例えば、その使用または動作を仲裁してもよい。いくつかのオブジェクト認識器は、異なる領域内に設置され、オブジェクト認識器が相互に重複しないことを確実にしてもよい。前述のように、オブジェクト認識器は、個々のＡＲシステムのベルトパックにおいてローカルで起動してもよく、もしくは１つ以上のクラウドサーバ上で起動されてもよい。
（オブジェクト認識器のリングバッファ）
図３１は、例証される実施形態の１つによる、オブジェクト認識器のリングバッファ３１００を示す。ＡＲシステムは、オブジェクト認識器をリング型トポロジ内に編成し、例えば、低ディスク読取利用を達成してもよい。種々のオブジェクト認識器は、リング上またはそれに沿って着座し、全て、並行して起動してもよい。パス可能世界モデルデータ（例えば、壁、天井、床）は、１つ以上の実施形態では、リングを通して起動されてもよい。データが、通り過ぎるにつれて、各オブジェクト認識器は、オブジェクト認識器が認識するオブジェクトに関連するそのデータを収集する。いくつかのオブジェクト認識器は、大量のデータを収集する必要があり得る一方、その他は、少量のデータのみを収集する必要があり得る。それぞれのオブジェクト認識器は、要求するデータは何でも収集し、前述の同一様式で結果を返す。
図３１は、例証される実施形態の１つによる、オブジェクト認識器のリングバッファ３１００を示す。ＡＲシステムは、オブジェクト認識器をリング型トポロジ内に編成し、例えば、低ディスク読取利用を達成してもよい。種々のオブジェクト認識器は、リング上またはそれに沿って着座し、全て、並行して起動してもよい。パス可能世界モデルデータ（例えば、壁、天井、床）は、１つ以上の実施形態では、リングを通して起動されてもよい。データが、通り過ぎるにつれて、各オブジェクト認識器は、オブジェクト認識器が認識するオブジェクトに関連するそのデータを収集する。いくつかのオブジェクト認識器は、大量のデータを収集する必要があり得る一方、その他は、少量のデータのみを収集する必要があり得る。それぞれのオブジェクト認識器は、要求するデータは何でも収集し、前述の同一様式で結果を返す。
例証される実施形態では、パス可能世界データ３１１６は、リングを通して起動する。時計回りに開始し、一般的壁オブジェクト認識器３１０２が、最初に、パス可能世界データ３１１６上で起動され得る。一般的壁オブジェクト認識器３１０２は、壁３１１８のインスタンスを認識し得る。次に、具体的壁オブジェクト認識器３１０４が、パス可能世界データ３１１６上で起動し得る。同様に、テーブルオブジェクト認識器３１０６および一般的椅子オブジェクト認識器３１０８が、パス可能世界データ３１１６上で起動され得る。
具体的Ａｅｒｏｎ（登録商標）オブジェクト認識器３１１０等の具体的オブジェクト認識器もまた、データ上で起動され、Ａｅｒｏｎ椅子３１２０のインスタンスの認識に成功し得る。１つ以上の実施形態では、より大きいまたはより多くの一般的オブジェクト認識器が、データを最初に検証してもよく、より小さくかつより詳細な認識器が、より大きいものが起動された後にデータに目を通してもよい。リングを進むことによって、カップオブジェクト認識器３１１２およびフォークオブジェクト認識器３１１４が、パス可能世界データ３１１６上で起動されてもよい。
（パス可能世界内のアバタ）
パス可能世界モデルの延長として、オブジェクトだけが、認識されるのではなく、実世界の他のユーザ／人々も、認識されてもよく、仮想オブジェクトとしてレンダリングされてもよい。例えば、前述のように、第１のユーザの友人が、第１のユーザのＡＲシステムにおいてアバタとしてレンダリングされてもよい。
パス可能世界モデルの延長として、オブジェクトだけが、認識されるのではなく、実世界の他のユーザ／人々も、認識されてもよく、仮想オブジェクトとしてレンダリングされてもよい。例えば、前述のように、第１のユーザの友人が、第１のユーザのＡＲシステムにおいてアバタとしてレンダリングされてもよい。
いくつかの実装では、ユーザを適切に模倣するアバタをレンダリングするために、ユーザは、例えば、所望のまたは規定の移動の集合を通して移動させることによって、ＡＲシステムを訓練してもよい。それに応答して、ＡＲシステムは、アバタシーケンスを生成してもよく、アバタは、例えば、アバタを動画化することによって、移動を複製する。したがって、ＡＲシステムは、ユーザの画像を捕捉または受信し、捕捉された画像内のユーザの移動に基づいて、アバタの動画を生成する。ユーザは、例えば、１つ以上のセンサを装着することによって装備されてもよい。１つ以上の実施形態では、ＡＲシステムは、その個々のＡＲシステムの種々のセンサによって捕捉されたデータに基づいて、ユーザの頭部、眼、および／または手の姿勢の場所を把握する。
１つ以上の実施形態では、ＡＲシステムは、ユーザが、所定の移動および／またはパターンに基づいて、アバタを「設定」し、アバタを「訓練」することを可能にしてもよい。ユーザは、例えば、単に、訓練目的のために、いくつかの運動を行動で示すことができる。１つ以上の実施形態では、ＡＲシステムは、ユーザの身体の残りの逆運動学分析を行ってもよく、逆運動学分析に基づいて、動画を作成してもよい。
１つ以上の実施形態では、パス可能世界はまた、空間に居る種々のアバタについての情報を含み得る。全てのユーザが、一実施形態では、アバタとしてレンダリングされてもよいことを理解されたい。または、個々のＡＲシステムを遠隔場所から動作させているユーザは、アバタを作成し、同様に、特定の空間をデジタル的に占有することができる。いずれの場合も、パス可能世界は、静的データ構造ではなく、むしろ、常時、情報を受信するため、アバタのレンダリングおよび空間の中へのユーザの遠隔存在は、ユーザの個々のＡＲシステムとのユーザの相互作用に基づき得る。したがって、カメラによって捕捉された捕捉されたキーフレームに基づいて、常時、アバタの移動を更新するのではなく、アバタは、その個々の拡張現実デバイスとのユーザの相互作用に基づいて、レンダリングされてもよい。有利には、これは、個々のＡＲシステムが、データをクラウドから読み出す必要性を低減させ、代わりに、システムが、アバタ動画に関わる多数の計算タスクを個々のＡＲシステム自体に行うことを可能にする。
より具体的には、ユーザの個々のＡＲシステムは、空間内のユーザの頭部の姿勢および配向についての情報、ユーザの手の移動等についての情報、ユーザの眼および眼の視線についての情報、ユーザによって使用されている任意のトーテムについての情報を含む。したがって、ユーザの個々のＡＲシステムは、パス可能世界モデルに伝送される、特定の空間内でのユーザの相互作用についての情報をすでにたくさん保持している。本情報は、次いで、ユーザのためのアバタを作成するめに確実に使用され、アバタがその空間の他のアバタまたはユーザと通信するのに役立ち得る。１つ以上の実施形態では、第三者カメラは、アバタを動画化するために必要ではなくてもよいことを理解されたい。むしろ、アバタは、ユーザの個々のＡＲシステムに基づいて、動画化され、次いで、クラウドに伝送され、ＡＲシステムの他のユーザによって視認／相互作用され得る。
１つ以上の実施形態では、ＡＲシステムは、ＡＲシステムのセンサを通して、ユーザに関するデータの集合を捕捉する。例えば、加速度計、ジャイロスコープ、深度センサ、ＩＲセンサ、画像ベースのカメラ等が、頭部搭載式システムに対するユーザの移動を決定してもよい。本移動は、プロセッサを通して計算され、１つ以上のアルゴリズムを通して翻訳され、選定されたアバタにおいて類似移動を生成してもよい。アバタは、１つ以上の実施形態では、ユーザによって選択されてもおい。または、他の実施形態では、アバタは、単に、アバタを視認している別のユーザによって選択されてもよい。または、アバタは、単に、ユーザ自体の仮想のリアルタイムかつ動的な画像であってもよい。
ユーザに関する捕捉されたデータの集合（例えば、移動、表情、移動の方向、移動のスピード、物理属性、頭部に対する身体部分の移動等）に基づいて、ユーザに対するセンサの姿勢（例えば、個々のＡＲシステムのセンサ）が、決定されてもよい。姿勢（例えば、位置および配向）は、システムが、正確に翻訳／変換され得るように、移動／データの集合が捕捉された視点を決定することを可能にする。本情報に基づいて、ＡＲシステムは、ユーザの移動（例えば、ベクトルを通して）に関連するパラメータの集合を決定し、計算された移動を用いて、所望のアバタを動画化してもよい。
任意の類似方法が、アバタを動画化し、ユーザの移動を模倣するために使用されてもよい。ユーザの移動およびアバタの移動（例えば、別のユーザの個々のＡＲデバイスに表示されている仮想画像内における）は、移動が、可能な限り短時間で捕捉され、アバタに転送されるように、協調されることを理解されたい。理想的には、ユーザの捕捉された移動とアバタの動画との間の時間遅延は、最小限となるべきである。
例えば、ユーザが、現在、会議室内に居ないが、会議室における会議に参加するために、アバタをその空間の中に挿入することを所望する場合、ＡＲシステムは、その独自のシステムとのユーザの相互作用についての情報を得て、それらの入力を使用して、パス可能世界モデルを通して、アバタを会議室の中にレンダリングする。アバタは、ユーザ自身が会議に参加しているように、アバタがユーザ自身の画像の形態をとるようレンダリングされてもよい。または、ユーザの選好に基づいて、アバタは、ユーザによって選定される任意の画像であってもよい。例えば、ユーザは、会議室の空間の周囲を飛ぶ鳥として自身をレンダリングしてもよい。
同時に、会議室についての情報（例えば、キーフレーム、点、姿勢がタグ付けされた画像、会議室内の人々のアバタ情報、認識されたオブジェクト等）は、仮想コンテンツとして会議室内に現在居ないユーザにレンダリングされてもよい。物理空間では、システムは、幾何学的に位置合わせされる、捕捉されたキーフレームを有してもよく、次いで、点を捕捉されたキーフレームから導出してもよい。前述のように、これらの点に基づいて、システムは、姿勢を計算してもよく、オブジェクト認識器を起動させてもよく、キーフレームの点もまた、それらに結び付けられた意味論的情報を有するように、パラメータ幾何学形状をキーフレームの中に再挿入してもよい。したがって、全ての本幾何学的および意味論的情報を用いて、会議室は、現時点で、他のユーザと共有され得る。例えば、会議室場面は、ユーザのテーブル上にレンダリングされてもよい。したがって、会議室にカメラが存在しない場合でも、パス可能世界モデルは、以前のキーフレーム等を通して収集される情報を使用して、会議室についての情報を他のユーザに伝送し、他の空間内の他のユーザのために、部屋の幾何学形状を再作成可能である。
（トポロジマップ）
パス可能世界モデルの一体部分は、実世界の非常に細部の面積のマップを作成することである。例えば、物理オブジェクトに関係する仮想コンテンツをレンダリングするために、非常に詳細な位置特定が、要求される。そのような位置特定は、単に、ＧＰＳまたは従来の場所検出技法を通して達成されない場合がある。例えば、ＡＲシステムは、ユーザが居る物理場所の座標のみを要求するのではなく、例えば、ユーザが位置する建物の部屋を正確に把握する必要があり得る。本情報に基づいて、ＡＲシステムは、その部屋に対するデータ（例えば、部屋内の実オブジェクトの具体的幾何学形状、部屋に対するマップ点、部屋の幾何学的情報等）を読み出し、識別された部屋の実オブジェクトに関係する仮想コンテンツを適切に表示してもよい。しかしながら、同時に、本精密な粒度の細かい位置特定は、あまりに多くのリソースが不必要に消費されないように、費用効果的様式で行われてもよい。
パス可能世界モデルの一体部分は、実世界の非常に細部の面積のマップを作成することである。例えば、物理オブジェクトに関係する仮想コンテンツをレンダリングするために、非常に詳細な位置特定が、要求される。そのような位置特定は、単に、ＧＰＳまたは従来の場所検出技法を通して達成されない場合がある。例えば、ＡＲシステムは、ユーザが居る物理場所の座標のみを要求するのではなく、例えば、ユーザが位置する建物の部屋を正確に把握する必要があり得る。本情報に基づいて、ＡＲシステムは、その部屋に対するデータ（例えば、部屋内の実オブジェクトの具体的幾何学形状、部屋に対するマップ点、部屋の幾何学的情報等）を読み出し、識別された部屋の実オブジェクトに関係する仮想コンテンツを適切に表示してもよい。しかしながら、同時に、本精密な粒度の細かい位置特定は、あまりに多くのリソースが不必要に消費されないように、費用効果的様式で行われてもよい。
この目的を達成するために、ＡＲシステムは、ＧＰＳまたは抽出された点および姿勢タグ付けされた画像から作成された詳細な幾何学的マップ（例えば、幾何学的点は、非常に具体的であり、故に、最もコストがかかり得る）を読み出す代わりに、位置特定目的のために、トポロジマップを使用してもよい。１つ以上の実施形態では、トポロジマップは、クラウドから容易にアクセス可能であって、空間のフィンガプリントおよび種々の空間間の関係のみを提示する、実世界内の物理空間の簡略化された表現である。トポロジマップについてのさらなる詳細は、以下にさらに提供されるであろう。
１つ以上の実施形態では、ＡＲシステムは、トポロジマップをパス可能世界モデル上に層化し、例えば、ノードを位置特定してもよい。トポロジマップは、種々のタイプの情報、例えば、空間内の点クラウド、画像、オブジェクト、全地球測位システム（ＧＰＳ）データ、Ｗｉ−Ｆｉデータ、ヒストグラム（例えば、部屋のカラーヒストグラム）、受信された信号強度（ＲＳＳ）データ等をパス可能世界モデル上に層化することができる。これは、情報の種々の層（例えば、より高レベル層と相互作用するための情報のより詳細な層）が、容易に読み出され得るように、相互に関連して設置されることを可能にする。本情報は、フィンガプリントデータと見なされ得る。言い換えると、場所（例えば、特定の部屋）に一意であるために十分に具体的に設計される。
前述のように、種々のユーザ間で確実にパスされ得る完全仮想世界を作成するために、ＡＲシステムは、異なるタイプのユーザの周囲についての情報（例えば、マップ点、特徴、姿勢タグ付けされた画像、場面内のオブジェクト等）を捕捉する。本情報は、必要に応じて読み出され得るように、処理され、クラウド内に記憶される。前述のように、パス可能世界モデルは、ラスタ画像、点および記述子クラウド、ならびに多角形／幾何学的定義（本明細書では、パラメータ幾何学形状と称される）の組み合わせである。したがって、ユーザの個々のＡＲシステムを通して捕捉された非常に多くの情報が、仮想世界を作成する際に、高品質および正確度を可能にすることを理解されたい。
言い換えると、種々のＡＲシステム（例えば、ユーザ特有の頭部搭載式システム、部屋ベースのセンサシステム等）は、常時、それぞれのＡＲシステムの即時環境に対応するデータを捕捉しているため、任意の時点における実世界についての非常に詳細かつ正確な情報が、高度な確実性を伴って把握され得る。本量の情報は、位置特定目的のために、ＡＲアプリケーションのホストのために非常に有用であるが、ユーザに最も関連するパス可能世界の断片を見つけるために、その多くの情報を通してソートすることは、非常に非効率的であって、貴重な処理能力を犠牲にする。
この目的を達成するために、ＡＲシステムは、本質的に、特定の場面または特定の箇所についてのあまり粒度の細かくない情報を提供する、トポロジマップを作成する。１つ以上の実施形態では、トポロジマップは、全地球測位システム（ＧＰＳ）データ、Ｗｉ−Ｆｉデータ、ヒストグラム（例えば、部屋のカラーヒストグラム）、受信された信号強度（ＲＳＳ）データ等を通して導出されてもよい。例えば、トポロジマップは、種々の部屋／面積／空間のヒストグラム（例えば、カラーヒストグラム）によって作成され、トポロジマップ上のノードに縮小されてもよい。例えば、ユーザが部屋または空間の中に歩いていくと、ＡＲシステムは、単一画像（または他の情報）を撮影し、画像のカラーヒストグラムを構築してもよい。あるレベルでは、特定の空間のヒストグラムは、経時的に大部分が一定であろうことを理解されたい（例えば、部屋の壁の色、オブジェクトの色等）。言い換えると、各部屋または空間は、任意の他の部屋または箇所と異なる、別個のシグネチャを有する。本一意のヒストグラムは、他の空間／面積の他のヒストグラムと比較され、識別されてもよい。本時点で、ＡＲシステムは、ユーザが居る部屋を把握しており、残りの粒度の細かい情報は、容易にアクセスされ、ダウンロードされてもよい。
したがって、ヒストグラムは、種々のカメラ（キーフレーム）によって捕捉された全特徴および点についての特定の情報を含まないであろうが、システムは、ヒストグラムに基づいて、ユーザが居る場所を直ちに検出し、次いで、その特定の部屋または箇所に関連付けられた全てのより特定の幾何学的情報を読み出し得る。言い換えると、そのパス可能世界モデルを包含する、膨大な量の幾何学的およびパラメータ情報を通してソートするのではなく、トポロジマップは、ＡＲユーザを位置特定するための迅速かつ効率的方法を可能にする。位置特定に基づいて、ＡＲシステムは、識別された場所に最も関連する、キーフレームおよび点を読み出す。例えば、システムは、ユーザが建物の会議室に居ることを決定した後、システムは、次いで、クラウド内に記憶された全ての幾何学的情報を通して検索するのではなく、会議室に関連付けられた全てのキーフレームおよび点を読み出してもよい。
ここで図３２を参照すると、トポロジマップ３２００の例示的実施形態が、提示される。前述のように、トポロジマップ３２００は、ノード３２０２およびノード３２０２間の接続３２０４（例えば、接続線によって表される）のコレクションであり得る。各ノード３２０２は、別個のシグネチャまたはフィンガプリント（例えば、ＧＰＳ情報、カラーヒストグラムまたは他のヒストグラム、Ｗｉ−Ｆｉデータ、ＲＳＳデータ等）を有する、特定の場所（例えば、オフィス建物の会議室）を表し、線は、それらの間の接続を表し得る。接続は、地理的接続に関係しなくてもよく、むしろ、単に、共有デバイスまたは共有ユーザであってもよいことを理解されたい。例えば、第１のユーザは、第１のノードから第２のノードに歩いていってもよい。本関係は、ノード間の接続を通して表されてもよい。ＡＲユーザの数が増加するにつれて、ノードおよびノード間の接続もまた、比例して増加し、種々の場所についてのより精密な情報を提供するであろう。
いったんＡＲシステムが、トポロジマップのノードを識別すると、システムは、次いで、ノードに関する幾何学的情報の集合を読み出し、その空間の実オブジェクトに関係する仮想コンテンツの表示方法／場所を決定してもよい。したがって、トポロジマップを幾何学的マップ上に層化することは、特に、位置特定および関連情報のみをクラウドから効率的に読み出すことに有用である。
１つ以上の実施形態では、ＡＲシステムは、第１および第２の姿勢タグ付けされた画像として、グラフ理論的文脈において、同一場面の一部のそれぞれのカメラによって捕捉された２つの画像を表すことができる。本文脈におけるカメラは、異なる場面の画像を撮影する単一カメラを指し得る、または２つの異なるカメラであってもよいことを理解されたい。例えば、カメラの両方の視野内にある点であり得る、姿勢タグ付けされた画像間には、ある接続強度が存在する。１つ以上の実施形態では、クラウドベースのコンピュータは、そのようなグラフ（例えば、図３２のものに類似する幾何学的世界のトポロジ表現）を構築してもよい。グラフ内のノードおよびエッジの総数は、画像内の点の総数よりはるかに小さい。
より高いレベルの抽象化では、ＡＲシステムによって監視される他の情報が、ともにハッシュ化されることができる。例えば、クラウドベースのコンピュータは、全地球測位システム（ＧＰＳ）場所情報、Ｗｉ−Ｆｉ場所情報（例えば、信号強度）、物理空間のカラーヒストグラム、および／またはユーザの周囲の物理オブジェクトについての情報のうちの１つ以上のものをともにハッシュ化してもよい。より多くのデータ点が存在するほど、コンピュータは、統計的に、その空間に対して一意の識別子を有するであろう可能性が高い。この場合、空間は、統計的に定義された概念である。
実施例として、オフィスは、例えば、多数の点および二十数枚の姿勢タグ付けされた画像として表される、空間であってもよい。同一空間は、容易にハッシュ化され得る、ある数のノード（例えば、５、２５、１００、１０００等）のみを有するグラフとして、トポロジ的に表されてもよい。グラフ理論は、例えば、２つの空間間のアルゴリズム的に最短の経路として、接続性の表現を可能にする。
したがって、システムは、幾何学形状を暗黙的トポロジを有する姿勢タグ付けされた画像に変換することによって、具体的幾何学形状を抽象化する。システムは、情報の他の断片、例えば、カラーヒストグラムプロファイルおよびＷｉ−Ｆｉ信号強度を追加することによって、抽象化レベルをより高くする。これは、システムが、場所に関連付けられた幾何学形状の全てを理解または処理する必要なく、ユーザの実際の実世界場所を識別することをより容易にする。
図３３は、トポロジマップを構築する例示的方法３３００を図示する。最初に、３３０２では、ユーザの個々のＡＲシステムは、特定の場所の第１の視点から画像を捕捉してもよい（例えば、ユーザが建物の部屋の中に歩いていき、画像が、その視点から捕捉される）。３３０４では、カラーヒストグラムが、捕捉された画像に基づいて生成されてもよい。前述で論じられたように、システムは、任意の他のタイプの識別情報（例えば、Ｗｉ−Ｆｉデータ、ＲＳＳ情報、ＧＰＳデータ、窓の数等）を使用してもよいが、カラーヒストグラムが、例証目的のために、本実施例では使用される。
次に、３３０６では、システムは、カラーヒストグラムをクラウド内に記憶されたカラーヒストグラムのデータベースと比較することによって、ユーザの場所を識別するための検索を起動する。３３１０では、カラーヒストグラムがクラウド内に記憶された既存のカラーヒストグラムと一致するかどうかを決定するための決定が行われる。カラーヒストグラムが、カラーヒストグラムのデータベースの任意のカラーヒストグラムと一致しない場合、次いで、作製されたトポロジ内にノードとして記憶され得る３３１４。カラーヒストグラムが、データベースの既存のカラーヒストグラムに一致する場合、クラウド内にノードとして記憶される３３１２。カラーヒストグラムが、データベース内の既存のカラーヒストグラムと一致する場合、場所が、識別され、適切な幾何学的情報が、個々のＡＲシステムに提供される。
同一実施例を継続すると、ユーザは、別の部屋または別の場所の中に歩いていき得、そこで、ユーザの個々のＡＲシステムが、別の写真を撮影し、他の場所の別のカラーヒストグラムを生成する。カラーヒストグラムが、以前のカラーヒストグラムまたは任意の他のカラーヒストグラムと同一である場合、ＡＲシステムは、ユーザの場所を識別する。カラーヒストグラムが、記憶されたヒストグラムと同一ではない場合、別のノードが、トポロジマップ上に作成される。加えて、第１のノードおよび第２のノードは、同一ユーザ（または同一カメラ／同一の個々のユーザシステム）によって撮影されたため、２つのノードは、トポロジマップ内で接続される。
１つ以上の実施形態では、ＡＲシステムは、メッシュネットワーキング位置特定を採用してもよい。個々のＡＲシステムは、位置のネイティブ知識を有する。これは、トポロジマップの明示的構築を可能にし、接続は、前述のように、距離によって加重される。これは、ユーザが、ＡＲシステムによるメッシュネットワークアルゴリズムを最適化することを可能にする。したがって、ＡＲシステムは、その既知の絶対姿勢に基づいて、モバイル通信ルーティングを最適化することができる。ＡＲシステムは、機械視覚に加え、通信および位置特定の両方のために、超広帯域幅（ＵＷＢ）通信インフラストラクチャを使用することができる。
位置特定の補助に加え、トポロジマップはまた、幾何学的マップ内の誤差および／または逸失情報を改良／修復するために使用されてもよい。１つ以上の実施形態では、トポロジマップは、特定の箇所の幾何学的マップまたは幾何学的構成内でループ閉鎖歪みを見つけるために使用されてもよい。前述のように、任意の所与の場所または空間に対して、１つ以上のＡＲシステムによって撮影された画像（１人のユーザの個々のＡＲシステムまたは複数のユーザのＡＲシステムによって捕捉された複数の視野画像）は、特定の空間の多数のマップ点をもたらす。例えば、単一部屋は、種々のカメラ（または種々の位置に移動する１つのカメラ）の複数の視点を通して捕捉された数千のマップ点に対応し得る。
ＡＲシステムは、前述のように、マップ点を利用して、オブジェクトを認識し（オブジェクト認識器を通して）、実世界の種々のオブジェクトの幾何学形状のより包括的写真を記憶するために、パス可能世界モデルに追加する。１つ以上の実施形態では、種々のキーフレームから導出されるマップ点は、画像を捕捉したカメラの姿勢および配向を三角測量するために使用されてもよい。言い換えると、収集されたマップ点は、画像を捕捉するキーフレーム（例えば、カメラ）の姿勢（例えば、位置および配向）を推定するために使用されてもよい。
しかしながら、多数のマップ点およびキーフレームを前提として、マップ点に基づいて、キーフレーム位置の本計算内にいくつかの誤差（例えば、歪み）が必ず存在することを理解されたい。これらの歪みを考慮するために、ＡＲシステムは、バンドル調節を行ってもよい。バンドル調節は、マップ点およびキーフレームの精緻化または最適化を可能にし、幾何学的マップ内の歪みを最小限する。
例えば、図３４に図示されるように、例示的幾何学的マップが、提示される。図３４に示されるように、幾何学的マップは、全て相互に接続される、キーフレーム３４０２の集合であってもよい。キーフレーム３４０２は、種々のマップ点が幾何学的マップのために導出される、視点を表してもよい。例証される実施形態では、幾何学的マップの各ノードは、キーフレーム（例えば、カメラ）を表し、種々のキーフレームは、接続線３４０４を通して相互に接続される。
例証される実施形態では、異なるキーフレーム間の接続の強度は、接続線３４０４の太さによって表される。例えば、図３４に示されるように、ノード３４０２ａと３４０２ｂとの間の接続線は、ノード３４０２ａとノード３４０２ｆとの間の接続線と比較して、より太い接続線３４０４として描写される。ノード３４０２ａとノード３４０２ｄとの間の接続線はまた、接続線３４０２ｂとノード３４０２ｄとの間より太くなるように描写される。１つ以上の実施形態では、接続線の太さは、それらの間で共有される特徴またはマップ点の数を表す。例えば、第１のキーフレームおよび第２のキーフレームが、ともに近接する場合、それらは、多数のマップ点（例えば、ノード３４０２ａおよびノード３４０２ｂ）を共有し得、したがって、より太い接続線を用いて表され得る。当然ながら、幾何学的マップを表す他の方法も同様に、使用されてもよいことを理解されたい。
例えば、線の強度は、別の実施形態では、キーフレーム間の地理的近接に基づいてもよい。したがって、図３４に示されるように、各幾何学的マップは、多数のキーフレーム３４０２および相互へのその接続を表す。ここで、歪みが幾何学的マップの特定の点内で識別されたと仮定すると、バンドル調節が、歪みを歪み３４０６の識別された点から半径方向に押し出すことによって、歪みを軽減するために行われてもよい。歪みは、以下にさらに詳細に説明されるであろうように、歪み点から伝搬する波３４０８（例えば、ｎ＝１、ｎ＝２等）内で半径方向に押し出される。
以下の説明は、波伝搬バンドル調節を行う例示的方法を図示する。以下の全ての実施例は、波伝搬バンドル調節のみを参照し、他のタイプのバンドル調節も同様に、他の実施形態では、使用されてもよいことを理解されたい。最初に、特定の歪み点が、識別される。図３４の例証される実施形態では、中心（ノード３４０２ａ）を識別された歪み点と見なす。例えば、システムは、幾何学的マップの特定の点における歪みが特に大きい（例えば、残余誤差等）ことを決定してもよい。歪みは、２つの理由のうちの１つに基づいて識別されてもよい。１つ目は、最大残余誤差は、幾何学的マップに対して定義され得る。特定の点における残余誤差が、所定の最大残余誤差を上回る場合、バンドル調節が、開始されてもよい。２つ目は、バンドル調節は、以下にさらに説明されるであろうように、ループ閉鎖歪みの場合に（トポロジマップがマップ点の不整合を示すとき）開始され得る。
歪みが識別されると、ＡＲシステムは、歪み点から開始して、それを特定の歪み点を囲繞するノードのネットワークを通して半径方向に伝搬させ、誤差を均一に分布させる。例えば、例証される実施形態では、バンドル調節は、誤差を識別された歪み点の周囲のｎ＝１（識別された歪み点であるノード３４０２ａから１度の分離）まで分布させてもよい。例証される実施形態では、ノード３４０２ｂ−３４０２ｇは全て、歪み点ノード３４０２ａの周囲のｎ＝１波の一部である。
ある場合には、これは、十分であり得る。他の実施形態では、ＡＲシステムは、歪みをさらに伝搬させ歪みが均一に分布されるまで、歪みが半径方向にますます押し出されるように、歪みをｎ＝２（識別された歪み点であるノード３４０２ａから２度の分離）またはｎ＝３（識別された歪み点であるノード３４０２ａから３度の分離）まで押し出してもよい。したがって、バンドル調節を行うことは、幾何学的マップ内の歪みを低減させる重要な方法である。理想的には、歪みは、より優れた結果のために、ｎ＝２またはｎ＝３まで押し出される。
１つ以上の実施形態では、波は、より小さい漸増で伝搬されてもよい。例えば、波が歪み点の周囲のｎ＝２まで押し出された後、バンドル調節が、ｎ＝３とｎ＝２との間の面積内で行われ、半径方向に伝搬されることができる。波漸増を制御することによって、本反復波伝搬バンドル調節プロセスは、大量のデータ上で起動され、システム上の歪みを低減させることができる。随意の実施形態では、各波は一意であるため、波（例えば、バンドル調節された）によって触れられたノードは、波が幾何学的マップの調節された区分上に再伝搬しないように着色されてもよい。別の実施形態では、ノードは、同時波が幾何学的マップ内の異なる点から伝搬／生じ得るように着色されてもよい。
前述のように、トポロジマップをキーフレームおよびマップ点の幾何学的マップ上に層化することは、特に、ループ閉鎖歪みを見つける際に重要であり得る。ループ閉鎖歪みは、整合されるべきであるが、不整合である、異なる時間に捕捉されたマップ点間の相違を指す。例えば、ユーザがブロックの周囲を歩き、同一箇所に戻る場合、第１のキーフレームの位置から導出されたマップ点および収集されたマップ点から外挿される最後のキーフレームの位置から導出されたマップ点は、理想的には、同じであるはずである。しかしながら、異なるマップ点に基づく姿勢（キーフレームの位置）の計算に固有の歪みを前提として、多くの場合、誤差が存在し、システムは、第１のキーフレームから推定されるキー点が最後のキーフレームから導出されるマップ点と幾何学的に整合されないため、ユーザが同一位置に戻ったことを認識しない。これは、ループ閉鎖歪みの実施例であり得る。
この目的を達成するために、トポロジマップが、幾何学的マップ内のループ閉鎖歪みを見つけるために使用されてもよい。以前の実施例に戻って参照すると、トポロジマップと幾何学的マップの併用は、トポロジマップが、ユーザが開始点に戻ったことを示し得るため（例えば、カラーヒストグラムに基づいて）、ＡＲシステムが幾何学的マップ内のループ閉鎖歪みを認識することを可能にする。例えば、図３５の層化されたマップ３５００を参照すると、トポロジマップのノード（例えば、３５０４ａおよび３５０４ｂ）は、幾何学的マップのノード（例えば、３５０２ａ−３５０２ｆ）の上部に層化される。図１６に示されるように、トポロジマップは、幾何学的マップの上部に設置されるとは、キーフレームＢ（ノード３５０２ｇ）がキーフレームＡ（ノード３５０２ａ）と同一であることを示唆し得る。これに基づいて、ループ閉鎖歪みは、検出され得、システムは、キーフレームＡおよびＢが同一ノード内でともにより近接すべきであることを検出し、システムは、次いで、バンドル調節を行ってもよい。したがって、ループ閉鎖歪みを識別したことによって、ＡＲシステムは、次いで、前述のもの等のバンドル調節技法を使用して、バンドル調節を識別された歪み点に行ってもよい。
トポロジマップおよび幾何学的マップの層化に基づいてバンドル調節を行うことは、システムが、システム内の全てのキーフレームを読み出す代わりに、バンドル調節が行われる必要があるキーフレームのみを読み出すことを確実にすることを理解されたい。例えば、ＡＲシステムが、トポロジマップに基づいて、ループ閉鎖歪みが存在することを識別する場合、システムは、単に、トポロジマップのその特定のノードまたは複数のノードに関連付けられたキーフレームを読み出し、幾何学的マップの全てのキーフレームではなく、それらのキーフレームのみにバンドル調節を行い得る。再び、これは、システムが、効率的となり、システムに不必要に負担をかけ得る、不必要情報を読み出すことをさせないことを可能にする。
ここで図３６を参照すると、トポロジマップに基づいてループ閉鎖歪みを補正するための例示的方法３６００が、説明される。３６０２では、システムは、幾何学的マップの上部に層化されたトポロジマップに基づいて、ループ閉鎖歪みを識別してもよい。いったんループ閉鎖歪みが識別されると、３６０４では、システムは、ループ閉鎖歪みが生じたトポロジマップのノードに関連付けられたキーフレームの集合を読み出してもよい。トポロジマップのそのノードのキーフレームを読み出した後、システムは、３６０６において、バンドル調節を幾何学的マップ内のその点で開始してもよい。３６０８では、歪みは、図３４に示される技法と同様に、識別された歪み点から伝搬され、ｎ＝１（次いで、ｎ＝２、ｎ＝３等）まで波内に半径方向に分布される。
仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、実世界に関係する仮想オブジェクトを正確に描写することが重要である。この目的を達成するために、前述のように、種々の頭部装着式ＡＲシステムから捕捉されたマップ点は、実世界の種々の点および特徴についての情報を伝達する新しい写真を追加することによって、常時、パス可能世界モデルに追加される。点および特徴に基づいて、前述のように、また、キーフレーム（例えば、カメラ等）の姿勢および位置を外挿することができる。これは、ＡＲシステムが特徴（２Ｄ点）およびマップ点（３Ｄ点）の集合を収集することを可能にするが、また、新しい特徴およびマップ点を見つけ、より正確なバージョンのパス可能世界をレンダリングすることが重要となり得る。
新しいマップ点および／または特徴を見つける方法の１つは、１つの画像の特徴を別の画像に対して比較することであり得る。各特徴は、それに結び付けられる標識または特徴記述子を有し得る（例えば、色、識別子等）。１つの写真内の特徴の標識と別の写真の比較は、環境内の自然特徴を一意に識別する方法の１つであり得る。例えば、それぞれ、約５００個の特徴を捕捉する、２つのキーフレームが存在する場合、１つのキーフレームの特徴と他のキーフレームを比較することは、新しいマップ点を決定するのに役立ち得る。しかしながら、これは、２つのみのキーフレームが存在するときに実行可能な解決策であり得るが、それぞれ、数百万個の点を捕捉する、複数のキーフレームが存在するとき、多くの処理パワーを消耗するという、非常に大きな検索問題となる。言い換えると、Ｍ個のキーフレームが存在し、それぞれ、Ｎ個の不一致特徴を有する場合、新しい特徴の検索は、ＭＮ２（Ｏ（ＭＮ２））の演算を伴う。残念ながら、これは、非常に大きな検索動作である。
そのような大きな検索動作を回避する、新しい点を見つけるアプローチの１つは、検索ではなく、レンダリングによるものである。言い換えると、Ｍ個のキーフレームの位置が既知であって、そのそれぞれがＮ個の点を有すると仮定すると、ＡＲシステムは、Ｍ個のキーフレームのＮ個の特徴からの線（または円錐）を投影し、種々の２Ｄ点の３Ｄ位置を三角測量してもよい。ここで図３７を参照すると、本特定の実施例では、６個のキーフレーム３７０２が存在し、線または光線が、６個のキーフレームからそれぞれのキーフレームから導出される点３７０４にレンダリングされる（グラフィックカードを使用して）。１つ以上の実施形態では、新しい３Ｄマップ点が、レンダリングされた線の交差点に基づいて、決定されてもよい。言い換えると、２つのレンダリングされた線が交差するとき、３Ｄ空間内のその特定のマップ点のピクセル座標は、１または０の代わりに、２であり得る。したがって、特定の点における線の交差点が大きい数であるほど、３Ｄ空間内の特定の特徴に対応するマップ点が存在する可能性がより高くなる。１つ以上の実施形態では、図３７に示されるような本交差点アプローチは、３Ｄ空間内の新しいマップ点を見つけるために使用されてもよい。
最適化目的のために、キーフレームから線をレンダリングするのではなく、三角錐が、代わりに、より正確な結果のために、キーフレームからレンダリングされ得ることを理解されたい。三角錐は、Ｎ個の特徴（例えば、３７０４）に対してレンダリングされた線が、三角錐の二等分線を表し、円錐の辺が、Ｎ番目の特徴の両側に投影されるように投影される。１つ以上の実施形態では、２つの辺縁に対する半角は、レンズマッピング機能をＮ番目の特徴の両辺に行う、カメラのピクセルピッチによって定義されてもよい。
円錐の内部は、二等分線が最も明るく、Ｎ番目の特徴の両辺の縁が０の集合となり得るように、陰影されてもよい。カメラバッファは、明るいスポットが新しい特徴の候補場所を表し得るが、カメラ分解能およびレンズ較正の両方を考慮するような総和バッファであってもよい。言い換えると、線ではなく、円錐を投影することは、あるキーフレームが、より近い距離に特徴を捕捉し得たその他より遠くにあるという事実を補償するのに役立ち得る。本アプローチでは、より遠くにあるキーフレームからレンダリングされた三角錐は、より近くにあるキーフレームからレンダリングされたものより大きくなる（かつ大半径を有する）であろう。総和バッファは、３Ｄマップ点を決定するために適用されてもよい（例えば、マップの最も明るいスポットは、新しいマップ点を表してもよい）。
本質的に、ＡＲシステムは、光線または円錐をあるＭ個の数の以前のキーフレーム内のＮ個の数の不一致特徴からＭ＋１個のキーフレームのテクスチャの中に投影し、キーフレーム識別子および特徴識別子をエンコードし得る。ＡＲシステムは、現在のキーフレーム内の特徴から別のテクスチャを構築し、第１のテクスチャを第２のテクスチャでマスクし得る。色は全て、制約のための検索に対する候補対合である。本アプローチは、有利には、制約のためのＯ（ＭＮ２）検索をＯ（ＭＮ）レンダリングに変換した後、小規模なＯ（（＜Ｍ）Ｎ（＜＜Ｎ））検索が続く。
別のアプローチでは、新しいマップ点は、既存のＮ個の特徴を視認する仮想キーフレームを選択することによって決定されてもよい。言い換えると、ＡＲシステムは、マップ点を視認すべき仮想キーフレームを選択し得る。例えば、ＡＲシステムは、前述のキーフレーム投影を使用するが、｛Ｍ，Ｎ｝標識が探されるＭ個のキーフレームの法線のＰＣＡ（主成分分析）に基づいて、新しい「キーフレーム」を取り上げてもよい（例えば、ＰＣＡ導出キーフレームは、標識を導出すべき最適ビューを与えるであろう）。
ＰＣＡを既存のＭ個のキーフレームに行うことは、既存のＭ個のキーフレームに最も直交する新しいキーフレームを提供する。したがって、仮想キーフレームを最も直交する方向に位置付けることは、３Ｄ空間内に新しいマップ点を見つけるべき最良視点を提供し得る。別のＰＣＡを行うことは、次の最も直交する方向を提供し、さらなる別のＰＣＡを行うことは、さらに別の直交方向を提供する。したがって、３回のＰＣＡを行うことは、Ｎ個の特徴を有する既存のＭ個のキーフレームに基づいて、マップ点を構築すべき３Ｄ空間内のｘ、ｙ、およびｚ座標を提供し得ると理解されたい。
図３８は、マップ点をＭ個の既知のキーフレームから決定するための例示的方法３８００を説明する。最初に、３８０２では、ＡＲシステムは、特定の空間に関連付けられたＭ個のキーフレームを読み出す。前述のように、Ｍ個のキーフレームは、特定の空間を捕捉した既知のキーフレームを指す。次に、３８０４では、キーフレームの法線のＰＣＡが、Ｍ個のキーフレームの最も直交する方向を見つけるために行われる。ＰＣＡは、それぞれ、Ｍ個のキーフレームに直交する、３つの主成分を生成し得ることを理解されたい。次に、３８０６では、ＡＲシステムは、３Ｄ空間内で最小であって、また、全てのＭ個のキーフレームのビューに最も直交する主成分を選択する。
３８０８では、キーフレームに直交する主成分を識別した後、仮想キーフレームは、選択された主成分の軸に沿って設置されてもよい。１つ以上の実施形態では、仮想キーフレームは、その視野が全てのＭ個のキーフレームを含むように十分に離れて設置されてもよい。
次に、３８１０では、ＡＲシステムは、光線（または円錐）がＭ個のキーフレームのそれぞれからＮ番目の特徴までレンダリングされるように、特徴バッファをレンダリングしてもよい。特徴バッファは、明るいスポット（Ｎ個の線が交差するピクセル座標）がＮ個の特徴の候補場所を表すように、総和バッファであってもよい。前述の同一プロセスは、マップ点がｘ、ｙ、およびｚ軸上で見つけられるように、全３つのＰＣＡ軸を用いて繰り返されてもよいことを理解されたい。
次に、３８１２では、システムは、画像内の全ての明るいスポットを仮想「特徴」として記憶してもよい。次に、３８１４では、第２の「標識」バッファが、仮想キーフレームにおいて作成され、線（または円錐）をスタックし、その｛Ｍ、Ｎ｝標識を保存してもよい。次に、３８１６では、「マスク半径」が、特徴バッファ内の各明るいスポットの周囲に描写されてもよい。マスク半径は、仮想カメラの角度ピクセル誤差を表すことを理解されたい。ＡＲシステムは、各明るいスポットの周囲の結果として生じる円形を充填し、標識バッファを結果として生じるバイナリ画像でマスクしてもよい。随意の実施形態では、円形は、円形の中心が明るいが、輝度が円形の周縁でゼロまで減退するように、勾配フィルタを適用することによって充填されてもよい。
現時点でマスクされた標識バッファでは、主光線が、各三角形の｛Ｍ、Ｎ｝個の要素から成る標識を使用して収集されてもよい。円錐／三角形が、光線の代わりに使用される場合、ＡＲシステムは、三角形の両辺が円形の内側に捕捉される、三角形のみを収集し得ることを理解されたい。したがって、マスク半径は、本質的に、低条件の光線または大発散を有する光線（例えば、視野（ＦＯＶ）の縁にある光線または遠くから発出する光線）を排除する、フィルタとして作用する。
最適化目的のために、標識バッファは、円錐／三角形内で生成された以前に使用された同一陰影を用いてレンダリングされてもよい。別の随意の最適化実施形態では、三角形密度は、三角形の広がり（辺）をチェックする代わりに、１からゼロまでスケーリングされてもよい。したがって、非常に発散する光線は、マスクされた領域の内側の雑音レベルを効果的に上昇させるであろう。ローカル閾値検出をマークの内側で起動することは、完全にマークの内側にあるそれらの光線のみから重心を引き出すことは自明であろう。
３８１８では、マスク／最適化された光線ｍのコレクションが、バンドル調節器に送られ、新しく決定されたマップ点の場所を推定および／または補正してもよい。本システムは、採用されるレンダリングバッファのサイズに機能的に限定されることを理解されたい。例えば、キーフレームが広範に分離される場合、結果として生じる光線／円錐は、より低い分解能を有するであろう。
代替実施形態では、ＰＣＡ分析を使用して、直交方向を見つけるのではなく、仮想キーフレームは、Ｍ個のキーフレームのうちの１つの場所に設置されてもよい。これは、Ｍ個のキーフレームがカメラの最良分解能で空間をすでに捕捉しているため、より単純かつより効果的解決策であり得る。ＰＣＡが、仮想キーフレームを設置すべき直交方向を見つけるために使用される場合、前述のプロセスは、仮想カメラを各ＰＣＡ軸に沿って設置し、軸のそれぞれ内のマップ点を見つけることによって繰り返される。
新しいマップ点を見つけるさらに別の例示的方法では、ＡＲシステムは、新しいマップ点を仮定してもよい。ＡＲシステムは、最初に、Ｍ個のキーフレーム上のＰＣＡ分析から３つの主成分を読み出してもよい。次に、仮想キーフレームは、各主成分に設置されてもよい。次に、特徴バッファは、ちょうど前述のように、３つの仮想キーフレームの各々にレンダリングされてもよい。主成分は、定義上、相互に直交するため、各カメラから外向きに描写される光線は、３Ｄ空間内の点において相互に衝突し得る。
いくつかのインスタンスでは、光線の複数の交差点が存在し得ることを理解されたい。したがって、現時点で、各仮想キーフレーム内にＮ個の特徴が存在し得る。次に、幾何学的アルゴリズムが、異なる光線間の交差点を見つけるために使用されてもよい。本幾何学的アルゴリズムは、Ｎ３個の光線が存在し得るため、一定時間アルゴリズムであってもよい。マスキングおよび最適化は、３Ｄ空間内のマップ点を見つけるための前述と同一様式で行われてもよい。
１つ以上の実施形態では、ＡＲシステムは、別個の小世界モデル区画をより大きいコヒーレント区画の中にステッチしてもよい。これは、小モデルおよび大モデルの２つのレベルで生じてもよい。小モデルは、ローカルユーザレベル（例えば、計算構成要素、例えば、ベルトパック上）に対応する。一方、大モデルは、「世界全体」モデル化のための大規模またはシステム全体レベル（例えば、クラウドシステム）に対応する。これは、パス可能世界モデル概念の一部として実装されることができる。
例えば、第１のユーザによって装着される個々のＡＲシステムは、第１のオフィスについての情報を捕捉する一方、第２のユーザによって装着される個々のＡＲシステムは、第１のオフィスと異なる第２のオフィスについての情報を捕捉する。捕捉された情報は、クラウドベースのコンピュータにパスされてもよく、これは、最終的に、個々のＡＲデバイスとともに歩き回る種々のユーザによってサンプリングまたは収集される実空間の包括的一貫した表現を構築する。クラウドベースのコンピュータは、経時的使用を介して、パス可能世界モデルを徐々に構築する。異なる地理的場所は、人口集中地域を最も中心として構築され、最終的に、より郊外地を充填するであろうことが予期される。
クラウドベースのコンピュータは、例えば、ＧＰＳ、Ｗｉ−Ｆｉ、部屋のカラーヒストグラム、および部屋内の全ての自然特徴にハッシュを行い、写真とともに並べ、前述のように、事物の接続性のトポロジである、トポロジグラフを生成してもよい。クラウドベースのコンピュータは、トポロジを使用して、領域をともにステッチすべき場所を識別してもよい。代替として、クラウドベースのコンピュータは、特徴のハッシュ（例えば、トポロジマップ）を使用して、例えば、ある箇所において、別の箇所における幾何学的構成に一致する幾何学的構成を識別し得る。
１つ以上の実施形態では、ＡＲシステムは、同時に、または並行して、別個の遮蔽、深度、および色表示、またはレンダリングを採用してもよい。
例えば、個々のＡＲシステムは、空間色および空間逆光を与え、選択的に、色機構の一部を照射し得る、色レンダリングモジュール（例えば、ＬＣＤ、ＤＬＰ、ＬＣＯＳ、ファイバスキャナプロジェクタ等）を有してもよい。１つ以上の実施形態では、個々のＡＲシステムは、時系列アプローチを採用してもよい。例えば、個々のＡＲシステムは、１つのカラー画像を生成またはロードし、次いで、画像の異なる領域を検討し、選択的に、領域を照射してもよい。
選択的照射と併せて、個々のＡＲシステムは、光の実際の感知された深度を変化させる、可変焦点要素を動作させることができる。可変焦点要素は、例えば、逆光と同期して、波正面を成形してもよい。個々のＡＲシステムは、例えば、６０フレーム／秒で、色をレンダリングしてもよい。それらのフレームの１つ毎に、個々のＡＲシステムは、選択的に、背景の１つの部分を照射する、その期間の間、レンダリングされる、６つのフレームを有することができる。個々のＡＲシステムは、６０分の１秒以内に背景内に全ての光をレンダリングする。本アプローチは、有利には、画像の種々の断片を異なる深度にレンダリングすることを可能にする。
最も多くの場合、人の頭部は、前方に面する。ＡＲシステムは、ユーザの頭部が向いている方向を識別する低域通過フィルタを使用して、および／または実世界または周囲環境に対する運動を検出することによって、臀部配向を推測してもよい。１つ以上の実施形態では、ＡＲシステムは、加えて、または代替として、手の配向の知識を採用してもよい。これらの身体部分と臀部場所および／または臀部配向との間には、統計的相関がある。したがって、ＡＲシステムは、臀部配向を検出するための器具類を使用せずに、臀部座標フレームを推測することができる。
１つ以上の実施形態では、ＡＲシステムは、臀部座標フレームを仮想コンテンツがレンダリングされる仮想座標フレームとして使用することができる。これは、最も一般的クラスを構成し得る。ＡＲシステムは、ホーム画面（例えば、ユーザのビューの一部分上にレンダリングされたソーシャルネットワーキング画面、ユーザのビューの別の部分上にレンダリングされたビデオ画面等）のような臀部座標フレームの周囲に仮想オブジェクトをレンダリングしてもよい。
世界中心座標フレームでは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、および他の仮想構造物、例えば、アプリケーション、特徴、キャラクタ、テキスト、および他の記号）は、ユーザの周囲に配向される座標フレームに固定されるのではなく、実世界のオブジェクトに対して固定される。
いくつかの実装では、ＡＲシステムは、例えば、ＬＣＤディスプレイのタイミング特性を利用して、複数のレベルの深度データを単一色フレームの中に混成する。例えば、ＡＲシステムは、データの６つの深度層を１つの単一赤色／緑色／青色（ＲＧＢ）フレームの中に詰め込んでもよい。
色空間内の深度は、例えば、色空間内のＺ−バッファをエンコードするにより深度フレームを操作することによって、達成されてもよい。ＡＲシステムは、深度平面を個々の色チャネル内の層マスクとしてエンコードしてもよい。
１つ以上の実施形態では、これは、標準的グラフィックカードを使用して、ＲＧＢフレームおよびｚ距離を有する単一フレームをレンダリングする、カスタムシェーダを作成することによって、実装されてもよい。したがって、エンコードされたｚ−バッファは、体積情報を生成し、画像の深度を決定するために使用されてもよい。ハードウェア構成要素が、フレームバッファおよびエンコードされたｚ−バッファを解釈するために使用されてもよい。これは、ハードウェアおよびソフトウェア部分が完全に抽象化され、ソフトウェア部分とハードウェア部分との間に最小限の結合が存在することを意味する。
ＡＲシステムは、前述のように、種々の基準フレームにロックされた仮想コンテンツをレンダリングしてもよい。例えば、ＡＲシステムが、頭部装着式構成要素を含む場合、ビューロック基準頭部搭載式（ＨＭＤ）フレームが、有用となり得る。すなわち、基準フレームは、頭部の基準フレームにロックされたままであって、頭部の移動に伴って転向および／または傾斜する。身体ロック基準フレームは、身体の基準フレームにロックされ、本質的に、ユーザの身体の移動に伴って動き回る（例えば、平行移動、回転する）。世界ロック基準フレームは、環境の基準フレームに固定され、環境内で静止したままである。例えば、世界ロック基準フレームは、部屋、壁、またはテーブルに固定されてもよい。
いくつかの実装では、ＡＲシステムは、２つまたはそれを上回る基準フレームのそれぞれのものにロックされた部分を伴う、仮想コンテンツをレンダリングしてもよい。例えば、ＡＲシステムは、２つまたはそれを上回るネスト下された基準フレームを使用して、仮想コンテンツをレンダリングしてもよい。例えば、ＡＲシステムは、球状パラダイムを採用してもよい。実施例として、第１の半径方向距離に延在する最内球体は、頭部またはビュー基準フレームにロックされてもよい。最内球体の半径方向外向きには、中間球体（例えば、腕の長さに若干満たない）は、身体基準フレームにロックされてもよい。中間球体の半径方向外向きには、外側または最外球体（例えば、腕を完全に伸長）は、世界基準フレームにロックされてもよい。
前述のように、ＡＲシステムは、統計的にまたは別様に、身体またはその一部（例えば、臀部、手）の実際の姿勢を推測してもよい。例えば、ＡＲシステムは、ユーザの臀部を座標フレームとして選択または使用してもよい。ＡＲシステムは、臀部の場所（例えば、位置、配向）を統計的に推測し、その姿勢を持続的座標フレームとして取り扱う。ユーザがその頭部を移動（例えば、回転、傾斜）させるにつれて、ＡＲシステムは、ユーザの姿勢の臀部の姿勢にロックされる、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、および他の仮想構造物、例えば、アプリケーション、特徴、キャラクタ、テキスト、数字、および他の記号）をレンダリングする。これは、有利には、仮想視野を著しく増加させることができる。ユーザがその頭部を移動させ、見渡す場合、ユーザには、ユーザの身体の周囲に結び付けられた仮想コンテンツが見える。すなわち、ＡＲシステムは、レンダリングするために身体中心座標フレームを使用し、例えば、仮想コンテンツを臀部座標フレームに対してレンダリングすることができ、ユーザの頭部がどのように移動しても、仮想コンテンツがユーザの視野にロックされたまま留まる。
（予測頭部モデル）
１つ以上の実施形態では、ＡＲシステムは、実際の特徴追跡器、ジャイロスコープ、加速度計、コンパス、および他のセンサのうちの１つ以上のものからの情報を使用して、頭部移動方向、スピード、および／または加速を予測してもよい。レンダリングエンジンが仮想コンテンツのフレームをレンダリングするためには、ある時間がかかる。ＡＲシステムは、仮想コンテンツのフレームをレンダリングするために、種々の構造または構成要素を使用してもよい。例えば、ＡＲシステムは、ファイバ走査プロジェクタを採用してもよい。代替として、ＡＲシステムは、低残光性ディスプレイを採用してもよい。ＡＲシステムは、例えば、逆光を介して、フレームの明滅を生じさせてもよい。ＡＲシステムは、ＬＣＤを使用して、例えば、ＬＣＤを非常に明るい逆光で急明滅させ、ラスタ化を通して走査しない、非常に低残光性のディスプレイを実現させ得る。言い換えると、ＡＲシステムは、ピクセルを整列させ、次いで、非常に短持続時間の間、ＬＣＤを非常に明るい光で明滅させる。
１つ以上の実施形態では、ＡＲシステムは、実際の特徴追跡器、ジャイロスコープ、加速度計、コンパス、および他のセンサのうちの１つ以上のものからの情報を使用して、頭部移動方向、スピード、および／または加速を予測してもよい。レンダリングエンジンが仮想コンテンツのフレームをレンダリングするためには、ある時間がかかる。ＡＲシステムは、仮想コンテンツのフレームをレンダリングするために、種々の構造または構成要素を使用してもよい。例えば、ＡＲシステムは、ファイバ走査プロジェクタを採用してもよい。代替として、ＡＲシステムは、低残光性ディスプレイを採用してもよい。ＡＲシステムは、例えば、逆光を介して、フレームの明滅を生じさせてもよい。ＡＲシステムは、ＬＣＤを使用して、例えば、ＬＣＤを非常に明るい逆光で急明滅させ、ラスタ化を通して走査しない、非常に低残光性のディスプレイを実現させ得る。言い換えると、ＡＲシステムは、ピクセルを整列させ、次いで、非常に短持続時間の間、ＬＣＤを非常に明るい光で明滅させる。
いくつかの実装では、ＡＲシステムは、フレームを世界座標系にレンダリングし、フレーム走査プロジェクタ（ＦＳＰ）が、世界座標を走査し、フレームをサンプリングすることを可能にしてもよい。予測頭部モデル化に関するさらなる詳細は、弁理士整理番号２０００６．００の下、２０１４年３月１４日に出願された米国特許出願第１４／２１２，９６１号「ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤ」に開示されている。
周囲光は、時として、ユーザへの仮想コンテンツの投影の品質に影響を及ぼし得るため、ＡＲシステムにとって問題となる。典型的には、ＡＲシステムは、周囲光の進入の制御を殆どまたは全く有していない。したがって、典型的には、ＡＲシステムが実世界環境内で使用される場合、周囲環境の見え方の制御は、殆どまたは全くない。例えば、場面全体に及ぶ周囲光条件は、過度に明るいまたは過度に薄暗くなり得る。また、例えば、光強度は、場面全体を通して、徐々に変動し得る。さらに、場面内に現れる物理オブジェクトの制御は、殆どまたは全くなく、そのうちのいくつかは、光源（例えば、照明器具、窓）または反射源であり得る。これは、レンダリングされた仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、および他の仮想構造物、例えば、アプリケーション、特徴、キャラクタ、テキスト、および他の記号）のＡＲユーザによる知覚を困難にさせ得る。
１つ以上の実施形態では、ＡＲシステムは、自動的に、周囲環境内の比較的に暗いおよび／または比較的に明るい面積を識別してもよい。識別された暗いおよび／または明るい面積に基づいて、ＡＲシステムは、仮想コンテンツ（例えば、仮想テキスト、数字、または他の記号）を遮蔽問題に対処するために、ＡＲユーザの視野内の比較的に暗い箇所にレンダリングしてもよい。このように、ＡＲシステムは、周囲環境のビュー内でＡＲユーザに最良に可視となるように、仮想コンテンツをレンダリングする。
１つ以上の実施形態では、ＡＲシステムは、加えて、または代替として、少なくとも部分的に特定の周囲環境の１つ以上の特性に基づいて、レンダリングされた仮想コンテンツを最適化してもよい。ＡＲシステムは、いくつかの実施形態では、周囲環境の側面に対応するように仮想コンテンツをレンダリングしてもよい。例えば、壁が、比較的に明るい場合、ＡＲシステムは、ドア上に暗いテキストとして重畳されて見えるであろうテキストをレンダリングしてもよい。または、別のインスタンスでは、仮想コンテンツは、周囲環境の検出された光に基づいて、動的に改変（例えば、暗化、光化等）されてもよい。
典型的には、ＡＲシステムは、黒色をレンダリングすることが困難であり得る。しかしながら、ＡＲシステムは、白色または他の色をレンダリング可能であってもよい。場面が、白色物理壁を含む場合、ＡＲシステムは、白色背景に対して見ることができる、テキスト、数字、および／または他の記号をレンダリングするであろう。例えば、ＡＲシステムは、テキスト、数字、または他の記号を中心としてカラー後光をレンダリングし、白色壁が、輝くことを可能にしてもよい。場面が、黒色または暗い色の壁を含む場合、ＡＲシステムは、テキスト、数字、他の記号を比較的に明るい色でレンダリングしてもよい。したがって、ＡＲシステムは、周囲背景の特性に基づいて、レンダリングされているものの視覚的特性を調節する。
（画像ベースの照明解決策）
拡張現実内の仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、および他の仮想構造物、例えば、アプリケーション、特徴、キャラクタ、テキスト、数字、および他の記号）において説得力のある現実感を作成するために、それが重畳される環境に入射する照明システムを模倣することが有利である。古典的ランバート照明モデルは、人々が実自然世界において見るために使用する方法においてオブジェクトを照射しない。実世界環境内の照明は、常時かつ継続的に、空間全体を通して変化し、著しいコントラストと強度および色の微妙なニュアンスの両方が豊富である、複雑なシステムである。眼は、実世界においてこれを見るために使用される。ランバート照明モデルは、これらのニュアンスを捕捉せず、ヒト視知覚系は、照明効果の逸失に気付き、それによって、現実感の錯覚を破壊してしまう。
拡張現実内の仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、および他の仮想構造物、例えば、アプリケーション、特徴、キャラクタ、テキスト、数字、および他の記号）において説得力のある現実感を作成するために、それが重畳される環境に入射する照明システムを模倣することが有利である。古典的ランバート照明モデルは、人々が実自然世界において見るために使用する方法においてオブジェクトを照射しない。実世界環境内の照明は、常時かつ継続的に、空間全体を通して変化し、著しいコントラストと強度および色の微妙なニュアンスの両方が豊富である、複雑なシステムである。眼は、実世界においてこれを見るために使用される。ランバート照明モデルは、これらのニュアンスを捕捉せず、ヒト視知覚系は、照明効果の逸失に気付き、それによって、現実感の錯覚を破壊してしまう。
１つ以上の実施形態では、画像ベースの照明（ＩＢＬ）と呼ばれる技法は、現実感をコンピュータグラフィック（ＣＧ）に作成する際に効果的であり得る。ＩＢＬは、ラジオシティ解決策のように、複雑な照明システムを計算しようとせず、むしろ、光プローブを用いて、実世界の照明を写真のように捕捉する。「銀球光プローブ」技法と称される技法は、視認者に向かって反射された複雑な色を捕捉する際に効果的である。しかしながら、３６０度カメラは、より高い忠実性の環境全体のデータを捕捉し、はるかに説得力のある光マップを作成することが可能である。
１つ以上の実施形態では、ＩＢＬ技法が、実オブジェクトから区別不能に見える、仮想コンテンツをレンダリングするために使用されてもよい。Ｍａｙａ（登録商標）等のモデル化パッケージは、ＩＢＬ光マップのライブラリを利用し、そこから、ユーザは、特定の仮想場面を照射することを選定することができる。ユーザは、ライブラリから、場面のコンテンツと一貫して見える光マップを選定する。したがって、光マップが、単に、環境に類似する場合、光マップが光マップが使用される環境と同じでなくても、ＩＢＬから現実感を作成することが可能である。これは、ヒトの視知覚系がオブジェクトを見るために予期する照明における微妙なニュアンスを示唆する。それらのニュアンスが、環境と一貫しない場合、現実の錯覚の作成に干渉し得る。
ＩＢＬをＡＲシステム内で採用するための解決策の１つは、写真によって作成されたサンプル光マップの膨大なライブラリを供給し、多くの異なる環境を網羅し、様々な潜在的状況を包含することである。光マップの各々は、識別された状況に特有の種々の光パラメータに関連付けられ得る。光マップは、クラウド内に記憶され、必要に応じて参照され、仮想コンテンツの種々のアイテムまたはインスタンスを照射し得る。そのような実装では、特定の実世界環境のための光マップの選択を自動化することが有利となるであろう。
ユーザの個々のＡＲシステムは、１つ以上のカメラ（例えば、外向きに面したカメラ）をすでに具備しており、ユーザが位置する環境を写真のようにサンプリングする。ＡＲシステムは、捕捉された画像データをマップ選択基準として使用してもよい。カメラからのサンプルは、光マップのライブラリを発見的に検索し、最近似光マップを見つけるために使用されることができる。ＡＲシステムは、種々のパラメータ、例えば、周波数データ、色パレット、ダイナミックレンジ等を使用してもよい。ＡＲシステムは、捕捉された視覚的データのパラメータとライブラリ光マップを比較し、最小誤差を伴う光マップを見つけてもよい。
ここで図３９を参照すると、適切な光マップを選択する例示的方法３９００が、提供される。３９０２では、ユーザの個々のＡＲシステムは、ユーザのカメラを通して、周囲環境の画像を捕捉する。次に、システムは、捕捉された画像データの少なくとも１つのパラメータを選択し、光マップのライブラリと比較する。例えば、システムは、捕捉された画像の色パレットと光マップのライブラリを比較してもよい。３９０４では、システムは、捕捉された画像のパラメータと光マップのパラメータを比較し、パラメータの最近似を決定し（３９０６）、最近似を有する光マップを選択する（３９０８）。システムは、３９１０では、最近似を選択し、選択された光マップに基づいて、仮想オブジェクトをレンダリングする。
代替として、または加えて、人工神経ネットワークを利用する選択技法が、使用されてもよい。ＡＲシステムは、光マップの集合またはライブラリ上で訓練された神経ネットワークを使用してもよい。神経ネットワークは、選択基準データを入力として使用し、光マップ選択を出力として生成する。神経ネットワークが、ライブラリ上で訓練された後、ＡＲシステムは、ユーザのカメラからの実世界データを神経ネットワークに提示し、神経ネットワークは、瞬時またはリアルタイムのいずれかにおいて、最小誤差を伴う光マップをライブラリから選択する。
本アプローチはまた、光マップの修正を可能にし得る。選択が、発見的に、または神経ネットワークを用いて行われるかにかかわらず、選択された光マップは、基準データ内の入力サンプルと比較された誤差を有するであろう。選択された光マップが、例えば、周波数データおよびダイナミックレンジが近いが、色パレットが、過剰誤差を含む場合、ＡＲシステムは、色パレットを修正し、実世界のサンプリングされたデータの色パレットとより良好に整合させてもよく、修正された光マップを新しい構成データから構築してもよい。
ＡＲシステムはまた、近似解決策として識別された複数の光マップからのデータを組み合わせ、新しく構築された光マップを生成してもよい。１つ以上の実施形態では、ＡＲシステムは、次いで、将来的選択のために、新しく構築されたマップをライブラリ内の新しいエントリとして記憶することができる。神経ネットワーク選択が使用される場合、これは、拡張集合またはライブラリ上でクラウド内神経ネットワークの再訓練を要求するであろう。しかしながら、再訓練は、新しい追加が神経ネットワークによって利用される１つ以上のネットワーク加重へのわずかな調節のみを要求し得るため、短時間となり得る。
図４０は、光マップを作成するための例示的方法４０００を図示する。最初に、４００２では、ユーザの個々のＡＲシステムは、ユーザのカメラを通して、周囲環境の画像を捕捉する。次に、システムは、捕捉された画像データの少なくとも１つのパラメータを選択し、光マップのライブラリを比較する。例えば、システムは、捕捉された画像の色パレットと光マップのライブラリを比較してもよい。次に、４００４では、システムは、捕捉された画像のパラメータと光マップのパラメータを比較し、パラメータの１つ以上の最近似を決定し（４００６）、最近似に対応する光マップを選択する。
例えば、光マップは、捕捉された画像から検出された光強度に基づいて選択されてもよい。または、光マップは、輝度、または輝度の勾配、または画像内の輝度のパターンを比較し、その情報を使用して、最近似を選択してもよい。４００８では、システムは、選択された光マップのパラメータを組み合わせることによって、新しい光マップを構築する。次に、４０１０では、新しい光マップが、光マップのライブラリに追加される。
ＩＢＬアプリケーションのための適切な光マップを供給する別のアプローチは、ユーザのＡＲデバイス（例えば、頭部装着式構成要素）自体を光プローブとして使用し、ＩＢＬ光マップを最初から作成することである。前述のように、デバイスは、１つ以上のカメラを具備する。カメラは、３６０度環境全体の画像を捕捉するために配列および／または配向されることができ、これは、使用可能光マップを原位置で作成するために使用されることができる。３６０度カメラまたはともに繋がれた狭角カメラのアレイのいずれかを用いて、ＡＲシステムは、環境の近似だけではなく、実際の環境の光マップをリアルタイムで捕捉するように動作する、光プローブとして使用されてもよい。
捕捉された光マップは、ユーザの位置を中心とするが、「十分に説得力のある」オブジェクト光マップを作成するために十分であり得る。そのような状況では、誤差は、受けるレビューのレベルに逆比例する。すなわち、遠く離れたオブジェクトは、ユーザ中心光マップを使用して大量の誤差を呈するであろうが、ユーザの視知覚系は、眼からの距離が比較的に遠いことに起因して、その誤差を検出不良な位置にあるであろう。一方、ユーザがオブジェクトに近いほど、ユーザの視知覚系は、誤差の検出により過敏になるが、同時に、光マップは、ユーザの頭部がオブジェクトの位置に接近するにつれて、より正確となるであろう。これは、多くの状況において十分であり得るが、そのような誤差に対処する技法が、以下に論じられる。
１つ以上の実施形態では、ＡＲシステム（例えば、クラウドベースのコンピュータ、個々の計算構成要素）は、ユーザ中心光マップを好適なオブジェクト中心光マップとして投影する変換をユーザ中心光マップに適用し、平行移動オフセットの誤差を低減または排除してもよい。図４１に図式的に図示されるように、１つの技法は、ユーザ中心光マップを、おそらく、部屋のサイズに類似する、ユーザ４１２０を中心とする適切な半径の古典的球体４１２４としてモデル化する。ユーザ中心球体４１２４の内側に嵌合する半径の別の球体４１２６は、照らされるべきオブジェクト４１２２の周囲にモデル化される。ユーザ中心球体４１２４からのデータは、次いで、オブジェクト４１２２の視点からオブジェクト中心球体４１２６上に投影され、新しい光マップを作成する。光線投射が、本投影のために良好に機能するであろう。代替として、数値法が、採用されてもよい。本変換は、ユーザ中心光マップをオブジェクトの視点からより正確となるように歪める。
色強度が、次いで、オブジェクトのオフセット位置に従って、距離減衰を調節するように修正される。ａｔｔ（ｘ）が光減衰関数であって、式中、ｘは、光から視認者までの距離とする。ユーザ中心光マップの所与のテクセルの強度は、Ｉｍ＝が、Ｉｓ×ａｔｔ（ｄ）として表され、式中、Ｉｍは、マップ内の強度であって、Ｉｓは、光の源の強度である。したがっては、Ｉｓ＝Ｉｍ／ａｔｔ（ｄ）となる。したがって、新しいオブジェクト中心変換における新しい強度は、Ｉｍ’＝Ｉｓ×ａｔｔ（ｄ’）となる。
変換の天球法は、捕捉された光の源がユーザおよびオブジェクト位置から著しく離れている状況に良好に機能し得ることを理解されたい。
より具体的には、光の源が、少なくとも、球体境界（光の源を表すようにモデル化された）と同程度離れている場合、本技法は、良好に機能する可能性が高いであろう。しかしながら、光データ源が、内側球体空間に侵入するにつれて、誤差は、急激に大きくなり得る。最悪の場合のシナリオは、光データが、直接、ユーザとオブジェクトとの間で発生するときである。これは、必要とされる正面ではなく、オブジェクトの後面にマッピングされた光データをもたらすであろう。
ユーザのデバイス上の光カメラシステムが、立体視または深度感知ユーティリティを具備する場合、ＡＲシステムは、光マップの各テクセルに関連付けられた深度値を記憶することができる。本深度データが特に有用である唯一の面積は、ユーザとオブジェクトとの間に常駐するデータ上である。したがって、立体視カメラシステムは、当該面積であるユーザの視野内の深度を捕捉する限り、十分であり得る。ユーザの背後、またはついでに言えば、オブジェクトの背後に常住する光マップの面積は、それらの面積がユーザおよびオブジェクト等の両方と同様に投影するため、深度データに殆ど依存しない。単に、異なる距離に対する値を減衰させることは、光マップのその面積に十分であり得る。
いったん深度データが、必要とされるマップの面積（例えば、ユーザの正面）のために捕捉されると、ＡＲシステムは、テクセルベースでテクセル上のその光データの源の正確なユークリッド座標を計算することができる。図４２に図式的に図示されるように、オブジェクト中心光マップは、それらの座標をオブジェクト球体上に投影し、適宜、強度を減衰させることによって、構築されてもよい。図４２に示されるように、ユーザは、ユーザ半球体４２２８の中心に位置し、オブジェクト球体４２２６は、図４１のものと同様に、オブジェクト４２２２の周囲にモデル化される。いったん深度データが、マップの面積のために捕捉されると、ＡＲシステムは、深度データに基づいて、空間点４２３０毎に光データの源の正確な座標を計算する。
オブジェクトに向かって投影する色データが、これらの内側空間点からユーザに向かって投影する色と同一である保証はないが、色データは、一般的場合、十分に近似する可能性が高いであろう。
前述の議論は、１つのサンプリングされたユーザ位置からのユーザ中心データに基づいて、オブジェクト中心光マップを構築することに焦点を当てた。しかしながら、多くのまたは大部分の場合、ユーザは、環境全体を通してナビゲートし、多くの異なる視点からの光環境の多くのサンプルの収集を可能にするであろう。さらに、複数のユーザを環境内に有することは、双方向にリアルタイムで収集され得る、サンプル集合を増加させる。ユーザまたは複数のユーザが物理空間を横断するにつれて、ＡＲシステムは、賢明な間隔および重要位置において新しい光マップを捕捉する。これらの光マップは、グリッドとしてクラウド内に記憶されてもよい。新しい仮想コンテンツが場面に進入するにつれて、ＡＲシステムは、記憶されたグリッドにアクセスし、仮想コンテンツの場所に最も近い位置を表す、対応する光マップを見つける。ＡＲシステムは、グリッド位置から仮想オブジェクトの独自の位置までの光マップの変換を計算する。
図４３は、仮想コンテンツを投影するために、変換光マップを使用するための例示的方法４３００を説明する。４３０２では、ユーザの個々のＡＲシステムは、世界に対するユーザの場所および位置を推定する。次に、４３０４では、ＡＲシステムは、クラウド内に記憶された光マップのグリッドにアクセスし、ユーザの場所および位置に最も近いグリッド内の光マップを選択する（４３０６）。４３０８では、ＡＲシステムは、仮想オブジェクトの照明が周囲環境の照明と一致するように、グリッド位置から仮想オブジェクトの位置への光マップの変換を計算する。
１つ以上の実施形態では、「最近傍インスタンス」の解決策が、採択、修正、および採用される、インスタンスベースの推論が、採用される。変換されるインスタンスは、より優れたサンプリングされたデータがメタインスタンスデータを置換するために利用可能となるまで、その場所に対して使用されるべきメタインスタンスとして、グリッド内に記憶し戻されてもよい。グリッドにますます多くのインスタンスが取り込まれるにつれて、既存の仮想コンテンツのための光マップをより適切なインスタンスに対してアップグレードする機会が、利用可能になるであろう。このように、ユーザの相互作用は、ＡＲシステムが、環境の照明を学習し、反復的に仮想コンテンツを現実的解決策に近づくことを可能にする。
記憶されたグリッドは、同一環境内における将来的使用のために、クラウド内に残されてもよい。明らかに、環境への著しい変更は、グリッドの有効性を疑われ得、グリッドは、最初から再構築される必要があり得る。しかしながら、あるタイプの変更は、依然として、以前に収集されたデータを利用することができる。例えば、減光等の大域的変更は、より高い頻度のデータを保ちながら、データ集合を横断して輝度の低下を用いて、依然として、収集されたデータを使用することができる。
ＡＲシステムにおいて、効果的画像ベースの照明を仮想コンテンツに適用するためのいくつかの技法が、以下に論じられる。１つ以上の実施形態では、ＡＲシステムは、ユーザとそのデバイスカメラの相互作用を通して、物理環境の照明を学習する。データは、クラウド内に記憶され、さらなる相互作用に伴って継続的に改良され得る。オブジェクトは、インスタンスベースの推論技法を使用して光マップを選択し、光マップを調節するために変換を適用し、光マップを好都合の時間または条件で慎重に更新し、現実的解決策に向かって近付ける。
相互作用およびサンプリングを通して、ＡＲシステムは、物理空間の光環境のその理解を改良する。１つ以上の実施形態では、ＡＲシステムは、光環境の取得された知識に基づいて、種々の仮想コンテンツのレンダリングにおいて使用されている光マップをより現実的光マップに更新するであろう。
潜在的問題は、例えば、ユーザが更新（例えば、仮想コンテンツのレンダリングにおける変更）を目撃する場合に生じ得る。例えば、ユーザに仮想オブジェクトの表面上で生じている変化が見える場合、表面は、生物のように見え、現実感の所望の錯覚を破壊するであろう。本潜在的問題を解決するために、ＡＲシステムは、ユーザが仮想コンテンツの断片またはインスタンスに対する更新または変更に気付くリスクを最小限にする特殊状況の間、更新を慎重に実行する。
例えば、仮想オブジェクトが場面に進入するときの初期適用を検討する。更新または変更は、ほんの少しだけまたはさらにユーザの視野の非常に周縁のみ、仮想オブジェクトがユーザの視野から離れるにつれて行われてもよい。これは、ユーザが仮想オブジェクトの更新または変更を知覚するであろう可能性を最小限にする。
ＡＲシステムはまた、ユーザが見えない仮想オブジェクトの後に面した部分に対応する、部分的マップを更新してもよい。ユーザが仮想オブジェクトの周囲を歩く場合、ユーザは、更新または変更を全く見ることなく、遠側の現実感の増加を発見するであろう。ＡＲシステムは、ユーザが仮想オブジェクトの後または遠側を視認している間、現時点でユーザの視野から外れている、仮想オブジェクトの前側を更新または変更してもよい。ＡＲシステムは、それらの部分がユーザの視野内にない間に、仮想オブジェクトのマップの種々の選択された部分（例えば、上、下、左、右、前、後）に更新または変更を行ってもよい。
１つ以上の実施形態では、ＡＲシステムは、典型的には、仮想オブジェクトの表面／光の変更を期待するようにユーザを仕向け得る、１つ以上の条件の発生まで、更新または変更を行うことを待機してもよい。例えば、ＡＲシステムは、陰が仮想オブジェクトを通り過ぎるとき、変更または更新を行ってもよい。仮想および実オブジェクトの両方の位置が既知であるため、標準的陰影技法が、適用されることができる。陰は、更新または変更を視認者から目立たなくさせるであろう。また、例えば、ＡＲシステムは、環境調光における光に応答して仮想オブジェクトのマップを更新または変更し、ユーザによる更新または変更の知覚を低減させてもよい。
さらに別の実施例では、ＡＲシステムは、ユーザの注意を引く確率が高いことが分かっているイベントの発生に応答して、仮想オブジェクトのマップを更新または変更してもよい。例えば、ビデオゲームにおけるように、天井を突き抜けて倒れてくる仮想モンスタに応答して、ＡＲシステムは、ユーザが、仮想モンスタに焦点を当てており、他の仮想オブジェクトには当てていない可能性が高いため、他の仮想オブジェクトのためのマップを更新または変更してもよい。
（アバタ）
ＡＲシステムは、上記である程度詳細に説明されたように、アバタと称される、ユーザまたは他のエンティティの仮想表現をレンダリングしてもよい。ＡＲシステムは、ユーザのアバタをユーザの独自の仮想空間および／または他のユーザの仮想空間内にレンダリングしてもよい。
ＡＲシステムは、上記である程度詳細に説明されたように、アバタと称される、ユーザまたは他のエンティティの仮想表現をレンダリングしてもよい。ＡＲシステムは、ユーザのアバタをユーザの独自の仮想空間および／または他のユーザの仮想空間内にレンダリングしてもよい。
いくつかの実装では、ＡＲシステムは、アバタが、環境内で動作するように、仮想機械、例えば、仮想ロボットを動作させることを可能にしてもよい。例えば、ＡＲシステムは、アバタがロボットの中に「飛び込む」ように見え、アバタが、環境を物理的に変更することを可能にし、次いで、アバタが、ロボットから飛び出すことを可能にするようにレンダリングしてもよい。本アプローチは、物理アセットの時間多重化を可能にする。
例えば、ＡＲシステムは、第１のユーザのアバタが、仮想ロボットが存在する、第２のユーザの仮想空間内に現れるようにレンダリングしてもよい。第１のユーザの「訪問」アバタは、第２のユーザの仮想空間内のロボットの身体内に進入する。第１のユーザは、仮想ロボットを介して、第２のユーザの仮想環境を操作することができる。別のアバタがロボット内に以前に常駐していた場合、その他のアバタは、除去され、第１のユーザのアバタが、ロボット内に進入または存在することを可能にする。ロボットに元々存在し、ロボットから除去された他のアバタは、遠隔アバタとなり、ある他の仮想空間を訪問してもよい。ロボットに元々存在していたアバタは、いったん第１のユーのザアバタがロボットの使用が終了すると、ロボットに再進入してもよい。
ＡＲシステムは、器具類を伴わずに、アバタの存在を仮想空間内にレンダリングし、仮想相互作用を可能にしてもよい。パス可能世界モデルは、第１のユーザが、第２のユーザに、世界の第１のユーザの区分（例えば、ローカルで起動するレベル）のコピーをパスすることを可能にする。第２のユーザの個々のＡＲシステムがローカルレンダリングを行っている場合、第１のユーザの個々のＡＲシステムが送信する必要があるものは、骨組み動画だけである。
ＡＲシステムは、アバタレンダリングの連続性またはスペクトルを可能にし得ることを理解されたい。
最も単純なものでは、ＡＲシステムは、マルチプレーヤオンラインゲーム内でキャラクタを駆動させるのと同様な様式において、推論に基づいたアバタレンダリングを駆動させることができる。結果として生じるアバタは、ゲームキャラクタの外観（例えば、動画）を伴ってレンダリングされ、仮想世界内を歩き回ってもよい。本実装では、アバタに関連付けられたユーザから生じる唯一のデータは、進行速度および方向、ならびに可能性として、単純移動、例えば、手運動等である。
次に複雑なものでは、アバタは、関連付けられたユーザの物理外観に類似してもよく、関連付けられたユーザから収集される情報に基づいて、アバタのリアルタイム更新を含んでもよい。例えば、第１のユーザの顔の画像は、アバタを生成する際に使用するために、捕捉または事前走査されていてもよい。アバタは、現実的表現（例えば、写真）または認識可能表現（例えば、描写、漫画、または戯画）のいずれかとして見える、顔を有してもよい。アバタの身体は、例えば、描写、漫画、または戯画化されてもよく、さらに、アバタの頭部と釣り合いがとれていなくてもよい。
ＡＲシステムは、第１のユーザから収集される情報を採用し、アバタをリアルタイムで動画化してもよい。例えば、個々のＡＲシステムの頭部装着式構成要素は、１つ以上の内向きに面したカメラおよび／またはマイクロホンもしくは他のセンサ（例えば、温度、発汗、心拍数、血圧、呼吸数）を含み、リアルタイム情報またはデータを第１のユーザから収集してもよい。情報は、抑揚を伴う音声等を含む、画像および音を含んでもよい。
音声は、アバタから発出するように見えるように伝えられてもよい。アバタが現実的顔を有する、いくつかの実装では、顔画像もまた、伝えられてもよい。アバタが現実的顔を有していない場合、ＡＲシステムは、表情を画像および／または音からの音声の抑揚から見分けてもよい。ＡＲシステムは、見分けられた表情および／または音声の抑揚に基づいて、アバタの表情を更新してもよい。例えば、ＡＲシステムは、表情および／または抑揚に基づいて、第１のユーザの感情状態（例えば、嬉しい、悲しい、怒っている、不満ではない、苛立っている、満足している）を決定してもよい。ＡＲシステムは、第１のユーザの決定された感情状態に基づいて、アバタ上にレンダリングするための表情を選択してもよい。例えば、ＡＲシステムは、感情のいくつかの動画またはグラフィック表現から選択してもよい。したがって、ＡＲシステムは、リアルタイムテクスチャマッピングを採用し、ユーザの感情状態をユーザを表すアバタ上にレンダリングしてもよい。
次に複雑なものでは、ＡＲシステムは、ユーザの顔または音声に加え、またはそれ以外に、ユーザの身体の一部についての情報を収集してもよい。例えば、ＡＲシステムは、ユーザの１つ以上の四肢および／またはユーザの全身の移動を表す情報を収集してもよい。ＡＲシステムは、ユーザ装着式センサ（例えば、加速度計、ジャイロスコープ）を介して、および／またはユーザが位置する物理空間の少なくとも一部を監視する、部屋センサシステムを介して、そのような情報を収集してもよい。
ＡＲシステムは、アバタが表す、ユーザのその実際の移動を反映するように、収集された情報を使用して、アバタの全身をレンダリングしてもよい。ＡＲシステムは、リアルタイムテクスチャマッピングとともに、そのような機能を行い、画像（例えば、ビデオ）をアバタに適用してもよい。
さらにより複雑な実装では、ＡＲシステムは、物理空間内のユーザの明視野を捕捉する、１つ以上の明視野カメラを含んでもよい。第２のユーザは、第１のユーザのライブ実３次元画像を音とともに視認してもよく、これは、前述の実装より現実的である。
最も複雑な実装では、ＡＲシステムは、物理空間内のユーザの明視野を捕捉する、１つ以上の明視野カメラを含んでもよい。ＡＲシステムは、捕捉された明視野をモデルにコード化し、第２のユーザの仮想空間の中にレンダリングするために、モデルを第２のユーザの個々のＡＲシステムに送信してもよい。
前述のように、ＡＲシステムは、頭部、手、環境姿勢、音声抑揚、および／または眼視線を使用し、空間内のユーザの仮想自体またはアバタを動画化もしくは修正してもよい。ＡＲシステムは、単に、環境に対するユーザの頭部および／または手の位置に基づいて、ユーザのアバタの場所を推測してもよい。ＡＲシステムは、音声抑揚（例えば、発話の内容ではなく）を統計的に処理し、対応するアバタの感情表現を動画化または修正し、アバタが表すそれぞれのユーザの感情を反映してもよい。
例えば、ユーザが、カボチャに類似するアバタを選択した場合、怒りを示すユーザの音声における検出パターンに応答して、ＡＲシステムは、カボチャアバタの口の切れ込み内に歯をレンダリングしてもよい。さらなる実施例として、ユーザは、特定のキャラクタに類似するアバタを有してもよい。好奇心を示す音声抑揚の検出に応答して、ＡＲシステムは、例えば、ユーザの口および眼等と同一様式で口が動き、眼があちこち見回している、特定のキャラクタに類似するアバタをレンダリングしてもよい。
ユーザのそれぞれの仮想空間または環境のレンダリングは、非同期である。比較的に少量の情報の交換は、第１のユーザが、別のユーザの空間内に存在することを体験する、または第１のユーザの空間内に別のユーザを有することを体験することを可能にする。第１のユーザが、第２のユーザの空間のコピーを有する場合、第１のユーザは、第２のユーザの空間のその独自の視点の制御ならびに第２のユーザの空間内のその独自の相互作用の制御を伴って、第２のユーザの空間内に現れることができる。器具類を伴わずに、情報の下位集合を使用して、アバタを動画化することは、スケーラビリティを提供する。
ＡＲシステムは、環境を通して仮想オブジェクトの自律的ナビゲーションを提供することができる。仮想オブジェクトが、アバタを構成する場合、アバタの種々の感情状態は、アバタが存在する空間を通して自律的にナビゲートすることが考慮される。
図４４に図示されるように、ＡＲシステムは、仮想空間または環境内で生じる、もしくは感知され得る、ある定義された条件を感知し、それに対して所定の方法で応答する、自律的ナビゲーション定義またはオブジェクト４４００ａ−４４００ｄ（集合的に、４４００）のコレクションまたはライブラリを含んでもよい。自律的ナビゲーション定義またはオブジェクトの各々は、仮想空間または環境内で生じる、もしくは感知され得る、条件または刺激に関連付けられる。
自律的ナビゲーション定義またはオブジェクト４４００ａは、例えば、構造（例えば、壁）の存在に応答してもよい。自律的ナビゲーション定義またはオブジェクト４４００ｂは、例えば、光または光の源（例えば、照明器具、窓）に応答してもよい。自律的ナビゲーション定義またはオブジェクト４４００ｃは、例えば、音または音の源（例えば、ベル、サイレン、口笛、音声）に応答してもよい。自律的ナビゲーション定義またはオブジェクト４４００ｄは、例えば、食物もしくは水または食物もしくは水の源に応答してもよい。他の自律的ナビゲーション定義またはオブジェクト（図４４には図示せず）は、他の条件または刺激、例えば、恐れの源（例えば、モンスタ、武器、火災、崖）、食物の源、水の源、宝物、貨幣、宝石、貴金属等に応答してもよい。
自律的ナビゲーション定義またはオブジェクト４４００の各々は、定義された応答に関連付けられる。自律的ナビゲーション定義またはオブジェクトは、例えば、移動を生じさせる、または生じさせる傾向にすることによって応答する。例えば、いくつかの自律的ナビゲーション定義またはオブジェクト４４００は、条件または刺激の源から移動させる、もしくは生じさせる傾向にある。また、例えば、いくつかの自律的ナビゲーションオブジェクト２３００は、条件または刺激の源に向かって移動させる、もしくは生じさせる傾向にある。
自律的ナビゲーション定義またはオブジェクト４４００のうちの少なくともいくつかは、１つ以上の調節可能パラメータを有する。調節可能パラメータは、自律的ナビゲーション定義またはオブジェクト４４００が反応する基本条件または刺激を変更しないが、条件または刺激への感度レベルおよび／または応答レベルもしくは強度を設定してもよい。ＡＲシステムは、特性を調節するための１つ以上のユーザインターフェースツールを提供してもよい。例えば、ユーザインターフェースツール（例えば、スライダバーアイコン、ノブアイコン）は、特性のスケーリング、特性の反転（例えば、向かって移動する、離れるように移動する）等を可能にしてもよい。
調節可能パラメータは、例えば、自律的ナビゲーション定義またはオブジェクトが応答する条件または刺激への自律的ナビゲーション定義またはオブジェクト４４００の感度のレベルを設定してもよい。例えば、感度パラメータは、低レベルに設定されてもよく、その場合、自律的ナビゲーション定義またはオブジェクト４４００が、条件の発生または刺激の存在にあまり応答せず、例えば、条件または刺激の源が非常に近くなるまで応答しない。
また、例えば、感度パラメータは、高レベルに設定されてもよく、その場合、自律的ナビゲーション定義またはオブジェクト４４００は、条件の発生または刺激の存在に非常に応答し、例えば、条件または刺激の源があまり近くないときでも応答する。低レベルと高レベルとの間のレベルもまた、採用されてもよい。いくつかの実装では、感度のレベルは、感度の範囲と見なされ得る。したがって、自律的ナビゲーション定義またはオブジェクト４４００が敏感である外側境界を設定してもよく、もしくは感度に１つ以上の別個の段階に伴って、線形、指数関数的、またはさらに階段関数であり得る、感度の勾配を設定してもよい。
調節可能パラメータは、例えば、自律的ナビゲーション定義またはオブジェクト４４００が応答する条件または刺激への自律的ナビゲーション定義またはオブジェクト４４００の応答のレベルを設定してもよい。例えば、パラメータは、自律的ナビゲーション定義またはオブジェクト４４００が条件または刺激の発生に応答する、強度を調節してもよい。例えば、パラメータは、移動する傾向または可能性の強度を設定してもよい。例えば、傾向パラメータは、低レベルに設定されてもよく、その場合、自律的ナビゲーション定義またはオブジェクト４４００は、条件の発生または刺激の存在にあまり応答しない。
また、例えば、傾向パラメータは、高レベルに設定されてもよく、その場合、自律的ナビゲーション定義またはオブジェクト４４００は、条件の発生または刺激の存在に非常に応答し、条件または刺激の源に向かうか、またはそこから離れるかのいずれかの移動を著しく生じさせるであろう。スピードパラメータは、自律的ナビゲーション定義またはオブジェクト４４００が条件または刺激の検出に応答して移動する、スピードを設定してもよい。スピードは、固定スピード、または時間（例えば、応答開始から５秒後、減速する）もしく距離（例えば、固定距離を移動後、減速する）に伴って変化する可変スピードであってもよい。方向パラメータは、移動の方向（例えば、向かう、離れる）を設定してもよい。
自律的ナビゲーション定義またはオブジェクト４４００は、２次元面積における条件および刺激に応答してもよいが、いくつかの実装では、自律的ナビゲーション定義またはオブジェクト４４００は、３次元体積における条件および刺激に応答する。いくつかの自律的ナビゲーション定義またはオブジェクト４４００は、自律的ナビゲーションオブジェクト４４００に対して全方向に生じる条件を検出し、それに応答する、等方性であってもよい。いくつかの自律的ナビゲーション定義またはオブジェクト４４００は、自律的ナビゲーション定義またはオブジェクトに対して限定された方向のみに生じる条件を検出し、それに応答する、異方性であってもよい。等方性または異方性動作は、いくつかの自律的ナビゲーション定義またはオブジェクト４４００のための調節可能パラメータであってもよい。
自律的ナビゲーション定義またはオブジェクト４４００は、事前に定義され、ユーザまたは他者によって選択可能であってもよい。いくつかの実装では、ユーザは、新しい自律的ナビゲーション定義またはオブジェクト４４００を定義し、随意に、ユーザによる再使用のために、または他者による使用のために、新しい自律的ナビゲーション定義またはオブジェクトをコレクションまたはライブラリの中に組み込んでもよい。
図４５に図示されるように、１つ以上の自律的ナビゲーション定義またはオブジェクト４４００ａ、４４００ｃは、仮想オブジェクト４５００、例えば、アバタに論理的に関連付け可能である。仮想オブジェクト４５００と論理的に関連付けられると、自律的ナビゲーション定義またはオブジェクト４４００ａ、４４００ｃは、仮想オブジェクト４５００を中心とする身体中心座標フレームとしてプロット化されてもよい。すなわち、自律的ナビゲーション定義またはオブジェクト４４００ａ、４４００ｃの中心は、仮想オブジェクト４５００自体の本体の中心である。自律的ナビゲーション定義またはオブジェクト４４００は、例えば、無限遠を１および近接を０にスケーリングする、例えば、対数関数またはある他の関数を用いて、スケーリングされてもよい。
自律的ナビゲーション定義またはオブジェクト４４００の各々は、相互から独立する。任意の数の自律的ナビゲーション定義またはオブジェクト４４００が、仮想オブジェクト４５００に関連付けられる、または適用されることができる。例えば、数千個の自律的ナビゲーション定義またはオブジェクト４４００が、単一仮想オブジェクト４５００に適用されてもよい。
図４６は、所与の仮想オブジェクト４５００と論理的に関連付けられ、例えば、図４５に図示されるように、仮想オブジェクト４５００を中心とするリングとして配列されることができる、自律的ナビゲーション定義またはオブジェクト４４００の集合または「スタック」４６００を示す。いったん自律的ナビゲーションオブジェクト４４００ａ−４４００ｄの集合またはスタック４６００が定義され、総和線４６０２（図４６）によって示されるように複合されると、自律的ナビゲーション定義またはオブジェクト４４の値は、ゼロと１との間にあるように正規化される。
前述のように、自律的ナビゲーションオブジェクト４４００のうちの少なくともいくつかのいくつかの特性は、調節可能であってもよい。それらの特性は、感度のレベルならびに応答の強度を含んでもよい。利用可能な自律的ナビゲーション定義またはオブジェクト４４００のタイプ（例えば、条件または刺激）が固定されてもよいが、ユーザは、自律的ナビゲーション定義またはオブジェクト４４００を複合４６０２し、複合または組み合わせられた出力４６０４（図４１）を提供することができる。複合機構は、例えば、１つ以上の実施形態では、最低値を探し得る。他の場合には、トリガは、用途に応じて、高値であってもよい。
複合機構は、例えば、構造（例えば、ソナーまたは衝突検出）の存在に応答する、自律的ナビゲーション定義またはオブジェクト４４００ａをフィルタ（例えば、バイナリ転帰、パス／パスしない、オン／オフ）として取り扱い、他の自律的ナビゲーション定義またはオブジェクト４４００ｂ−４４００ｄの全てをスケーリング係数として取り扱い得る。例えば、１つ以上の自律的ナビゲーション定義またはオブジェクト４４００の複合４６０４は、値または形状（例えば、中心からの最大距離）にピーク検出を行い、仮想オブジェクト４５００が検出された条件または刺激に応答して進行し得る、速度の方向および大きさ（ベクトル４６０２によって示される）のインジケーションを提供してもよい。
自律的ナビゲーション定義またはオブジェクトの応答またはアクションの強度は、潜在的フィールドとして表されてもよい。例えば、潜在的フィールドは、アバタを誘引または撃退する傾向を定義してもよい。例えば、ＡＲシステムは、正の潜在的フィールドがアバタを誘引する一方、負の潜在的フィールドがアバタを撃退する、慣例を確立してもよい。代替として、慣例は、正の潜在的フィールドがアバタを撃退する一方、負の潜在的フィールドがアバタを誘引するものであってもよい。
さらなる代替として、あるタイプの潜在的フィールドは、アバタを撃退するか、または代替として誘引するかのいずれかである、確立された慣例下で利用可能であってもよい。さらに、ＡＲシステムは、潜在的フィールドに大きさまたは勾配が割り当てられ得る、慣例を採用してもよく、大きさまたは勾配は、強度または誘引もしくは撃退に対応する。勾配は、線形または非線形関数であってもよく、さらに、特異性を含んでもよい。潜在的フィールドは、仮想オブジェクトまたはアバタと一致して確立されてもよい。潜在的フィールドは、アバタを条件または刺激（例えば、音、光）の源を回避させる、例えば、条件または刺激の源の周囲を操向させる傾向にあってもよい。
図４５に図示されるように、一実施例では、仮想空間または環境４５０２内で移動している第１の仮想オブジェクト４５００が存在してもよい。仮想空間または環境４５０２は、仮想または物理オブジェクトのいずれかであり得る、壁４５０４を含んでもよい。仮想空間または環境４５０２は、音４５０８の源４５０６を含んでもよい。１つ以上の実施形態では、ＡＲシステムは、人工知能を使用して、壁４５０４との衝突を回避しながら、壁４５０４を含む仮想空間または環境４５０２内の標的、例えば、音４５０８の源４５０６に向かって第１の仮想オブジェクト４５００を操向させてもよい。
例えば、構造の存在に応答する、自律的ナビゲーションオブジェクト４４００ａは、仮想オブジェクト４５００と論理的に関連付けられてもよい。また、例えば、音４５０８に応答する自律的ナビゲーションオブジェクト４４００ｃは、仮想オブジェクト４５００と論理的に関連付けられてもよい。自律的ナビゲーションオブジェクト４４００ａ、４４００ｃは、仮想オブジェクト４５００の本体の中心に位置する１つ以上のリングを構成するように定義されてもよい。例えば、自律的ナビゲーションオブジェクト４４００は、許容可能移動を定義する特性を有してもよい。
例えば、自律的ナビゲーションオブジェクト４４００ａは、構造の存在下、構造との衝突をもたらすであろう、移動を制限してもよい。例えば、平坦壁４５０４の存在下、自律的ナビゲーションオブジェクト４４００ａは、限定ではないが、第１の仮想オブジェクト４５００を側方方向における移動に制限する（例えば、壁の中に移動することができない）一方、第１の仮想オブジェクト４５００が、任意の他の方向に移動することを可能にしてもよい。また、例えば、自律的ナビゲーションオブジェクト４４００ｃは、音４５０８の存在下、関連付けられた第１の仮想オブジェクト４５００を、概して、音４５０８の源４５０６に向かって移動させてもよい。
前述の実施例は、仮想空間または環境４５０２への光の源の追加に伴って修正されてもよい。光に応答する、自律的ナビゲーション定義またはオブジェクト４４００ｂ（図４４）は、第１の仮想オブジェクト４５００に関連付けられてもよい。光応答自律的ナビゲーション定義またはオブジェクト４４００ｂによる光の検出は、第１の仮想オブジェクト４５００を光の源に向かって移動する傾向にさせる、または逆に言えば、光の源から離れるように移動する傾向にさせてもよい。この場合、第１の仮想オブジェクト４５００は、３つの条件、すなわち、構造、音、および光の複合に応答するであろう。
前述のように、集合の自律的ナビゲーション定義またはオブジェクトは、仮想オブジェクト（例えば、アバタ）を中心とするリングとして配列されて表され、ともに複合される。これらは、状態機械内の状態として表され、自律的ナビゲーション定義またはオブジェクトが進行または移動情報（例えば、進行もしくは移動の方向、配向、スピード、および／または距離）に関連付けられる、仮想オブジェクトを提供することができる。これは、完全に挙動的に、進行すべき場所について仮想オブジェクトに命令する時間ベースの方法を提供する。いくつかの実装では、人工知能アルゴリズムが、経験的入力データのみに基づいて、適用され、状態を完璧に調整してもよい。
ＡＲシステムは、持続的感情ベクトル（ＰＥＶ）を提供し、状態遷移を定義してもよい。ＰＥＶは、種々の感情を表すことが可能であって、ある時間内において、特定の状態での特定の値を有してもよい。１つ以上の実施形態では、ＰＥＶは、大域的に使用されてもよい。
状態間の遷移は、ＰＥＶの集合またはスタックによって制御されてもよい。とりわけ、状態機械は、完全状態機械である必要がなくてもよく、むしろ、あらゆる可能性として考えられる状態の一部のみを網羅してもよい。ユーザは、ユーザが関心がある特定の状態遷移のための状態を設定してもよい。
図４７Ａに図示されるように、所与の仮想オブジェクト（例えば、アバタ）４７０２ａに関連付けられた自律的ナビゲーション定義またはオブジェクト４４００ａ−４４００の集合４７００ａは、単一リング４７０４ａに総和されるように複合される。集合４７００ａは、１つ以上の感情状態、例えば、怒り４７０６ａ、悲しい４７０６ｂ、嬉しい、怖がっている、満足している、空腹である、疲れている、寒い、暑い、喜んでいる、落胆している等が割り当てられる、またはそれらと論理的に関連付けられてもよい。（集合的に、４７０６、２つの感情状態のみ図４７Ａには呼び出されている）。
ＡＲシステムは、自律的ナビゲーション定義またはオブジェクト４４００ａ−４４００ｂがフィードする、ユーザ構成可能な総和ブロック４７０８ａ、４７０８ｂ（集合的に、４７０８として、２つのみ示される）を提供する。総和ブロック４７０８は、それぞれの感情ベクトルを駆動させる。ユーザは、特定のアクションを生じさせるように総和ブロック４７０８を構成してもよい。これらは、本質的に、時間ベースであって、アバタ等の仮想オブジェクト４７０２ａの現在の状態に基づいて、大域的加重を適用してもよい。
図４７Ｂに図示されるように、ユーザまたはある他者は、例えば、怖がっているまたは恐怖感情ベクトルを確立してもよい。例えば、怖がっているまたは恐怖自律的ナビゲーション定義またはオブジェクト４４００ｎは、仮想オブジェクト（例えば、アバタ）４７０２ｂと論理的に関連付けられてもよい。怖がっているまたは恐怖自律的ナビゲーション定義またはオブジェクト４４００ｎは、集合４７００ｎ内の唯一の自律的ナビゲーション定義またはオブジェクト４４００であってもよく、総和ブロック４７０８ｎを介して、識別機能に複合４７０４ｎしてもよい。
怖がっているまたは恐怖感情ベクトルは、恐怖４７０６ｎ等のある定義された条件または刺激が提示されるとき、仮想オブジェクト（例えば、アバタ）４７０２ｂを怖がらせる傾向にある。怖がっているまたは恐怖感情ベクトルは、典型的には、比較的に短時定数および非常に低い閾値を有してもよい。恐怖状態への状態遷移は、大域的状態によって制御される。その結果、状態は、単独で、または他の感情ベクトルと組み合わせてのいずれかにおいて、怖がっているまたは恐怖感情ベクトルが低くなると、恐怖状態に遷移する。
ＡＲシステムは、例えば相関または統計的機構を使用して、フィードバックを採用してもよい。例えば、相関閾値グラフ４８００が、図４８に図示されるように、任意の特定の自律的ナビゲーション定義またはオブジェクトのために定義されてもよい。相関閾値グラフ４８００は、例えば、水平軸４８００ａに沿って時間プロット化され、垂直軸４８００ｂに沿ってスケールプロット化（例えば、ゼロから１）されてもよい。垂直軸上における自律的ナビゲーション定義またはオブジェクトの関係を制御するために、ユーザは、時間ｔ０における閾値および閾値感知条件または刺激レベルＣＴを規定することができる。関数ｆｎは、いったん閾値が満たされると、それぞれの応答を定義する。
したがって、ＡＲシステムは、２つまたはそれを上回る自律的ナビゲーション定義またはオブジェクト４４００がともに総和されることを可能にする。ＡＲシステムはまた、ユーザがトリガ閾値を調節することを可能にしてもよい。例えば、自律的ナビゲーション定義またはオブジェクト４４００の特定の組み合わせがある時間閾値を超えたことに応答して、それらの自律的ナビゲーション定義またはオブジェクト４４００の値は、特定の感情ベクトルに対するランピング機構に適用されてもよい。
本明細書に説明されるアプローチは、ある状態から別の状態に遷移するための完全に決定的な大域的可視機構を用いて決定的アクションを行うことによって、非常に複雑な人工知能（ＡＩ）特性を提供する。これらのアクションは、ユーザが関心がある挙動に暗示的にマップ可能である。システムの全体的状態のこれらの大域値の監視を通した一定洞察が、要求され、これは、他の状態の挿入または現在の状態への変更を可能にする。さらなる実施例として、自律的ナビゲーション定義またはオブジェクトは、近隣までの距離に応答してもよい。自律的ナビゲーション定義またはオブジェクトは、例えば、正面部分に急勾配および背面部分に緩勾配を伴う、近隣の周囲の勾配を定義してもよい。これは、関連付けられた仮想オブジェクトのための自動挙動を作成する。例えば、そのように定義される場合、仮想オブジェクトが移動するにつれて、例えば、急勾配ではなく、緩勾配に向かって移動する傾向にあってもよい。
代替として、仮想オブジェクトは、例えば、そのように定義される場合、緩勾配ではなく、急勾配に向かって移動する傾向にあってもよい。勾配は、仮想オブジェクトを近隣の背後を動き回る傾向にさせるように定義されてもよい。これは、例えば、近隣が敵であって、自律的ナビゲーションオブジェクトが、敵センサとして機能する、ゲーム環境において使用され得る。これはさらに、敵が面する方向を考慮してもよい。例えば、値は、アバタが正面にある場合、高くなり得る。アバタは、移動するにつれて、敵の背後に現れるようにアバタを誘引する、より小さい勾配を感知する（例えば、迂回するように遅れ、パンチする挙動）。
したがって、自律的ナビゲーション定義またはオブジェクト４４００は、人工的環境内の状態、例えば、水の存在、食物の存在、地面の傾き、敵の近接、光、音、テクスチャを感知するように構成される。自律的ナビゲーション定義またはオブジェクト４４００およびＰＥＶは、ユーザが、仮想オブジェクトをユーザが所望する挙動に向かう傾向にさせる定義を構成することを可能にする。これは、ユーザが、状態を追加し、個々の状態を最適化し、新しい状態への遷移を定義することによって、徐々にかつアトミックまたはモジュール的に、無限レベルの複雑性を規定することを可能にし得る。
１つ以上の実施形態では、ＡＲシステムは、ナビゲーションオブジェクトと仮想オブジェクトを関連付けてもよい。ナビゲーションオブジェクトは、１つ以上の所定の条件（例えば、移動、コマンド、構造、感情、距離等）に応答してもよい。ナビゲーションオブジェクトの変更に基づいて、仮想オブジェクトの少なくとも１つのパラメータも、同様に変更されてもよい。例えば、仮想オブジェクトは、より高速に移動する、または別のオブジェクトに向かって移動する、または表情を呈する等であってもよい。
処理
ＡＲシステムは、少なくともいくつかの実装では、有利には、画像処理ユニット（ＩＰＵ）を介して、特徴を見つけ、次いで、汎用集合論的プロセッサ（ＧＰＳＴＰ）を用いて、フレーム毎に特徴を見つけることによって、ハードウェア内で光学フロー分析を行ってもよい。これらの構成要素は、ＡＲシステムが、本願全体を通して説明される複雑な計算のうちのいくつかを行うことを可能にする。これらの構成要素に関するさらなる詳細は、以下に提供されるであろうが、任意の他の類似処理構成要素も同様に、使用される、または加えて使用されてもよいことを理解されたい。
処理
ＡＲシステムは、少なくともいくつかの実装では、有利には、画像処理ユニット（ＩＰＵ）を介して、特徴を見つけ、次いで、汎用集合論的プロセッサ（ＧＰＳＴＰ）を用いて、フレーム毎に特徴を見つけることによって、ハードウェア内で光学フロー分析を行ってもよい。これらの構成要素は、ＡＲシステムが、本願全体を通して説明される複雑な計算のうちのいくつかを行うことを可能にする。これらの構成要素に関するさらなる詳細は、以下に提供されるであろうが、任意の他の類似処理構成要素も同様に、使用される、または加えて使用されてもよいことを理解されたい。
ＧＰＳＴＰは、定義されたオブジェクトを効率的に見つける、検索エンジンである。ＧＰＳＴＰは、集合論的検索を行う。説明として、組み合わせ論のベン図検索が、階乗次数ではなく、次数ｎにおいて検索されることができる。ＧＰＳＴＰは、定義されたオブジェクトを見つけるための集合理論を使用して、比較を効率的に行う。例えば、ＧＰＳＴＰは、１９８７年製キャデラックを有していたことがあり、７月３１日にＳｔａｒｂｕｃｋｓ（登録商標）コーヒーを購入し、１９８３年にエベレスト山に登山し、青色のシャツを有する、男性という例示的基準に例証されるように、非常に具体的基準を満たす人物を見つけるための効率的構造である。
ＩＰＵは、ピクセル単位で画像を撮影し、それを特徴に変換することができる、１組の撮像処理ハードウェアである。特徴は、メタ情報を伴うピクセル座標と見なされ得る。
光学フローアルゴリズムおよび撮像を実行する際、ＡＲシステムは、フレーム内のオブジェクトを識別し、次いで、そのオブジェクトが少なくとも１つの後続フレームに現れる場所を決定する。ＩＰＵは、特徴を効率的に生成し、ピクセルからのデータを特徴の集合に縮小する。例えば、ＩＰＵは、数百万個の点サイズのメガピクセルを伴うフレームを撮影し、はるかに小さい特徴の集合（例えば、２００個の特徴）を生成し得る。これらの特徴の集合は、処理のために、ＧＰＳＴＰに提供されてもよい。ＧＰＳＴＰは、見つけられるべき特徴を記憶してもよい。前述のように、特徴は、関連付けられたメタ情報またはデータを伴う、画像内の２Ｄ点である。特徴は、名前または標識を有することができる。ＧＰＳＴＰは、最も以前のリング内で見つかったｎ−１個の特徴を有する。
一致が見つかる場合、対応が、２Ｄで保存されてもよい。これは、汎用プロセッサがバンドル調節を計算し、どの相対または絶対姿勢が最後のフレームから現在のフレームまで存在したかを理解するために、少量の計算のみを要求する。これは、非常に高速かつ非常に効率的である、ハードウェア閉ループを提供する。
モバイル計算シナリオでは、２組のハードウェア（ＩＰＵおよびＧＰＳＴＰ）は、通常、大量の従来の撮像処理を要求するであろうものを効率的に行い得る。
いくつかの実装では、ＡＲシステムは、位置特定、姿勢、およびマッピングプロセスにおける全てのアトミックモジュールのためのタイミングおよび品質標的を提供する、メタプロセスを採用してもよい。各アトミックモジュールに、タイミングおよび品質標的を提供することによって、それらのモジュールは、そのアルゴリズムを最適に内部的または自律的に自己調整することができる。これは、有利には、困難なリアルタイム動作の必要性を回避する。メタコントローラが、次いで、アトミックモジュールから統計を引き出し、システムが動作している場所のクラスを統計的に識別してもよい。種々の場所（例えば、飛行機、道路、病院、リビングルーム等）のための全体的システム調整構成が、保存されてもよい。
ＡＲシステムは、追跡モジュールを採用してもよい。コンピュータ処理の任意の断片は、異なる時間がかかり得る。全てのモジュールが、アトミックであって、タイミングおよび品質データを受信および使用することができる場合、モジュールは、プロセスを起動するためにかかる時間を決定または少なくとも推定することができる。モジュールは、それぞれのプロセスの品質に関するある測定基準を有してもよい。モジュールは、種々のモジュールの決定または推定されたタイミングを考慮し、自動的に、可能である場合、トレードオフを実装してもよい。例えば、モジュールは、より高い品質を達成するためにより長い時間がかかることが推奨されることを決定することを決定してもよい。メタコントローラは、品質時間標的を全てのモジュールシステム内の全てのモジュールにシードし得る。これは、各モジュールが、自ら自己調整し、タイミング標的に達することを可能にし得る。これは、スケジュールなしでリアルタイムで起動する必要がある、非常に複雑な処理システムの動作を可能にする。これは、フィードバックループを形成する。
本アプローチは、困難なリアルタイムで動作するシステムの必要性を回避する。メタコントローラは、時間標的メッセージをモジュールに送信する。例えば、ユーザがゲームを行っている場合、メタコントローラは、メタコントローラがある他のタスク（例えば、キャラクタ一革新に関する）のための計算パワーを空けることを所望するため、モジュールに、低品質位置特定標的を使用するように伝えることを決定してもよい。メタコントローラは、統計的に定義されてもよく、異なる構成において平衡する、標的を提供することができる。
本アプローチはまた、システム調整を節約し得る。例えば、修正可能アルゴリズムパラメータの大域的集合が、調整を可能にしてもよい。例えば、動作は、場所（例えば、飛行機上、車を運転中、病院内、リビングルーム内）に基づいて調整されてもよい。アプローチは、全てのこれらのパラメータのバンドル化を可能にする。例えば、特徴追跡は、低品質標的を有することができ、したがって、比較的に短時間のみを要求し、時間予算の残りは、他の処理のために使用されることができる。
古典的「加速セグメントテストからの特徴」（ＦＡＳＴ）特徴抽出器（上記である程度詳細に論じられたように）が、超並列バイトマッチングシステム汎用集合論的プロセッサ（ＧＰＳＴＰ）の中に構成されてもよい。前述のように、ＧＰＳＴＰは、比較のみを行う、プロセッサである。結果として生じる特徴抽出器は、ＦＡＳＴに類似する出力および能力を有するが、数学ではなく、完全に、総当たり検索および比較を通して実装される。特徴抽出器は、１つ以上の実施形態では、カメラの近傍に位置し、フレームを特徴データ（ｘ、ｙ、ｚ基本記述子情報）に直ちに処理するであろう。超並列比較は、ＧＰＳＴＰを介して、連続ストリーム化データに行われるであろう。
アプローチは、本質的に、画像シーケシャルを作り、ＧＰＳＴＰに、可能性として考えられる全てのタイプのＦＡＳＴ特徴を見つけさせるであろう。特徴のタイプが、列挙され、ＧＰＳＴＰは、限定されたサイズ、例えば、ピクセルあたり８ビットのみ存在するため、特徴を見つける。ＧＰＳＴＰは、総当たり検索を介して、全ての組み合わせを検討し、見つける。任意の画像は、連続化されることができ、任意の着目特徴は、変換されてもよい。変換は、事前に画像に行われてもよく、これは、ビットパターンを回転またはスケーリング等に不変にする。ＧＰＳＴＰは、あるピクセル群を取り上げ、１つ以上の畳み込み動作を適用する。
したがって、上記で概略された種々のＡＲシステム、種々のソフトウェア、および光学技法を利用することによって、システムは、ユーザのための仮想現実および／または拡張現実体験を作成可能である。
図４９は、例示的ＡＲシステムの別のシステムアーキテクチャを図示する。図４９に示されるように、ＡＲシステム４９００は、ＡＲシステム４９００が入力を受信する、複数の入力チャネルを備えている。入力は、感覚入力４９０６、視覚的入力４９０２、または定常入力４９０４であってもよい。他のタイプの入力もまた、同様に受信されてもよい（例えば、ジェスチャ情報、聴覚情報等）。図４９の実施形態は、例証目的のためだけに簡略化され、他のタイプの入力も、受信され、ＡＲシステム４９００にフィードされてもよいことを理解されたい。
基本レベルでは、ＡＲシステム４９００は、入力（例えば、ユーザの装着式システムからの視覚的入力４９０２、部屋カメラからの入力、システム内の種々のセンサの形態における感覚入力、ジェスチャ、トーテム、眼追跡等）を１つ以上のＡＲシステムから受信してもよい。ＡＲシステムは、１つ以上のユーザ装着式システムおよび／または定常部屋システム（部屋カメラ等）を構成してもよい。装着式ＡＲシステムは、カメラからの画像を提供するだけではなく、また、種々のセンサ（例えば、加速度計、温度センサ、移動センサ、深度センサ、ＧＰＳ等）を具備し、ユーザの場所および環境の種々の他の属性を決定してもよい。当然ながら、本情報はさらに、前述で論じられた定常カメラからの情報で補足されてもよい。これらのカメラは、装着式ＡＲシステムとともに、異なる視点からの画像および／または種々のキューを提供してもよい。画像データは、前述のように、点の集合に縮小されてもよいことを理解されたい。
前述のように、受信されたデータは、マップデータベース４９１０内に記憶される、ラスタ画像および点情報の集合であってもよい。前述のように、マップデータベース４９１０は、有利には、１つ以上の実オブジェクトの既知の場所に関係する仮想オブジェクトを投影するために使用され得る、実世界についての情報を収集する。前述のように、トポロジマップ、幾何学的マップ等は、マップデータベース４９１０内に記憶される情報に基づいて構築されてもよい。
１つ以上の実施形態では、ＡＲシステム４９００はまた、オブジェクト認識器４９０８（上記で詳細に説明されるオブジェクト認識器）を備えている。上記で詳細に論じられたように、オブジェクト認識器４９０８は、ＡＲシステム４９００の１つ以上のデータベース（例えば、マップデータベース４９１０）内に記憶されるデータ（例えば、点のコレクション）を通して「クロール」し、１つ以上のオブジェクトを認識する（およびタグ付けする）。マッピングデータベースは、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。本情報に基づいて、オブジェクト認識器は、オブジェクトを認識し、これを意味論的情報で補対してもよい（前述のように）。
例えば、オブジェクト認識器が、ドアである点の集合を認識する場合、システムは、ある意味論的情報（例えば、ドアがヒンジを有し、ヒンジを中心として９０度移動を有する）を結び付けてもよい。経時的に、マップデータベースは、システムが（ローカルで常駐してもよく、または無線ネットワークを通してアクセス可能であってもよい）がより多くのデータを世界から蓄積するにつれて増大する。
いったんオブジェクトが認識されると、情報は、１つ以上のユーザ装着式システム４９２０に伝送されてもよい。例えば、ＡＲシステム４９００は、第１の場所（例えば、Ｓａｎ Ｆｒａｎｃｉｓｃｏ）内のある場面に関するデータをＮｅｗ Ｙｏｒｋ Ｃｉｔｙ内の装着式システムを有する１人以上のユーザに伝送してもよい。マップデータベース４９１０内のデータ（例えば、複数のカメラおよび他の入力、オブジェクト認識器、ならびに他のソフトウェア構成要素から受信されるデータは、種々の画像を通して収集される点をマップする、オブジェクトを認識する等を行う）を利用することによって、場面は、世界の異なる部分に居るユーザに正確に「パス」され得る。前述のように、ＡＲシステム４９００はまた、位置特定目的のために、トポロジマップを利用してもよい。より具体的には、以下の議論は、ＡＲシステムの１人以上のユーザ間の相互作用を可能にする、全体的システムの種々の要素について詳細に進められるであろう。
図５０は、仮想場面が１つ以上の実オブジェクトに関係してユーザに表示される方法を図示する、例示的プロセスフロー図５０００である。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋ Ｃｉｔｙに存在し得るが、Ｓａｎ Ｆｒａｎｃｉｓｃｏで現在進んでいる場面を視認することを所望し得る。または、ユーザは、Ｓａｎ Ｆｒａｎｃｉｓｃｏに常駐する友人と「仮想」散歩することを所望し得る。これを行うために、ＡＲシステム４９００は、原則的に、Ｓａｎ Ｆｒａｎｃｉｓｃｏユーザに対応する世界をＮｅｗ Ｙｏｒｋユーザの装着式ＡＲシステムに「パス」し得る。例えば、装着式ＡＲシステムは、Ｎｅｗ Ｙｏｒｋユーザの装着式ＡＲシステムにおいて、Ｓａｎ Ｆｒａｎｃｉｓｃｏユーザの実世界環境を模倣する、周囲の仮想集合を作成し得る。同様に、反対側では、Ｓａｎ Ｆｒａｎｃｉｓｃｏユーザの装着式ＡＲシステムは、仮想アバタ（またはＮｅｗ Ｙｏｒｋユーザのアクションを模倣するＮｅｗ Ｙｏｒｋユーザの仮想類似物）を作成し得る。したがって、両ユーザは、他方のユーザの世界から「パス」されている１つ以上の仮想要素をユーザの個々のＡＲシステム上に可視化する。
最初に、５００２では、ＡＲシステムは、入力（例えば、視覚的入力、感覚入力、聴覚的入力、知識ベース等）を特定の環境の１人以上のユーザから受信してもよい。前述のように、これは、種々の入力デバイスおよびマップデータベース内にすでに記憶されている知識を通して達成されてもよい。ユーザのカメラ、センサ、ＧＰＳシステム、眼追跡等が、情報をシステムに伝達する（ステップ５００２）。そのような情報は、複数のユーザから収集され、マップデータベースにリアルタイムおよび最新情報を包括的に取り込んでもよいことを理解されたい。
１つ以上の実施形態では、ＡＲシステム４９００は、受信されたデータの集合に基づいて、低密度点の集合を決定してもよい（５００４）。前述のように、低密度点は、特定の画像を撮影したキーフレームの姿勢を決定する際に使用されてもよい。これは、ユーザの周囲内の種々のオブジェクトの配向および位置を理解する際に重要となり得る。オブジェクト認識器は、これらの収集された点を通してクロールし、マップデータベース４９１０を使用して、１つ以上のオブジェクトを認識してもよい（５００６）。
１つ以上の実施形態では、１つ以上のオブジェクトは、事前に認識され、マップデータベース内に記憶されてもよい。他の実施形態では、情報が新しい場合、オブジェクト認識器は、新しいデータ上で起動してもよく、データは、１つ以上の装着式ＡＲシステムに伝送されてもよい（５００８）。認識された実オブジェクトおよび／またはＡＲシステムによって伝達された他の情報に基づいて、所望の仮想場面が、適宜、装着式ＡＲシステムのユーザに表示されてもよい（５０１０）。例えば、所望の仮想場面（例えば、Ｓａｎ Ｆｒａｎｃｉｓｃｏに居るユーザとの散歩）が、適宜、Ｎｅｗ Ｙｏｒｋに居るユーザの種々のオブジェクトおよび他の周囲に関係して表示されてもよい（例えば、適切な配向、位置等における実オブジェクトの集合を含む）。前述のフロー図は、非常に基本レベルにおけるシステムを表すことを理解されたい。以下の図５１は、より詳細なシステムアーキテクチャを表す。
図５１を参照すると、種々の要素が、好適な視覚システムの一実施形態のために描写される。図５１に示されるように、ＡＲシステム５１００は、少なくとも、姿勢モジュール５１０８、深度マップまたは融合モジュール５１０４から情報を受信したマップ５１０６を備えている。以下にさらに詳細に説明されるであろうように、姿勢モジュール５１０８は、情報を複数の装着式ＡＲシステムから受信する。具体的には、システムのカメラ５１２０から受信されるデータおよびＩＭＵ５１２２等のセンサから受信されるデータは、種々の画像が捕捉された姿勢を決定するために利用されてもよい。本情報は、システムが、画像から導出された１つ以上のマップ点をマップ５１０６内の適切な位置および配向に置くことを可能にする。本姿勢情報は、本情報を使用し、捕捉されたマップ点に対するカメラの位置および配向に基づいて、マップ点記憶する、マップ５１０６に伝送される。
図５１に示されるように、マップ５１０６はまた、深度マップモジュール５１０４と相互作用する。深度マップモジュール５１０４は、以下にさらに詳細に説明されるであろうように、情報をステレオプロセス５１１０から受信する。ステレオプロセス５１１０は、複数の装着式ＡＲシステム上のステレオカメラ５１１６およびＩＲカメラ（またはＩＲアクティブプロジェクタ５１１８）から受信されるデータを利用して、深度マップ５１２６を構築する。ステレオプロセス５１１０はまた、手のジェスチャ５１１２に基づいて、入力を受信してもよい。手のジェスチャおよび／またはトーテムジェスチャは、少なくとも部分的にユーザの手のジェスチャを追跡する眼カメラ５１１４から受信されるデータに基づいて、決定されてもよいことを理解されたい。
図５１に示されるように、ステレオプロセス５１１０からのデータおよび姿勢プロセス５１０８からのデータは、深度マップ融合モジュール５１０４において使用される。言い換えると、融合プロセス５１０８は、姿勢プロセス５１０８からの姿勢情報もまた利用して、オブジェクトの深度を決定する。本情報は、次いで、マップ５１０６に伝送および記憶される。図５１に示されるように、マップ５１０６からのデータは、必要に応じて伝送され、ＡＲ体験を装着式ＡＲシステムの複数のユーザに提供する。１人以上のユーザは、ジェスチャ追跡５１２８、眼追跡５１３０、トーテム追跡５１３２を通して、またはゲーム用コンソール５１３４を通して、ＡＲシステムと相互作用してもよい。
マップ５１０６は、世界のためのマップデータを含むデータベースである。一実施形態では、マップ５１０６は、部分的に、ユーザ装着式構成要素上に常駐してもよく、および／または部分的に、有線または無線ネットワークによってアクセス可能なクラウド記憶場所に常駐してもよい。マップ５１０６は、ますます多くのユーザがシステム上に増えるにつれて、ますます大きくなるであろう、有意な成長構成要素である。１つ以上の実施形態では、マップ５１０６は、ラスタ画像の集合、点＋記述子クラウド、および／または実世界の１つ以上のオブジェクトに対応する多角形／幾何学的定義を備えてもよい。
マップ５１０６は、常時、複数の拡張現実デバイスから受信される情報で更新され、経時的に、ますます正確になる。システムはさらに、図５１に関して説明される種々の構成要素に関するアクションの集合を行う、プロセッサ／コントローラを含んでもよいことを理解されたい。また、プロセッサ／コントローラは、種々の構成要素（例えば、融合プロセス、姿勢プロセス、ステレオ等）を通して、画像の集合を好適な視覚システムを通してユーザに投影するために使用されることができる、集合の出力パラメータの集合を決定してもよい。例えば、出力パラメータは、投影される画像の１つ以上の側面を変動させる、決定された姿勢に関してもよい。または、出力パラメータは、投影される画像の１つ以上の側面の修正を生じさせ得る、検出されたユーザ入力に関してもよい。システムアーキテクチャの種々の部分の他のそのような出力パラメータは、以下にさらに詳細に説明されるであろう。
１つ以上の実施形態では、マップ５１０６は、パス可能世界モデルを備えてもよい。パス可能世界モデルは、ユーザが、ユーザの世界の断片（すなわち、周囲環境、相互作用等）を別のユーザに仮想上「パス」することを可能にする。各ユーザのそれぞれの個々のＡＲシステム（例えば、個々の拡張現実デバイス）は、ユーザが、ＡＲシステム（またはいくつかの実施形態では、仮想現実世界システム）がパス可能世界モデルを生成するために処理する、環境を通過またはそこに存在するにつれて、情報を捕捉する。個々のＡＲシステムは、パス可能世界モデルをクラウドと称されるデータの共通または共有コレクションに通信またはパスしてもよい。
個々のＡＲシステムは、直接、またはクラウド介してのいずれかにおいて、パス可能世界モデルを他のユーザに通信またはパスしてもよい。パス可能世界モデルは、本質的に、少なくともユーザの視野を包含する、情報を効率的に通信またはパスする能力を提供する。
例えば、ユーザが環境を通して歩くにつれて、ユーザの個々のＡＲシステムは、情報（例えば、画像）を捕捉し、パス可能世界モデルのコアを形成する、情報を姿勢タグ付けされた画像として保存する。パス可能世界モデルは、ラスタ画像、点＋記述子クラウド、および／または多角形／幾何学的定義（本明細書では、パラメータ幾何学形状と称される）の組み合わせである。本情報の一部または全部は、クラウドにアップロードされ、そこから読み出され、その区分は、ユーザが歩いた本特定の空間に対応する。
非同期通信は、ユーザのそれぞれの個々のＡＲシステムとクラウドベースのコンピュータ（例えば、サーバコンピュータ）との間で確立される。言い換えると、ユーザの個々のＡＲシステムは、常時、ユーザの周囲についての情報をクラウドに更新し、また、クラウドからパス可能世界についての情報を受信する。したがって、各ユーザが画像を捕捉し、画像のオブジェクトを認識する等を行う必要なく、非同期システムを有することによって、システムがより効率的となることを可能にする。世界のその部分についてすでに存在する情報は、自動的に、個々のＡＲシステムに通信される一方、新しい情報は、クラウドに更新される。パス可能世界モデルは、クラウドまたは他の形態のネットワーキングコンピューティングまたはピアツーピアシステム上にあって、また、ユーザの個々のシステム上にもあり得ることを理解されたい。
姿勢プロセス５１０８は、装着式コンピューティングアーキテクチャ上で起動し、マップ５１０６からのデータを利用して、装着式コンピューティングハードウェアまたはユーザの位置および配向を決定してもよい。姿勢データは、ユーザがシステムを体験し、世界内で動作するにつれてオンザフライで収集されたデータから計算されてもよい。データは、画像、センサ（慣性測定、すなわち、概して、加速度計およびジャイロ構成要素を備えている、「ＩＭＵ」デバイス等）からのデータ、および実または仮想環境内のオブジェクトに関する表面情報を備えてもよい。
任意の所与の空間のために、ユーザの個々のＡＲシステムによって撮影された画像（１人のユーザの個々のＡＲシステムまたは複数のユーザのＡＲシステムによって捕捉された複数の視野画像）は、特定の空間の多数のマップ点を生じさせることを理解されたい。例えば、単一部屋は、種々のカメラ（または種々の位置に移動している１つのカメラ）の複数の視点を通して捕捉された千個のマップ点を有してもよい。
したがって、ユーザの個々のＡＲシステムに関連付けられたカメラ（または複数のカメラ）が複数の画像を捕捉する場合、多数の点が、収集され、クラウドに伝送される。これらの点は、システムがオブジェクトを認識するだけではなく、パス可能世界モデルの一部として読み出され得る、より完全な仮想世界を作成するのに役立ち、また、点の位置に基づいて、カメラの位置の計算の精緻化を可能にする。言い換えると、収集された点は、画像を捕捉するキーフレーム（例えば、カメラ）の姿勢（例えば、位置および配向）を推定するために使用されてもよい。
「低密度点表現」の集合は、同時位置特定およびマッピング（または「ＳＬＡＭ」もしくは「Ｖ-ＳＬＡＭ」）５１２４の出力であってもよい。これは、入力が画像／視覚専用
プロセスである、構成を指す。システムは、種々の構成要素が存在する世界の中の場所だけではなく、また、世界が備えているものも決定する。姿勢５１０８は、マップ５１０６に取り込むことと、マップ５１０６からのデータを使用することとを含む、多くの目標を達成する、構築ブロックである。
プロセスである、構成を指す。システムは、種々の構成要素が存在する世界の中の場所だけではなく、また、世界が備えているものも決定する。姿勢５１０８は、マップ５１０６に取り込むことと、マップ５１０６からのデータを使用することとを含む、多くの目標を達成する、構築ブロックである。
一実施形態では、低密度点位置は、完全に適正ではなく、さらなる情報が、前述のような多焦点仮想または拡張現実体験５１０２を生成するために必要とされ得る。高密度表現（概して、深度マップ情報と称される）は、少なくとも部分的に、本間隙を充填するために利用され得る。そのような情報は、「ステレオ」と称されるプロセスから計算されてもよい。ステレオプロセス５１１０では、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。データの高密度および低密度表現に関するさらなる詳細は、以下にさらに提供される。
１つ以上の実施形態では、３Ｄ点が、環境から補足されてもよく、それらの画像または点を捕捉するカメラの姿勢（すなわち、世界に対するベクトルおよび／または原点位置情報）が、これらの点または画像が、「タグ付け」される、すなわち、本姿勢情報に関連付けられ得るように決定されてもよい。次いで、第２のカメラによって捕捉された点が、第２のカメラの姿勢を決定するために利用されてもよい。言い換えると、第１のカメラからのタグ付けされた画像との比較に基づいて、第２のカメラを配向および／また配置特定することができる。
本知識は、テクスチャを抽出し、マップを作製し、実世界の仮想コピーを作成する（次いで、位置合わせされる２つのカメラが存在するため）ために利用されてもよい。したがって、基本レベルでは、一実施形態では、装着式ＡＲシステムは、点を生成した３Ｄ点および２Ｄ画像の両方を捕捉するために利用されることができ、これらの点および画像は、クラウド記憶および処理リソース（すなわち、マッピングデータベース）に送信されてもよい。それらはまた、クラウドが、３Ｄ点とともに、タグ付けされた２Ｄ画像（すなわち、３Ｄ姿勢でタグ付けされた）へのアクセスを有し得るように（すなわち、利用可能なキャッシュ内において）、埋め込まれた姿勢情報とともにローカルでキャッシュされてもよい（すなわち、タグ付けされた画像をキャッシュする）。
クラウドシステムは、いくつかの点を姿勢専用の起点として保存し、全体的姿勢追跡計算を削減してもよい。概して、ユーザが部屋を動き回るにつれて、壁、テーブル等、ユーザの環境内の主要アイテムを追跡可能となるためのいくつかの輪郭特徴を有することは、望ましくあり得、ユーザは、世界を「共有」し、ある他のユーザにその部屋の中を歩かせ、また、それらの点を見せることが可能となることを所望し得る。そのような有用かつ重要な点は、係留点として非常に有用である、すなわち、機械視覚を用いて認識され得、異なる組のユーザハードウェア上で、一貫し、かつ繰り返し、世界から抽出され得る、特徴に関連するため、「起点」と称され得る。したがって、これらの起点は、好ましくは、さらなる使用のために、クラウドに保存されてもよい。
一実施形態では、カメラが場所を認識するために容易に使用することができるアイテムの種類であるため、関連世界全体を通して比較的に均一な起点の分布を有することが好ましい。一実施形態では、関連クラウドコンピューティング構成は、３Ｄ点および任意の関連付けられたメタデータのデータベースを周期的に整備し、起点精緻化および世界作成の両方のために、種々のユーザからの最良データを使用してもよい。言い換えると、システムは、関連世界を見て、その中で機能する種々のユーザからの入力を使用することによって、最良データ集合を得てもよい。
一実施形態では、データベースは、本質的に、フラクタルである、すなわち、ユーザがオブジェクトのより近くに移動するにつれて、クラウドがより高い分解能情報をそのようなユーザにパスする。ユーザがオブジェクトをより近似的にマップするにつれて、そのデータは、クラウドに送信され、クラウドは、新しいマップがデータベース内に以前に記憶されたものより優れている場合、新しい３Ｄ点および画像ベースのテクスチャマップをデータベースに追加することができる。データベースは、複数のユーザによって同時にアクセスされてもよいことを理解されたい。
１つ以上の実施形態では、システムは、収集された情報に基づいて、オブジェクトを認識してもよい。例えば、そのようなオブジェクトを認識および理解するために、オブジェクトの深度を理解することが重要であり得る。認識器ソフトウェアオブジェクト（「認識器」）が、クラウドまたはローカルリソース上に展開され、具体的には、ユーザが世界内でデータをナビゲートするにつれて、一方または両方のプラットフォーム上の種々のオブジェクトの認識を補助してもよい。例えば、システムが、３Ｄ点クラウドおよび姿勢がタグ付けされた画像を備えている、世界モデルのためのデータを有し、その上に多数の点を伴う机ならびに机の画像が存在する場合、ヒトがそれを把握するにつれて、観察されているものが、実際、机であるという決定がされない場合がある。言い換えると、空間内のいくつかの３Ｄ点および机の大部分を示す空間から外れたある場所からの画像は、机が観察されていることを瞬時に認識するために十分ではない場合がある。
本識別を補助するために、具体的オブジェクト認識器が、未加工３Ｄ点クラウドに進入し、点の集合を区画化し、例えば、机の上側表面の平面を抽出するように作成されてもよい。同様に、認識器は、ユーザが、壁紙を変更する、または仮想もしくは拡張現実内の壁の一部を除去し、実世界内に実際には存在しない別の部屋へのポータルを有し得るように、３Ｄ点から壁を区画化するように作成されてもよい。そのような認識器は、世界モデルのデータ内で動作し、世界モデルをクロールし、その世界モデルに、意味論的情報、すなわち、空間内の点間に存在すると考えられるものについての存在論を植え付ける、ソフトウェア「ロボット」と見なされ得る。そのような認識器またはソフトウェアロボットは、その存在全体が、データの関連世界を周回し、それが考えているものが、壁、または椅子、または他のアイテムであることを見つけるようにプログラムされてもよい。それらは、点の集合を「本点の集合は壁に属する」という機能的均等物でタグ付けしてもよく、点内に存在するものに関してシステムに相互に知らせるために、点ベースのアルゴリズムおよび姿勢がタグ付けされた画像分析の組み合わせを備えてもよい。
オブジェクト認識器は、視点に応じて、種々のユーティリティの多くの目的のために作成されてもよい。例えば、一実施形態では、Ｓｔａｒｂｕｃｋｓ等のコーヒーの提供業者は、データの関連世界内におけるＳｔａｒｂｕｃｋｓコーヒーカップの正確な認識器の作成に投資してもよい。そのような認識器は、関連近傍空間内で動作しているとき、区画化され、ユーザに識別され得るように（すなわち、おそらく、ユーザが、ある期間の間、そのＳｔａｒｂｕｃｋｓカップを見ているとき、角を曲がってすぐのＳｔａｒｂｕｃｋｓ直売店でユーザにコーヒーを提供するため）、Ｓｔａｒｂｕｃｋｓコーヒーカップを検索する大小様々なデータの世界をクロールするように構成されてもよい。カップが区画化されると、ユーザがそれをその机上で移動させるとき、迅速に認識され得る。
そのような認識器は、利用可能な計算リソースに応じて、クラウドコンピューティングリソースおよびデータ上だけではなく、また、ローカルリソースおよびデータ上、またはクラウドおよびローカルの両方上で起動もしくは動作するように構成されてもよい。一実施形態では、その大域的モデルに寄与する数百万人のユーザを伴う、世界モデルの大域的コピーがクラウド上に存在するが、特定の町における特定の個人のようなより小さい世界またはサブ世界のために、大域的世界の大部分は、そのオフィスがどのようなものであるかは配慮せず、したがって、システムは、データを整備し、最もローカルで所与のユーザに関連すると考えられるローカルキャッシュ情報に移動してもよい。
一実施形態では、ユーザが机まで歩くとき、テーブル上のカップ等の頻繁に移動するものとして識別されるオブジェクトが、クラウドモデルおよびクラウドとローカルリソースとの間の伝送負荷に負担をかけない必要があるため、関連情報（そのテーブル上の特定のカップの区画化等）は、クラウドではなく、そのローカルコンピューティングリソース上のみに常駐してもよい。したがって、クラウドコンピューティングリソースは、区画３Ｄ点および画像を区画化し、したがって、恒久的（例えば、概して、移動しない）オブジェクトを移動可能であるオブジェクトから分ける。
これは、関連付けられたデータがとどまるべき場所、処理されるべき場所に影響を及ぼし、より恒久的オブジェクトに関連するあるデータのために、装着式／ローカルシステムから処理負担を除去し、次いで、他のユーザと共有され得る、場所の１回の処理を可能にし、特定の物理場所内の固定および移動可能であるオブジェクトのデータベースを同時に構築するための複数のデータの源を可能にし、オブジェクトを背景から区画化し、オブジェクト特有の起点およびテクスチャマップを作成し得る。
システムは、基本要素（壁、窓、机幾何学形状等）を、仮想または拡張現実内の部屋中に歩いて来て、かつ一実施形態では、その人物のシステムが、その特定の視点から画像を撮影し、それらをクラウドにアップロードするであろう、任意のユーザと共有してもよい。次いで、クラウドに、古いおよび新しいデータの集合が取り込まれ、最適化ルーチンを起動し、個々のオブジェクト上に存在する、起点を確立することができる。
画像情報およびアクティブパターン（図５１に示されるように、アクティブプロジェクタを使用して作成された赤外線パターン等）が、ステレオプロセス５１１０への入力として使用される。有意な量の深度マップ情報は、ともに融合されてもよく、これの一部は、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのようなものへの効率的（すなわち、大規模点クラウドと比較して）かつ摘要しやすい入力である。
前述の技法は、深度マッピングプロセス５１０４のいくつかの実施形態を表すが、他のそのような技法も、深度マッピングおよび融合のために使用されてもよいことを理解されたい。ステレオプロセスの出力（深度マップ）は、融合プロセス５１０４内で組み合わせられてもよい。姿勢５１０８は、同様に、本融合プロセス５１０４への入力であってもよく、融合５１０８の出力は、図５１の実施形態に示されるように、マッププロセス５１０６に取り込むための入力となる。サブ表面は、トポグラフィマッピングにおけるように、相互に接続し、より大きい表面を形成してもよく、マップ５１０６は、点および表面の大規模なハイブリッドとなってもよい。
拡張現実プロセス５１０２における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、描写される実施形態では、種々のゲームパラメータ５１３４は、システムのユーザまたはオペレータが、種々の場所で１匹またはそれを上回るモンスタとのモンスタ戦闘ゲームを行っていること、種々の条件下で死亡または逃走しているモンスタ（ユーザがモンスタを射撃する場合等）、種々の場所における壁または他のオブジェクト、および同等物を決定するための入力であってもよい。
マップ５１０５は、ＡＲ体験５１０２への別の有用な入力となる、そのようなオブジェクトが相互に対する場所に関する情報を含んでもよい。マップ５１０６からＡＲプロセス５１０２への入力は、「世界マップ」と呼ばれ得る。世界に対する姿勢は、入力となり、ほぼ任意の双方向システムに対して重要な役割を果たし得る。
ユーザからの制御または入力は、別の重要な入力である。動き回る、またはゲームを行うために、例えば、ユーザは、システムに、ユーザが所望するものに関して命令する必要があり得る。空間内を自ら移動するだけ以外に、利用され得る種々の形態のユーザ制御が存在する。一実施形態では、トーテムまたはオブジェクト（例えば、銃）に関するデータ５１１２は、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行う相互作用の種類を理解するであろう（すなわち、トーテムまたはオブジェクトが銃である場合、システムは、場所および配向だけではなく、ＩＭＵ等のセンサを具備し得る、トリガまたは他の感知ボタンまたは要素をユーザがクリックしているかどうかを理解し得、そのようなアクティビティがカメラのいずれかの視野内にない場合でも、状況についての決定を補助し得る）。
手のジェスチャの追跡または認識に関するデータ５１１２もまた、有用な入力情報を提供し得る。システムは、ボタン押下のため、左または右、停止等のジェスチャために、手のジェスチャを追跡および解釈してもよい。例えば、ある構成では、ユーザは、非ゲーム環境において電子メールもしくカレンダをめくる、または別の人物またはプレーヤと「フィストバンプ」を行うことを所望し得る。システムは、最小量の手のジェスチャを活用してもよく、これは、動的であってもよく、またはそうでなくてもよい。例えば、ジェスチャは、単純静的ジェスチャ（例えば、停止のために手を広げる、ＯＫのために親指を上げる、反対のために親指を下げる、指向性コマンドのために手を右または左または上／下に向ける等）であってもよい。一実施形態は、ジェスチャ追跡および解釈のために非常に限定された語彙から開始し、最終的に、より微妙かつ複雑になってもよい。
眼追跡５１１４は、別の重要な入力である（すなわち、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲にレンダリングする）。一実施形態では、眼の両眼離反運動は、三角測量を使用して決定されてもよく、次いで、その特定の人物のために開発された両眼離反運動／遠近調節モデルを使用して、遠近調節が、決定されてもよい。
カメラシステムに関して、いくつかの実施形態は、ユーザの顔の両側に配列される相対的広視野（「ＦＯＶ」）また「受動的ＳＬＡＭ」対のカメラ５１２０と、ユーザの正面に配向され、ステレオプロセス５１０４に対処し、また、ユーザの顔の正面における手のジェスチャおよびトーテム／オブジェクト追跡を捕捉する、異なる対のカメラの３つの対のカメラに対応する。一対の眼カメラ５１１４は、ユーザの眼の中に配向され、眼ベクトルおよび／または他の情報を三角測量してもよい。前述のように、システムはまた、以下にさらに詳細に説明されるであろうように、１つ以上のテクスチャ化された光プロジェクタ（赤外線、すなわち、「ＩＲ」プロジェクタ５１１８等）を備え、テクスチャを場面の中に投入してもよい。
これらのデバイス（例えば、種々のカメラ、ＩＭＵ、および他のセンサ等）の全ての較正は、システムおよびその構成要素を協調させる際に重要である。システムはまた、無線三角測量技術（モバイル無線ネットワーク三角測量および／または汎地球測位衛星技術等、その両方とも、システムが屋外で利用されるため、より関連するようになる）を利用してもよい。ユーザによって装着される歩数計、ユーザの場所および／または配向に関連付けられたホイールエンコーダ等の他のデバイスまたは入力も、システムに有用となるために較正される必要があり得る。
ディスプレイシステムはまた、較正視点から入力要素と見なされ得る。言い換えると、システムの種々の要素は、好ましくは、相互に関連し、同様に、内部較正される（すなわち、要素が実世界行列を測定の中にマップする方法；実世界測定から行列に進むと、そこは「内部」と称され得る）。カメラモジュールのために、標準的内部パラメータは、ピクセル単位の焦点距離、主点（光学軸とセンサの交差点）、および歪曲パラメータ（特に、幾何学形状）を含んでもよい。
また、空間内の測定または放射輝度の正規化に着目する場合、写真測量パラメータを検討してもよい。ジャイロおよび加速度計デバイスを組み合わせる、ＩＭＵモジュール５１２２を用いる場合、スケーリング係数は、重要な較正入力であり得る。カメラ間較正もまた、重要であり得、相互に堅く結合された３つのカメラの集合（例えば、眼カメラ、ステレオカメラ、および広視野カメラ等）を有することによって行われてもよい。一実施形態では、ディスプレイは、２つの眼用サブディスプレイを有してもよく、これは、少なくとも部分的に、工場内で、かつユーザの解剖学的変動に起因して（頭蓋骨に対する眼の場所、相互に対する眼の場所等）、部分的に、原位置で較正されてもよい。したがって、一実施形態では、プロセスは、特定のユーザのためのディスプレイシステムを較正するために、ランタイム時に行われる。
概して、較正は全て、前述のように、他の機能ブロックへの入力として使用され得る、パラメータまたは構成を生成するであろう。例えば、較正は、空間内の光線方向の視点から画像内の全てのピクセルの場所を決定するために、システムが画像をリアルタイムで調節し得るように、カメラがヘルメットまたは他の頭部装着式モジュールに対する場所、ヘルメットの大域的基準、カメラの内部パラメータ等に関する入力を生成してもよい。
同じことはまた、ステレオカメラ５１１６にも当てはまる。１つ以上の実施形態では、ステレオカメラの相違マップが、深度マップの中と、３Ｄにおける点の実際のクラウドの中とにマップされてもよい。したがって、較正は、この場合も同様に基本的である。カメラは全て、好ましくは、単一基準フレームに対して把握されるであろう。これは、較正の文脈における基本概念である。前述と同様に、同じことはまた、ＩＭＵ５１２２にも当てはまる。概して、３つの軸回転が、それに関連する少なくともいくつかの特性評価／変換を促進するために、ＡＲシステムに対して決定されてもよい。他の較正技法も、以下にさらに論じられるであろう。
（高密度／低密度マッピング追跡）
前述のように、所与の場所に対するマップ点を得ることができる、多くの方法が存在し、いくつかのアプローチは、多数の（高密度）点、より低い分解能深度点を生成してもよく、他のアプローチは、はるかに少ない数の（低密度）点を生成してもよい。しかしながら、従来の視覚技術は、マップデータが全て１つの密度の点から成ることを前提とする。
前述のように、所与の場所に対するマップ点を得ることができる、多くの方法が存在し、いくつかのアプローチは、多数の（高密度）点、より低い分解能深度点を生成してもよく、他のアプローチは、はるかに少ない数の（低密度）点を生成してもよい。しかしながら、従来の視覚技術は、マップデータが全て１つの密度の点から成ることを前提とする。
これは、様々なレベルの低密度から完全に高密度のデータの集合まで様々な密度の点を有する、単一マップを有する必要があるとき、問題を提起する。例えば、所与の空間内の屋内設定に居るとき、例えば、部屋内の点に対するより高いレベルおよび体積の詳細が、多くのゲームまたは事業用途の要件を充足させるために重要となり得るため、多くの場合、部屋内の点の非常に高密度マップを記憶する必要がある。一方、長廊下または屋外設定では、高密度量のデータ記憶する必要はめったになく、故に、より低密度の点の集合を使用して、屋外空間を表すことが非常に効率的であり得る。
装着式ＡＲシステムを用いて、システムアーキテクチャは、ユーザが、高密度マッピング（例えば、屋内）に対応する設定からより低密度マッピングに対応する場所（例えば、屋外）に移動し得ることと、その逆も同様であるという事実を考慮可能である。一般的考えは、前述で詳細に説明されるように、識別された点の性質にかかわらず、ある情報が、その点に対して得られ、これらの点が、共通マップの中にともに記憶されるというものである。正規化プロセスは、点に対して記憶された情報が、システムが着式デバイスのための所望の機能性を行うことを可能にするために十分であることを確認するために行われる。本共通マップは、したがって、異なるタイプおよび／または密度のデータの統合を可能にし、マップデータへのシームレスなアクセスおよびその使用を伴う装着式デバイスの移動を可能にする。
図１１４を先に参照すると、マップに低密度マップデータおよび高密度マップデータの両方を取り込むための１つの可能性として考えられるアプローチのフロー図１１４００が、図示される。左部分上の経路は、低密度点に対処し、右部分上の経路は、高密度点に対処する。
１１４０１ａでは、プロセスは、機械に可視の任意の別個の／繰り返し可能テクスチャに関し得る、低密度特徴点を識別する。そのような別個の点の実施例として、角、円形、三角形、テキスト等が挙げられる。これらの別個の特徴の識別は、その点に対する特性を識別し、また、識別された点を位置特定することを可能にする。点の座標ならびに点を囲繞または隣接する領域のテクスチャの特性に関する他の情報を含む、種々のタイプの情報が、点に対して得られる。
同様に、１１４０１ｂでは、空間内の多数の点の識別が、行われる。例えば、深度カメラが、その点の（ｘ，ｙ，ｚ）座標を識別する、空間内の３Ｄ点の集合を捕捉するために使用されてもよい。いくつかの深度カメラはまた、点に対するＤ（深度）値とともに、ＲＧＢ値を捕捉してもよい。これは、捕捉された点に対する世界座標の集合を提供する
本時点における問題は、潜在的に互換性のない点の２つの集合が存在することであって、一方の集合は、低密度（１１４０１ａから生じる）であって、他方の集合は、高密度（１１４０１ｂから生じる）である。本発明は、捕捉されたデータに正規化を行い、本潜在的問題に対処する。正規化は、装着式デバイスのために必要とされる視覚機能性を促進するために必要とされ得る、データの任意の側面に対処するように行われる。例えば、１１４０３ａでは、スケール正規化が、低密度データの密度を正規化するために行われることができる。ここでは、点が、識別され、その点からのオフセットもまた、識別され、識別された点からオフセットまでの差異を決定し、本プロセスは、点に関連付けられるべき適切なスケーリングをチェックおよび決定するために行われる。同様に、１１４０３ｂでは、高密度データもまた、必要に応じて、正規化され、識別された高密度点を適切にスケーリングしてもよい。他のタイプの正規化、例えば、共通原点に対する座標正規化もまた、当業者に公知のように行われてもよい。機械学習フレームワークが、点のローカル集合から学習された正規化が、全ての必要点が正規化されるまで、第２の点等を正規化するために使用されるように、正規化プロセスを実装するために使用されることができる。
本時点における問題は、潜在的に互換性のない点の２つの集合が存在することであって、一方の集合は、低密度（１１４０１ａから生じる）であって、他方の集合は、高密度（１１４０１ｂから生じる）である。本発明は、捕捉されたデータに正規化を行い、本潜在的問題に対処する。正規化は、装着式デバイスのために必要とされる視覚機能性を促進するために必要とされ得る、データの任意の側面に対処するように行われる。例えば、１１４０３ａでは、スケール正規化が、低密度データの密度を正規化するために行われることができる。ここでは、点が、識別され、その点からのオフセットもまた、識別され、識別された点からオフセットまでの差異を決定し、本プロセスは、点に関連付けられるべき適切なスケーリングをチェックおよび決定するために行われる。同様に、１１４０３ｂでは、高密度データもまた、必要に応じて、正規化され、識別された高密度点を適切にスケーリングしてもよい。他のタイプの正規化、例えば、共通原点に対する座標正規化もまた、当業者に公知のように行われてもよい。機械学習フレームワークが、点のローカル集合から学習された正規化が、全ての必要点が正規化されるまで、第２の点等を正規化するために使用されるように、正規化プロセスを実装するために使用されることができる。
低密度および高密度点の両方のために正規化された点データは、次いで、適切なデータフォーマットで表される。１１４０５ａでは、記述子が、生成され、低密度点毎に取り込まれる。同様に、１１４０５ｂでも、記述子が、生成され、高密度点のために取り込まれる。記述子（例えば、Ａ−ＫＡＺＥ、球体またはＬＡＴＣＨ記述子アルゴリズムを使用する）は、低密度または高密度データに対応するかどうか、点のそれぞれを特性評価する。例えば、記述子は、点のスケール、配向、パッチデータ、および／またはテクスチャについての情報を含んでもよい。その後、１１４０７では、記述子は、次いで、共通マップデータベースの中に記憶され（前述のように）、低密度および高密度データの両方を含む、データを統合する。
装着式デバイスの動作の間、必要とされるデータが、システムによって使用される。例えば、ユーザが高密度データに対応する空間内に居るとき、多数の点が、そのデータを使用して任意の必要機能性を行うために利用可能である可能性が高い。一方、ユーザが低密度データに対応する場所に移動すると、必要機能性を行うために使用される、限定数の点が存在し得る。ユーザは、４つの点のみ識別される、屋外空間に存在してもよい。４つの点は、例えば、オブジェクト識別およびそのオブジェクトの配向のために使用されてもよい。
点はまた、ユーザの姿勢を決定するために使用されてもよい。例えば、ユーザがすでにマップされた部屋の中に移動したと仮定する。ユーザのデバイスは、部屋内の点を識別するであろう（例えば、装着式デバイス上のモノまたはステレオカメラを使用して）。例えば、既知の点を識別することによって、以前にマップされた同一点／パターンのチェックが試行され、ユーザの場所が、ユーザの配向とともに識別されることができる。部屋の３Ｄモデル内の４つまたはそれを上回る識別された点を前提として、これは、ユーザの姿勢を決定することを可能にする。高密度マッピングが存在する場合、高密度データに適切なアルゴリズムが、決定を行うために使用されることができる。空間が、低密度マッピングに対応する場合、低密度データに適切なアルゴリズムが、決定を行うために使用されることができる。
（投影されるテクスチャ源）
いくつかの場所では、その空間に対するテクスチャデータを得るべき特徴点が乏しい場合がある。例えば、ある部屋は、識別して、マッピングデータを得るための別個の特徴点が存在しない、幅広い開口部のない壁を有し得る。
いくつかの場所では、その空間に対するテクスチャデータを得るべき特徴点が乏しい場合がある。例えば、ある部屋は、識別して、マッピングデータを得るための別個の特徴点が存在しない、幅広い開口部のない壁を有し得る。
本発明のいくつかの実施形態は、自然特徴点または自然発生テクスチャの不在下でも、各点の別個のテクスチャを能動的に生成するためのフレームワークを提供する。図１１５は、本発明の実施形態の本側面を実装するためにとられ得る、例示的アプローチを図示する。１つ以上のファイバベースのプロジェクタ１１５０１が、カメラ１（１１５０２）および／またはカメラ２（１１５０３）等の１つ以上のカメラに可視である光を投影するために採用される。
一実施形態では、ファイバベースのプロジェクタは、光の狭ビームを前後に選択された角度で投影する、走査式ファイバディスプレイスキャナを備えている。光は、角度走査された光を収集し、それを１つ以上の光線の束に変換するために利用され得る、レンズまたは他の光学要素を通して投影されてもよい。
ファイバベースのプロジェクタによって投影されるべき投影データ１１５０７は、任意の好適なタイプの光を備えてもよい。いくつかの実施形態では、投影データ１１５０７は、一連の動的既知のパターンを有する構造化された光１１５０４を備え、連続光パターンが、投影され、個々に、アドレス指定およびテクスチャ化され得る、個々のピクセルを識別する。投影データはまた、識別およびテクスチャ化されるべき点の既知のパターンを有する、パターン化された光１１５０５を備えてもよい。さらに別の実施形態では、投影データは、必ずしも、既知のまたは認識可能パターンを備えている必要はないが、光データ内の点を別々に識別するために十分なテクスチャを含む、テクスチャ化された光１１５０６を備えている。
動作時、１つ以上のカメラが、プロジェクタから認識可能オフセットを有するように設置される。点は、１つ以上のカメラから捕捉された画像から識別され、三角測量が、行われ、点に対して必要な場所および深度情報を決定する。テクスチャ化された光アプローチを用いることで、テクスチャ化された光は、投影された表面上にすでにあるテクスチャ化が存在する場合でも、点を識別することを可能にする。
これは、例えば、複数のカメラに（テクスチャ化された光または実世界オブジェクトのいずれかからの）投影からの同一点を識別させ、次いで、テクスチャ抽出モジュール１１５０８を通してその識別された点に対して正しい場所および深度情報を三角測量することによって実装される。これは、テクスチャパターンが既知である必要がないため、構造化された光およびパターン化された光アプローチより有利であり得る。むしろ、テクスチャパターンは、２つまたはそれを上回るカメラから三角測量されるだけである。これは、周囲光条件に対してよりロバストである。さらに、２つまたはそれを上回るプロジェクタは、テクスチャが、識別ではなく、直接、三角測量のために使用されるため、相互に干渉しない。
本機能性のためのファイバベースのプロジェクタの使用は、多数の利点を提供する。１つの利点は、ファイバベースのアプローチが、テクスチャ化目的のために所望される場所に正確に光データを引き出すために使用されることができることである。これは、システムが、カメラによって投影される、および／または見える必要がある場所に正確に可視点を置くことを可能にする。実際、これは、テクスチャデータを生成するためのトリガ可能テクスチャ源の完全に制御可能なトリガを可能にする。これは、システムが、非常に迅速かつ容易に光を投影し、次いで、テクスチャ化されるべき所望の点を見つけ、次いで、その位置および深度を三角測量することを可能にする。
本アプローチによって提供される別の利点は、いくつかのファイバベースのプロジェクタもまた、画像を捕捉可能であることである。したがって、本アプローチでは、カメラは、プロジェクタ装置の中に統合され、コスト、デバイス専有面積、および電力利用の観点から節約を提供することができる。例えば、２つのファイバプロジェクタ／カメラが使用されるとき、これは、第１のプロジェクタ／カメラが、第２のプロジェクタ／カメラによって捕捉される光データを精密に投影することを可能にする。次に、逆のことが生じ、第２のプロジェクタ／カメラが、第１のプロジェクタ／カメラによって捕捉されるべき光データを精密に投影する。三角測量が、次いで、捕捉されたデータに対して行われ、点に対するテクスチャ情報を生成することができる。
前述のように、ＡＲシステムユーザは、ユーザの眼の正面に位置付けられるディスプレイシステムを有する、装着式構造を使用してもよい。ディスプレイは、有線導線または無線接続等によって、種々の構成において搭載され得る、ローカル処理およびデータモジュールに動作可能に結合される。ローカル処理およびデータモジュールは、電力効率的プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備えてもよく、両方とも、ａ）画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等のフレームに動作可能に結合され得るセンタさから捕捉される、および／またはｂ）可能性として、そのような処理または読み出しの後にディスプレイへのパスのために、遠隔処理モジュールおよび／または遠隔データリポジトリを使用して、取得および／または処理される、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。ローカル処理およびデータモジュールは、これらの遠隔モジュールが、相互に動作可能に結合され、ローカル処理およびデータモジュールへのリソースとして利用可能であるように、有線または無線通信リンク等を介して、遠隔処理モジュールおよび遠隔データリポジトリに動作可能に結合されてもよい。
いくつかのクラウドベースの実施形態では、遠隔処理モジュールは、データおよび／または画像情報を分析ならびに／もしくは処理するために、１つ以上の比較的に高性能のプロセッサまたはコントローラを備えてもよい。図１１６は、あるクラウドベースのコンピューティング実施形態において使用され得る、例示的アーキテクチャを描写する。クラウドベースのサーバ１１６１２は、クラウドリソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であり得る、比較的に大規模デジタルデータ記憶設備として具現化される、１つ以上の遠隔データリポジトリとして実装されることができる。
種々のタイプのコンテンツが、クラウドベースのリポジトリ内に記憶されてもよい。例えば、ユーザが、システムを体験し、世界内で動作するにつれて、オンザフライで収集されるデータは、クラウドベースのリポジトリ内に記憶されてもよい。データは、画像、センサ（概して、加速度計およびジャイロ構成要素を備えている、慣性測定、すなわち、ＩＭＵデバイス等）からのデータ、および実または仮想環境内のオブジェクトに関連する表面情報を備えてもよい。システムは、種々のタイプのデータおよび収集されたセンサデータからのメタデータを生成してもよい。例えば、幾何学形状マッピングデータ１１６０６および意味論的マッピングデータ１１６０８が、生成され、クラウドベースのリポジトリ内に記憶されることができる。
マップデータは、世界のためのマップデータを含むデータベースであり得る、クラウドベースであってもよい。一実施形態では、本データは、全体としてクラウド内に記憶される。別の実施形態では、本マップデータは、部分的に、ユーザ装着式構成要素上に常駐し、部分的に、有線または無線ネットワークによってアクセス可能なクラウド記憶場所に常駐してもよい。クラウドサーバ１１６１２はさらに、ユーザの個人情報および／または企業のポリシーを別のデータベース１１６１０内に記憶してもよい。
クラウドベースの処理が、データを処理および／または分析するために行われてもよい。例えば、意味論的マップ１１６０８は、例えば、マップによって追跡されている世界内のオブジェクトおよび場所のために、システムによって使用可能な意味論的コンテンツを提供する、情報を備えている。１つ以上の遠隔サーバは、処理１１６０２（例えば、機械学習処理）を行い、センサデータを分析し、関連意味論的マップデータを識別／生成するために使用されることができる。別の実施例として、姿勢プロセスが、装着式コンピューティングハードウェアまたはユーザの位置および配向を決定するために起動されてもよい。本姿勢処理はまた、遠隔サーバ上で行われることができる。
一実施形態では、システム処理は、部分的に、クラウドベースのサーバ上で行われ、部分的に、装着式コンピューティングアーキテクチャ内のプロセッサ上で行われる。代替実施形態では、処理の全体が、遠隔サーバ上で行われる。装着式デバイスと遠隔サーバ（例えば、クラウドベースのサーバ）との間の作業負荷の任意の好適なパーティション化が、要求される具体的作業、装着式とサーバとの間の相対的利用可能なリソース、およびネットワーク帯域幅可用性／要件の検討とともに実装されてもよい。
クラウドベースの設備もまた、記憶されたデータのための品質保証処理および誤差補正１１６０４を行うために使用されてもよい。そのようなタスクとして、例えば、誤差補正、標識化タスク、クリーンアップアクティビティ、および訓練データの生成が挙げられ得る。自動化が、遠隔サーバにおいて使用され、これらのアクティビティを行うことができる。代替として、遠隔「人的リソース」もまた、あるコンピューティングプロバイダによって提供されるＭｅｃｈａｎｉｃａｌ Ｔｕｒｋプログラムと同様に採用されることができる。
（個人データ）
個人データもまた、全体的アーキテクチャ内の種々の場所に構成可能に記憶されることができる。いくつかの実施形態では、ユーザが装着式デバイスを利用するにつれて、ユーザについての履歴データが、取得および維持され、例えば、ある期間にわたって、そのユーザの場所、アクティビティ、およびセンサデータのコピーを反映させる。個人データは、装着式デバイス自体にローカルで記憶されてもよいが、通常の使用の間に生成される可能性が高い大量のデータを前提として、クラウドベースのリポジトリが、その履歴データを記憶するために最良場所であり得る。
個人データもまた、全体的アーキテクチャ内の種々の場所に構成可能に記憶されることができる。いくつかの実施形態では、ユーザが装着式デバイスを利用するにつれて、ユーザについての履歴データが、取得および維持され、例えば、ある期間にわたって、そのユーザの場所、アクティビティ、およびセンサデータのコピーを反映させる。個人データは、装着式デバイス自体にローカルで記憶されてもよいが、通常の使用の間に生成される可能性が高い大量のデータを前提として、クラウドベースのリポジトリが、その履歴データを記憶するために最良場所であり得る。
１つ以上のプライバシーポリシーが、個人データの記憶のために、特に、クラウドベースの設定におけるそのデータへのアクセスを制御してもよい。プライバシーポリシーは、ユーザの個人データが第三者によってアクセスされ得る条件を設定するために、ユーザによって構成可能である。ユーザは、例えば、第三者が、個人データに基づいて、サービスをユーザに提供することを可能にすることを求めるユーザのために、具体的状況下でアクセスを許可してもよい。例えば、マーケティング責任者は、そのユーザの大体の近傍で事業のためのクーポンを提供するために、そのユーザの場所を決定することを求め得る。ユーザは、ユーザがマーケティング情報／クーポンを第三者マーケティング責任者からを受信することは有益であると考えるため、その場所データが第三者と共有されることを可能にするためのプライバシーポリシーを使用してもよい。一方、ユーザは、個人データのいずれかへの第三者によるいかなるアクセスも可能にしない構成に対応する、最高のレベルのプライバシーを求めてもよい。任意の好適なプライバシーポリシー構成が、本発明の実施形態に従って、使用可能であり得る。
（ＡＲシステムとの相互作用）
以下の実施形態は、１つ以上のＡＲシステムが実環境および／または他のＡＲユーザと相互作用する、種々のアプローチを図示する。一例示的実施形態では、ＡＲシステムは、ＡＲデバイスのインターフェースが、実質的に透明であって、それによって、ユーザがローカル的物理環境を視認することを可能にし得る、「拡張」モードを含んでもよい。
以下の実施形態は、１つ以上のＡＲシステムが実環境および／または他のＡＲユーザと相互作用する、種々のアプローチを図示する。一例示的実施形態では、ＡＲシステムは、ＡＲデバイスのインターフェースが、実質的に透明であって、それによって、ユーザがローカル的物理環境を視認することを可能にし得る、「拡張」モードを含んでもよい。
図５２は、ＡＲシステムが拡張モードで動作しているとき、ユーザによって視認されるオブジェクトの例示的実施形態を図示する。図５２に示されるように、ＡＲシステムは、物理オブジェクト５２０２と、仮想オブジェクト５２０４とを提示する。図５に図示される実施形態では、物理オブジェクト５２０２は、ユーザのローカル環境内に存在する実物理オブジェクトである一方、仮想オブジェクト５２０４は、ＡＲシステムによって作成された仮想オブジェクトである。いくつかの実施形態では、仮想オブジェクト５２０４は、物理環境内の固定位置または場所に表示されてもよく（例えば、物理環境内に位置する特定の道路標識の隣に立っている仮想サル）、またはユーザに対してある位置に位置するオブジェクト（例えば、ディスプレイの左上角に可視である仮想掛時計または温度計）としてユーザに表示されてもよい。
いくつかの実施形態では、仮想オブジェクトは、ユーザの視野内または外に物理的に存在するオブジェクトからキューが送られる、またはそれによってトリガされるように作製されてもよい。仮想オブジェクト５２０４は、物理オブジェクト５２０２からキューが送られる、またはそれによってトリガされる。例えば、物理オブジェクト５２０２は、実際には、スツールであってもよく、仮想オブジェクト５２０４は、スツール上に立っている仮想動物としてユーザ（およびいくつかの実施形態では、ＡＲシステムとインターフェースをとる他のユーザ）に表示されてもよい。そのような実施形態では、ＡＲシステム（例えば、例えば、プロセッサ内に記憶され、種々の特徴および／または形状パターンを認識するソフトウェアおよび／またはファームウェアを使用して）は、物理オブジェクト５２０２をスツールとして識別してもよい。例えば、スツール座面等のこれらの認識された形状パターンは、仮想オブジェクト５２０４の設置をトリガするために使用されてもよい。他の実施例として、オブジェクトまたはオブジェクトとのある関係において、拡張現実体験をトリガするために見える、または使用されることができる、壁、テーブル、家具、車、建物、人々、床、植物、動物、または任意のオブジェクトが挙げられる。
いくつかの実施形態では、トリガされる特定の仮想オブジェクト５２０４は、ユーザによって選択される、または頭部搭載式ＡＲシステムの他の構成要素によって自動的に選択されてもよい。加えて、仮想オブジェクト５２０４が自動的に、トリガされる実施形態では、特定の仮想オブジェクト５２０４は、仮想オブジェクト５２０４が、キューが送られる、またはトリガされる、特定の物理オブジェクト５２０２（またはその特徴）に基づいて選択されてもよい。例えば、物理オブジェクトが、プールの上方に延在する飛込台として識別される場合、トリガされる仮想オブジェクトは、シュノーケル、水着、救命胴衣、または他の関連アイテムを装着する創造物であってもよい。
別の例示的実施形態では、ＡＲシステムは、ＡＲシステムが仮想現実インターフェースを提供する、「仮想」モードを含んでもよい。仮想モードでは、物理環境は、ディスプレイから省略され、仮想オブジェクトデータが、ディスプレイ３０３上に提示される。物理環境の省略は、視覚的ディスプレイを物理的にブロックすることによって（例えば、カバーを介して）、またはディスプレイが不透明設定に遷移する、ＡＲシステムの特徴を通して、遂行されてもよい。仮想モードでは、ライブおよび／または記憶された視覚および聴覚感覚が、ＡＲシステムのインターフェースを通してユーザに提示されてもよく、ユーザは、インターフェースの仮想モードを通して、デジタル世界（デジタルオブジェクト、他のユーザ等）を体験し、それと相互作用する。したがって、仮想モードにおいてユーザに提供されるインターフェースは、仮想デジタル世界を備えている仮想オブジェクトデータから成る。
図５３は、仮想モードで動作するときのユーザインターフェースの例示的実施形態を図示する。図５３に示されるように、ユーザインターフェースは、デジタルオブジェクト５３１０から成る仮想世界５３００を提示し、デジタルオブジェクト５３１０は、大気、天候、地形、建物、および人々を含んでもよい。図５３に図示されないが、デジタルオブジェクトはまた、例えば、植物、車両、動物、創造物、機械、人工知能、場所情報、および仮想世界５３００を定義する任意の他のオブジェクトまたは情報を含んでもよい。
別の例示的実施形態では、ＡＲシステムは、ＡＲシステムの種々の特徴（ならびに仮想および拡張モードの特徴）が１つ以上のカスタムインターフェースモードを作成するために組み合わせられ得る、「混成」モードを含んでもよい。一例示的カスタムインターフェースモードでは、物理環境が、省略され、仮想オブジェクトデータが、仮想モードに類似する様式で提示される。しかしながら、本例示的カスタムインターフェースモードでは、仮想オブジェクトは、完全仮想であってもよく（例えば、ローカル物理環境に存在しない）またはオブジェクトは、物理オブジェクトの代わりに、インターフェース内に仮想オブジェクトとしてレンダリングされた実ローカル物理オブジェクトであってもよい。したがって、本特定のカスタムモード（本明細書では、混成仮想インターフェースモードと称される）では、ライブおよび／または記憶された視覚および聴覚感覚が、ＡＲシステムのインターフェースを通してユーザに提示されてもよく、ユーザは、完全仮想オブジェクトおよびレンダリングされた物理オブジェクトを備えているデジタル世界を体験し、それと相互作用する。
図５４は、混成仮想インターフェースモードに従って動作する、ユーザインターフェースの例示的実施形態を図示する。図５４に示されるように、ユーザインターフェースは、完全仮想オブジェクト５４１０およびレンダリングされた物理オブジェクト５４２０（場面内にそうでなければ物理的に存在するオブジェクトのレンダリング）から成る仮想世界５４００を提示する。図５４に図示される実施例によると、レンダリングされた物理オブジェクト５４２０は、建物５４２０Ａと、地面５４２０Ｂと、プラットフォーム５４２０Ｃとを含む。これらの物理オブジェクトは、太い輪郭５４３０で示され、ユーザに、オブジェクトがレンダリングされていることを示す。加えて、完全仮想オブジェクト５４１０は、付加的ユーザ５４１０Ａと、クラウド５４１０Ｂと、太陽５４１０Ｃと、プラットフォーム６２０Ｃの上部の炎５４１０Ｄとを含む。
完全仮想オブジェクト５４１０は、例えば、大気、天候、地形、建物、人々、植物、車両、動物、創造物、機械、人工知能、場所情報、および仮想世界５４００を定義し、ローカル物理環境内に存在するオブジェクトからレンダリングされていない、任意の他のオブジェクトまたは情報を含んでもよいことを理解されたい。逆に言えば、レンダリングされた物理オブジェクト５４２０は、仮想オブジェクトとしてレンダリングされた実ローカル物理オブジェクトである。太い輪郭５４３０は、レンダリングされた物理オブジェクトをユーザに示すための一実施例を表す。したがって、レンダリングされた物理オブジェクトは、本明細書に開示されるもの以外の方法等を使用して示されてもよい。
したがって、ユーザが、混成仮想インターフェースモードにおいてＡＲシステムとインターフェースをとるにつれて、種々の物理オブジェクトが、レンダリングされた物理オブジェクトとしてユーザに表示されてもよい。これは、依然として、ローカル物理環境を安全にナビゲートすることが可能でありながら、ユーザがＡＲシステムとインターフェースをとることを可能にするために、特に有用であり得る。いくつかの実施形態では、ユーザは、選択的に、レンダリングされた物理オブジェクトを除去または追加することが可能であってもよい。
別の例示的カスタムインターフェースモードでは、インターフェースは、実質的に透明であって、それによって、種々のローカル物理オブジェクトがレンダリングされた物理オブジェクトとしてユーザに表示される間、ユーザが、ローカル物理環境を視認することを可能にしてもよい。本例示的カスタムインターフェースモードは、拡張モードに類似するが、仮想オブジェクトのうちの１つ以上のものは、前述の実施例に関して前述のように、レンダリングされた物理オブジェクトであってもよい。
前述の例示的カスタムインターフェースモードは、ＡＲシステムの混成モードによって提供されることが可能な種々のカスタムインターフェースモードのいくつかの例示的実施形態を表す。故に、種々の他のカスタムインターフェースモードは、本開示の範囲から逸脱することなく、ＡＲシステムの構成要素によって提供される特徴および機能性および前述の種々のモードの種々の組み合わせから作成されてもよい。
本明細書で論じられる実施形態は、単に、オフ、拡張、仮想、または混成モードで動作するインターフェースを提供するためのいくつかの実施例を説明し、ＡＲシステムの構成要素のそれぞれのインターフェースモードまたは機能性の範囲またはコンテンツを限定することを意図するものではない。例えば、いくつかの実施形態では、仮想オブジェクトは、ユーザに表示されるデータ（時間、温度、高度等）、システムによって作成および／または選択されるオブジェクト、ユーザによって作成および／または選択されるオブジェクト、もしくはさらにシステムとインターフェースをとる他のユーザを表すオブジェクトを含んでもよい。加えて、仮想オブジェクトは、物理オブジェクトの延在部を含んでもよく（例えば、物理プラットフォームから延びる仮想彫像）、物理オブジェクトに視覚的に接続される、またはそこから切断されてもよい。
仮想オブジェクトはまた、動的であって、時間に伴って変化する、ユーザまたは他のユーザ、物理オブジェクト、および他の仮想オブジェクト間の種々の関係（例えば、場所、距離等）に従って変化する、および／またはＡＲシステム、ゲートウェイ構成要素、またはサーバのソフトウェアおよび／またはファームウェア内に規定された他の変数に従って変化してもよい。例えば、ある実施形態では、仮想オブジェクトは、ユーザデバイスまたはその構成要素（例えば、触知デバイスがそれに隣接して設置されるとき、仮想ボールが移動する）、物理的または言葉によるユーザ相互作用（例えば、ユーザがそれに接近すると、仮想創造物が逃げる、またはユーザがそれに話しかけると、話す、椅子が仮想創造物に投げられと、創造物が椅子をかわす）、他の仮想オブジェクト（例えば、第１の仮想創造物が第２の仮想創造物を見ると反応する）、場所、距離、温度、時間等の物理変数、またはユーザの環境内の他の物理オブジェクト（例えば、物理的通りに立っているように示される仮想創造物が、物理的車が通過すると平坦になる）に応答してもよい。
本明細書で論じられる種々のモードは、ＡＲシステム以外のユーザデバイスに適用されてもよい。例えば、拡張現実インターフェースは、携帯電話またはタブレットデバイスを介して提供されてもよい。そのような実施形態では、電話またはタブレットは、カメラを使用して、ユーザの周囲の物理環境を捕捉してもよく、仮想オブジェクトは、電話／タブレットディスプレイ画面上にオーバーレイされてもよい。加えて、仮想モードは、デジタル世界を電話／タブレットのディスプレイ画面上に表示することによって提供されてもよい。故に、これらのモードは、前述のように、本明細書で論じられる電話／タブレットの構成要素、ならびにユーザデバイスに接続される、またはそれと組み合わせて使用される他の構成要素を使用して、種々のカスタムインターフェースモードを作成するように混成されてもよい。例えば、混成仮想インターフェースモードは、運動または画像捕捉システムと組み合わせて動作するカメラを欠いたコンピュータモニタ、テレビ画面、または他のデバイスによって提供されてもよい。本例示的実施形態では、仮想世界は、モニタ／画面から視認されてもよく、オブジェクト検出およびレンダリングは、運動または画像捕捉システムによって行われてもよい。
図５５は、それぞれ異なる地理的場所に位置する２人のユーザが他方のユーザおよびそのそれぞれのユーザデバイスを通して共通仮想世界と相互作用する、本開示の例示的実施形態を図示する。本実施形態では、２人のユーザ５５０１および５５０２は、仮想ボール５５０３（仮想オブジェクトのあるタイプ）を行ったり来たり投げ合っており、各ユーザは、仮想世界上の他方のユーザの影響を観察可能である（例えば、各ユーザは、他方のユーザによってキャッチされている、仮想ボールが変化する方向を観察する等）。仮想オブジェクト（例えば、仮想ボール５５０３）の移動および場所は、ＡＲシステムに関連付けられたコンピューティングネットワーク内のサーバによって追跡されるため、システムは、いくつかの実施形態では、ユーザ５５０１および５５０２のそれぞれへの各ユーザに対するボール５５０３の到着の正確な場所およびタイミングを通信し得る。
例えば、第１のユーザ５５０１がＬｏｎｄｏｎに位置する場合、ユーザ５５０１は、ＡＲシステムによって計算される速度で、ボール５５０３をＬｏｓ Ａｎｇｅｌｅｓに位置する第２のユーザ５５０２に投げてもよい。故に、ＡＲシステムは、第２のユーザ５５０２に（例えば、電子メール、テキストメッセージ、インスタントメッセージ等を介して）ボールの到着の正確な時間および場所を通信し得る。したがって、第２のユーザ５５０２は、ＡＲデバイスを使用して、ボール５５０３が規定された時間および位置に到着するのが見え得る。１人以上のユーザはまた、地理的場所マッピングソフトウェア（または類似物）を使用して、仮想上地球を横断して進行するにつれて、１つ以上の仮想オブジェクトを追跡してもよい。これの実施例は、３Ｄ頭部搭載式ディスプレイを装着しているユーザが、空を見上げると、実世界上に重畳される、頭上を飛んでいる仮想飛行機が見えるというものであり得る。仮想飛行機は、ユーザ、知的ソフトウェアエージェント（ユーザデバイスまたはゲートウェイ上で起動するソフトウェア）、ローカルおよび／または遠隔に存在し得る他のユーザ、および／またはこれらの組み合わせのいずれかによって、飛ばされてもよい。
前述のように、ユーザデバイスは、触知インターフェースデバイスを含んでもよく、触知インターフェースデバイスは、触知デバイスが、ＡＲシステムによって、仮想オブジェクトに対して物理的空間場所に位置することが決定されると、フィードバック（例えば、抵抗、振動、光、音等）をユーザに提供する。例えば、図５５に関して前述の実施形態は、図５６に示されるように、触知デバイス５６０２の使用を含むように拡張されてもよい。
本例示的実施形態では、触知デバイス５６０２は、野球バットとして仮想世界内に表示されてもよい。ボール５５０３が到着すると、ユーザ５５０２は、触知デバイス５６０２を仮想ボール５５０３に対して振ってもよい。ＡＲシステムが、触知デバイス５６０２によって提供される仮想バットがボール５５０３と「接触」したと決定する場合、触知デバイス５６０２は、振動する、また他のフィードバックをユーザ５５０２に提供してもよく、仮想ボール５５０３は、ボールとバットの接触の検出されたスピード、方向、およびタイミングに従って、ＡＲシステムによって計算された方向に仮想バットから跳ね返ってもよい。
開示されるＡＲシステムは、いくつかの実施形態では、混合モードインターフェースを促進し得、複数のユーザが、異なるインターフェースモード（例えば、拡張、仮想、混成等）を使用して、共通仮想世界（およびその中に含まれる仮想オブジェクト）とインターフェースをとり得る。例えば、仮想インターフェースモード内の特定の仮想世界とインターフェースをとる第１のユーザは、拡張現実モード内の同一仮想世界とインターフェースをとる第２のユーザと相互作用してもよい。
図５７Ａは、第１のユーザ５７０１（混成仮想インターフェースモードにおいてＡＲシステムのデジタル世界とインターフェースをとる）および第１のオブジェクト５７０２が、完全仮想現実モードにおけるＡＲシステムの同一デジタル世界とインターフェースをとる第２のユーザ５７２２に仮想オブジェクトとして見える、実施例を図示する。前述のように、混成仮想インターフェースモードを介してデジタル世界とインターフェースをとると、ローカル物理オブジェクト（例えば、第１のユーザ５７０１および第１のオブジェクト５７０２）が、仮想世界内の仮想オブジェクトとして走査およびレンダリングされてもよい。第１のユーザ５７０１は、例えば、運動捕捉システムまたは類似デバイスによって走査され、仮想世界内で第１のレンダリングされた物理オブジェクト５７３１としてレンダリングされてもよい。
同様に、第１のオブジェクト５７０２は、例えば、ＡＲシステムの環境感知システム５７０６によって走査され、仮想世界内に第２のレンダリングされた物理オブジェクト５７３２としてレンダリングされてもよい。第１のユーザ５７０１および第１のオブジェクト５７０２は、図５７Ａの第１の部分５７１０に物理世界内の物理オブジェクトとして示される。図５７Ａの第２の部分５７２０では、第１のユーザ５７０１および第１のオブジェクト５７０２は、第１のレンダリングされた物理オブジェクト５７３１および第２のレンダリングされた物理オブジェクト５７３２として、完全仮想現実モードにおいてＡＲシステムの同一仮想世界とインターフェースをとる第２のユーザ５７２２に見えるように示される。
図５７Ｂは、混合モードインターフェースの別の例示的実施形態を図示し、第１のユーザ５７０１は、前述のように、混成仮想インターフェースモードにおいてデジタル世界とインターフェースをとり、第２のユーザ５７２２は、拡張現実モードにおいて同一デジタル世界（および第２のユーザの物理ローカル環境５７２５）とインターフェースをとる。図５７Ｂにおける実施形態では、第１のユーザ５７０１および第１のオブジェクト５７０２は、第１の物理場所５７１５に位置し、第２のユーザ５７２２は、第１の場所５７１５からある距離によって分離される、異なる第２の物理場所５７２５に位置する。本実施形態では、仮想オブジェクト５７３１および５７３２は、リアルタイム（またはほぼリアルタイム）で、第２の場所５７２５に対応する仮想世界内の場所に転置されてもよい。したがって、第２のユーザ５７２２は、第２のユーザの物理ローカル環境５７２５内において、それぞれ、第１のユーザ５７０１および第１のオブジェクト５７０２を表す、レンダリングされた物理オブジェクト５７３１および５７３２を観察し、それと相互作用してもよい。
図５８は、拡張現実モードにおいてＡＲシステムとインターフェースをとるときのユーザのビューの例示的例証を図示する。図５８に示されるように、ユーザには、ローカル物理環境（例えば、複数の建物を有する都市）ならびに仮想キャラクタ５８１０（例えば、仮想オブジェクト）が見える。仮想キャラクタ５８１０の位置は、２Ｄ視覚的標的（例えば、広告看板、ポストカード、または雑誌）および／または建物、車、人々、動物、飛行機、建物の一部、および／または任意の３Ｄ物理オブジェクト、仮想オブジェクト、および／またはそれらの組み合わせ等の１つ以上の３Ｄ基準フレームによってトリガされてもよい。図５８に図示される実施例では、都市内の建物の既知の位置が、仮想キャラクタ５８１０をレンダリングするための位置合わせ起点および／または情報ならびに重要特徴を提供してもよい。
加えて、ユーザの地理的空間場所（例えば、ＧＰＳ、姿勢／位置センサ等によって提供される）または建物に対するモバイル機器の場所は、ＡＲシステムのコンピューティングネットワークによって使用されるデータを備え、仮想キャラクタ５８１０を表示するために使用されるデータの伝送をトリガしてもよい。いくつかの実施形態では、仮想キャラクタ５８１０を表示するために使用されるデータは、レンダリングされたキャラクタ５８１０および／または仮想キャラクタ５８１０またはその一部をレンダリングするための命令を備えてもよい。
いくつかの実施形態では、地理的空間ユーザの場所が、利用不可能または未知である場合、ＡＲシステムは、依然として、時間および／または他のパラメータの関数としてユーザの最後の既知の位置を使用して、特定の仮想オブジェクトおよび／または物理オブジェクトが位置し得る場所を推定する、推定アルゴリズムを使用して仮想オブジェクト５８１０を表示してもよい。これはまた、ＡＲシステムのセンサが遮蔽されたおよび／または他の故障を被った場合、任意の仮想オブジェクトの位置を決定するために使用されてもよい。
いくつかの実施形態では、仮想キャラクタまたは仮想オブジェクトは、仮想像を備えてもよく、仮想像のレンダリングは、物理オブジェクトによってトリガされる。例えば、ここで図５９を参照すると、仮想像５９１０は、実物理プラットフォーム５９２０によってトリガされてもよい。像５９１０のトリガは、視覚的オブジェクトまたはユーザデバイスまたはＡＲシステムの他の構成要素によって検出された特徴（例えば、起点、設計特徴、幾何学形状、パターン、物理場所、高度等）に応答してもよい。ユーザが、ユーザデバイスを用いずに、プラットフォーム５９２０を視認すると、ユーザには、像５９１０を伴わないプラットフォーム５９２０が見える。
しかしながら、ユーザが、装着式ＡＲデバイスを通して、プラットフォーム５９２０を視認すると、ユーザは、図５９に示されるように、プラットフォーム５９２０上に像５９１０が見える。像５９１０は、仮想オブジェクトであって、したがって、定常である、動画化される、経時的にまたはユーザの視認位置に対して変化する、またはさらに、像５９１０を視認してる特定のユーザに応じて変化してもよい。
例えば、ユーザが、小さな子供である場合、像は、犬であってもよい。視認者が、成人男性である場合、像は、図５９に示されるように、大きなロボットであってもよい。これらは、ユーザ依存および／または状態依存体験の実施例である。これは、１人以上のユーザが、１つ以上の仮想オブジェクトのみおよび／または物理オブジェクトと組み合わせて知覚し、仮想オブジェクトのカスタマイズおよび個人化されたバージョンを体験するのに役立つであろう。像５９１０（またはその一部）は、例えば、ユーザデバイス上にインストールされたソフトウェア／ファームウェアを含む、システムの種々の構成要素によってレンダリングされてもよい。
ユーザデバイスの場所および姿勢を示すデータを、仮想オブジェクト（例えば、像５９１０）の位置合わせ特徴と組み合わせ使用して、仮想オブジェクト（例えば、像５９１０）は、物理オブジェクト（例えば、プラットフォーム５９２０）との関係を形成可能である。例えば、１つ以上の仮想オブジェクトと１つ以上の物理オブジェクトとの間の関係は、距離、測位、時間、地理的場所、１つ以上の他の仮想オブジェクトへの近接度、ならびに／もしくは任意の種類の仮想および／または物理データを含む任意の他の機能関係の関数であってもよい。いくつかの実施形態では、ユーザデバイス内の画像認識ソフトウェアはさらに、仮想オブジェクト／物理オブジェクト関係を向上させ得る。
開示されるシステムおよび方法によって提供される双方向インターフェースは、例えば、１つ以上の仮想環境およびオブジェクトとの相互作用、他のユーとの相互作用、ならびに広告、音楽コンサート、および映画を含む、メディアコンテンツの種々の形態の体験等の種々のアクティビティを促進するように実装されてもよい。故に、開示されるシステムは、ユーザが、メディアコンテンツを視聴するだけではなく、むしろ、能動的に、メディアコンテンツに参加し、それを体験するように、ユーザ相互作用を促進する。いくつかの実施形態では、ユーザ参加は、既存のコンテンツを改変する、もしくは１つ以上の仮想世界内にレンダリングされるべき新しいコンテンツを作成することを含んでもよい。いくつかの実施形態では、メディアコンテンツおよび／またはユーザ作成コンテンツは、１つ以上の仮想世界の神話環境の周囲にテーマ化されてもよい。
一実施例では、ミュージシャン（または他のユーザ）は、特定の仮想世界と相互作用するユーザにレンダリングされるべき音楽コンテンツを作成してもよい。音楽コンテンツは、例えば、種々のシングル、ＥＰ、アルバム、ビデオ、ショートフィルム、およびコンサート演奏を含んでもよい。一実施例では、多数のユーザは、ＡＲシステムとインターフェースをとり、同時に、ミュージシャンによって行われる仮想コンサートを体験してもよい。
いくつかの実施形態では、生成されるメディアは、特定のエンティティ（例えば、バンド、アーティスト、ユーザ等）に関連付けられた一意の識別子コードを含み得る。コードは、英数字文字、ＵＰＣコード、ＱＲコード（登録商標）、２Ｄ画像トリガ、３Ｄ物理オブジェクト特徴トリガ、または他のデジタルマーク、ならびに音、画像、および／またはの両方の集合の形態であってもよい。いくつかの実施形態では、コードはまた、ＡＲシステムを使用してインターフェースがとられ得る、デジタルメディアとともに埋め込まれてもよい。ユーザは、コード（例えば、料金の支払を介して）を得て、コードを識別子コードに関連付けられたエンティティによって生成されるメディアコンテンツへのアクセスと引き換えてもよい。メディアコンテンツは、ユーザのインターフェースから追加または除去されてもよい。
一実施形態では、短待ち時間で、クラウドコンピューティングシステムからユーザに結合されるローカルプロセッサ等、リアルタイムまたはほぼリアルタイムビデオデータをあるコンピューティングシステムから別のコンピューティングシステムにパスするための計算および帯域幅制限を回避するために、種々の形状および幾何学形状に関するパラメータ情報が、転送され、表面を定義するために利用されてもよい一方、テクスチャが、パラメータ的に再現された顔幾何学形状上にマップされた人物の顔のビットマップベースのビデオ詳細等、静的または動的詳細をもたらすために、転送され、これらの表面に追加されてもよい。
別の実施例として、システムが、人物の顔を認識し、人物のアバタが拡張世界内に位置することを認識する場合、システムは、比較的に大きな設定転送において、関連世界情報および人物のアバタ情報をパスしてもよく、その後、ローカルレンダリングのためのローカルコンピューティングシステムへの残りの転送は、パラメータおよびテクスチャ更新に限定されてもよい。これは、人物の骨組み構造の運動パラメータおよび人物の顔の移動ビットマップを含んでもよい。これらは、初期設定転送またはリアルタイムビデオのパスに対して殆ど帯域幅を要求し得ない。
クラウドベースのおよびローカルコンピューティングアセットが、したがって比較的に短待ち時間を要求しないクラウドハンドリング計算と、短待ち時間が最優先事項であるローカル処理アセットハンドリングタスクと、統合方式で使用されてもよい。そのような場合、ローカルシステムに転送されるデータの形態は、好ましくは、そのようなデータ（例えば、周囲のリアルタイムビデオではなく、パラメータ情報、テクスチャ等）の形態または量に起因して、比較的に低帯域幅でパスされる。
先に図６３を参照すると、概略は、クラウドコンピューティングアセット６３４６とローカル処理アセット（６３０８、６３２０）との間の協調を図示する。一実施形態では、クラウド６３４６アセットは、有線または無線ネットワーキング（６３４０、６３４２）を介して、直接、ユーザの頭部またはベルト６３０８に結合される構造で格納され得るプロセッサおよびメモリ構成等のローカルコンピューティングアセット（６３２０、６３０８）の一方または両方に動作可能に結合される（無線が、移動性のために好ましく、有線は、所望され得るある高帯域幅または高データ量転送のために好ましい）。
ユーザにローカルのこれらのコンピューティングアセットは、同様に、有線および／または無線接続構成６３４４を介して、相互にも動作可能に結合されてもよい。一実施形態では、低慣性および小型サイズ頭部搭載式サブシステム６３２０を維持するために、ユーザとクラウド６３４６との間の一次転送は、ベルトベースのサブシステム６３０８とクラウドとの間のリンクを介してもよく、頭部搭載式サブシステム６３２０は、例えば、パーソナルコンピューティング周辺接続用途において現在採用されているように、主に、超広帯域（「ＵＷＢ」）接続等の無線接続を使用して、ベルトベースのサブシステム６３０８にデータテザリングされる。
上記である程度詳細に論じられたように、効率的ローカルおよび遠隔処理協調ならびにユーザのための適切なディスプレイデバイスを用いることで、ユーザの現在の実際または仮想場所に関連するある世界の側面が、ユーザに転送または「パス」され、効率的方式で更新され得る。実際、一実施形態では、ある人物が拡張現実モードで仮想現実システム（「ＶＲＳ」）を利用し、第１の人物にローカルの同一世界を探索するために、別の人物が完全仮想モードでＶＲＳを利用すると、２人のユーザは、種々の方式でその世界内で相互を体験し得る。例えば、図６０を参照すると、図５９を参照して説明されたものに類似するシナリオが、完全仮想現実シナリオから描写される拡張現実世界を通して飛んでいる第２のユーザのアバタ６００２の可視化の追加を伴って描写されている。
言い換えると、図６０に描写される場面は、第１の人物のための拡張現実において体験および表示され得る。すなわち、２つの拡張現実要素（像６０１０および第２の人物の飛んでいるマルハナバチアバタ２）が、地面、背景内の建物、像プラットフォーム６０２０等の場面内のローカル世界の周囲の実際の物理要素に加え、表示される。動的更新が、利用され、第１の人物が、アバタ２が第１の人物にローカルな世界を通して飛ぶにつれて、第２の人物のアバタ２の進度を可視化することを可能にしてもよい。
再び、前述のように、クラウドコンピューティングリソース上に常駐し、そこから配信され得る、ある世界モデルが存在する、構成を用いることで、そのような世界は、比較的に低帯域幅形態で１人以上のユーザに「パス可能」となることができる。これは、リアルタイムでビデオデータをパスするより好ましくあり得る。像の近傍に立っている人物の拡張体験（例えば、図６０に示されるように）は、クラウドベースの世界モデルによって情報提供されてもよく、その下位集合は、彼らおよびそのローカルディスプレイデバイスにパスされ、ビューを完成してもよい。
机上にある単純パーソナルコンピュータとしてであり得る、遠隔ＡＲデバイスの前に座っている人物は、情報の同一区分をクラウドから効率的にダウンロードし、それをそのディスプレイ上にレンダリングさせることができる。実際、像の近傍の公園内に実際に存在するある人物は、その公園内を遠隔で位置する友人と散歩してもよく、友人は、仮想および拡張現実を通して参加する。システムは、通りの場所、木の場所、像の場所等を把握する必要があるであろう。本情報およびクラウドからのデータを使用して、参加する友人が、クラウドからのシナリオの側面をダウンロードし、次いで、実際に公園内に居る人物に対してローカルの拡張現実に沿って散歩を始めることができる。
図６１を参照すると、時間および／または他の付随パラメータベースの実施形態が、描写されており、仮想および／または拡張現実インターフェースと繋がれた人物は、ＡＲシステム（６１０４）を利用し、コーヒー施設に入り、１杯のコーヒーを注文する（６１０６）。ＶＲＳは、ローカルでおよび／または遠隔で、感知およびデータ収集能力を利用して、コーヒー施設内のハイライトされたドアの場所または関連コーヒーメニューの吹き出しウィンドウ等、その人物のために、拡張および／または仮想現実内にディスプレイ機能強化を提供してもよい（６１０８）。
ユーザが注文した１杯のコーヒーを受け取ると、またはある他の関連パラメータのシステムによる検出に応じて、システムは、ディスプレイデバイスを用いて、静的または動的のいずれかである、ジャングルの音および他の効果の有無にかかわらず、壁および天井から、マダガスカルのジャングルの場面等、１つ以上の時間ベースの拡張もしくは仮想現実画像、ビデオ、および／または音をローカル環境内に表示してもよい（６１１０）。
ユーザへのそのような提示は、タイミングパラメータ（例えば、満杯のコーヒーカップが認識され、ユーザに手渡されてから５分後、システムがユーザが施設の正面ドアを通って歩き去ったことを認識してから１０分後等）、またはユーザがカップからのコーヒーの最後の１滴を飲み終えて、コーヒーカップの配向を上下逆にしたことに気付くことによる、ユーザがコーヒーを飲み終えたことのシステムによる認識、もしくはユーザが施設の正面ドアから去ったことのシステムによる認識等、他のパラメータに基づいて、切断されてもよい（６３１２）。
図６２を参照すると、好適なユーザディスプレイデバイス６２１４の一実施形態が、筐体またはフレーム６２８４によってユーザの頭部または眼に搭載され得るディスプレイレンズ６２８２を備えているように示されている。ディスプレイレンズ６２８２は、ユーザの眼６２２０の正面に筐体６２８４によって位置付けられる１つ以上の透明鏡を備え、投影される光６２３８を眼６２２０の中に送達し、ビーム成形を促進する一方、また、拡張現実構成内のローカル環境からの少なくとも一部の光の伝送も可能にしてもよい。
仮想現実構成では、ディスプレイシステム６２１４は、暗化されたバイザー、ブロック用カーテン、全黒色ＬＣＤパネルモード、または同等物等によって、ローカル環境からの実質的に全光をブロック可能であることが望ましくあり得る。描写される実施形態では、２つの広視野機械視覚カメラ６２１６が、筐体６２８４に結合され、ユーザの周囲の環境を撮像する。一実施形態では、これらのカメラ６２１６は、二重捕捉可視光／赤外線光カメラである。描写される実施形態はまた、示されるように、ディスプレイ鏡および光学を伴う、一対の走査式レーザ成形波正面（例えば、深度のために）光プロジェクタモジュールを備え、光６２３８を眼６２２０の中に投影する。
描写される実施形態はまた、ユーザの眼６２２０を追跡し、レンダリングおよびユーザ入力をサポートする、赤外線光源６２２６（例えば、発光ダイオード「ＬＥＤ」）と対合された２つの小型赤外線カメラ６２２４を備えている。システム６２１４はさらに、Ｘ、Ｙ、およびＺ軸加速度計能力ならびに磁気コンパスおよびＸ、Ｙ、およびＺ軸ジャイロ能力を備え、好ましくは、２００Ｈｚ等の比較的に高周波数でデータを提供し得る、センサアセンブリ６２３９を特徴とする。
描写されるシステム６２１４はまた、捕捉デバイス６２１６から出力される広視野画像情報からの実またはほぼリアルタイムユーザ頭部姿勢を計算し得る、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、および／またはＡＲＭプロセッサ（新型縮小命令セット機械）等の頭部姿勢プロセッサ６２３６を備えている。また、示されるのは、デジタルおよび／またはアナログ処理を実行し、センサアセンブリ６２３９からのジャイロ、コンパス、および／または加速度計データから姿勢を導出するための別のプロセッサ６２３２である。
描写される実施形態はまた、姿勢および測位を補助するためのＧＰＳ６２３７（例えば、全地球測位衛星）サブシステムを特徴とする。最後に、描写される実施形態は、世界のユーザのビューのために、ソフトウェアプログラムを起動し、ユーザにローカルのレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するハードウェアを特徴とし得る、レンダリングエンジン６２３４を備えている。
レンダリングエンジン６２３４は、ンダリングされた拡張および／または仮想現実オブジェクトの光が、網膜走査ディスプレイと類似する様式で走査レーザ配列６２１８を使用して投影されるように、センサ姿勢プロセッサ６２３２、画像姿勢プロセッサ６２３６、眼追跡カメラ６２２４、および投影サブシステム６２１８に動作可能に結合される（６２８１、６２７０、６２７６、６２７８、６２８０）（例えば、有線または無線接続を介して）。他の実施形態は、前述の種々の光学実施形態に類似する他の光学配列を利用してもよい。
投影される光ビーム６２３８の波正面は、拡張および／または仮想現実オブジェクトの所望の焦点距離と一致するように屈曲または合焦されてもよい。小型赤外線カメラ６２２４は、眼を追跡し、レンダリングおよびユーザ入力（例えば、ユーザが見ている場所、焦点深度等）をサポートするために利用されてもよい。以下に論じられるように、眼の両眼離反運動は、焦点深度を推定するために利用されてもよい。
ＧＰＳ６２３７、ジャイロスコープ、コンパス、および加速度計６２３９は、進路および／または高速姿勢推定を提供するために利用されてもよい。カメラ６２１６画像および姿勢情報は、関連付けられたクラウドコンピューティングリソースからのデータと併せて、ローカル世界をマップし、ユーザビューを仮想または拡張現実コミュニティと共有するために利用されてもよい。
図６２に特徴とされるディスプレイシステム６２１４内のハードウェアの多くは、ディスプレイ６２８２およびユーザの眼６２２０に隣接する筐体６２８４に直接結合されるように描写されるが、描写されるハードウェア構成要素は、ベルト搭載式構成要素等の他の構成要素に搭載される、またはその中に格納されてもよい。
一実施形態では、図６２に特徴とされるシステム６２１４の構成要素は全て、ディスプレイ筐体６２８４に直接結合されるが、画像姿勢プロセッサ６２３６、センサ姿勢プロセッサ６２３２、およびレンダリングエンジン６２３４を除く。画像姿勢プロセッサ６２３６、センサ姿勢プロセッサ６２３２、およびレンダリングエンジン６２４３間の通信は、超広帯域等の無線通信または有線通信を通してもよいことを理解されたい。
描写される筐体６２８４は、ユーザに自然に嵌合し、ユーザの頭部上に頭部搭載可能である、形状である。筐体６２８４はまた、ユーザの耳の中に挿入され、図６１に関して参照されたジャングルの音等、拡張または仮想現実体験に関連し得る、音をユーザに提供するために利用され得るもの等のスピーカと、ユーザにローカルの音を捕捉するために利用され得る、マイクロホンとを特徴としてもよい。
１つ以上の実施形態では、ミニカメラ６２２４は、一般に、眼６２２０の焦点の位置または「焦点深度」と一致する、ユーザの眼６２２０の中心が幾何学的に接する場所を測定するために利用されてもよい。前述のように、眼が接する全点の３次元表面は、「単視軌跡」と呼ばれる。焦点距離は、有限数の深度を取り得る、または無限に変動し得る。両眼離反運動距離から投影される光は、対象の眼６２２０に合焦されるように見える一方、両眼離反運動距離の正面または背面の光は、ぼやける。
さらに、約０．７ミリメートル未満のビーム直径を伴う空間的にコヒーレントな光は、眼が合焦する場所にかかわらず、ヒトの眼によって正しく分解されることが発見されている。本理解を前提として、適切な焦点深度の錯覚を作成するために、眼の両眼離反運動が、小型カメラ６２２４を用いて追跡されてもよく、レンダリングエンジン６２３４および投影サブシステム６２１８は、単視軌跡上またはそれに近接する全オブジェクトを合焦させて、かつ全ての他のオブジェクトを様々な焦点ぼけ度で（例えば、意図的に作成されたぼけを使用して）レンダリングするために利用されてもよい。
好ましくは、システム６２１４は、約６０フレーム／秒またはそれを上回るフレームレートでユーザにレンダリングする。前述のように、好ましくは、小型カメラ６２２４が、眼追跡のために利用されてもよく、ソフトウェアは、両眼離反運動幾何学形状だけではなく、また、焦点場所キューも取り上げ、ユーザ入力として保存してもよい。好ましくは、そのようなシステムは、昼間または夜間使用に好適な輝度およびコントラストを有する。一実施形態では、そのようなシステムは、好ましくは、ヒトの眼のほぼ限界である、視覚的オブジェクト整合のための約２０ミリ秒未満の待ち時間、約０．１度未満の角度整合、および約１分の分解能を有する。
ディスプレイシステム６２１４は、ＧＰＳ要素、光学追跡、コンパス、加速度計、および／または他のデータソースを伴い、位置および姿勢決定を補助し得る、位置特定システムと統合されてもよい。位置特定情報は、関連世界のユーザのビューにおける正確なレンダリングを促進するために使用されてもよいことを理解されたい（例えば、そのような情報は、眼鏡が実世界に対する場所を把握するのを促進するであろう）。
他の好適なディスプレイデバイスは、限定ではないが、デスクトップおよびモバイルコンピュータ、スマートフォン、３Ｄ斜視図を促進またはシミュレートするために、ソフトウェアおよびハードウェア特徴を用いてさらに機能強化され得る（例えば、一実施形態では、フレームはスマートフォンに可撤性に結合されてもよく、フレームは、２００Ｈｚジャイロおよび加速度計センサ下位集合と、広視野レンズを伴う２つの小型機械視覚カメラと、ＡＲＭプロセッサとを特徴とし、図１４に特徴とされる構成の機能性のうちのいくつかをシミュレートする）、スマートフォン、タブレットコンピュータ、スマートフォンに関して前述のように機能強化され得る、タブレットコンピュータ、付加的処理および感知ハードウェアを用いて機能強化される、タブレットコンピュータ、スマートフォンおよび／またはタブレットを使用して、拡張および仮想視点（拡大光学鏡、コンタクトレンズ、または光構造化要素を介した視覚的遠近調節）を表示する、頭部搭載式システム、発光要素の非シースルーディスプレイ（ＬＣＤ、ＯＬＥＤ、垂直共振器面発光レーザ、操向式レーザビーム等）、ヒトに自然世界および人工的に生成された画像が同時に見えることを可能にする、シースルーディスプレイ（例えば、光誘導光学要素、近焦点コンタクトレンズの中に差し込む透明かつ偏光ＯＬＥＤ、操向式レーザビーム等）、発光要素を伴うコンタクトレンズ（特殊な相補的眼眼鏡構成要素と組み合わせられてもよい）、発光要素を伴う埋込型デバイス、ならびにヒトの脳の光受容体をシミュレートする、埋込型デバイスを含んでもよい。
図６３に描写されるもの等のシステムを用いることで、３Ｄ点が、環境から捕捉され得、それらの画像または点を捕捉するカメラの姿勢（例えば、世界に対するベクトルおよび／または原位置情報）が、これらの点または画像が、「タグ付け」され、または本姿勢情報に関連付けられ得るように決定され得る。次いで、第２のカメラ（例えば、別のＡＲシステム）によって捕捉された点は、第２のカメラの姿勢を決定するために利用されてもよい。
言い換えると、第１のカメラからのタグ付けされた画像との比較に基づいて、第２のカメラを配向および／また配置特定することができる。本知識は、テクスチャを抽出し、マップを作り、実世界の仮想コピーを作成する（次いで、位置合わせされる２つのカメラが存在するため）ために利用されてもよい。したがって、基本レベルでは、一実施形態では、ＡＲシステムは、３Ｄ点および点を生成した２Ｄ画像の両方を捕捉することができ、これらの点および画像は、クラウド記憶および処理リソースに送信されてもよい。それらはまた、クラウドが、３Ｄ点とともにタグ付けされた２Ｄ画像（例えば、３Ｄ姿勢とタグ付けされた）にアクセス可能であり得るように（例えば、利用可能なキャッシュ内の）、埋め込まれた姿勢情報とともにローカルでキャッシュされてもよい（例えば、タグ付けされた画像をキャッシュする）。
ユーザが、動的である何らかのものを観察している場合、ユーザのＡＲシステムはまた、付加的情報を運動に関連するクラウドに送信してもよい（例えば、別の人物の顔を見ている場合、ユーザは、顔のテクスチャマップを持ち出し、テクスチャマップを最適化された周波数で当てはめることができ、周囲世界は、そうでなければ基本的に静的である）。
クラウドシステムは、いくつかの点を姿勢専用の起点として保存し、全体的姿勢追跡計算を削減してもよい。概して、ユーザが部屋を動き回るにつれて、壁、テーブル等のユーザの環境内の主要アイテムを追跡するために、いくつかの輪郭特徴を使用することが望ましくあり得る。ユーザは、世界を「共有」し、ある他のユーザを部屋の中に歩いてこさせ、また、それらの点を見せることを所望してもよい。そのような有用および重要点は、アンカ点として非常に有用であるため、「起点」と称され得る。それらは、機械視覚を用いて認識され得、異なる一式のユーザハードウェア上で一貫し、かつ繰り返し世界から抽出され得る、特徴に関連する。したがって、これらの起点は、好ましくは、さらなる使用のために、クラウドに保存され得る。
一実施形態では、カメラが場所を認識するために容易に使用することができるアイテムの種類であるため、関連世界全体を通して比較的に均一な起点分布を有することが好ましい。
一実施形態では、関連クラウドコンピューティング構成は、起点精緻化および世界作成の両方のために、種々のユーザからの最良データを使用するために、３Ｄ点および任意の関連付けられたメタデータのデータベースを周期的に整備する。言い換えると、システムは、関連世界内を見て、機能させている種々のユーザからの入力を使用することによって、最良データ集合を得てもよい。一実施形態では、データベースは、本質的にフラクタルである。すなわち、ユーザがオブジェクトのより近くに移動するにつれて、クラウドは、より高い分解能情報をそのようなユーザにパスする。ユーザがオブジェクトをより近接してマップするにつれて、そのデータは、クラウドに送信され、クラウドは、新しい点が以前に記憶された点より優れている場合、新しい３Ｄ点および画像ベースのテクスチャマップをデータベースに追加することができる。本プロセスは、複数のユーザのために同時に起動してもよいことを理解されたい。
前述のように、ＡＲまたはＶＲ体験は、大部分において、あるタイプのオブジェクトを認識することに依拠し得る。例えば、そのようなオブジェクトを認識および理解するために、特定のオブジェクトが所与の深度を有することを理解することが重要であり得る。上記である程度詳細に説明されたように、オブジェクト認識ソフトウェア（「認識器」）が、クラウドまたはローカルリソース上に展開され、ユーザが世界内をナビゲートするにつれて、プラットフォームの一方または両方上の種々のオブジェクトの認識を具体的に補助してもよい。
例えば、システムが、３Ｄ点クラウドおよび姿勢がタグ付けされた画像を備えている世界モデルのためのデータを有し、その上に点の束を伴う机と、机の画像とが存在する場合、机の幾何学形状が、システムがそれを認識するために、システムに教示され得る。言い換えると、空間内のいくつかの３Ｄ点および机の大部分を示す画像は、机が観察されていることを瞬時に認識するために十分ではない場合がある。
本識別を補助するために、具体的オブジェクト認識器が、未加工３Ｄ点クラウド上で起動し、点の集合を区画し、例えば、机の上側表面の平面を抽出するように作成されてもよい。同様に、認識器は、ユーザが、単に、仮想もしくは拡張現実内の「仮想」壁紙を変更する、または壁の一部を除去する、および／または実世界の一部ではない別の仮想部屋へのポータルを有し得るように、３Ｄ点から壁を区画化するように作成されてもよい。
そのような認識器は、世界モデルのデータ内で動作し、世界モデルをクロールし、その世界モデルに意味論的情報または空間内の点間に存在すると考えられるものについての存在論を植え付ける、ソフトウェア「ロボット」と見なされ得る。そのような認識器またはソフトウェアロボットは、その存在全体が、データの関連世界を動き回り、壁、または椅子、または他のアイテムであると考えるものを見つけるように構成されてもよい。それらは、点の集合に、「本点の集合は壁に属する」という機能的均等物をタグ付けするように構成されてもよく、点内にあるものに関してシステムに相互に知らせるために、点ベースのアルゴリズムおよび姿勢がタグ付けされた画像分析の組み合わせを備えてもよい。
オブジェクト認識器は、観点に応じて、様々なユーティリティの多くの目的のために作成されてもよい。例えば、一実施形態では、Ｓｔａｒｂｕｃｋｓ（登録商標）等のコーヒーの提供業者は、データの関連世界内のＳｔａｒｂｕｃｋｓコーヒーカップの正確な認識器の作成に投資してもよい。そのような認識器は、関連近傍空間内で動作しているとき、区画化され、ユーザに認識され得るように、大小のデータの世界をクロールし、Ｓｔａｒｂｕｃｋｓコーヒーカップを検索してもよい（例えば、おそらく、ユーザが、ある期間の間、そのＳｔａｒｂｕｃｋｓカップを見ているとき、角を曲がってすぐのＳｔａｒｂｕｃｋｓ直売店でユーザにコーヒーを提供するため）。
カップが区画化されると、ユーザがそれをその机上に移動させると、迅速に認識され得る。そのような認識器は、利用可能な計算リソースに応じて、クラウドコンピューティングリソースおよびデータ上でのみではなく、また、ローカルリソースおよびデータ、またはクラウドおよびローカルの両方で起動もしくは動作してもよい。一実施形態では、クラウド上に世界モデルの大域的コピーが存在し、数百万人のユーザが、その大域的モデルに寄与している。しかしながら、より小さい世界（例えば、特定の町内の特定の個人のオフィス）のためには、ローカル情報は、世界の大部分のユーザに関連しないであろう。したがって、システムは、データを整備し、所与のユーザに最もローカルで関連すると考えられる情報をローカルキャッシュに移動させてもよい。
一実施形態では、例えば、ユーザが机まで歩いてくるとき、テーブル上のカップ等、頻繁に移動するものとして識別されるオブジェクトが、クラウドとローカルリソースとの間にクラウドモデル伝送に負担をかける必要がないため、関連情報（そのテーブル上の特定のカップの区画化等）は、クラウド上ではなく、ローカルコンピューティングリソース上に常駐してもよい。
したがって、クラウドコンピューティングリソースは、３Ｄ点および画像を区画化し、したがって、恒久的（例えば、概して、移動しない）オブジェクトを移動可能であるものから分解してもよく、これは、関連付けられたデータが留まる場所、処理されるべき場所に影響を及ぼし、恒久的オブジェクトにより関連するあるデータのための処理負担を装着式／ローカルシステムから除去し得る。これはまた、１回の場所処理を可能にし、これは、次いで無制限の他のユーザと共有され、複数のデータのソースが、同時に、特定の物理場所内の固定および移動可能であるオブジェクトのデータベースを構築し、オブジェクトを背景から区画化し、オブジェクト特有の起点およびテクスチャマップを作成することを可能にし得る。
一実施形態では、システムは、ユーザが、システムを訓練し、システムが、意味論的情報を実世界内のオブジェクトに関連付けることを可能にし得るように、ユーザに、あるオブジェクトの識別についての入力をクエリしてもよい（例えば、システムは、ユーザに、「それはＳｔａｒｂｕｃｋｓコーヒーカップであるか？」等の質問を提示してもよい）。存在論基準は、世界から区画化されたオブジェクトに関するガイダンス（例えば、オブジェクトが行うもの、オブジェクトの挙動方法等）を提供してもよい。一実施形態では、システムは、無線で接続されるキーパッド、スマートフォンのキーパッドへの接続、または同等物等の仮想または実際のキーパッドを特徴とし、システムへのあるユーザ入力を促進してもよい。
システムは、基本要素（壁、窓、机幾何学形状等）を仮想または拡張現実内の部屋の中に歩いてくる任意のユーザと共有してもよく、一実施形態では、その人物のシステムは、その特定の視点から画像を撮影し、それらをクラウドにアップロードしてもよい。次いで、クラウドに、古いおよび新しいデータの集合が取り込まれ、最適化ルーチンを起動し、個々のオブジェクト上に存在する起点を確立することができる。
ＧＰＳおよび他の位置特定情報が、そのような処理への入力として利用されてもよいことを理解されたい。さらに、オンラインカレンダまたはＦａｃｅｂｏｏｋ（登録商標）アカウント情報等の他のコンピューティングシステムおよびデータも、入力として利用されてもよい（例えば、一実施形態では、クラウドおよび／またはローカルシステムは、所与の目的地におけるユーザの到着時間に備えているために、経時的に、情報が、クラウドからユーザのローカルシステムに移動され得るように、飛行機のチケット、日付、および目的地に関して、ユーザのカレンダのコンテンツを分析してもよい）。
一実施形態では、クラウドリソースは、前述のように、パラメータおよびテクスチャに基づいて個々のユーザによってレンダリングされているモデルを伴う、「パス可能世界」を参照して、ユーザ間で実および仮想世界のデジタルモデルをパスしてもよい。これは、リアルタイムビデオのパスと比較して帯域幅を低減させ、場面の仮想視点のレンダリングを可能にし、数百万またはそれを上回るユーザが、ユーザのビューがそのローカルコンピューティングリソースによってレンダリングされるため、彼らの各々に見える必要があるデータ（ビデオ等）を送信せずに１つの仮想集会に参加することを可能にする。
ＡＲシステムは、カメラを使用するリアルタイム計量コンピュータ視覚、同時位置特定およびマッピング技法、地図、ならびにジャイロスコープ、加速度計、コンパス、気圧計、ＧＰＳ、無線信号強度三角測量、信号飛行時間分析、ＬＩＤＡＲ測距、ＲＡＤＡＲ測距、走行距離計、およびソナー測距等のセンサからのデータのうちの１つ以上のものを通して、ユーザ場所および視野（ともに「姿勢」として知られる）を位置合わせしてもよい。
ＡＲシステムは、同時に、マップおよび配向してもよい。例えば、未知の環境では、ＡＲシステムは、環境についての情報を収集し、ユーザ姿勢計算のために好適な起点、世界モデル化のための他の点、世界のテクスチャマップを提供するための画像を確認してもよい。起点は、姿勢を光学的に計算するために使用されてもよい。
世界がより詳細にマップされるにつれて、より多くのオブジェクトは、区画化され、その独自のテクスチャマップが与えられ得るが、世界は、依然として、好ましくは、低分解能テクスチャマップを伴う単純多角形における低空間分解能で表現可能である。前述のもの等の他のセンサが、本モデル化の試みをサポートするために利用されてもよい。世界は、移動または別様により優れたビューを求める（視点、「超視覚」モード、ズーム等を通して）ことが、クラウドリソースからの高分解能情報を要求するという点において、本質的にフラクタルであり得る。オブジェクトのより近くに移動することは、より高い分解能データを捕捉し、これは、クラウドに送信され得、世界モデル内の格子間位置における新しいデータを計算および／または挿入し得る。
図６４を参照すると、装着式システムは、画像情報を捕捉し、起点および認識された点６４５２を抽出し得る。装着式ローカルシステムは、後述される姿勢計算技法のうちの１つを使用して、姿勢を計算してもよい。クラウド６４５４は、画像および起点を使用して、３Ｄオブジェクトをより静的３Ｄ背景から区画化してもよい。画像は、オブジェクトおよび世界に関するテクスチャマップを提供してもよい（テクスチャは、リアルタイムビデオであってもよい）。クラウドリソースは、世界位置合わせのために、静的起点およびテクスチャを記憶および利用してもよい。
クラウドリソースは、位置合わせのために、最適点密度のための点クラウドを整備してもよい。クラウドリソース６４６０は、オブジェクト位置合わせおよび操作のために、オブジェクト起点およびテクスチャを記憶および利用してもよい。クラウドは、位置合わせのために、最適密度のための点クラウドを整備してもよい。クラウドリソース６４６２は、全ての有効点およびテクスチャを使用して、オブジェクトのフラクタル固体モデルを生成してもよい。クラウドは、最適起点密度のために、点クラウド情報を整備してもよい。クラウドリソース６４６４は、区画化されたオブジェクトおよび世界の識別における訓練のために、ユーザにクエリしてもよい。前述のように、存在論データベースは、回答を使用して、オブジェクトおよび世界にアクション可能特性を植え込んでもよい。
位置合わせおよびマッピングの以下の具体的モードは、光学またはカメラシステムから決定される姿勢を表す、用語「Ｏ−姿勢」と、センサ（例えば、前述のように、ＧＰＳ、ジャイロ、コンパス、加速度計等のデータの組み合わせ等）から決定される姿勢を表す、「Ｓ−姿勢」と、ＡＲサーバ（クラウドコンピューティングおよびデータ管理リソースを表す）とを特徴とする。
「配向」モードは、新しい環境の基本マップを作成し、その目的は、新しい環境がマップされない場合またはユーザがＡＲサーバに接続されていない場合、ユーザの姿勢を確立することである。配向モードでは、装着式システムは、点を画像から抽出し、フレームからフレームへと点を追跡し、Ｓ−姿勢を使用して、起点を三角測量する（画像から抽出された起点が存在しないため）。装着式システムはまた、ユーザの残光性に基づいて、不良起点をフィルタ除去してもよい。
配向モードは、位置合わせおよびマッピングの最も基本モードであって、常時、低精度姿勢に対しても機能するであろうことを理解されたい。しかしながら、ＡＲシステムが、少なくともわずかな時間の間、相対的運動において使用された後、最小起点集合が、装着式システムが、Ｏ−姿勢を使用して、オブジェクトを認識し、環境をマップするために設定されるように、確立されるであろう。Ｏ−姿勢は、確実になるとすぐに（最小起点集合を用いて）、装着式セットは、配向モードを終了し得る。「マップおよびＯ−姿勢」モードは、環境をマップするために使用されてもよい。マップおよびＯ−姿勢モードの目的は、高精度姿勢を確立し、環境をマップし、マップおよび画像をＡＲサーバに提供することである。本モードでは、Ｏ−姿勢は、ＡＲサーバからダウンロードされる、および／またはローカルで決定される、完全となった世界起点から計算される。
しかしながら、Ｓ−姿勢は、計算されたＯ−姿勢のチェックとして使用されてもよく、また、Ｏ−姿勢の計算を加速化するために使用されてもよいことを理解されたい。上記と同様に、装着式システムは、点を画像から抽出し、フレームからフレームへと点を追跡し、Ｏ−姿勢を使用して、起点を三角測量し、残光性に基づいて、不良起点をフィルタ除去する。残りの起点および姿勢がタグ付けされた画像は、次いで、ＡＲサーバクラウドに提供される。
これらの機能（点の抽出、不良起点のフィルタ除去、および起点および姿勢がタグ付けされた画像の提供）は、リアルタイムで行われる必要はなく、帯域幅を保存するために、後に行われてもよいことを理解されたい。
Ｏ−姿勢は、ユーザの姿勢（ユーザ場所および視野）を決定するために使用される。Ｏ−姿勢の目的は、最小処理パワーを使用して、すでにマップされた環境内に高精度姿勢を確立することである。Ｏ−姿勢の計算は、いくつかのステップを伴う。
ｎにおける姿勢を推定することは、装着式システムが、Ｓ−姿勢およびＯ−姿勢から集められた履歴データ（ｎ−１、ｎ−２、ｎ−３等）を使用してもよい。ｎにおける姿勢は、次いで、起点をｎにおいて捕捉された画像の中に投影し、画像マスクを投影から作成するために使用される。装着式システムは、点をマスクされた領域から抽出し、Ｏ−姿勢を抽出された点および完全となった世界起点から計算する。
処理負担は、点を特定の画像のマスクされた下位集合から検索／抽出することによって大幅に低減されることを理解されたい。１ステップさらに進むと、ｎにおける計算されたＯ−姿勢およびｎにおけるＳ−姿勢は、ｎ＋１における姿勢を推定するために使用されてもよい。姿勢がタグ付けされた画像および／またはビデオは、ＡＲサーバクラウドに伝送されてもよい。
「超分解能」モードは、超分解能画像および起点を作成するために使用されてもよい。複合姿勢タグ付け画像は、超分解能画像を作成するために使用されてもよく、これは、順に、起点位置推定を向上させるために使用されてもよい。超分解能起点および画像からのＯ−姿勢推定を反復することを理解されたい。前述のステップは、装着式デバイス上でリアルタイムで行われてもよく、またはＡＲサーバクラウドに伝送され、後に行われてもよい。
一実施形態では、ＡＲシステムは、ある基本機能性と、ＡＲシステムを通して配信され、ある特殊機能性を提供し得る、「アプリ」またはアプリケーションによって促進される、機能性とを有してもよい。例えば、以下のアプリが、本主題のＡＲシステムにインストールされ、特殊機能性を提供してもよい。
一実施形態では、ディスプレイデバイスが連続フレームを通して２Ｄ点を追跡する場合、ベクトル値関数をそれらの点の時間発展に適合し、ベクトル値関数を任意の時点（例えば、フレーム間）または近い将来のある時点においてサンプリングすることが可能である（ベクトル値関数を時間的に前方に投影することによって）。これは、高分解能後処理の作成および次の画像が実際に捕捉される前の将来的姿勢の予測を可能にする（例えば、位置合わせスピードを２倍にすることは、カメラフレームレートを２倍にすることなく可能である）。
身体中心レンダリング（頭部固定または世界固定レンダリングとは対照的に）に関して、身体の正確なビューが、所望される。身体を測定するのではなく、一実施形態では、ユーザの頭部の平均位置を通してその場所を導出することが可能である。ユーザの顔が、殆どの時間、前方を向いている場合、頭部位置の複数日平均は、その方向を表すであろう。
重力ベクトルと併せて、これは、身体固定レンダリングのための合理的に安定した座標フレームを提供する。本長持続時間座標フレームに対する頭部位置の現在の測定値の使用は、余剰器具類を伴わずに、ユーザの身体上／その周囲におけるオブジェクトの一貫したレンダリングを可能にする。本実施形態の実装のために、頭部方向ベクトルの単一登録平均が、開始されてもよく、デルタ−ｔによって除算されたデータの累計は、現在の平均頭部位置を与えるであろう。第ｎ−５日目から開始して、第ｎ−４日目、第ｎ−３日目、第ｎ−２日目、第ｎ−１日目の５日程度の登録を維持することは、過去「ｎ」日のみのローリング平均の使用を可能にする。
一実施形態では、場面は、スケールダウンされ、実際より小さい空間内でユーザに提示されてもよい。例えば、巨大空間（例えば、フットボール競技場等）内にレンダリングされ得る場面が存在する状況では、同等巨大空間が存在しない場合がある、またはそのような大空間は、ユーザに不便であり得る。一実施形態では、システムは、ユーザに縮小して見え得るように、場面のスケールを縮使用してもよい。例えば、全体が見渡せるビデオゲームまたは世界選手権フットボールゲームを有し、スケーリンされていないフィールドでプレイする、またはスケールダウンされ、リビングルームの床に提示され得る。システムは、単に、レンダリング投射、スケール、および関連付けられた遠近調節距離をシフトさせてもよい。
システムはまた、仮想または拡張現実オブジェクトの焦点を操作する、それらをハイライトする、コントラスト、輝度、スケール等を変更することによって、提示される場面内の具体的アイテムにユーザの注意を引いてもよい。
好ましくは、システムは、以下のモードを達成し得る。開放空間レンダリングモードでは、システムは、重要点を構造化された環境から取り上げ、レンダリングでその間の空間を充填してもよい。本モードは、ステージ、出力空間、広い屋内空間等のような潜在的場を作成するために使用されてもよい。
オブジェクトラッピングモードでは、システムは、実世界内の３Ｄオブジェクトを認識し、次いで、それを拡張してもよい。本文脈における「認識」は、画像を３Ｄオブジェクトにアンカするために十分に高い精度で３Ｄオブジェクトを識別することを意味し得る。本文脈における「認識」は、オブジェクトのタイプ（例えば、人物の顔）の分類、および／またはオブジェクトの特定のインスタンス（例えば、Ｊｏｅ、人物）の分類のいずれかを意味し得ることを理解されたい。これらの原理を想定して使用すると、認識器ソフトウェアは、壁、天井、床、顔、道路、空、飛行機、牧場、テーブル、椅子、車、道路標識、広告掲示板、ドア、窓、書棚等のような種々の物を認識するために使用されることができる。いくつかの認識器ソフトウェアプログラムは、タイプＩであって、一般的機能性を有し得る（例えば、「私のビデオをその壁に置く」、「あれは、犬である」等）一方、他の認識器ソフトウェアプログラムは、タイプＩＩであって、具体的機能性を有し得る（私のＴＶは、天井から３．２フィートのリビングルームの壁にある）、「あれは、Ｆｉｄｏである」等）
身体中心レンダリングでは、任意のレンダリングされた仮想オブジェクトは、ユーザの身体に固定される。例えば、いくつかのオブジェクトは、ユーザの身体（例えば、ユーザのベルト）の周囲に浮遊してもよい。これの達成は、頭部だけではなく、身体の位置を把握することを要求する。しかしながら、身体の位置は、頭部の位置によって推定されてもよい。例えば、頭部は、通常、地面と平行に前方を向いている。また、身体の位置は、ユーザの頭部位置の長期平均によって取得されたデータを使用して、時間に伴って、より正確になってもよい。
身体中心レンダリングでは、任意のレンダリングされた仮想オブジェクトは、ユーザの身体に固定される。例えば、いくつかのオブジェクトは、ユーザの身体（例えば、ユーザのベルト）の周囲に浮遊してもよい。これの達成は、頭部だけではなく、身体の位置を把握することを要求する。しかしながら、身体の位置は、頭部の位置によって推定されてもよい。例えば、頭部は、通常、地面と平行に前方を向いている。また、身体の位置は、ユーザの頭部位置の長期平均によって取得されたデータを使用して、時間に伴って、より正確になってもよい。
タイプＩＩとして認識されたオブジェクトは、種々の３Ｄモデルのオンラインデータベースにリンクされてもよい。認識プロセスを開始するとき、車または公益施設のように、一般に利用可能である３Ｄモデルを有するオブジェクトから開始することが理想的である。
システムはまた、仮想存在のために使用され、例えば、ユーザが、遠隔人物のアバタを特定の開放空間の中に描くことを可能にしてもよい。これは、前述の「開放空間レンダリング」の下位集合と見なされ得る。ユーザは、ローカル環境の大まかな幾何学形状を作成し、幾何学形状およびテクスチャマップの両方を他者に反復的に送信してもよい。ユーザは、しかしながら、他者が、その環境に進入する許可を与えてもよい。微妙な音声キュー、手の追跡、および頭部運動が、遠隔アバタに送信されてもよい。前述の情報に基づいて、アバタは、動画化されてもよい。仮想存在の作成は、帯域幅を最小限にし、慎重に使用されてもよいことを理解されたい。
システムはまた、オブジェクトを別の部屋への「ポータル」にするために構成されてもよい。言い換えると、ローカル部屋内にアバタを示す代わりに、認識されたオブジェクト（例えば、壁）が、別のユーザの環境へのポータルとして使用されてもよい。したがって、複数のユーザは、その独自の部屋内に座り、他のユーザの環境を壁を「通して」見てもよい。
システムはまた、カメラ（人々）の群が異なる視点から場面を視認するとき、ある面積の高密度デジタルモデルを作成するために構成されてもよい。本モデルは、その面積が少なくとも１つのカメラを通して視認される限り、任意の視点からレンダリング可能であり得る。例えば、結婚式の場面が、複数のユーザの視点を通してレンダリングされてもよい。認識器は、定常オブジェクトを移動オブジェクトから区別し、異なるようにマップし得ることを理解されたい（例えば、壁は、安定したテクスチャマップを有する一方、人々は、より高い頻度の移動テクスチャマップを有する）。
リアルタイムで更新された豊富なデジタルモデルを用いることで、場面は、任意の視点からレンダリングされ得る。結婚式の実施例に戻ると、背後における出席者は、より優れたビューのために、前列へと空中を飛んで行ってもよい。または、敷地外出席者は、アバタを用いて、または主催者によって許可される場合、不可視のいずれかにおいて、「席」を見つけることができる。出席者は、移動するアバタを示すことができる、またはビューから隠れたアバタを有してもよい。本側面は、非常に高帯域幅を要求する可能性があることを理解されたい。高周波数データは、クラウドを通して高速ローカル無線接続上でストリームされてもよい一方、低周波数データは、クラウド内のＡＲサーバから生じてもよい。前述の実施例では、結婚式の全出席者は、高精度位置情報を有し得るため、したがって、ローカルネットワーキングのための最適ルーティング経路の作成は、わけがないことである。
システムへ、またはユーザ間の通信のために、単純無音メッセージングが、多くの場合、望ましい。例えば、指コーディングキーボードが、使用されてもよい。随意の実施形態では、触覚手袋解決策が、性能向上をもたらし得る。
完全仮想現実体験をユーザに与えるために、視覚系は、暗化され、ユーザは、実世界とオーバーレイされないビューが示される。本モードでも、位置合わせシステムは、依然として、ユーザの頭部位置を追跡するために必要であり得る。完全仮想現実を体験するために使用され得る、いくつかのモードが存在し得る。例えば、「ソファー」モードでは、ユーザは、飛ぶことが可能であり得る。「歩行」モードでは、実世界のオブジェクトは、ユーザが実世界と衝突しないように、仮想オブジェクトとして再レンダリングされ得る。
原則として、身体部分のレンダリングは、仮想世界を通してナビゲートする際、ユーザの不信の一時的停止のために重要であり得る。１つ以上の実施形態では、これは、身体部分を追跡し、ユーザの視野内にレンダリングする方法を有することを要求し得る。例えば、不透明バイザーは、多くの画像強調可能性を伴う仮想現実の形態であり得る。別の実施例では、広視野は、ユーザに背後のビューを与え得る。さらに別の実施例では、システムは、望遠鏡視覚、シースルー視覚、赤外線視覚、神の視覚等のような種々の形態の「超視覚」を含んでもよい。
一実施形態では、仮想および／または拡張ユーザ体験のためのシステムが、ユーザに関連付けられた遠隔アバタが、関連ソフトウェアモジュールによって行われるような音声抑揚分析および顔認識分析等のソースからの入力を用いて、少なくとも部分的に、装着式デバイス上のデータに基づいて動画化され得るように作成される。例えば、図６０に戻って参照すると、ハチアバタ６００２は、ユーザの顔上の笑顔の顔認識に基づいて、またはユーザからローカルで音声サンプルを捕捉し得るマイクロホンに入力される音声を分析するソフトウェアによって決定されるように、音声または発話の優しいトーンに基づいて、優しい笑顔を有するように動画化されてもよい。さらに、アバタキャラクタは、アバタがある感情を表す可能性が高い様式において動画化されてもよい。例えば、アバタが犬である、ある実施形態では、ヒトユーザにローカルのシステムによって検出された嬉しい笑顔またはトーンは、犬アバタがしっぽを振ると、アバタ内に表されてもよい。
図６５−７０を参照すると、複雑なゲーム実施形態の種々の側面が、「Ｓｅｃｒｅｔ ａｇｅｎｔ００７」下で作られたキャラクタに関係して提示されるスパイテーマのうちのいくつかを用いてテーマ的に配向され得る、スパイタイプゲームの文脈において図示される。図６５を参照すると、家族６５８４の例証が、パーソナルコンピュータまたは専用ゲーム用システムに基づくもの等、ゲーム用コンピュータまたはコンソール６５８６に動作可能に結合される、ゲーム用ジョイスティックまたはコントローラ等の入力デバイス６５８８を動作させることによって、ゲーム内でキャラクタを操縦する家族６５８５の一員とともに描写される。
ゲーム用コンソール６５８６は、ユーザインターフェースビュー６５９２をパイロット／オペレータ６５８５およびその近くに居る他者に示す、ディスプレイ６５９２に動作可能に結合される。図６６は、そのようなユーザインターフェースビュー６５９２の一実施例を図示しており、本主題のゲームは、Ｌｏｎｄｏｎ（Ｅｎｇｌａｎｄ）の町内の橋上またはその近傍で行われている。本特定のプレーヤ６５８５のためのユーザインターフェースビュー６５９２は、純粋仮想現実（例えば、表示されるユーザインターフェースの全要素が、実際には、プレーヤ６５８５とともに存在しない）であって、モニタまたはディスプレイ（図６５における要素６５９０）を使用して表示される仮想要素である。
再び、図６６を参照すると、描写される仮想現実ビュー６５９２は、Ｌｏｎｄｏｎの町のビューを特徴とし、橋６６０２および種々の建物６６９８ならびに他の建築特徴とともに、図６６のユーザインターフェースビュー６５９２に示されるように、斜視図から本主題のプレーヤ６５８５によって動作されるゲーム用キャラクタ（６６１８−本例証的実施例では、「エージェント００９」とも称される）の描写を特徴とする。
また、プレーヤ６５８５に表示されるのは、通信ディスプレイ６６９６、コンパスインジケータ６６９４、キャラクタステータスインジケータ６６１４、ニュースツールユーザインターフェース６６０４、ソーシャルネットワーキングツールユーザインターフェース６６３２、およびメッセージングユーザインターフェース６６１２である。さらに示されるのは、ゲーム内の別のキャラクタの代表（６６２２−本例証的実施例では、「エージェント００６」とも称される）である。ユーザインターフェースビュー６５９２に示されるように、システムは、エージェント００６キャラクタの周囲に視覚的に提示されるハイライトとともに、エージェント００６が接近中であるというメッセージングインターフェース６６１２を通したメッセージ等、提示される場面に関連すると見なされる情報を提示してもよい。
オペレータ６５８５は、利用しているビューの視点を随時変更してもよい。例えば、図６６に示されるヘリコプター状斜視図ではなく、プレーヤは、そのようなキャラクタの眼の視点、または計算および提示され得る、多くの他の可能性として考えられるビューのうちの１つからのビューを選択することを決定してもよい。
図６７を参照すると、別の例証的ビュー６７４４は、家のリビングルームにおいてオペレータ（例えば、図６５におけるプレーヤ６５８５）によってプレイされている、同一ゲームに参加しており、その混成または拡張現実体験のために、Ｌｏｎｄｏｎの実際の町を実際に通って歩きながら、頭部搭載式ＡＲディスプレイシステム６７００および関連付けられたローカル処理システム６７０８を装着してキャラクタ「エージェント００６」６７４０として動作する、実際のヒトプレーヤを示す。
描写される実施形態では、プレーヤ６７４０は、その拡張現実頭部搭載式ディスプレイ６７００を装着して橋に沿って歩ている間、そのローカル処理システム６７０８は、そのディスプレイに、実際の現実のそのビュー上にオーバーレイされる、描写されるような種々の仮想現実要素（例えば、Ｌｏｎｄｏｎ６７３８の実際の地平線および構造等）をフィードしている。
ヒトは、一実施形態では、印刷およびゲーム用シナリオで使用するために、事前に電子的に通信された、１つ以上の実際の文書６８４２をその手に携行してもよい。図６８は、その実際の文書６７４２を見ながら、実際のＬｏｎｄｏｎの地平線６７３８が見える一方、また、その頭部搭載式ディスプレイを通して拡張現実ビューのための種々の仮想要素が提示されている、プレーヤの６７４０眼の視点からのビュー６８４６の例証を示す。
仮想要素は、例えば、通信ディスプレイ６８２６、ニュースディスプレイ６８２８、１つ以上の電子通信またはソーシャルネットワーキングツールディスプレイ６８３２、１つ以上のプレーヤステータスインジケータ６８３４、メッセージングインターフェース６８３６、コンパス配向インジケータ６８２４、およびテキスト、オーディオ、またはビデオコンテンツ等のコンテンツ６８４８の１つ以上のディスプレイを含んでもよい。これは、プレーヤ６８４０によって携行される実際の文書６８４２内に特徴付けられるテキストまたは写真等、他の表示または捕捉された情報に従って、読み出され、提示されてもよい。
近傍には、仮想現実にのみ存在する、別のキャラクタ「エージェント００９」が、キャラクタ「エージェント００６」として動作するプレーヤ６８４０の拡張現実ビュー６８４６の中に提示され、図６８に示されるように、容易な識別のために、ユーザインターフェース内にそのように標識されてもよい。
図６９を参照すると、同様に、Ｌｏｎｄｏｎ６９３８に偶然に実際に存在し、「エージェント００６」プレーヤ６９４０に向かって同一橋を横断して歩いているが、頭部装着式ＡＲシステムを伴わない、別のプレーヤ６９５０のプレーヤの眼のビュー６９５２が、提示される。本プレーヤ６９５０は、タブレットまたはスマートフォン等のモバイル通信デバイス６９５４を携行し得、これは、本実施形態では、より大きいシステムと無線で接続され、本主題のゲームの拡張現実世界の中への「ウィンドウ」として利用され、デバイスの限定されたユーザインターフェース６９５６内に、警告またはキャラクタ情報等の他の拡張現実ディスプレイ情報６９６２とともに、１人または２人の他の近傍プレーヤ（例えば、実際または仮想）に関する拡張現実情報を提示するように構成されてもよい。図６９に示されるように、エージェント００６プレーヤ６９５８およびエージェント００９ ６９６０の仮想表現は、ユーザインターフェース６９５６上に示される。
図７０を参照すると、「鳥瞰図」または有人または無人航空機（または「ＵＡＶ」）ビューが、提示される７０６４。一実施形態では、ビュー７０６４は、別のプレーヤまたは前述のプレーヤのうちの１人によって動作される仮想ＵＡＶに基づいてもよい。描写されるビュー７０６４は、完全仮想モードにおいて、例えば、大型コンピュータディスプレイ６５９０または頭部搭載式ＡＲシステムを用いて、家のソファーに座っている、プレーヤに提示されてもよい。代替として、そのようなビューは、拡張現実ビューとして、偶然飛行機または他の飛行体（例えば、そのような位置における人物にとって、ビューの少なくとも一部は、実際の現実であろうため、「拡張」または混成）に乗っているプレーヤに提示されてもよい。図示されるビュー７０６４は、ビュー内で見つけられた識別された相手方に関する情報等、関連情報を特徴とする情報ダッシュボード７０７０のためのインターフェース面積を含む。描写されるビュー７０６４はまた、着目敷地情報７０６８、他のプレーヤまたはキャラクタ７０６６の場所および／またはステータス、ならびに／もしくは他の情報提示７０６７等の仮想ハイライト情報を特徴とする。
図７１を参照すると、例証目的のために、別の拡張現実シナリオが、部屋の構造物７１７４、コーヒーテーブル７１８０、ＤＪテーブル７１７８、およびそれぞれ、世界のそれぞれの拡張現実ビュー（例えば、実際の人々７１８８のうちの１人に対する仮想現実漫画キャラクタ７１９８、仮想現実スペイン人ダンサーキャラクタ７１９６、漫画キャラクタ７１９４、および丸いウサギ耳の付いた頭部の被り物７１９２）を体験し得るように、頭部搭載式ＡＲシステムを装着している、５人の実際の人々（７１７６、７１８８、７１８２、７１８４、７１８６）等、ある実際の現実要素を特徴とするビュー７１７２とともに、提示される。拡張現実インターフェースハードウェアを伴わない場合、部屋は、家具、ＤＪテーブルを伴う部屋のように、５人の実際の人々に対面するであろう。
しかしながら、ＡＲシステムを用いることで、システムは、従事するプレーヤまたは参加者が、漫画キャラクタもしくはスペイン人ダンサーの形態で、または漫画キャラクタとして、現在部屋の中に居る、別のユーザ、または通常の衣服を装着しているが、その頭部が、頭部が丸いウサギ耳の付いた頭部の被り物とともに可視化されるユーザ７１９２を体験し得るように構成されてもよい。システムはまた、ＤＪ７１７６にのみ可視になり得る、仮想音楽楽譜７１９０、またはその拡張現実インターフェースハードウェアを使用して、周りの任意の人物に可視になり得る、ＤＪテーブル照明特徴等、実際のＤＪテーブル７１７８に関連付けられたある仮想特徴を示すように構成されてもよい。
図７２Ａおよび７２Ｂを参照すると、タブレットコンピュータまたはスマートフォン等のモバイル通信デバイスの適応が、本主題のシステムを使用して作成された本主題のゲームまたは体験の拡張現実世界の中への修正される「ウィンドウ」として、拡張現実を体験するために利用されてもよい。図７２Ａを参照すると、典型的スマートフォンまたはタブレットコンピューティングシステムモバイルデバイス７２５４は、比較的に単純視覚的ユーザインターフェース７２５６を特徴とし、典型的には、１つ以上のカメラを有する。
図７２Ｂを参照すると、モバイルコンピューティングデバイスは、拡張用コンソール７２１８の中に可撤性かつ動作可能に結合され、モバイルコンピューティングデバイスの拡張現実参加能力を増加させる。例えば、描写される実施形態は、眼追跡のために利用され得る、２つのプレーヤに配向されたカメラ７２０２、単純高品質オーディオおよび／または指向性音成形のために利用され得る、４つのスピーカ７２００、機械視覚、位置合わせ、および／または位置特定のための２つの前方に配向されるカメラ７２０４、追加バッテリまたは電力供給源能力７２１２と、プレーヤが結合されるシステムを把持することによる容易な利用のために位置付けられ得る、１つ以上の入力インターフェース（２１４、２１６）、フィードバックを結合されたシステムを把持しているユーザに提供するための触知フィードバックデバイス７２２２（一実施形態では、触知フィードバックデバイスは、軸毎に＋または−方向に２つのフィードバック軸を提供し、指向性フィードバックを提供してもよく、そのような構成は、例えば、オペレータがシステムを特定の着目標的に照準させたまま保つことを保持するため等に利用されてもよい）、１つ以上のＧＰＳまた配置特定センサ７２０６、ならびに／もしくは１つ以上の加速度計、慣性測定ユニット（ＩＭＵ）、および／またはジャイロスコープ（２０８）を特徴とする。
図７３を参照すると、一実施形態では、図７２Ｂに描写されるもの等のシステムは、ＧＰＳセンサおよび／または無線三角測量を使用して、ＸおよびＹ（緯度および経度の地球の座標に類似する）デカルト方向において、参加者を大まかに位置特定するために利用されてもよい（７３３２）。大まかな配向は、コンパスおよび／または無線配向技法を使用して達成されてもよい（７３３４）。大まかな位置特定および配向が決定されると、分散システムは、ローカル特徴マッピング情報をローカルデバイスにロードしてもよい（例えば、無線通信を介して）。
そのような情報は、例えば、地平線幾何学形状、建築幾何学形状、水路／平面要素幾何学形状、風景幾何学形状、および同等物等の幾何学的情報を備えてもよい（７３３６）。ローカルおよび分散システムは、大まかな位置特定、大まかな配向、およびローカル特徴マップ情報の組み合わせを利用して、細かい位置特定および配向特性を決定してもよく（Ｘ、Ｙ、およびＺ｛高度に類似する｝座標および３−Ｄ配向等）（７３３８）、これは、分散システムに、細かいピッチのローカル特徴マッピング情報をローカルシステムにロードさせ、ユーザ体験および動作を向上させるために利用されてもよい。異なる配向および場所への移動は、大まかな位置特定および配向ツール、ならびに参加者によって携行され得る、タブレットまたは携帯電話等のモバイルコンピューティングシステムに結合され得る、慣性測定ユニット、ジャイロスコープ、および加速度計等のローカルに展開されたデバイスを利用して追跡されてもよい（７３４２）。
図７１に特徴とされるＤＪテーブル７１７８等の実際のオブジェクトは、仮想現実表面、形状、および／または機能性とともに拡張されてもよい。例えば、一実施形態では、そのようなデバイス上の実際のボタンは、実際のデバイスおよび／または他のデバイス、人々、またはオブジェクトと相互作用するように構成される、仮想パネルを開くように構成されてもよい。
図７１に描写されるパーティルーム等の部屋７１７４は、任意の部屋または空間であるように外挿されてもよい。システムは、いくつかの既知のデータ（部屋の他の関連付けられた構造または物に関する既存の２または３次元データ等）から任意の場所を有してもよく、または新しいゼロデータを有してもよく、図７２Ｂのコントローラコンソール上に搭載されるもの等のカメラを利用する機械視覚構成は、追加のデータを捕捉するために利用されることができる。さらに、システムは、人々の群が、使用可能な２または３次元マップ情報源を収集し得るように作成されてもよい。
Ｌｏｎｄｏｎの町の３次元マップデータ等の既存のマップ情報が利用可能な構成では、頭部搭載式ＡＲシステムを装着するユーザは、ＧＰＳ、コンパス、および／または他方の手段（付加的固定追跡カメラ、他のプレーヤに結合されるデバイス等）を使用して、大まかに位置特定されてもよい。細かい位置合わせが、ユーザのセンサから遂行され、そのような位置合わせのための起点として物理場所の既知の幾何学形状を決定してもよい。
例えば、距離Ｘにおいて視認されるときＬｏｎｄｏｎ特有の建物において、システムが、ＧＰＳ情報から、Ｙフィート内であって、かつコンパスおよびマップＭから、方向Ｃにユーザを特定すると、システムは、位置合わせアルゴリズム（幾分、ロボットまたはコンピュータ支援外科手術において利用される技法に類似する）を実装し、ユーザの３次元場所をある程度の誤差Ｅ内に「ロックイン」するように構成されてもよい。
固定カメラはまた、頭部搭載式または感覚生成システムとともに利用されてもよい。例えば、図７１に描写されるもの等のパーティルームでは、部屋のある側面７１７４に搭載された固定カメラは、部屋および動く人々のライブの進行中ビューを提供し、仮想および部屋内の物理的人々の両方とのそのソーシャル相互作用が、はるかに豊かになるように、遠隔参加者に、部屋全体の「ライブ」デジタル遠隔存在ビューを提供するように構成されてもよい。
そのような実施形態では、いくつかの部屋が、相互にマップされてもよい。すなわち、物理部屋および仮想部屋幾何学形状が、相互にマップされてもよい。付加的拡張または視覚が、物理的および仮想「メタ」部屋の両方を通して行き来するオブジェクトとともに、それを物理部屋と等しく、それ未満、またはより大きくマップするように作成されてもよく、次いで、視覚的にカスタマイズまたは「スキニング」されたバージョンの部屋は、各ユーザまたは参加者に利用可能になってもよい。例えば、ユーザが、正確に同一の物理的または仮想部屋内に存在し得る間、システムは、ユーザによるカスタムビューを可能にしてもよい。例えば、あるユーザは、パーティに居るが、「Ｄｅａｔｈ Ｓｔａｒ」モチーフまたはスキンでマップされた環境を有することができる一方、別のユーザは、パーティ環境とともに図７１に示されるようなスキニングされた部屋を有してもよい。
（ディスプレイ）
１つ以上の実施形態では、予測子／修正子機構が、ディスプレイプロセスにおける遅延および／またはタイミング不一致を平滑化および／または予測的に補正するために適用されることができる。図示するために、画像を装着式デバイスの接眼レンズ内に表示するためのプロセスに多数の段階が存在することを検討する。例えば、装着式デバイスは、少なくとも以下の処理段階に対応すると仮定する。
センサ−＞計算−＞アプリケーション−＞ディスプレイ処理
センサ段階は、装着式デバイスを通してデータを作成または表示するために使用される、１つ以上のセンサから得られた測定に関する。そのようなセンサは例えば、カメラ、ＩＭＵ等、を含んでもよい。問題は、センサのうちのいくつかが、相互から有意に異なる測定率を有し得、いくつかは、比較的に「高速」と見なされ、その他は、比較的に「低速」と見なされ得ることである。カメラセンサは、例えば、３０〜６０測定／秒の範囲内で比較的に低速で動作し得る。対照的に、ＩＭＵは、例えば、５００〜２０００測定／秒の範囲内で比較的に高速で動作し得る。これらの異なる測定率は、測定データを使用して、ディスプレイ情報を生成しようと試みるとき、遅延および不一致を導入し得る。
１つ以上の実施形態では、予測子／修正子機構が、ディスプレイプロセスにおける遅延および／またはタイミング不一致を平滑化および／または予測的に補正するために適用されることができる。図示するために、画像を装着式デバイスの接眼レンズ内に表示するためのプロセスに多数の段階が存在することを検討する。例えば、装着式デバイスは、少なくとも以下の処理段階に対応すると仮定する。
センサ−＞計算−＞アプリケーション−＞ディスプレイ処理
センサ段階は、装着式デバイスを通してデータを作成または表示するために使用される、１つ以上のセンサから得られた測定に関する。そのようなセンサは例えば、カメラ、ＩＭＵ等、を含んでもよい。問題は、センサのうちのいくつかが、相互から有意に異なる測定率を有し得、いくつかは、比較的に「高速」と見なされ、その他は、比較的に「低速」と見なされ得ることである。カメラセンサは、例えば、３０〜６０測定／秒の範囲内で比較的に低速で動作し得る。対照的に、ＩＭＵは、例えば、５００〜２０００測定／秒の範囲内で比較的に高速で動作し得る。これらの異なる測定率は、測定データを使用して、ディスプレイ情報を生成しようと試みるとき、遅延および不一致を導入し得る。
加えて、タイミング遅延が、前述の識別された処理段階のうちのいくつかの間に導入され得る。例えば、タイミング遅延は、センサデータが受信され、そのセンサデータに基づく計算が起動される、計算段階において導入され得る。例えば、センサデータを正規化、計算、調節、および／またはスケーリングするためのアクションは、本処理段階の間に、遅延Δｔｃｏｍｕｔｅをもたらす可能性が高いであろう。同様に、アプリケーション段階もまた、ある量の遅延を導入する可能性が高い。アプリケーション段階は、特定のアプリケーションが、ユーザによって所望される機能性のための入力データにおいて動作するために実行される、段階である。例えば、ユーザがゲームをプレイしている場合、ゲームアプリケーションが、アプリケーション段階で起動される。アプリケーションによって要求される処理は、本処理段階の間、遅延Δタップｐｌｉｃａｔｉｏｎを導入するであろう。ディスプレイ処理段階もまた、その独自の遅延Δｔｄｉｓｐｌａｙをプロセスの中に導入する可能性が高い。本遅延は、例えば、装着式接眼レンズ内に表示されるべきピクセルをレンダリングするために必要とされる処理を行うために導入される。明白なこととして、多くのタイプの遅延が、処理の種々の段階の間に導入される。
本発明の実施形態は、予測フィルタを使用して、表示される画像へのこれらの遅延および／または不一致の影響を考慮および／または補正する。これは、これらの問題の影響を予測的に決定することによって遂行される（例えば、クロックならびにΔｔｃｏｍｐｕｔｅおよびΔタップｐｌｉｃａｔｉｏｎおよびΔｔｄｉｓｐｌａｙの影響を加算／計算することによって）。予測フィルタはまた、センサ段階におけるセンサ測定の相対的スピードを考慮する。本予測を行うためにとられ得る１つの可能性として考えられるアプローチは、ディスプレイ処理段階においてカルマン予測子を利用することである。少なくとも部分的に本予測に基づいて、補償変更が、ディスプレイデータに行われ、遅延および／または測定スピードの負の影響を考慮および／または補正することができる。
例証的実施例として、ある視覚的データの集合が装着式デバイス内で表示される必要があるときを検討する。しかしながら、ユーザはまた、その特定の時点でも移動中であって、前述の遅延は、顕著な遅れをその場面に関してユーザにレンダリングされたピクセルに生じさせ得る。本状況では、本実施形態は、予測フィルタを使用して、遅延の存在および影響を識別し、ユーザの移動を分析し、「向かっている場所」を決定し、次いで、表示されるデータの「シフト」を行い、処理遅延を考慮する。フィルタはまた、例えば、カルマン平滑化を使用して、センサ測定からの視覚的アーチファクトおよび負の影響を「平滑化」するために使用されることができる。
（ＵＩシステム）
以下の議論は、ＡＲシステムと通信するために使用され得る、種々のタイプのユーザインターフェース構成要素に焦点を当てるであろう。
以下の議論は、ＡＲシステムと通信するために使用され得る、種々のタイプのユーザインターフェース構成要素に焦点を当てるであろう。
ＡＲシステムは、多種多様なユーザインターフェース（ＵＩ）構成要素のうちの１つ以上のものを使用してもよい。ユーザインターフェース構成要素は、眼追跡、手追跡、トーテム追跡、自然特徴姿勢決定、頭部姿勢決定、ならびに予測頭部姿勢決定を行う、構成要素を含んでもよい。ユーザインターフェースシステムは、非同期世界モデルを採用してもよい。ユーザインターフェース構成要素は、本明細書に論じられるように、ビュー中心（例えば、頭部中心）レンダリング、身体中心レンダリング、および／または世界中心レンダリングを採用してもよい。さらに、ユーザインターフェース構成要素は、種々のタイプの環境データ、例えば、ＧＰＳ場所データ、Ｗｉ−Ｆｉ信号強度データ、携帯電話差動信号強度、既知の特徴、画像ヒストグラムプロファイル、部屋特徴等のハッシュ、壁／天井／床／３Ｄ−ブロブ／等の近接度、世界内の場所（例えば、家、オフィス、車、通り）、親近ソーシャルデータ（例えば、「友人」）、および／または音声認識を採用してもよい。
前述のように、非同期部分モデルは、ローカルコピーを個々のＡＲシステム内に構築し、クラウドに対する任意の変更を同期させることを指す。例えば、椅子が、空間内で移動される場合、椅子オブジェクト認識器は、椅子が移動されたことを認識し得る。しかしながら、その情報をクラウドに取得し、次いで、遠隔存在アバタが椅子に座っているように、それをローカルシステムにダウンロードさせる際に遅延が存在し得る。
環境データは、ユーザインターフェースが使用され得る方法に寄与し得ることを理解されたい。ＡＲシステムは、状況的に認識するため、暗示的に、ユーザまたは物理オブジェクトが位置する場所の意味論的理解を有する。例えば、ＧＰＳ場所データ、Ｗｉ−Ｆｉ信号強度またはネットワーク識別、差動信号強度、既知の特徴、ヒストグラムプロファイル等が、トポロジマップのための統計的推測を行うために使用されることができる。拡張現実実装におけるユーザインターフェースの概念は、拡張されることができる。例えば、ユーザが壁に接近しており、壁をノックする場合、ノックは、ユーザインターフェースによってユーザ体験（ＵＸ）相互作用モダリティとして解釈されることができる。別の実施例として、ユーザが、デバイス上の特定のＷｉ−Ｆｉ信号を選択する場合、選択は、ユーザインターフェースによって相互作用モダリティとして解釈され得る。ユーザの周囲の世界は、ユーザのためのユーザインターフェース（ＵＩ）の一部となる。
（ユーザ入力）
図１００を先に参照すると、ユーザインターフェースは、種々の入力のうちの１つ以上のものに応答してもよい。ＡＲシステムのユーザインターフェースは、例えば、手入力１０００２、例えば、ジェスチャ、タッチ、マルチタッチ、および／または複数の手入力に応答してもよい。ＡＲシステムのユーザインターフェースは、例えば、眼入力１０００４、例えば、眼ベクトルおよび／または眼条件（例えば、開放／閉鎖）に応答してもよい。ＡＲシステムのユーザインターフェースは、例えば、トーテム入力１０００６に応答してもよい。トーテムは、多種多様な形態のいずれか、例えば、ベルトパックをとってもよい。トーテム入力は、静的であって、例えば、閉鎖された書籍／タブレット等を追跡してもよい。トーテム入力は、動的であって、例えば、書籍等のページをめくるような動的変化であってもよい。トーテム入力は、トーテム、例えば、光線銃トーテムとの通信と関連してもよい。トーテム入力は、固有の通信、例えば、ＵＳＢ、データ通信等を介した通信と関連してもよい。トーテム入力は、アナログジョイスティック、クリックホイール等を介して生成されてもよい。
図１００を先に参照すると、ユーザインターフェースは、種々の入力のうちの１つ以上のものに応答してもよい。ＡＲシステムのユーザインターフェースは、例えば、手入力１０００２、例えば、ジェスチャ、タッチ、マルチタッチ、および／または複数の手入力に応答してもよい。ＡＲシステムのユーザインターフェースは、例えば、眼入力１０００４、例えば、眼ベクトルおよび／または眼条件（例えば、開放／閉鎖）に応答してもよい。ＡＲシステムのユーザインターフェースは、例えば、トーテム入力１０００６に応答してもよい。トーテムは、多種多様な形態のいずれか、例えば、ベルトパックをとってもよい。トーテム入力は、静的であって、例えば、閉鎖された書籍／タブレット等を追跡してもよい。トーテム入力は、動的であって、例えば、書籍等のページをめくるような動的変化であってもよい。トーテム入力は、トーテム、例えば、光線銃トーテムとの通信と関連してもよい。トーテム入力は、固有の通信、例えば、ＵＳＢ、データ通信等を介した通信と関連してもよい。トーテム入力は、アナログジョイスティック、クリックホイール等を介して生成されてもよい。
ＡＲシステムのユーザインターフェースは、例えば、頭部姿勢、例えば、頭部位置および／または配向に応答してもよい。ＡＲシステムのユーザインターフェースは、例えば、音声、例えば、発話コマンドおよびパラメータに応答してもよい。ＡＲシステムのユーザインターフェースは、例えば、環境音に応答してもよい。ＡＲシステムは、例えば、１つ以上の周囲マイクロホンを含み、音、例えば、胸部タップ等を取り上げてもよい。
ＡＲシステムのユーザインターフェースは、例えば、環境状況に応答してもよい。例えば、ユーザインターフェースは、壁に対してもしくはそれに近接して生じる移動または定義された閾値を上回る移動（例えば、比較的に高速における移動）に応答してもよい。
開発者に提案し、ＡＲシステムのオペレーティングシステム（ＯＳ）の中に内蔵し、種々のアプリケーションおよび／またはゲームを再スキニングすることを可能にし得る、一貫したユーザインターフェースメタファを有することが有用であり得る。１つのアプローチは、ユーザ作動可能レバーまたはボタンアイコンを採用してもよいが、そのアプローチは、触覚フィードバックを欠いている。レバーは、それぞれの支点を有してもよいが、そのようなアプローチは、ユーザにとって困難であり得る。別のアプローチは、意図的に物を引き離す、「力場」メタファ（例えば、境界上の閃光等）に基づく。
１つ以上の実施形態では、仮想画像は、仮想ユーザインターフェースの形態でユーザに提示されてもよい。仮想ユーザインターフェースは、図１００に示されるように、フローティング式仮想画面であってもよい。システムは、仮想ユーザインターフェースの場所（例えば、深度、距離、感知された場所等）を把握するため、システムは、仮想インターフェースの座標を容易に計算し、ユーザが、相互作用が生じた座標およびユーザの手、眼等の既知の座標に基づいて、仮想画面と相互作用し、入力を仮想ユーザインターフェースから受信することを可能にし得る。
したがって、言い換えると、システムは、仮想ユーザインターフェースの種々の「キー」または特徴の座標をマップし、また、ユーザの手、眼（または任意の他のタイプの入力）の座標をマップし／その場所を把握し、それらを相関させ、ユーザ入力を受信する。
例えば、仮想ユーザインターフェースが、頭部中心基準フレーム内でユーザに提示される場合、システムは、常時、世界中心基準フレームに関係する仮想ユーザインターフェースの種々の「キー」または特徴の距離／場所を把握する。システムは、次いで、いくつかの数学的平行移動／変換を行い、両基準フレーム間の関係を見つける。次に、ユーザは、仮想アイコンを圧搾することによって、ユーザインターフェースのボタンを「選択」してもよい。システムは、タッチの場所を把握するため（例えば、触知センサ、画像ベースのセンサ、深度センサ等に基づいて）、システムは、手圧搾の場所およびボタンユーザインターフェースの既知の場所に基づいて選択されたボタンを決定する。
したがって、常時、実オブジェクトに関係する、および種々の基準フレーム（例えば、世界中心、頭部中心、手中心、臀部中心等）に関係する仮想オブジェクトの場所を把握することは、システムが、種々のユーザ入力を理解することを可能にする。入力に基づいて、システムは、マッピングテーブルを使用して、特定のアクションまたはコマンドへの入力を相関させ、アクションを実行してもよい。
言い換えると、仮想ユーザインターフェースとのユーザの相互作用は、常時、追跡されている（例えば、眼相互作用、ジェスチャ相互作用、手相互作用、頭部相互作用等）。限定ではないが相互作用の場所、相互作用の力、相互作用の方向、相互作用の頻度、相互作用の回数、相互作用の性質等を含む、これらの相互作用（またはこれらの相互作用の特性）はユーザが、表示される仮想ユーザインターフェースに応答して、ユーザ入力をユーザインターフェースに提供することを可能にするために使用される。
（眼追跡）
１つ以上の実施形態では、ＡＲシステムは、物理空間または環境（例えば、物理部屋）内の１人以上のユーザの眼姿勢（例えば、配向、方向）および／または眼移動を追跡することができる。ＡＲシステムは、ユーザの眼の姿勢および／または移動を検出するように位置付けられ、配向される１つ以上のセンサまたは変換器（例えば、カメラ）によって収集される情報（例えば、捕捉された画像または画像データ）を採用してもよい。例えば、個々のＡＲシステムの頭部装着式構成要素は、１つ以上の内向きに面したカメラおよび／または光源を含み、ユーザの眼を追跡してもよい。
１つ以上の実施形態では、ＡＲシステムは、物理空間または環境（例えば、物理部屋）内の１人以上のユーザの眼姿勢（例えば、配向、方向）および／または眼移動を追跡することができる。ＡＲシステムは、ユーザの眼の姿勢および／または移動を検出するように位置付けられ、配向される１つ以上のセンサまたは変換器（例えば、カメラ）によって収集される情報（例えば、捕捉された画像または画像データ）を採用してもよい。例えば、個々のＡＲシステムの頭部装着式構成要素は、１つ以上の内向きに面したカメラおよび／または光源を含み、ユーザの眼を追跡してもよい。
前述のように、ＡＲシステムは、ユーザの眼姿勢（例えば、配向、方向）および眼移動を追跡し、「ヒートマップ」を構築することができる。ヒートマップは、１つ以上の仮想または実オブジェクトに指向された眼姿勢インスタンスの時間、頻度、および回数を追跡および記録する、世界のマップであってもよい。例えば、ヒートマップは、眼視線または注視の最大回数／時間／頻度をもたらした仮想および／または実オブジェクトに関する情報を提供してもよい。これはさらに、システムが、特定の仮想または実オブジェクトにおけるユーザの関心を理解することを可能にし得る。
有利には、１つ以上の実施形態では、ヒートマップは、いくつかの実施形態では、広告またはマーケティング目的において使用され、広告キャンペーンの有効性を決定してもよい。ＡＲシステムは、ユーザが注意を払っている空間内の面積を表すヒートマップを生成または決定してもよい。１つ以上の実施形態では、ＡＲシステムは、例えば、眼追跡および／またはヒートマップに基づいて最適化された位置および／または光学特性（例えば、色、明度、輝度）とともに、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、および他の仮想構造物、例えば、アプリケーション、特徴、キャラクタ、テキスト、数字、および他の記号）をレンダリングすることができる。
（視線追跡）
視線追跡に対する概略された概念は、以下にさらに説明されるユーザシナリオおよび実施形態のいずれかに適用されてもよいことを理解されたい。１つ以上の実施形態では、以下に説明される種々のユーザインターフェースはまた、検出された視線に起因してアクティブ化／発生し得る。本明細書に説明される原理は、本開示の任意の他の部分に適用されてもよく、限定として読み取られるべきではない。
視線追跡に対する概略された概念は、以下にさらに説明されるユーザシナリオおよび実施形態のいずれかに適用されてもよいことを理解されたい。１つ以上の実施形態では、以下に説明される種々のユーザインターフェースはまた、検出された視線に起因してアクティブ化／発生し得る。本明細書に説明される原理は、本開示の任意の他の部分に適用されてもよく、限定として読み取られるべきではない。
ＡＲシステムは、いくつかの実施形態では、眼視線を追跡してもよい。視線追跡に対して３つの主要構成要素が存在する。すなわち、眼追跡モジュール（瞳孔検出および角膜中心検出）、頭部追跡モジュール、および眼追跡モジュールと頭部追跡モジュールを相関させる、相関モジュールである。相関モジュールは、世界座標（例えば、実世界内のオブジェクトの位置）と眼座標（例えば、眼追跡カメラに関係する眼の移動等）との間の情報を相関させる。
眼追跡モジュールは、角膜の中心および瞳孔の中心を決定するように構成される。図１１７を先に参照すると、眼１１７０２の概略が、図示される。図１１７に示されるように、線１１７０４が、角膜の中心、瞳孔の中心、および眼球の中心を通して通過するように示される。本線１１７０４は、光学軸と称され得る。
図１１７はまた、角膜を通して通過する、別の視線１１７０６示す。本線は、視覚軸と称され得る。図１７に示されるように、視覚軸は、光学軸に関係する傾斜線である。視覚軸１１７０６が交差する中心窩１１７０８の面積は、光受容体の非常に高密度面積と見なされ、したがって、外側世界を視認するために、眼にとって重要であることを理解されたい。視覚軸１１７０６は、典型的には、光学軸から１〜５°の逸脱にある（必ずしも、垂直逸脱ではない）。
従来の視線追跡技術では、主要な仮定のうちの１つは、頭部が移動していないということである。これは、視線追跡目的のために、光学軸に関係する視覚軸を決定することをより容易にする。しかしながら、ＡＲシステムの文脈では、ユーザは、常時その頭部を移動させているであろうことが予期される。したがって、従来の視線追跡機構は、実行可能ではあり得ない。
この目的を達成するために、ＡＲシステムは、システムに関係する角膜の位置を正規化するように構成される。角膜の位置は、光学軸および視覚軸の両方が、前述の図１１７に示されるように、角膜を通して通過するため、視線追跡において非常に重要であることを理解されたい。
ここで図１１８を参照すると、ＡＲシステムは、装着式ＡＲシステム１１８０６に結び付けられる世界カメラシステム（例えば、ユーザの頭部上に設置され、周囲の集合を捕捉するためのカメラ、ユーザの移動の頭部とともに移動するカメラ）１１８０４を備えている。また、図１１８に示されるように、ＡＲシステム１１８０６はさらに、眼１１８０２の移動を追跡する、１つ以上の眼追跡カメラ１１８０８を備えてもよい。両カメラ（例えば、眼追跡カメラ１１８０８および世界カメラ１１８０４）は、移動しているため、システムは、頭部移動および眼移動の両方を考慮し得る。頭部移動（例えば、ＦＯＶカメラ１１８０４に基づいて計算される）および眼移動（例えば、眼追跡カメラ１１８０８に基づいて計算される）の両方が、角膜の位置を正規化するために追跡されてもよい。
眼追跡カメラ１１８０８は、カメラから角膜の中心までの距離を測定することを理解されたい。したがって、装着式ＡＲシステム１１８０６が眼に対して移動する方法における任意の変更を補償するために、角膜の中心までの距離が、正規化される。例えば、眼鏡移動に伴って、角膜からカメラの若干の回転および／または平行移動が存在し得る。しかしながら、システムは、角膜の中心までに距離を正規化することによって、本移動を補償する。
眼追跡カメラおよび頭部カメラ（世界カメラ）の両方が、剛性本体（例えば、ＡＲシステムのフレーム）であるため、眼追跡カメラの任意の正規化または補正はまた、世界カメラ上でも同様に行われる必要があることを理解されたい。例えば、同一回転および平行移動ベクトルが、世界カメラシステムにも同様に適用され得る。したがって、本ステップは、眼追跡システムと頭部追跡システムとの間の関係（例えば、回転ベクトル、平行移動ベクトル等）を識別する。
いったん回転および／または平行移動ベクトルが識別されると、較正ステップが、ユーザからの種々の深度で行われる。例えば、ユーザからの固定距離にある、既知の点が存在し得る。世界カメラ１１８０４は、ユーザからの空間内に固定される点間の距離を測定してもよい。前述のように、角膜の位置の中心はまた、眼追跡カメラ１１８０８に関連付けられた計算に基づいて把握される。
加えて、前述のように、眼追跡カメラ１１８０８と世界カメラとの間の関係もまた、把握される（例えば、任意の平行移動または回転ベクトル）。したがって、いったん標的の位置（例えば、空間内の固定される既知の点）および角膜の位置が識別されると、視線（角膜から標的まで）が、容易に識別され得ることを理解されたい。本情報は、物理世界の１つ以上の実オブジェクトに関係する空間内の仮想オブジェクトを正確に描写するために、マッピングおよび／またはレンダリングにおいて使用されてもよい。
より具体的には、世界カメラ１１８０４と眼追跡カメラ１１８０６との間の関係を決定するため、少なくとも２つの固定された画像が、眼カメラおよび世界カメラの両方に提示されてもよく、画像内の差異は、両カメラを較正するために使用されてもよい。例えば、角膜の中心が、眼追跡システム１１８０８に関係して把握される場合、角膜の中心は、眼カメラと世界カメラとの間の既知の関係を利用することによって、世界座標系１１８０４に関係して決定され得る。
１つまたはより多くの実施形態では、較正プロセスの間（例えば、ユーザが最初にＡＲデバイスを受け取るときの設定プロセスの間等）、第１の固定画像が、眼カメラ１１８０６、次いで、世界カメラ１１８０４によって捕捉される。例証目的のために、眼カメラによって行われる第１の画像捕捉は、「Ｅ」と見なされ得、世界カメラによって行われる第１の画像捕捉は、「Ｗ」と見なされ得る。次いで、第２の固定画像が、眼カメラ１１８０６によって捕捉され、次いで、世界カメラ１１８０４によって捕捉される。第２の固定画像は、若干、第１の固定画像と異なる位置にあり得る。
眼カメラの第２の画像捕捉は、Ｅ´と称され得、世界カメラの第２の画像捕捉は、Ｗ´と称され得る。Ｚ＝ＷＸＥおよびＺ＝Ｗ´ＸＥ´であるため、Ｘは、前述の２つの方程式を使用して容易に計算されることができる。したがって、本情報は、世界に関係するカメラの位置を自然に構成するように、点を確実にマップするために使用されてもよい。本マッピング情報を確立することによって、視線１１７０６は、容易に決定され得る、これは、順に、仮想コンテンツをユーザに方略的に提供するために使用され得る。
（視線追跡ハードウェア）
ここで図１１９を参照すると、眼追跡モジュールを使用して角膜の中心を検出するために、ＡＲシステムは、２つの閃光（例えば、ＬＥＤ光）を伴う１つのカメラまたはそれぞれ１つの閃光を伴う２つのカメラのいずれかを利用する。例証される実施形態では、１つのみの閃光１１９０２が、眼１１８０２および眼追跡カメラ１１８０６に関係して示される。角膜の表面は、非常に反射性であって、したがって、眼を追跡するカメラ（例えば、眼追跡カメラ）が存在する場合、カメラの画像平面上に形成される閃光が存在し得ることを理解されたい。
ここで図１１９を参照すると、眼追跡モジュールを使用して角膜の中心を検出するために、ＡＲシステムは、２つの閃光（例えば、ＬＥＤ光）を伴う１つのカメラまたはそれぞれ１つの閃光を伴う２つのカメラのいずれかを利用する。例証される実施形態では、１つのみの閃光１１９０２が、眼１１８０２および眼追跡カメラ１１８０６に関係して示される。角膜の表面は、非常に反射性であって、したがって、眼を追跡するカメラ（例えば、眼追跡カメラ）が存在する場合、カメラの画像平面上に形成される閃光が存在し得ることを理解されたい。
ＬＥＤ光１１９０２の３Ｄ位置は、既知であって、カメラの画像平面から閃光１１９１０までの線も、既知であるため、閃光および画像平面を備えている３Ｄ平面が、作成される。角膜の中心は、本作成された３Ｄ平面１１９０４（図１１９内に線として表される）上に位置する。同様に、別の閃光（別のＬＥＤ光から）が、使用される場合、２つの３Ｄ平面は、他の３Ｄ平面もまた角膜の中心を有するように相互に公差する。したがって、両３Ｄ平面の交差点は、角膜の中心を保持する線を生成することを理解されたい。ここで、その線内の角膜の正確な点が、決定され得る。
反射の法則を満たすその線（閃光からプロジェクタまで）上には、一意の位置が存在することを理解されたい。物理特性において周知であるように、反射の法則は、光線が表面から反射するとき、入射の角度が反射の角度に等しいことを述べる。本法則は、角膜の中心を見つけるために使用されてもよい。
図１２０を参照すると、ここで、角膜の中心から原点（例えば、閃光１１９１０）までの距離が、決定されてもよい（ｒ´、図示せず）。同様に、同一分析が、他の線１２００４（他の閃光１２００２から他のプロジェクタまで）上で行われ、ｒ´´（交線から他の線までの距離）（図示せず）を見つけてもよい。角膜の中心は、相互に値が最も近いｒ´およびｒ´´の値に基づいて推定されてもよい。前述の例示的実施形態は、２つの平面を説明するが、角膜の位置は、より多くの平面が使用される場合、より容易に見つけられ得ることを理解されたい。これは、複数のＬＥＤ光（例えば、より多くの閃光）を使用することによって達成されてもよい。
眼追跡システムは、眼上で少なくとも２つの閃光を生成することが重要である。正確度を増加させるために、より多くの閃光が、眼上に生成されてもよい。しかしながら、付加的閃光が眼の表面上に生成されることで、どの閃光がどのＬＥＤによって生成されたかを決定することが困難になる。この目的を達成するために、閃光とＬＥＤとの間の対応を理解するため、同時に、各フレーム上で閃光を反射させるのではなく、１つのＬＥＤが、１つのフレームに対してオンにされてもよく、他のものは、第１のものがオフにされた後、オンにされてもよい。本アプローチは、ＡＲシステムをより信頼性のあるものにし得る。
同様に、屈折によって生じる分散のため、瞳孔の正確な中心を決定することは、困難である。瞳孔の中心を検出するために、眼の画像が、捕捉されてもよい。瞳孔を見つけるために、中心点から半径方向外向きに「星形」パターンで画像の中心を動き回ってもよい。いったん見つけられると、同一プロセスは、瞳孔の縁を見つけるために、瞳孔内の点から開始するように行われてもよい。本情報は、瞳孔中心を推測するために使用されてもよい。本プロセスが数回繰り返される場合、いくつかの中心は、外れ値であり得ることを理解されたい。しかしながら、これらの外れ値は、フィルタ除去されてもよい。しかしながら、本アプローチを用いても、瞳孔の中心は、依然として、前述の屈折原理のため、正しい位置にない場合がある。
ここで図１２１を参照すると、較正が、視覚軸と光学軸との間の逸脱を決定するために行われてもよい。システムを較正するとき、瞳孔の実中心は、問題となり得ないが、世界におけるマッピング（例えば、世界が２Ｄにあるように考慮する）のために、世界と眼との間の距離を決定することが重要である。瞳孔中心および画像平面を前提として、図１２１に示されるように、２Ｄ世界における相関座標を見つけるためのマッピングを見つけることが重要である。この目的を達成するために、放物線マッピングを使用して、画像平面内の対応する座標を見つけることができる。以下のようなサンプル方程式が、使用されてもよい。
Ｘｓ＝ａ１ｘｅ２＋ａ２ｙｅ２＋ａ３ｘｅｙｅ＋ａ４ｘｅ＋ａ５ｙｅ＋ａ６
Ｘｓ＝∫ｘ（Ｘｅ、Ｙｅ）
Ｙｓ＝∫ｙ（Ｘｅ、Ｙｅ）
図１２１の１２１００に示されるように、前述に類似する方程式が、（Ｘｓ、Ｙｓ）を決定された（Ｘｅ、Ｙｅ）から決定するために使用されてもよい。ここでは、合計パラメータは、１２個である。各点は、２つの方程式を提供する。したがって、少なくとも６つの点（例えば、ａ１−ａ６）が、本方程式を解くために必要とされ得る。
Ｘｓ＝ａ１ｘｅ２＋ａ２ｙｅ２＋ａ３ｘｅｙｅ＋ａ４ｘｅ＋ａ５ｙｅ＋ａ６
Ｘｓ＝∫ｘ（Ｘｅ、Ｙｅ）
Ｙｓ＝∫ｙ（Ｘｅ、Ｙｅ）
図１２１の１２１００に示されるように、前述に類似する方程式が、（Ｘｓ、Ｙｓ）を決定された（Ｘｅ、Ｙｅ）から決定するために使用されてもよい。ここでは、合計パラメータは、１２個である。各点は、２つの方程式を提供する。したがって、少なくとも６つの点（例えば、ａ１−ａ６）が、本方程式を解くために必要とされ得る。
ここで、角膜の中心が把握され、標的点の位置が把握されると、線が、角膜の中心から標的点まで引かれ得る。世界カメラ１１８０４は、空間内の固定点において画像を撮影し得る、画像を撮影する固定平面を有する。次いで、別の標的点が、人物に表示され、次いで、仮想上世界カメラに結び付けられる交差平面が、決定される。
前述のマッピング技法は、上記で詳細に説明されるように、その交差平面内の対応する点を決定するために使用されてもよい。角膜の中心を把握することで、前述のマッピング技法は、世界カメラに仮想上結び付けられる画像平面上の点を識別することができる。全てのこれらの点がここで把握されていることを前提として、視線が、角膜の中心から画像平面上の点まで構築され得る。視線は、眼毎に別個に構築されることを理解されたい。
ここで図１２２を参照すると、視線を決定する例示的方法１２２００が、図示される。最初に、１２２０２では、角膜の中心が、決定されてもよい（例えば、前述のＬＥＤ三角測量アプローチ通して等）。次いで、１１２２０４では、眼カメラと世界カメラとの間の関係が、決定されてもよい。１２２０６では、標的位置が、決定されてもよい。最後に、１２２０８では、マッピング技法が、全ての決定された情報に基づいて、視線を構築するために利用されてもよい。
（疑似ランダムパターン）
１つ以上の実施形態では、ＡＲシステムは、眼姿勢または眼移動を追跡する際、疑似ランダム雑音を採用してもよい。例えば、個々のＡＲシステムの頭部装着式構成要素は、頭部装着式構成要素がユーザによって装着されるとき、ユーザの眼を照射するように位置付けられ、配向される、１つ以上の光源（例えば、ＬＥＤ）を含んでもよい。カメラは、眼から返される光源からの光を検出する。例えば、ＡＲシステムは、プルキニエ像、例えば、眼の構造からのオブジェクトの反射を使用してもよい。
１つ以上の実施形態では、ＡＲシステムは、眼姿勢または眼移動を追跡する際、疑似ランダム雑音を採用してもよい。例えば、個々のＡＲシステムの頭部装着式構成要素は、頭部装着式構成要素がユーザによって装着されるとき、ユーザの眼を照射するように位置付けられ、配向される、１つ以上の光源（例えば、ＬＥＤ）を含んでもよい。カメラは、眼から返される光源からの光を検出する。例えば、ＡＲシステムは、プルキニエ像、例えば、眼の構造からのオブジェクトの反射を使用してもよい。
ＡＲシステムは、光源によって放出される光のパラメータを変動させ、認識可能パターンを、放出され、故に、眼から反射される、検出された光に与えてもよい。例えば、ＡＲシステムは、光源の動作パラメータを疑似ランダムに変動させ、放出される光のパラメータを疑似ランダムに変動させてもよい。例えば、ＡＲシステムは、光源の放出の長さ（オン／オフ）を変動させてもよい。これは、周囲光源から放出および反射された光からの放出および反射された光の自動検出を促進する。
図１０１および図１０２に図示されるように、一実装では、光源（例えば、ＬＥＤ）１０１０２は、眼の片側（例えば、上側）のフレーム上に位置付けられ、センサ（例えば、フォトダイオード）は、フレームの底側部分上に位置付けられる。眼は、反射体として見られ得る。とりわけ、対の眼が連動して移動する傾向にあるため、片眼のみ、器具を備え、追跡される必要がある。光源１０１０２（例えば、ＬＥＤ）は、通常、パターン化されたコード（例えば、振幅変動または変調）を生成するために、一度（例えば、時間スライス）に１つオンおよびオフにされる。ＡＲシステムは、センサ（例えば、フォトダイオード）によって生成される信号の自動相関を行い、飛行時間信号を決定する。１つ以上の実施形態では、ＡＲシステムは、既知の幾何学形状の光源（例えば、ＬＥＤ）、センサ（例えば、フォトダイオード）、および眼までの距離を採用する。
眼の既知の幾何学形状に伴うベクトルの和は、眼追跡を可能にする。眼の位置を推定するとき、眼は、強膜および眼球を有するため、幾何学形状は、相互の上に層化された２つの円形として表されることができる。本システム１０１００を使用して、眼の向きのベクトルが、カメラを用いずに、決定または計算されることができる。また、眼の回転中心が、眼の断面が円形であって、強膜が特定の角度を通して揺動するため、推定され得る。これは、実際には、光線トレースだけではなく、既知の伝送される信号に対する受信された信号の自己相関のため、ベクトル距離をもたらす。出力は、図１０２に示されるように、プルキニエ像１０２００として見られ得、これは、順に、眼の移動を追跡するために使用され得る。
いくつかの実装では、光源は、電磁スペクトルの赤外線（ＩＲ）範囲内の光を放出してもよく、光センサは、選択的に、ＩＲ範囲内の電磁エネルギーに応答し得る。
１つ以上の実施形態では、光線は、例証される実施形態に示されるように、ユーザの眼に向かって放出される。ＡＲシステムは、光とユーザの眼の相互作用に関連付けられた１つ以上の特性（例えば、プルキニエ像、フォトダイオードによって検出された後方散乱された光の範囲、後方散乱された光の方向等）を検出するように構成される。これは、例証される実施形態に示されるように、フォトダイオードによって捕捉されてもよい。相互作用の１つ以上のパラメータは、フォトダイオードで測定されてもよい。これらのパラメータは、順に、眼移動または眼姿勢の特性を外挿するために使用されてもよい。
（手追跡）
１つ以上の実施形態では、ＡＲシステムは、１つ以上のユーザ入力検出デバイスおよび／または技法を介して、手追跡を行ってもよい。
１つ以上の実施形態では、ＡＲシステムは、１つ以上のユーザ入力検出デバイスおよび／または技法を介して、手追跡を行ってもよい。
例えば、ＡＲシステムは、頭部装着式であって、ユーザの身体基準フレームから前方に向く、１つ以上の画像センサ（例えば、カメラ）を採用してもよい。加えて、または代替として、ＡＲシステムは、頭部装着式ではなく、またはユーザの身体の任意の部分にも装着されない、１つ以上のセンサ（例えば、カメラ）を使用してもよい。例えば、ＡＲシステムは、物理環境に搭載される１つ以上のセンサ（例えば、カメラ、慣性センサ、ジャイロスコープ、加速度計、温度センサまたは熱電対、発汗センサ）（例えば、前述の部屋ベースのセンサシステム）を使用してもよい。
別の実施例として、ＡＲシステムは、ステレオ対のカメラまたは光センサに依拠してもよい。代替として、ＡＲシステムは、構造化された光の１つ以上の源を含み、手を照射してもよい。構造化された光は、ユーザに可視であってもよく、またはそうでなくてもよい。例えば、光源は、選択的に、電磁スペクトルの赤外線または近赤外線範囲内で放出してもよい。
なおもさらなる実施例として、ＡＲシステムは、例えば、本明細書で論じられる触知手袋に類似する、器具を装備した手袋を介して、手追跡を行ってもよい。ＡＲシステムは、触知手袋を光学的に追跡してもよい。加えて、または代替として、ＡＲシステムは、手袋内に位置する１つ以上の手袋センサ、例えば、１つ以上の内部センサまたは加速度計（例えば、ＭＥＭＳ加速度計）からの遠隔測定法を使用してもよい。
（指ジェスチャ）
いくつかの実装では、指ジェスチャが、ＡＲシステムのための入力として使用されてもよい。指ジェスチャは、種々の形態をとることができ、例えば、指間相互作用、指示、タップ、摩擦等に基づいてもよい。
いくつかの実装では、指ジェスチャが、ＡＲシステムのための入力として使用されてもよい。指ジェスチャは、種々の形態をとることができ、例えば、指間相互作用、指示、タップ、摩擦等に基づいてもよい。
他のジェスチャは、例えば、文字列（例えば、文字、数字、句読点）の２Ｄまたは３Ｄ表現を含んでもよい。そのようなジェスチャを入力するために、ユーザは、単に、所定のキャラクタパターンにおいて指をスワイプさせてもよい。
ユーザインターフェースの一実装では、ＡＲシステムは、３つの円形をレンダリングしてもよく、具体的に選定された文字列（例えば、文字、数字、句読点）を伴う各円形が、周縁の周囲に円周方向に配列される。ユーザは、円形および文字を通してスワイプし、文字列選択または入力を指定することができる。別の実装では、ＡＲシステムは、腕を曲げた位置において、ユーザの利き手の位置に近接するユーザの視野内にキーボード（例えば、ＱＷＥＲＴＹキーボード）列をレンダリングする。ユーザは、次いで、所望のキーを通してスワイプ状運動を行い、次いで、別のジェスチャ（例えば、親指と薬指のジェスチャ）または他の固有受容相互作用を行うことによって、スワイプジェスチャ選択が、完了したことを示すことができる。
他のジェスチャとして、例えば、例証される実施形態の１つによる、ユーザの視野内にレンダリングされ得る、「ポップアップ」円形半径方向メニューと併用され得る、サムホイール選択タイプジェスチャが挙げられ得る。
ここで図１０３を参照すると、いくつかの付加的ジェスチャ１０３２０もまた、図示される。図１０３に示される指ジェスチャは、例示目的にすぎず、他のジェスチャも同様に使用されてもよいことを理解されたい。上列最左位置では、指示された人差し指は、焦点、例えば、人差し指が指示される場面または仮想コンテンツの特定の部分に焦点を当てるコマンドを示し得る。例えば、ジェスチャ１０３２２は、指示された人差し指から成る「焦点」コマンドのためのジェスチャを示す。ＡＲシステムは、ジェスチャを認識し（例えば、指の捕捉された画像／ビデオを通して、触知手袋が使用される場合、センサを通して等）、所望のアクションを行ってもよい。
上列中央位置では、人差し指の先端が親指の先端にタッチし、閉鎖された円形を形成する、第１の挟むジェスチャは、掴むおよび／またはコピーコマンドを示し得る。図１０３に示されるように、ユーザは、人差し指および親指をともにくっつけ、ユーザインターフェースのある部分から別の部分に「挟む」または掴んで持って行ってもよい（例えば、ジェスチャ１０３２４）。例えば、ユーザは、仮想ユーザインターフェースのある部分から別の部分にアイコン（例えば、アプリケーション）をコピーまたは移動させるために本ジェスチャを使用してもよい。
上列最右位置では、薬指の先端が親指の先端にタッチし、閉鎖された円形を形成する、第２の挟むジェスチャは、選択コマンドを示し得る。同様に、「選択」ジェスチャは、１つ以上の実施形態では、図１０３２６に示されるように、ユーザの親指と薬指をくっつけることから成ってもよい。例えば、ユーザは、特定の文書を選択する、またはあるタイプのＡＲコマンドを行うために、本ジェスチャを使用してもよい。
下列最左位置では、小指の先端が親指の先端にタッチし、閉鎖された円形を形成する、第３の挟むジェスチャは、戻るおよび／またはキャンセルコマンドを示し得る。ジェスチャ１０３３０は、小指および親指をともにくっつけることを伴う、例示的「戻る／キャンセル」ジェスチャを示す。
下列中央位置では、薬指および中指が曲げられ、薬指の先端が親指の先端にタッチする、ジェスチャは、クリックおよび／またはメニューコマンドを示し得る。ジェスチャ１０３３２（例えば、親指と中指および薬指をともにくっつける）は、「右クリック」コマンドのために、またはシステムが「メインメニュー」に戻ることを示すために使用されてもよい。
１つ以上の実施形態では、ユーザは、単に、ＡＲシステムバイザー上の「ホーム空間」ボタンを叩き、ホームページに戻ってもよい（例えば、１０３３４）。下列最右位置では、人差し指の先端が頭部装着式構成要素またはフレーム上のある場所にタッチすることは、ホームコマンドに戻ることを示し得る。これは、ＡＲシステムに、ホームまたはデフォルト構成に戻らせ、例えば、ホームまたはデフォルトメニューを表示させ得る。
図１０３に示されるように、ＡＲシステムは、種々のコマンドを認識し、これらのコマンドに応答して、コマンドにマップされたある機能を行う。コマンドへのジェスチャのマッピングは、多くのユーザを横断して汎用的に定義され、少なくともいくつかの共通性をユーザインターフェースにおいて採用する、種々のアプリケーションの開発を促進してもよい。代替として、または加えて、ユーザまたは開発者は、ジェスチャの少なくともいくつかと、コマンドの検出に応答してＡＲシステムによって実行されるべき対応するコマンドとの間のマッピングを定義してもよい。
（トーテム）
ＡＲシステムは、トーテムの追跡（例えば、視覚的追跡）を介して、ユーザの相互作用を検出または捕捉してもよい。トーテムは、システムによって認識され、ＡＲシステムと通信するために使用され得る、所定の物理オブジェクトである。
ＡＲシステムは、トーテムの追跡（例えば、視覚的追跡）を介して、ユーザの相互作用を検出または捕捉してもよい。トーテムは、システムによって認識され、ＡＲシステムと通信するために使用され得る、所定の物理オブジェクトである。
任意の好適な既存の物理構造が、トーテムとして使用されることができる。例えば、ゲーム用アプリケーションでは、ゲームオブジェクト（例えば、テニスラケット、銃コントローラ等）が、トーテムとして認識されることができる。１つ以上の特徴点が、物理構造上で認識され、物理構造をトーテムとして識別するためのコンテキストを提供することができる。トーテムの視覚的追跡は、１つ以上のカメラを採用して行われ、ある基準フレーム（例えば、メディアの断片、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム）に対するトーテムの位置、配向、および／または移動（例えば、位置、方向、距離、スピード、加速）を検出することができる。
能動的にマークされたトーテムは、ある種類の能動的照明または他の形態の視覚的識別を備えている。そのような能動的マーキングの実施例として、（ａ）明滅光（例えば、ＬＥＤ）、（ｂ）照明パターン群、（ｃ）照明によってハイライトされる反射マーカー、（ｄ）ファイバベースの照明、（ｅ）静的光パターン、および／または（ｆ）動的光パターンが挙げられる。光パターンは、複数のトーテムの中の具体的トーテムを一意に識別するために使用されることができる。
受動的にマークされたトーテムは、非能動的照明または識別手段を備えている。そのような受動的にマークされたトーテムの実施例として、テクスチャ化されたパターンおよび反射マーカーが挙げられる。
トーテムはまた、外部機器がトーテムを追跡するために必要とされないように、１つ以上のカメラ／センサを組み込むことができる。代わりに、トーテムは、自らを追跡し、その独自の場所、配向、および／または識別を他のデバイスに提供するであろう。オンボードカメラが、特徴点を視覚的にチェックし、視覚的追跡を行い、トーテム自体の、および基準フレームに対する位置、配向、および／または移動（例えば、位置、方向、距離、スピード、加速）を検出するために使用される。加えて、トーテム上に搭載されるセンサ（ＧＰＳセンサまたは加速度計等）は、トーテムの位置および場所を検出するために使用されることができる。
トーテムコントローラオブジェクトは、任意の物理構造に搭載されることができ、トーテムの追跡／識別を促進するための機能性を組み込む、デバイスである。これは、単に、トーテムコントローラオブジェクトをその物理構造に設置または添着させることによって、任意の物理構造が、トーテムになることを可能にする。トーテムコントローラオブジェクトは、オブジェクト上の電子機器に給電するためのバッテリを含む、給電式オブジェクトであってもよい。トーテムコントローラオブジェクトは、通信、例えば、アンテナおよび無線ネットワーキングモデム等の無線通信インフラストラクチャを含み、メッセージを他のデバイスと交換してもよい。トーテムコントローラオブジェクトはまた、任意の能動的マーキング（ＬＥＤまたはファイバベースの照明等）、受動的マーキング（反射体またはパターン等）、またはカメラ／センサ（カメラ、ＧＰＳロケータ、または加速度計等）を含んでもよい。
トーテムは、１つ以上の実施形態では、仮想ユーザインターフェースを提供するために使用されてもよい。ＡＲシステムは、例えば、仮想ユーザインターフェースをレンダリングし、トーテム上に現れるようにしてもよい。トーテムは、多種多様な形態をとってもよい。例えば、トーテムは、非生物オブジェクトであってもよい。例えば、トーテムは、金属（例えば、アルミニウム）の断片またはシートの形態をとってもよい。個々のＡＲシステムのプロセッサ構成要素、例えば、ベルトパックが、トーテムとしての役割を果たしてもよい。
ＡＲシステムは、例えば、実際の物理デバイスのユーザインターフェース（例えば、コンピュータ、携帯電話のキーボードおよび／またはトラックパッド）を「非知能型」トーテム上に複製してもよい。実施例として、ＡＲシステムは、電話の特定の動作システムのユーザインターフェースをアルミニウムシートの表面上にレンダリングしてもよい。ＡＲシステムは、例えば、正面に面したカメラを介して、レンダリングされた仮想ユーザインターフェースとの相互作用を検出し、検出された相互作用に基づいて、機能を実装してもよい。
例えば、ＡＲシステムは、１つ以上の仮想アクションを実装し、例えば、電話のオペレーティングシステムの更新されたディスプレイをレンダリングする、ビデオをレンダリングする、ウェブページのディスプレイをレンダリングしてもよい。加えて、または代替として、ＡＲシステムは、１つ以上の実際のもしくは非仮想アクションを実装し、例えば、電子メールを送信する、テキストを送信する、および／または電話をかけてもよい。これは、ユーザが、所望のユーザインターフェースを選択し、実際の物理デバイスの集合、例えば、スマートフォンおよび／またはタブレットの種々のモデル、もしくは他のスマートフォン、タブレット、またはさらに、テレビ、ＤＶＤ／ブルーレイプレーヤ、サーモスタット等のユーザインターフェースを有する他のタイプの器具と相互作用することを可能にし得る。
したがって、トーテムは、例えば、仮想コンテンツがユーザ体験（ＵＸ）コンテキスト内にロックされ得る、身体部分（例えば、手）を含む、仮想コンテンツがレンダリングされ得る、任意のオブジェクトであってもよい。いくつかの実装では、ＡＲシステムは、トーテムの背後から生じるように見える、例えば、ユーザの手の背後から現れ、少なくとも部分的に、ユーザの手の周囲にゆっくりと巻き付くように見えるように、仮想コンテンツをレンダリングすることができる。ＡＲシステムは、仮想コンテンツとのユーザ相互作用、例えば、部分的に、ユーザの手の周囲に巻かれた仮想コンテンツとのユーザ指操作を検出する。
代替として、ＡＲシステムは、ユーザの手のひらから現れるように見えるように仮想コンテンツをレンダリングしてもよく、システムは、その仮想コンテンツのユーザの指先端相互作用および／または操作を検出してもよい。したがって、仮想コンテンツは、ユーザの手の基準フレームにロックされ得る。ＡＲシステムは、仮想コンテンツのあるアイテムを見る、手を移動させる、手で自分自身または環境にタッチする、他のジェスチャ、眼を開放および／または閉鎖する等を含む、種々のユーザ相互作用またはジェスチャに応答してもよい。
本明細書に説明されるように、ＡＲシステムは、身体中心レンダリング、ユーザ中心レンダリング、手中心レンダリング、臀部中心レンダリング、世界中心レンダリング、固有受容触覚相互作用、指示、眼ベクトル、トーテム、オブジェクト認識器、身体センサレンダリング、頭部姿勢検出、音声入力、環境または周囲音入力、および環境状況入力を採用して、ＡＲシステムのユーザと相互作用してもよい。
図１０４は、例証される実施形態の１つによる、トーテムを示し、これは、仮想キーボード１０４２２実装の一部として使用されてもよい。トーテムは、略長方形プロファイルおよび軟質硬度表面を有してもよい。軟質表面は、ユーザがタッチを介してトーテムと相互作用するにつれて、ある触覚知覚をユーザに提供する。
前述のように、ＡＲシステムは、仮想キー、スイッチ、または他のユーザ入力構成要素が、トーテムの表面上に常駐して見えるように、仮想キーボード画像をユーザの視野内にレンダリングしてもよい。ＡＲシステムは、例えば、直接、ユーザの網膜に投影される、４Ｄ明視野をレンダリングしてもよい。４Ｄ明視野は、ユーザが、実深度にあるように見えるものを伴う仮想キーボードを視覚的に知覚することを可能にする。
ＡＲシステムはまた、トーテムの表面とのユーザの相互作用を検出または捕捉してもよい。例えば、ＡＲシステムは、１つ以上の正面に面したカメラを採用して、ユーザの指の位置および／または移動を検出してもよい。特に、ＡＲシステムは、捕捉された画像から、ユーザの指とトーテムの表面の種々の部分の任意の相互作用を識別してもよい。ＡＲシステムは、仮想キーの位置と、故に、種々の入力（例えば、文字列、数字、句読点、制御、機能）のそれらの相互作用の場所をマップする。入力に応答して、ＡＲシステムは、入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、ＡＲシステムは、選択されるユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ＡＲシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ＡＲシステムは、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングしてもよい。したがって、ＡＲシステムによってレンダリングすることは、コンテキスト依存性であり得る。
図１０５Ａは、仮想マウス実装１０５０２の一部として使用され得る、例証される実施形態の１つによる、トーテムの上側表面を示す。トーテムの上側表面は、略卵形プロファイルを有し、硬質表面部分と、１つ以上の軟質表面部分とを伴い、物理マウスのキーを複製してもよい。軟質表面部分は、実際には、スイッチを実装するために必要ではなく、トーテムは、物理キー、物理スイッチ、または物理電子機器を有していなくてもよい。軟質表面部分は、ユーザがタッチを介してトーテムと相互作用するにつれて、ある触覚知覚をユーザに提供する。
ＡＲシステムは、仮想入力構造（例えば、キー、ボタン、スクロールホイール、ジョイスティック、サムスティック等）が、トーテムの上側表面上に常駐して見えるように、仮想マウス画像１０５０２をユーザの視野内にレンダリングしてもよい。前述のように、ＡＲシステムは、例えば、直接、ユーザの網膜に投影され、実深度にあるように見えるものを伴う仮想マウスの視覚的知覚を提供する、４Ｄ明視野をレンダリングしてもよい。
ＡＲシステムはまた、ユーザによるトーテムの移動ならびにトーテムの表面とのユーザ相互作用を検出または捕捉してもよい。例えば、ＡＲシステムは、１つ以上の正面に面したカメラを採用して、マウスの位置および／または移動および／またはユーザの指と仮想入力構造（例えば、キー）の相互作用を検出してもよい。ＡＲシステムは、マウスの位置および／または移動をマップする。ＡＲシステムは、仮想入力構造（例えば、キー）の位置、故に、種々の入力（例えば、制御、機能）とのユーザ相互作用をマップする。位置、移動、および／または仮想入力構造アクティブ化に応答して、ＡＲシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、ＡＲシステムは、選択ユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ＡＲシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ＡＲシステムは、前述のように、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングしてもよい。
図１０５Ｂは、仮想トラックパッド実装の一部として使用され得る、例証される実施形態の１つによる、図１０５Ａのトーテムの底側表面１０５０４を示す。トーテムの底側表面は、略卵形または円形プロファイルを伴う平坦であってもよい。底側表面は、硬質表面であってもよい。トーテムは、物理入力構造（例えば、キー、ボタン、スクロールホイール）、物理スイッチ、および物理電子機器を有していなくてもよい。
ＡＲシステムは、随意に、仮想分界がトーテムの底側表面上に常駐して見えるように、仮想トラックパッド画像をユーザの視野内にレンダリングしてもよい。ＡＲシステムは、トーテムの底側表面とのユーザの相互作用を検出または捕捉する。例えば、ＡＲシステムは、１つ以上の正面に面したカメラを採用して、トーテムの底側表面上のユーザの指の位置および／または移動を検出してもよい。例えば、ＡＲシステムは、１つ以上の指の１つ以上の静的位置、もしくは１つ以上の指の位置の変化（例えば、１つ以上の指を用いたスワイプジェスチャ、２つまたはそれを上回る指を使用した挟むジェスチャ）を検出してもよい。
ＡＲシステムはまた、正面に面したカメラを採用して、ユーザの指とトーテムの底側表面の相互作用（例えば、タップ、ダブルタップ、短タップ、長タップ）を検出してもよい。ＡＲシステムは、トーテムの底側表面に沿ってユーザの指の位置および／または移動（例えば、距離、方向、スピード、加速）をマップする。ＡＲシステムは、トーテムの底側表面、故に、種々の入力（例えば、制御、機能）とのユーザ相互作用（例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間）をマップする。位置、移動、および／または相互作用に応答して、ＡＲシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
図１０５Ｃは、仮想マウス実装の一部として使用され得る、別の例証される実施形態による、トーテム１０５０６の上側表面を示す。図１０５Ｃのトーテムは、図１０５Ａのトーテムのものと多くの点において類似する。故に、類似またはさらに同じ構造は、同一参照番号で識別される。
図１０５Ｃのトーテムの上側表面は、ＡＲシステムがキーをレンダリングする、または他の構造（例えば、スクロールホイール）を現させるであろう、上側表面上の１つ以上のそれぞれの場所に１つ以上のくぼみまたはへこみを含む。
図１０６Ａは、別の例証される実施形態による、花弁形状の（例えば、蓮の花）仮想ユーザインターフェース１０６０４を伴う球体トーテム１０６０２を示す。
トーテム１０６０２は、硬質外側表面または軟質外側表面のいずれかを伴う、球状形状を有してもよい。トーテムの外側表面１０６０２は、ユーザによる確実な把持を促進するようなテクスチャを有してもよい。トーテム１０６０２は、物理キー、物理スイッチ、または物理電子機器を有していなくてもよい。
ＡＲシステムは、トーテム１０６０２から発出するように見えるように、花弁形状の仮想ユーザインターフェース画像１０６０４をユーザの視野内にレンダリングしてもよい。仮想ユーザインターフェース１０６０４の花弁のそれぞれは、機能、機能のカテゴリ、ならびに／もしくはコンテンツまたはメディアタイプ、ツール、および／またはアプリケーションのカテゴリに対応してもよい。
ＡＲシステムは、随意に、１つ以上の分界をトーテムの外側表面上にレンダリングしてもよい。代替として、または加えて、トーテム１０６０２は、随意に、１つ以上の物理分界（例えば、印刷、刻設される）を外側表面上に担持してもよい。分界は、ユーザがトーテム１０６０２を花弁形状の仮想ユーザインターフェース１０６０４と視覚的に配向するのを補助してもよい。
１つ以上の実施形態では、ＡＲシステムは、トーテム１０６０２とのユーザの相互作用を検出または捕捉する。例えば、ＡＲシステムは、１つ以上の正面に面したカメラを採用し、ある基準フレーム（例えば、花弁形状の仮想ユーザインターフェースの基準フレーム、実世界、物理部屋、ユーザの身体、ユーザの頭部）に対するトーテムの位置、配向、および／または移動（例えば、回転方向、回転の大きさ、角度スピード、角度加速）を検出してもよい。例えば、ＡＲシステムは、トーテム１０６０２またはトーテム１０６０２上の分界の１つ以上の静的配向または配向変化を検出してもよい。
ＡＲシステムはまた、正面に面したカメラを採用して、ユーザの指とトーテムの外側表面の相互作用（例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持等）を検出してもよい。ＡＲシステムは、トーテムの配向および／または配向変化（例えば、距離、方向、スピード、加速）をユーザ選択または入力にマップする。ＡＲシステムは、随意に、トーテムの外側表面１０６０２、故に、種々の入力（例えば、制御、機能）とのユーザ相互作用（例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間）をマップする。配向、位置変化（例えば、移動）、および／または相互作用に応答して、ＡＲシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、および前述のように、ＡＲシステムは、種々のユーザ相互作用に応答して、仮想ユーザインターフェース１０６０４を異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ＡＲシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ＡＲシステムは、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングしてもよい。
ここで図１０６Ｂを参照すると、トーテム１０６０６は、円盤形状である。図１０６Ａのユーザインターフェース１０６０４と同様に、花弁形状の仮想ユーザインターフェース１０６０４が、いくつかの実施形態では、トーテム１０６０６が選択されると、レンダリングされる。
図１０６Ｂのトーテムは、図１０６Ｂに図示されるように、平坦またはドーム状であり得る上側表面および底側表面を有する、円盤形状である。すなわち、曲率半径は、無限またはトーテムの周辺縁の曲率半径よりはるかに大きくあり得る。
ＡＲシステムは、トーテム１０６０６から発出するように見えるように、花弁形状の仮想ユーザインターフェース１０６０４画像をユーザの視野内にレンダリングする。前述のように、花弁の各々は、機能、機能のカテゴリ、ならびに／もしくはコンテンツまたはメディアタイプ、ツール、および／またはアプリケーションのカテゴリに対応してもよい。図１０６Ｂは、検索機能、設定機能、お気に入りのコレクション、プロファイル、ゲームのコレクション、ツールおよび／またはアプリケーションのコレクション、ソーシャルメディアまたはアプリケーションカテゴリ、メディアまたはコンテンツカテゴリもしくはコレクション（例えば、エンターテインメント、電子雑誌、電子書籍、他の刊行物、映画、テレビ番組等）を含む、いくつかの実施例を表す。
図１０６Ｃは、別の例証される実施形態による、第１の構成１０６１０および第２の構成１０６１２内の球体トーテム１０６０８を示す。特に、トーテム１０６０８は、相互に対して選択的に移動可能または位置付け可能である、いくつかのアームまたは要素を有する。例えば、第１のアームまたは対のアームは、第２のアームまたは対のアームに対して回転されてもよい。第１のアームまたは対のアームは、第１の構成１０６１０から第２の構成１０６１２に回転されてもよい。アームは、第１の構成１０６１０では、図示されるように、略弧状である場合、アームは、球体または略球状構造を形成する。第２の構成１０６１２では、第２のアームまたは対のアームは、例証される実施形態に示されるように、第１のアームまたは対のアームと整合し、Ｃ形状のプロファイルを伴う、部分的管を形成する。
アームは、１つ以上の実施形態では、ユーザの手首または他の四肢を受容するために十分に大きい内径サイズを有してもよい。内径は、使用の間、トーテム１０６０８が四肢から摺動して外れないように防止するために十分に小さく定寸されてもよい。例えば、内径は、ユーザの手首を快適に受容する一方、ユーザの手を越えて摺動しないように定寸されてもよい。これは、トーテム１０６０８が、例えば、便宜的携行のために使用しないとき、ブレスレット型の形態をとることを可能にする。ユーザは、次いで、前述の球体トーテムに類似する様式で使用するために、球体形状にしてもよい。トーテムは、物理キー、物理スイッチ、または物理電子機器を有していなくてもよい。
とりわけ、仮想ユーザインターフェース（図１０６Ａおよび１０６Ｂに示される仮想ユーザインターフェース１０６０４等）は、図１０６Ｃから省略される。ＡＲシステムは、多種多様な形態のいずれか、例えば、前述で図示および論じられる花弁形状の仮想ユーザインターフェース１０６０４において、仮想ユーザインターフェースをレンダリングしてもよい。
図１０７Ａは、別の例証される実施形態による、ハンドヘルドコントローラ形状のトーテム１０７０２を示す。トーテム１０７０２は、定寸された把持区分を有し、ユーザの手内に快適に嵌合し得る。トーテム１０７０２は、いくつかのユーザ入力要素、例えば、キーまたはボタンおよびスクロールホイールを含んでもよい。ユーザ入力要素は、物理要素であってもよいが、トーテム１０７０２内の任意のセンサまたはスイッチに接続されず、それ自体は、物理スイッチまたは物理電子機器を有していなくてもよい。代替として、ユーザ入力要素は、ＡＲシステムによってレンダリングされた仮想要素であってもよい。トーテム１０７０２は、くぼみ、空洞、突出部、テクスチャまたは他の構造を有し、ユーザ入力要素の感触を触覚的に複製してもよいことを理解されたい。
ＡＲシステムは、トーテム１０７０２のユーザ入力要素とのユーザの相互作用を検出または捕捉する。例えば、ＡＲシステムは、１つ以上の正面に面したカメラを採用して、トーテム１０７０２のユーザ入力要素に対するユーザの指の位置および／または移動を検出してもよい。例えば、ＡＲシステムは、１つ以上の指の１つ以上の静的位置、または１つ以上の指の位置の変化（例えば、１つ以上の指を用いたスワイプまたは揺動ジェスチャ、回転またはスクロールジェスチャ、または両方）を検出してもよい。
ＡＲシステムはまた、正面に面したカメラを採用して、ユーザの指とトーテム１０７０２のユーザ入力要素の相互作用（例えば、タップ、ダブルタップ、短タップ、長タップ）を検出してもよい。ＡＲシステムは、トーテム１０７０２のユーザ入力要素とのユーザの指の位置および／または移動（例えば、距離、方向、スピード、加速）をマップする。ＡＲシステムは、ユーザの指とトーテム１０７０２のユーザ入力要素、故に、種々の入力（例えば、制御、機能）とのユーザ相互作用（例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間）をマップする。位置、移動、および／または相互作用に応答して、ＡＲシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
図１０７Ｂは、別の例証される実施形態による、ブロック形状のトーテム１０７０４を示す。トーテム１０７０４は、６つの面を伴う立方体の形状またはある他の３次元幾何学的構造を有してもよい。トーテム１０７０４は、硬質外側表面または軟質外側表面を有してもよい。トーテムの外側表面１０７０４は、ユーザによる確実な把持を促進するようなテクスチャを有してもよい。トーテム１０７０４は、物理キー、物理スイッチ、または物理電子機器を有していなくてもよい。
ＡＲシステムは、１つ以上の実施形態では、トーテム１０７０４の外側表面の面上に現れるように、仮想ユーザインターフェース画像をユーザの視野内にレンダリングしてもよい。面のそれぞれおよび対応するユーザ入力は、機能、機能のカテゴリ、ならびに／もしくはコンテンツまたはメディアタイプ、ツール、および／またはアプリケーションのカテゴリに対応してもよい。
ＡＲシステムは、トーテム１０７０４とのユーザの相互作用を検出または捕捉する。例えば、ＡＲシステムは、１つ以上の正面に面したカメラを採用して、ある基準フレーム（例えば、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム等の）に対するトーテム１０７０４の位置、配向、および／または移動（例えば、回転方向、回転の大きさ、角度スピード、角度加速）を検出してもよい。例えば、ＡＲシステムは、トーテム１０７０４の１つ以上の静的配向または配向変化を検出してもよい。
ＡＲシステムはまた、正面に面したカメラを採用して、ユーザの指とトーテム１０７０４の外側表面の相互作用（例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持等）を検出してもよい。ＡＲシステムは、トーテム１０７０４の配向および／または配向変化（例えば、距離、方向、スピード、加速）をユーザ選択または入力にマップする。ＡＲシステムは、随意に、トーテム１０７０４の外側表面、故に、種々の入力（例えば、制御、機能）とのユーザ相互作用（例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間）をマップする。配向、位置変化（例えば、移動）、および／または相互作用に応答して、ＡＲシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
配向、位置変化（例えば、移動）、および／または相互作用に応答して、ＡＲシステムは、仮想ユーザインターフェースをレンダリングする１つ以上の側面を変更し、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。例えば、ユーザがトーテム１０７０４を回転させるにつれて、異なる面が、ユーザの視野の中に入ってくる一方、他の面は、ユーザの視野から外れるように回転してもよい。ＡＲシステムは、前はユーザのビューから隠れていた仮想インターフェース要素を現時点で可視面上に見えるようにレンダリングすることによって応答してもよい。同様に、ＡＲシステムは、そうでなければ現時点でユーザのビューから隠れている面上に見えるであろう仮想インターフェース要素のレンダリングを停止することによって応答してもよい。
加えて、または代替として、ＡＲシステムは、選択ユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ＡＲシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ＡＲシステムは、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングする。
図１０７Ｃは、別の例証される実施形態による、ハンドヘルドコントローラ形状のトーテム１０７０６を示す。トーテム１０７０６は、例えば、円筒形管状部分等の定寸された把持区分を有し、ユーザの手内に快適に嵌合し得る。トーテム１０７０６は、いくつかのユーザ入力要素、例えば、いくつかの感圧式スイッチおよびジョイスティックまたはサムスティックを含んでもよい。
ユーザ入力要素は、物理要素であってもよいが、トーテム１０７０６内の任意のセンサまたはスイッチに接続されず、それ自体は、物理スイッチまたは物理電子機器を有していなくてもよい。代替として、ユーザ入力要素は、ＡＲシステムによってレンダリングされた仮想要素であってもよい。ユーザ入力要素が、仮想要素である場合、トーテム１０７０６は、くぼみ、空洞、突出部、テクスチャまたは他の構造を有し、ユーザ入力要素の感触を触覚的に複製してもよい。
ＡＲシステムは、トーテム１０７０６のユーザ入力要素とのユーザの相互作用を検出または捕捉する。例えば、ＡＲシステムは、１つ以上の正面に面したカメラを採用し、トーテム１０７０６のユーザ入力要素に対するユーザの指の位置および／または移動を検出してもよい。例えば、ＡＲシステムは、１つ以上の指の１つ以上の静的位置、または１つ以上の指の位置の変化（例えば、１つ以上の指を用いたスワイプまたは揺動ジェスチャ、回転またはスクロールジェスチャ、または両方）を検出してもよい。ＡＲシステムはまた、正面に面したカメラを採用して、ユーザの指とトーテム１０７０６のユーザ入力要素の相互作用（例えば、タップ、ダブルタップ、短タップ、長タップ）を検出してもよい。
前述のように、ＡＲシステムは、トーテムのユーザ入力要素１０７０６とのユーザの指の位置および／または移動（例えば、距離、方向、スピード、加速）をマップする。ＡＲシステムは、ユーザの指とトーテム１０７０６のユーザ入力要素、故に、種々の入力（例えば、制御、機能）とのユーザ相互作用（例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間）をマップする。位置、移動、および／または相互作用に応答して、ＡＲシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
図１０７Ｄは、別の例証される実施形態による、別のハンドヘルドコントローラ形状のトーテム１０７０８を示す。トーテム１０７０８は、定寸された把持区分を有し、ユーザの手内に快適に嵌合し得る。トーテム１０７０８は、いくつかのユーザ入力要素、例えば、キーまたはボタンおよびジョイスティックまたはサムスティックを含んでもよい。ユーザ入力要素は、物理要素であってもよいが、トーテム１０７０８内の任意のセンサまたはスイッチに接続されず、それ自体は、物理スイッチまたは物理電子機器を有していなくてもよい。代替として、ユーザ入力要素は、ＡＲシステムによってレンダリングされた仮想要素であってもよい。１つ以上の実施形態では、トーテム１０７０８は、くぼみ、空洞、突出部、テクスチャまたは他の構造を有し、ユーザ入力要素の感触を触覚的に複製してもよい。
ＡＲシステムは、トーテム１０７０８のユーザ入力要素とのユーザの相互作用を検出または捕捉する。例えば、ＡＲシステムは、１つ以上の正面に面したカメラを採用して、トーテム１０７０８のユーザ入力要素に対するユーザの指の位置および／または移動を検出してもよい。例えば、ＡＲシステムは、１つ以上の指の１つ以上の静的位置、または１つ以上の指の位置の変化（例えば、１つ以上の指を用いたスワイプまたは揺動ジェスチャ、回転またはスクロールジェスチャ、または両方）を検出してもよい。
前述と同様に、ＡＲシステムはまた、正面に面したカメラを採用してユーザの指とトーテムのユーザ入力要素の相互作用（例えば、タップ、ダブルタップ、短タップ、長タップ）、を検出してもよい。ＡＲシステムは、トーテムのユーザ入力要素１０７０８とのユーザの指の位置および／または移動（例えば、距離、方向、スピード、加速）をマップする。ＡＲシステムは、ユーザの指とトーテムのユーザ入力要素１０７０８、故に、種々の入力（例えば、制御、機能）とのユーザ相互作用（例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間）をマップする。位置、移動、および／または相互作用に応答して、ＡＲシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
図１０８Ａは、例証される実施形態の１つによる、リング型トーテム１０８０２を示す。特に、リング型トーテム１０８０２は、管状部分および管状部分に物理的に結合される相互作用部分を有する。管状および相互作用部分は、一体型であってもよく、単一一体型構造として、またはそこから形成されてもよい。管状部分は、ユーザの指を受容するために十分に大きく定寸される内径を有する。内径は、トーテム１０８０２を通常使用の間、指から摺動して外れないように防止するために十分に小さく定寸されてもよい。これは、リング型トーテム１０８０２が、能動的に使用されていないときでも、快適に装着されることを可能にし、必要に応じて、可用性を確実にする。リング型トーテム１０８０２は、物理キー、物理スイッチ、または物理電子機器を有していなくてもよい。
とりわけ、仮想ユーザインターフェース（例えば、図１０６Ａおよび１０６Ｂに示される１０６０４）は、省略される。ＡＲシステムは、多種多様な形態のいずれかにおいて、仮想ユーザインターフェースをレンダリングしてもよい。例えば、ＡＲシステムは、仮想ユーザインターフェース要素が相互作用表面上に常駐するかのように見えるように、仮想ユーザインターフェースをユーザの視野内にレンダリングしてもよい。代替として、ＡＲシステムは、相互作用表面から発出する、前述で図示および論じられる花弁形状の仮想ユーザインターフェース１０６０４として仮想ユーザインターフェースをレンダリングしてもよい。
前述と同様に、ＡＲシステムは、トーテム１０８０２とのユーザの相互作用を検出または捕捉する。例えば、ＡＲシステムは、１つ以上の正面に面したカメラを採用し、ある基準フレーム（例えば、相互作用表面、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム）内の相互作用表面に対するユーザの指の位置、配向、および／または移動（例えば、位置、方向、距離、スピード、加速）を検出してもよい。例えば、ＡＲシステムは、タッチの１つ以上の場所または相互作用表面上の指の位置の変化を検出してもよい。
再び、前述のように、ＡＲシステムはまた、正面に面したカメラを採用して、相互作用表面に対するユーザの指とトーテムの相互作用表面１０８０２の相互作用（例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持）を検出してもよい。ＡＲシステムは、相互作用表面に対する指の位置、配向、および／または移動をユーザ選択または入力の集合にマップする。ＡＲシステムは、随意に、トーテム１０８０２の相互作用表面、故に、種々の入力（例えば、制御、機能）との他のユーザ相互作用（例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間）をマップする。位置、配向、移動、および／または他の相互作用に応答して、ＡＲシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、前述のように、ＡＲシステムは、選択ユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ＡＲシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ＡＲシステムは、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングする。
図１０８Ｂは、例証される実施形態の１つによる、ブレスレット型トーテム１０８０４を示す。特に、ブレスレット型トーテム１０８０４は、管状部分および管状部分に物理的に結合されるタッチ表面を有する。管状部分およびタッチ表面は、一体型であってもよく、単一一体型構造として、またはそこから形成されてもよい。管状部分は、ユーザの手首または他の四肢を受容するために十分に大きく定寸される内径を有する。内径は、トーテム１０８０４が、使用の間、四肢から摺動して外れないように防止するために十分に小さく定寸されてもよい。例えば、内径は、ユーザの手首を快適に受容する一方、ユーザの手を越えて摺動しないように定寸されてもよい。これは、ブレスレット型トーテム１０８０４が、能動的に使用されているかどうかにかかわらず、装着されることを可能にし、所望されるとき、可用性を確実にする。ブレスレット型トーテム１０８０４は、物理キー、物理スイッチ、または物理電子機器を有していなくてもよい。
ＡＲシステムは、多種多様な形態のいずれかにおいて、仮想ユーザインターフェースをレンダリングしてもよい。例えば、ＡＲシステムは、仮想ユーザインターフェース要素がタッチ表面上に常駐するかのように見えるように、仮想ユーザインターフェースをユーザの視野内にレンダリングしてもよい。代替として、ＡＲシステムは、タッチ表面から発出する、前述で図示および論じられる花弁形状の仮想ユーザインターフェース１０６０４と同様に、仮想ユーザインターフェースをレンダリングしてもよい。
ＡＲシステムは、トーテム１０８０４とのユーザの相互作用を検出または捕捉する。例えば、ＡＲシステムは、１つ以上の正面に面したカメラを採用して、ある基準フレーム（例えば、タッチ表面、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム）内のトーテムのタッチ表面に対するユーザの指の位置、配向、および／または移動（例えば、位置、方向、距離、スピード、加速）を検出してもよい。例えば、ＡＲシステムは、タッチの１つ以上の場所またはタッチ表面上の指の位置の変化を検出してもよい。
前述のように、ＡＲシステムはまた、正面に面したカメラを採用して、ユーザの指とトーテム１０８０４のタッチ表面の相互作用（例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持）を検出してもよい。ＡＲシステムは、タッチ表面に対する指の位置、配向、および／または移動をユーザ選択または入力の集合にマップする。ＡＲシステムは、随意に、トーテム１０８０４のタッチ表面、故に、種々の入力（例えば、制御、機能）との他のユーザ相互作用（例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間）をマップする。位置、配向、移動、および／または他の相互作用に応答して、ＡＲシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、前述のように、ＡＲシステムは、選択ユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ＡＲシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ＡＲシステムは、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングしてもよい。
図１０８Ｃは、別の例証される実施形態による、リング型トーテム１０８０６を示す。特に、リング型トーテム１０８０６は、管状部分と、管状部分に物理的に回転可能に結合され、それに対して回転する相互作用部分とを有する。管状部分は、それを通してユーザの指を受容するために十分に大きく定寸される内径を有する。内径は、トーテムが、通常使用の間、指から摺動して外れないように防止するために十分に小さく定寸されてもよい。これは、リング型トーテムが、能動的に使用されていないときでも、快適に装着されることを可能にし、必要に応じて、可用性を確実にする。
相互作用部分自体は、閉鎖された管状部材であって、管状部分の外径を中心として受容されるそれぞれの内径を有してもよい。例えば、相互作用部分は、管状部分に軸支される、または摺動可能に搭載されてもよい。相互作用部分は、リング型トーテムの外部表面からアクセス可能である。相互作用部分は、例えば、管状部分の縦軸を中心として第１の回転方向に回転可能であってもよい。相互作用部分は、加えて、管状部分の縦軸を中心として第１の回転方向と反対の第２の回転に回転可能であってもよい。リング型トーテム１０８０６は、物理スイッチまたは物理電子機器を有していなくてもよい。
ＡＲシステムは、多種多様な形態のいずれかにおいて、仮想ユーザインターフェースをレンダリングしてもよい。例えば、ＡＲシステムは、仮想ユーザインターフェース要素が相互作用部分上に常駐するかのように見えるように、仮想ユーザインターフェースをユーザの視野内にレンダリングしてもよい。代替として、ＡＲシステムは、相互作用部分から発出する、前述で図示および論じられる花弁形状の仮想ユーザインターフェースと同様に、仮想ユーザインターフェースをレンダリングしてもよい。
前述と同様に、ＡＲシステムは、トーテムとのユーザの相互作用を検出または捕捉する。例えば、ＡＲシステムは、１つ以上の正面に面したカメラを採用して、ある基準フレーム（例えば、管状部分、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム）内の管状部分（例えば、指受容部分）に対する相互作用部分の位置、配向、および／または移動（例えば、位置、方向、距離、スピード、加速）を検出してもよい。
例えば、ＡＲシステムは、管状部分に対する相互作用部分の１つ以上の場所もしくは配向または位置もしくは配向変化を検出してもよい。ＡＲシステムはまた、正面に面したカメラを採用して、ユーザの指とトーテムの相互作用部分の相互作用（例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持）を検出してもよい。ＡＲシステムは、管状部分に対する相互作用部分の位置、配向、および／または移動をユーザ選択または入力の集合にマップする。ＡＲシステムは、随意に、トーテムの相互作用部分、故に、種々の入力（例えば、制御、機能）との他のユーザ相互作用（例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間）をマップする。位置、配向、移動、および／または他の相互作用に応答して、ＡＲシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、前述のように、ＡＲシステムは、選択ユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ＡＲシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。
図１０９Ａは、例証される実施形態の１つによる、手袋形状の触知トーテム１０９０２を示す。特に、手袋形状の触知トーテム１０９０２は、手袋または部分的手袋のように成形され、手首を受容するための開口部およびユーザの指を受容するように定寸された１つ以上の管状手袋指（３つが示される）を有する。手袋形状の触知トーテム１０９０２は、種々の材料のうちの１つ以上のものから作製されてもよい。材料は、エラストマーであってもよく、またはユーザの手の形状もしくは輪郭に別様に共形化し、しっかりとしているが、快適な嵌合を提供してもよい。
ＡＲシステムは、多種多様な形態のいずれかにおいて、仮想ユーザインターフェースをレンダリングしてもよい。例えば、ＡＲシステムは、仮想ユーザインターフェース要素が手袋形状の触知トーテム１０９０２を介して相互作用可能であるかのように見えるように、仮想ユーザインターフェースをユーザの視野内にレンダリングしてもよい。例えば、ＡＲシステムは、前述で図示および／または説明されたトーテムまたは仮想ユーザインターフェースのうちの１つとして仮想ユーザインターフェースをレンダリングしてもよい。
前述と同様に、ＡＲシステムは、手袋形状の触知トーテム１０９０２が装着されるユーザの手および指の視覚的追跡を介して、ユーザの相互作用を検出または捕捉する。例えば、ＡＲシステムは、１つ以上の正面に面したカメラを採用して、ある基準フレーム（例えば、タッチ表面、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム）に対するユーザの手および／または指の位置、配向、および／または移動（例えば、位置、方向、距離、スピード、加速）を検出してもよい。
前述の実施形態と同様に、例えば、ＡＲシステムは、タッチの１つ以上の場所または手および／または指の位置の変化を検出してもよい。ＡＲシステムはまた、正面に面したカメラを採用して、ユーザの手および／または指の相互作用（例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持）を検出してもよい。とりわけ、ＡＲシステムは、ユーザの手および指の代わりに、手袋形状の触知トーテム１０９０２を追跡してもよい。ＡＲシステムは、手および／または指の位置、配向、および／または移動をユーザ選択または入力の集合にマップする。
ＡＲシステムは、随意に、種々の入力（例えば、制御、機能）との他のユーザ相互作用（例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間）をマップする。位置、配向、移動、および／または他の相互作用に応答して、ＡＲシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、前述のように、ＡＲシステムは、選択ユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ＡＲシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ＡＲシステムは、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングする。
手袋形状の触知トーテム１０９０２は、信号に応答して、圧力およびテクスチャ等の触知間隔を提供する、複数のアクチュエータを含む。アクチュエータは、多種多様な形態、例えば、圧電要素および／またはマイクロ電気機械的構造（ＭＥＭＳ）のいずれかをとってもよい。
ＡＲシステムは、手袋形状の触知トーテム１０９０２を介して、触知フィードバックをユーザに提供する。特に、ＡＲシステムは、信号を手袋形状の触知トーテム１０９０２に提供し、仮想オブジェクトが表し得る、物理オブジェクトとの相互作用の知覚感覚を複製する。そのようなものは、物理オブジェクトに関連付けられた圧力および／またはテクスチャの感知の提供を含んでもよい。したがって、ＡＲシステムは、例えば、縁、角、真円度等の物理オブジェクトの種々の構造特徴を含む、ユーザに仮想オブジェクトの存在を感じさせ得る。ＡＲシステムはまた、ユーザに、平滑、粗度、くぼみ等の感触テクスチャを生じさせてもよい。
図１０９Ｂは、例証される実施形態の１つによる、スタイラスまたはブラシ形状のトーテム１０９０４を示す。スタイラスまたはブラシ形状のトーテム１０９０４は、任意のいくつかの従来のスタイラスまたはブラシ１０９０４のものに類似する、伸長ハンドルを含む。従来のスタイラスまたはブラシとは対照的に、スタイラスまたはブラシは、仮想先端または剛毛を有する。特に、ＡＲシステムは、物理スタイラスまたはブラシ１０９０４の端部に現れるように、所望のスタイルの仮想先端または仮想剛毛をレンダリングしてもよい。先端または剛毛は、狭または広点、平坦剛毛ブラシ、テーパ状、傾斜または切断剛毛ブラシ、自然ファイバ剛毛ブラシ（例えば、馬毛）、人工ファイバ剛毛ブラシ等を含む、任意の従来のスタイルをとってもよい。これは、有利には、仮想先端または剛毛が交換可能となることを可能にする。
前述と同様に、ＡＲシステムは、スタイラスまたはブラシ１０９０４上のユーザの手および／または指の視覚的追跡を介して、および／またはスタイラスまたはブラシ１０９０４の端部の視覚的追跡を介して、ユーザの相互作用を検出または捕捉する。例えば、ＡＲシステムは、１つ以上の正面に面したカメラを採用し、ある基準フレーム（例えば、メディアの断片、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム）に対するユーザの手および／または指および／またはスタイラスまたはブラシの端部の位置、配向、および／または移動（例えば、位置、方向、距離、スピード、加速）を検出してもよい。例えば、ＡＲシステムは、タッチの１つ以上の場所または手および／または指の位置の変化を検出してもよい。また、例えば、ＡＲシステムは、スタイラスまたはブラシ１０９０４の端部の１つ以上の場所および／または、例えば、メディアの断片またはメディアの断片を表すトーテムに対するスタイラスまたはブラシの端部の配向を検出してもよい。ＡＲシステムは、加えて、または代替として、スタイラスまたはブラシ１０９０４の端部の場所の１つ以上の変更、および／または、例えば、メディアの断片またはメディアの断片を表すトーテムに対するスタイラスまたはブラシ１０９０４の端部の配向変化を検出してもよい。
前述のように、ＡＲシステムはまた、正面に面したカメラを採用して、ユーザの手および／または指もしくはスタイラスまたはブラシ１０９０４の相互作用（例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持）を検出してもよい。ＡＲシステムは、手および／または指および／またはスタイラスまたはブラシ１０９０４の端部の位置、配向、および／または移動をユーザ選択または入力の集合にマップする。ＡＲシステムは、随意に、種々の入力（例えば、制御、機能）との他のユーザ相互作用（例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間）をマップする。位置、配向、移動、および／または他の相互作用に応答して、ＡＲシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、ＡＲシステムは、スタイラスまたはブラシ１０９０４を使用してユーザによって行われたマーキングの仮想画像をレンダリングし、選択された先端または剛毛によって達成されるであろう視覚的効果を考慮してもよい。
スタイラスまたはブラシ１０９０４は、１つ以上の触知要素（例えば、圧電要素、ＭＥＭＳ要素）を有してもよく、ＡＲシステムは、選択された点または剛毛がメディアにわたって通過するにつれて、選択された点または剛毛の感触を複製する、感覚（例えば、平滑、粗度、低摩擦、高摩擦）を提供するように制御する。感覚はまた、端部または剛毛がユーザによって選択され得るメディアの異なるタイプの物理側面と相互作用するであろう方法を反映または複製してもよい。したがって、紙およびカンバスは、２つの異なるタイプの触知応答を生成し得る。
図１０９Ｃは、例証される実施形態の１つによる、ペン形状のトーテム１０９０６を示す。ペン形状のトーテム１０９０６は、任意のいくつかの従来のペン、鉛筆、スタイラス、またはブラシのものに類似する、伸長シャフトを含む。ペン形状のトーテム１０９０６は、シャフトの一端に位置するユーザ作動可能ジョイスティックまたはサムスティックを有する。ジョイスティックまたはサムスティックは、ユーザ作動に応答して、伸長シャフトに対して移動可能である。ジョイスティックまたはサムスティックは、例えば、４つの方向（例えば、前方、後方、左、右）にピボット可能に移動可能であってもよい。代替として、ジョイスティックまたはサムスティックは、例えば、ナビゲートするために、例えば、全方向に、すなわち、４つの方向に移動可能であってもよく、または、円形において任意の角度方向にピボット可能に移動可能であってもよい。とりわけ、ジョイスティックまたはサムスティックは、任意のスイッチまたは電子機器に結合されない。
ジョイスティックまたはサムスティックをスイッチまたは電子機器に結合する代わりに、ＡＲシステムは、ジョイスティックまたはサムスティックの位置、配向、または移動を検出または捕捉する。例えば、ＡＲシステムは、１つ以上の正面に面したカメラを採用して、所与の基準フレーム（例えば、伸長シャフトの基準フレーム等）に対してジョイスティックまたはサムスティックの位置、配向、および／または移動（例えば、位置、方向、距離、スピード、加速）を検出してもよい。
加えて、前述のように、ＡＲシステムは、１つ以上の正面に面したカメラを採用して、ある基準フレーム（例えば、伸長シャフト、メディアの断片、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム）に対するユーザの手および／または指および／またはペン形状のトーテム１０９０６の端部の位置、配向、および／または移動（例えば、位置、方向、距離、スピード、加速）を検出してもよい。
例えば、ＡＲシステムは、タッチの１つ以上の場所または手および／または指の位置の変化を検出してもよい。また、例えば、ＡＲシステムは、ペン形状のトーテム１０９０６の端部の１つ以上の場所、および／または、例えば、メディアの断片またはメディアの断片を表すトーテムに対するペン形状のトーテム１０９０６の端部の配向を検出してもよい。ＡＲシステムは、加えて、または代替として、ペン形状のトーテム１０９０６の端部の場所の１つ以上の変更、および／または、例えば、メディアの断片またはメディアの断片を表すトーテムに対するペン形状のトーテム１０９０６の端部の配向変化を検出してもよい。
前述と同様に、ＡＲシステムはまた、正面に面したカメラを採用して、ユーザの手および／または指とジョイスティックまたはサムスティックまたはペン形状のトーテム１０９０６の伸長シャフトの相互作用（例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持等）を検出してもよい。ＡＲシステムは、手および／または指ならびに／もしくはジョイスティックまたはサムスティックの端部の位置、配向、および／または移動をユーザ選択または入力の集合にマップする。ＡＲシステムは、随意に、種々の入力（例えば、制御、機能）との他のユーザ相互作用（例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間）をマップする。位置、配向、移動、および／または他の相互作用に応答して、ＡＲシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、前述のように、ＡＲシステムは、ペン形状のトーテム１０９０６を使用してユーザによって行われるマーキングの仮想画像をレンダリングし、選択された先端または剛毛によって達成されるであろう視覚的効果を考慮してもよい。
ペン形状のトーテム１０９０６は、１つ以上の触知要素（例えば、圧電要素、ＭＥＭＳ要素）を有してもよく、ＡＲシステムは、メディアにわたって通過する感触を複製する、感覚（例えば、平滑、粗度、低摩擦、高摩擦）を提供するように制御する。
図１１０Ａは、例証される実施形態の１つによる、チャームチェーントーテム１１００２を示す。チャームチェーントーテム１１００２は、チェーンおよびいくつかのチャームを含む。チェーンは、可撓性をチェーンに提供する、複数の相互接続されるリンクを含んでもよい。チェーンはまた、チェーンの対向端がともにしっかり結合されることを可能にする、閉鎖部または留め金を含んでもよい。チェーンおよび／または留め金は、多種多様な形態、例えば、単鎖、多鎖、リンク、または編組をとってもよい。
チェーンおよび／または留め金は、任意の種々の金属または他の非金属材料から形成されてもよい。チェーンの長さは、２つの端部がともに留め金で留められると、ユーザの四肢の一部を収容すべきである。チェーンの長さはまた、チェーンが、２つの端部がともに留め金で留められると、四肢の一部上に緩くであっても保定されることを確実にするように定寸されるべきである。チェーンは、腕の手首または脚の足首上にブレスレットとして装着されてもよい。
チェーンは、首を中心とするネックレスとして装着されてもよい。チャーム型は、多種多様な形態のいずれかをとってもよい。チャームは、種々の形状を有してもよいが、典型的には、プレートまたはディスクの形態をとってもよい。概して、長方形プロファイルとともに図示されるが、チャームは、任意の種々のプロファイルを有してもよく、単一チェーン上の異なるチャームは、相互に異なるそれぞれのプロファイルを有してもよい。チャームは、多種多様な金属または非金属材料のいずれかから形成されてもよい。
各チャームは、少なくとも１つのコンピュータまたはプロセッサ可読非一過性記憶媒体内において、ＡＲシステムを介してアクセス可能な機能、機能のカテゴリ、コンテンツもしくはメディアタイプのカテゴリ、および／またはツールもしくはアプリケーションと論理的に関連付け可能な印を担持してもよい。
図１１０Ｂは、例証される実施形態の１つによる、キーチェーン型トーテム１１００４を示す。キーチェーン型トーテム１１００４は、チェーンおよびいくつかのキーを含む。チェーンは、可撓性をチェーンに提供する、複数の相互接続されるリンクを含んでもよい。チェーンはまた、チェーンの対向端がともにしっかりと結合されることを可能にする、閉鎖部または留め金を含んでもよい。チェーンおよび／または留め金は、多種多様な形態、例えば、単鎖、多鎖、リンク、または編組をとってもよい。チェーンおよび／または留め金は、任意の種々の金属または他の非金属材料から形成されてもよい。
キーは、多種多様な形態のいずれかをとってもよい。キーは、種々の形状を有してもよいが、典型的には、山および谷（例えば、歯）の有無にかかわらず、従来のキーの形態をとってもよい。いくつかの実装では、キーは、対応する機械的ロックを開放してもよい一方、他の実装では、キーは、トーテムとしてのみ機能し、機械的ロックを開放しない。キーは、任意の種々のプロファイルを有してもよく、単一チェーン上の異なるキーは、相互に異なるそれぞれのプロファイルを有してもよい。キーは、多種多様な金属または非金属材料のいずれかから形成されてもよい。種々のキーは、相互と異なる色であってもよい。
各キーは、少なくとも１つのコンピュータまたはプロセッサ可読非一過性記憶媒体内において、ＡＲシステムを介してアクセス可能な機能、機能のカテゴリ、コンテンツまたはメディアタイプのカテゴリ、および／またはツールまたはアプリケーションと論理的に関連付け可能な印を担持してもよい。
前述のように、ＡＲシステムは、キーとのユーザの相互作用を検出または捕捉する。例えば、ＡＲシステムは、１つ以上の正面に面したカメラを採用して、ユーザの指または手によるキーのタッチまたは操作を検出してもよい。例えば、ＡＲシステムは、ユーザが、指を用いてそれぞれのキーをタッチする、または２つまたはそれを上回る指を用いてそれぞれのキーを把持することによって、特定のキーの選択を検出してもよい。
さらに、ＡＲは、ある基準フレーム（例えば、身体の一部、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム）に対するキーの位置、配向、および／または移動（例えば、回転方向、回転の大きさ、角度スピード、角度加速）を検出してもよい。ＡＲシステムはまた、正面に面したカメラを採用して、ユーザの指とキーの他の相互作用（例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持等）を検出してもよい。
前述のように、ＡＲシステムは、キーの選択をユーザ選択または入力、例えば、ソーシャルメディアアプリケーションの選択にマップする。ＡＲシステムは、随意に、キー、故に、対応するアプリケーションを用いた種々の入力（例えば、制御、機能）との他のユーザ相互作用（例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間）をマップする。タッチする、操作、またはキーとの他の相互作用に応答して、ＡＲシステムは、対応するアプリケーションをアクティブ化させる、および／または対応する入力をアプリケーションに提供してもよい。
加えて、または代替として、前述の実施形態と同様に、ＡＲシステムは、選択ユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ＡＲシステムは、少なくとも部分的に選択に基づいて、仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ＡＲシステムは、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングする。
ここで図１１１を参照すると、トーテムを使用する例示的方法１１１００が、説明される。１１１０２では、トーテムとのユーザの相互作用が、検出および／または捕捉される。例えば、相互作用は、触知手袋から、または正面に面したカメラ（例えば、世界カメラ、ＦＯＶカメラ等）を通した入力に基づいて、捕捉されてもよい。１１１０４では、ＡＲシステムは、所与の基準フレームに対するトーテムの位置、配向、および／または移動を検出してもよい。基準フレームは、ＡＲシステムが、ユーザコマンドを理解するために、トーテムの移動の１つ以上の特性を計算することを可能にする、所定の基準フレームであってもよい。１１１０６では、ユーザの相互作用（例えば、基準フレームに対する位置／配向／移動）は、システム内に記憶されるマップを用いて検討される。１つ以上の実施形態では、マップは、ある移動／位置または配向と特定のユーザ入力を相関させる、１：１マップであってもよい。他のマッピングテーブルおよび／または技法も同様に、他の実施形態では、使用されてもよい。１１１０８では、ＡＲシステムは、マッピングに基づいて、ユーザ入力を決定してもよい。
１つ以上の実施形態では、ＡＲシステムは、オブジェクトをトーテムとして識別してもよい。オブジェクトは、実オブジェクトまたは仮想オブジェクトであってもよい。典型的には、トーテムは、事前指定されるオブジェクト、例えば、トーテムとして表示され得る、キーの集合または仮想キーの集合であってもよい。１つ以上の実施形態では、ユーザは、トーテムを選択してもよい。または、トーテムが実オブジェクトである場合、システムは、捕捉された１つ以上の画像および／またはトーテムについての他のデータを有し、それを将来認識してもよい。さらに、ＡＲシステムは、システムがトーテムに関係して行われるコマンドを理解するように、ユーザに、トーテムを「設定」することを要求してもよい。例えば、トーテムの中心部分は、特定のコマンドを示すように押圧されてもよい。１つ以上の実施形態では、これは、システムがそのコマンドを理解するように事前プログラムされることを要求してもよい。
１つ以上の実施形態では、トーテムの基準フレームは、あるコマンドを理解するために、世界の基準フレームに対して相関されてもよい。例えば、システムは、トーテムに関係するユーザの手の移動（一実施形態では）を認識してもよい。１つ以上の実施形態では、ＡＲシステムは、ユーザとトーテムの相互作用（例えば、手移動、トーテム移動、眼移動等）を追跡する。相互作用が所定の相互作用（例えば、移動のパターン、移動のスピード、移動の方向、タッチの力、別のオブジェクトへの近接度等）に一致すると、システムは、ユーザ入力を決定し、決定されたユーザ入力に応答して、コマンドを理解し得る。
ここで概略される概念は、ＡＲシステムの種々の側面に適用されてもよいことを理解されたい。例えば、トーテムの認識、トーテムに関係する移動のパターンの認識、および認識されたトーテムジェスチャに関連付けられたコマンドの読み出しは、以下に論じられるほぼ全ての種々の実施形態およびユーザシナリオにおいて使用されてもよい。これらの同一概念は、システムが、トーテムジェスチャを認識し、コマンドを行うのに役立つ（例えば、アプリケーションを開く、ユーザインターフェースを表示する、アイテムを購入する、アプリケーションを切り替える等）。したがって、トーテムおよびトーテムコマンドの認識ならびにトーテムに関連付けられたコマンドの読み出しに関する、ここで概略される原理は、以下に説明されるほぼ全ての実施形態において使用されてもよい。これらの概念は、簡略目的のために、具体的実施形態の議論の際に繰り返されないであろうことを理解されたい。
（光波正面＋音波正面）
１つ以上の実施形態では、ＡＲシステムは、光波正面に類似する、音波正面を生成し、現実的音場を生成してもよい。いくつかの実装では、ＡＲシステムは、音範囲内のマイクロホン利得を動的に調節し、実物理プレーヤと仮想空間内の仮想プレーヤを混合してもよい。言い換えると、ＡＲシステムは、特定のオブジェクト（例えば、仮想オブジェクト等）から発出する音が明視野に一致するように、現実的音波正面を生成する。
１つ以上の実施形態では、ＡＲシステムは、光波正面に類似する、音波正面を生成し、現実的音場を生成してもよい。いくつかの実装では、ＡＲシステムは、音範囲内のマイクロホン利得を動的に調節し、実物理プレーヤと仮想空間内の仮想プレーヤを混合してもよい。言い換えると、ＡＲシステムは、特定のオブジェクト（例えば、仮想オブジェクト等）から発出する音が明視野に一致するように、現実的音波正面を生成する。
例えば、仮想オブジェクトが、離れた所から現れるように描写される場合、オブジェクトから発出する音は、離れた所から接近した場合、一定ではなく、むしろ、オブジェクトから生じるであろう音を模倣すべきである。ＡＲシステムの明視野は、仮想オブジェクトの現実的視覚体験を生成するため、ＡＲシステムの音波正面もまた、音を現実的に描写するように修正される。例えば、仮想オブジェクトが、背後から接近している場合、仮想オブジェクトから生じる音は、単に、正面側から接近していた場合と異なるであろう。または、仮想オブジェクトが、右側から接近している場合、音は、ユーザが本能的に右を向き、仮想オブジェクトを見るように修正され得る。したがって、音を現実的に描写するための音波正面の修正は、ＡＲシステムの全体的体験を改善し得ることを理解されたい。
音波正面はまた、ユーザの物理場所に依存し得る。例えば、自然音は、ユーザが開放空間内に居るときと比較して、ユーザが大聖堂内に居る場合、異なるように感知される（例えば、エコー等が存在し得る）。ＡＲシステムは、ローカルおよび周囲音（例えば、ゲームエンジン駆動）再現を捕捉してもよい。
ここで図１１３を参照すると、音設計システムの種々の構成要素を示す、ブロック図が、提供される。図１１３に示されるように、頭部姿勢情報１１３１８が、オブジェクトおよび聴取者姿勢１１３２０を決定するために使用されてもよい。本情報は、いったん決定されると、空間および近接音レンダリングモジュール１１３０２の中にフィードされてもよい。
オブジェクトおよび聴取者姿勢１１３２０は、１つ以上の実施形態では、データベース内に記憶され得る種々の音データファイルを備え得る、音データモジュール１１３２２の中にフィードされてもよい。音データモジュール１１３２２は、音設計ツール１１３２４（例えば、ＦＭＯＤ Ｓｔｕｄｉｏ等）と相互作用し、音設計フィルタ等を提供し、音データファイルを操作してもよい。
音およびメタデータ１１３２２は、チャネルベースのコンテンツ１１３１６もまたフィードされ得る、等化モジュール１１３１４の中にフィードされてもよい。等化された音はまた、空間および近接レンダリングモジュール１１３０２の中にフィードされてもよい。
１つ以上の実施形態では、３Ｄ頭部モデル伝達関数１１３１０および動的に作成された空間モデル（例えば、空間伝達関数）もまた、空間および近接音レンダリングモジュール１１３０２に入力される。１つ以上の実施形態では、空間および近接音レンダリングモジュール１１３０２はまた、あらかじめ準備された空間１１３１２からの音についての入力を受信してもよい。伝達関数は、それぞれ、頭部姿勢１１３１８およびオブジェクトおよび聴取者姿勢１１３２０モジュールから受信されるユーザの頭部姿勢および仮想オブジェクト情報に基づいて、変換を適用することによって、音データを操作してもよい。
１つ以上の実施形態では、空間および近接音レンダリングモジュール１１３０２は、両耳バーチャライザ１１３０４と相互作用し、音は、最後に、ユーザのヘッドホン１１３０６に出力される。
１つ以上の実施形態では、ＡＲシステムは、ユーザの頭部姿勢を決定し、オーディオオブジェクトの操作方法を決定してもよい。オーディオオブジェクトは、仮想オブジェクトに結び付けられてもよい（例えば、オーディオは、仮想オブジェクトから生じるように見える、または異なる場所に位置してもよいが、仮想オブジェクトに関連付けられる）。オーディオオブジェクトは、オーディオオブジェクト（音データ）が仮想オブジェクトの感知された場所から発出するように、感知された場所に基づいて、仮想オブジェクトに関連付けられてもよい。
ＡＲシステムは、仮想オブジェクトの感知された場所（例えば、マップ、パス可能世界モデル等）を把握し、したがって、ＡＲシステムは、オーディオオブジェクトを同一場所に設置してもよい。ユーザの頭部姿勢に関係してオーディオオブジェクトの感知された場所および／または決定された場所に基づいて、音データは、１つ以上の実施形態では、音が仮想オブジェクトの起源の場所から生じるように見えるように、音設計アルゴリズムを受け、動的に改変されてもよい。
１つ以上の実施形態では、ＡＲシステムは、種々の視覚的および／または聴覚的トリガを意図的に使用して、ユーザ頭部運動を開始してもよい。ＡＲシステムは、トリガ（例えば、仮想視覚的キューまたは仮想音キュー）を選択して、ユーザの周縁から発出する（例えば、正面またはユーザが面してる方向から変位する）ように見えるように仮想視覚的画像または音キューをレンダリングしてもよい。例えば、明視野を眼の中にレンダリングする場合、側面または周縁上の非画像形成光学は、ユーザの周辺視覚に現れ、ユーザにユーザの頭部を所望の方向に向けさせるように、視覚的キューまたはトリガをレンダリングしてもよい。加えて、または代替として、ＡＲシステムは、音上に波正面合成を伴う空間音場を、ユーザの視野から外れて現れ、再び、ユーザを所望の方向に向けさせる、オーディオまたは聴覚キューもしくはトリガとともに、レンダリングしてもよい。
（座標フレーム）
上記の種々の実施形態において詳細に論じられたように、かつ図１３３を参照すると、仮想コンテンツは、仮想コンテンツが静止したままである、または座標系に対して移動するように、１つ以上の座標系に結び付けられてもよいことを理解されたい。例えば、１３３０２に示されるように、仮想コンテンツは、部屋中心であってもよい。言い換えると、仮想コンテンツは、ユーザがその周囲を移動する、またはそこから離れるように移動し得る間、仮想コンテンツが空間内の一定場所に留まるように、実世界の１つ以上の座標にテザリングされる。
上記の種々の実施形態において詳細に論じられたように、かつ図１３３を参照すると、仮想コンテンツは、仮想コンテンツが静止したままである、または座標系に対して移動するように、１つ以上の座標系に結び付けられてもよいことを理解されたい。例えば、１３３０２に示されるように、仮想コンテンツは、部屋中心であってもよい。言い換えると、仮想コンテンツは、ユーザがその周囲を移動する、またはそこから離れるように移動し得る間、仮想コンテンツが空間内の一定場所に留まるように、実世界の１つ以上の座標にテザリングされる。
別の実施形態では、１３３０４に示されるように、仮想コンテンツは、身体中心であってもよい。したがって、仮想コンテンツは、ユーザの中心軸に対して移動されてもよい。例えば、ユーザが移動する場合、仮想コンテンツは、ユーザの移動に基づいて移動する。
さらに別の実施形態では、１３３０６に示されるように、仮想コンテンツは、頭部中心であってもよい。言い換えると、仮想コンテンツは、ユーザの頭部の周囲を中心とする座標系に結び付けられる。仮想コンテンツは、ユーザがユーザの頭部を移動させるにつれて、移動してもよい。これは、種々のユーザインターフェースに当てはまり得る。仮想コンテンツは、ユーザがその頭部を転向させると移動し、それによって、常時、ユーザのビュー内にある、ユーザのインターフェースを提供してもよい。
さらに別の実施形態では、１３３０８に示されるように、仮想コンテンツは、仮想コンテンツがユーザの手移動に基づいて移動するように、手中心基準点に基づいて取り込まれてもよい（例えば、以下に説明される長手袋ユーザ体験）。
ここで図１３４を参照すると、前述の種々の実施形態を通して図示されるように、ユーザに提示される仮想コンテンツと相互作用する多くの方法が存在し得る。ジェスチャ（例えば、手、頭部、身体、トーテム等）１３４０２、音声相互作用１３４０４、眼ベクトル１３４０６、および生体フィードバック１３４０８等の無形相互作用を含む、いくつかの実施例が、図１３４に示される。
前述で詳細に説明されたように、ジェスチャフィードバック１３４０２は、ユーザが、一般に、ユーザの手、指、または腕の移動を通してＡＲシステムと相互作用することを可能にし得る。音声ユーザ入力１３４０４は、ユーザが、単に、ＡＲシステムに「話しかけ」、音声コマンドを、必要に応じて、ＡＲシステムに発話することを可能にし得る。眼ユーザ入力１３４０６は、ユーザが、単に、ユーザの眼を移動させ、ユーザインターフェースに変更をもたらし得るように、眼追跡システムの使用を伴ってもよい。例えば、ユーザ入力は、所定のアクションに対応し得る、瞬きまたは眼移動であってもよい。例えば、ユーザは、その焦点が仮想アイコン上にある間、３回、連続的に瞬きしてもよい。これは、システムによって認識される所定の選択コマンドとなり得る。それに応答して、システムは、単に、仮想アイコンを選択してもよい（例えば、アプリケーションを開く等）。したがって、ユーザは、最小限の努力でＡＲシステムと通信し得る。
生体フィードバック１３４０８もまた、ＡＲシステムと相互作用するために使用されてもよい。例えば、ＡＲシステムは、ユーザの心拍数を監視し、適宜、応答してもよい。例えば、ユーザが運動課題に参加しているとする。ユーザの心拍数上昇に応答して、ＡＲシステムは、仮想コンテンツをユーザに表示してもよい（例えば、ユーザが減速する、水を飲むこと等を助長する）。
１つ以上の実施形態では、ＡＲシステムとの相互作用は、有形であってもよい。例えば、特定のコマンドであることが事前に定義される、既知の体積１３４１０が、定義されてもよい。例えば、ユーザは、単に、ＡＲシステムが特定のコマンドとして理解する、ある形状を空中に描いてもよい。
相互作用は、手袋１３４１２（例えば、触知手袋等）を通してもよい。したがって、手袋１３４１２は、ジェスチャ、物理タッチ等を取り上げてもよく、これは、順に、１つ以上のコマンドのために使用されてもよい。同様に、認識されたリング１３４１４は、入力をＡＲシステムに提供するために使用されてもよい。さらに別の実施形態では、展性表面１３４１６が、入力をシステムに提供するために使用されてもよい。例えば、展性オブジェクト１３４１６は、トーテムとして使用されてもよいが、固定サイズのオブジェクトに関係して相互作用するだけではなく、入力は、展性オブジェクト１３４１６を、それぞれ、所定の特定のコマンドとして事前に定義され得る、異なる形状およびサイズに伸縮させてもよい。
または、他の実施形態では、単純コントローラデバイス１３４１８（例えば、キーボード、マウス、コンソール等）が、システムと相互作用するために使用されてもよい。他の実施形態では、オブジェクト１３４２０の物理特性が、システムと相互作用するために使用されてもよい。
（ジェスチャ）
いくつかの実装では、ＡＲシステムは、１つ以上の指／手のジェスチャを検出し、それに応答してもよい。これらのジェスチャは、種々の形成をとることができ、例えば、指間相互作用、指示、タップ、摩擦等に基づいてもよい。他のジェスチャは、例えば、文字列（例えば、文字、数字、句読点）の２Ｄまたは３Ｄ表現を含んでもよい。そのように入力するために、ユーザは、その指を定義された文字列パターンでスワイプする。他のジェスチャは、例証される実施形態の１つによると、サムホイール選択タイプジェスチャを含んでもよく、これは、例えば、ユーザの視野内にレンダリングされ得る、「ポップアップ」円形半径方向メニューと併用されてもよい。
いくつかの実装では、ＡＲシステムは、１つ以上の指／手のジェスチャを検出し、それに応答してもよい。これらのジェスチャは、種々の形成をとることができ、例えば、指間相互作用、指示、タップ、摩擦等に基づいてもよい。他のジェスチャは、例えば、文字列（例えば、文字、数字、句読点）の２Ｄまたは３Ｄ表現を含んでもよい。そのように入力するために、ユーザは、その指を定義された文字列パターンでスワイプする。他のジェスチャは、例証される実施形態の１つによると、サムホイール選択タイプジェスチャを含んでもよく、これは、例えば、ユーザの視野内にレンダリングされ得る、「ポップアップ」円形半径方向メニューと併用されてもよい。
ここで概略される概念は、ＡＲシステムの種々の側面に適用されてもよいことを理解されたい。例えば、ジェスチャの認識および認識されたジェスチャに関連付けられたコマンドの読み出しは、以下に論じられるほぼ全ての種々の実施形態およびユーザシナリオにおいて使用されてもよい。例えば、ジェスチャは、以下に論じられる種々のユーザインターフェース実施形態において使用されてもよい。これらの同一概念は、システムが、ジェスチャを認識し、コマンドを行う（例えば、アプリケーションを開く、ユーザインターフェースを表示する、アイテムを購入する、アプリケーションを切り替える等）ことに役立つ。したがって、ジェスチャの認識およびジェスチャに関連付けられたコマンドの読み出しに関する、ここで概略される原理は、以下に説明されるほぼ全ての実施形態において使用されてもよい。これらの概念は、簡略目的のために、具体的実施形態の議論の際に繰り返されないであろうことを理解されたい。
ＡＲシステムの実施形態は、したがって、ジェスチャを使用して、種々のコマンドを認識し、それに応答して、コマンドにマップされたある機能を行うことができる。コマンドへのジェスチャのマッピングは、多くのユーザを横断して汎用的に定義され、ユーザインターフェース内に少なくともいくつかの共通性を採用する、種々のアプリケーションの開発を促進してもよい。代替として、または加えて、ユーザまたは開発者は、ジェスチャのうちの少なくともいくつかと、コマンドの検出に応答して、ＡＲシステムによって実行されるべき対応するコマンドとの間のマッピングを定義してもよい。
例えば、指示された人差し指は、焦点、例えば、人差し指が指示される場面または仮想コンテンツの特定の部分に焦点を当てるコマンドを示し得る。挟むジェスチャは、人差し指の先端が親指の先端にタッチし、閉鎖された円形を形成し、例えば、掴むおよび／またはコピーコマンドを示すために行われることができる。別の例示的挟むジェスチャは、薬指の先端が親指の先端にタッチし、閉鎖された円形を形成し、例えば、選択コマンドを示すために行われることができる。さらに別の例示的挟むジェスチャは、小指の先端が親指の先端にタッチし、閉鎖された円形を形成し、例えば、戻るおよび／またはキャンセルコマンドを示すために行われることができる。薬指および中指が曲げられ、薬指の先端が親指の先端にタッチする、ジェスチャは、例えば、クリックおよび／またはメニューコマンドを示し得る。人差し指の先端が頭部装着式構成要素またはフレーム上のある場所にタッチすることは、ホームコマンドに戻ることを示し得る。
本発明の実施形態は、ジェスチャ追跡および識別を行うための高度なシステムおよび方法を提供する。一実施形態では、拒否カスケードアプローチが、行われ、ジェスチャ分析の複数の段階が、ジェスチャを識別するために画像データ上にで行われる。図１３５Ａを先に参照すると、着信画像１３５４２（例えば、深度ＤにおけるＲＧＢ画像）は、一連の許可分析ノードを使用して処理される。各分析ノード１３５４４（例えば、１３５４４ａ、１３５４４ｂ等）は、画像がジェスチャとして識別可能であるかどうかを決定する別個のステップを行う。
本プロセスにおける各段階は、その全体性における異なる決定のシーケンスが、ジェスチャ処理を効率的に行うために使用され得るように、標的計算を行う。これは、例えば、プロセスの各段階における処理パワーの量が、ノードのシーケンス／順序とともに、最小限の計算費用でそれを行いながら、非ジェスチャを除去する能力を最適化するために使用されることを意味する。例えば、計算的に安価なアルゴリズムは、前の段階に適用され、多数の「より容易な」候補を除去し、それによって、より少ない数の「より困難な」データを計算的に高価なアルゴリズムを使用して後の段階で分析されるように残してもよい。
一実施形態における本タイプの処理を行うための一般的アプローチが、図１３５Ｂのフロー図１３５０１に示される。第１のステップ１３５０２は、ジェスチャ処理のための候補を生成するためのものである。これらは、例えば、装着式デバイスのセンサ測定、例えば、装着式デバイス上に搭載されるカメラから捕捉された画像を含む。次に、１３５０４では、分析が、分析データを生成するための候補上で行われる。例えば、あるタイプの分析は、画像内の形状（例えば、指）の輪郭が十分に鋭的であるかどうかをチェックするためのものであってもよい。１３５０６では、ソートが、次いで、分析された候補上で行われる。最後に、１３５０８では、最小閾値より低いスコア化／分析値に対応する任意の候補は、検討から除去される。
図１３５Ｃは、本発明の一実施形態による、ジェスチャ分析のためのより詳細なアプローチを描写する。第１のアクションは、深度区画化１３５２０を入力データに行うことである。例えば、典型的には、データ入力を提供するカメラ（例えば、ＲＧＢ＋深度データを生成するカメラ）が、ユーザの頭部上に搭載され、ユーザの世界カメラ（例えば、正面に面したカメラ、ＦＯＶカメラ等）が、ヒトがジェスチャを合理的に行い得る範囲を網羅するであろう。
図１３５Ｄに示されるように、線検索１３５６０が、データを通して行われることができる（例えば、視野の下側から）。その線に沿って識別可能である深度点が存在する場合、潜在的ジェスチャが識別される。そうではない場合、さらなる処理が、行われる必要はない。
いくつかの実施形態では、本タイプの深度点の線処理は、非常に低密度であり得る。おそらく、５０個の点が、比較的に迅速に取得される。当然ながら、異なる種類の線系列も、採用されることができる。例えば、下側を横断する平坦線に加え、またはその代わりに、より小さい対角線が、手／腕が存在し得る面積において使用される面積で採用される。
任意の好適な深度サンプリングパターンが、採用され、好ましくは、ジェスチャを検出する際に最も効果的であるものを選択してもよい。いくつかの実施形態では、信頼度向上深度マップが、得られ、検出された潜在的に有効であるジェスチャ深度点は、その点から埋めていき、潜在的手または腕を区画化し、次いで、識別されたオブジェクトが実際に手または腕であるかどうかをチェックするためにさらにフィルタ処理されるために使用される。別の信頼性向上が、例えば、手の鮮明な深度マップを得て、次いで、画像内の手からセンサに反射された光の量をチェックすることによって行われることができ、量の光の量が多いほど、より高い信頼性レベルに対応する。
深度データから、カスケード表示し、即時／高速処理１３５３０を行うことができ、例えば、画像データは、ジェスチャの非常に高速認識に適している。これは、非常に単純ジェスチャおよび／または手／指位置に最良に機能する。
多くの場合、より深い処理が、深度マップを拡張するために行われる必要がある１３５２２。例えば、あるタイプの深度拡張は、深度変換をデータに行うことである。あるタイプの拡張は、境界、重心等の規定された点集合からの測地距をチェックすることである。例えば、表面場所から、マップ上の種々の点までの距離の決定が行われる。これは、例えば、指の先端（指の端部を見つけることによって）まで最も遠い点を見つけることを試みる。点集合は、境界（例えば、手の輪郭）または重心（例えば、統計的質量中心場所）からであってもよい。
表面正規化もまた、計算されてもよい。加えて、曲率もまた、推定されてもよく、これは、輪郭が旋回する速度を識別する（例えば、フィルタ処理プロセスを行い、点を検討し、凹面点を指から除去することによって）。いくつかの実施形態では、配向正規化が、データに行われてもよい。例証するために、手の所与の画像が、異なる位置における手とともに捕捉され得ることを検討する。しかしながら、分析は、正準位置における手の画像データを予期し得る。本状況では、図１３５Ｅに１３５７０として示されるように、マップされたデータは、再配向され、正規化／正準手位置に変化してもよい。
いくつかの実施形態における有利なアプローチの１つは、背景減算をデータに行うことである。多くの場合、既知の背景が、場面内に存在する、例えば、背景壁のパターンである。本状況では、分析されるべきオブジェクトのマップは、背景画像データを除去することによって向上されることができる。本プロセス１３５８０の実施例は、図１３５Ｆに示され、図１３５Ｆの左部分は、いくつかの背景画像データにわたる手の画像を示す。図１３５Ｆの右側部分は、背景を画像から除去し、鮮明度および焦点が増加した拡張手データを残す結果を示す。
深度比較もまた、画像内の点に行われ、手に関する具体的点を識別してもよい（背景非手データとは対照的に）。例えば、図１３５Ｇの１３５９０に示されるように、第１の点Ａは、第１の深度に位置し、第２の点Ｂは、有意に異なる第２の深度に位置するように見られ得る。本状況では、これらの２つの点の深度の差異は、２つの点が異なるオブジェクトに属する可能性が高いことを非常に明白にする。したがって、手の深度が点Ａと同一深度値にあることを把握する場合、点Ａが手の一部であると結論付けることができる。一方、点Ｂに関する深度値は、手の深度と同一ではないため、点Ｂは手の一部ではないと容易に結論付けることができる。
本時点では、一連の分析段階が、深度マップに行われる。任意の数の分析段階が、データに適用されることができる。本実施形態は、３つの段階（例えば、１３５２４、１３５２６、および１３５２８等）を示すが、当業者は、任意の他のいくつかの段階（より少ないか、またはより多いかのいずれか）が、本発明が適用される用途に対する必要に応じて、使用されてもよいことを容易に理解するであろう。
本実施形態では、段階１分析１３５２４は、分類機構を使用してデータに行われる。例えば、深層神経網または分類化／決定森が、分析における一連のはい／いいえ決定を適用し、マッピング内の異なる点に対する手の異なる部分を識別するために使用されることができる。これは、例えば、特定の点が、手のひら部分、手の背面、非親指、親指、指先端、および／または指関節に属するかどうかを識別する。任意の好適な分類子が、本分析段階のために使用されることができる。例えば、深層学習モジュールまたは神経ネットワーク機構が、分類化森の代わりに、またはそれに加え、使用されることができる。加えて、回帰森（例えば、ハフ変換等を使用する）が、分類化森に加え、使用されることができる。
次の分析段階（段階２）１３５２６は、マッピングデータをさらに分析するために使用されることができる。例えば、分析が、特に、関節場所を識別する、または骨格化をデータに行うために行われることができる。図１３５Ｈは、骨格化の例証１３５９５を提供し、手データのオリジナルマップが、手内の骨／関節の場所を識別し、手／手骨格のあるタイプの「棒線」図モデルをもたらすために使用される。本タイプのモデルは、鮮明度を伴って、指の場所ならびに手構成要素の具体的配向および／または構成の非常に区別できるビューを提供する。標識化もまた、本段階において、手の異なる部分に適用されてもよい。
本時点では、データは、現時点で、任意のさらなる分析を要求することなく、下流アプリケーション１３５３４によって直接消費可能であることが可能である。これは、例えば、下流アプリケーション自体が、付加的分析／計算をモデルデータに行うために論理を含む場合、生じ得る。加えて、システムはまた、随意に、カスケード表示し、即時／高速処理１３５３２を行うことができ、例えば、データは、（１）拳ジェスチャ、（２）開放手のひらジェスチャ、（３）指銃ジェスチャ、（４）挟む等のジェスチャの非常に高速認識に適している。例えば、図１３５Ｉの１３５９８に示されるように、手マッピング上の種々の点（例えば、延在された親指上の点および延在された人差し指の点）は、指示ジェスチャを即時に識別するために使用されることができる。出力は、次いで、世界エンジン１３５３６に進み、例えば、アクションを認識されたジェスチャに行うであろう。
加えて、より深い処理が、段階３分析において行われることができる。これは、例えば、深層神経ネットワークまたは決定森／木を使用して、ジェスチャを分類することを伴うことができる。本付加的処理は、ジェスチャを識別する、手姿勢を決定する、文脈依存性を識別する、および／または必要に応じた任意の他の情報のために使用されることができる。
以前の／制御情報は、説明されるステップのいずれかに適用され、処理を最適化することができる。これは、その処理の段階で行われる分析アクションのためのあるバイアス化を可能にする。例えば、ゲーム処理のために、ゲームで行われた以前のアクションは、前の手位置／姿勢に基づいて、分析をバイアス化するために使用されることができる。加えて、混同行列が、分析をより正確に行うために使用されることができる。
前述のジェスチャ認識の原理を使用して、ＡＲシステムは、ユーザのＦＯＶカメラから集められた視覚的入力を使用して、所定のコマンドまたはアクションに関連付けられ得る種々のジェスチャを認識してもよい。ここで図１３５Ｊのフロー図１３５２１を参照すると、ステップ１３５０３では、ＡＲシステムは、上記で詳細に論じられたように、ジェスチャを検出してもよい。前述のように、ステップ１３５０５において、指の移動またはトーテムの移動は、マッピングデータベースと比較され、所定のコマンドを検出してもよい。ステップ１３５０７では、ＡＲシステムがステップ１３５０５におけるマッピングに基づいてコマンドを認識するかどうかの決定が行われる。
コマンドが検出される場合、ＡＲシステムは、ステップ１３５０７において、ジェスチャに基づいて、所望のアクションおよび／または所望の仮想コンテンツを決定する。ジェスチャまたはトーテムの移動が、任意の既知のコマンドに対応しない場合、ＡＲシステムは、単に、他のジェスチャまたは移動を検出するために、ステップ１３５０３に戻る。
ステップ１３５０９では、ＡＲシステムは、コマンドを満たすために必要なアクションのタイプを決定する。例えば、ユーザは、アプリケーションをアクティブ化することを所望し得る、ページをめくることを所望し得る、ユーザインターフェースを生成することを所望し得る、別の物理場所に位置する友人に接続することを所望し得る等が考えられる。所望のアクション／仮想コンテンツに基づいて、ＡＲシステムは、ステップ１３５１１において、情報をクラウドサーバから読み出すかどうか、またはアクションがユーザデバイス上のローカルリソースを使用して行われ得るかどうかを決定する。
例えば、ユーザが、単に、仮想書籍のページをめくることを所望する場合、関連データは、すでにダウンロードされている場合がある、またはローカルデバイス上に全体として常駐する場合があり、その場合、ＡＲシステムは、単に、次のページに関連付けられたデータを読み出し、次のページをユーザに表示する。同様に、ユーザが、ユーザが空間の中央に絵を描くように、ユーザインターフェースを作成することを所望する場合、ＡＲシステムは、単に、クラウドからのデータを要求せず、仮想描画表面を所望の場所に生成してもよい。多くのアプリケーションおよび能力に関連付けられたデータが、ユーザデバイスが、不必要にクラウドに接続する、またはパス可能世界モデルにアクセスする必要がないように、ローカルデバイス上に記憶されてもよい。したがって、所望のアクションが、ローカルで行われることができる場合、ローカルデータは、検出されたジェスチャに対応する仮想コンテンツを表示するために使用されてもよい（ステップ１３５１３）。
代替として、ステップ１３５１５では、システムが、データをクラウドまたはパス可能世界モデルから読み出す必要がある場合、システムは、アクションが行われ得るように、または仮想コンテンツが適切にユーザに表示され得るように、要求をクラウドネットワークに送信し、適切なデータを読み出し、それをローカルデバイスに返信してもよい。例えば、ユーザが、別の物理場所における友人に接続することを所望する場合、ＡＲシステムは、適宜、ローカルユーザデバイスにレンダリングするために、パス可能世界モデルにアクセスし、物理形態の友人に関連付けられた必要データを読み出す必要があり得る。
したがって、ユーザのＡＲシステムとの相互作用に基づいて、ＡＲシステムは、ユーザによる所望に応じて、多くのタイプのユーザインターフェースを作成してもよい。以下は、前述の例示的プロセスに類似する方式で作成され得る、ユーザインターフェースのいくつかの例示的実施形態を表す。前述のプロセスは、例証目的のために簡略化されており、他の実施形態が、所望のユーザインターフェースに基づいて、付加的ステップを含んでもよいことを理解されたい。以下の議論は、ＡＲシステムの付加的アプリケーションの集合を詳述する。
（ＵＩハードウェア）
ＡＲシステムは、物理オブジェクトに結び付けられる、圧力および／または振動の感覚を提供する、疑似触知手袋を採用してもよい。触覚効果は、例えば、手を泡に通すことに類似し得る。
ＡＲシステムは、物理オブジェクトに結び付けられる、圧力および／または振動の感覚を提供する、疑似触知手袋を採用してもよい。触覚効果は、例えば、手を泡に通すことに類似し得る。
振動が、指上に導入される場合、ユーザは、その振動をテクスチャとして解釈するであろう。疑似触知手袋は、硬質物理オブジェクト、軟質物理オブジェクト、および曖昧な物理オブジェクトの感触を複製する、触感を提供してもよい。疑似触知手袋は、選択的に、圧力および振動の両方の感覚を生成する。
例えば、空間内を浮遊する無質量オブジェクト（例えば、泡）が存在する場合、ユーザは、無質量オブジェクトにタッチする触感を感じることが可能であり得る。ユーザは、仮想オブジェクトをタッチする触感を、例えば、堅さ指向感覚ではなく、テクスチャ指向感覚に変化させることができる。例えば、ユーザが手を泡を通して通過させる場合、ユーザは、ある触感を感じ得るが、ユーザは、物理オブジェクトを把持する感覚を感じないであろう。触感を提供する類似アプローチは、ＡＲシステムの他の装着式部分または構成要素に実装されてもよい。手袋および／または他の構成要素は、種々の異なるアクチュエータ、例えば、圧電アクチュエータを使用してもよい。
したがって、ユーザは、タッチ無質量仮想オブジェクトを直接タッチ可能であるかのように感じ得る。例えば、仮想オブジェクトが、テーブルに位置する場合、触知手袋に対応する一貫したＵＸ要素が、ユーザに固有受容触覚相互作用を提供してもよい。例えば、ユーザは、ドアに近接する特定の取っ手を把持または握持してもよい。取っ手を仮想オブジェクトのための座標フレームとして使用することは、ユーザに非常に直感的であり得る。これは、ユーザが、物理物を取り上げ、実際に、触覚プロキシ取っ手を通して物理感覚を感じることを可能にする。
個々のＡＲシステムの頭部装着式構成要素はまた、イヤホンまたはイヤーバズが、ユーザの耳に近接して、その上、またはその中に位置付けられるとき、それを検出するためのセンサを含んでもよい。ＡＲシステムは、多種多様なセンサ、例えば、容量センサ、圧力センサ、電気抵抗センサ等のいずれかを使用してもよい。定位置におけるイヤホンまたはイヤーバズの検出に応答して、ＡＲシステムは、イヤホンまたはイヤーバズを介して、音をルーティングしてもよい。定位置におけるイヤホンまたはイヤーバズの検出の失敗に応答して、ＡＲシステムは、従来の独立型スピーカを通して、音をルーティングしてもよい。
加えて、ＡＲシステムは、複合カメラを採用してもよい。複合カメラは、可撓性基板、例えば、可撓性印刷回路基板上に搭載される、またはそれによって担持される、複数のチップレベルカメラを備えてもよい。可撓性基板は、埋込用樹脂で修正および／または再構成され、本質的に、単一広角レンズを形成してもよい。
例えば、小型カメラが、ウエハレベル技術を使用する、層アプローチを用いて構築されてもよい。例えば、複数のビデオグラフィックアレイ（ＶＧＡ）パッドが、これらのカメラを通信可能に結合するために、可撓性基板上に形成されてもよい。カメラを伴う可撓性基板は、アンビルにわたって伸展され、例えば、接着剤を介して、固定されてもよい。これは、約６０度または７０度の光学的に広視野を有する、安価なＶＧＡカメラの集合を提供する。
有利には、平坦プロセスが、採用されてもよく、可撓性基板は、アンビルにわたって伸展されてもよい。得られた構造は、ピクセル数画質の観点から均等物であるが、重複または非重複視野を伴う、広視野カメラを提供する。複数の２つまたは３つの要素ウエハのレベルのカメラは、依然として、広視野カメラと同一視野を達成しながら、５つのまたは６つの要素を有する具体的広視野レンズに取って代わることができる。
（ユーザインターフェース）
以下の種々の実施形態に説明されるように、ＡＲシステムは、多くのタイプのユーザインターフェースを作成してもよい。以下に説明される実施形態のいくつかでは、ＡＲシステムは、ユーザの場所およびタイプの基準フレームユーザインターフェースが動作し得るタイプに基づいて、ユーザインターフェースを作成する。例えば、いくつかのユーザインターフェース（例えば、以下の図８５Ａ−８５Ｃ）は、身体中心ユーザインターフェースであって、その場合、ＡＲシステムは、ユーザの場所の中心（例えば、臀部、腰部等）を決定し、その基準フレームに基づいて、仮想インターフェースを投影してもよい。他のユーザインターフェースは、頭部中心基準フレーム、手中心基準フレーム等に基づいて作成される。さらに、ＡＲシステムは、前述のジェスチャ追跡および／またはトーテム追跡の原理を利用して、また、いくつかのユーザインターフェースを作成し、および／またはそれと相互作用してもよい。
以下の種々の実施形態に説明されるように、ＡＲシステムは、多くのタイプのユーザインターフェースを作成してもよい。以下に説明される実施形態のいくつかでは、ＡＲシステムは、ユーザの場所およびタイプの基準フレームユーザインターフェースが動作し得るタイプに基づいて、ユーザインターフェースを作成する。例えば、いくつかのユーザインターフェース（例えば、以下の図８５Ａ−８５Ｃ）は、身体中心ユーザインターフェースであって、その場合、ＡＲシステムは、ユーザの場所の中心（例えば、臀部、腰部等）を決定し、その基準フレームに基づいて、仮想インターフェースを投影してもよい。他のユーザインターフェースは、頭部中心基準フレーム、手中心基準フレーム等に基づいて作成される。さらに、ＡＲシステムは、前述のジェスチャ追跡および／またはトーテム追跡の原理を利用して、また、いくつかのユーザインターフェースを作成し、および／またはそれと相互作用してもよい。
以下に説明されるユーザインターフェースの各々は、いくつかの差異を有するが、主に、いくつかの共通原理を使用して機能する。ユーザが選定するユーザインターフェースを表示するために、ＡＲシステムは、世界（例えば、世界座標フレーム）内のユーザの場所を決定しなければならない。例えば、ユーザの場所は、前述の位置特定技法（例えば、ＧＰＳ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、トポロジマップ、ユーザのＡＲシステムに関連するマップ点等）のいずれかを通して決定されてもよい。いったん世界座標フレーム内のユーザの場所が決定されると、ユーザのＡＲシステムに関係してユーザの手／指等間の関係が、決定されてもよい。例えば、ユーザが、所定のリング型ベースのユーザインターフェース（例えば、図８５Ａ−８５Ｃ等）を選択した場合、ユーザのＡＲシステムと身体中心基準フレームとの間の関係が、決定されてもよい。
例えば、図８５Ａ−８５Ｃの身体中心ユーザインターフェースは、ユーザの臀部の座標に基づいて決定されてもよい。ユーザの臀部の位置は、ＡＲシステムによって収集されるデータに基づいて決定されてもよい。言い換えると、ＡＲシステムの種々のセンサ（例えば、カメラ、センサ等）は、ユーザの臀部の座標（例えば、世界座標系内）を決定するのに役立ち得る。本決定された場所は、ユーザインターフェースの原点座標（０，０，０）として設定されてもよい。
原点座標を決定すると、仮想ユーザインターフェースは、ユーザが移動するにつれて、仮想ユーザインターフェースがユーザの身体とともに移動するように、決定されたユーザの臀部の場所に基づいてレンダリングされてもよい（例えば、図８５Ａ−８５Ｃのリング型ユーザインターフェースは、ユーザの身体の周囲に留まる）。１つ以上の実施形態では、種々の事前構成されるユーザインターフェースは、適切なユーザインターフェースがデータベースから読み出されるように、ユーザインターフェースデータベース内に記憶されてもよい。
記憶されたユーザインターフェースプログラムは、仮想ユーザインターフェースの種々の部分が原点座標に関係して表示されなければならない座標を含む、ユーザインターフェースについての特性および／またはパラメータの集合を備えてもよい。例えば、２ピクセルのみを有する非常に単純なユーザインターフェースでは、原点臀部座標に関係して表示されるべきピクセルの座標が、定義されてもよい。特定のユーザインターフェースが選択されると、ユーザインターフェースデータは、データベースから読み出されてもよく、種々の平行移動ベクトルが、世界座標を決定するために、ピクセル座標に適用されてもよい。言い換えると、記憶されるユーザインターフェースプログラムの各々は、特定の基準フレームに関係して事前定義されてもよく、本情報は、特定のユーザインターフェースをレンダリングすべき場所を決定するために使用されてもよい。以下に説明されるユーザインターフェースの大部分は、本基本原理に基づいて機能することを理解されたい。前述の実施例は、２ピクセルのみを使用する概念を例証するが、仮想ユーザインターフェースの全ピクセルに対する適切な座標が、関連平行移動および／または回転が適用され得るように、同様に定義されてもよいことを理解されたい。
別の実施例では、例えば、ユーザインターフェースは、ユーザのジェスチャの場所に表示されなければならない。以下の多くの実施形態に示されるように、いくつかのユーザインターフェースは、ユーザインターフェースがユーザによって定義された空間内の特定の点において生じるように、単に、「オンザフライで」作成されてもよい。前述のような類似位置特定概念が、この場合の同様に使用されてもよい。
例えば、ユーザが、その腕を空間内で伸ばし、その指で特定のジェスチャを行い、ＡＲシステムに、ユーザインターフェースがその場所において取り込まれるべきであることを示してもよい。この場合、前述と同様に、世界内のＡＲシステムの場所は、把握される（例えば、ＧＰＳ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、トポロジマップ等）。ＡＲシステムの種々のセンサおよび／またはカメラは、ＡＲシステムに関係するユーザの場所のジェスチャを決定してもよい（例えば、ユーザインターフェースを生成するためのコマンドが意味するジェスチャを認識した後）。
前述のように、いったんＡＲシステムカメラまたはセンサに関係するジェスチャの場所が決定されると、いくつかの三角測量技法が、使用され（例えば、平行移動ベクトル等）、その場所の世界座標を決定してもよい。いったん場所の世界座標が決定されると、所望のユーザインターフェースが、その特定の場所において生じるように生成され得る。
以下に説明されるユーザインターフェースのうちのいくつかにおける別のテーマは、いくつかの仮想コンテンツのための基準フレームが、現在第１の基準フレームに結び付けられている仮想コンテンツが別の基準フレームに結び付けられるように修正されてもよいことである。以下に説明されるいくつかの実施形態において明白であるように、ユーザは、手中心ユーザインターフェースを通してアプリケーションを開いてもよい。アプリケーションは、ユーザが将来における容易な視認のために記憶することを所望し得る、友人のプロファイルページを開いてもよい。１つ以上の実施形態では、ユーザは、プロファイルページに対応する仮想オブジェクトまたは仮想ボックス（現在、手中心基準フレームに関係して表示されている）を取り上げ、もはや手中心基準フレームに結び付けられず、代わりに、世界中心基準フレームに結び付けられるように、それを修正してもよい。
例えば、ＡＲシステムは、ユーザのジェスチャ（例えば、投げるジェスチャ、アプリケーションを取り上げ、それを第１の基準フレームから離して置くジェスチャ等）を認識し、システムに、ＡＲユーザが特定の仮想オブジェクトの基準フレームを修正することを所望することを示してもよい。いったんジェスチャが認識されると、ＡＲシステムは、仮想コンテンツの世界座標（例えば、世界内のＡＲシステムの既知の場所に関係する仮想コンテンツの場所に基づいて）を決定し、もはや手中心基準フレームに結び付けられておらず、代わりに、世界座標基準フレームに結び付けられるように、仮想コンテンツの１つ以上のパラメータ（例えば、原点座標フィールド等）を修正してもよい。
さらに別の実施形態では、ＡＲシステムは、特定の仮想アイコンが選択されたことを認識し、ユーザの手とともに移動しているように見えるように（例えば、ユーザが特定の仮想アプリケーションを保持しているかのように等）、仮想アイコンを移動させなければならない。この目的を達成するために、ＡＲシステムは、最初に、ジェスチャ（例えば、ユーザの指で把持する運動等）を認識し、次いで、ユーザの指／手の座標を決定してもよい。同様に、仮想アイコンの世界座標もまた、前述のように、把握される（例えば、特定の基準フレームに関係する仮想コンテンツの既知の場所および基準フレームと世界中心基準フレームとの間の既知の関係を通して）。両座標が把握されるため、仮想コンテンツは、ユーザの指の移動を鏡映するように移動され得る。
以下の種々の実施形態に説明されるように、ユーザの周囲の任意の空間が、ユーザがシステムと相互作用し得るように、ユーザインターフェースに変換されてもよい。したがって、ＡＲシステムは、マウス／キーボード等の物理ユーザインターフェースを要求せず（但し、トーテムは、前述のように、基準点として使用されてもよい）、代わりに、仮想ユーザインターフェースが、任意の場所に、任意の形態で作成され、ユーザがＡＲシステムと相互作用するのに役立ち得る。一実施形態では、種々の仮想ユーザインターフェースの所定のモデルまたはテンプレートが存在してもよい。前述のように、設定の間、ユーザは、好ましいタイプ（または複数のタイプ）の仮想ＵＩ（例えば、身体中心ＵＩ、頭部−中心ＵＩ、手中心ＵＩ等）を指定してもよい。
代替として、または加えて、種々のアプリケーションは、その独自のタイプの仮想ＵＩに関連付けられてもよい。代替として、または加えて、ユーザは、ＵＩをカスタマイズし、最も快適となり得るものを作成してもよい。例えば、ユーザは、単に、その手の運動を使用して、仮想ＵＩを空間内に「描写」してもよく、種々のアプリケーションまたは機能性は、自動的に、描写される仮想ＵＩを取り込んでもよい。
図１４０を先に参照すると、ユーザインターフェースを表示する例示的フロー図が、図示される。ステップ１４００２では、ＡＲシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって事前定義されてもよい。システムは、少なくとも部分的にユーザ入力（例えば、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド等）に基づいて、取り込まれるＵＩの必要性を識別してもよい。ステップ１４００４では、ＡＲシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの制約、一般的構造、形状等に関連付けられたデータが、生成されてもよい。加えて、ＡＲシステムは、ＡＲシステムがユーザの物理場所に関係してＵＩを表示し得るように、ユーザの物理場所のマップ座標を決定してもよい。例えば、ＵＩが身体中心である場合、ＡＲシステムは、リング型ＵＩがユーザの周囲に表示され得るように、ユーザの物理姿勢の座標を決定してもよい。または、ＵＩが手中心である場合、ユーザの手のマップ座標が、決定される必要があり得る。これらのマップ点は、ＦＯＶカメラ、感覚入力、または任意の他のタイプの収集されるデータを通して受信されたデータを通して導出されてもよいことを理解されたい。
ステップ１４００６では、ＡＲシステムは、データをユーザデバイスにクラウドから送信してもよい。他の実施形態では、データは、ローカルデータベースからディスプレイ構成要素に送信されてもよい。ステップ１４００８では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。
いったん仮想ＵＩが作成されると、ＡＲシステムは、ステップ１４０１０において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想ＵＩ上に生成してもよい。例えば、ＵＩは、ユーザの身体の周囲における身体中心リングであってもよい。ＡＲシステムは、次いで、コマンドを待機してもよく、認識される場合（ステップ１４０１２）、コマンドに関連付けられた仮想コンテンツが、ユーザに表示されてもよい。
ここで図１４１を参照すると、ユーザインターフェースの表示を説明するより具体的フロー図１４１００が、説明される。１４１０２では、ＡＲシステムは、所望の仮想ＵＩに関する入力を受信してもよい。例えば、ＡＲシステムは、検出されたジェスチャ、音声コマンド等を通して、これを検出してもよい。１４１０４では、ＡＲシステムは、ユーザ入力に基づいて、ＵＩのライブラリからＵＩを識別し、ＵＩを表示するために、必要データを読み出してもよい。
１４１０６では、ＡＲシステムは、識別されたＵＩに関連付けられた座標フレームまたは基準フレーム系を決定してもよい。例えば、前述のように、いくつかのＵＩは、頭部中心であってもよく、その他は、手中心、身体中心等であってもよい。１４１０８では、いったん座標フレームタイプが決定されると、ＡＲシステムは、仮想ユーザインターフェースがユーザの場所に対して表示されなければならない場所を決定する。例えば、識別されたＵＩが身体中心ＵＩである場合、ＡＲシステムは、ユーザの身体の中心軸／点の場所（例えば、世界座標フレーム内のユーザの場所）を決定してもよい（例えば、マップ点、位置特定技法等）。
いったん本点／軸が位置特定されると、座標フレームの原点（例えば、ｘ、ｙ、ｚ座標フレーム内の（０，０，０））として設定され得る（１４１１０）。言い換えると、仮想ＵＩが表示されるべき場所は、決定された座標フレーム（例えば、ユーザの身体の中心）を参照して決定されるであろう。いったんユーザの身体の中心が決定されると、仮想ＵＩが取り込まれなければならない場所を決定するために、計算が行われ得る（１４１１２）。１４１１４では、所望のＵＩは、決定されたマップ点に取り込まれ得る。
前述の他の実施形態では、カスタマイズされた仮想ユーザインターフェースは、単に、ユーザの指の場所に基づいて、オンザフライで作成されてもよい。例えば、前述のように、ユーザは、単に、仮想境界を「描写」してもよく、ユーザインターフェースは、その仮想境界内に取り込まれてもよい。ここで図１４２を参照すると、例示的フロー図１４２００が、図示される。
ステップ１４２０２では、ＡＲシステムは、ユーザの指または手の移動を検出する。本移動は、ユーザがユーザインターフェースを作成することを所望することを示す所定のジェスチャであってもよい（ＡＲシステムは、例えば、ジェスチャを所定のジェスチャのマップと比較してもよい）。本検出に基づいて、ＡＲシステムは、ステップ１４２０４において、ジェスチャを有効ジェスチャとして認識してもよい。ステップ１４２０６では、ＡＲシステムは、クラウドサーバを通して、ユーザの指または手の移動に伴って、仮想ＵＩを正しい場所にリアルタイムで表示するために、世界座標フレーム内のユーザの指／手の位置に関連付けられた場所を読み出してもよい。
ステップ１４２０８では、ＡＲシステムは、ユーザのジェスチャを鏡映するＵＩを作成する。これは、ユーザの指に関連付けられた場所を識別し、ユーザインターフェースをその場所に表示することによって行われてもよい。ステップ１４２１０では、ＵＩは、決定された場所を使用して、リアルタイムで正しい位置に表示され得る。
ＡＲシステムは、次いで、システムに、ユーザインターフェースの作成が行われることを示す、指の別の移動または別の所定のジェスチャを検出してもよい（ステップ１４２１２）。例えば、ユーザは、その指の運動を停止し、ＡＲシステムに、ＵＩの「描写」の停止を示してもよい。ステップ１４２１４では、ＡＲシステムは、ＵＩをユーザの指の移動によって描写される境界内の場所に表示する。したがって、カスタムユーザインターフェースが、作成され得る。
ジェスチャ追跡／ＵＩ作成等の原理を使用して、いくつかの例示的ユーザアプリケーションが、ここで説明される。以下に説明されるアプリケーションは、いくつかの実施形態では、システム上に別個にインストールされ得る、ハードウェアおよび／またはソフトウェア構成要素を有してもよい。他の実施形態では、システムは、種々の産業等において使用されてもよく、以下の実施形態のうちのいくつかを達成するために修正されてもよい。
以下に説明される特定の実施形態は、多くの場合、ジェスチャを使用して、ＡＲシステムと通信するが、前述の任意の他のユーザ入力も同様に、使用されてもよいことを理解されたい。例えば、ジェスチャに加え、ユーザインターフェースおよび／または他の仮想コンテンツ（例えば、アプリケーション、ページ、ウェブサイト等）が、音声コマンド、直接入力、トーテム、視線追跡入力、眼追跡入力、または上記で詳細に論じられる任意の他のタイプのユーザ入力に応答して、レンダリングされてもよい。
以下のセクションは、ＡＲシステムを通して表示され、ユーザと相互作用することを可能にし得る、ユーザインターフェースの種々の実施形態を提供する。ここで図８５Ａを参照すると、図８５Ａは、例証される実施形態の１つによる、ＡＲシステム（図８５Ａ−８５Ｃには図示せず）によってレンダリングされたユーザインターフェース構造物８５００とのジェスチャを介して相互作用するユーザを示す。
特に、図８５Ａは、種々のユーザ選択可能仮想アイコンを有する、略環状レイアウトまたは構成の仮想ユーザインターフェース８５１２と相互作用するユーザのシナリオ８５００を示す。略環状レイアウトまたは構成は、図７９Ｅに図示されるものに実質的に類似する。
ユーザ選択可能仮想アイコンは、アプリケーション（例えば、ソーシャルメディアアプリケーション、ウェブブラウザ、電子メール等）、機能、メニュー、仮想部屋、または仮想空間等を表してもよい。ユーザは、例えば、スワイプジェスチャを行ってもよい。ＡＲシステムは、スワイプジェスチャを検出し、スワイプジェスチャを略環状レイアウトまたは構成のユーザインターフェースをレンダリングするための命令として解釈する。ＡＲシステムは、次いで、例証される実施形態に示されるように、ユーザの腕の範囲内にある距離にユーザから離間されて、少なくとも部分的にユーザを囲繞するように見えるように、略環状レイアウトまたは構成の仮想ユーザインターフェース８５１２をユーザの視野にレンダリングする。前述のように、ユーザインターフェース座標は、ユーザの身体に結び付けられるように、決定されたユーザの中心の場所に結び付けられてもよい。
図８５Ｂは、別の例証される実施形態による、ＡＲシステム（図８５Ｂには図示せず）によってレンダリングされたユーザインターフェース仮想構造物８５１２とジェスチャを介して相互作用するユーザの別のシナリオ８５０２を示す。
略環状レイアウトまたは構成の仮想ユーザインターフェース８５１２は、種々のユーザ選択可能仮想アイコンをスクロール可能形態で提示してもよい。ユーザは、例えば、手の掃引運動を用いてジェスチャし、種々のユーザ選択可能仮想アイコンをスクロールさせてもよい。例えば、ユーザは、それぞれ、左（例えば、反時計回り）または右（例えば、時計回り）方向にスクロールを生じさせるために、掃引運動をユーザの左またはユーザ右に行ってもよい。
ユーザは、例えば、指示またはタッチジェスチャを行い、ユーザ選択可能仮想アイコンのうちの１つを近位に識別してもよい。ＡＲシステムは、指示またはタッチジェスチャを検出し、指示またはタッチジェスチャを対応するアプリケーション、機能、メニュー、または仮想部屋もしくは仮想空間を開くまたは実行する命令として解釈する。ＡＲシステムは、次いで、ユーザ選択に基づいて、適切な仮想コンテンツをレンダリングする。
図８５Ｃは、さらに別の例証される実施形態による、ＡＲシステム（図３９Ｃには図示せず）によってレンダリングされたユーザインターフェース仮想構造物８５１２とジェスチャを介して相互作用するユーザのさらに別のシナリオ８５０４を示す。
図８５Ｃは、図８５Ａおよび８５Ｂの種々のユーザ選択可能仮想アイコンの略環状レイアウトまたは構成の仮想ユーザインターフェース８５１２と相互作用するユーザを示す。特に、ユーザは、ユーザ選択可能仮想アイコンのうちの１つを選択する。それに応答して、ＡＲシステムは、対応するアプリケーション、機能、メニュー、または仮想部屋もしくは仮想空間を開くまたは実行する。例えば、ＡＲシステムは、図８５Ｃに図示されるように、対応するアプリケーション８５１４のための仮想ユーザインターフェースをレンダリングしてもよい。代替として、ＡＲシステムは、ユーザ選択に基づいて、対応する仮想部屋または仮想空間をレンダリングしてもよい。
ここで図８６Ａを参照すると、図８６Ａは、例証される実施形態の１つによる、ＡＲシステム（図８６Ａには図示せず）によってレンダリングされたユーザインターフェース仮想構造物８６１２とジェスチャを介して相互作用するユーザのシナリオ８６０２を示す。
特に、図８６Ａは、物理環境における空間内にホバリングするまたは物理環境の壁等の物理表面に懸架もしくは糊付された新しい仮想作業ポータルまたは構造物を作成するためのジェスチャを行うユーザを示す。ユーザは、例えば、図８６Ａに示されるように、２つの腕のジェスチャを行う、例えば、中心点から仮想作業ポータルまたは構造物の左上および右下角を表す場所に外向きにドラッグしてもよい。仮想作業ポータルまたは構造物８６１２は、例えば、長方形として表されてもよく、ユーザジェスチャは、仮想作業ポータルまたは構造物の位置だけではなく、また、寸法も確立する。
仮想作業ポータルまたは構造物８６１２は、他の仮想コンテンツ、例えば、アプリケーション、機能、メニュー、ツール、ゲーム、および仮想部屋または仮想空間へのアクセスを提供してもよい。ユーザは、いったん仮想作業ポータルまたは構造物が作成または開かれると、ナビゲートするための種々の他のジェスチャを採用してもよい。
図８６Ｂは、例証される実施形態の１つによる、ＡＲシステム（図８６Ｂには図示せず）によってレンダリングされたユーザインターフェース仮想構造物８６１４とのジェスチャを介して相互作用するユーザの別のシナリオ８６０４を示す。
特に、図８６Ｂは、トーテムとしての役割を果たす、物理オブジェクトの物理表面８６１４上に新しい仮想作業ポータルまたは構造物を作成するためのジェスチャを行うユーザを示す。ユーザは、例えば、２つの指のジェスチャ、例えば、中心点から仮想作業ポータルまたは構造物の左上および右下角が位置すべき場所に外向きドラッグする、挟んだ状態を広げるジェスチャを行ってもよい。仮想作業ポータルまたは構造物は、例えば、長方形として表されてもよく、ユーザジェスチャは、仮想作業ポータルまたは構造物の位置だけではなく、また、寸法も確立する。
図８６Ｃは、例証される実施形態の１つによる、ＡＲシステム（図８６Ｃには図示せず）によってレンダリングされたユーザインターフェース仮想構造物８６１６とジェスチャを介して相互作用するユーザの別のシナリオ８６０６を示す。
特に、図８６Ｃは、物理テーブルまたは机の上側表面等の物理表面上に新しい仮想作業ポータルまたは構造物８６１６を作成するためのジェスチャを行うユーザを示す。ユーザは、例えば、中心点から仮想作業ポータルまたは構造物の左上および右下角が位置すべき場所に外向きドラッグする、例えば、２つの腕のジェスチャを行ってもよい。仮想作業ポータルまたは構造物は、例えば、長方形として表されてもよく、ユーザジェスチャは、仮想作業ポータルまたは構造物の位置だけではなく、また、寸法も確立する。
図８６Ｃに図示されるように、具体的アプリケーション、機能、ツール、メニュー、モデル、または仮想部屋もしくは仮想空間が、具体的物理オブジェクトまたは表面に割り当てられる、または関連付けられることができる。したがって、定義された物理構造または物理表面上もしくはそれに近接して行われるジェスチャに応答して、ＡＲシステムは、自動的に、物理構造または物理表面に関連付けられたそれぞれのアプリケーション８６１８（または、例えば、機能、ツール、メニュー、モデル、または仮想部屋もしくは仮想空間）を開き、ユーザインターフェースをナビゲートする必要性を排除する。前述のように、仮想作業ポータルまたは構造物は、他の仮想コンテンツ、例えば、アプリケーション、機能、メニュー、ツール、ゲーム、３次元モデル、および仮想部屋または仮想空間へのアクセスを提供してもよい。ユーザは、いったん仮想作業ポータルまたは構造物が作成または開かれると、ナビゲートするための種々の他のジェスチャを採用してもよい。
図８７Ａ−８７Ｃは、例証される実施形態の１つによる、それぞれ、ＡＲシステム（図８７Ａ−８７Ｃには図示せず）によってレンダリングされた種々のユーザインターフェース仮想構造物とジェスチャを介して相互作用するユーザのシナリオ８７０２、８７０４、および８７０６を示す。
ユーザインターフェースは、直接入力またはプロキシ入力として表される、少なくとも２つの別個のタイプのユーザ相互作用の一方または両方を採用してもよい。直接入力は、従来のドラッグアンドドロップタイプユーザ相互作用に対応し、ユーザは、例えば、ポインティングデバイス（例えば、マウス、トラックボール、指）を用いて、仮想コンテンツのインスタンスのアイコン化を選択し、選択されたアイコンを標的（例えば、フォルダ、例えば、アプリケーションの他のアイコン化）にドラッグする。
プロキシ入力は、ユーザの眼で具体的アイコン化を注視またはそれに焦点を当て、次いで、例えば、トーテムを介して、ある他のアクション（例えば、ジェスチャ）を実行することによって、ユーザが仮想コンテンツのインスタンスのアイコン化を選択することに対応する。さらなる別個のタイプのユーザ入力は、投げる入力として表される。投げる入力は、ユーザが第１のジェスチャ（例えば、把持するまたは挟む）を行い、仮想コンテンツのインスタンスのアイコン化を選択した後、第２のジェスチャ（例えば、標的に向かって腕を掃引または投げる運動）を行い、仮想コンテンツを少なくとも概して第２のジェスチャによって示される方向に移動させるためのコマンドを示すことに対応する。
投げる入力は、典型的には、標的（例えば、フォルダ）を示すための第３のジェスチャ（例えば、解放）を含むであろう。第３のジェスチャは、ユーザの手が、標的と整合される、または少なくとも標的と近接するときに行われてもよい。第３のジェスチャは、ユーザの手が標的の一般的方向に移動しているときに行われてもよいが、標的とまだ整合または近接していない場合があり、標的に近接する他の仮想コンテンツが存在しないと仮定して、意図される標的をＡＲシステムに曖昧にするであろう。
したがって、ＡＲシステムは、ジェスチャ（例えば、投げるジェスチャ、指示ジェスチャ）を検出し、それに応答し、これは、レンダリングまたは移動されるべき仮想コンテンツを示す自由形状場所仕様を可能にする。例えば、ユーザが、仮想ディスプレイ、モニタ、または画面を所望する場合、ユーザは、仮想ディスプレイ、モニタ、または画面を現せる、物理環境内の場所をユーザの視野内で規定してもよい。これは、物理デバイスへのジェスチャ入力とは対照的であって、ジェスチャは、物理デバイスを動作させてもよいが（例えば、オン／オフ、メディアコンテンツのチャネルまたはソースの変更）が、物理デバイスの場所を変化させない。
加えて、ユーザが、仮想コンテンツの第１のインスタンス（例えば、ファイルを表すアイコン）と第２のインスタンス（例えば、記憶フォルダまたはアプリケーションを表すアイコン）を論理的に関係付けることを所望する場合、ジェスチャは、仮想コンテンツの第１のインスタンスのための目的地を定義する。
特に、図８７Ａは、仮想コンテンツを選択するための第１のジェスチャを行うユーザを示す。ユーザは、例えば、仮想作業ポータルまたは構造物８７１２を親指と人差し指との間に挟み、保持して現す、挟むジェスチャを行ってもよい。ＡＲシステムが仮想作業ポータルまたは構造物の選択（例えば、把持する、挟む、または保持する）を検出したことに応答して、ＡＲシステムは、例えば、図８７Ａに示されるように、仮想作業ポータルまたは構造物を視覚的強調とともに再レンダリングしてもよい。視覚的強調は、ユーザに、ＡＲシステムの断片が選択されていると検出した仮想コンテンツについてキューを出し、ユーザが必要に応じて選択を補正することを可能にする。例えば、ハイライト、マーキー、明滅、色変更等、他のタイプの視覚的キューまたは強調が、採用されてもよい。
特に、図８７Ｂは、仮想作業ポータルまたは構造物を物理オブジェクト８７１４、例えば、ユーザが仮想作業ポータルまたは構造物をマップすることを所望する壁の表面に移動させるための第２のジェスチャを行うユーザを示す。ユーザは、例えば、挟むジェスチャを維持しながら、掃引タイプジェスチャを行ってもよい。いくつかの実装では、ＡＲシステムは、例えば、近接度および／または運動の方向のいずれかに基づいて、ユーザが意図する物理オブジェクトを決定してもよい。
例えば、ユーザが単一物理オブジェクトに向かって掃引運動を行う場合、ユーザは、物理オブジェクトの実際の場所に達せずに、ユーザの手で解放ジェスチャを行ってもよい。解放ジェスチャが行われるとき、掃引ジェスチャに近接する、またはそれに並ぶ他の物理オブジェクトが存在しないため、ＡＲシステムは、ユーザが意図した物理オブジェクトの識別を明確に決定することができる。これは、いくつかの点において、投げる運動に類似すると見なされ得る。
ＡＲシステムが見掛け標的物理オブジェクトを検出したことに応答して、ＡＲシステムは、検出された意図される標的と同範囲に現れる、または少なくともそれに近接するように、視覚的キューをユーザの視野内に位置付けられるようにレンダリングしてもよい。例えば、ＡＲシステムは、図８７Ｂに示されるように、検出された意図される標的を包囲する境界をレンダリングしてもよい。ＡＲシステムはまた、例えば、図８７Ｂに示されるように、仮想作業ポータルまたは構造物を視覚的強調とともにレンダリングし続けてもよい。視覚的強調は、ユーザに、ＡＲシステムが選択されていると検出した物理オブジェクトまたは表面についてキューを出し、ユーザが必要に応じて選択を補正することを可能にする。例えば、ハイライト、マーキー、明滅、色変更等の他のタイプの視覚的キューまたは強調が、採用されてもよい。
特に、図８７Ｃは、仮想作業ポータルまたは構造物を識別された物理オブジェクト、例えば、壁の表面にマップし、ＡＲシステムに、仮想作業ポータルまたは構造物を物理オブジェクトにマップさせるためのコマンドを示す第３のジェスチャを行うユーザを示す。ユーザは、例えば、挟んだ状態を解放し、仮想作業ポータルまたは構造物８７１６の解放をシミュレートする、解放ジェスチャを行ってもよい。
図８８Ａ−８８Ｃは、例証される実施形態の１つによる、ユーザの手がトーテムとしての役割を果たす、ＡＲシステム（図８８Ａ−８Ｃには図示せず）によってレンダリングされたいくつかのユーザインターフェース仮想構造物（それぞれ、８８０２、８８０４、および８８０６）を示す。
図８８Ａに図示されるように、第１の定義されたジェスチャ（例えば、ユーザが手を開く、または広げた手のひらを表示する、ユーザが手を挙げる）の検出に応答して、ＡＲシステムは、ユーザの手の一部上に現れる、またはそれに結び付けられるように、一次ナビゲーションメニューをユーザの視野内にレンダリングする。例えば、高レベルナビゲーションメニューアイテム、アイコン、またはフィールドが、親指以外の各指上に現れるようにレンダリングされてもよい。親指は、ポインタとしての役割を果たすように自由に残されてもよく、これは、ユーザが、第２の定義されたジェスチャのうちの１つを介して、例えば、親指が対応する指先端にタッチすることによって、高レベルナビゲーションメニューアイテムまたはアイコンのうちの所望の１つを選択することを可能にする。
メニューアイテム、アイコン、またはフィールド８８１２は、例えば、ユーザ選択可能仮想コンテンツ、例えば、アプリケーション、機能、メニュー、ツール、モデル、ゲーム、および仮想部屋または仮想空間を表してもよい。
図８８Ｂに図示されるように、定義されたジェスチャ（例えば、ユーザが指を広げる）の検出に応答して、ＡＲシステムは、ユーザの手の一部上に現れる、またはそれに結び付けられるように、メニューを拡張し、より低いレベルナビゲーションメニュー８８１４をユーザの視野内にレンダリングする。例えば、いくつかのより低いレベルナビゲーションメニューアイテムまたはアイコン８８１４は、親指以外の指のそれぞれ上に現れるようにレンダリングされてもよい。再び、例えば、親指は、ポインタとしての役割を果たすように自由に残されてもよく、これは、ユーザが、親指が対応する指の対応する部分にタッチすることによって、より低いレベルナビゲーションメニューアイテムまたはアイコンのうちの所望の１つを選択することを可能にする。
図８８Ｃに図示されるように、別の定義されたジェスチャ８８１６（例えば、ユーザが、他方の手からの指で手のひらに円を描写する）の検出に応答して、ＡＲシステムは、ユーザの手の一部上に現れる、またはそれに結び付けられるように、メニューをスクロールし、ナビゲーションメニューのフィールドをユーザの視野内にレンダリングする。例えば、いくつかのフィールドは、ある指から次の指に連続的にスクロールするように見えてもよい。新しいフィールドは、視野の中にスクロールし、ある方向（例えば、親指に近接する）から進入してもよく、他のフィールドは、視野からスクロールし、他の方向（例えば、小指に近接する）から退出してもよい。スクロールの方向は、手のひら内の指の回転方向に対応してもよい。例えば、フィールドは、時計回り回転ジェスチャに応答して、ある方向にスクロールし、反時計回り回転ジェスチャに応答して、第２の反対方向にスクロールしてもよい。
（他のＵＩ実施形態）
前述のように、ユーザは、一連のジェスチャ、トーテム、ＵＩハードウェア、およびシステムと相互作用する他の一意のモードを通して、ＡＲシステムのユーザインターフェースと通信してもよい。以下の実施形態は、ＵＩ体験のいくつかの実施例を表す。以下の一覧は、包括的ではなく、システムと相互作用する他の実施形態も同様に、使用されてもよいことを理解されたい。
前述のように、ユーザは、一連のジェスチャ、トーテム、ＵＩハードウェア、およびシステムと相互作用する他の一意のモードを通して、ＡＲシステムのユーザインターフェースと通信してもよい。以下の実施形態は、ＵＩ体験のいくつかの実施例を表す。以下の一覧は、包括的ではなく、システムと相互作用する他の実施形態も同様に、使用されてもよいことを理解されたい。
システムと相互作用する以下の方法は、トーテムの有無にかかわらず、使用されてもよい。以下の実施形態は、ユーザが、システムをオンにする、所望のアプリケーションを開始または終了させる、ウェブをブラウズする、アバタを作成する、コンテンツをピアと共有する等し得る、異なる方法を表す。以下の一連の例示的実施形態は、包括的ではなく、単に、ユーザがＡＲシステムと相互作用し得る例示的ユーザインターフェース／ユーザ体験を表すことを理解されたい。
アバタ
前述のように、ユーザインターフェースは、種々の入力に応答してもよい。ＡＲシステムのユーザインターフェースは、例えば、手入力、例えば、ジェスチャ、タッチ、マルチタッチ、および／または複数の手入力に応答してもよい。ＡＲシステムのユーザインターフェースは、例えば、眼入力、例えば、眼ベクトル、眼条件（例えば、開放／閉鎖）等に応答してもよい。
アバタ
前述のように、ユーザインターフェースは、種々の入力に応答してもよい。ＡＲシステムのユーザインターフェースは、例えば、手入力、例えば、ジェスチャ、タッチ、マルチタッチ、および／または複数の手入力に応答してもよい。ＡＲシステムのユーザインターフェースは、例えば、眼入力、例えば、眼ベクトル、眼条件（例えば、開放／閉鎖）等に応答してもよい。
図１２３Ａを先に参照すると、前述の１つ以上のユーザ入力（例えば、例証される実施形態に示されるように、指示された指ジェスチャを用いたカップ状の手のひら等）に応答して、システムは、ユーザに種々の選択肢に導き得る、アバタを生成してもよい。１つ以上の実施形態では、アバタは、ユーザの表現であってもよい。要するに、ユーザは、「人形遣い」としてレンダリングされ、ＡＲシステムのユーザアバタは、アイコンの集合を提示し、そのうちのいずれかが、ユーザによって選択され得る。
場面１２３０２に示されるように、ユーザは、ＡＲシステムによって認識される所定のジェスチャ（例えば、手で引っ張るジェスチャ、指ジェスチャ等）を通して、アバタを所望の場所から「引っ張って」もよい。場面１２３０４に示されるように、アバタは、取り込まれている。
アバタは、いくつかの実施形態では、ユーザによって事前選択されてもよく、または他の実施形態では、システムは、毎回、ユーザに異なるアバタを提示してもよい。アバタの知覚を生成するであろうジェスチャもまた、事前決定されてもよい。他の実施形態では、異なる手のジェスチャは、異なるアバタに関連付けられてもよい。例えば、手で引っ張るジェスチャは、図１２３Ａに示されるアバタを生成してもよいが、指を交差させるジェスチャは、例えば、人魚のアバタ（図示せず）を生成してもよい。他の実施形態では、異なるアプリケーションは、その独自の一意のアバタを有してもよい。例えば、ユーザがソーシャルメディアアプリケーションを開くことを所望する場合、ソーシャルメディアアプリケーションは、その独自の特定のアバタに関連付けられてもよく、これは、アプリケーションと相互作用するために使用されてもよい。
アバタを生成する／作成する／取り込む、手のジェスチャを検出する多くの方法が存在し得る。ジェスチャは、世界カメラ、センサ、手のジェスチャ触知、または前述の任意の他の入力デバイスによって検出または認識されてもよい。いくつかの例示的アプローチが前述された。
ここで図１２３Ｂを参照すると、いったんアバタが取り込まれると、付加的選択肢が、アバタに隣接してレンダリングされ、ユーザが、１つ以上の選択肢を選定するのに役立ってもよい。図１２３Ｂに示されるように、アバタは、ユーザが選択肢を選択するにつれて、ユーザとともに移動およびプレースする、動的アバタであってもよい。例示的実施形態に示されるように、図１２３Ｂにおけるアバタは、ユーザが別の手のジェスチャを通して選択し得る、種々の選択肢（場面１２３０６）を保持してもよい。場面１２３０８に示されるように、ユーザは、アバタに隣接してレンダリングされた提示されるアイコン（例えば、電話、ゲーム、連絡等）から特定のアプリケーションを選択してもよい。ユーザは、例えば、場面１２３０８に示されるように、「ゲーム」アイコンを選択してもよい。いったんアイコンが選択されると、アバタは、ゲームを開いてもよい（１２３０８に示されるように、アバタの手のジェスチャを使用して）。ゲームは、次いで、３Ｄでユーザにレンダリングされてもよい。一実施形態では、アバタは、ユーザがゲームを選択した後、消失してもよく、または他の実施形態では、アバタは、残ってもよく、ユーザは、他の機能性のための他の選択肢／アイコンを同様に自由に選択してもよい。
ここで図１２３Ｃを参照すると、ユーザは、アバタを通して別の選択肢を選択してもよい。例示的実施形態では、ユーザは、ユーザが通信することを所望し得る「友人」を選択してもよい（場面１２３１０）。友人は、次いで、場面１２３１２に示されるように、アバタとしてレンダリングされてもよい。
１つ以上の実施形態では、アバタは、単に、システムの別のアバタまたはゲーム内のキャラクタを表してもよい。または、他のアバタは、別のユーザのアバタであってもよく、２人のユーザは、そのアバタを通して相互に相互作用可能であってもよい。例えば、第１のユーザは、ファイルを別のユーザと共有することを所望してもよい。本アクションは、両システムにアバタを取り込むことによって、遊び心に満ちた様式で動画化されてもよい。
図１２３Ｃに示されるように、他のアバタを生成することで、アバタは、場面１２３１２に示されるように、相互に相互作用し、仮想オブジェクトを相互にパスしてもよい。例えば、第１のアバタは、仮想ゲームに関連する仮想オブジェクトを他のアバタにパスしてもよい。図１２３Ｄは、アバタと相互作用するために使用され得る、詳細な入力制御１２３１４を示す。図１２３Ｄに示されるように、種々のジェスチャは、ユーザ入力挙動のための使用されてもよい。図１２３Ｄに示されるように、いくつかのタイプのアクションは、仮想コンテンツの場所に基づいてもよい一方、その他は、仮想コンテンツに依存しなくてもよい。
（押出）
別の実施形態では、ＵＩは、押出テーマに従ってもよい。例えば、図１２４Ａに示されるように、ユーザは、三角形ジェスチャ１２４０２（例えば、例証される実施形態では、人差し指をともに使う）を行い、ユーザインターフェースを開いてもよい。三角形ジェスチャに応答して、ＡＲシステムは、図１２４Ｂに示されるように、フローティング式仮想アイコン１２４０４の集合を押出してもよい。１つ以上の実施形態では、仮想アイコンは、フローティング式ブロックであってもよく、または、単に、特定のアプリケーションもしくは機能性に関連付けられたロゴであってもよい。図１２４Ｂに示される実施形態では、ジェスチャに応答して、メールアプリケーション、音楽アプリケーション、電話アプリケーション等が取り込まれる。
別の実施形態では、ＵＩは、押出テーマに従ってもよい。例えば、図１２４Ａに示されるように、ユーザは、三角形ジェスチャ１２４０２（例えば、例証される実施形態では、人差し指をともに使う）を行い、ユーザインターフェースを開いてもよい。三角形ジェスチャに応答して、ＡＲシステムは、図１２４Ｂに示されるように、フローティング式仮想アイコン１２４０４の集合を押出してもよい。１つ以上の実施形態では、仮想アイコンは、フローティング式ブロックであってもよく、または、単に、特定のアプリケーションもしくは機能性に関連付けられたロゴであってもよい。図１２４Ｂに示される実施形態では、ジェスチャに応答して、メールアプリケーション、音楽アプリケーション、電話アプリケーション等が取り込まれる。
１つ以上の実施形態では、押出は、仮想オブジェクト（この場合、アイコン、選択可能オブジェクト等）を固定された断面プロファイル上に取り込むことを指し得る。断面プロファイルは、回転され、転向されてもよく、種々のブロックは、並べ替え等されてもよい。
図１２４Ｂに示されるように、ブロックは、水平に開かれ、次いで、ユーザの選好に基づいて並べ替えられてもよい。ユーザが、特定のアイコンを選択する場合、図１２４Ｃに示されるように、選択されたアイコンの下位集合である、より多くのアイコンが、選択されたアイコンの下にレンダリングされてもよい。前述のように、ブロックは、図１２４Ｄに示されるように、断面平面の周囲で回転され、特定のアイコンのより多くの選択肢を開いてもよい。例えば、ユーザが、特定のアプリケーションを開き、そのアプリケーション内の友人のプロファイルを選択することを選定することを所望する場合、ユーザは、図１２４Ｅおよび１２４Ｆの断面図に示されるように、種々のプロファイルのためのアイコンを押出してもよい。
図１２４Ｇに示されるように、ユーザは、次いで、仮想アイコンが、断面平面から「引っ張られ」、ユーザの手の中にネスト化されるように、手の保持ジェスチャを用いて、特定のアイコンを選択してもよい。図１２４Ｇに示されるように、ユーザは、ユーザの手を用いて、選択された仮想アイコンを操作してもよい（１２４０６）。本質的に、仮想アイコンまたはブロックは、断面平面から生じ、ユーザは、アイコンまたはブロックをその手の中に把持してもよい。
例えば、ユーザは、特定の友人のプロファイルをより詳細に視認することを所望してもよい。図１２４Ｈに示されるように、ユーザは、特定の手のジェスチャ（例えば、図１２４Ｈに示されるような閉鎖および開放ジェスチャ）を用いて、単に、丸められた１枚の紙を開くかのように、プロファイルページ１２４０８を開いてもよい（図１２４Ｉおよび１２４Ｊ）。いったんユーザが、友人のプロファイルページに目を通し終わると１２４１０、ユーザは、同様に、図１２４Ｋに示されるように、仮想ページを丸め戻し、それをユーザが以前に押出した一連のブロックに戻してもよい（図１２４Ｌ）。図１２４Ｍは、アバタと相互作用するために使用され得る、詳細な入力制御１２６２０を示す。図１２４Ｍに示されるように、種々のジェスチャは、ユーザ入力挙動のために使用されてもよい。図１２４Ｍに示されるように、いくつかのタイプのアクションは、仮想コンテンツの場所に基づいてもよい一方、その他は、仮想コンテンツに依存しなくてもよい。
（長手袋）
さらに別のアプローチでは、ＵＩは、長手袋テーマに従ってもよく、ユーザの手（この場合）または任意の他の身体部分が、回転軸として使用されてもよく、アイコンは、ユーザの腕上に現れるかのようにレンダリングされてもよい。図１２５Ａおよび１２５Ｂに示されるように、ユーザは、システムによって認識される所定のジェスチャ１２５０２（例えば、本実施例では、腕をその他方の手で握る）を通して、種々のアイコンの生成をユーザの腕上に生じさせてもよい。図１２５Ｃに示されるように、システムは、その腕を横断するユーザのドラッグジェスチャ１２５０６に基づいて、自動的にアイコン１２５０４を生成してもよい。ドラッグジェスチャ１２５０６は、仮想アイコン１２５０６の取り込みを生じさせ得る。前述の実施例の場合のように、仮想アイコンは、アプリケーション、友人のプロファイル、またはユーザによってさらに選択され得る、任意の他のタイプの機能性であってもよい。
さらに別のアプローチでは、ＵＩは、長手袋テーマに従ってもよく、ユーザの手（この場合）または任意の他の身体部分が、回転軸として使用されてもよく、アイコンは、ユーザの腕上に現れるかのようにレンダリングされてもよい。図１２５Ａおよび１２５Ｂに示されるように、ユーザは、システムによって認識される所定のジェスチャ１２５０２（例えば、本実施例では、腕をその他方の手で握る）を通して、種々のアイコンの生成をユーザの腕上に生じさせてもよい。図１２５Ｃに示されるように、システムは、その腕を横断するユーザのドラッグジェスチャ１２５０６に基づいて、自動的にアイコン１２５０４を生成してもよい。ドラッグジェスチャ１２５０６は、仮想アイコン１２５０６の取り込みを生じさせ得る。前述の実施例の場合のように、仮想アイコンは、アプリケーション、友人のプロファイル、またはユーザによってさらに選択され得る、任意の他のタイプの機能性であってもよい。
図１２５Ｄに示されるように、いったんジェスチャが取り込まれると、ユーザは、システムによって認識される別のジェスチャ１２５０８（例えば、２つの指）を用いて、腕の周囲でアイコンの集合を回転させてもよい。これは、より多くの仮想アイコンを、図１２５Ｅに示されるように、ユーザの腕の側面に取り込ませ得る。本質的に、ユーザの腕の長さは、ユーザの腕の周囲で仮想軸を回転させる軸として使用されてもよい。
一実施例では、ユーザは、特定のアイコン１２５１０（図１２５Ｆ）を選択してもよい。システムは、現在選択されていることを示すいくつかのインジケータを有してもよい（例えば、異なる色によって示される等）。図１２５Ｇに示されるように、ユーザは、選択されたアイコン１２５１０をその手首にドラッグしてもよい。本アクションは、システムによって認識され、ユーザに、本アプリケーションが開かれ得ることを示してもよい。ここでは、ユーザは、仮想オブジェクトアイコン（例えば、図１２５Ｇに示されるように、菱形形状のアイコン）を選択している。アイコン選択に基づいて、他の仮想アイコンは、フェードアウェイしてもよく、仮想フェーディングパターンは、それぞれ、図１２５Ｈおよび１２５Ｉに示されるように、ユーザの手首に投影されてもよい。
アイコンをユーザの手首にドラッグすることに応じて、ユーザは、菱形アイコン１２５１０がより大きいスケールで部屋の中にレンダリングされるように、握る運動において、アイコンを持ち上げてもよい（図１２５Ｊ）。したがって、ユーザは、仮想オブジェクトを開き、仮想オブジェクトを現在専有している物理空間の中に解放する。例えば、ユーザは、別のユーザが同一物理空間に進入するとき、それを見つけ得るように、仮想オブジェクトを物理空間内に残してもよい。
または、別の実施例では、図１２５Ｋおよび１２５Ｉに示されるように、ユーザは、知り合いまたは友人を表す、アイコンを選択してもよい。例えば、ユーザは、友人とライブ会話を開始することを所望してもよく、またはその友人とあるアクティビティに従事することを所望してもよい。前述の実施例と同様に、ユーザは、友人を表すアイコンを手首にドラッグし、握る運動を行い、友人の仮想レンダリング１２５１４が、図１２５Ｌに示されるように、ユーザの正面に現れ得るように、友人を「解放」してもよい。ユーザは、仮想友人とリアルタイムで相互作用してもよく、これは、前述のパス可能世界技法を通して可能になることを理解されたい。図１２５Ｍは、ユーザインターフェースと相互作用するために使用され得る、詳細な入力制御１２５１６を示す。図１２５Ｍに示されるように、種々のジェスチャは、ユーザ入力挙動のために使用されてもよい。図１２５Ｍに示されるように、いくつかのタイプのアクションは、仮想コンテンツの場所に基づいてもよい一方、その他は、仮想コンテンツに依存しなくてもよい。
成長
別のアプローチでは、ＵＩは、例えば、ＡＲシステムのアイコンが例えば、地面または机からの木のように「成長」され得るように、成長する木等の成長アプローチに従ってもよい。図１２６Ａ−１２６Ｌを参照すると、ユーザは、種々のジェスチャを通して、１つ以上のアイコン（例えば、アプリケーション、アプリケーションのカテゴリ等）を選択し、それを木に成長させ、選択されたアプリケーションの一部であり得る、他のアイコンを取り込んでもよい。
成長
別のアプローチでは、ＵＩは、例えば、ＡＲシステムのアイコンが例えば、地面または机からの木のように「成長」され得るように、成長する木等の成長アプローチに従ってもよい。図１２６Ａ−１２６Ｌを参照すると、ユーザは、種々のジェスチャを通して、１つ以上のアイコン（例えば、アプリケーション、アプリケーションのカテゴリ等）を選択し、それを木に成長させ、選択されたアプリケーションの一部であり得る、他のアイコンを取り込んでもよい。
より具体的には、図１２６Ａを参照すると、種々のアプリケーションまたは機能性を示すアイコンの集合１２６０２が、ユーザの手の上に取り込まれてもよい。図１２６Ｂおよび１２６Ｂに示されるように、ユーザは、特定のアイコンを選択し、「成長」させ、仮想アイコン（例えば、ユーザの指の握る運動を通して）を平坦表面（例えば、机等）上に置いてもよい。ここでは、例えば、ユーザは、例えば、ソーシャルメディアカテゴリを選択している。カテゴリ（例えば、カテゴリ内の他のアプリケーションを見つけるために）を「成長」させるために、図１２６Ｃに示されるように、ユーザは、仮想アイコンを「植え」（例えば、押圧運動を用いて）、平坦表面の中に押し込んでもよい。本ジェスチャは、図１２６Ｄに示されるように、仮想木または植物１２６０４のレンダリングを生じさせ得る。図１２６Ｄに示されるように、植物は、小さい状態から開始し、図１２６Ｅに示されるもの等、より大きい木に成長してもよい。図１２６Ｄおよび１２６Ｅに示されるように、植物は、種々の枝を備えてもよく、それぞれ、より多くのアプリケーションまたは特定のアプリケーション内の選択肢を現すアイコンを有する。ここでは、現在の実施例では、枝は、ソーシャルメディアのカテゴリ内の種々のアプリケーションであってもよい（例えば、Ｙｏｕｔｕｂｅ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）等）。
図１２６Ｅに示されるように、ユーザは、植物または木の枝上のアイコンのうちの１つを選択し、前述の実施例と同様に、仮想アイコンを握るジェスチャ１２６０６を通して取り上げ、それを成長させるために、再び別の場所に「植え」てもよい。例えば、図１２６Ｆおよび１２６Ｇに示されるように、ユーザは、アプリケーションを握り、次いで、それを平坦表面上に置き、図１２６Ｈに示されるように、ページを地面から「成長」させる。仮想ページは、次いで、図１２６Ｉに示されるように、地面から芽を出すかのように現れてもよい。仮想ページは、図１２６Ｉに示されるように、成長し、仮想独立木構造１２６０８になり、ユーザによって詳細に視認され得る。
いったんユーザがページ１２６０８を終了すると、ユーザは、木を閉鎖または「切断」し、アプリケーションを閉じてもよい。図１２６Ｊ−１２６Ｌに示されるように、ユーザは、切断運動において、ページまたは木の幹を通して切断し、アプリケーションを閉じてもよい。閉じられたアプリケーションは、次いで、図１２６Ｅと同様に、オリジナル仮想アイコン木の枝として現れ得る。
種々のジェスチャが、システムによって与えられることを理解されたい。ジェスチャは、アプリケーションに基づいて、事前プログラムされるか、またはユーザの好ましいジェスチャに好適であるようにカスタマイズされるかのいずれかであってもよい。例えば、システムは、木の幹における素早い手の運動を、システムにアプリケーションが閉じられるべきことを示す「切断」スワイプとして認識するようにプログラムされてもよい。
ＡＲシステムは、例えば、前方方向に木および後方方向に末端を伴うページとして、ウェブブラウザのためのユーザインターフェースをレンダリングしてもよい。例えば、ユーザインターフェースは、そのウェブページからのリンクを示すウェブページの上部から生じる枝付きの木とともにレンダリングされてもよい。ユーザインターフェースはさらに、水平線の中に消えるように延在する枝付きの木とともにレンダリングされてもよい。ＡＲシステムは、ウェブページ上のリンクにグラフィック的に結び付けられる枝付きの木の根とともにユーザインターフェースをレンダリングしてもよい。その結果、一度に１つのウェブページ（例えば、３つまたは４つの選択）を通してナビゲート（例えば、クリック）する必要なく、ユーザは、葉ノードまたは任意の他のノードを選択し、直接、葉ノードによって表される所望のウェブページにジャンプしてもよい。
いくつかの実装では、ＡＲシステムは、スクロールツールを提供してもよい。枝付きの木は、前述の図に示されるように、スクロールの間、動的に変化してもよい。
枝および葉ノードは、グラフィックアイコン化を有してもよい。アイコンは、例えば、そのそれぞれのノードの選択に応答してナビゲートされるであろう、ウェブサイトまたはウェブページのスクリーンショットまたはサムネイルビューを示す、または表してもよい。
ユーザインターフェースは、連続から並列体験にブラウジングを変化させる。ユーザがウェブページを選択することに応答して、ＡＲシステムは、選択に基づいて、別の枝付きの木をレンダリングする。枝付きの木は、水平線（例えば、背景、前景、側景）に接近するにつれて、次第に弱まるように視覚的にレンダリングされてもよい。例えば、ＡＲシステムは、水平線が接近されるにつれて、平面に見えるように枝付きの木をレンダリングしてもよい。ＡＲシステムは、現在選択されているウェブサイトまたはウェブページにナビゲートするために使用されたウェブサイトまたはウェブページを表すノードで中断された末端をレンダリングしてもよい。
（指ブラシ）
別の実施形態では、システムは、所定の指ブラシジェスチャに基づいて、仮想アイコン／アプリケーション／機能性等を取り込んでもよい。例えば、図１２７Ａに示されるように、システムは、ユーザが指または複数の指を「指ブラシ」として使用することを所望することを示す、ユーザの指の特定のジェスチャ１２７０２（例えば、所定の期間の間の人差し指の指示）を認識してもよい。図１２７Ｂに示されるように、ユーザは、次いで、空間を通して指をドラッグすることによって、図を「描写」してもよい。これは、ＡＲシステムに、ユーザの指の移動に基づいて、仮想形状を描写させ得る。
別の実施形態では、システムは、所定の指ブラシジェスチャに基づいて、仮想アイコン／アプリケーション／機能性等を取り込んでもよい。例えば、図１２７Ａに示されるように、システムは、ユーザが指または複数の指を「指ブラシ」として使用することを所望することを示す、ユーザの指の特定のジェスチャ１２７０２（例えば、所定の期間の間の人差し指の指示）を認識してもよい。図１２７Ｂに示されるように、ユーザは、次いで、空間を通して指をドラッグすることによって、図を「描写」してもよい。これは、ＡＲシステムに、ユーザの指の移動に基づいて、仮想形状を描写させ得る。
図１２７Ｂに示されるように、ユーザは、長方形を描写するプロセス中にある。１つ以上の実施形態では、仮想アイコンまたはアプリケーションが、ユーザによって描写される形状の制約内に取り込まれてもよい。図１２７Ｃに示されるように、種々の仮想アイコン１２７０４が、現時点で、描写される形状内に現れる。現時点で、ユーザは、図１２７Ｄに示されるように、任意の特定のアイコンを開き、それをその傍に取り込させてもよい。図１２７Ｅは、描写される形状と相互作用するために使用され得る、詳細な入力制御１２７０６を示す。図１２７Ｅに示されるように、種々のジェスチャは、ユーザ入力挙動のために使用されてもよい。図１２７Ｅに示されるように、いくつかのタイプのアクションは、仮想コンテンツの場所に基づいてもよい一方、その他は、仮想コンテンツに依存しなくてもよい。
（塗料バケツ）
ここで図１２８Ａ−１２８Ｐを参照すると、ユーザインターフェース相互作用の別の実施形態が、図示される。図１２８Ａに示されるように、前述の実施例の場合のように、ユーザジェスチャ１２８０２（例えば、手のひらを広げる等）に基づいて、仮想アイコン１２８０４の集合が、ユーザの手上に取り込まれるように見えるようにレンダリングされてもよい。ユーザは、図１２８Ｂに示されるように、特定のアイコンを選択し、塗料バケツ方式でそれを壁（図１２８Ｃ）または任意の他の空間に向かってフリックしてもよい。フリック運動は、選択されたアイコンまたはそのアイコン内のアプリケーション（例えば、アプリケーションのカテゴリ）が、次いで、壁または任意の他の空間上に「描写」され得るように、壁に向かって放り投げられたように見え得る塗料の仮想液滴に変換してもよい。
ここで図１２８Ａ−１２８Ｐを参照すると、ユーザインターフェース相互作用の別の実施形態が、図示される。図１２８Ａに示されるように、前述の実施例の場合のように、ユーザジェスチャ１２８０２（例えば、手のひらを広げる等）に基づいて、仮想アイコン１２８０４の集合が、ユーザの手上に取り込まれるように見えるようにレンダリングされてもよい。ユーザは、図１２８Ｂに示されるように、特定のアイコンを選択し、塗料バケツ方式でそれを壁（図１２８Ｃ）または任意の他の空間に向かってフリックしてもよい。フリック運動は、選択されたアイコンまたはそのアイコン内のアプリケーション（例えば、アプリケーションのカテゴリ）が、次いで、壁または任意の他の空間上に「描写」され得るように、壁に向かって放り投げられたように見え得る塗料の仮想液滴に変換してもよい。
ユーザは、次いで、手または指ジェスチャを使用して、特定の仮想アイコンを選択してもよい。図１２８Ｅおよび１２８Ｆに示されるように、特定のアイコン１２８０８が、選択されてもよい。選択ジェスチャの認識に応じて、ＡＲシステムは、アプリケーション（例えば、図１２８Ｇに示されるように、検索ページ）を表示してもよい。ユーザは、次いで、図１２８Ｈに示されるように、検索ページと相互作用し、１つ以上の所望のウェブサイトをナビゲートしてもよい。
閉じ込めるジェスチャ１２８１０（例えば、人差し指および親指を握る等）を使用して、ユーザは、その選好に基づいて、ある所望のアプリケーションまたはウェブページ（例えば、図１２８Ｉのウェブページ）を記憶または「保持」してもよい。図１２８Ｈおよび１２８Ｉを参照すると、ユーザは、例えば、特定のウェブページまたはウェブページの特定の部分に関心があり得、ジェスチャ（例えば、閉じ込める運動）を通して、所望の部分を記憶してもよい。図１２８Ｉに示されるように、閉じ込めるジェスチャ１２８１０に基づいて、所望の仮想コンテンツは、単に、所望のページを仮想バンド１２８１２に圧潰または変形させる。これは、例えば、図１２８Ｉに示されるように、ユーザの手首上に記憶されてもよい。他の実施形態では、ユーザは、所望のウェブページを他の方法で保持または記憶してもよいことを理解されたい。例えば、所望のウェブページは、仮想ボックスもしくは実ボックス内に記憶される、またはトーテムの一部になってもよい。
図１２８Ｊ−１２８Ｌを参照すると、他のウェブページ／ユーザプロファイルまたは任意の他の所望の情報も同様に、他の仮想バンドとしてユーザの手首の周囲に記憶されてもよい。図１２８Ｊに示される実施形態では、種々の仮想アイコンは、ユーザの手のひら上に記憶されてもよい。ユーザは、次いで、図１２８Ｋおよび１２８Ｌに示されるように、所望のアイコンを選択し、アイコンと相互作用してもよい。種々の記憶されるアイテムは、種々の色によって示されてもよいが、他の類似区別インジケータも同様に、使用されてもよい。
ここで図１２８Ｎ−１２８Ｐを参照すると、記憶されたオブジェクト（例えば、ユーザの手首上の仮想バンド１２８１２によって示される）を開くために、ユーザは、単に、別のジェスチャ１２８１４（例えば、手のひらを放り投げるアクション／運動）を使用して、仮想バンドを一気に開いてもよい。本例示的実施形態では、放り投げるまたはフリック運動は、図１２８Ｏに示されるように、２つの異なる色（仮想バンド毎の異なる色）が所与の空間を横断して放り投げられ、所望の記憶されるウェブページ、ユーザプロファイル等を生成するように、別の塗料バケツ錯覚を生成する。したがって、図１２８Ｐに示されるように、ユーザは、次いで、記憶されたアプリケーションおよび／またはウェブページをレビューし、記憶されたコンテンツと所望の様式で相互作用してもよい。
（ピボット）
ここで図１２９Ａ−１３１Ｌを参照すると、ユーザインターフェース相互作用の別の実施形態が、図示される。図１２９Ａに示されるように、ユーザは、認識された手のジェスチャ１２９０２（例えば、一方の手の人差し指および親指を他方の手の人差し指および親指に近接させる）を通して、仮想糸１２９０４をユーザにレンダリングさせてもよい。図１２９Ｂに示されるように、仮想糸は、所望のユーザによって任意の長さに伸長させてもよい。例えば、ユーザが多くのアプリケーションを視認することを所望する場合、糸は、より長い仮想糸となるように引き出されてもよい。または、糸がより少量のみ引き出される場合、より少ないアプリケーションが、取り込まれてもよい。仮想糸１３１０４の長さは、ユーザの手の運動を模倣するように取り込まれてもよい。
ここで図１２９Ａ−１３１Ｌを参照すると、ユーザインターフェース相互作用の別の実施形態が、図示される。図１２９Ａに示されるように、ユーザは、認識された手のジェスチャ１２９０２（例えば、一方の手の人差し指および親指を他方の手の人差し指および親指に近接させる）を通して、仮想糸１２９０４をユーザにレンダリングさせてもよい。図１２９Ｂに示されるように、仮想糸は、所望のユーザによって任意の長さに伸長させてもよい。例えば、ユーザが多くのアプリケーションを視認することを所望する場合、糸は、より長い仮想糸となるように引き出されてもよい。または、糸がより少量のみ引き出される場合、より少ないアプリケーションが、取り込まれてもよい。仮想糸１３１０４の長さは、ユーザの手の運動を模倣するように取り込まれてもよい。
図１２９Ｃに示されるように、種々の仮想アイコン１２９０６が、物干し用ロープと同様に、糸上に取り込まれてもよく、ユーザは、単に、手のジェスチャ１２９０８を用いて、アイコンがユーザの手に対して移動されるように、アイコンを動き回らせてもよい。例えば、ユーザは、図１２９Ｃに示されるように、その手を右にスワイプさせ、故に、仮想アイコンもまた右に移動させることによって、仮想アイコンをスクロールさせてもよい。
ユーザは、次いで、図１２９Ｄに示されるように、別のジェスチャ１２９１０（例えば、２つの指で特定の仮想アイコンを指示する）を通して、特定のアイコンを選択してもよい。ここで図１２９Ｅを参照すると、「連絡先」アプリケーションが、仮想アイコン上の着色されたインジケータによって示されるように、選択されてもよい。１つ以上の実施形態では、特定の仮想アイコンの選択は、仮想アイコンをユーザに向かわせる、またはユーザから離れさせる、手のジェスチャ１２９１２によって、仮想アイコンまたはページをｚ方向に移動させてもよい。図１２９Ｆ−１２９Ｈに示されるように、いったん連絡先アプリケーションが開かれると、ユーザは、連絡先を通してブラウズし、電話をかける連絡先を選択してもよい。図１２９Ｇに示されるように、ユーザは、「Ｍａｔｔ」を連絡先から選択してもよく、電話を開始してもよい（図１２９Ｈ）。
図１２９Ｌに示されるように、ユーザが連絡者と話しているとき、ユーザは、同時に、他のアプリケーションを開くことが可能であってもよい。例えば、ユーザは、図１２９Ｊ−１２９Ｌに示されるように、別の手のジェスチャ１２９１２を通して、特定の文書を開き、別の手のジェスチャ１２９１４を用いて、文書を連絡先アイコン上に物理的に移動させることによって、それを連絡者に「送信」してもよい。したがって、ユーザは、単純な手のジェスチャによって、ファイルを他のユーザにシームレスに送信することができる。ＡＲシステムでは、ユーザは、文書、ウェブページ等にタッチし、実オブジェクトであるかのように、空間の中に放り投げられ、動き回され、物理的に走査されることができる、３Ｄ仮想オブジェクトとして、それを保持することが可能である。図１２９Ｍは、ユーザインターフェースと相互作用するために使用され得る、詳細な入力制御１２９１６を示す。図１２９Ｍに示されるように、種々のジェスチャは、ユーザ入力挙動のために使用されてもよい。図１２９Ｍに示されるように、いくつかのタイプのアクションは、仮想コンテンツの場所に基づいてもよい一方、その他は、仮想コンテンツに依存しなくてもよい。
（糸の引張）
別の実施形態では、種々の仮想アイコンは、懸架された仮想糸１３００２としてレンダリングされてもよい。各糸は、図１３０Ａ−１３０Ｃに示されるように、アプリケーションまたはアプリケーションのカテゴリの異なる仮想アイコンを表してもよい。特定の仮想アイコン１３００４を選択するために、ユーザは、図１３０Ｃおよび１３０Ｄに示されるように、仮想糸を牽引してもよい（例えば、牽引ジェスチャ１３２０６を通して）。牽引運動１３００６は、ユーザが特定のアプリケーションのサブカテゴリまたは異なるアイコンを視認し得るように、糸を下に「引っ張」ってもよい。
別の実施形態では、種々の仮想アイコンは、懸架された仮想糸１３００２としてレンダリングされてもよい。各糸は、図１３０Ａ−１３０Ｃに示されるように、アプリケーションまたはアプリケーションのカテゴリの異なる仮想アイコンを表してもよい。特定の仮想アイコン１３００４を選択するために、ユーザは、図１３０Ｃおよび１３０Ｄに示されるように、仮想糸を牽引してもよい（例えば、牽引ジェスチャ１３２０６を通して）。牽引運動１３００６は、ユーザが特定のアプリケーションのサブカテゴリまたは異なるアイコンを視認し得るように、糸を下に「引っ張」ってもよい。
ここでは、図１３０Ｄおよび１３０Ｅに示されるように、ユーザは、音楽アプリケーションを選択してもよく、図１３０Ｅに示される種々のアイコン１３０１０は、種々のトラックを表してもよい。ユーザは、次いで、図１３０Ｆおよび１３０Ｆに示されるように、特定のトラックを選択し、ページを開き、例えば、トラックについての詳細またはトラックに関連付けられたウェブページを視認してもよい。例証される実施形態では、握る運動１３０１２が、特定の着目トラックを選択するために使用されてもよい。
ユーザはさらに、図１３０Ｈに示されるように、単に、ユーザの友人を表す別のアイコンを用いて、トラックまたは音楽ファイルに関連付けられた仮想アイコンを押圧すること（例えば、押圧ジェスチャ１３０１４を通して）によって、トラックまたはウェブページを他のユーザ／友人にパスすることが可能であってもよい。したがって、押圧運動を検出することによって、ＡＲシステムは、ユーザによって意図される入力を認識し、ＡＲシステムのユーザの友人へのファイルの転送プロセスを開始してもよい。図１３０Ｉは、ユーザインターフェースと相互作用するために使用され得る、詳細な入力制御１３０２０を示す。図１３０Ｉに示されるように、種々のジェスチャは、ユーザ入力挙動のために使用されてもよい。図１３０Ｉに示されるように、いくつかのタイプのアクションは、仮想コンテンツの場所に基づいてもよい一方、その他は、仮想コンテンツに依存しなくてもよい。
（クモの巣）
別の実施形態では、システムとのユーザ相互作用は、ユーザの周囲の物理空間内に作成された仮想「クモの巣」を通してもよい。例えば、図１３１Ａに示されるように、ユーザは、仮想クモの巣の糸が、空間を横断して放り投げられるように、拳を作り、それを広げてもよい１３１０２（図１３１Ｂ）。特定の仮想アイコン／アプリケーション／アプリケーションのカテゴリを選択するために、ユーザは、クモの巣の糸１３１０４に沿って引っ張り、仮想アイコンを自身に近づけてもよい（図１３１Ｃ−１３１Ｄ）。図１３１Ｄの例証される実施形態では、ウェブページ１３１０６が、より近いビューのために取り込まれる。
別の実施形態では、システムとのユーザ相互作用は、ユーザの周囲の物理空間内に作成された仮想「クモの巣」を通してもよい。例えば、図１３１Ａに示されるように、ユーザは、仮想クモの巣の糸が、空間を横断して放り投げられるように、拳を作り、それを広げてもよい１３１０２（図１３１Ｂ）。特定の仮想アイコン／アプリケーション／アプリケーションのカテゴリを選択するために、ユーザは、クモの巣の糸１３１０４に沿って引っ張り、仮想アイコンを自身に近づけてもよい（図１３１Ｃ−１３１Ｄ）。図１３１Ｄの例証される実施形態では、ウェブページ１３１０６が、より近いビューのために取り込まれる。
図１３１Ｅを参照すると、ユーザは、次いで、ウェブページ１３１０６から、例えば、特定の連絡先１３１０８を選択し、連絡先をクモの巣１３１１０の糸上に記憶してもよい（図１３１Ｅおよび１３１Ｆ）。上記の他の実施形態と同様に、ユーザは、図１３１Ｇおよび１３１Ｈに示されるように、仮想糸１３１１０を通して、文書１３１１２を選択されたユーザ１３１０８にパスしてもよい。図１３１Ｈに示されるように、転送プロセスは、進行中であって、ファイルは、連絡先に転送されている。図１３１Ｉは、ユーザインターフェースと相互作用するために使用され得る、詳細な入力制御１３１２０を示す。図１３１Ｉに示されるように、種々のジェスチャは、ユーザ入力挙動のために使用されてもよい。図１３１Ｉに示されるように、いくつかのタイプのアクションは、仮想コンテンツの場所に基づいてもよい一方、その他は、仮想コンテンツに依存しなくてもよい。
前述の実施形態に示されるように、ＡＲシステムのユーザインターフェースは、ＡＲシステムを用いたユーザ体験を向上させる革新的かつ遊び心に満ちた方法で、ユーザがシステムと相互作用することを可能にする。他のゲーム用技法も同様に、システムの中で使用またはプログラムされてもよいことを理解されたい。
ここで図１３２を参照すると、仮想コンテンツと１つ以上の物理オブジェクトとの間の関係を実証する例示的実施形態が、図示される。１３２０２に示されるように、仮想オブジェクトは、浮遊していてもよい。オブジェクトは、他の物理表面またはオブジェクトに関係しないとき、浮遊していてもよい。本外観は、ユーザが仮想オブジェクトを全角度から視認することを可能にする、コンテンツの部屋中心処理であってもよい。
同様に、１３２０４に示されるように、コンテンツは、前述のいくつかの実施形態の場合のように、壁、カップ、または人物の腕のような物理表面に適用されてもよい。仮想コンテンツは、その表面の物理量の一部を占めてもよい。例えば、仮想オブジェクトが１枚の実際の紙であって、実際の紙が持ち上げられる場合、仮想オブジェクトもまた、持ち上げられてもよい。または、別の実施形態では、紙が地面に落下する場合、仮想オブジェクトもまた、落下し、引力を模倣してもよい。これはまた、コンテンツと相互作用するとき、ユーザにタッチの物理感覚を提供し得る。
他の実施形態では、仮想コンテンツは、前述のいくつかの実施形態の場合のように、アンカされてもよい。本外観タイプは、浮遊および適用されたオブジェクトの要素を組み合わせる。仮想コンテンツは、１３２０６に示されるように、具体的表面にアンカされ、その表面の挙動およびアクションに従ってもよい（例えば、クモの巣のユーザインターフェース体験、ピボットユーザインターフェース体験等）。代替として、１３２０８に示されるように、仮想コンテンツは、もはや可視ではないように、単に、物理オブジェクトに「割り当てられ」てもよい。例えば、文書（仮想文書アイコンによって示される）が、単に、物理オブジェクトに割り当てられてもよいが、仮想アイコンは、転送プロセスが完了するとすぐに消失してもよい。これは、ユーザが、必ずしも全てのステップを視覚化することなく、コンテンツを通して迅速にナビゲートすることができる方法であり得る。
（ユーザシナリオ）
他の具体的アプリケーションおよび／またはユーザシナリオを論じるのに先立って、パス可能世界モデルからの情報を受信および更新する例示的プロセスが、簡単に論じられる。前述のパス可能世界モデルは、複数のユーザが、クラウドサーバ上に記憶される仮想世界にアクセスし、本質的に、ユーザの世界の断片を１つ以上のピアにパスすることを可能にする。
他の具体的アプリケーションおよび／またはユーザシナリオを論じるのに先立って、パス可能世界モデルからの情報を受信および更新する例示的プロセスが、簡単に論じられる。前述のパス可能世界モデルは、複数のユーザが、クラウドサーバ上に記憶される仮想世界にアクセスし、本質的に、ユーザの世界の断片を１つ以上のピアにパスすることを可能にする。
例えば、前述の他の実施例と同様に、ＬｏｎｄｏｎにおけるＡＲシステムの第１のユーザは、Ｎｅｗ Ｙｏｒｋに現在位置するＡＲシステムの第２のユーザとの会議に参加することを所望し得る。パス可能世界モデルは、第１のユーザが、第１のユーザの現在の物理環境を構成するパス可能世界の断片を第２のユーザにパスし、同様に、第２のユーザがＬｏｎｄｏｎにおける第１のユーザと同一部屋に居るように見えるように、第２のユーザのアバタを構成するパス可能世界の断片をパスすることを可能にしてもよい。
言い換えると、パス可能世界は、第１のユーザが、部屋についての情報を第２のユーザに伝送することを可能にし、同時に、第２のユーザが、自身を第１のユーザの物理環境内に置くためのアバタを作成することを可能にする。したがって、両ユーザは、情報を継続的に更新し、クラウドに伝送し、そこから受信し、両ユーザに、同一部屋に居る体験を同時に与える。
図１４３を参照すると、データが２つの別個の物理場所に位置する２人のユーザ間で行ったり来たり通信される方法の例示的プロセス１４３００が、開示される。各入力ＡＲシステム（例えば、センサ、カメラ、眼追跡、オーディオ等を有する）は、以下のものに類似するプロセスを有し得ることを理解されたい。例証目的のために、以下のシステムの入力は、カメラから入力されてもよいが、ＡＲシステムの任意の他の入力デバイスが同様に、使用されてもよい。
ステップ１４３０２では、ＡＲシステムは、カメラからの入力をチェックしてもよい。例えば、前述の実施例に従って、Ｌｏｎｄｏｎにおけるユーザは、会議室に居て、いくつかの図をホワイトボード上に描写してもよい。これは、ＡＲシステムのための入力を構成してもよく、またはそうでなくてもよい。パス可能世界は、複数のユーザから受信されるデータに応じて、常時、更新および構築されているため、クラウド上に存在する仮想世界は、新しい情報のみがクラウドに更新される必要があるように、ますます精密になる。
例えば、ユーザが、単に、部屋を動き回る場合、Ｎｅｗ ＹｏｒｋにおけるユーザのＡＲデバイスが、Ｌｏｎｄｏｎにおけるユーザから新しいデータを能動的に受信せずに、Ｌｏｎｄｏｎにおける会議室を投影可能であるように、十分な３Ｄ点、姿勢データ情報等をすでに有し得る。しかしながら、Ｌｏｎｄｏｎにおけるユーザが、会議室内のボード上に図を描写する等の新しい情報を追加している場合、これは、パス可能世界モデルに伝送され、Ｎｅｗ Ｙｏｒｋにおけるユーザにパスされる必要がある、入力を構成し得る。したがって、ステップ１４３０４では、ユーザデバイスは、受信された入力が有効な入力であるかどうかをチェックする。受信された入力が有効ではない場合、システムが単にさらなる入力をチェックするような待機ループが置かれる１４３０２。
入力が有効である場合、受信された入力は、ステップ１４３０６において、クラウドサーバにフィードされる。例えば、ＦＯＶカメラを通して収集される全ての点に関連付けられたデータを送信するのではなく、ボードへの更新のみ、サーバに送信されてもよい。
クラウドサーバ上では、ステップ１４３０８において、入力が、ユーザデバイスから受信され、ステップ１４３１０において、パス可能世界モデルの中に更新される。前述のシステムアーキテクチャに関して論じられるように、クラウドサーバ上のパス可能世界モデルは、処理回路、複数のデータベース（幾何学的およびトポロジマップの両方を伴うマッピングデータベース１４３３４を含む）、オブジェクト認識器１４３３２、および他の好適なソフトウェア構成要素を備えてもよい。
ステップ１４３２０では、受信された入力１４３０８に基づいて、パス可能世界モデルは、更新される。更新は、次いで、ステップ１４３１２において、更新された情報を必要とし得る、種々のユーザデバイスに送信されてもよい。ここでは、更新された情報は、パス可能世界がＮｅｗ Ｙｏｒｋにおけるユーザにパスされ、図がＬｏｎｄｏｎにおける会議室内のボード上に描写されるにつれて、第１のユーザの描写を同様に視認し得るように、Ｎｅｗ Ｙｏｒｋにおけるユーザに送信されてもよい。
第２のユーザのデバイスは、Ｎｅｗ Ｙｏｒｋにおける第２のユーザがＬｏｎｄｏｎにおける会議室に居るように知覚するように、パス可能世界モデル内の既存の情報に基づいて、Ｌｏｎｄｏｎにおける会議室のバージョンをすでに投影し得ることを理解されたい。ステップ１４３２６では、第２のユーザデバイスは、更新をクラウドサーバから受信する。ステップ１４３２８では、第２のユーザデバイスは、更新が表示される必要があるかどうかを決定してもよい。例えば、パス可能世界へのある変更は、第２のユーザに関連しない場合があり、更新されなくてもよい。
ステップ１４３３０では、更新されたパス可能世界モデルは、第２のユーザのハードウェアデバイス上に表示される。情報をクラウドサーバから送信および受信する本プロセスは、第１のユーザがアクションを行うとほぼすぐに、第２のユーザに会議室のボード上に図を描写する第１のユーザが見えるように、迅速に行われることを理解されたい。
同様に、第２のユーザからの入力はまた、ステップ１４３２０−１４３２４において受信され、クラウドサーバに送信され、パス可能世界モデルに更新される。本情報は、次いで、ステップ１４３１４−１４３１８において第１のユーザのデバイスに送信されてもよい。例えば、第２のユーザのアバタが、Ｌｏｎｄｏｎにおける会議室の物理空間内に座っているように見えると仮定すると、第２のユーザのアバタ（第２のユーザのアクション／外観を鏡映してもよく、またはそうでなくてもよい）への任意の変更もまた、第１のユーザが第２のユーザと相互作用することが可能であるように、第１のユーザに伝送されてもよい。
一実施例では、第２のユーザは、ユーザに似ている仮想アバタを作成してもよく、またはアバタは、Ｌｏｎｄｏｎにおける会議室の周囲をホバリングするハチの形態をとってもよい。いずれの場合も、第２のユーザからの入力（例えば、第２のユーザは、第１のユーザの図に応答して、その頭部を振ってもよい）もまた、第１のユーザが第２のユーザの反応を判断し得るように、第１のユーザに伝送される。この場合、受信された入力は、顔認識に基づいてもよく、第２のユーザの顔への変更は、Ｌｏｎｄｏｎにおける会議室内に投影されているアバタへの変更が第１のユーザに見えるように、パス可能世界モデルに送信され、次いで、第１のユーザのデバイスにパスされてもよい。
同様に、ＡＲシステムの複数のユーザ間で行ったり来たり効果的にパスされる、多くの他のタイプの入力が存在してもよい。特定の実施例は、変化してもよいが、ＡＲシステムのユーザとパス可能世界との間の相互作用は全て、図１４３を参照して前述のプロセスに類似する。前述のプロセスフロー図は、パス可能世界の断片にアクセスし、それを相互にパスする、複数のユーザ間の相互作用を説明するが、図１４４は、単一ユーザとＡＲシステムとの間の相互作用を図示する、例示的プロセスフロー図１４４００である。ユーザは、クラウドサーバから読み出されたデータを要求する種々のアプリケーションにアクセスし、それと相互作用してもよい。
ステップ１４４０２では、ＡＲシステムは、ユーザからの入力をチェックする。例えば、入力は、ユーザがあるタイプのデータを要求することを示す、視覚、聴覚、感覚入力等であってもよい。例えば、ユーザは、仮想テレビ上で見たばかりの広告についての情報を調べることを所望してもよい。ステップ１４４０４では、システムは、ユーザ入力が有効であるかどうかを決定する。ユーザ入力が有効である場合、ステップ１４４０６では、入力は、サーバの中にフィードされる。サーバ側では、ユーザ入力が、ステップ１４４０８において受信されると、適切なデータが、ステップ４４１０において、知識ベース１４４４０から読み出される。前述のように、データを読み出す、クラウドサーバに接続される複数の知識データベースが存在してもよい。ステップ１４４１２では、データは、読み出され、データを要求するユーザデバイスに伝送される。
ユーザデバイスに戻ると、データが、ステップ１４４１４において、クラウドサーバから受信される。ステップ１４４１６では、システムは、データが仮想コンテンツの形態で表示される必要があるかどうかを決定し、必要である場合、データは、ユーザハードウェア上に表示される１４４１８。
上記で簡単に論じられるように、多くのユーザシナリオは、ＡＲシステムが、実世界アクティビティを識別し、検出された実世界アクティビティに基づいて、自動的に、アクションを行うおよび／または仮想コンテンツを表示することを伴い得る。例えば、ＡＲシステムは、ユーザアクティビティを認識し、次いで、ユーザの基準フレームの周囲に浮遊する、ユーザインターフェースを作成し、アクティビティに関連付けられた有用情報／仮想コンテンツを提供する。同様に、多くの他の使用も想定され得、そのうちのいくつかは、以下のユーザシナリオに説明されるであろう。
ＡＲシステムの光学および種々のシステム構成要素について説明したので、ＡＲシステムのいくつかのさらなるアプリケーションが、ここで論じられる。以下に説明されるアプリケーションは、いくつかの実施形態では、システム上に別個にインストールされ得る、ハードウェアおよび／またはソフトウェア構成要素を有してもよい。他の実施形態では、システムは、種々の産業等において使用されてもよく、以下の実施形態のうちのいくつかを達成するように修正される必要があってもよい。以下の実施形態は、例証目的のために簡略化され、限定として読み取られるべきはなく、多くのより複雑な実施形態が想定されてもよいことを理解されたい。
（プライバシー）
ＡＲシステムは、ユーザの周囲からのデータ継続的に捕捉し得るため、プライバシーの懸念が存在し得る。例えば、ＡＲデバイスを装着するユーザは、秘密の会議空間の中に歩いて入り得る、または機密コンテンツ（例えば、裸、性的コンテンツ等）に暴露され得る。したがって、ＡＲシステムを使用する間、プライバシーを確実にするのに役立つ１つ以上の機構を提供することが有利であり得る。
ＡＲシステムは、ユーザの周囲からのデータ継続的に捕捉し得るため、プライバシーの懸念が存在し得る。例えば、ＡＲデバイスを装着するユーザは、秘密の会議空間の中に歩いて入り得る、または機密コンテンツ（例えば、裸、性的コンテンツ等）に暴露され得る。したがって、ＡＲシステムを使用する間、プライバシーを確実にするのに役立つ１つ以上の機構を提供することが有利であり得る。
一実装では、ＡＲシステムの１つ以上の構成要素は、情報がＡＲシステムによって収集されているとき、それを示す、視覚的インジケータを含んでもよい。例えば、頭部装着または搭載式構成要素は、視覚および／または聴覚いずれかの情報が収集されているとき、それを視覚的に示す、１つ以上の視覚的インジケータ（例えば、ＬＥＤ）を含んでもよい。例えば、視覚的情報が頭部装着式構成要素によって担持されているカメラによって収集されているとき、第１のＬＥＤが、照射されてもよく、または第１の色を放出してもよい。視覚的情報が頭部装着式構成要素によって担持されているマイクロホンまたはオーディオ変換器によって収集されているとき、第２のＬＥＤが、照射されてもよく、または第２の色を放出してもよい。
加えて、または代替として、ＡＲシステムは、ＡＲシステムのカメラまたは他の光学センサの視野内の任意の人物からの定義されたジェスチャに応答してもよい。特に、ＡＲシステムは、選択的に、定義されたジェスチャの検出に応答して、画像の捕捉を停止してもよい。したがって、ＡＲユーザの視野内の人物は、選択的に、ＡＲシステムに、単に、ジェスチャ（例えば、手のジェスチャ、腕のジェスチャ、顔のジェスチャ等）を実行することによって、画像の捕捉を停止させることができる。１つ以上の実施形態では、ＡＲシステムは、ＡＲデバイスを装着する人物のジェスチャに応答してもよい。他の実施形態では、ＡＲシステムは、ＡＲシステムを装着する人物と共有される物理空間または環境内の他者のジェスチャに応答してもよい。
さらに別の実施形態では、プライバシー目的のために、ユーザは、ＡＲシステムに関連付けられたアプリケーションに登録してもよい。これは、システムの他のユーザの画像／ビデオおよびレンダリングによって捕捉／記憶されるかどうかに関して、ユーザのさらなる制御を可能にし得る。ＡＲシステム（またはＡＲシステムに関連付けられたアプリケーション）に登録されたユーザは、システムにアカウントを有していない者よりさらなるプライバシー制御を有し得る。
例えば、登録されたユーザが、他のユーザの他のＡＲシステムによって捕捉されることを所望しない場合、システムは、その人物の認識に応じて、その特定のユーザの画像の捕捉を停止する、または代替として、その人物に関連付けられた視覚的画像をぼかしてもよい。一方、ＡＲシステムに登録されていない人物は、自動的に、登録された者よりプライバシーに関する制御を有していない。したがって、ＡＲシステム（または関連付けられたアプリケーション）に登録することがより推奨され得る。
別の実施形態では、ＡＲシステムは、ユーザの検出されたアクティビティおよび／または認識された周囲に基づいて、安全性制御を自動的に実装してもよい。ＡＲシステムは、常時、ユーザの周囲およびアクティビティ（例えば、ＦＯＶカメラ、眼カメラ、センサ等を通して）を認識しているため、ＡＲシステムは、自動的に、ＡＲシステムが特定のアクティビティまたは周囲を検出すると、一時停止モードに入ってもよい。例えば、ＡＲシステムが、ユーザが家の中の特定の部屋（例えば、浴室、子供部屋、事前指定された秘密面積等）を専有しようとしていることを決定する場合、ＡＲシステムは、自動的に、一時停止モードに入り、情報の捕捉を終了する、または選択的に、ユーザのＡＲシステムからの基本情報のみを捕捉してもよい。または、ＡＲシステムが、ユーザが特定のアクティビティ（例えば、運転等）に従事していると決定する場合、ＡＲシステムは、任意の着信メッセージまたは仮想コンテンツによってユーザの気を逸らさないように、自動的に、一時停止または「オフ」モードに入ってもよい。同様に、多くの他の安全性および／またはプライバシー制御が、他の用途では同様に実装されてもよい。
（仮想部屋／空間およびユーザインターフェースの具体的用途および実施例）
以下のセクションは、仮想部屋および／または空間の種々の実施例および用途を検討し、実生活の実践的用途の前述のＡＲシステム種々の実施形態を利用する。
以下のセクションは、仮想部屋および／または空間の種々の実施例および用途を検討し、実生活の実践的用途の前述のＡＲシステム種々の実施形態を利用する。
前述のように、ＡＲシステムは、１つ、または典型的には、それを上回る、個々のＡＲシステムのインスタンスを含んでもよい。これらの個々のＡＲシステムは、典型的には、少なくとも頭部装着または頭部搭載式構成要素を含み、少なくとも視覚的拡張現実ユーザ体験と、典型的には、聴覚的拡張現実体験とを提供する。上記で詳細に論じられるように、ＡＲシステムは、また、典型的には、プロセッサ構成要素を含む。プロセッサ構成要素は、頭部装着または搭載式構成要素と別個かつ異なり、例えば、頭部装着または搭載式構成要素に通信可能に結合される（例えば、テザリング、無線）、ベルトパック（例えば、図４Ａ−４Ｄ）であってもよい。
また、前述のように、ＡＲシステムは、随意に、１つ以上の空間または部屋ベースのセンサシステム（例えば、図２６）を含んでもよい。空間または部屋ベースのセンサシステムは、１つ以上の画像捕捉デバイス（例えば、カメラ）を含んでもよい。カメラは、空間、例えば、部屋を監視するために位置してもよい。例えば、カメラは、部屋内のいくつかの角に位置付けられてもよい。カメラは、例えば、頭部装着または搭載式構成要素の前方に面したカメラに構造が非常に類似する、またはさらに同じであってもよい。したがって、これらのカメラは、好ましくは、３Ｄ情報を、例えば、明視野として捕捉する。空間または部屋ベースのセンサシステムデバイスのカメラは、典型的には、頭部装着または搭載式構成要素のカメラとは対照的に、空間内に固定される。１つ以上の実施形態では、複数の空間または部屋毎の空間または部屋ベースのセンサシステムが存在してもよい。
また、前述のように、ＡＲシステムは、オブジェクトを認識する（例えば、分類上の認識、および／または具体的認識）、複数のオブジェクト認識器を採用してもよい。ＡＲシステムは、空間の構造および／またはコンテンツのオブジェクト認識に基づいて、空間を認識することができる。また、前述のように、ＡＲシステムは、付加的情報、例えば、時間、地理的座標（ＧＰＳ場所情報）、コンパス方向、無線ネットワーク等）を採用して、空間を識別してもよい。
１つ以上の実施形態では、ＡＲシステムは、仮想空間（例えば、メタ部屋）をユーザの視野内に取り込む、またはレンダリングしてもよい。例えば、個々のＡＲシステムは、仮想画像をユーザの網膜にレンダリングまたは投影し、実世界または物理空間のユーザのビュー上に与えてもよい。同様に、上記で詳述された任意の他の光学アプローチが、使用されてもよい。
ＡＲシステムは、様々な日々の用途のために使用されてもよい。ＡＲシステムは、ユーザが勤務中、使用されてもよく、ユーザの作業の成果を向上させるのにさせ役立ち得る。また、例えば、ＡＲシステムは、ユーザを訓練する際（例えば、教育訓練、運動訓練、仕事関連訓練等）に使用されてもよい。さらなる実施例として、ＡＲシステムは、エンターテインメント（例えば、ゲーム用）のために使用されてもよい。なおもさらなる実施例として、ＡＲシステムは、例えば、命令および／または動機付けを提供することによって、運動を補助する際に使用されてもよい。例えば、ＡＲシステムは、ユーザが追尾する何らかのもの（例えば、世界クラスランナー）またはユーザを追尾する仮想キャラクタ（例えば、Ｔ−Ｒｅｘ）をレンダリングしてもよい。
１つ以上の実施形態では、ＡＲシステムは、付加的特定用途向け構成要素を備えてもよい。例えば、ＡＲシステムは、１つ以上の随意のセンサ（例えば、歩数計、運動センサ、心拍数センサ、呼吸数センサ、発汗センサ等）に通信可能に結合されてもよい。１つ以上の実施形態では、ＡＲシステムは、動機付けコンテンツをゲーム（例えば、シークレットエージェントテーマのゲーム）として提示してもよい。ＡＲシステムはまた、種々のタイプのトーテム（または以下にさらに詳細に説明されるであろうように、ユーザ入力を提供するために使用され得る、オブジェクト）を採用してもよい。言い換えると、ＡＲシステムは、様々な拡張現実体験を提供するために使用されてもよく、日々の体験を向上させ、および／または日々のタスクを補助するために使用されてもよい。以下の開示は、一連のそのような用途および／または実施形態を検討する。以下に説明される実施形態は、例証目的のためにすぎず、限定として読み取られるべきはないことを理解されたい。
（部屋または仮想空間）
以下の議論は、仮想部屋または仮想空間の概念に対処する。本議論はまた、ユーザが仮想部屋または仮想空間間をナビゲートする方法に対処する。１つ以上の実施形態では、ユーザは、仮想部屋または仮想空間内に居るとき、具体的ツールおよび／またはアプリケーションにアクセスしてもよい。
以下の議論は、仮想部屋または仮想空間の概念に対処する。本議論はまた、ユーザが仮想部屋または仮想空間間をナビゲートする方法に対処する。１つ以上の実施形態では、ユーザは、仮想部屋または仮想空間内に居るとき、具体的ツールおよび／またはアプリケーションにアクセスしてもよい。
ＡＲシステムは、動的部屋マッピングを提供する。例えば、ＡＲシステムは、仮想空間を物理場所、物理部屋、または他の物理空間にマップしてもよい。マッピングは、手動で、半自動的に、または自動的に、行われてもよい。ＡＲシステムは、既存の部屋を物理環境にマッピングおよび修正するためのプロセスを提供する。ＡＲシステムは、複数の部屋を物理空間内に同時にマッピングするためのプロセスを提供する。ＡＲシステムは、共存体験を共有する、例えば、実装することを可能にする。また、例えば、ＡＲシステムは、具体的アプリを共有する、部屋全体を共有する、および／またはアイテムを公共またはプライベートにすることを可能にする。
いくつかの例示的シナリオが、以下に論じられる。例えば、ユーザは、物理オフィス空間内で仕事していてもよく、同僚からのメッセージが、到着し、仮想アラートをユーザにプロンプトしてもよい。別の実施例では、そのリビングルーム内に位置するユーザは、仮想部屋または空間を選択してもよく、またはその環境を仮想エンターテインメントもしくはメディアルームから仮想トレーニング部屋または仮想オフィス空間に変更してもよい。
別の実施例では、ある仮想部屋または空間内で動作しているユーザは、異なる部屋または空間に関連付けられた具体的アプリケーションを開くまたは別様にそれにアクセスしてもよい。例えば、ユーザは、エンターテインメントまたはメディアルームからのカメラアプリケーションを開くまたはそれにアクセスしてもよい。本明細書における議論から明白であろうように、ＡＲシステムは、多数の他のシナリオを実装してもよい。
仮想部屋または仮想空間は、ユーザの視野内にレンダリング可能な仮想オブジェクト、仮想ツール、アプリケーション、特徴、および他の仮想構造物（例えば、集合的に、仮想コンテンツ）の便宜的グループまたは組織である。
仮想部屋または仮想空間は、１つ以上の異なる方法で定義されてもよい。例えば、仮想部屋または仮想空間は、ｉ）アクティビティ、目標、または目的、ｉｉ）場所（例えば、仕事、家等）、ｉｉｉ）時刻等によって定義されてもよい。ユーザは、仮想部屋または仮想空間を定義または作成し、理解、使用しやすさ、および／または検索効率をサポートしてもよい。１つ以上の実施形態では、仮想部屋および／または空間は、ユーザによってカスタム定義されてもよい。
１つ以上の実施形態では、ＡＲシステムは、事前定義された仮想部屋または仮想空間のカタログまたはライブラリを提供してもよい。例えば、仮想部屋または空間は、テーマに基づいて、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、および他の仮想構造物、例えば、アプリケーション、特徴、キャラクタ、テキスト、数字、および他の記号）が事前に取り込まれてもよい。テーマは、アクティビティベース、場所ベース、時間ベース、知能ベース等であってもよい。
ＡＲシステムは、ユーザが、ユーザによって設定される選好の集合に基づいて、仮想部屋または仮想空間を作成または修正することを可能にする、ユーザインターフェースを提供する。ユーザは、部屋を最初から設計するか、または事前定義された仮想部屋もしくは空間を修正もしくは向上させるかのいずれかであってもよい。仮想部屋は、装着式ＡＲシステムのユーザインターフェースを介して、仮想部屋または空間内の仮想コンテンツを追加する、除去する、または並べ替えることによって修正されてもよい。
図７４Ａは、例証される実施形態の１つによる、第１の時間における、仮想オフィスの形態で、物理オフィス空間７４０２内に座っており、装着式ＡＲシステム７４０１を使用して、仮想部屋または仮想空間を体験している、ユーザを示す。
物理オフィスは、１つ以上の物理オブジェクト、例えば、壁、床（図示せず）、天井（図示せず）、机、および椅子を含んでもよい。図示されるようにＡＲシステムは、仮想部屋７４０２をレンダリングして、ユーザは、仕事関連タスクを行ってもよい。故に、仮想オフィスには、ユーザの仕事を行う際に有用な種々の仮想ツールまたはアプリケーションが取り込まれる。
仮想ツールまたはアプリケーションは、図７４Ａに示されるように、例えば、種々の仮想オブジェクトまたは他の仮想コンテンツ、例えば、２次元図面または概略、２次元画像または写真、および／または３次元建築モデルを含んでもよい。仮想ツールまたはアプリケーションは、ルーラ、キャリパ、コンパス、分度器、テンプレート、またはステンシル等のツールを含んでもよい。仮想ツールまたはアプリケーションは、例えば、種々のソフトウェアアプリケーション（例えば、電子メール、ウェブブラウザ、ワードプロセッサソフトウェア、プレゼンテーションソフトウェア、スプレッドシートソフトウェア、音声電子メールソフトウェア等）のためのインターフェースを含んでもよい。
図７４Ａに示されるように、いくつかの仮想オブジェクトは、相互に対してスタックまたはオーバーレイされてもよい。ユーザは、対応するジェスチャを用いて、所望の仮想オブジェクトを選択してもよい。例えば、ユーザは、指フリックジェスチャを用いて、文書または画像のページをめくり、仮想オブジェクトのスタックを通して反復的に移動させてもよい。仮想オブジェクトのうちのいくつかは、メニューの形態をとってもよく、その選択は、サブメニューのレンダリングを生じさせてもよい。図７４Ａに示されるように、ユーザは、ユーザがＡＲデバイス７４０１を通して視認し得る、仮想コンテンツの集合が示される。例証される実施形態では、ユーザは、手のジェスチャを利用して、仮想建築モデルを構築および／または向上させてもよい。したがって、モデルを物理構造から構築する必要なく、建築モデルは、単に、３Ｄで視認および構築され、それによって、構造を視覚化するより現実的かつ容易に修正可能な方法を提供する。
ここで図７４Ｂを参照すると、図７４Ｂの物理オフィスは、図７４Ａのものと同じであって、図７４Ｂの仮想オフィスは、図７４Ａの仮想オフィスに類似する。同じまたは類似要素は、図７４Ａにおけるものと同一参照番号を使用して識別される。有意な差異のみが、以下に論じられる。
図７４Ｂに示されるように、ＡＲシステムは、仮想アラートまたは通知を仮想オフィス内のユーザにレンダリングしてもよい。例えば、ＡＲシステムは、仮想アラートまたは通知の視覚的表現をユーザの視野内にレンダリングしてもよい。ＡＲシステムは、加えて、または代替として、仮想アラートまたは通知の聴覚的表現をレンダリングしてもよい。
図７５は、１つ以上の実施形態による、別の例示的仮想部屋を図示する。図７５の仮想部屋７５００に示されるように、ユーザは、装着式ＡＲシステム７５０１を装着しており、物理リビングルーム内で１つ以上の仮想要素を体験している。しかしながら、リビングルームは、図７４Ａおよび７４Ｂのものと同様に、仮想建築モデル等の１つ以上の仮想要素が取り込まれている。例えば、ユーザは、家に居てもよいが、建築モデルで作業することを所望し得る。したがって、ユーザは、図７５に示されるように、仮想建築モデルがテーブルの上部にあるように、ＡＲシステムに、リビングルームの物理テーブル上に最新の保存されたバージョンの建築モデルをレンダリングさせてもよい。
物理リビングルームは、１つ以上の物理オブジェクト、例えば、壁、床、天井、コーヒーテーブル、およびソファを含んでもよい。図７４Ａ−Ｂおよび７５が図示するように、仮想オフィスは、種々の異なる物理環境においてレンダリング可能である、ポータブルであってもよい。したがって、仮想オフィスが、後続使用において、仮想オフィスが最新の使用またはレンダリングに現れたようにその外観またはレイアウトを同じくレンダリングする場合、特に有利であり得る。したがって、各後続使用またはレンダリングにおいて、同一仮想オブジェクトが現れ、種々の仮想オブジェクトが、仮想オフィスの最新のレンダリングにおけるものと相互に対してその同一空間位置を保ち得る。
いくつかの実装では、ある使用から次の後続使用における外観またはレイアウトの本一貫性または持続性は、仮想空間がレンダリングされる物理環境から独立し得る。したがって、第１の物理環境（例えば、物理オフィス空間）から第２の物理環境（例えば、物理リビングルーム）への移動は、仮想オフィスの外観またはレイアウトに影響を及ぼさないであろう。
図７６は、装着式ＡＲシステム７６０１を使用するユーザを含む、別のシナリオ７６００を示す。例証される実施形態では、ユーザは、再び、その自身の実リビングルーム内に居るが、いくつかの仮想要素（例えば、仮想ＴＶ画面７６０４、靴の仮想広告７６０８、仮想ミニフットボールゲーム７６１０等）を体験している。図７６に示されるように、仮想オブジェクトは、部屋の実物理オブジェクト（例えば、机、壁等）に関係して設置される。
物理リビングルームは、１つ以上の物理オブジェクト、例えば、壁、床、天井、コーヒーテーブル、およびソファを含んでもよい。便宜上、物理リビングルームは、図７５のものと同じであるように図示される。故に、同じまたは類似要素は、図７５におけるものと同一参照番号を使用して識別され、仮想オフィスの議論は、簡略化目的のために繰り返されないであろう。
図示されるようにＡＲシステムは、仮想部屋または仮想空間を仮想エンターテインメントまたはメディアルームの形態でレンダリングし、ユーザは、くつろいでおり、および／またはエンターテインメントを楽しんでいる、もしくはメディア（例えば、ＴＶプログラム、映画、ゲーム、音楽、読書等）を消費している。故に、仮想エンターテインメントまたはメディアルームは、種々の仮想ツールまたはアプリケーションが取り込まれる。
ＡＲシステム７６０１は、仮想テレビまたは一次画面７６０４とともに仮想エンターテインメントまたはメディアルームをレンダリングしてもよい。仮想テレビまたは一次画面は、任意の所望のサイズにレンダリングされることができる。仮想テレビまたは一次画面はさらに、物理部屋の制限を超えて延在し得る。ＡＲシステムは、仮想テレビまたは一次画面をレンダリングし、任意の既知のまたはまだ発明されていない物理テレビを複製してもよい。
したがって、ＡＲシステムは、仮想テレビまたは一次画面をレンダリングし、１９５０、１９６０、もしくは１９７０年代からの年代物または古典的テレビを複製してもよく、または任意の現在のテレビを複製してもよい。例えば、仮想テレビまたは一次画面は、具体的メーカーおよびモデルおよび年式の物理テレビの外観とともにレンダリングされてもよい。また、例えば、仮想テレビまたは一次画面は、具体的メーカーおよびモデルおよび年式の物理テレビの同一映像特性とともにレンダリングされてもよい。同様に、ＡＲシステムは、具体的メーカーおよびモデルおよび年式の物理テレビからの音と同一聴覚特性を有するように音をレンダリングしてもよい。
ＡＲシステムはまた、メディアコンテンツが仮想テレビまたは一次画面によって表示されているかのように見えるようにメディアコンテンツをレンダリングする。メディアコンテンツは、テレビ番組、映画、ビデオ会議、または電話等を含む、多種多様な形態のいずれかをとってもよい。
ＡＲシステムは、１つ以上の付加的仮想テレビまたは二次画面とともに、仮想エンターテインメントまたはメディアルームをレンダリングしてもよい。付加的仮想テレビまたは二次画面は、ユーザが、第２の画面体験を楽しむことを可能にしてもよい。
例えば、第１の二次画面７６１０は、ユーザが、プレーヤおよびチームに関する種々の統計を含む、ファンタジーリーグ（例えば、ファンタジーフットボールリーグ）のファンタジーチームまたはプレーヤのステータスを監視することを可能にしてもよい。
加えて、または代替として、第２の画面７６１０は、ユーザが、他のアクティビティ、例えば、一次画面上のメディアコンテンツにわずかでも関連するアクティビティを監視することを可能にしてもよい。
例えば、第２の画面７６１０は、ユーザが試合のうちの１つを一次画面上で観戦している間、競技連盟またはリーグからの試合におけるスコアの一覧を表示してもよい。また、例えば、第２の画面７６１０は、ユーザが試合のうちの１つを一次画面上で観戦している間、競技連盟またはリーグからの試合からのハイライトを表示してもよい。二次画面のうちの１つ以上のものは、図７６に図示されるようにスタックされ、ユーザが、例えば、ジェスチャを介して、二次画面を上に持ってくることを選択することを可能にしてもよい。例えば、ユーザは、ジェスチャを使用して、二次画面のスタックを通して順番にトグルしてもよく、またはジェスチャを使用して、特定の二次画面を他の二次画面に対して前景に持ってくることを選択してもよい。
ＡＲシステムは、１つ以上の３次元リプレイまたはプレイバックタブレットとともに、仮想エンターテインメントまたはメディアルームをレンダリングしてもよい。３次元リプレイまたはプレイバックタブレットは、小型模型において、ユーザが一次ディスプレイ上で観戦している試合のピッチまたは競技場を複製し、例えば、「神の眼ビュー」を提供してもよい。３Ｄ次元リプレイまたはプレイバックタブレットは、例えば、ユーザが、一次画面上に現れるメディアコンテンツのオンデマンドプレイバックまたはリプレイを楽しむことを可能にしてもよい。
これは、プレイバックまたはリプレイされるメディアコンテンツの部分のユーザ選択を含んでもよい。これは、特殊効果、例えば、スローモーションリプレイ、停止もしくは静止画リプレイ、または実際の時間より高速である加速もしくは高速モーションリプレイのユーザ選択を含んでもよい。例えば、ユーザは、１つ以上のジェスチャを使用して、フットボールの試合中のプレイのリプレイの間、レシーバーのルートに注釈マーキングを追加する、またはラインマンもしくはクォーターバックに対するブロッキング任務をマークしてもよい。
３Ｄリプレイまたはプレイバックタブレットはさらに、ユーザが、レビューされている以前のプレイの展開方法を修正する、変更（例えば、異なる指示）を追加することを可能にしてもよい。例えば、ユーザは、レシーバーによって走行されるルートの変更またはラインマンもしくはクォーターバックに割り当てられるブロッキング任務を規定してもよい。ＡＲシステム７６０１は、実際のプレイの基本パラメータを使用し、１つ以上のパラメータを修正し、次いで、ゲームエンジンをパラメータ上で実行し、実際の物理ゲーム内で実行されたものであるが、ユーザ修正を伴う、以前のプレイを展開してもよい。
例えば、ユーザは、ワイドレシーバーに対する代替ルートを追跡してもよい。ＡＲシステムは、選択されたワイドレシーバー、クォーターバック、およびワイドレシーバーをカバーするであろう任意のディフェンスプレーヤ以外、プレーヤのアクションに変更を行わなくてもよい。仮想ファンタジープレイ全体が展開されてもよく、さらに、実際のプレイと異なる結果を生成してもよい。これは、例えば、コマーシャルの時間またはゲーム中のタイムアウトの間に生じてもよい。
これは、ユーザが、実戦経験のないコーチまたはプレーヤとしてその能力を試すことを可能にする。類似アプローチは、他のスポーツにも適用され得る。例えば、いくつかの実施例を挙げると、ユーザは、バスケットボールの試合のリプレイにおいて異なるプレー指示を出してもよく、または野球の試合のリプレイにおいて異なるピッチを要求してもよい。ゲームエンジンの使用は、ＡＲシステムが、統計的機会の要素を、但し、実際のゲームにおいて予期されるであろうものの制約内において、導入することを可能にする。
ＡＲシステムは、追加の仮想コンテンツ、例えば、３Ｄ仮想広告をレンダリングしてもよい。３Ｄ仮想広告７６０８の主題またはコンテンツは、例えば、少なくとも部分的に、仮想テレビまたは一次画面上で再生もしくは視聴されているコンテンツに基づいてもよい。
ＡＲシステムは、仮想制御をレンダリングしてもよい。例えば、ＡＲシステムは、ユーザの腕の届く範囲内に見えるようにユーザの視野内にマップされた仮想制御をレンダリングしてもよい。
ＡＲシステムは、ユーザが、仮想空間から仮想空間にナビゲートすることを可能にする。例えば、ユーザは、仮想オフィス空間（図７４Ａおよび７４Ｂ）と仮想エンターテインメントまたはメディア空間（図７５および７６）との間をナビゲートしてもよい。本明細書に論じられるように、ＡＲシステムは、あるユーザ入力に応答して、ある仮想空間から別の仮想空間に直接ナビゲートする、または利用可能な仮想空間の集合を通してトグルもしくはブラウズすることを可能にしてもよい。仮想空間の集合は、ユーザ特有、ユーザが属するエンティティ特有であってもよく、および／またはシステム全体に及ぶ、もしくは全ユーザに一般的であってもよい。
仮想部屋または仮想空間間のユーザ選択および／またはナビゲーションを可能にするために、ＡＲシステムは、例えば、ジェスチャ、音声コマンド、眼追跡、および／または、例えば、頭部装着式構成要素、ベルトパック、または個々のＡＲシステムの他の物理構造によって担持される物理ボタン、キー、もしくはスイッチの選択のうちの１つ以上のものに応答してもよい。ユーザ入力は、仮想空間もしくは部屋の直接選択を示してもよく、またはメニューもしくはサブメニューのレンダリングを生じさせ、仮想空間もしくは部屋のユーザ選択を可能にしてもよい。
図７７は、図７６のシナリオと同様に、ユーザが、物理リビングルーム空間内に座っており、そのリビングルーム内で仮想要素を体験している、別のシナリオ７７００を示す。本実施形態では、ユーザは、スワイプ運動において左から右に移動するユーザの手によって示されるように、手のジェスチャを使用し、種々の仮想ユーザインターフェースに目を通す。
図７７に図示されるように、ＡＲシステムは、ユーザに、仮想部屋または仮想空間の選択肢の表現と、可能性として、ユーザに利用可能な仮想部屋または仮想空間の集合内で現在選択されている仮想部屋または仮想空間の位置とを提供する、ユーザインターフェースツールをレンダリングしてもよい。図示されるように、表現は、マークまたは記号の線の形態をとり、各マーキングは、ユーザに利用可能な仮想部屋または仮想空間のそれぞれのものを表す。仮想部屋または仮想空間のうちの現在選択されているものは、視覚的に強調され、ユーザが、その集合を通して前方または後方にナビゲートするのを補助する。
図７８Ａおよび７８Ｂは、それぞれ、類似シナリオ７８０２および７８０４を示す。図７８Ａおよび７８Ｂに示されるように、場面は、仮想要素（例えば、仮想画面、広告等）の集合を有する、ＡＲシステム７８０１を装着するユーザのリビングルーム内に設定される。図７７に図示される実施形態と同様に、ユーザは、手のジェスチャを使用して、ＡＲシステムと相互作用する。図７８Ａに示されるように、ユーザは、認識されたジェスチャにおいて両手を移動させ、付加的機能またはアプリケーションを開く。図７８Ｂに示されるように、ユーザのジェスチャに応答して、付加的仮想インターフェース要素（または「アプリ」）が、ユーザのビュー内にレンダリングされてもよい。
図７８Ａに図示されるように、ユーザは、第１のジェスチャ（両頭矢印によって図示される）を実行し、アイコンベースのクラスタユーザインターフェース仮想構造物（図７８Ｂ）を開く。ジェスチャは、ユーザの腕および／または手もしくはユーザの身体の他の部分、例えば、頭部姿勢または眼の移動を含んでもよい。代替として、ユーザは、発話コマンドを使用して、アイコンベースのクラスタユーザインターフェース仮想構造物（図７８Ｂ）にアクセスしてもよい。より包括的メニューが所望される場合、ユーザは、異なるジェスチャを使用してもよい。前述の実施例は、例証目的のために手のジェスチャを使用するが、任意の他のタイプのユーザ入力が同様に、使用されてもよい（例えば、眼ジェスチャ、音声コマンド、トーテム等）。
図７８Ｂに図示されるように、アイコンベースのクラスタユーザインターフェース仮想構造物７８０８は、ユーザが選択し得る、種々の異なる仮想部屋または空間の小仮想表現の集合を提供する。本仮想ユーザインターフェース７８０８は、仮想部屋または仮想空間の表現を介して、仮想部屋または仮想空間への迅速なアクセスを提供してもよい。小仮想表現自体は、機能的仮想コンテンツを含まないという点において、本質的に、非機能的である。したがって、小仮想表現は、小仮想表現のうちの１つの選択に応答して、対応する仮想部屋または空間の機能的表現のレンダリングを生じさせることが可能であることを除き、非機能的である。
小仮想表現の集合は、特定のユーザに利用可能な仮想部屋または空間の集合もしくはライブラリに対応してもよい。集合が比較的に多数の選択肢を含む場合、アイコンベースのクラスタユーザインターフェース仮想構造物は、例えば、ユーザが、選択肢をスクロールすることを可能にしてもよい。例えば、第２のジェスチャに応答して、ＡＲシステムは、１つのアイコンが視野（例えば、最右アイコン）から外れ、新しいアイコンが視野に入った状態において、第１の方向に（例えば、ユーザの右に向かって）シフトされたアイコンとともに、アイコンベースのクラスタユーザインターフェース仮想構造物を再レンダリングしてもよい。新しいアイコンは、アイコンベースのクラスタユーザインターフェース仮想構造物の時間的に直前のレンダリングに表示、レンダリング、または示されていなかったそれぞれの仮想部屋または仮想空間に対応する。第３のジェスチャは、例えば、ＡＲシステムにアイコンを反対方向に（例えば、ユーザの左に向かって）スクロールさせてもよい。
仮想部屋または仮想空間のユーザ選択に応答して、ＡＲシステムは、ユーザの視野内に見えるように、仮想部屋または仮想空間に関連付けられた仮想コンテンツをレンダリングしてもよい。仮想コンテンツは、物理空間にマップまたは「糊付け」されてもよい。例えば、ＡＲシステムは、仮想コンテンツのそれぞれのアイテムまたはインスタンスが物理空間内の種々の物理表面、例えば、壁、テーブル等上にあるかのように見えるように、ユーザの視野内に位置付けられる仮想コンテンツの一部または全部をレンダリングしてもよい。また、例えば、ＡＲシステムは、仮想コンテンツのそれぞれのアイテムまたはインスタンスが、物理空間内、例えば、ユーザの届く範囲内に浮遊しているかのように見えるように、ユーザの視野内に位置付けられる仮想コンテンツの一部または全部をレンダリングしてもよい。
図７９Ａは、例証される実施形態の１つによる、物理リビングルーム空間７９０２内に座っており、ＡＲシステム７９０１を使用して、仮想エンターテインメントまたはメディアルームの形態における仮想部屋または仮想空間（前述の実施形態と同様に）を体験しているユーザであって、ユーザインターフェース仮想構造物７９０４と相互作用するためのジェスチャを実行している、ユーザを示す。
図７９Ａに図示されるように、ＡＲシステム７９０１は、ユーザの視野内に見えるように、好ましくは、ユーザの届く範囲内に常駐するように見えるように、機能的グループまたはポッドユーザインターフェース仮想構造物７９０４をレンダリングしてもよい。ポッドユーザインターフェース仮想構造物７９０４は、便宜的に、ある仮想部屋または仮想空間から別の仮想部屋または仮想空間と論理的に関連付けられた機能的ツールおよびアプリケーションへのアクセスを提供する、複数の仮想部屋または仮想空間ベースのアプリケーションを含む。ポッドユーザインターフェース仮想構造物７９０４は、ユーザのための小型ワークステーションを形成してもよい。
ＡＲシステムは、ポッドユーザインターフェース仮想構造物または仮想部屋もしくは空間の仮想コンテンツとのユーザ相互作用を検出する。例えば、ＡＲシステムは、コンテキスト依存部屋を通してナビゲートするためのスワイプジェスチャを検出してもよい。ＡＲシステムは、例えば、ユーザが異なる部屋に居ることを示す、通知またはダイアログボックス７９０８をレンダリングしてもよい。通知またはダイアログボックス７９０８は、ユーザに、ユーザがＡＲシステムが行うことを所望するであろうアクション（例えば、既存の部屋を閉じ、自動的に部屋のコンテンツをマップする、自動的に部屋のコンテンツを既存の部屋にマップする、またはキャンセルする）に関してクエリしてもよい。
図７９Ｂは、例証される実施形態の１つによる、物理リビングルーム空間内に座っており、ＡＲシステムを使用して、仮想エンターテインメントまたはメディアルームの形態における仮想部屋または仮想空間を体験している、ユーザであって、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している、ユーザを示す。
図７９Ａと同様に、ＡＲシステム７９０１は、ユーザの視野内に見えるように、好ましくは、ユーザの届く範囲内に常駐するように見えるように、機能的グループまたはポッドユーザインターフェース仮想構造物７９０４をレンダリングしてもよい。図７９Ｂに図示されるように、ＡＲシステム７９０１は、ポッドユーザインターフェース仮想構造物７９０４または仮想部屋もしくは空間の仮想コンテンツとのユーザ相互作用を検出する。例えば、ＡＲシステムは、コンテキスト依存仮想部屋または仮想空間にナビゲートし、それを開くためのスワイプまたは挟むジェスチャを検出してもよい。ＡＲシステムは、選択される表現を示すように、視覚的効果をレンダリングしてもよい。
図７９Ｃは、例証される実施形態の１つによる、物理リビングルーム空間内に座っており、ＡＲシステム７９０１を使用して、仮想エンターテインメントまたはメディアルームの形態における仮想部屋または仮想空間を体験している、ユーザであって、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している、ユーザを示す。
図７９Ｃに図示されるように、ＡＲシステムは、図７９Ｂに図示される表現の選択に応答して、選択されたアプリケーションをユーザの視野内にレンダリングしてもよい。例えば、ユーザは、仮想エンターテインメントまたはメディアルームもしくは空間を視認しながら、ソーシャルネットワーキングアプリケーション、ウェブブラウジングアプリケーション、または電子メール（電子メール）アプリケーションを、例えば、仮想作業空間から選択してもよい。
図７９Ｄは、例証される実施形態の１つによる、別の場面７９０８を示し、ユーザは、物理リビングルーム空間内に座っており、ＡＲシステム７９０１を使用して、仮想エンターテインメントまたはメディアルームの形態における仮想部屋または仮想空間を体験しており、ユーザは、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している。
図７９Ｄに図示されるように、ユーザは、一般に使用されるアプリケーション（例えば、カメラアプリケーション）のためのホットキーとしての役割を果たす、定義されたジェスチャを行ってもよい。ＡＲシステムは、ユーザのジェスチャを検出し、ジェスチャを解釈し、対応するアプリケーションを開くまたは実行する。例えば、ＡＲシステムは、定義されたジェスチャに応答して、選択されたアプリケーション７９２０または選択されたアプリケーションのユーザインターフェースをユーザの視野内にレンダリングしてもよい。特に、ＡＲシステムは、例えば、ユーザの腕が到達する範囲内に見えるように、完全に機能的バージョンの選択されたアプリケーションまたはアプリケーションユーザインターフェースをユーザの眼の網膜にレンダリングしてもよい。
カメラアプリケーション７９２０は、ユーザがＡＲシステムに画像または画像データを捕捉させることを可能にする、ユーザインターフェースを含んでもよい。例えば、カメラアプリケーション７９２０は、ユーザが個々のＡＲシステムの身体または頭部装着式構成要素上の外向きに面したカメラに外向きに面したカメラおよび／またはユーザの視野内の場面の画像または画像データ（例えば、４Ｄ明視野）を捕捉させることを可能にしてもよい。
定義されたジェスチャは、好ましくは、直感的である。例えば、カメラアプリケーションまたはカメラユーザインターフェースを開くための直感的２つの手の挟むタイプジェスチャが、図７９Ｄに図示される。ＡＲシステムは、他のタイプのジェスチャを認識してもよい。ＡＲシステムは、ジェスチャをそれぞれのアプリケーションおよび／または機能にマップする、ジェスチャのカタログまたはライブラリを記憶してもよい。ジェスチャは、全て一般に使用されるアプリケーションのために定義されてもよい。ジェスチャのカタログまたはライブラリは、特定のユーザに特有であってもよい。代替として、または加えて、ジェスチャのカタログまたはライブラリは、具体的仮想部屋または仮想空間に特有であってもよい。代替として、ジェスチャのカタログまたはライブラリは、具体的物理部屋または物理空間に特有であってもよい。代替として、または加えて、ジェスチャのカタログまたはライブラリは、多数のユーザおよび／またはいくつかの仮想部屋もしくは仮想空間を横断して一般的であってもよい。
前述のように、ジェスチャは、好ましくは、特に、それぞれのジェスチャが論理的に関連付けられたまたはマップされた、特定の機能、アプリケーション、または仮想コンテンツと関係して直感的である。加えて、ジェスチャは、人間工学的であるべきである。すなわち、ジェスチャは、様々な身体サイズおよび能力のユーザによって行われることが快適であるべきである。ジェスチャはまた、好ましくは、流体運動、例えば、腕掃引を伴う。定義されたジェスチャは、好ましくは、スケーラブルである。定義されたジェスチャの集合はさらに、特に、慎重さが望ましいまたは適切であるであろう場合、離散的に行われ得る、ジェスチャを含んでもよい。一方、いくつかの定義されたジェスチャは、離散的であるべきではなく、むしろ、実証的であるべきであって、例えば、ジェスチャは、ユーザが環境内に存在する他者の画像および／またはオーディオを捕捉することを意図することを示す。ジェスチャはまた、例えば、広範囲の文化にわたって、文化的に容認可能であるべきである。例えば、１つ以上の文化において攻撃的であると見なされる、あるジェスチャは、回避されるべきである。
いくつかの提案されるジェスチャが、以下の表Ａに記載される。
ここで図７９Ｅを参照すると、例証される実施形態の１つによる、別のシナリオ７９１０が、図示され、物理リビングルーム空間内に座っており、ＡＲシステム７９０１を使用して、仮想エンターテインメントまたはメディアルームの形態における仮想部屋または仮想空間を体験している、ユーザであって、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している、ユーザを示す。
図７９Ｅに図示されるように、ＡＲシステム７９０１は、包括的仮想ダッシュボードメニューユーザインターフェースをレンダリングする、例えば、画像をユーザの眼の網膜にレンダリングする。仮想ダッシュボードメニューユーザインターフェースは、ユーザの腕が届く範囲内に離間される種々のユーザ選択可能仮想アイコンを伴って、少なくとも部分的に、ユーザを囲繞する、略環状レイアウトまたは構成を有してもよい。
ＡＲシステムは、ユーザのジェスチャまたは仮想ダッシュボードメニューユーザインターフェースのユーザ選択可能仮想アイコンとの相互作用を検出し、ジェスチャを解釈し、対応するアプリケーションを開くまたは実行する。例えば、ＡＲシステムは、定義されたジェスチャに応答して、選択されたアプリケーションまたは選択されたアプリケーションのユーザインターフェースをユーザの視野内にレンダリングしてもよい。例えば、ＡＲシステムは、完全に機能的バージョンの選択されたアプリケーションまたはアプリケーションユーザインターフェースをユーザの眼の網膜にレンダリングしてもよい。図７９Ｅに図示されるように、ＡＲシステムは、メディアコンテンツをレンダリングしてもよく、アプリケーションは、メディアコンテンツのソースである。ＡＲシステムは、アプリケーション、アプリケーションユーザインターフェース、またはメディアコンテンツをレンダリングし、他の仮想コンテンツをオーバーレイしてもよい。例えば、ＡＲシステムは、アプリケーション、アプリケーションユーザインターフェース、またはメディアコンテンツをレンダリングし、一次コンテンツのディスプレイを仮想部屋または空間（例えば、仮想エンターテインメントまたはメディアルームもしくは空間）内に表示されている仮想一次画面上にオーバーレイしてもよい。
図８０Ａは、例証される実施形態の１つによる、物理リビングルーム空間内に座っており、ＡＲシステム８００１を使用して、第１の仮想装飾（例えば、審美的外装または審美的処理）を体験している、ユーザであって、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している、ユーザを図示する、さらに別のシナリオ８００２を示す。
ＡＲシステム８００１は、ユーザが、物理部屋または物理空間の仮想装飾を変更または修正（例えば、再外装）することを可能にしてもよい。例えば、図８０Ａに図示されるように、ユーザは、ジェスチャを利用して、第１の仮想装飾、例えば、仮想火を伴う仮想暖炉ならびに第１および第２の仮想写真を持ち出してもよい。第１の仮想装飾（例えば、第１の外装）は、物理部屋または空間（例えば、物理リビングルーム）の物理構造にマップされる。
また、図８０Ａに図示されるように、ＡＲシステムは、ユーザに、仮想装飾の選択肢の表現と、可能性として、ユーザに利用可能な仮想装飾の集合内の現在選択されている仮想装飾の位置とを提供する、ユーザインターフェースツールをレンダリングしてもよい。図示されるように、表現は、マークまたは記号の線の形態をとり、各マーキングは、ユーザに利用可能な仮想装飾のそれぞれのものを表す。仮想装飾の現在選択されているものは、視覚的に強調され、ユーザが集合を通して前方または後方にナビゲートするのを補助する。仮想装飾の集合は、ユーザに特有である、物理部屋もしくは物理空間に具体的である、または２人またはそれを上回るユーザによって共有されてもよい。
図８０Ｂは、例証される実施形態の１つによる、別のシナリオ８００４を示し、ユーザは、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している。図８０Ｂに図示されるように、ユーザは、ジェスチャを利用して、第１の仮想装飾と異なる第２の仮想装飾を持ち出してもよい。第２の仮想装飾は、例えば、惑星、航空機の技術的図面または図、および仮想照明具または照明器具のビューとともに、航空機（例えば、Ｓｔａｒｓｓｈｉｐ）の司令室を複製してもよい。第２の仮想装飾を持ち出すためのジェスチャは、第１の仮想装飾を持ち出すためのジェスチャと同じであってもよく、ユーザは、本質的に、物理部屋または物理空間（例えば、物理リビングルーム）のための定義された仮想装飾の集合を通してトグル、ステップ、またはスクロールする。代替として、各仮想装飾は、それぞれのジェスチャに関連付けられてもよい。
図８０Ｃは、例証される実施形態の１つによる、物理リビングルーム空間内に座っており、ＡＲシステム８００１を使用して、第３の仮想装飾（例えば、審美的外装または審美的処理）を体験している、ユーザであって、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している、ユーザを示す、別のシナリオ８００６を図示する。
図８０Ｃに図示されるように、ユーザは、第１および第２の仮想装飾と異なる第３の仮想装飾を持ち出すためのジェスチャを行ってもよい。第３の仮想装飾は、例えば、ビーチ場面および異なる仮想写真のビューを複製してもよい。第３の仮想装飾を持ち出すためのジェスチャは、第１および第２の仮想装飾を持ち出すためのジェスチャと同じであってもよく、ユーザは、本質的に、物理部屋または物理空間（例えば、物理リビングルーム）のための定義された仮想装飾の集合を通してトグル、ステップ、またはスクロールする。代替として、各仮想装飾は、それぞれのジェスチャに関連付けられてもよい。
図８１は、例証される実施形態の１つによる、さらに別のシナリオ８１００を示し、ＡＲシステム８１０２のユーザは、仮想エンターテインメントまたはメディアルームの形態における、別の仮想部屋空間を体験しており、ユーザは、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している。
図８１に図示されるように、ＡＲシステム８１０１は、複数の仮想タブレットまたはタッチパッドを含む、階層メニューユーザインターフェース仮想構造物８１１１をユーザの視野内に見えるように、好ましくは、ユーザの届く範囲内に常駐するように見えるように、レンダリングしてもよい。これらは、ユーザが、一次メニューをナビゲートし、一次ナビゲーションメニューの特徴である、ユーザ定義された仮想部屋または仮想空間にアクセスすることを可能にする。仮想部屋または仮想空間の種々の機能または目的は、図８１に示されるように、アイコンを通して表されてもよい。
図８２は、例証される実施形態の１つによる、別のシナリオ８２００を示し、ＡＲシステム８２０１のユーザは、仮想エンターテインメントまたはメディアルームの形態における仮想部屋または仮想空間と相互作用し、ユーザは、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行し、プロキシによって入力を提供している。
図８２に図示されるように、ＡＲシステムは、複数のユーザ選択可能仮想要素を含む、ユーザインターフェース仮想構造物８２１１をユーザの視野内に見えるようにレンダリングしてもよい。ユーザは、トーテム８２１３を操作し、ユーザインターフェース仮想構造物８２１１の仮想要素と相互作用する。ユーザは、例えば、トーテム８２１３の正面を所望の要素に向けてもよい。ユーザはまた、例えば、トーテムが指示または整合される要素の選択を示す、トーテムの表面上をタップまたはタッチすることによって、トーテム８２１３と相互作用してもよい。
ＡＲシステム８２０１は、トーテムの配向およびトーテムとのユーザ相互作用を検出し、トーテムが指示または整合される要素の選択等を解釈する。ＡＲシステムは、対応するアクション、例えば、アプリケーションを開く、サブメニューを開く、または選択された要素に対応する仮想部屋もしくは仮想空間をレンダリングすることを実行する。
トーテム８２１３は、遠隔制御、例えば、一般にテレビおよびメディアプレーヤに関連付けられた遠隔制御を複製してもよい。いくつかの実装では、トーテム８２１３は、電子デバイス（例えば、テレビ、メディアプレーヤ、メディアストリーミングボックス）のための実際の遠隔制御であってもよいが、しかしながら、ＡＲシステムは、実際には、任意の無線通信信号を遠隔制御から受信しなくてもよい。遠隔制御は、バッテリを有してさえいない場合があるが、ＡＲシステムが、位置、配向、およびトーテム（例えば、遠隔制御）との相互作用を捕捉する、画像に依拠するため、依然として、トーテムとして機能する。
図８３Ａおよび８３Ｂは、例証される実施形態の１つによる、物理リビングルーム空間内に座っており、ＡＲシステム８３０１を使用して、仮想エンターテインメントまたはメディアルームの形態における仮想部屋または仮想空間を体験している、ユーザであって、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行し、入力を提供している、ユーザを例証する、シナリオ８３０２および８３０４を示す。
図８３Ａに図示されるように、ＡＲシステム８３０１は、常時利用可能である拡張可能メニューアイコンを含む、ユーザインターフェース仮想構造物をレンダリングしてもよい。ＡＲシステム８３０１は、拡張可能メニューアイコンを、ユーザの視野内内の所与の場所、または好ましくは、ユーザの視野の周辺部分、例えば、右上角に一貫してレンダリングしてもよい。代替として、ＡＲシステム８３０１は、拡張可能メニューアイコン８３１１を物理部屋または物理空間内の所与の場所に一貫してレンダリングしてもよい。
図８３Ｂに図示されるように、ユーザは、拡張可能メニューアイコン８３１１にまたはそれに向かってジェスチャを行い、拡張可能メニュー構造物８３１２を拡張してもよい。それに応答して、ＡＲシステムは、ユーザの視野内に見えるように、拡張された拡張可能メニュー構造物８３１２をレンダリングしてもよい。拡張可能メニュー構造物８３１２は、ユーザに利用可能な１つ以上の仮想部屋または仮想空間を表すように拡張してもよい。ＡＲシステム８３０１は、拡張可能メニューを、ユーザの視野内内の所与の場所に、または好ましくは、ユーザの視野の周辺部分、例えば、右上角に一貫してレンダリングしてもよい。代替として、ＡＲシステム８３０１は、拡張可能メニュー８３１１を物理部屋または物理空間内の所与の場所に一貫してレンダリングしてもよい。
図８４Ａは、例証される実施形態の１つによる、仮想装飾を体験しているＡＲシステム８４０１のユーザであって、指示ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している、ユーザを例証する、別のシナリオ８４０２を示す。
図８４Ａに図示されるように、ＡＲシステム８４０１は、いくつかの事前マップされたメニューを含む、ユーザインターフェースツールをレンダリングしてもよい。例えば、ＡＲシステム８４０１は、ユーザが１つ以上の指示ジェスチャを介して選択することができる、エンターテインメントまたはメディアコンテンツ（例えば、映画、スポーツイベント）のそれぞれの断片に対応する、いくつかのポスター状仮想画像８４１２をレンダリングしてもよい。ＡＲシステム８４０１は、例えば、図８４Ａに示されるように、リビングルームの物理壁に懸架または糊付けされているかのようにユーザに見えるように、ポスター状仮想画像８４１２をレンダリングしてもよい。
ＡＲシステム８４０１は、ユーザのジェスチャ、例えば、手または腕をポスター状仮想画像のうちの１つに向かって指示することを含み得る、指示ジェスチャを検出する。ＡＲシステムは、指示ジェスチャまたは投影ベースのプロキシ入力を、ポスター状仮想画像が表すエンターテインメントまたはメディアコンテンツの配信をトリガするように意図されるユーザ選択として認識する。ＡＲシステム８４０１は、１つ以上の実施形態では、ユーザがジェスチャを行う位置に向かって投影されるように見えるカーソルとともに、カーソルの画像をレンダリングしてもよい。
図８４Ｂは、図８４Ａのものに類似するポスター仮想画像８４１２と相互作用するＡＲシステム８４０１のユーザを例証する、別のシナリオ８４０２を示す。例証される実施形態では、ユーザは、ジェスチャ８４１６を通してポスター仮想画像８４１２と相互作用する。
図８４Ｃは、例証される実施形態の１つによる、エンターテインメントまたはメディアコンテンツの選択された（例えば、図８４Ｂのジェスチャ８４１６に基づいて）断片を体験している、ＡＲシステム８４０１のユーザであって、ユーザインターフェース仮想構造物と相互作用するためのタッチジェスチャを実行している、ユーザを示す、別のシナリオ８４０６を示す。
図８４Ｃに図示されるように、ユーザ選択に応答して、ＡＲシステム８４０１は、選択されたエンターテインメントもしくはメディアコンテンツおよび／または関連付けられた仮想メニュー（例えば、高レベル仮想ナビゲーションメニュー、例えば、余剰材料の一次特徴、エピソードの選択を可能にする、ナビゲーションメニュー）のディスプレイ８４２０をレンダリングする。図８４Ｃに図示されるように、選択されたエンターテインメントまたはメディアコンテンツのディスプレイは、第１の仮想装飾の少なくとも一部に取って代わってもよい。
図８４Ｃに図示されるように、応答ユーザ選択に応答して、ＡＲシステムはまた、高レベル仮想ナビゲーションメニューより詳細な仮想ナビゲーションメニュー８４２２を提供する、仮想タブレットタイプユーザインターフェースツールをレンダリングしてもよい。より詳細な仮想ナビゲーションメニュー８４２２は、高レベル仮想ナビゲーションメニューのメニュー選択肢ならびに付加的選択肢（例えば、付加的コンテンツの読み出し、メディアタイトルまたはシリーズに関連付けられた双方向ゲームのプレイ、場面選択、キャラクタ調査、俳優調査、コメント）の一部または全部を含んでもよい。例えば、ＡＲシステムは、例えば、ユーザの腕が届く範囲内のテーブルの上側表面上にあるかのようにユーザに見えるように、詳細な仮想ナビゲーションメニューをレンダリングしてもよい。
（ユーザ体験小売実施例）
図８９Ａ−８９Ｊは、例証される実施形態の１つによる、ＡＲシステム実装小売体験を図示する。図示されるように、それぞれ、それぞれの個々のＡＲシステム（それぞれ、８９０１および８９０３）を装着している、母親および娘は、小売環境、例えば、スーパーマーケット内で買物中、拡張現実体験８９０２を受信する。本明細書に説明されるように、ＡＲシステムは、買物体験を促進することに加え、エンターテインメントを提供してもよい。
図８９Ａ−８９Ｊは、例証される実施形態の１つによる、ＡＲシステム実装小売体験を図示する。図示されるように、それぞれ、それぞれの個々のＡＲシステム（それぞれ、８９０１および８９０３）を装着している、母親および娘は、小売環境、例えば、スーパーマーケット内で買物中、拡張現実体験８９０２を受信する。本明細書に説明されるように、ＡＲシステムは、買物体験を促進することに加え、エンターテインメントを提供してもよい。
例えば、ＡＲシステムは、仮想コンテンツ、例えば、ボックスまたは段ボール箱から飛び出し、および／または選択されたアイテムに対する仮想クーポンをもたらすように見え得る、仮想キャラクタをレンダリングしてもよい。ＡＲシステムは、ゲーム、例えば、店舗全体を通した場所に基づく、および／または買物一覧、お気に入りの一覧、または宣伝アイテムの一覧上のアイテムに基づく、ゲームをレンダリングしてもよい。拡張現実環境は、親または同伴の成人がアイテムを取り上げる必要がある、各場所を通して移動する間、子供がプレイするように促す。
別の実施形態では、ＡＲシステムは、食物選択肢についての情報を提供してもよく、ユーザのその健康／体重／生活スタイル目標を支援してもよい。ＡＲシステムは、ユーザがそれを消費中、種々の食物のカロリー数をレンダリングし、したがって、その食物選択肢についてユーザを教育してもよい。ユーザが健康ではない食物を消費している場合、ＡＲシステムは、ユーザが知らされた選択肢を行うことが可能であるように、ユーザに食物について警告してもよい。
ＡＲシステムは、例えば、無線周波数識別（ＲＦＩＤ）トランスポンダおよび通信を使用して、仮想クーポンをさりげなくレンダリングしてもよい。ＡＲシステムは、アイテムに結び付けられるまたはそれと近接して関連付けられた視覚的効果をレンダリングし、例えば、ボックスの周囲に、アイテムに関連付けられたメタデータが存在することを示す、発光効果を発光させてもよい。メタデータはまた、アイテムに関する割引または割戻のためのクーポンを含む、またはそこにリンクしてもよい。
ＡＲシステムは、ユーザジェスチャを検出し、例えば、定義されたジェスチャに応答して、メタデータをロック解除してもよい。ＡＲシステムは、異なるアイテムのための異なるジェスチャを認識してもよい。例えば、本明細書に説明されるように、仮想動画化創造物が、潜在的購入者または顧客に対して、クーポンを保持しながらボックスから飛び出すように見えるようにレンダリングされてもよい。例えば、ＡＲシステムは、ユーザにボックスが開く様子を知覚させる、仮想コンテンツをレンダリングしてもよい。ＡＲシステムは、顧客または消費者決定時点で広告作成および／または配信を可能にする。
ＡＲシステムは、有名人の外観を複製する、仮想コンテンツをレンダリングしてもよい。例えば、ＡＲシステムは、スーパーマーケットにおいて、有名シェフの仮想外観をレンダリングしてもよい。ＡＲシステムは、製品の抱き合わせを補助する、仮想コンテンツをレンダリングしてもよい。例えば、１つ以上の仮想効果が、１本のワインに、ワインと良く合うチーズを推奨させてもよい。ＡＲシステムは、買物者の注意を引くために、チーズに近接して見える、視覚的および／または聴覚的効果をレンダリングしてもよい。ＡＲシステムは、ユーザの視野内にユーザにあるクラッカーを推奨するチーズを知覚させる、１つ以上の仮想効果をレンダリングしてもよい。ＡＲシステムは、種々の製品（例えば、ワイン、チーズ、クラッカー）に関する意見またはコメントを提供し得る、仮想友人をレンダリングしてもよい。ＡＲシステムは、ユーザの視野内に、ユーザが従っている食事に関連する、仮想効果をレンダリングしてもよい。例えば、効果は、細いバージョンのユーザの画像を含んでもよく、これは、ユーザが高カロリー製品を見ていることに応答してレンダリングされる。これは、食事に関する聴覚リマインダを含んでもよい。
特に、図８９Ａは、母親および娘が食料品店において拡張現実体験を楽しんでいる、シナリオ８９０２を図示する。ＡＲシステム（８９０１および８９０３）は、買物カートの存在または買物カート上の手を認識してもよく、ユーザおよび／または買物カートの場所を決定してもよい。本検出された場所に基づいて、１つ以上の実施形態では、ＡＲシステムは、図８９Ａに示されるように、買物カートのハンドルにテザリングされる、仮想ユーザインターフェース８９３２をレンダリングしてもよい。１つ以上の実施形態では、仮想ユーザインターフェース８９３２は、ＡＲシステム８９０１および８９０３の両方、または単に、母親のＡＲシステム８９０１に可視であってもよい。例証される実施形態では、仮想クーポン８９３４もまた、表示される（例えば、フローティング式仮想コンテンツ、壁にテザリングされる等）。１つ以上の実施形態では、食料品店は、ＡＲシステムのユーザによって視認可能であるよう、仮想クーポンが食料品店の種々の物理場所においてユーザに方略的に表示されるように、アプリケーションを開発してもよい。
アプリケーションは、例えば、仮想食料品一覧を含んでもよい。食料品一覧は、ユーザ定義された基準（例えば、夕食のレシピ）によって編成されてもよい。仮想食料品一覧は、ユーザが家を出る前に生成されてもよく、またはある後の時間に生成される、もしくはさらにオンザフライで生成され、例えば、他のアプリケーションのうちの１つと協働してもよい。アプリケーションは、例えば、種々の製品に関する割引または割戻と交換できる仮想クーポンを含む、仮想クーポンブックを含んでもよい。アプリケーションは、例えば、種々のレシピ、目次、インデックス、および材料一覧を含む、仮想レシピ本を含んでもよい。仮想レシピの選択は、ＡＲシステムに食料品一覧を更新させてもよい。
いくつかの実装では、ＡＲシステムは、冷蔵庫、冷凍庫、またはカップボード内のいずれかにかかわらず、ユーザがすでに家に有している種々の材料の知識に基づいて、食料品一覧を更新してもよい。ＡＲシステムは、ユーザがその家のキッチン内で作業する際、１日を通して本情報を収集してもよい。アプリケーションは、例えば、仮想レシピビルダを含んでもよい。レシピビルダは、定義された材料に関するレシピを構築してもよい。例えば、ユーザは、あるタイプの魚（例えば、鮭）を入力してもよく、レシピビルダは、その材料を使用するレシピを生成してもよい。レシピビルダによって生成された仮想レシピの選択は、ＡＲシステムに食料品一覧を更新させてもよい。いくつかの実装では、ＡＲシステムは、既存の材料の知識に基づいて、食料品一覧を更新してもよい。アプリケーションは、例えば、買物カート内の全アイテムの現在までのコストの合計を維持し得る、仮想計算機を含んでもよい。
図８９Ｂは、ＡＲシステム（それぞれ、８９０１および８９０３）を伴う母親および娘が食料品店の青果コーナーにおいて拡張現実体験を楽しんでいる、別のシナリオ８９０４を示す。母親は、物理食物アイテムをスケール上で計量する。仮想コンテンツボックス８９３８は、図８９Ｂに示されるように、スケールの隣に表示され、製品についてのさらなる情報を提供してもよい。
１つ以上の実施形態では、ＡＲシステムは、アイテムの合計コスト（例えば、重量で乗算されるポンドあたりの金額）を自動的に決定し、その金額を現在までのコストの合計に入力する。１つ以上の実施形態では、ＡＲシステムは、近傍にある食料品一覧上のアイテムに注意を引くために、場所に基づいて、「スマート」仮想食料品一覧を自動的に更新する。例えば、ＡＲシステムは、仮想食料品一覧のレンダリングを更新し、あるアイテムを視覚的に強調してもよい（例えば、青果コーナー内のフルーツおよび野菜に焦点が当てられる）。図８９Ｂに示されるように、仮想名称タグ８９３６が、物理野菜（例えば、ジャガイモ、コーン等）の隣に現れ、それによって、ユーザへのリマインダとしての役割を果たしてもよい。
さらに、ＡＲシステムは、視覚的効果が、仮想食料品一覧上に現れる、近傍物理アイテムの周囲またはそれに近接して見えるように、視覚的効果をユーザの視野内にレンダリングしてもよい。図８９Ｃは、子供が、仮想アイコン８９４０を選択し、スカベンジャーハントアプリケーションを始める、別のシナリオ８９０６を示す。スカベンジャーハントアプリケーションは、子供の買物体験をより充実かつ教育的にし得る。スカベンジャーハントアプリケーションは、課題（例えば、食物アイテムを世界中の異なる国から特定する）を提示してもよい。ポイントが、食物アイテムを識別し、それらをその仮想買物カート内に入れるにつれて、子供のスコアに追加されてもよい。
図８９Ｄは、子供がフレンドリーなモンスタまたはアバタの形態におけるボーナス仮想アイコン８９４２に向かってジェスチャしている別のシナリオ８９０８を示す。ＡＲシステムは、予期しないまたはボーナス仮想コンテンツを子供のＡＲシステム８９０３の視野にレンダリングし、子供のためのより楽しくかつ充実したユーザ体験を提供してもよい。
図８９Ｅは、母親および娘が食料品店のシリアル通路に居る、別のシナリオ８９１０を示す。母親は、特定のシリアルを選択し、例えば、仮想コンテンツ８９４４によって示されるように、シリアルについてのメタデータの仮想提示を介して、付加的情報を調べる。メタデータ８９４４は、例えば、食事制限、栄養情報（例えば、健康度スター）、製品レビュー、および／または製品比較、もしくは顧客コメントを含んでもよい。メタデータのレンダリングは、特に、小さい文字またはフォントを読むことが困難であり得る、成人のために容易に可読であるように、メタデータが提示されることを仮想上可能にする。例証される実施形態では、母親は、ジェスチャ８９４６を通してメタデータ８９４４と相互作用する。
また、図８９Ｅに図示されるように、動画化されたキャラクタ８９４８が、特定のアイテムに利用可能であり得る仮想クーポンとともに、任意の顧客にレンダリングされてもよい。ＡＲシステムは、所与の製品のためのクーポンを全通過顧客にまたは停止した顧客にのみレンダリングしてもよい。代替として、または加えて、ＡＲシステムは、所与の製品のためのクーポンを所与の製品をその仮想食料品一覧上に有する顧客にまたはその仮想食料品一覧上に匹敵する製品を有する者にのみレンダリングしてもよい。代替として、または加えて、ＡＲシステムは、顧客の過去または現在の購買習慣および／または買物カートのコンテンツの知識に基づいて、所与の製品のためのクーポンをレンダリングしてもよい。
図８９Ｆの別のシナリオ８９１２に図示されるように、ＡＲシステムは、動画化されたキャラクタ８９５０（例えば、フレンドリーなモンスタ）を少なくとも子供の視野内にレンダリングしてもよい。ＡＲシステムは、ボックス（例えば、シリアルボックス）から這い出てくるように見えるように、動画化されたキャラクタをレンダリングしてもよい。動画化されたキャラクタの突然の出現は、子供にゲーム（例えば、モンスタバトル）を開始するように促してもよい。子供は、ジェスチャを用いて、キャラクタを生物化する、または命を吹き込むことができる。例えば、手首のフリックは、ＡＲシステムに、シリアルボックスを通して飛び出る動画化されたキャラクタをレンダリングさせてもよい。
図８９Ｇは、通路の端に居て、ＡＲシステム８９０１を介して、ライブデモを行う仮想有名シェフ８９５２（例えば、Ｍａｒｉｏ Ｂａｔａｌｉ）を視聴している母親を図示する、別のシナリオ８９１４を示す。仮想有名シェフ８９５２は、単純レシピを顧客に実証してもよい。実証されるレシピにおいて使用される全材料は、食料品店で利用可能であって、それによって、ユーザが購入することを促し得る。
いくつかのインスタンスでは、ＡＲシステムは、提示用ライブを提示してもよい。これは、質問が種々の小売場所において顧客によって有名シェフ８９５２に尋ねられることを可能にし得る。他のインスタンスでは、ＡＲシステムは、以前に記録された提示を提示してもよい。
いくつかの実装では、ＡＲシステムは、例えば、各顧客の個々の頭部装着式ＡＲシステムによって担持される内向きに面したカメラを介して、顧客の画像を捕捉してもよい。ＡＲシステムは、種々の顧客から成る群集の複合された仮想画像を有名人に提供してもよい。これは、ＡＲシステムまたは有名シェフに関連付けられたデバイスにおいて有名シェフによって視認されてもよい。
図８９Ｈは、ＡＲシステム８９０１を装着する母親が食料品店のワインコーナーに居る、別のシナリオ８９１６を図示する。母親は、アプリケーションの仮想ユーザインターフェース８９５４を使用して、具体的ワインを検索してもよい。アプリケーションは、ワイン特有アプリケーション、電子書籍、またはより一般的ウェブブラウザであってもよい。ワインの選択に応答して、ＡＲシステムは、仮想名称タグ８９５８によって示される所望のワインにナビゲートするための方向とともに、仮想マップ８９５６をユーザの視野内にレンダリングしてもよい。
母親が通路を通して歩いている間、ＡＲシステムは、それぞれのワインのボトルに取り付けられる、または少なくともそれに近接して見える、仮想名称タグ８９５８に結び付けられるデータをレンダリングしてもよい。データは、例えば、友人からの推奨、顧客の個人用ワイン一覧上にあるワイン、および／または専門家からの推奨を含んでもよい。データは、加えて、または代替として、特定のワインに合う食物を含んでもよい。
図８９Ｉは、母親および子供がその買物体験を完了する、シナリオ８９１８を図示する。母親および子供は、例えば、閾値８９６０上に、それを横断して、またはそれを通して、歩いて通りすぎてもよい。閾値８９６０は、多種多様な方式のいずれかにおいて、例えば、好適にマークされたマップとして実装されてもよい。ＡＲシステムは、閾値８９６０にわたる、またはそれを通る通路を検出し、それに応答して、買物カート内の全ての食料品のコストを合計する。ＡＲシステムはまた、買物カート内にない、したがって、忘れた可能性がある、仮想食料品一覧上の任意のアイテムを識別する、通知またはリマインダをユーザに提供してもよい。顧客は、仮想ディスプレイ８９６２を通して、清算を完了してもよい。１つ以上の実施形態では、トランザクションは、クレジットカードまたはキャッシャとの任意の相互作用を伴わずに、シームレスに行われてもよい（例えば、貨幣は、ユーザの銀行から自動的に引き落とされる等）。
図８９Ｊのシナリオ８９２０に図示されるように、買物体験の終了時、子供は、仮想スコアボックス８９６４を通してそのスカベンジャーハントゲーム体験の概要を受信する。ＡＲシステムは、ＡＲシステム８９０３を使用して、概要を仮想コンテンツとして、少なくとも子供の視野内にレンダリングしてもよい。
図９０は、例証される実施形態の１つによる、ＡＲシステム９００１を採用する顧客が小売環境、例えば、書店に居る、シナリオ９０００を示す。
図９０に示されるように、顧客は、書籍トーテム９０１２を取り上げてもよい。ＡＲシステム９００１は、書籍トーテム９０１２が開かれたことを検出し、それに応答して、没入型仮想書店体験をユーザの視野内にレンダリングする。仮想書店体験は、例えば、書籍のレビュー、提案、および作者コメント、説明、または見解を含んでもよい。ＡＲシステムは、付加的コンテンツ９０１４、例えば、仮想クーポンをレンダリングしてもよい。仮想環境は、オンライン書店の便宜性と物理環境の体験を組み合わせる。
図９１Ａ−９１Ｆは、医療関連用途においてＡＲシステムを使用するシナリオを図示する。特に、図９１Ａは、外科医および外科手術チーム（それぞれ、ＡＲシステム９１０１を装着する）が今後行われる僧帽弁置換手技のための術前計画セッションを行っている、シナリオ９１０２を示す。医療介護提供者の各々は、それぞれの個々のＡＲシステム９１０１を装着している。
前述のように、ＡＲシステムは、上級専門外科医または主治医である外科医の視覚的表現９１１４をレンダリングする。本明細書に論じられるように、視覚的表現９１１４は、非常に単純表現（例えば、アバタ）から非常に現実的表現（例えば、図９１Ａに示されるように、外科医の物理形態）の多くの形態をとってもよい。
ＡＲシステムは、チームが計画の間に分析するために、患者の事前マップされた生体構造（例えば、心臓）を仮想形態９１１２でレンダリングする。ＡＲシステムは、任意の角度または配向からの視認を可能にする、明視野を使用して生体構造をレンダリングしてもよい。例えば、外科医は、その裏側が見えるように、心臓の周囲を歩き得る。
ＡＲシステムはまた、患者情報をレンダリングしてもよい。例えば、ＡＲシステムは、物理テーブルの表面上に見えるように、ある患者情報９１１６（例えば、識別情報）をレンダリングしてもよい。また、例えば、ＡＲシステムは、１つ以上の物理壁の表面上に見えるように、他の患者情報（例えば、医療画像、バイタルサイン、チャート）をレンダリングしてもよい。
図９１Ｂに図示されるように、外科医は、手技の間、事前マップされた３Ｄ生体構造９１１２（例えば、心臓）を参照可能である。生体構造をリアルタイムで参照可能であることは、例えば、弁修復の留置正確度を改善し得る。外向きに向いたカメラは、手技からの画像情報を捕捉し、医学生が、仮想上ＡＲシステムを介して、その遠隔クラスルームから観察することを可能にする。ＡＲシステムは、患者の情報を容易に利用可能にし、例えば、病理学を確認し、および／または任意の臨界誤差を回避する。
図９１Ｃは、外科医と患者との間の術後面談またはデブリーフィングを示す。術後面談の間、外科医は、患者の実際の生体構造の仮想生体構造９１１２または仮想３Ｄ解剖学的モデルの断面を使用して、外科手術が行われた方法を説明することが可能である。ＡＲシステムは、患者の配偶者が、職場に居る間、仮想上仮想表現９１１８を通して、面談に参加することを可能にする。再び、ＡＲシステムは、外科医、患者、および配偶者が、患者の実際の生体構造の仮想３Ｄ解剖学的モデルを所望の角度または配向から検査することを可能にする、明視野をレンダリングしてもよい。
図９１Ｄは、患者が病院の部屋で回復中である、シナリオ９１０８を示す。ＡＲシステム９１０１は、患者が、患者によって選択される仮想設定９１２０、例えば、穏やかなビーチ設定を通して、任意のタイプのリラックスする環境を知覚することを可能にする。
図９２Ｅのシナリオ９１１０に図示されるように、患者は、病院滞在の間および／または退院後、ヨガを練習する、またはある他のリハビリテーションに参加してもよい。ＡＲシステム９１０１は、患者が、仮想ヨガクラス内に仮想上レンダリングされた環境の友人を知覚することを可能にする。
図９１Ｆのシナリオ９１４２に図示されるように、患者は、病院滞在の間および／または退院後、例えば、定常自転車９１５２をこぐことによって、リハビリテーションに参加してもよい。ＡＲシステム（図示せず）は、ユーザの視野内に、シミュレートされたサイクルルーティング（例えば、マップ、高度、距離）、患者のパフォーマンス統計（例えば、パワー、スピード、心拍数、走行時間）についての仮想情報９１５４をレンダリングする。ＡＲシステムは、例えば、お気に入りの物理ルート等の走行コースを複製する、屋外場面を含む、仮想バイク体験をレンダリングする。加えて、または代替として、ＡＲシステムは、仮想アバタ９１５６を動機付けツールとしてレンダリングする。仮想アバタは、例えば、以前の走行を複製し、患者がその独自の個人的最良時間と競うことを可能にしてもよい。
図９２は、例証される実施形態の１つによる、作業者が作業環境内でＡＲシステム９２０１を採用する、シナリオ９２００を示す。特に、図９２は、機械類（例えば、芝刈り機）を動作させている造園作業者を示す。多くの反復仕事のように、芝の伐採は、骨が折れ得る。作業者は、一定期間後、関心を失い、それによって、事故の確率が増加し得る。さらに、有資格作業者を魅了すること、または作業者が適正に作業を行うことを確実にすることは困難であり得る。
作業者は、個々のＡＲシステム９２０１を装着し、仮想コンテンツをユーザの視野内にレンダリングし、仕事のパフォーマンスを向上させる。例えば、ＡＲシステムは、仮想ゲーム９２１２をレンダリングしてもよく、その目標は、仮想マップされたパターンに従うことである。パターンに正確に従い、消失する前に、あるスコア倍率器にヒットすると、ポイントが、受信される。パターンから外れる、またはある物理オブジェクト（例えば、木、スプリンクラーヘッド、ポイント）に近づきすぎると、ポイントが、引かれてもよい。
１つのみの例示的環境が図示されたが、本アプローチは、多種多様な作業状況および環境において実装されることができる。例えば、類似アプローチは、アイテムを読み出すために倉庫において、または棚に並べるためにもしくはメール等のアイテムをソートするために小売環境において、使用されることができる。本アプローチは、ゲームまたはパターンが多くの特定のタスクのために提供され得るため、訓練の必要性を低減または排除し得る。
図９３Ａ−９３Ｃは、別の例証される実施形態による、物理球体形状のトーテム９３１２（例えば、球体トーテム）と相互作用する、物理オフィス環境内のＡＲシステム９３０１のユーザを示す。図９３Ｂに図示されるように、その手首の捻転を用いて、ユーザは、球体トーテムの上方に見えるようにユーザの視野内にレンダリングされる、ＡＲシステムの仮想上の一次ナビゲーションメニューをアクティブ化する。図９３Ｃに最良に図示されるように、ＡＲシステムはまた、同様に、作業空間の周囲に見えるように、以前にマップされた仮想コンテンツをレンダリングする。例えば、ＡＲシステムはまた、ソーシャルメディアアカウント（例えば、Ｔｗｉｔｔｅｒ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標））、カレンダ、ウェブブラウザ、電子メールアプリケーションに関連付けられた仮想ユーザインターフェースをレンダリングしてもよい。
例証される実施形態では、ＡＲシステム９３０１のユーザは、時計回り（または反時計回り）運動を使用し、トーテム９３１２を「開く」。トーテム９３１２は、ユーザがＡＲシステムと相互作用することを可能にする、仮想ユーザインターフェースと見なされ得る。
例証される実施形態では、場面９３２０において、ユーザは、トーテム９３１２を取り上げる。場面９３２２において、ユーザは、トーテム９３１２に関係する所定のジェスチャまたは移動を行い、仮想メニュー９３１６の集合を表示させる。トーテムおよび仮想インターフェースの本マッピングは、ＡＲシステムがジェスチャおよび／または移動を認識し、ユーザインターフェースを適切に表示させるように事前マップされてもよいことを理解されたい。
場面９２４において、１つ以上の仮想アイテム９３１８もまた、ユーザの物理空間内に表示される。例えば、ユーザは、選択された１つ以上のアイテムをユーザインターフェース９３１６を通して表示させてもよい。ユーザの物理空間は、現時点で、ユーザによって所望される仮想コンテンツによって囲繞される。１つ以上の実施形態では、仮想アイテム９３１８は、ユーザに関係して浮遊する（例えば、身体中心、頭部中心、手中心等）、または物理環境に固定されてもよい（例えば、世界中心）。球体トーテム９３１２は、ある種類のリュックとしての役割を果たし、ユーザがユーザによって所望される仮想コンテンツの集合を携行することを可能にする。
図９３Ｄは、別の例証される実施形態による、ユーザがＡＲシステム９３０１によってレンダリングされた第２の物理トーテム９３３２と相互作用する、場面９３２６を示す。
ＡＲシステム９３０１は、例えば、身体または頭部装着式構成要素上の１つ以上の外向きに面したカメラを介して、画像情報を収集する。ＡＲシステム９３０１は、随意に、物理空間についての付加的情報、例えば、任意の利用可能な無線通信ネットワーク、ＧＰＳ場所情報、コンパス等の識別を収集する。ＡＲシステムは、ユーザが位置する特定の物理空間の識別を決定するために、収集された情報を処理する。例えば、ＡＲシステムは、種々のオブジェクト認識器を採用して、環境内の種々の物理オブジェクト（例えば、壁、机、椅子）を認識してもよい。また、例えば、ＡＲシステムは、ユーザの物理場所を確認するために、そのようなものと、例えば、トポグラフィマップとして他の情報（例えば、ＧＰＳ、コンパス、無線ネットワーク関連）を組み合わせてもよい。例えば、ＡＲシステムは、幾何学的マップを採用し、トポロジマップへの接続を伝搬してもよい。トポロジマップは、例えば、基本ベクトル（例えば、ＷＩ-ＦＩ、ＧＰＳ、ＲＳＳ、空間オブジェクト
のハッシュ、特徴のハッシュ、ヒストグラムプロファイル、光学マーカー）に基づく、幾何学形状の中へのインデックスであってもよい。
のハッシュ、特徴のハッシュ、ヒストグラムプロファイル、光学マーカー）に基づく、幾何学形状の中へのインデックスであってもよい。
ＡＲシステムはまた、随意に、物理場所における現在の時間（例えば、９：１５ＡＭ）を決定してもよい。決定された物理場所と、随意に、現在の時間とに基づいて、ＡＲシステムは、仮想コンテンツをユーザの視野にレンダリングし、仮想オブジェクト、人々、および／またはアバタが取り込まれる、仮想オフィス空間のビューを生成する。
ＡＲシステムは、例えば、仮想カレンダをレンダリングしてもよい。ＡＲシステムは、例えば、仮想カレンダが物理オフィス環境内のユーザの作業空間内の物理壁上に懸架しているかのようにユーザに見えるように、仮想カレンダをレンダリングしてもよい。ＡＲシステムは、例えば、作業の１つ以上の仮想断片（例えば、仮想チャート、仮想略図、仮想提示、仮想文書）をレンダリングしてもよい。ＡＲシステムは、例えば、作業の仮想断片が物理オフィス環境内のユーザの作業空間における物理壁の正面に掲示されているかのようにユーザに見えるように、作業の断片をレンダリングしてもよい。
ＡＲシステムは、仮想ソーシャルネットワーク（例えば、Ｔｗｉｔｔｅｒ（登録商標））ユーザインターフェースをレンダリングしてもよい。ＡＲシステムは、例えば、仮想カレンダが物理オフィス環境内のユーザの作業空間における物理壁上に懸架しているかのようにユーザに見えるように、例えば、仮想ソーシャルネットワークユーザインターフェースをレンダリングしてもよい。
ＡＲシステムは、仮想電子メール（例えば、電子メール）ユーザインターフェースをレンダリングしてもよい。ＡＲシステムは、例えば、複数の仮想電子メールメッセージを、ユーザによって行われ、ＡＲシステムによって検出されたジェスチャを介して、スクロールされ得る、ある集合内にレンダリングしてもよい。例えば、ＡＲシステムは、読まれるべき仮想電子メールメッセージの集合と、ユーザがすでに読んだ仮想電子メールメッセージの集合とをレンダリングしてもよい。ユーザが仮想電子メールメッセージをスクロールするにつれて、ＡＲシステムは、読まれた仮想電子メールメッセージが未読集合から既読集合に移動されるように、仮想コンテンツを再レンダリングする。ユーザは、例えば、適切なジェスチャを介して、いずれかの方向にスクロールすることを選定してもよい。新しい電子メールメッセージの受信に応じて、ＡＲシステムは、新しい電子メールメッセージの到着を示す、仮想アイコンをユーザの視野内にレンダリングしてもよい。仮想アイコンは、例えば、球体トーテムに向かって、例えば、空中を飛ぶように見えてもよい。
図９３Ｄに図示されるように、ユーザは、第２の物理トーテム９３３２と相互作用することができ、ＡＲシステムは、仮想キーパッドをマップさせてもよい。したがって、ＡＲシステムは、仮想キーパッドが第２の物理トーテム９３３２の表面上にあるかのように見えるように、仮想キーパッドをユーザの視野内にレンダリングしてもよい。ユーザは、例えば、タイピングタイプの指運動および／またはタブレットタイプの指運動（例えば、スワイプ）を介して、第２の物理トーテム９３３２と相互作用する。ＡＲシステムは、第２の物理トーテムとのユーザの相互作用の画像情報を捕捉する。ＡＲシステムは、相互作用の場所とレンダリングされている種々の仮想キーの場所との間のマッピングに照らして、ユーザ相互作用を解釈する。ＡＲシステム９３０１は、相互作用をキーストロークデータに変換し、これは、多種多様な形態（例えば、ＡＳＣＩＩ、拡張ＡＳＣＩＩ）のいずれかにおいて表されてもよい。これは、ユーザが、例えば、電子メールメッセージ、ソーシャルネットワークインターフェース、カレンダ、および／または作業の断片と相互作用することを可能にしてもよい。
図９３Ｅは、別の例証される実施形態による、物理オフィス環境内のユーザが物理キーボードと相互作用する、場面９３２８を示す。
ＡＲシステムは、物理オフィス空間内の種々の場所に現れるようにユーザに見えるようにマップされた仮想コンテンツ９３４０を仮想オフィス空間内にマップおよびレンダリングする。仮想コンテンツ９３４０は、種々の作業関連アプリケーションまたはアプリケーションユーザインターフェースを含んでもよい。例えば、ＡＲシステム９３０１は、ユーザが構造を可視化するのに役立つ３Ｄ建築モデルを含む、３Ｄプログラムをレンダリングしてもよい。
新しいメッセージの受信に応答して、ＡＲシステムは、通知をユーザに提供してもよい。例えば、ＡＲシステムは、ユーザの視野の中に飛んでくるメッセージ９３４２（例えば、電子メール、Ｔｗｅｅｔ（登録商標））の仮想視覚的効果と、随意に、聴覚アラートまたは通知とをレンダリングしてもよい。いくつかの実装では、ＡＲシステムは、メッセージの相対的重要性を査定し、例えば、有意に重要なメッセージに対してのみ、視覚的および／または聴覚的効果にレンダリングする。
新しいギフト（例えば、友人からの仮想ギフト）の受領に応答して、ＡＲシステムは、通知をユーザに提供してもよい。例えば、ＡＲシステムは、ユーザの視野の中に飛んできて、仮想パッケージを球体トーテム９３１２の隣に落とす、鳥９３４４の仮想視覚的効果をレンダリングしてもよい。ＡＲシステムは、加えて、または代替として、聴覚アラートまたは通知を提供してもよい。ユーザは、仮想パッケージを開くジェスチャを行ってもよい。ジェスチャに応答して、ＡＲシステムは、仮想パッケージを開く画像をレンダリングし、ギフトがユーザがプレイするためのゲームであることを明らかにする。
図９３Ｅに示されるように、ユーザは、物理（実）キーボードと相互作用し、仮想コンテンツと相互作用してもよい。物理キーボードは、実際のキーボードであってもよいが、トーテムとして機能してもよい。例えば、ＡＲシステムは、物理キーボードにマップされた仮想キーの集合を有してもよい。ユーザは、例えば、タイピングタイプの指運動を介して、物理キーボードと相互作用する。ＡＲシステムは、物理キーボードとのユーザの相互作用の画像情報を捕捉する。ＡＲシステムは、相互作用の場所と種々の物理キーの場所との間のマッピングに照らして、ユーザ相互作用を解釈する。
ＡＲシステムは、相互作用をキーストロークデータに変換し、これは、多種多様な形態（例えば、ＡＳＣＩＩ、拡張ＡＳＣＩＩ）のいずれかにおいて表されてもよい。これは、ユーザが、例えば、電子メールメッセージ、ソーシャルネットワークインターフェース、カレンダ、および／または作業の断片と相互作用することを可能にしてもよい。とりわけ、物理キーボードから任意の他の構成要素への有線または無線通信が存在しなくてもよい。
図９３Ｆは、別の例証される実施形態による、仮想オフィス空間およびゲームと相互作用する、物理オフィス環境内におけるユーザのペア（それぞれ、ＡＲデバイス９３０１および９３０３を装着する）の場面９３３０を示す。
図９３Ｆに図示されるように、ＡＲシステム９３０３のユーザは、ゲーム９３５０を始めていてもよい。ＡＲシステム９３０３は、直接または間接的のいずれかにおいて、例えば、パス可能世界モデルを介して、第１のＡＲシステム９３０１と通信する。２つの個々のＡＲシステムとの間の相互作用は、第１のユーザの個々のＡＲシステムに、仕切り壁越しにのぞき、第１のユーザに特定のゲームに挑ませる、仮想モンスタキャラクタを含む場面をレンダリングさせる。これは、ゲームに参加するための仮想招待としての役割を果たす。第１のユーザは、その独自の仮想モンスタを選択し、それを第１のユーザの机の端部における戦場に割り当てることによって、承諾してもよい。ゲームは、その時点から展開し、各ユーザは、そのそれぞれの個々のＡＲシステムへのレンダリングを介して、同一ゲームを体験し得る。２人のユーザとともに図示されるが、ゲームは、単一ユーザまたは２人を上回るユーザを伴ってもよい。いくつかの実装では、ゲームは、数千万人のユーザを含んでもよい。
図９３Ｇは、そのそれぞれのＡＲシステム９３０１および９３０３を通して仮想オフィス空間およびゲームと相互作用する、物理オフィス環境内におけるユーザのペアの場面９３４８を示す。
図９３Ｇに図示されるように、第１のユーザは、そのプレーヤ（例えば、モンスタ）に、その机の端部から物理オフィス環境の床に戦場を再割り当てする。それに応答して、ＡＲシステムは、戦いが床で生じているかのようにユーザの各々に見えるように、ゲームに関連する仮想コンテンツを再レンダリングしてもよい。ＡＲシステムは、ゲームを物理場所内の変更に適応させてもよい。例えば、ＡＲシステムは、仮想コンテンツがマップされた面積または体積のサイズに基づいて、レンダリングされたコンテンツを自動的にスケーリングしてもよい。
図示される実施例では、そのモンスタを机から地面に移動させることは、利用可能な空間を増加させる。故に、ＡＲシステムは、第１のユーザのモンスタのサイズを自動的に拡大し、利用可能な空間を埋める。
図９３Ｈは、そのそれぞれのＡＲシステム９３０１および９３０３を通して仮想オフィス空間およびゲームと相互作用する、物理オフィス環境内におけるユーザのペアの場面９３４６を示す。
図９３Ｈに図示されるように、ＡＲシステムは、以前のレンダリング（図９３Ｆ）から拡大された第１のユーザのモンスタをレンダリングする。第２のユーザまたは同僚は、そのモンスタを新しい戦場（例えば、オフィス空間の物理床）に設置することによって承諾する。それに応答して、ＡＲシステムは、戦いが床上で生じているかのようにユーザの各々に見えるように、ゲームに関連する仮想コンテンツを再レンダリングしてもよい。ＡＲシステムは、ゲームを物理場所内の変更に適応させてもよい。例えば、ＡＲシステムは、同僚のモンスタのサイズを自動的に拡大し、利用可能な空間を埋め、戦いが開始または継続することを可能にしてもよい。
図９３Ｉ−９３Ｋは、別の例証される実施形態による、ＡＲシステムによってレンダリングされた仮想オフィス空間の仮想コンテンツと相互作用する、ＡＲシステム９３０１のユーザを示す。
特に、図９３Ｉ−９３Ｋは、時系列インスタンスを表し、その間、ユーザは、スケーリングツール９３６０にジェスチャを行い、その環境内で可視である、非作業関連画像の量をスケーリングする。それに応答して、ＡＲシステムは、仮想部屋または仮想空間を再レンダリングし、例えば、ユーザの作業に関連しない視覚的コンテンツの相対的サイズを縮小させる。代替として、ユーザは、あるアプリケーション、ツール、機能、および／または仮想部屋もしくは仮想空間をオフにする、または背景に移動される（例えば、半径方向外向きに離間される）ように選択してもよい。図９３Ｊに示されるように、スケーリングツール９３６０は、移動され、図９３Ｉに示されたものより小さいパーセンテージを表す。同様に、図９３Ｋでは、スケーリングツール９３６０は、移動され、図９３Ｉおよび９３Ｊと比較して、さらにより小さいパーセンテージを表す。
図９３Ｌは、別の例証される実施形態による、仮想オフィス空間の仮想コンテンツと相互作用するＡＲシステムのユーザを示す。ユーザは、仮想連絡先一覧を通して、仮想連絡先ユーザインターフェース９３６２を介して、その連絡先アプリケーションからグループ会議に招待するいくつかの連絡先を選択する。ユーザは、その名前および／または画像をＡＲシステム９３０１によってユーザの視野内にレンダリングされる仮想会議部屋９３６４の中にドラッグアンドドロップすることによって、出席者を招待してもよい。ユーザは、種々のジェスチャを介して、または代替として、音声コマンドを介して、仮想ユーザインターフェース９３６２構造物と相互作用してもよい。ＡＲシステムは、１つ以上の実施形態では、ジェスチャまたは音声コマンドを検出し、招待者に電子的に送信される、会議要求を生成する。
図９３Ｌは、別の例証される実施形態による、ＡＲシステムによってレンダリングされた仮想コンテンツと相互作用する、物理会議室環境内の幾人かのユーザを示す。
会議は、ユーザのうちの第１の１人によって送信されるグループ会議招待に応答してもよい（図９３Ｌ）。招待者またはグループ会議参加者のうちの１人である、第１のユーザおよび第２のユーザは、物理会議部屋内に物理的に存在してもよい。招待者またはグループ会議参加者のうちの別の１人である、第３のユーザは、物理会議部屋内に仮想上存在してもよい。すなわち、第３のユーザの仮想表現が、そのそれぞれの個々のＡＲシステムを介して、第１および第２のユーザに視覚的および聴覚的にレンダリングされる。それぞれの個々のＡＲシステムは、第１および第２のユーザから物理テーブルを横断して着座して見えるように、第３のユーザの表現をレンダリングしてもよい。ＡＲシステムは、種々の個々のＡＲシステムによって、随意に、存在する場合、任意の部屋または空間ベースのセンサシステムによって捕捉された画像情報から生成されたパス可能世界モデルを使用して、これを達成する。
同様に、第１および第２のユーザの仮想表現は、会議室とともに、第３のユーザのそれぞれの個々のＡＲシステムを介して、第３のユーザに視覚的および聴覚的にレンダリングされる。個々のＡＲシステムは、第１および第２のユーザが第３のユーザから物理テーブルを横断して着座しているかのように第３のユーザに見えるように、第１および第２のユーザならびに会議室の表現をレンダリングしてもよい。ＡＲシステムは、種々の個々のＡＲシステムによって、随意に、存在する場合、任意の部屋または空間ベースのセンサシステムによって捕捉された画像情報から生成されたパス可能世界モデルを使用して、これを達成する。
ＡＲシステムは、会議に出席するユーザの２人またはそれを上回る者によって共有される、仮想コンテンツをレンダリングしてもよい。例えば、ＡＲシステムは、仮想３Ｄモデル（例えば、建物の明視野表現）をレンダリングしてもよい。また、例えば、ＡＲシステムは、物理的に存在する、または仮想上のみ存在するかどうかにかかわらず、ユーザの全てによって視認可能である仮想チャート、図面、文書、画像、写真、提示等をレンダリングしてもよい。
ユーザの各々は、その独自の視点から仮想コンテンツを視覚的に知覚してもよい。例えば、ユーザの各々は、その独自の視点から仮想３Ｄモデルを視覚的に知覚してもよい。したがって、ユーザの任意の１人は、立ち上がり、仮想３Ｄモデルの周囲を歩き回り、３Ｄモデルを異なる立場または視点から視覚的に検査してもよい。仮想３Ｄモデルへの変更または修正は、ユーザの各々によって視認可能である。例えば、第１のユーザが３Ｄモデルへの修正を行う場合、ＡＲシステムは、修正された仮想３Ｄモデルを第１、第２、および第３のユーザに再レンダリングする。
第１および第２のユーザが同一物理場所に居て、第３のユーザが異なる物理場所に位置するように図示されたが、１つ以上の実施形態では、例えば、各人物は、他者から別個のおよび／または遠隔である、それぞれの物理場所に居てもよい。代替として、全出席者は、共有仮想コンテンツ（例えば、仮想３Ｄモデル）を利用しながら、同一物理空間内に存在してもよい。したがって、具体的数の出席者およびそのそれぞれの具体的場所は、限定ではない。いくつかの実装では、他のユーザが、すでに進行中のグループ会議に参加するように招待されることができる。ユーザは、同様に、望ましいとき、グループ会議から退席することができる。他のユーザは、グループ会議が開始する前またはグループ会議が進行中の間のいずれかにおいて、グループ会議に招待されるように要求することができる。ＡＲシステムは、グループ会議を手配するために、そのような招待を前述と類似する方式で実装してもよい。
ＡＲシステムは、ユーザ間で仮想コンテンツを共有する前に、ハンドシェイキングプロトコルを実装してもよい。ハンドシェイキングは、参加することを所望するユーザを認証または認定することを含んでもよい。いくつかの実装では、ＡＲシステムは、例えば、パス可能世界モデルを介して、視点を共有する個々のデバイス間のピアツーピア接続を採用する。
いくつかの実装では、ＡＲシステムは、発話のリアルタイム文書翻訳を提供してもよい。例えば、第１のユーザは、他のユーザのうちの１つ以上の者の発言のリアルタイム文書翻訳を受信することを選択することができる。したがって、英語を話す第１のユーザは、ＡＲシステムが、例えば、フランス語を話す第２または第３のユーザのうちの少なくとも１人の発話の文書翻訳を提供することを要求してもよい。ＡＲシステムは、１つ以上のマイクロホン、例えば、発話者によって装着される個々のＡＲシステムの一部であるマイクロホンを介して、発話者の発話を検出する。ＡＲシステムは、音声データをテキストに変換する、チップまたはシステム（もしくはアプリケーション）を有してもよく、テキストをある言語から別の言語に翻訳する、翻訳システムを有してもよい。ＡＲシステムは、発話者の発話の機械翻訳を行う、または行っている。ＡＲシステムは、翻訳を文書形態で第１のユーザの視野にレンダリングする。
ＡＲシステムは、例えば、発話者の視覚的表現に近接して現れるように、文書翻訳をレンダリングしてもよい。例えば、発話者が第３のユーザであるとき、ＡＲシステムは、第１のユーザの視野内の第３のユーザの仮想表現に近接して現れるように、文書テキストをレンダリングする。発話者が第２のユーザであるとき、ＡＲシステムは、第１のユーザの視野内の第２のユーザの実画像に近接して現れるように、文書テキストをレンダリングする。翻訳アプリケーションは、旅行用途のために使用されてもよく、人々がその母国語以外の言語において遭遇する看板／言語／コマンドを理解することをより容易にし得ることを理解されたい。
他の実装では、上記の実施例と同様に、ＡＲシステムは、メタデータ（「プロファイル情報」）を仮想コンテンツとして人物の物理身体に隣接して表示してもよい。例えば、ユーザがビジネス会議の中に歩いていき、会議における人々を良く知らないと仮定する。ＡＲシステムは、人物の顔特徴（例えば、眼位置、顔形状等）に基づいて、人物を認識し、その人物のプロファイル情報またはビジネスプロファイル情報を読み出し、その情報を仮想形態で人物のすぐ隣に表示してもよい。したがって、ユーザは、人物についてのある事前の情報を読んで調べることで、より生産的かつ建設的会議を有することが可能となり得る。人々は、上記のプライバシーセクションに説明されるように、選定する場合、その情報を表示させないように選択してもよいことを理解されたい。好ましい実施形態では、ライブ翻訳および／またはメタデータのロック解除のいずれかは、ユーザのシステム（ベルトパック、コンピュータ）上で行われてもよい。
ここで図９４を参照すると、それぞれのＡＲシステム９４０１を装着するユーザ間の例示的場面が、図示される。図９４に示されるように、ユーザは、例えば、建築会社の従業員であてもよく、今後のプロジェクトについて議論してもよい。有利には、ＡＲシステム９４０１は、ユーザが、物理テーブル上に建築モデル９４１２の視覚的表現を提供することによって、相互に相互作用し、プロジェクトについて議論することを可能にしてもよい。図９４に示されるように、ユーザは、仮想建築モデル９４１２を構築する、またはそれに任意の編集もしくは修正を行うことが可能であってもよい。図９４に示されるように、ユーザはまた、ユーザが構造の側面をより良く理解することを可能にする、仮想コンパスと相互作用してもよい。
また、図９４に図示されるように、種々の仮想コンテンツ９４１４は、ユーザが専有している物理部屋にテザリングされ、それによって、ユーザのための生産的会議を可能にしてもよい。例えば、仮想コンテンツ９４１４は、他の類似建築計画の図面であってもよい。または、仮想コンテンツ９４１４は、実世界内に構築されるべき場所のマップ等に関連付けられてもよい。
図９５Ａ−９５Ｅは、別の例証される実施形態による、連続間隔においてＡＲシステムによってレンダリングされた仮想コンテンツと相互作用する、屋外物理環境におけるＡＲシステム９５０１のユーザを示す。
特に、図９５Ａは、いくつかの建物を含む、町の通りに沿って家に歩いて帰るユーザを示す。施設（例えば、レストラン、店、建物）は、ユーザの注意を引きつける。ユーザは、図９５Ａに示されるように、施設の看板またはロゴに体を向けて、注視する。ＡＲシステム９５０１は、ユーザの視野内に現れる看板またはロゴを検出し、メタデータまたは他の情報が利用可能であるかどうかを決定する。メタデータまたは他の情報が利用可能である場合、ＡＲシステムは、キューをユーザにレンダリングし、メタデータまたは他の情報が利用可能であることを示す。例えば、ＡＲシステムは、少なくとも看板またはロゴに近接して、視覚的効果（例えば、ハイライト、後光、マーキー、色）を生じさせてもよい。例証される実施形態では、仮想「＋」看板９５３２は、看板の隣にレンダリングされ、メタデータが利用可能であることを示す。
図９５Ｂに図示されるように、ユーザは、仮想アイコン９５３２を選択し、看板またはロゴが関連付けられた施設（例えば、レストラン、店、建物）に関連付けられたメタデータまたは他の情報を視認してもよい。例えば、ユーザは、ジェスチャ、例えば、看板またはロゴに向かって指示ジェスチャを行ってもよい。
図９５Ｃに図示されるように、ユーザ選択に応答して、ＡＲシステム９５０１は、仮想コンテンツボックス９５３４を通して、施設（例えば、レストラン、店、建物）に関連付けられた情報および／またはメタデータの表現を近接してレンダリングする。例えば、ＡＲシステム９５０１は、メニュー、写真、およびレビューをユーザによって視認され得る別の仮想フォルダ９５３６内にレンダリングしてもよい。
実際、ＡＲシステム９５０１は、種々の異なるタイプの物理および／または仮想オブジェクトに関連付けられた情報および／またはメタデータの表現を近接してレンダリングしてもよい。例えば、ＡＲシステムは、ユーザの視野内に見える、建物、人物、車両、車道、機器の断片、生体構造の断片等上またはそれに近接して、メタデータをレンダリングしてもよい。ＡＲシステムが、物理オブジェクトに関するメタデータをレンダリングしているとき、ＡＲシステムは、最初に、物理オブジェクトの画像を捕捉し、画像を処理し（例えば、オブジェクト認識器）、物理オブジェクトを識別する。
ＡＲシステムは、識別された物理オブジェクトと論理的に関連付けられたメタデータを決定してもよい。例えば、ＡＲシステムは、名前および場所、建築家、建築年、高さ、写真、階数、着目点、利用可能なアメニティ、建物の営業時間を検索してもよい。また、例えば、ＡＲシステムは、レストランに関するメニュー、批評家によるレビュー、友人によるレビュー、写真、クーポン等を見つけてもよい。また、例えば、ＡＲシステムは、映画館、映画、または他の製品に関する上映時間、チケット情報、批評家によるレビュー、友人によるレビュー、クーポン等を見つけてもよい。また、例えば、ＡＲシステムは、ある人物の名前、仕事、および／または肩書き、人物との関係、人物の配偶者の名前、子供の名前、誕生日、写真、お気に入りの食物、または他の選好等の個人的詳細を見つけてもよい。
メタデータは、定義され、ユーザの母集団全体に対してオブジェクト（例えば、非生物オブジェクトもしくは人物）と論理的に関連付けられてもよく、または単一ユーザもしくはユーザの集合（例えば、同僚）に特有であってもよい。ＡＲシステムは、ユーザが、他のユーザと共有されるメタデータまたは他の情報を選定し、メタデータまたは他の情報にアクセスし得る他のユーザを識別することを可能にしてもよい。例えば、ユーザは、メタデータの集合または物理場所（例えば、地理的座標、建物）もしくは人物に関連する他の情報を定義してもよい。ユーザは、メタデータまたは他の情報にアクセスする権限が付与される、またはその特権が提供される、ユーザの集合（例えば、ユーザの母集団の下位集合）を定義してもよい。権限または特権は、種々のレベル、例えば、読取専用アクセス、書込アクセス、修正アクセス、および／または削除アクセスに設定されてもよい。
ユーザが、ユーザが場所またはオブジェクトに関連付けられたメタデータの情報を少なくとも読み取る、または別様にそれにアクセスする権限または特権を有する、ある場所に居る、またはオブジェクトを視認しているとき、ＡＲシステムは、ユーザにキューを提供し、メタデータまたは他の情報の可用性を示す。例えば、個々のＡＲシステムは、メタデータまたは他の情報が利用可能であるオブジェクトまたは人物に少なくとも近接して見えるように、定義された視覚的効果をユーザの視野内にレンダリングしてもよい。ＡＲシステムは、例えば、発光するように見える線をレンダリングしてもよい。ＡＲシステムは、トリガ、例えば、ジェスチャまたは音声コマンドに応答して、メタデータまたは他の情報をユーザの視野内にレンダリングする。
図９５Ｄは、背景に待合所および建物を伴うバス停に居る、ＡＲシステム９５０１のユーザを示す。例証される実施形態では、ＡＲシステム９５０１は、視覚的情報および／または付加的情報（例えば、ＧＰＳ場所情報、コンパス情報、無線ネットワーク情報）に基づいて、ユーザの場所を検出してもよい。例えば、オブジェクト認識器は、屋外環境内に存在する種々の物理オブジェクト、例えば、待合所または建物を識別してもよい。ＡＲシステムは、一致する物理オブジェクトを伴う場所を見つける。前述のように、ＡＲシステムは、物理場所を査定または決定する際に情報のトポグラフィマップ（例えば、利用可能な無線ネットワークの識別および／または信号強度、ＧＰＳ場所情報）を採用してもよい。
ＡＲシステムは、待合所の外観をユーザのビュー内に検出し、ユーザが待合所または待合所上にある何らかの物を注視していることを決定するために十分な長さの一時停止を検出してもよい。それに応答して、ＡＲシステムは、適切または対応する仮想コンテンツをレンダリングしてもよい。例えば、ＡＲシステムは、仮想コンテンツが待合所の１つ以上の表面上またはそこから延在するように見えるように、仮想コンテンツをユーザの視野内にレンダリングしてもよい。代替として、仮想コンテンツは、他の表面（例えば、歩道）上に見える、またはさらに空中に浮遊しているように見えるように、レンダリングされてもよい。
ＡＲシステムは、バス停において、バス停がユーザによって定期的に使用されていることを認識してもよい。それに応答して、ＡＲシステムは、その公共交通（例えば、バス、電車）または他の輸送機関（例えば、タクシー、航空機）を待つとき、ユーザが典型的に使用する、第１の仮想コンテンツ９５３８の集合をレンダリングしてもよい。例えば、ＡＲシステムは、ソーシャルネットワーキングユーザインターフェース（例えば、Ｔｗｉｔｔｅｒ（登録商標）、Ｆａｃｅｂｏｏｋ（登録商標）等）をレンダリングしてもよい。別のインスタンスでは、ＡＲシステムは、着信メッセージ（例えば、Ｔｗｅｅｔ（登録商標））に応答して、キューをユーザの視野にレンダリングしてもよい。
また、例えば、ＡＲシステムは、読物（例えば、新聞、雑誌、書籍）または他のメディア（例えば、ニュース、テレビ番組、映画、ビデオ、ゲーム）をレンダリングしてもよい。さらなる実施例として、ＡＲシステムは、輸送機関についての情報（例えば、バスが到着するまでの時間および／または次のバスの現在の場所）をレンダリングしてもよい。
別の実施形態では、ＡＲシステムは、バス停をユーザによって定期的に使用されていないバス停として認識してもよい。それに応答して、ＡＲシステムは、加えて、または代替として、ユーザが、典型的には、公共交通（例えば、バス、電車）または他の輸送機関（例えば、タクシー、航空機）を待つときに所望するであろう、第２の仮想コンテンツ９５４０の集合をレンダリングする。例えば、ＡＲシステムは、ルートマップ、スケジュール、現在のルート情報、概算移動時間、および／または代替移動選択肢の仮想表現をレンダリングしてもよい。
図９５Ｅは、バス停でゲームをプレイしているＡＲシステム９５０１のユーザを示す。図９５Ｅに示されるように、ＡＲシステム９５０１のユーザは、バスを待つ間、仮想ゲーム９５４２をプレイしていてもよい。
例証される実施形態では、ＡＲシステムは、ユーザの視野内に見えるようにゲームをレンダリングする。従来の２Ｄゲームとは対照的に、本３Ｄゲームの一部は、ユーザからある深度で離間されて現実的に現れる。例えば、標的（例えば、豚で保護された要塞）が、ユーザから数フィートまたはさらに数メートルの所において、通りに位置するように見えてもよい。ユーザは、非生物オブジェクトまたはユーザ自身の手であり得る、トーテムを発射構造（例えば、パチンコ）として使用してもよい。したがって、ユーザは、バスを待つ間、楽しめる。
図９６Ａ−９６Ｄは、別の例証される実施形態による、連続間隔でＡＲシステム９６０１によってレンダリングされた仮想コンテンツと相互作用する、物理キッチン内におけるＡＲシステム９６０１のユーザを示す。
ＡＲシステム９６０１は、例えば、視覚的情報および／または付加的情報（例えば、ＧＰＳ場所情報、コンパス情報、無線ネットワーク情報）に基づいて、ユーザの場所を検出する。例えば、オブジェクト認識器は、キッチン環境内に存在する種々の物理オブジェクト、例えば、壁、天井、床、カウンタ、キャビネット、器具等を識別してもよい。ＡＲシステムは、一致する物理オブジェクトを用いて場所を見つける。前述のように、ＡＲシステムは、物理場所を査定または決定する際、情報（例えば、利用可能な無線ネットワークの識別および／または信号強度、ＧＰＳ場所情報）のトポグラフィマップを採用してもよい。
図９６Ａに図示されるように、ユーザが、例えば、キッチンに居ることの認識に応答して、ＡＲシステム９６０１は、適切なまたは対応する仮想コンテンツをレンダリングしてもよい。例えば、ＡＲシステムは、仮想コンテンツ９６３２が１つ以上の表面（例えば、キッチンの壁、調理台、油はね防止板、器具等）上またはそこから延在するように見えるように、仮想コンテンツ９６３２をユーザの視野内にレンダリングしてもよい。仮想コンテンツはさらに、冷蔵庫またはキャビネットのドアの外側表面上にレンダリングされ、冷蔵庫またはキャビネットの内部の最近前もって捕捉された画像に基づいて、冷蔵庫またはキャビネットの予期される現在の内容物のインジケーション（例えば、一覧、画像）を提供してもよい。仮想コンテンツはさらに、冷蔵庫またはキャビネットの内部等の封鎖体積の制限内にあるように見えるようにレンダリングされてもよい。
ＡＲシステム９６０１は、ユーザが、例えば、ジェスチャを介して、選定するレシピのタイプのカテゴリを含む、仮想レシピユーザインターフェースをレンダリングしてもよい。ＡＲシステムは、例えば、キッチンの壁にマップされたかのように見える、食物画像の集合（例えば、壁パネル）をユーザの視野内にレンダリングしてもよい。ＡＲシステムは、例えば、調理台にマップされるように見えるように、ユーザの友人の種々の仮想プロファイル９６３４をレンダリングし、ユーザに、友人の任意の食物アレルギーまたは食事制限または選好をアラートしてもよい。図９６Ａはまた、ＡＲシステムと相互作用し、常時、仮想コンテンツの集合をユーザとともに「携行」するために使用され得る、トーテム９６３６を図示する。したがって、キッチンの側壁には、仮想ソーシャルメディア９６３８が取り込まれてもよい一方、カウンタには、レシピ等が取り込まれてもよい。
図９６Ｂに図示されるように、ユーザは、仮想レシピファインダユーザインターフェース９６４０を使用して、仮想検索ボックス９６４２を通して、種々のパラメータ、基準、またはフィルタを使用して、レシピを検索してもよい。例えば、ユーザは、グルテンフリーの前菜のレシピを検索してもよい。
図９６Ｃに図示されるように、仮想レシピファインダ９６４０のユーザインターフェースは、ある基準（例えば、グルテンフリーおよび前菜）に一致するレシピのための検索の種々の結果９６４４を仮想上提示する。ユーザインターフェースは、１つ以上のユーザ選択可能アイコンを有してもよく、その選択は、ユーザが、検索結果をスクロールすることを可能にする。ユーザは、検索結果９６４４が提示される、任意の所望の方向にスクロールすることを選択してもよい。
使用すべきレシピが決まっていない場合、ユーザは、仮想インターフェースを使用して、別のユーザに連絡してもよい。例えば、ユーザは、例えば、適切なまたは対応するエントリ（例えば、名前、写真、アイコン）をユーザの連絡先の集合（例えば、一覧）から選択することによって、その母親を選択して、連絡してもよい。ユーザは、適切なジェスチャを介して、または代替として、音声または発話コマンドを介して、選択を行ってもよい。ＡＲシステムは、ジェスチャまたは音声もしくは発話コマンドを検出し、それに応答して、他のユーザ（例えば、母親）に連絡を試みてもよい。
図９６Ｄに図示されるように、ソーシャルネットワーキングアプリケーションのユーザインターフェースは、キューを生成し、選択された連絡者が連絡の試みに応答していることを示す。例えば、ＡＲシステムは、キューをユーザの視野内にレンダリングし、連絡者が応答していることを示してもよい。例えば、ＡＲシステムは、連絡先の集合内の対応する名前、写真、またはアイコンを視覚的に強調してもよい。加えて、または代替として、ＡＲシステムは、聴覚アラートまたは通知を生成してもよい。
それに応答して、ユーザは、連絡の試みを承認し、連絡先または他のユーザ（例えば、母親）との通信ダイアログを確立してもよい。例えば、ユーザは、適切なジェスチャを行ってもよく、ＡＲシステムは、それを検出し、通信ダイアログを確立することによって応答する。例えば、ＡＲシステムは、ＡＲデバイス９６０３を使用する他のユーザ（例えば、母親）の仮想表現９６４６を第１のユーザの視野の中にレンダリングしてもよい。表現は、多くの形態、例えば、単純戯画表現または他の人物を３次元で現実的に表す複雑な明視野をとってもよい。表現は、第１のユーザからカウンタを横断して立っている、または座っているかのように見えるように、レンダリングされてもよい。同様に、他のユーザも、第１のユーザの表現を視認してもよい。
２人のユーザは、両方とも同一物理空間内に存在するかのように、相互および共有仮想コンテンツと相互作用することができる。ＡＲシステムは、有利には、上記で詳細に論じられるように、パス可能世界モデルを採用し、ユーザ体験を実装してもよい。
図９７Ａ−９７Ｆは、別の例証される実施形態による、連続間隔でＡＲシステムによってレンダリングされた仮想コンテンツと相互作用する、その家のリビングルームにおいてＡＲシステム９７０１を装着するユーザを示す。
図９７Ａに図示されるように、ユーザが、例えば、その自身のリビングルームに居ることを認識する、および／または種々の来客を認識することに応答して、ＡＲシステム９７０１は、適切なまたは対応する仮想コンテンツをレンダリングしてもよい。加えて、または代替として、ＡＲシステムは、スケジュールされたイベント、例えば、ユーザが申し込んだ、またはフィードもしくは参加のためのチケットを購入した、ライブまたは記録されたコンサートに応答してもよい。
例えば、ＡＲシステムは、仮想コンテンツが１つ以上の表面（例えば、壁、天井、床等）または物理空間の体積内のいずれかの場所上またはそこから延在するように見えるように、仮想コンテンツ９７３２をユーザの視野内にレンダリングしてもよい。来客が存在する場合、来客によって装着される個々のＡＲシステムは、仮想コンテンツを来客のそれぞれの視野内にレンダリングしてもよい。仮想コンテンツ９７３２は、その人物の現在の位置および／または配向に基づいて、各人物のＡＲシステムにレンダリングされ、それぞれのユーザの視点から仮想コンテンツをレンダリングしてもよい。
また、図９７Ａに図示されるように、ユーザは、例えば、仮想ユーザインターフェース９７３６を使用して、例えば、ユーザが主催している夕食パーティーに備えて、１つ以上の音楽ライブラリ、例えば、共有音楽ライブラリをブラウズしてもよい。ユーザは、例えば、ユーザのお気に入りの曲および／またはアーティストおよび／またはアルバムの仮想表現９７３４（例えば、アイコン、タイトル）をパーソナル仮想Ｂｅａｔｓ Ｍｕｓｉｃ
Ｒｏｏｍの中にドラッグアンドドロップすることによって、曲または音楽断片を選択し、ユーザの来客を迎えるための完璧な雰囲気を作成してもよい。
Ｒｏｏｍの中にドラッグアンドドロップすることによって、曲または音楽断片を選択し、ユーザの来客を迎えるための完璧な雰囲気を作成してもよい。
いくつかの実装では、ユーザは、音楽、コンサート、パフォーマンス、もしくは他のイベントにアクセスするためのチケットまたは権利を購入してもよい。音楽、コンサート、パフォーマンス、または他のイベントは、ライブであってもよく、または以前に記録されてもよい。図９７Ａに図示されるように、ＡＲシステムは、コンサート、パフォーマンスまたは他のイベントをユーザの物理空間上にマップされた仮想空間としてレンダリングしてもよい。ＡＲシステムは、パス可能世界モデルを採用し、それを実装してもよい。ＡＲシステムは、例えば、会場のパス可能世界モデルを種々のユーザによって装着される個々のＡＲシステムにパスしてもよい。初期パス可能世界モデルは、詳細を含む、会場全体を表す情報を含んでもよい。後続パス可能世界モデルは、以前のパス可能世界モデルからの変更のみを反映してもよい。
オーディオまたは音は、標準的２チャネルステレオ、５．１もしくは７．１サラウンド音、または３Ｄ空間音（例えば、音波位相シフタ）で提供されてもよい。オーディオまたは音は、パーソナルスピーカによって、または音を２人またはそれを上回るユーザに同時に提供する、共有スピーカによって配信されてもよい。パーソナルスピーカは、イヤーバズ、オンイヤーヘッドホン、またはオーバーイヤーヘッドホンの形態をとってもよい。これらは、仮想画像（例えば、４Ｄ明視野）を提供する、頭部装着式構成要素の中に統合されてもよい。
共有スピーカは、ブックシェルフ型スピーカ、据置型スピーカ、モニタスピーカ、リファレンススピーカ、または他のオーディオ変換器の形態をとってもよい。とりわけ、ＡＲシステムは、そのような配列における異なる聴取者位置を考慮する必要がないため、パーソナルスピーカを使用して現実的音場を配信することがより容易であろう。別の実施形態では、ＡＲシステムは、ユーザが存在するはずであるデジタル環境に基づいて、現実的音／オーディオを配信してもよい。
例えば、ＡＲシステムは、特定の源または空間から生じるように見えるように、オーディオ制御をシミュレートしてもよい。例えば、小封鎖部屋から発出する音は、オペラハウスから発出する音と非常に異なり得る。前述のように、音波正面は、ＡＲシステムの視覚に付随して起こる正しい音質の作成の成功のために使用され得る。
ＡＲシステムは、仮想コンテンツをレンダリングし、ユーザに、パフォーマンスがその自身の場所（例えば、リビングルーム）において生じているように知覚させることができる。代替として、ＡＲシステムは、仮想コンテンツをレンダリングし、ユーザに、例えば、任意の所与の視点から、その周囲の群集が見える能力もさらに伴って、会場において生じているパフォーマンスに参加しているように知覚させることができる。ユーザは、例えば、前列、ステージ上、またはバックステージを含む、会場内の任意の所望の視点を選択してもよい。
いくつかの実装では、ライブを行っているアーティストは、アーティストが、遠隔でパフォーマンスに出席している種々のユーザの複合である、聴衆を知覚することを可能にする、それぞれの個々のＡＲシステムを有してもよい。種々の聴衆メンバーからの画像および／または音は、それぞれの聴衆メンバーによって装着される個々のＡＲシステムを介して捕捉されてもよい。これは、例えば、質問および回答セッションを含む、パフォーマーと聴衆との間の相互作用を可能にしてもよい。４Ｄ明視野の使用は、そうでなければより従来のアプローチを使用して達成され得るものより現実的体験を提供する。
図９７Ｂは、物理リビングルーム内でＡＲシステム９７０１を有する、来客のペアを示す。主催者ユーザ９７２０は、来客の写真を撮ることを決定する。主催者ユーザは、対応するジェスチャ（例えば、人差し指と親指で両手に直角を作る）を行い、対面して保持され、長方形またはフレームを形成する。主催者ユーザの独自の個々のＡＲシステムは、ジェスチャを検出し、ジェスチャを解釈し、それに応答して、例えば、主催者ユーザによって装着される個々のＡＲシステムの一部を形成する、１つ以上の外向きに面したカメラを介して、画像を捕捉する。ジェスチャはまた、その写真が撮影されていることの来客へのインジケーションとしての役割を果たし、それによって、プライバシーを保護する。
いったんユーザが写真（例えば、デジタル写真）を撮ると、ユーザは、素早く写真を編集し（例えば、クロップ、注釈の追加、フィルタの追加）、写真をソーシャルネットワークにポストしてもよい。これは全て、ＡＲシステムを介して、ジェスチャを使用して行われる。関連実施形態では、いったんユーザが写真を撮ると、写真の仮想コピーが、物理空間の中にピン留めされてもよい。
例えば、ユーザは、仮想写真を部屋内の物理壁上にピン留めしてもよく、または代替としてさらに、仮想写真をＡＲシステムによって作成された仮想壁の中にピン留めしてもよい。写真は、いくつかの実施形態では、２Ｄ形態またはさらに３Ｄ写真のいずれかであってもよいことを理解されたい。したがって、ＡＲシステムは、常時、３Ｄ情報を取得し、これは、後で読み出され、再使用されてもよい。例えば、テキストメッセージまたは任意のアイテムは、ユーザの選好に基づいて、２Ｄまたは３Ｄのいずれかで現れてもよい。ユーザは、以下にさらに論じられるように、ジェスチャを使用することによって、仮想コンテンツを操作してもよく、単に、ジェスチャまたは任意の他のユーザ入力を使用することによって、コンテンツを自身に引き寄せたり、引き離したりしてもよい。
図９７Ｃは、写真、例えば、パーティーの間に捕捉された写真を楽しんでいる、物理リビングルーム内の主催者ユーザおよび来客を示す。図示されるように、仮想写真９７２２は、リビングルームの物理壁にピン留めされている。ＡＲシステム９７０１は、例えば、各ユーザが写真を壁上にあるように知覚するように、写真をレンダリングしてもよい。ユーザは、適切なジェスチャを介して、写真をスケーリングすることができる。
パーティーウォールは、他者およびパーティーに出席している人々にパーティーを体験または再体験させる。パーティーは、全体的パーティーの完全明視野体験として捕捉されてもよい。これは、ビデオとしてではなく、完全視点体験として、パーティーを復元し、思い出すことを可能にする。言い換えると、ユーザは、本質的に任意の視点から、事後に、部屋を動き回り、ユーザを通り過ぎる人々が見え、パーティーを視認することを可能にするであろう。
図９７Ｄは、メディアコンテンツ、例えば、映画を楽しむための仮想ディスプレイ、モニタ、または画面を設定している、物理リビングルーム内における主催者ユーザおよび来客を示す。
図９７Ｄに図示されるように、主催者ユーザは、仮想ディスプレイ９７２４、モニタ、もしくは画面を作成するためのジェスチャを行う、または別様に、ＡＲシステムに、ディスプレイメディアコンテンツ、例えば、映画、テレビタイプ番組、もしくはビデオを設定することを示すもしくはコマンドしてもよい。特に、主催者ユーザは、例えば、メディアコンテンツが現れるようにレンダリングされるべき壁に面して、２つの手のジェスチャ９７２６を使用して、ある面積をフレーム化する。主催者ユーザは、人差し指と親指を直角に広げ、Ｌ−形状を作り、仮想ディスプレイ９７２４、モニタ、または画面の所望の周縁の輪郭を描いてもよい。
主催者ユーザは、別のジェスチャを通して、仮想ディスプレイ、モニタ、または画面９７２４の寸法を調節してもよい。とりわけ、実践上、スケーリングに機械的限界が存在せず、唯一の感知され得る限界が、ヒトの眼の分解能であるため、ユーザの眼の網膜に指向される４Ｄ明視野の使用は、仮想ディスプレイ、モニタ、または画面のサイズが仮想上無制限であることを可能にする。
さらに、主催者ユーザの個々のＡＲシステム（例えば、主催者ユーザによって装着される）は、来客ユーザが主催者ユーザの体験を共有することができるように、来客ユーザの個々のＡＲシステムと協調してもよいことに留意されたい。したがって、主催者ユーザの個々のＡＲシステムは、主催者ユーザのジェスチャを検出し、仮想ディスプレイ、モニタ、または画面を定義し、さらに、提示のためのユーザ選択メディアコンテンツを識別してもよい。主催者ユーザの個々のＡＲシステムは、本情報を、直接または間接的にのいずれかにおいて、来客ユーザの個々のＡＲシステムに通信してもよい。これは、１つ以上の実施形態では、パス可能世界モデルを通して遂行されてもよい。
図９７Ｅは、メディアコンテンツ、例えば、映画を楽しむための仮想ディスプレイ、モニタ、または画面を設定している、物理リビングルーム内における主催者ユーザおよび来客を示す。
図９７Ｄとは対照的に、主催者ユーザは、指示された人差し指を用いて、対角線を描き、所望の仮想ディスプレイ、モニタ、または画面の位置およびサイズを示す、別のジェスチャ９７２８を行う。
図９７Ｆでは、ユーザはさらに、仮想ディスプレイ、モニタ、または画面９７２４のための特性を選んでもよい。例えば、ユーザは、仮想アイコン９７３０を通して、審美的特性、例えば、境界、ベゼル、またはフレームを選ぶためのジェスチャを行ってもよい。ユーザはまた、動作特性、例えば、画像再現および／または品質に関連する特性を選ぶためのジェスチャを行ってもよい。例えば、ユーザは、種々の旧来の物理モニタまたはテレビから選択してもよい。ＡＲシステムは、旧来のモニタまたはテレビ（例えば、１９６７年からのカラーテレビ）の写真特性を複製してもよい。
したがって、主催者ユーザは、モニタまたはテレビをメーカーおよびモデルおよび年式の一覧から選択し、同一物理キャビネットの外観、同一視覚的または写真特性の外観を伴う、歴史的に正確なデバイスを複製し、さらに、より古い音を複製してもよい。ユーザは、より古い番組またはメディアコンテンツを年代物の現実的モニタまたはテレビ上で体験することができる。ユーザは、新しいプログラムまたはメディアコンテンツをより古いモニタまたはテレビ上で体験してもよい。
ＡＲシステムは、最上位の最新テレビもしくはモニタまたはさらに将来的テレビもしくはモニタを忠実に複製する、仮想ディスプレイ、モニタ、またはテレビ９７２４を作成してもよい。これらのタイプの実施形態は、本質的に、物理ディスプレイシステム（例えば、コンピュータ、テレビ等）を購入する任意の理由を排除する。
実際、複数のユーザが、複数のテレビを使用してもよく、各テレビ画面は、異なるコンテンツを表示する。ＡＲシステムはまた、古典的年代物の製品または最新デジタル映写機であるかどうかにかかわらず、映写機の映像特性に一致するように仮想コンテンツをレンダリングしてもよい。例えば、ＡＲシステムは、大型映画館の映写機およびスクリーンの１つ以上の特徴を複製するように仮想コンテンツをレンダリングしてもよい。利用可能であるスピーカ構成に応じて、ＡＲシステムはさらに、映画館のサウンドシステムを複製してもよい。
ＡＲシステムは、映画館内に座っている状態を複製する、仮想コンテンツをレンダリングしてもよい。例えば、ＡＲシステムは、映画館の建造物に一致または非常に類似する、仮想コンテンツをレンダリングしてもよい。したがって、ユーザは、例えば、古典的映画館の一覧から、複製のための映画館を選択してもよい。ＡＲシステムはさらに、少なくとも部分的に、ユーザを囲繞する、聴衆を作成してもよい。仮想コンテンツは、例えば、身体座標フレームにロックされてもよい。したがって、ユーザがその頭部を転向または傾斜させるにつれて、ユーザは、映画館の異なる部分（例えば、壁、バルコニー）の仮想表現が、ユーザの周囲に着座して見える人々の仮想表現とともに見えてもよい。ユーザはさらに、着座位置または任意の他の視点を取り上げてもよい。
ウェブサイトまたはアプリケーションストアは、ユーザが、古典的テレビ、モニタ、プロジェクタ、および画面、ならびに映画館、コンサートホール等の種々の公演会場の外観と雰囲気を複製する、フィルタまたは他のソフトウェアを設計および共有することを可能にするように設定されてもよい。
したがって、ユーザは、特定の映画館、映画館内の場所、特定の映写機タイプ、および／またはサウンドシステムタイプを選択してもよい。これらの特徴は全て、単に、ユーザのＡＲシステム上にレンダリングされてもよい。例えば、ユーザは、特定の年代物のＴＶ番組を１９６０年代初期の年代物のテレビセット上で視聴することを所望し得る。ユーザは、仮想映画館内に座ってその１話を体験し、ユーザの周囲および／またはその正面に座っている人々も見え得る。身体中心視野は、ユーザが、ユーザが転向するにつれて他者が見えることを可能にしてもよい。ＡＲシステムは、映画館体験を再現または複製することができる。同様に、ユーザは、特定のコンサート会場、会場内の特定の座席、または場所（例えば、ステージ上、バックステージ）を選択することができる。１つ以上の実施形態では、会場は、ユーザ間で共有されてもよい。
図９７Ｇは、例証される実施形態の１つによる、幾人かのユーザを示し、それぞれ、それぞれの物理光線銃トーテム９７５０を保持し、ＡＲシステムによってレンダリングされた仮想ユーザインターフェース９７５２と相互作用し、その武器をカスタマイズする。
プレイの前に、各ユーザは、そのそれぞれの光線銃トーテムのための１つ以上の仮想カスタマイズ構成要素を取り上げてもよい。ユーザは、そのそれぞれの個々のＡＲシステムによって各ユーザの視野にレンダリングするための仮想カスタマイズユーザインターフェースを介して、カスタマイズを選択してもよい。例えば、ユーザは、例えば、ジェスチャまたは音声コマンドによって、カスタム装備品（例えば、スコープ、暗視スコープ、レーザスコープ、フィン、ライト）を取り上げてもよい。
各ユーザのそれぞれの個々のＡＲシステムは、ユーザのジェスチャまたは選択を検出してもよい。付加的物理構成要素を追加するのではなく、個々のＡＲシステム（例えば、身体および／または頭部装着式構成要素）は、各光線銃をカスタマイズする仮想コンテンツを各ユーザまたはプレーヤの視野内にレンダリングしてもよい。したがって、種々の個々のＡＲシステムは、例えば、パス可能世界モデルを利用することによって、直接または間接的にのいずれかにおいて、情報を交換してもよい。
とりわけ、物理光線銃トーテム９７５０は、例えば、実際には、機能的ではあり得ない、単純デバイスであってもよい。むしろ、物理オブジェクトに関係して配信される仮想コンテンツを通して、命が与えられ得る、単なる物理オブジェクトである。前述のトーテムと同様に、ＡＲシステムは、例えば、各ユーザの個々の拡張現実デバイス（例えば、頭部装着式構成要素）の外向きに面したカメラによって捕捉された画像情報を介して、ユーザ相互作用を検出する。
同様に、ＡＲシステムは、爆破もしくは他の視覚的および／または聴覚効果をユーザの視野内にレンダリングし、光線銃の発射を複製してもよい。例えば、第１のユーザによって装着される第１の個々のＡＲデバイスは、第１のユーザが第１のユーザが携行している第１の光線銃トーテムの照準を合わせていることを検出し、第１のユーザがトリガをアクティブ化したことを検出してもよい。それに応答して、第１の個々のＡＲデバイスは、第１の光線銃トーテムを用いて生じたように見える、仮想爆破効果を第１のユーザの視野に、および／または好適な音を第１のユーザの耳に、レンダリングする。
第１の個々のＡＲデバイスは、パス可能世界モードを、直接または間接的にのいずれかにおいて、それぞれ、第２および第３のユーザによって装着される第２および第３の個々のＡＲシステムにパスする。これは、第２および第３の個々のＡＲシステムに、第１の光線銃トーテムから生じたように見えるように、仮想爆破視覚的効果を第２および第３のユーザの視野内にレンダリングさせる。第２および第３の個々のＡＲシステムはまた、第１の光線銃トーテムから生じたように見えるように、仮想爆破聴覚または音効果を第２および第３のユーザの耳にレンダリングしてもよい。
略銃形状のトーテムを用いて図示されるが、本アプローチは、非生物トーテムおよびさらに生物トーテムを含む、他のトーテムと併用されてもよい。例えば、ユーザは、身体の一部（例えば、手）を「武器化」することを選定し得る。例えば、ユーザは、仮想ロケットをその手の上に置き、および／または仮想火球をその指先端から発出させるように選定してもよい。当然ながら、ＡＲシステムに、多くの他の仮想効果をレンダリングさせることも可能である。
図９７Ｈは、例証される実施形態の１つによる、ＡＲシステム９７０１の幾人かのユーザを示し、ＡＲシステムを介してレンダリングされた仮想コンテンツを用いてゲームをプレイする、それぞれ、仮想カスタマイズを伴うそれぞれの物理光線銃トーテム９７５０を保持する。
図９７Ｈに図示されるように、ユーザは、別の世界からの仮想エイリアンまたはロボットと戦闘する、ゲームをプレイしてもよい。個々のＡＲシステムは、仮想エイリアンをそれぞれのユーザの視野内にレンダリングする。前述のように、それぞれの個々のＡＲシステムは、それぞれのユーザの照準および発射相互作用を追跡し、必要情報を個々のＡＲシステムの他の者に中継してもよい。ユーザは、ゲーム内で協力してもよく、または相互に戦ってもよい。個々のＡＲシステムは、仮想スコアボードをユーザの視野内にレンダリングしてもよい。スコアまたはさらにゲームプレイの一部は、ソーシャルメディアネットワークを介して共有されてもよい。
図９８Ａ−９８Ｃは、別の例証される実施形態による、連続間隔でＡＲシステムによってレンダリングされた仮想コンテンツと相互作用する、その家のリビングルーム内におけるユーザを示す。
図９８Ａに図示されるように、ユーザが、例えば、その自身のリビングルームに居ることを認識することに応答して、ＡＲシステムは、適切なまたは対応する仮想コンテンツをレンダリングしてもよい。例えば、ユーザは、リビングルームの物理壁上にあるかのように見えるようにその個々のＡＲシステム９８０１がその視野内にレンダリングする、仮想テレビ９８１４上でテレビ番組を視聴していてもよい。個々のＡＲシステム９８０１はまた、第２の仮想画面９８１６に関連メディアコンテンツ（例えば、投票メニュー、コンテスト参加者のランキング、または順位）をレンダリングし、ユーザに、第２の画面体験を提供してもよい。個々のＡＲシステム９８０１はさらに、第３の画面（図示せず）に付加的コンテンツ、例えば、ソーシャルメディアコンテンツまたは電子メッセージもしくはメールをレンダリングしてもよい。
ユーザはまた、例えば、芸術品を視認または買物してもよい。例えば、個々のＡＲシステムは、芸術品視認または買物ユーザインターフェースをトーテム９８１２にレンダリングしてもよい。前述のように、トーテム９８１２は、任意の物理オブジェクト（例えば、金属または木材のシート）であってもよい。トーテムは、例えば、面積寸法の観点から、タブレットコンピューティングデバイスに類似し得るが、オンボード電子機器が要求されないため、はるかに薄い厚さを有し得る。
また、前述のように、個々のＡＲシステム９８０１は、トーテムとのユーザ相互作用、例えば、指ジェスチャを検出し、対応する入力を生成する。個々のＡＲシステム９８０１はさらに、仮想フレーム９８１８を生成し、ユーザのリビングルームの壁上に見えるであろうように、芸術品を視認させてもよい。ユーザは、仮想ディスプレイ、モニタ、または画面の寸法を確立するための前述のもの等の単純ジェスチャを使用して、フレームの寸法を制御してもよい。ユーザはまた、例えば、フレーム画像の集合からフレーム設計を選択してもよい。したがって、ユーザは、種々の作品の断片が家の装飾に合うかどうか見ることが可能である。個々のＡＲシステム９８０１はさらに、仮想ボックス９８２０に示されるように、価格情報を選択された芸術品およびフレームに近接してレンダリングしてもよい。
図９８Ｂに図示されるように、ユーザが好む車両の広告９８２２を見えたことに応答して、ユーザは、特定の車両に関する調査を行うためのジェスチャを行う。
それに応答して、個々のＡＲシステム９８０１は、第２の仮想画面に関連メディアコンテンツ（例えば、車両仕様、専門家からの車両レビュー、友人からの車両レビュー、最近のコスト傾向、修理傾向、リコール通知）を再レンダリングしてもよい。
また、図９８Ｂに図示されるように、個々のＡＲシステム９８０１は、例えば、仮想メニューがユーザのリビングルームの物理壁上にあるかのように見えるように、ユーザの仮想空間の高レベル仮想メニュー９８２４をユーザの視野内にレンダリングしてもよい。ユーザは、単純ジェスチャを使用して、メニューと相互作用し、個々のＡＲシステムが監視する仮想空間と相互作用してもよい。仮想メニューは、定義されたジェスチャに応答して、スクロール可能であってもよい。
また、図９８Ｂに図示されるように、ユーザは、仮想テレビまたは仮想モニタから車両の仮想３Ｄモデルを引き出すためのジェスチャ（例えば、把持し、引っ張るジェスチャ）を行ってもよい。
図９９Ｃに図示されるように、ユーザの把持し、引っ張るジェスチャ（図９８Ｂ）に応答して、ＡＲシステムは、仮想３次元モデル９８４０を、例えば、ユーザと仮想テレビまたは仮想モニタとの間に位置する、ユーザの視野にレンダリングしてもよい。明視野を使用するとき、ユーザはさらに、車両を種々の異なる視点または観点から調べるために、車両の周囲を歩く、または車両の３次元モデルを回転させることが可能であってもよい。
さらに、ユーザが車両内に座っているかのように、車両の内部をレンダリングすることも可能であってもよい。ＡＲシステムは、車両を任意のユーザ選択色でレンダリングしてもよい。ＡＲシステムはまた、図９８Ｃに示されるように、ディーラー情報、色選択肢、および他の車両仕様を別の仮想画面９８４２にレンダリングしてもよい。
３次元モデルを読み出すための能力等の仮想拡張は、ブロードキャストコンテンツもしくはプログラミングと同期される、またはそれによってトリガされてもよい。代替として、視覚的拡張は、ユーザ選択に基づいてもよい。
ユーザは、車両の３次元モデル９８４０および／または車両関連調査を車両仮想部屋または仮想空間に保存してもよい。例えば、ユーザは、仮想メニューの適切なフォルダに向かってジェスチャ（例えば、手を振るまたは逆手打ち掃引運動）を行ってもよい。ＡＲシステム９８０１は、ジェスチャを認識し、後の呼び出しのために、車両関連情報を車両仮想部屋または仮想空間に関連付けられたデータ構造内に保存してもよい。
図９８Ｄは、別の例証される実施形態による、ＡＲシステム９８０１によってレンダリングされた仮想コンテンツ９８５０と相互作用する、私有車道におけるＡＲシステム９８０１のユーザを示す。
ユーザは、私有車道へと出て、車両がユーザの家の正面に駐車されて見えるであろう様子を確認してもよい。ＡＲシステムは、車両が私有車道内に位置付けられて見えるように、車両９８５０の３次元ビューをユーザの視野にレンダリングする。ＡＲシステムは、図９８Ｄに示されるように、ジェスチャを通して仮想車両の外観を自動的にスケーリングしてもよい。
１つ以上の実施形態では、ＡＲシステムは、幾分、ゲームエンジンと同様に機能し得る、別個のオペレーティングシステムを使用してもよい。従来のゲームエンジンは、いくつかのシステムのために機能し得るが、他のシステムは、従来のゲームエンジンのユーザが困難となる付加的要件を課し得る。１つ以上の実施形態では、オペレーティングシステムは、対応する解決策および／またはアーキテクチャの２つの別個のモードに分割され、両モードの要件を満たし得る。
従来のコンピュータシステムのように、オペレーティングシステム（ＯＳ）は、２つの別個のモード、すなわち、ｉ）モーダルと、ｉｉ）非モーダルとで動作する。非モーダルモードは、典型的コンピュータデスクトップに類似し、ユーザが、ウェブ、インスタントメッセージ（ＩＭ）をサーフィンし、同時に、電子メールをチェックし得るように、複数のアプリケーションが同時に起動する。
モーダルモードは、典型的ビデオゲームに類似し、全てのアプリケーションがシャットダウンし（または背景となり）、ゲームは、システムを完全に引き継ぐ。多くのゲームは、そのようなモードに適合する一方、従来のコンピューティング機能は、非モーダルアプローチを必要とするであろう。
これを達成するために、ＯＳは、２つの構成要素、すなわち、（ａ）サブシステムと、（ｂ）ウィンドウ化インターフェースとに分割されてもよい。これは、いくつかの点において、現代のオペレーティングシステムが機能する方法に類似する。実施例のために、特定のオペレーティングシステム下では、カーネルおよび多くのアプリケーションは、ともに機能し、サブシステムを提供するが、次いで、他のオペレーティングシステムは、ユーザに、従来のデスクトップ、アイコン、およびウィンドウを提供してもよい。
同様に、ＯＳは、同じように、オペレーティングシステム（例えば、基本動作のためのＬｉｎｕｘ（登録商標）カーネル）と、別のオペレーティングシステム（例えば、Ｗｉｎｄｏｗ（登録商標）システム）のためのカスタムアプリケーション（例えば、ＰＡＣＥＲ、ジャイロスコープ、ＧＰＳ、パス可能世界モデル化等）とのうちの１つのサブシステムに分割されてもよい。２つのモードは、サブシステムが必然的に継続的に起動するであろうため、Ｗｉｎｄｏｗ（登録商標）システムにのみ適用されるであろう。
しかしながら、２つのモードはまた、付加的複雑性をシステムに導入し得る。非モーダルシステムは、従来のコンピューティング特徴をもたらし得るが、明らかに従来の方法ではなく動作する。その３Ｄ性質は、非平面オブジェクト（ユーザのビュー内に設置される３Ｄオブジェクト）と組み合わせられた平面表面（画面）の組み合わせとともに、現代のゲームエンジンによって共有される多くの特徴である、衝突、重力、および深度についての疑問を導入する。本理由から、システムの「オペレーティングシステム」部分は、カスタム設計されてもよい。
最も単純な非モーダルアプリケーションは、「表面」である。単純仮想２Ｄ平面表面が、３Ｄ環境にレンダリングされ、従来のコンピューティングツール（例えば、ウェブブラウザ等）を起動する。大部分のユーザは、身体中心配向（例えば、左にフィードされるＴｗｉｔｔｅｒ（登録商標）、右のＦａｃｅｂｏｏｋ（登録商標））および世界中心配向（例えば、暖炉の上方の壁に貼り付けられたＨｕｌｕ（登録商標））の両方において、いくつかの表面とともにシステムを起動することが予期される。
次の非モーダルアプリケーションステップは、「通知」である。これらは、例えば、ユーザにあるアクションを通知するために、３Ｄ動画で拡張された２Ｄ平面表面であってもよい。例えば、電子メールは、おそらく、従来の２Ｄ平面システムのままであろうが、新しいメールの通知は、例えば、池の中の水滴に類似する効果を用いて、メッセージが「受信」されると飛んできて、表面上に文字を落とす、鳥を介して行われ得る。
別の非モーダルアプリケーションステップは、完全３Ｄアプリケーションに関する。全てのアプリケーションが、本空間の中に適合しない場合があり、最初に、提供が限定されるであろう。仮想ペットは、完全３Ｄ非モーダルアプリケーションの完璧な実施例である。すなわち、完全に３Ｄレンダリングされ、動画化された「創造物」が、１日を通してユーザに追従する。非モーダルアプリケーションはまた、既存のプラットフォームから「引き継がれた」アプリケーションの基礎であってもよい。
大部分のＡＲシステムは、完全モーダルアプリケーションであろうことが予期される。例えば、ゲームが始められる（例えば、ユーザが光線銃トーテムを使用して、そのそれぞれの視野の中にレンダリングされた仮想侵入者と戦闘する）と、モーダルアプリケーションが、使用される。始められると、全てのユーザの表面および仮想コンテンツは、消失し、フィールド全体が、ゲームからのオブジェクトおよびアイテムと置換されるであろう。ゲームの終了に応じて、ユーザの個々の仮想表面および仮想コンテンツは、再開され得る。
モーダルシステムは、ゲームエンジンに依拠してもよい。いくつかのゲームは、より高性能のゲームエンジンを利用し得る一方、その他は、より単純なゲーム用エンジンを要求する。各ゲームは、その設計選択肢に適合させ、ガイダンスを組み込むためのゲームエンジンを選択してもよい。
１つ以上の実施形態では、モーダルシステム内の種々のガジェットの仮想コレクションが、利用されてもよい。開始時、ユーザは、「プレイ面積」（テーブル上または床空間であってもよい）を定義し、次いで、仮想「おもちゃ」の設置を開始する。最初は、仮想おもちゃは、基本的物理原理（例えば、重力、衝突検出）のみを伴う、非常に基本的なオブジェクト（例えば、ボール、スティック、ブロック）であり得る。
次いで、ユーザは、例えば、仮想店を介してゲーム内で購入して、または他のゲーム（例えば、Ａｒｍｙ Ｍｅｎ）とともにバンドル化されたアドオンとして生じる、より高度な仮想おもちゃに進化させることができる。これらのより高度な仮想おもちゃは、その独自の動画または特殊属性とともに生じてもよい。各仮想おもちゃは、基本動画および挙動とともに生じ、他のオブジェクトとの相互作用を可能にしてもよい。「タグ」および「特性」のシステムを使用して、予期されない挙動が、使用またはプレイの間、展開し得る。
例えば、ユーザは、単純仮想漫画キャラクタをテーブル上にドロップしてもよい。仮想漫画キャラクタは、直ちに、「パトロールモード」に入ってもよい。その後すぐに、仮想漫画キャラクタおもちゃは、同様にタグ付けされたオブジェクトを認識し、編隊の協調を開始する。同様に、他のそのような仮想キャラクタは、仮想コレクションを使用して、テーブル上に持ってこられてもよい。
本アプローチは、いくつかの興味深い側面をシステムにもたらす。ユーザによって具体的に規定されたもの以外、殆どまたは全くルールが存在しなくてもよい。したがって、仮想コレクションが、真のプレイゾーンであるように設計される。
一実施形態では、ゲームは、「互換性のある」仮想コレクションと呼ばれ得る。加えて、要素は、直接、他者に販売されてもよい（例えば、マイクロトランザクションを通して）。これはまた、第１のステップをユーザに導入し、実および仮想オブジェクトをまとまりのある単一体験にマージし得る。物理テーブルが正確におよび動的にマップされ得る場合、任意の物理オブジェクトは、１つ以上の実施形態では、仮想キャラクタとなることができる。
仮想コレクションゲームは、システムの任意のユーザによって使用されてもよいが、単に、体験のために購入することはないであろう。これは、仮想コレクションが独立型ゲームではないためである。人々は、互換性のあるゲーム（例えば、大まかに一般的ＵＩ、テーブル上相互作用パラダイム、および適切なフォーマットにおけるゲーム内アセットの提供を伴うゲーム）の集合をプレイするためにシステムを購入し得る。
図９９に図示されるように、種々の異なるゲームのタイプおよびゲームタイトルが、仮想ゲームコレクション９９０２を通して互換性のあるゲームとして行われるために好適である。例えば、新しい「デジタル」フォーマットにおける任意の古典的ボードゲーム９９１４が、含まれてもよい。また、例えば、タワーディフェンスゲーム９９０４（例えば、敵の押し寄せる波をブロックする試みとして、アセットをテーブル上に配列する）が、含まれてもよい。別の実施例として、「神」の作戦ゲーム９９０６が、含まれてもよい。なおもさらなる実施例として、さらなる人気のあるスポーツゲーム９９０８（フットボール、サッカー、野球等）が、含まれてもよい。他のアドベンチャゲーム９９１０もまた、仮想ゲームコレクション内に含まれてもよい。
互換性のあるテーブル上ゲームのクラスは、方略的に重要である。外部開発者は、新しい入力（例えば、手／眼／トーテム追跡）を受け取り、ＡＲシステムにインポートするように修正される必要性の可能性が最も高いであろう、既存のゲームエンジンを使用して、匹敵するゲームを作成することができる。
（おもちゃ箱）
ＡＲシステムは、相互動作可能構成要素を有する、種々のゲームを実装してもよい。ゲームは、例えば、テーブル上での使用のために設計されてもよい。各ゲームは、本質的に、他のゲームから独立するが、構造物は、要素またはアセットが要素またはアセットが共有されていないゲームに具体的に設計されていない場合でも、ゲーム間でそれらの要素またはアセットを共有することを可能にしてもよい。したがって、第１のゲームは、第２のゲームにおいて明示的に定義および使用される要素またはアセットの明示的定義を有していなくてもよい。但し、第２のゲームからの要素またはアセットが第１のゲームに予期せずに現れるとき、第１のゲームは、要素に関連付けられた定義されたルールの集合および１つ以上の特性の適用に基づいて、要素またはアセットに対応することが可能である。
ＡＲシステムは、相互動作可能構成要素を有する、種々のゲームを実装してもよい。ゲームは、例えば、テーブル上での使用のために設計されてもよい。各ゲームは、本質的に、他のゲームから独立するが、構造物は、要素またはアセットが要素またはアセットが共有されていないゲームに具体的に設計されていない場合でも、ゲーム間でそれらの要素またはアセットを共有することを可能にしてもよい。したがって、第１のゲームは、第２のゲームにおいて明示的に定義および使用される要素またはアセットの明示的定義を有していなくてもよい。但し、第２のゲームからの要素またはアセットが第１のゲームに予期せずに現れるとき、第１のゲームは、要素に関連付けられた定義されたルールの集合および１つ以上の特性の適用に基づいて、要素またはアセットに対応することが可能である。
１つ以上の実施形態では、仮想おもちゃコレクションインターフェースが、実装されてもよく、全てのインストールされたゲームの要素またはアセット（仮想おもちゃコレクションインターフェースと互換性のある）が、１つの統合場所において利用可能である。本インターフェースは、インターフェースと互換性のある全てのゲームによって理解され得る。
第１のゲーム設計者は、第１の要素またはアセットの集合を伴う第１のゲームを定義してもよい。第２のゲーム設計者は、第１の要素またはアセットの集合と異なる第２の要素またはアセットの集合を伴う第２のゲームを定義してもよい。第２の設計者は、第１の設計者に全く関連していなくてもよく、一度も会ったこと、または第１のゲームについて聞いたことすらなくてもよく、第１のゲームの要素またはアセットの何も把握していなくてもよい。しかしながら、各ゲーム設計者は、そのベースライン相互作用としての物理特性を理解する要素またはアセットを伴うそれぞれのゲームを作ってもよい。これは、異なるゲーム間で相互交換可能な要素またはアセットをレンダリングする。例えば、第１のゲームは、砲塔を移動、回転させ、大砲を発射することが可能である、戦車キャラクタを含んでもよい。第２のゲームは、ドレスアップした人形キャラクタ（例えば、Ｂａｒｂｉｅ（登録商標）人形）を含んでもよく、戦車または戦車キャラクタに関連付けられた特性の明示的定義を有していなくてもよい。ユーザは、次いで、第１のゲームからの戦車キャラクタを第２のゲームに訪問させてもよい。
両ゲームは、基本的特徴または特性（例えば、ゲーム空間の存在論）を含んでもよい。第１および第２のゲームの両方が、共通構造物を有する（例えば、物理特性、物理特性エンジンを理解する）場合、第２のゲームは、少なくともある程度、第１のゲームからのキャラクタ（例えば、戦車）の導入に対処することができる。したがって、第１のゲームからのキャラクタ（例えば、戦車）は、第２のゲームからのキャラクタ（例えば、Ｂａｒｂｉｅ（登録商標）人形）と相互作用することができる。例えば、第１のゲームからのキャラクタ（例えば、戦車）は、メッセージパスを介して、第２のゲームからのキャラクタ（例えば、Ｂａｒｂｉｅ（登録商標）人形）を射撃してもよい。第２のゲームからのキャラクタ（例えば、Ｂａｒｂｉｅ（登録商標）人形）は、メッセージ（例えば、「撃たれました」）を受信する方法を把握していない、またはそれを理解しない。しかしながら、両ゲームは、共通基本物理特性を有する。したがって、第１のキャラクタ（例えば、戦車）は、第２のキャラクタ（例えば、Ｂａｒｂｉｅ（登録商標）人形）を射撃することができないが、第１のキャラクタ（例えば、戦車）は、第２のキャラクタ（例えば、Ｂａｒｂｉｅ（登録商標）人形）を轢くことができる。世界は、通信機構として使用される。
ＡＲシステムは、通信のために、パス可能世界モデルに依拠してもよい。前述の実施例では、第１および第２のキャラクタは、共通物理特性を有するため、共通言語を必要としない。２つのオブジェクトが衝突する物理特性が定義されるため、あるゲームからボールを取り上げ、別のゲームからの人形をボールを打つためのバットとして使用することが考えられるであろう。
したがって、物理特性が共有される場合、ゲームまたはアプリケーションは、それぞれに属する仮想オブジェクト間に通信プロトコルを必要としない。再び、戦車が人形にぶつかる場合、戦車によって轢かれることが第２のゲーム、またはついでに言えば、第１のゲームにおいて明示的に定義されていない場合でも、人形は、轢かれる。
ＡＲシステムにおける種々のレベルは、実世界のマップである。ユーザインターフェースは、主に、手、眼、および／またはトーテムの追跡に基づく。ユーザの手の追跡は、ジェスチャの追跡を含む。トーテム使用の追跡は、トーテムの姿勢ならびにユーザの手または指とトーテムの相互作用の追跡を含む。
個々のＡＲシステムの能力は、個々のＡＲシステムを非ポータブル機器（例えば、デスクトップパーソナルコンピュータ、ＡＲサーバ等）に通信可能に接続することによって（テザリングまたは無線で）拡張され、性能を改良し得ることを理解されたい。ユーザ装着式構成要素は、余剰計算パワーを提供し得る、ＡＲデバイス（例えば、デスクトップパーソナルコンピュータ、ＡＲサーバ等）に情報をパスしてもよい。例えば、付加的計算パワーが、例えば、レンダリングのために、より多くのオブジェクト認識器を起動させる、より多くのクラウドデータをキャッシュする、および／または余剰シェーダをレンダリングするように所望され得る。
（他の用途）
１つ以上の実施形態では、ＡＲシステムは、ユーザがデジタルヒトと相互作用することを可能にしてもよい。例えば、ユーザは、今はもう使われていない倉庫の中に歩いていってもよいが、空間は、銀行に類似するように、デジタルヒトが取り込まれてもよい。ユーザは、ユーザの眼を見て、彼らと相互作用することが可能であり得る、窓口係の所まで歩いていってもよい。システムは、ユーザの眼を追跡するため、ＡＲシステムは、デジタルヒトがユーザとアイコンタクトを行うように、デジタルヒトをレンダリングすることができる。
１つ以上の実施形態では、ＡＲシステムは、ユーザがデジタルヒトと相互作用することを可能にしてもよい。例えば、ユーザは、今はもう使われていない倉庫の中に歩いていってもよいが、空間は、銀行に類似するように、デジタルヒトが取り込まれてもよい。ユーザは、ユーザの眼を見て、彼らと相互作用することが可能であり得る、窓口係の所まで歩いていってもよい。システムは、ユーザの眼を追跡するため、ＡＲシステムは、デジタルヒトがユーザとアイコンタクトを行うように、デジタルヒトをレンダリングすることができる。
または、関連実施形態では、眼追跡技術が、他の用途でも同様に使用されてもよい。例えば、ユーザがキオスクに向かって歩いている場合、キオスクは、ユーザの眼が焦点を当てているものを決定可能である、眼追跡器を具備してもよい。本情報に基づいて、キオスクにおけるデジタルヒトまたはヒトのビデオ表現（例えば、キオスクにおけるビデオ）は、ユーザと相互作用する間、ユーザの眼を見ることが可能であってもよい。
別の実施形態では、パフォーマーは、パフォーマーのデジタルバージョンがユーザの物理空間内に現れ得るように、自身の仮想表現を作成可能であってもよい。例えば、ミュージシャンは、単に、パフォーマンスを録画している楽屋で音楽を演奏していてもよく、本パフォーマンスは、複数のユーザのリビングルームにブロードキャストされてもよい。しかしながら、システムは、演奏中、パフォーマーの全ての側面を再レンダリングする必要なく、変更データのみを使用して、ユーザのパフォーマンスにおいて変化しているものをブロードキャストしてもよい。したがって、パフォーマーの仮想表現の非常に正確なレンダリングが、複数のユーザのリビングルームにおいてレンダリングされ得る。さらに別の改良では、ユーザの眼追跡データを有することで、デジタルヒト（この場合、パフォーマーの仮想表現）が、デジタルヒトがユーザとアイコンタクトを起こっているように、レンダリングされてもよい。したがって、これは、仮想表現／デジタルヒトが、直接、複数のユーザと相互作用させることによって、ユーザ体験を改良し得る。
１つ以上の実施形態では、ＡＲシステムは、教育的目的のために使用されてもよい。例えば、一連の教育的仮想コンテンツが、子供に表示されてもよい。子供は、仮想オブジェクトに物理的にタッチしてもよく、または他の実施形態では、子供は、単に、より長い期間の間、仮想オブジェクトを見て、オブジェクトに関連するメタデータをロック解除してもよい。例えば、子供は、そのリビングルーム内で種々の海洋生物によって囲繞されてもよい。ユーザ入力に基づいて、仮想オブジェクトに関連するメタデータが、型どおりにロック解除されてもよい。これは、仮想上任意の空間が教育的空間に変換され得るという点において、教育において全く新しいパラダイムを提供する。図８９Ａ−Ｊの買物体験に図示されるように、食料品店さえ、教育的遊び場として使用されてもよい。
同様に、ＡＲシステムは、広告用途でも同様に使用されてもよい。例えば、ユーザは、特定の広告をＴＶ上で見る場合があり、またはピア上で気に入り得る一足の靴を見る場合がある。ユーザ入力（眼視線、タッチ、または任意の他の入力）に基づいて、ユーザは、アイテムを販売している企業のウェブページまたは別の販売者にダイレクトされてもよい。例えば、仮想アイコンは、種々の購入関連選択肢をユーザの視野内に自動的に取り込み、ユーザに提供してもよい。または、関連実施形態では、アイテムは、ユーザがアイテムを後に清算することができるように、単に、「買物カート」または類似保管バッグ内に入れられてもよい。
関連実施形態では、異なるタイプの広告パラダイムが想定されてもよい。例えば、視覚的インプレッション（「クリック」および購入）モデルが、購入のために利用されてもよい。例えば、ユーザが一足の靴をピア上で見て、小売業者のウェブサイトに行くステップをとり、少なくとも類似の一足の靴をオンライン買物カート内に入れる場合、広告主は、おそらく、ピア紹介プログラムを通して、ピアに支払ってもよい。言い換えると、ＡＲシステムは、眼追跡技法を通して、ユーザがピアの一足の靴を見たことと、ユーザがその相互作用に起因して靴を認識したことを把握する（例えば、ピアおよびユーザが靴について話さない場合でも）。本情報は、有利に活用され得、ピアは、広告主または小売業者によって報酬を受けてもよい。
または、別の実施形態では、ユーザは、そのインプレッション、クリック、および購入を広告主に販売してもよい。言い換えると、広告主は、データを直接、ユーザの集合から購入することを選定してもよい。したがって、広告主は、広告を公開し、続いて、ユーザ挙動を監視する必要なく、個々のユーザは、単に、その挙動データを広告主に販売してもよい。これは、ユーザに、個々の選好に基づくデータを利用するための制御を与える。
さらに別の実施形態では、収益共有プログラムは、広告主が、コンテンツ／データと引き換えに、その収益をユーザと共有するように実装されてもよい。例えば、広告主は、直接、ユーザに支払い、ＡＲシステムを通して収集されるデータを収集または受信してもよい。
さらに別の実装では、ＡＲシステムは、個人化された広告のために使用されてもよい。したがって、モデルまたは有名人上に表示される画像または広告コンテンツを見るのではなく、広告コンテンツは、各人物がその独自のアバタを用いて広告を見るように個人化されてもよい。例えば、有名人を用いた広告板広告を見るのではなく、広告は、ユーザ自身が製品、例えば、靴を装着することを特徴としてもよい。これはまた、消費者が製品をモデル化し、アイテムまたは製品が彼らに望ましいかどうかを判断する方法であり得る。さらに、個人化された広告は、直接各ユーザに訴えるため、ユーザにより魅力的であり得、ＡＲシステムは、ユーザの個人的特徴を活用し、直接、彼らに広告してもよい。
別の用途では、ＡＲシステムは、ＡＲシステムの子供の使用を監視する、または概して、親が物理的に子供に近接していないときでさえ、子供の挙動を監視し得る、ペアレンタルガイダンス用途として実装されてもよい。ＡＲシステムは、親が、仮想上、任意の場所で任意の時間に子供と居ることができるように、そのマッピング能力を使用して、空間の画像／ビデオを読み出してもよい。したがって、子供が学校または公園に居る場合でも、親は、自身のアバタを作成し、自らをその空間の中に取り込み、必要に応じて、子供を見張ることが可能であり得る。
別の実施形態では、ＡＲシステムは、ユーザが、仮想オブジェクトを他のユーザが実物理空間内で発見するために残すことを可能にしてもよい（例えば、図１２５Ｊ）。これは、ゲーム設定（例えば、スカベンジャーハントゲーム用途等）内に実装されてもよく、ユーザが種々の物理空間において仮想オブジェクトをロック解除することを競争する。または、同様に、ユーザは、同一物理空間を後に専有し得る友人のために、重要な情報を仮想コンテンツの形態で残してもよい。随意の実施形態では、ユーザは、信頼できるソースまたは友人によってのみロック解除され得るように、仮想コンテンツを「ロック」してもよい。ＡＲシステムが、一意の識別子に基づいて、またはさらにユーザの外観に基づいて、ユーザを「認識」し得ることを前提として、ＡＲシステムは、意図される受信者によって「タッチ」またはアクティブ化されるときのみ、仮想コンテンツまたは仮想コンテンツに関連するメタデータをロック解除し、プライバシーおよび安全性を確実にしてもよい。
別のゲーム用途では、１人以上のユーザは、そのお気に入りのビデオゲームをある物理空間内でプレイすることが可能であってもよい。したがって、ビデオゲームまたはモバイルゲームを画面上でプレイするのではなく、ＡＲシステムは、ユーザに最も適切な３Ｄおよび物理スケールで、ゲームを物理場所にレンダリングしてもよい。例えば、ＡＲシステムは、仮想「鳥」と、ユーザによって物理的につかまれ、仮想鳥に向かって投げられ、ポイントを得て、次のレベルに進み得るように、煉瓦とをレンダリングしてもよい。これらのゲームは、任意の物理環境内でプレイされてもよい。例えば、Ｎｅｗ Ｙｏｒｋ Ｃｉｔｙが、物理および仮想オブジェクトの両方を使用して、相互に相互作用するＡＲシステムの複数のユーザを伴う、仮想遊び場に変換されてもよい。したがって、ＡＲシステムは、多くのそのようなゲーム用途を有し得る。
さらに別の用途では、ＡＲシステムは、運動目的のために使用されてもよい。ＡＲシステムは、運動を楽しめるゲームに変換してもよい。例えば、ＡＲシステムは、例えば、ユーザを追いかけるように見え、ユーザをより高速で走らせ得る、仮想ドラゴンをレンダリングしてもよい。ユーザは、その近隣を走りに出かけてもよく、ＡＲシステムは、走ることをより楽しめるようにする仮想コンテンツをレンダリングしてもよい。例えば、運動用途は、ユーザが固定された期間内で手に入れる必要がある、スカベンジャーハントの形態をとって、ユーザをより効率的に走らせる／運動させてもよい。
別の実施形態では、ＡＲシステムは、「植物」または任意の他の仮想コンテンツをレンダリングしてもよく、その形態、形状、または特性は、ユーザの挙動に基づいて変化してもよい。例えば、ＡＲシステムは、「良い」挙動を呈するとき咲き、ユーザがそうではないとき萎む、植物をレンダリングしてもよい。具体的実施例では、植物は、ユーザが、例えば、良い彼氏であるとき（例えば、花を彼女に買う等）咲き、ユーザがその彼女に１日中電話していないとき萎んでもよい。他の実施形態では、植物または他のオブジェクトは、物理オブジェクトがＡＲシステムに結び付けられるように、ＡＲシステムの機械視覚に位置合わせする、物理オブジェクトまたはトーテムであってもよいことを理解されたい。したがって、多くのそのようなゲーム用途は、ユーザ体験をより楽しくかつＡＲシステムおよび／またはＡＲシステムの他のユーザと双方向的にするために使用されてもよい。
さらに別の実施形態では、ＡＲシステムは、健康保険分野における用途を有してもよい。常時ユーザの挙動を監視するＡＲシステムの能力を前提として、企業は、その挙動に基づいて、ユーザの健康を計測し、適宜、個人のための保険料の値段をつけることが可能であり得る。これは、企業が、ユーザが健康であって、保険目的のために低リスクであることが分かり得るため、保険のための掛け金を下げるために、健康な挙動のための報奨としての役割を果たし得る。一方、企業は、不健康な挙動を査定し、適宜、本収集されるデータに基づいて、ユーザの掛け金をより高い率で値段をつけ得る。
同様に、ＡＲシステムは、企業における従業員の生産性を計測するために使用されてもよい。企業は、従業員の作業習慣および生産性に関するデータを収集してもよく、適宜、観察される生産性に基づいて、報奨または補償を従業員に提供することが可能であり得る。
別の健康用途では、ＡＲシステムは、健康管理空間内に実装されてもよく、例えば、仮想放射線内で使用されてもよい。例えば、単に、２Ｄ画像またはＭＲＩ走査に依拠するのではなく、ＡＲシステムは、代わりに、特定の器官の仮想モデルをレンダリングし、医師が、３Ｄ空間内において、腫瘍または感染症が位置する正確な場所を決定することを可能にしてもよい（例えば、図９１Ａ）。ＡＲシステムは、例えば、ＭＲＩおよびＣＴ走査画像の組み合わせを使用して、患者の器官の正確な仮想モデルを作成してもよい。例えば、システムは、医師に、心臓の３Ｄ空間内において、問題となり得る場所が見えるように、受信されたデータに基づいて、仮想心臓を作成してもよい。ＡＲシステムは、したがって、医療および病院空間において多くの有用性を有し得、医師（例えば、外科医、放射線技師等）が、身体内の種々の器官を正確に可視化し、適宜、その患者を診断または治療するのに役立ち得ることを理解されたい。
関連実施形態では、ＡＲシステムは、医師が患者の医療履歴の全てへのアクセスを自由に有し得るため、健康管理を改良するのに役立ち得る。これは、患者挙動（例えば、医療記録に必ずしも含まれない情報）を含んでもよい。したがって、１つ以上の実施形態では、患者挙動の履歴は、医師が、適宜、患者を治療し得るように、適切にカテゴリ化され、医師／医療技術者に提示されてもよい。例えば、患者が意識不明である場合、医師は、（ユーザのプライバシー制御に基づいて）直近の過去のユーザの挙動の記録を検索し、病気の原因を決定し、適宜、患者を治療可能であってもよい。
ＡＲシステムは、高度な眼追跡能力（例えば、瞳孔および角膜を監視する、視線追跡）を有するため、ＡＲシステムは、患者が発作を起こしているとき、眼移動（例えば、発話における変化、瞳孔サイズの急変等）または網膜におけるあるパターンを検出してもよい。ＡＲシステムは、次いで、パターンを分析し、ユーザが発作を起こしているときに毎回繰り返し起きるパターンであるかどうかを決定してもよい。例えば、全発作患者は、類似眼パターンまたは瞳孔サイズの変化もしくは他の類似症状を有し得る。または、全ての患者は、発作を起こしているとき、別個のパターンまたは眼移動／瞳孔サイズ変化等を有し得る。いずれの場合も、発作または発作を起こした個々の患者に一意であるパターンを具備し、ＡＲシステムは、発作を治療または防止し得る光信号またはパターンを用いて、ユーザの網膜の背後に投影してもよい。
１つ以上の実施形態では、光療法プログラムは、患者に周期的に投与されてもよく、これは、ユーザが発作を起こしている間、気を逸らすものまたは療法として作用し得る。経時的に、そのような療法は、ユーザ／患者における発作の発生を低減または停止させ得る。
例えば、特定の光パターン（例えば、周波数、波長、色等）は、発作を緩和または別様に完全に治療もしくは防止するのに役立つことが分かっている場合がある。発作は、あるタイプの光によって緩和され得ることが観察されている。したがって、網膜の背後に送達される光パターンは、ある場合には、そのタイプの光の影響を取り消す影響を有し得る。したがって、ＡＲシステムは、発作を検出するために使用されてもよく、また、それらを防止または治療するために使用されてもよい。随意の実施形態では、患者の眼移動から収集される情報に基づいて、ＡＲシステムは、網膜光子波正面を通して、脳の種々の側面をプログラムするために使用され得る、網膜マップを作成してもよい。
網膜の中に投影される光信号の使用の他の用途も、存在し得る。本光療法はさらに、心理学的用途において使用され、脳信号をさりげなく制御し、ユーザの思考またはインパルスを変化させてもよい。
別の実施形態では、ＡＲシステムは、ユーザの挙動のパターンを検出し、ユーザの健康を能動的に改良してもよい。例えば、ＡＲシステムのユーザは、強迫性障害（ＯＣＤ）に悩まされ得る。ＡＲシステムは、ユーザの挙動を監視してもよい。患者がＯＣＤの症状（例えば、神経性チック、数を数える、掻きむしる等）を示しているとき、システムは、ユーザを落ち着かせるのに役立ち得る、ユーザの医師の仮想画像を自動的にレンダリングしてもよい。
別の実施形態では、ＡＲシステムは、患者に落ち着かせる効果を及ぼす、仮想コンテンツを自動的に表示してもよい。または、別の実施形態では、ＡＲシステムは、患者がある種類の挙動を示すときはいつでも、直ちに処方された薬剤を投与し得る、薬物送達システムにリンクされてもよい。例えば、ユーザが、ＯＣＤエピソードに適合する間、物理的に自身を傷つけている場合、静脈内薬物送達システムにリンクされるＡＲシステムは、患者に眠気を生じさせ得る、薬剤を自動的に投与し、したがって、患者が自らを傷つけないように防止してもよい。
さらに別の実施形態では、ＡＲシステムは、ユーザの気が逸らされている、または作業に集中できないようである場合に、ユーザを作業に再集中させるのに役立ち得る。これは、ユーザが、作業においてより効率的および生産的となるのに役立ち得る。ＡＲシステムは、常時、画像およびビデオを捕捉しているため、ＡＲシステムは、非生産的挙動（例えば、非関連インターネットブラウジング、低生産性等）を検出し得、適切に、ユーザを動機付けるのに役立つ仮想コンテンツをレンダリングしてもよい。
いくつかの実施形態では、ＡＲシステムは、別の人物のデータクラウドから抽出された制御点の集合を変形させることによって、ヒト（例えば、男性、女性、子供等）の既存の一般的化モデルを形成するために使用されてもよい。したがって、ＡＲシステムは、ある人物の身体の３Ｄモデル一般化モデルを使用するが、別の人物の顔を３Ｄモデルに改造してもよい。そのようなアプローチの可能性として考えられる利点は、既存の操作されたモデルが、人物の顔の単純走査によって捕捉されることができない多くの要素（靭帯、筋肉機能、詳細等）を有し得ることである。しかしながら、単純走査は、ユーザの顔についての十分な情報を提供し、一般化モデルを微細な詳細において特定の人物に類似させてもよい。言い換えると、ＡＲシステムは、高度な精密な３Ｄモデルからの利益を享受し、それを単純走査から捕捉された必要詳細で補足し、人物の正確な３Ｄバージョンを生成し得る。
（庭園概要（植物））
情報の高次元表現のために、ＡＲシステムは、コンテンツをなじんだ自然形状にマップしてもよい。自然は、膨大な量の情報を木、草等でエンコードする。例えば、ＡＲシステムは、各人物または組織内の役割を、それぞれのユーザによって修正され、随意に、他者によって修正され得るパラメータを有する、仮想「植物」として表してもよい。
情報の高次元表現のために、ＡＲシステムは、コンテンツをなじんだ自然形状にマップしてもよい。自然は、膨大な量の情報を木、草等でエンコードする。例えば、ＡＲシステムは、各人物または組織内の役割を、それぞれのユーザによって修正され、随意に、他者によって修正され得るパラメータを有する、仮想「植物」として表してもよい。
ユーザは、例えば、植物の色、形状、葉、花等をそのそれぞれのステータスでエンコードしてもよい。ユーザが働き過ぎである場合、それぞれの植物は、萎んで見え得る。ユーザが悲しい場合、それぞれの植物の葉は、落ち得る。ユーザがリソースを欠いている場合、ユーザを表すそれぞれの植物の葉は、茶色に変わってもよい等。ユーザは、そのそれぞれの植物をリーダー（例えば、マネージャー、ＣＥＯ）に提供してもよい。リーダーは、全ての植物を仮想庭園内に植えることができる。これは、リーダーに、庭園の一般的色または概念を通して、組織の高帯域幅ビューを提供する。問題のそのようなグラフィック例証は、組織に関する問題またはその欠如の視覚的認識を促進する。
（電子メール）
１つ以上の実施形態では、ＡＲシステムは、類似自然または植物アプローチを使用して、電子メールまたはメッセージインターフェースを実装してもよい。例えば、ＡＲシステムは、木をレンダリングしてもよく、各枝は、人物、エンティティ、もしくは論理アドレスに対応する、またはそれを表す。ＡＲシステムは、各メッセージ（例えば、電子メールメッセージ）を木の葉として表し得、葉は、それぞれのメッセージが受信または送信のいずれかをされた人物、エンティティ、またはアドレスを表す、枝と視覚的に関連付けられる。
１つ以上の実施形態では、ＡＲシステムは、類似自然または植物アプローチを使用して、電子メールまたはメッセージインターフェースを実装してもよい。例えば、ＡＲシステムは、木をレンダリングしてもよく、各枝は、人物、エンティティ、もしくは論理アドレスに対応する、またはそれを表す。ＡＲシステムは、各メッセージ（例えば、電子メールメッセージ）を木の葉として表し得、葉は、それぞれのメッセージが受信または送信のいずれかをされた人物、エンティティ、またはアドレスを表す、枝と視覚的に関連付けられる。
ＡＲシステムは、比較的に古いメッセージを茶色および／または乾燥してレンダリングしてもよく、これらの葉は、最終的に、木から地面に落ちる。サブ枝または小枝は、他の人物、エンティティ、または論理アドレス、例えば、メッセージ上にコピーまたはブラインドコピーされたものとの接続を表してもよい。これは、ユーザが、迷惑な人々を表す枝を容易に剪定し、またはそれらの枝を木の背後に置く、または別様に直接ビューから外すことを可能にする。
さらに別の実施形態では、ユーザ選択／操作またはオブジェクトの取り上げに応答して、ＡＲシステムは、オブジェクトについて意味論的に既知のもののインジケーションを提供してもよい。例えば、ＡＲシステムは、世界を意味論的に既知のものに対して若干発光させてもよい。例えば、ユーザがテレビを取り上げた場合、ＡＲシステムは、テレビが設置され得る場所を示す、仮想コンテンツをレンダリングすることができる。
（「忘れ防止」用途）
さらに別の実施形態では、ＡＲシステムは、ユーザが、追跡するための環境（例えば、お気に入りのカップ、車のキー、スマートフォン等）内の重要なオブジェクトを明示的に指定することを可能にしてもよい。特に、ＡＲシステムは、双方向モデル化／分析段階を採用し、次いで、指定されるオブジェクトを視覚的かつ本質的に継続的に追跡してもよい。これは、ＡＲシステムが、ユーザの要求に応じて（例えば、「私の電話を最後に見たのはどこ？」）指定されるオブジェクトの最後に既知の位置を思い出すことを可能にする。
さらに別の実施形態では、ＡＲシステムは、ユーザが、追跡するための環境（例えば、お気に入りのカップ、車のキー、スマートフォン等）内の重要なオブジェクトを明示的に指定することを可能にしてもよい。特に、ＡＲシステムは、双方向モデル化／分析段階を採用し、次いで、指定されるオブジェクトを視覚的かつ本質的に継続的に追跡してもよい。これは、ＡＲシステムが、ユーザの要求に応じて（例えば、「私の電話を最後に見たのはどこ？」）指定されるオブジェクトの最後に既知の位置を思い出すことを可能にする。
例えば、ユーザが携帯電話をそのようなオブジェクトとして指定した場合、具体的携帯電話オブジェクト認識器が、特定のユーザの携帯電話の存在を捕捉された画像情報内に識別するように実行してもよい。携帯電話が検出された度に結果として生じる場所情報が、クラウドベースのコンピュータシステムに逆配信されることができる。ユーザが携帯電話を置き忘れると、ユーザは、単に、ＡＲシステムにクエリし、携帯電話が最近検出された場所を検索してもよい。
（身体装着式構成要素写真用途）
身体装着式（例えば、頭部装着式）構成要素の画像センサ（例えば、カメラ）は、画像情報を種々の形態で捕捉することができることを理解されたい。例えば、カメラは、２Ｄ静止画像もしくは写真、２Ｄ動画もしくはビデオ、または４Ｄ明視野（例えば、世界モデル）を捕捉することができる。
身体装着式（例えば、頭部装着式）構成要素の画像センサ（例えば、カメラ）は、画像情報を種々の形態で捕捉することができることを理解されたい。例えば、カメラは、２Ｄ静止画像もしくは写真、２Ｄ動画もしくはビデオ、または４Ｄ明視野（例えば、世界モデル）を捕捉することができる。
ＡＲシステムは、画像情報をフォーマットまたは変換し、フォーマットまたは変換された情報を命令に応じて自動転送または提供する、アプリケーションを実行する、または画像情報をそれに提供してもよい。例えば、アプリケーションは、２Ｄ画像印刷、例えば、ＡＲシステムを有する他者との２Ｄ画像共有、２Ｄビデオ共有、３Ｄビデオ共有、および３Ｄ物理印刷等を可能にする。
本来の２Ｄカメラおよび２Ｄビデオのために、ＡＲシステムが頭部姿勢を追跡する場合、パス可能世界モデルを使用して、ユーザが移動する場所に基づいて、空間の仮想トラバーサルを再レンダリングすることができる。
４Ｄ明視野を捕捉するカメラを用いた実装のために、アプリケーションは、４Ｄ明視野から２Ｄ画像または２Ｄビデオを捕捉することを可能にしてもよい。２Ｄ画像または２Ｄビデオへの変換は、従来の２Ｄソフトウェアおよびプリンタを使用して、共有または印刷を可能にする。ＡＲシステムはまた、３Ｄビュー、例えば、ユーザの頭部にロックされる３Ｄビューを共有してもよい。そのような実施形態は、ゲームエンジンにおけるレンダリングに類似する技法を使用してもよい。いくつかの実装では、カメラは、３Ｄ広視野動画またはビデオを捕捉可能であってもよい。そのような画像またはビデオは、例えば、ＡＲシステムを介して、３Ｄ広視野画像をレンダリング可能である構成要素またはユーザに広視野を提示することができるある他のデバイスに提示されてもよい。
（較正）
以下のセクションは、個々のＡＲシステムのカメラの追跡に関係する大域的座標系における較正要素を検討する。図１３６を参照すると、例証目的のために、ＡＲシステムは、カメラシステム（単一カメラまたはカメラアレイ等）（例えば、ＦＯＶカメラ、深度カメラ、赤外線カメラ等）を利用し、世界の３次元構造を検出および推定すると仮定され得る。前述のように、本情報は、順に、マップ（例えば、パス可能世界モデル）に、有利には必要に応じて読み出され得る世界についての情報を取り込むために使用されてもよい。
以下のセクションは、個々のＡＲシステムのカメラの追跡に関係する大域的座標系における較正要素を検討する。図１３６を参照すると、例証目的のために、ＡＲシステムは、カメラシステム（単一カメラまたはカメラアレイ等）（例えば、ＦＯＶカメラ、深度カメラ、赤外線カメラ等）を利用し、世界の３次元構造を検出および推定すると仮定され得る。前述のように、本情報は、順に、マップ（例えば、パス可能世界モデル）に、有利には必要に応じて読み出され得る世界についての情報を取り込むために使用されてもよい。
ＡＲシステムでは、ディスプレイシステムは、概して、カメラに対して物理的に固定されてもよい（例えば、カメラおよびディスプレイシステムは、頭部搭載式ディスプレイの構造等によって、ともに固定して結合または締結されてもよい）。仮想ディスプレイ内にレンダリングされた任意のピクセルは、ピクセル値（例えば、ピクセル座標と交換可能な概念）および３次元位置によって特徴付けられ得る。
図１３６を参照すると、世界内の恣意的３Ｄ点Ｐ１３６０２を前提として、目標は、ピクセルＵの３Ｄ位置がＰとユーザの瞳孔Ｅ１３６０６との間に正確にあるように、ディスプレイ内のピクセルＵ１３６０４を計算することであり得る（例えば、分解能１２８０×７２０を用いて）。
本モデルでは、瞳孔の３Ｄ場所および仮想ディスプレイ画面１３６１０の３Ｄ構成は、明示的にモデル化される（画像は、ユーザによって感知されるように、ディスプレイ光学によって作成された空中に浮遊する）。瞳孔Ｅの３Ｄ場所は、カメラ基準系内の３Ｄ点としてパラメータ化される。
仮想ディスプレイ１３６１０は、３つの出隅（アンカ点）Ａ０１３６１２、Ａ１１３６１４、およびＡ２１３６１６（３×１ベクトル）によってパラメータ化される。ａ０、ａ１、ａ２としてのこれらのアンカ点のピクセル値もまた、既知である（２×１ベクトル）。
ピクセル場所ｕを前提として、ピクセル場所ｕの３Ｄ場所は、以下の方程式を使用して計算され得る。
Ｕ＝Ａ０＋［Ａ１−Ａ０、Ａ２−Ａ０］＊［ａ１−ａ０、ａ２−ａ０］＾−Ｔ＊（ｕ−ａ０）
Ａは、［ｕ：１］に適用される簡略化された乗算行列を表すとする。したがって、前述の方程式は、以下の方程式に匹敵する。
Ｕ＝Ａ＊［ｕ＾Ｔ、１］＾Ｔ（方程式１）
Ａは、Ａ０、Ａ１、Ａ２から直接構成されないことに留意されたい。アンカ点は、恣意的に、選定され得るが、Ａは、具体的画面に固定されたままである。図１３６におけるＡ０、Ａ１、Ａ２の例証は、例証目的のためだけに使用され、Ａ０、Ａ１、Ａ２は、較正プロセスの間、具体的に計算されなくてもよいことを理解されたい。むしろ、Ａのための値を計算することで十分であり得る。
Ｕ＝Ａ０＋［Ａ１−Ａ０、Ａ２−Ａ０］＊［ａ１−ａ０、ａ２−ａ０］＾−Ｔ＊（ｕ−ａ０）
Ａは、［ｕ：１］に適用される簡略化された乗算行列を表すとする。したがって、前述の方程式は、以下の方程式に匹敵する。
Ｕ＝Ａ＊［ｕ＾Ｔ、１］＾Ｔ（方程式１）
Ａは、Ａ０、Ａ１、Ａ２から直接構成されないことに留意されたい。アンカ点は、恣意的に、選定され得るが、Ａは、具体的画面に固定されたままである。図１３６におけるＡ０、Ａ１、Ａ２の例証は、例証目的のためだけに使用され、Ａ０、Ａ１、Ａ２は、較正プロセスの間、具体的に計算されなくてもよいことを理解されたい。むしろ、Ａのための値を計算することで十分であり得る。
Ａは、３×３行列であって、その自由度は、せいぜい、Ａ０に対して９：３、Ａ１に対して３、Ａ２に対して３である。Ａ１−Ａ０がＡ２−Ａ０に垂直であると仮定される場合、Ａの自由度（ＤＯＦ）は、１だけ差し引かれる。仮想画面１３６１０の縦横比が既知である場合、ＡのＤＯＦは、再び、１だけ差し引かれる。瞳孔１３５０６の画面中心間の距離が既知である場合、ＤＯＦは、再び、１だけ差し引かれる。画面の視野が既知である場合、ＤＯＦは、せいぜい、５を差し引く。したがって、唯一の未知数は、距離（１）、面内回転（２）、および視野角（３）であり得る。
較正の目標は、ＡおよびＥを推定することであることを理解されたい。レンダリング段階では、恣意的３Ｄ場所Ｐ１３６０２（カメラ基準系内）を前提として、ＰとＥとの間の線が仮想画面と交差する点に対応するピクセル値ｕが、計算されてもよい。
Ｕ＝Ａ＊［ｕ＾Ｔ、１］＾Ｔであるため、Ｅ−ＵおよびＥ−Ｐが整合される制約は、以下に匹敵する。
Ｐ−Ｅ＝ｃ＊（Ｕ−Ｅ）（方程式２）
ｃは、未知の乗算器であることを理解されたい。方程式（２）は、３つの方程式および３つの未知数（ｕ＿ｘ、ｕ＿ｙ、ｃ）を有する。方程式（２）を解法することによって、簡略化された閉形式解が、以下の方程式として書かれ得る。
ｕ＿ｘ＝
（Ａ１＿２＊Ａ２＿３＊Ｅ３−Ａ１＿２＊Ａ３＿３＊Ｅ２−Ａ１＿３＊Ａ２＿２＊Ｅ３＋Ａ１＿３＊Ａ３＿２＊Ｅ２＋Ａ２＿２＊Ａ３＿３＊Ｅ１−Ａ２＿３＊Ａ３＿２＊Ｅ１−Ａ１＿２＊Ａ２＿３＊Ｐ３＋Ａ１＿２＊Ａ３＿３＊Ｐ２＋Ａ１＿３＊Ａ２＿２＊Ｐ３−Ａ１＿３＊Ａ３＿２＊Ｐ２−Ａ２＿２＊Ａ３＿３＊Ｐ１＋Ａ２＿３＊Ａ３＿２＊Ｐ１＋Ａ１＿２＊Ｅ２＊Ｐ３−Ａ１＿２＊Ｅ３＊Ｐ２−Ａ２＿２＊Ｅ１＊Ｐ３＋Ａ２＿２＊Ｅ３＊Ｐ１＋Ａ３＿２＊Ｅ１＊Ｐ２−Ａ３＿２＊Ｅ２＊Ｐ１）／（Ａ１＿１＊Ａ２＿２＊Ｅ３−Ａ１＿１＊Ａ３＿２＊Ｅ２−Ａ１＿２＊Ａ２＿１＊Ｅ３＋Ａ１＿２＊Ａ３＿１＊Ｅ２＋Ａ２＿１＊Ａ３＿２＊Ｅ１−Ａ２＿２＊Ａ３＿１＊Ｅ１−Ａ１＿１＊Ａ２＿２＊Ｐ３＋Ａ１＿１＊Ａ３＿２＊Ｐ２＋Ａ１＿２＊Ａ２＿１＊Ｐ３−Ａ１＿２＊Ａ３＿１＊Ｐ２−Ａ２＿１＊Ａ３＿２＊Ｐ１＋Ａ２＿２＊Ａ３＿１＊Ｐ１）（方程式３）
ｕ＿ｙ＝
（Ａ１＿１＊Ａ２＿３＊Ｅ３−Ａ１＿１＊Ａ３＿３＊Ｅ２−Ａ１＿３＊Ａ２＿１＊Ｅ３＋Ａ１＿３＊Ａ３＿１＊Ｅ２＋Ａ２＿１＊Ａ３＿３＊Ｅ１−Ａ２＿３＊Ａ３＿１＊Ｅ１−Ａ１＿１＊Ａ２＿３＊Ｐ３＋Ａ１＿１＊Ａ３＿３＊Ｐ２＋Ａ１＿３＊Ａ２＿１＊Ｐ３−Ａ１＿３＊Ａ３＿１＊Ｐ２−Ａ２＿１＊Ａ３＿３＊Ｐ１＋Ａ２＿３＊Ａ３＿１＊Ｐ１＋Ａ１＿１＊Ｅ２＊Ｐ３−Ａ１＿１＊Ｅ３＊Ｐ２−Ａ２＿１＊Ｅ１＊Ｐ３＋Ａ２＿１＊Ｅ３＊Ｐ１＋Ａ３＿１＊Ｅ１＊Ｐ２−Ａ３＿１＊Ｅ２＊Ｐ１）／（Ａ１＿１＊Ａ２＿２＊Ｅ３−Ａ１＿１＊Ａ３＿２＊Ｅ２−Ａ１＿２＊Ａ２＿１＊Ｅ３＋Ａ１＿２＊Ａ３＿１＊Ｅ２＋Ａ２＿１＊Ａ３＿２＊Ｅ１−Ａ２＿２＊Ａ３＿１＊Ｅ１−Ａ１＿１＊Ａ２＿２＊Ｐ３＋Ａ１＿１＊Ａ３＿２＊Ｐ２＋Ａ１＿２＊Ａ２＿１＊Ｐ３−Ａ１＿２＊Ａ３＿１＊Ｐ２−Ａ２＿１＊Ａ３＿２＊Ｐ１＋Ａ２＿２＊Ａ３＿１＊Ｐ１）（方程式４）
前述のように、ｃの計算は、簡略化目的のためにここでは省略される。前述の解は、画面幾何学形状に関する以前の仮定を有していないことを理解されたい。それらの仮定（例えば、仮想画面の画面辺は、視線に垂直であって、画面軸は、それと平行である等）が考慮される場合、前述の方程式はさらに、簡略化されてもよい。
Ｐ−Ｅ＝ｃ＊（Ｕ−Ｅ）（方程式２）
ｃは、未知の乗算器であることを理解されたい。方程式（２）は、３つの方程式および３つの未知数（ｕ＿ｘ、ｕ＿ｙ、ｃ）を有する。方程式（２）を解法することによって、簡略化された閉形式解が、以下の方程式として書かれ得る。
ｕ＿ｘ＝
（Ａ１＿２＊Ａ２＿３＊Ｅ３−Ａ１＿２＊Ａ３＿３＊Ｅ２−Ａ１＿３＊Ａ２＿２＊Ｅ３＋Ａ１＿３＊Ａ３＿２＊Ｅ２＋Ａ２＿２＊Ａ３＿３＊Ｅ１−Ａ２＿３＊Ａ３＿２＊Ｅ１−Ａ１＿２＊Ａ２＿３＊Ｐ３＋Ａ１＿２＊Ａ３＿３＊Ｐ２＋Ａ１＿３＊Ａ２＿２＊Ｐ３−Ａ１＿３＊Ａ３＿２＊Ｐ２−Ａ２＿２＊Ａ３＿３＊Ｐ１＋Ａ２＿３＊Ａ３＿２＊Ｐ１＋Ａ１＿２＊Ｅ２＊Ｐ３−Ａ１＿２＊Ｅ３＊Ｐ２−Ａ２＿２＊Ｅ１＊Ｐ３＋Ａ２＿２＊Ｅ３＊Ｐ１＋Ａ３＿２＊Ｅ１＊Ｐ２−Ａ３＿２＊Ｅ２＊Ｐ１）／（Ａ１＿１＊Ａ２＿２＊Ｅ３−Ａ１＿１＊Ａ３＿２＊Ｅ２−Ａ１＿２＊Ａ２＿１＊Ｅ３＋Ａ１＿２＊Ａ３＿１＊Ｅ２＋Ａ２＿１＊Ａ３＿２＊Ｅ１−Ａ２＿２＊Ａ３＿１＊Ｅ１−Ａ１＿１＊Ａ２＿２＊Ｐ３＋Ａ１＿１＊Ａ３＿２＊Ｐ２＋Ａ１＿２＊Ａ２＿１＊Ｐ３−Ａ１＿２＊Ａ３＿１＊Ｐ２−Ａ２＿１＊Ａ３＿２＊Ｐ１＋Ａ２＿２＊Ａ３＿１＊Ｐ１）（方程式３）
ｕ＿ｙ＝
（Ａ１＿１＊Ａ２＿３＊Ｅ３−Ａ１＿１＊Ａ３＿３＊Ｅ２−Ａ１＿３＊Ａ２＿１＊Ｅ３＋Ａ１＿３＊Ａ３＿１＊Ｅ２＋Ａ２＿１＊Ａ３＿３＊Ｅ１−Ａ２＿３＊Ａ３＿１＊Ｅ１−Ａ１＿１＊Ａ２＿３＊Ｐ３＋Ａ１＿１＊Ａ３＿３＊Ｐ２＋Ａ１＿３＊Ａ２＿１＊Ｐ３−Ａ１＿３＊Ａ３＿１＊Ｐ２−Ａ２＿１＊Ａ３＿３＊Ｐ１＋Ａ２＿３＊Ａ３＿１＊Ｐ１＋Ａ１＿１＊Ｅ２＊Ｐ３−Ａ１＿１＊Ｅ３＊Ｐ２−Ａ２＿１＊Ｅ１＊Ｐ３＋Ａ２＿１＊Ｅ３＊Ｐ１＋Ａ３＿１＊Ｅ１＊Ｐ２−Ａ３＿１＊Ｅ２＊Ｐ１）／（Ａ１＿１＊Ａ２＿２＊Ｅ３−Ａ１＿１＊Ａ３＿２＊Ｅ２−Ａ１＿２＊Ａ２＿１＊Ｅ３＋Ａ１＿２＊Ａ３＿１＊Ｅ２＋Ａ２＿１＊Ａ３＿２＊Ｅ１−Ａ２＿２＊Ａ３＿１＊Ｅ１−Ａ１＿１＊Ａ２＿２＊Ｐ３＋Ａ１＿１＊Ａ３＿２＊Ｐ２＋Ａ１＿２＊Ａ２＿１＊Ｐ３−Ａ１＿２＊Ａ３＿１＊Ｐ２−Ａ２＿１＊Ａ３＿２＊Ｐ１＋Ａ２＿２＊Ａ３＿１＊Ｐ１）（方程式４）
前述のように、ｃの計算は、簡略化目的のためにここでは省略される。前述の解は、画面幾何学形状に関する以前の仮定を有していないことを理解されたい。それらの仮定（例えば、仮想画面の画面辺は、視線に垂直であって、画面軸は、それと平行である等）が考慮される場合、前述の方程式はさらに、簡略化されてもよい。
前述の検討に照らして、一実施形態では、好適な較正プロセスは、以下に概略されるステップを含んでもよい。そのような較正は、概して、ユーザが頭部搭載式ＡＲシステムを装着し、物理世界を視認している間、ユーザがＡＲデバイスを通して見えたものに基づいて、いくつかの応答を提供することを要求することを理解されたい。以下に概略される例示的較正は、レチクルを利用する照準システムを想定する。当然ながら、他のアプローチも同様に、使用されてもよく、以下のステップは、限定として読み取られるべきはない。
最初に、マーカーは、印刷されてもよい。１つ以上の実施形態では、ＡｒＵｃｏマーカーが、使用されてもよい。ＡｒＵｃｏは、拡張現実マーカーの検出のための最小限のＣ＋＋ライブラリである。ライブラリは、コード化されたマーカーの使用に依拠する。各マーカーは、一意のコード（例えば、一意の黒色および白色パターン）を有してもよい。
次に、マーカーは、マーカーの欠失部分がユーザの視野の角に設置されるように、ユーザの正面に設置されてもよい。次に、カメラに対するユーザの瞳孔の大まかな場所が、測定される（例えば、センチメートル）。
場所は、カメラ座標系内で測定されてもよい。カメラ開口は、３Ｄ座標空間内の０，０，０に位置してもよい。大まかな場所測定は、せいぜい、１センチメートル誤差を犠牲にし得る。
次に、ユーザは、マーカーがユーザおよびカメラの両方によって見られ得るように、装着式ＡＲシステムを装着してもよい。構成プログラムが、カメラがマーカーを検出したかどうかを決定するために起動されてもよい。カメラがマーカーを検出する場合、ユーザは、画面上にカラー画像が見えるであろう。
合理的初期較正値を前提として、ユーザはまた、ＡＲシステムのディスプレイデバイスを通して、チェスボードと大まかに整合された緑色グリッドが見え得る。しかしながら、ユーザが最初はそれが見えない場合でも、ユーザは、継続することが求められてもよい。
次に、左眼または右眼のいずれかが、最初に較正されてもよい。較正プロセスが開始すると、ユーザは、ＨＭＤ画面内にハイライトされたマーカーの角がマーカーの物理的に対応する角に照準を合うように、その頭部を移動させてもよい。
ユーザは、ソフトウェアに、次の標的に移動するようにコマンドするための選択を行ってもよい。標的は、ランダムに選択されてもよい。本プロセスは、Ｎ回繰り返されてもよい（例えば、所定の値に基づいて）。Ｎは、較正モデルのＤＯＦの数の２倍を上回ることが推奨される。
Ｎ個のデータ点が収集された後、プログラムは、最適化プロセスの間、一時停止してもよく、それに続いて、ソフトウェアは、両眼にグリッドを提示してもよい。眼は、較正を受け、物理ボードと良好に整合された緑色グリッドが見え得る。本結果は、ファイル内に自動保存されてもよい。
較正プロセスは、対応の集合（Ｘ＿ｉ、Ｙ＿ｉ、Ｚ＿ｉ、ｕ＿ｉ、ｖ＿ｉ）を提供し、ｉ＝１：Ｎであって、Ｘ，Ｙ，Ｚは、カメラによって検出された第３の点であって、ｕ，ｖは、ユーザによって整合される画面ピクセル場所である。
以下の方程式等、いくつかの制約が存在し得る。
画面物理構造の以前の知識もまた、制約を提供し得る。
垂直画面側制約は、以下の方程式によって表され得る。
画面から瞳孔までの距離（ｄと仮定される）制約は、以下の方程式によって表され得る。
上記の制約を組み合わせると、ＥおよびＡは、二次最適化法（例えば、最適化のためのニュートンの方法等）を使用して解法され得る。
言い換えると、図１３６に戻って参照すると、較正の目標は、画像平面の場所を追跡カメラ（ユーザの頭部上に搭載され得る）に対して決定することである。さらに、ユーザの眼の場所はまた、考慮されてもよい。眼は、画像平面から離れた特定の距離に位置し、ＡＲシステムを通して物理世界を見る。
一実施形態では、ユーザは、ＡＲシステムに搭載される空間光変調器（例えば、ファイバ走査デバイス等）からＡＲ体験の仮想側面を受信し、本画像は、既知の焦点距離に提示されてもよい（「仮想画面」に対する代表的画像平面であって、焦点面は、歪曲、回転等され得る）。再び、較正の目標は、画像平面がカメラに対して位置する場所を推定することである。言い換えると、視線等のために眼を見るカメラ（「眼追跡カメラ」）が存在してもよく、またはそうでなくてもよい。眼追跡カメラは、較正をより正確にし得るが、較正プロセスは、眼追跡カメラの有無にかかわらず、機能し得ることを理解されたい。
概して、追跡カメラおよびＡＲデバイスは、剛性に結合され、したがって、既知の仮定の集合が、追跡カメラとＡＲデバイスとの間の関係について行われ得る。したがって、ユーザのために１回仮想走査較正を行うことができるが、新しいユーザがＡＲシステムを装着する度に、新しい較正が、行われ得る。ユーザの眼位置は、図１３６に示されるように、Ｅと称され得る（３×１ベクトル（ｘ，ｙ，ｚ）である）。較正システムはまた、前述のように、カメラからの入力を得る。
種々の点の座標値は、カメラによって測定されてもよい。これらの値に基づいて、カメラに対する座標系が、構築されてもよい。例えば、ｘ，ｙ，ｚである実世界内の点が存在すると仮定すると、本点は、カメラ自体上では０，０，０として定義されてもよい。そのような較正を行う目標の１つは、ユーザがＡＲシステムを通して見るとき、画像平面上の点および実世界空間内の点が、空間内の同一線上にあるように、仮想画面上の点を測定することである。
これは、システムが、仮想コンテンツを仮想画面／画像平面上の適切な場所にレンダリングすることを可能にする。言い換えると、仮想画面が「Ａ」であって、点Ｕが（ａ２×１ピクセル値）上にレンダリングされるべき場合、実空間Ｐ０（ｘ，ｙ，ｚ）内の点Ｐｏが、決定される必要があり得る。言い換えると、関数Ｕ＝Ｆｕ（Ｐ、Ｅ、Ａ）を決定する必要がある。例えば、Ｐが既知であって、Ｅが未知であって、Ａが未知であることを前提として、ピクセル場所Ｕが、決定される必要がある（図１３６参照）。
目標は、前述の関係におけるＥおよびＡを決定することである。問題に関して逆の観点から開始し、関係を解法することができる。第１のステップは、画像平面Ａ上のＵピクセルの３Ｄ座標位置を計算することであり得る。したがって、レンダリングの逆プロセスが、提示される。すなわち、２Ｄピクセル値を前提として、３Ｄ場所（３Ｄ場所が既知であって、２Ｄピクセルを決定する必要があるレンダリングとは対照的に）が計算され得る方法である。仮想画面または平面Ａがユーザに垂直である必要はなく、むしろ、ＡＲシステムのユーザに対して任意の配向にあり得ることを思い出されたい。１つ以上の実施形態では、歪曲が存在し得る。
平面Ａは、３つの角ａ０、ａ１、ａ２によって定義されてもよい。例えば、仮想画面分解能は、８００×６００ピクセルであるとする。ａ０は、０，０であって、ａ１は、８００，０であって、ａ２は、８００，６００であるとする。これらの座標は、これらの３つの点Ａ０、Ａ１、およびＡ２に対して３Ｄ座標値と称され得る。
（Ｕ−ａ０）が減算される場合、点ａ０から点Ｕまでのベクトルが、得られる。それを逆数で乗算し、転置する場合、（［ａ１−ａ０、ａ２−ａ０］−１）となる。次いで、乗算される場合［Ａ１−Ａ０、Ａ２−Ａ０］（これは、３×２行列である）、Ａ０に対するＵの３Ｄ座標が、得られ得る。
ここで、これがＡ０に加算される場合、カメラ作業空間／座標系の内側のＵピクセルの３Ｄ座標が、得られ得る。したがって、Ｖ（「Ｖ」を「大文字ｕ」と見なす）に対する線形代数関係が、使用されてもよい。例えば、Ｕが（ｘ，ｙ）である場合、これは、Ｖ＝Ａ＊［Ｕｘ，Ｕｙ，１］として簡略化され得る。したがって、全て、３×３行列に簡略化され得る。これまで、本構成では、Ａ０、Ａ１、またはＡ２に対する値は、既知ではない。したがって、較正の目標の１つは、行列Ａの値を決定することであり得る。言い換えると、行列Ａの値が既知である場合、画像平面の正確な幾何学形状もまた、既知であり得る。言い換えると、画像平面の幾何学形状は、行列Ａによってエンコードされる。
前述のように、本シナリオにおける本較正の目標は、Ｅ、ピクセルＵ、およびＰ０が線を形成するように、ピクセルＵをレンダリングすることである。前述のように、ＡＲシステムが新しいユーザ上に設置されると、ＡＲシステムは、較正され得る。較正システムは、ユーザがその点を実世界の物理側面に整合させようと試み得るように、点を提示し得る。これは、複数の点（例えば、２０個の点）に対して繰り返されてもよく、その後、ユーザは、較正され、動作の準備ができ得る。そのようなプロセスは、数秒のみかかる、単純ゲームとしてユーザに提示されてもよい（例えば、ユーザは、レーザを眼移動を通して発射する、または仮想標的を眼で打つ）。
一実施形態では、３つの本主題の点が同一線上にあるように強化するであろう、別の公式が、使用されてもよい。言い換えると、点が、提示されてもよく、ユーザは、その点を実世界内の物理オブジェクトに整合させるように求められてもよい。Ｐ−Ｅ（眼までのＰに対するベクトル）は、複数のまたはある定数Ｃおよびベクトル（Ｖ−Ｅ）に匹敵する。上記の議論から、ＵおよびＰは、既知であって、したがって、Ｐ−Ｅ＝Ｃ＊（Ｖ−Ｅ）であることを思い出されたい。したがって、Ｐ−Ｅ＝Ｃ＊（Ａ＊［Ｕｘ、Ｕｙ、１］−Ｅ）である。
したがって、較正ゲームをプレイしているユーザが照準する点毎に、それぞれ、３つの方程式（ｘ、ｙ、およびｚに対して）から成る、そのような制約を生成してもよい。したがって、
Ｐ１−Ｅ＝Ｃ１＊（Ａ＊［Ｕ１ｘ、Ｙ１ｙ、１］−Ｅ）
Ｐ２−Ｅ＝Ｃ２＊（Ａ＊［Ｕ２ｘ、Ｙ２ｙ、１］−Ｅ）および
Ｐ３−Ｅ＝Ｃ３＊（Ａ＊［Ｕ３ｘ、Ｙ３ｙ、１］−Ｅ）である。
Ｐ１−Ｅ＝Ｃ１＊（Ａ＊［Ｕ１ｘ、Ｙ１ｙ、１］−Ｅ）
Ｐ２−Ｅ＝Ｃ２＊（Ａ＊［Ｕ２ｘ、Ｙ２ｙ、１］−Ｅ）および
Ｐ３−Ｅ＝Ｃ３＊（Ａ＊［Ｕ３ｘ、Ｙ３ｙ、１］−Ｅ）である。
当然ながら、２０個のそのような方程式が累積される場合、６０個の制約（例えば、２０×３）が存在するであろう。未知数は、Ａであって、これは、３×３行列であって、Ｅは、３×１行列である。Ａについてのいくつかの仮定が存在する場合（例えば、画面が歪んでいない、画面の縦横比が既知である、追跡カメラまでの仮想平面の実際の距離等）、これらの方程式を解法するとき、ある規則化が存在し得る。
したがって、そのような規則化を考慮した後、１２個の未知数と未知数Ｃが存在し得る。Ｃは、スカラーである。以前の知識が存在しない場合、いくつかの未知数は、３＋９−ｎである（ｎは、較正点の数であって、毎回、少なくとも１つの付加的Ｃが存在する）。制約の数は、ｎ＊３である。また、追跡カメラに対する仮想平面の位置の初期の大まかな推測を必要とする。
したがって、３＋９−ｎ＜３ｎである場合、１２＜４ｎまたは３＜ｎである。言い換えると、４つの点のみが存在する。したがって、多数の点が、ユーザから収集され、少なくとも二乗解またはロバストな推定解を得ようとし得る。
（規則化）
画面／眼距離を決定するために、別の方程式が、使用されてもよい。瞳孔Ｅの中心と画面の中心との間の距離が、決定される必要があり得る。画面の中心は、単に、２で除算された画面の幅ｗ（ｗ／２）と、２で除算された画面の高さｈ（ｈ／２）である。したがって、カメラ座標系内の画面中心は、以下の方程式によって表され得る。
Ａ＊［ｗ／２、ｈ／２、１］
次いで、瞳孔Ｅを減算し、平方値をある以前の値ｄ（ｓ−ｅ）（画面から眼）と等しくするための制約を課し得る。これは、以下のような方程式を生成し得る。
画面／眼距離を決定するために、別の方程式が、使用されてもよい。瞳孔Ｅの中心と画面の中心との間の距離が、決定される必要があり得る。画面の中心は、単に、２で除算された画面の幅ｗ（ｗ／２）と、２で除算された画面の高さｈ（ｈ／２）である。したがって、カメラ座標系内の画面中心は、以下の方程式によって表され得る。
Ａ＊［ｗ／２、ｈ／２、１］
次いで、瞳孔Ｅを減算し、平方値をある以前の値ｄ（ｓ−ｅ）（画面から眼）と等しくするための制約を課し得る。これは、以下のような方程式を生成し得る。
次に、画面が歪められていないことを把握する場合、常時相互に垂直である、画面の２つの辺が存在する。本垂直画面制約は、Ａの第１の列＊Ａ＝０の第２の列の逆数を意味する。これは、「垂直画面制約」と呼ばれ得る。
次に、画面が眼に対して回転されていない（例えば、画面は、常時、直立位置にあるユーザの正面の右にある）ことを把握する場合、本情報はまた、重要となり得る。Ｅから画面の中心までのベクトルは、以下の方程式のように表され得る。
Ａ［ｗ／２、ｈ／２、１］−Ｅ
おそらく、本ベクトルは、「アルファ」と称され、眼から画面中心までの距離を表し得る。Ａの第１の列が画面の幅に沿ってあって、Ａの第２の列は画面の高さに沿ってあることが既知である。したがって、以下を有する。
（Ａｃｏｌ１）の転置行列＊ａｌｐｈａ＝０
および
（Ａｃｏｌ２）の転置行列＊ａｌｐｈａ＝０
したがって、そのような構成では、幅は、ユーザの視線に垂直であって、高さもまた、ユーザの視線に垂直である。したがって、その画面は、ユーザの視線（一方または他方であり得る）に垂直であり得る。
Ａ［ｗ／２、ｈ／２、１］−Ｅ
おそらく、本ベクトルは、「アルファ」と称され、眼から画面中心までの距離を表し得る。Ａの第１の列が画面の幅に沿ってあって、Ａの第２の列は画面の高さに沿ってあることが既知である。したがって、以下を有する。
（Ａｃｏｌ１）の転置行列＊ａｌｐｈａ＝０
および
（Ａｃｏｌ２）の転置行列＊ａｌｐｈａ＝０
したがって、そのような構成では、幅は、ユーザの視線に垂直であって、高さもまた、ユーザの視線に垂直である。したがって、その画面は、ユーザの視線（一方または他方であり得る）に垂直であり得る。
したがって、４つの制約が存在する。これは、Ａの合計ＤＯＦを５に低減させる。したがって、より多くの規則化は、より少数の較正データ点を可能にし、また、その正確度を有意に増加させる。
較正が１回行われる場合、仮想画面と眼との間の関係は、既知であることを理解されたい。未知数は、画面と画面に関連しないものに関して分離されている。これは、ユーザ眼構成が異なり得るため、好ましい。Ａに関するデータが既知であることを前提として、唯一の未知数は、眼Ｅの場所となる。言い換えると、ユーザに１０個の点に照準させる較正ルーチンを行う場合、解法され得るともにスタックされた１０個のアレイが存在するであろう。唯一の未知数は、Ｅとなるであろう（例えば、Ａは、排除され得る）。したがって、本技法を使用して、より少ない未知数であるが、はるかに高い正確度で同一解法方程式を使用することができる。
システムが、眼追跡カメラ（例えば、ユーザの眼に向かって指向された画像捕捉デバイス）を有する場合、Ｅも同様に与えられ得る。そのような場合、ユーザが頭部搭載式ＡＲデバイスを装着すると、較正は、画面平面の幾何学形状であるＡが事前較正されるため（工場によって、ある他のユーザによって、または同一ユーザによって以前に）、必要とされなくてもよい。眼カメラは、直接、Ｅを測定するため、レンダリングは、任意の較正を伴わずに行われてもよい。注目されるのは、これらの種類の制約が正確ではない場合、第４の種類の規則化、すなわち、眼場所の以前の知識が存在し得ることである。言い換えると、現在の眼場所から以前の眼場所の位置までの距離は、非常に短いことが望ましい。したがって、最小二乗表現では、これは、以下の方程式によって表され得る。
（Ｅ−Ｅｐｒｉｏｒ）２＝０
当然ながら、Ｅｐｒｉｏｒの値は、眼追跡カメラを通して導出されてもよいことを理解されたい。
（Ｅ−Ｅｐｒｉｏｒ）２＝０
当然ながら、Ｅｐｒｉｏｒの値は、眼追跡カメラを通して導出されてもよいことを理解されたい。
ここで図１４５を参照すると、ＡＲシステム上で較正を行う例示的方法１４５が、論じられる。１４５０２では、仮想画像が、ユーザに表示される。仮想画像は、任意の画像であってもよい。前述のように、仮想画像は、単に、ユーザが合焦される点を備えてもよい。他の実施形態では、仮想画像は、任意の画像であってもよく、ユーザは、特定のピクセルにおける焦点に指向されてもよい（例えば、特定の色等によって示される）。
１４５０４では、ＡＲシステムは、仮想画像の場所を決定する。１つ以上の実施形態では、仮想画像の場所は、システムが仮想画像がユーザに表示されている深度を把握するため、既知であってもよい。１４５０６では、ＡＲシステムは、ユーザの瞳孔の場所を計算してもよい。これは、上記で概略された種々の技法を通して計算されてもよい。１４５０８では、ＡＲシステムは、計算されたユーザの瞳孔の場所を使用して、仮想画像のピクセルがユーザに表示される場所を決定してもよい。ユーザ入力はまた、ピクセルの場所を決定するために利用されてもよい。
１４５１０では、ユーザは、ピクセル点を空間内の既知の点に整合させるように求められてもよい。１４５１２では、十分な点Ｎが収集されたかどうかの決定が行われてもよい。種々のピクセル点が種々の点におよび種々の方向において方略的に位置し、ＡＲシステムのディスプレイのいくつかの部分に対して正確な較正値を求め得ることを理解されたい。前述のように、いくつかの実施形態では、いくつかの点（例えば、２０個のピクセル点）は、より高い正確度を得るためにかなり多いはずである。
より多くの点が必要とされることが決定される場合、プロセスは、１４５０２に戻り、他のピクセル点に対するデータを収集する。１４５１２において、十分な点が収集されたと決定する場合、ピクセルおよび／または表示される種々の値は、収集されたデータに基づいて、調節されてもよい（１４５１４）。
（トランザクション補助構成）
本主題のＡＲシステムは、理想的には、ＡＲシステムが、ユーザの視線を識別、位置特定、認証、およびさらに決定するために非常に好適であるため、金銭的およびそれ以外にかかわらず、種々のタイプのトランザクションに関してユーザを補助するために好適である。
本主題のＡＲシステムは、理想的には、ＡＲシステムが、ユーザの視線を識別、位置特定、認証、およびさらに決定するために非常に好適であるため、金銭的およびそれ以外にかかわらず、種々のタイプのトランザクションに関してユーザを補助するために好適である。
１つ以上の実施形態では、ユーザは、眼追跡に基づいて識別されてもよい。本主題のＡＲシステムは、概して、ユーザの視線および焦点に関する知識を有する。前述のように、種々の実施形態では、頭部搭載式ＡＲシステムは、ユーザの眼に関連する画像情報を捕捉するように配向される、１つ以上のカメラを特徴とする。図１３７に描写されるもの等のある構成では、各ユーザの眼は、上記に詳細に説明されるように、眼に合焦されるカメラ１３７０２とともに、閃光を眼の表面に誘発させるためのカメラまでの既知のオフセット距離を伴う、３つまたはそれを上回るＬＥＤ（一実施形態では、示されるように眼の直下に）を有してもよい。
３つのＬＥＤが、三角測量によって、カメラから各閃光点までの３Ｄ距離を推測することができるため、既知のオフセットとともに使用される。少なくとも３点および眼の近似球状モデルを用いることで、眼の曲率が、推測される。３Ｄオフセットおよび眼に対する既知の配向を用いることで、虹彩または網膜の正確（画像）もしくは抽象的（勾配または他の特徴）テンプレート（他の実施形態では、網膜および眼内またはそれにわたる静脈のパターン）を形成することができる。これは、ユーザの精密な識別を可能にする。
１つ以上の実施形態では、虹彩識別は、ユーザを識別するために使用されてもよい。眼の虹彩内の筋線維のパターンは、人物毎に安定かつ一意のパターンを形成する。本情報は、有利には、多くの異なる方法において、識別コードとして使用されてもよい。目標は、眼からの十分に豊富なテクスチャを抽出することである。ＡＲシステムのカメラは、下方または側面から眼に向いているため、コードが、回転不変量である必要はない。
図１３８は、参照のためだけの虹彩からの例示的コード１３８００を示す。下方のカメラおよび３Ｄ深度情報を提供する多くの他のＬＥＤが、存在してもよい。これは、テンプレートコードを形成し、瞳孔直径およびその３Ｄ位置に関して正規化されるために使用されてもよい。そのようなコードは、ユーザがデバイスに登録する際（例えば、設定時間等の間）、いくつかの異なるビューから経時的に捕捉されてもよい。
前述のように、一実施形態では、ＨＭＤは、操向可能光ファイバケーブルによって操向されるレーザスキャナによって駆動される、回折ディスプレイを備えている。本ケーブルはまた、眼を覗き込み、同様に、桿体視細胞、錐体視細胞（視覚受容体）、および血管の一意のパターンである、網膜自体を視認するために利用されてもよい。これらはまた、各個人に一意のパターンを形成し、したがって、各人物を一意に識別するために使用されることができる。
ここで図１３９を参照すると、網膜１３９００の画像が、図示される。前述の実施形態と同様に、網膜の画像はまた、任意の数の従来の手段を使用して、パターンに変換されてもよい。例えば、暗いおよび明るい血液小胞のパターンは、各ユーザに一意であり得る。これは、勾配演算子を画像上で起動し、網膜の中心に置かれた標準化グリッド内の高／低遷移を計数する等、標準的技法によって、「暗明」コードに変換されてもよい。
本明細書に説明される種々のＡＲシステムは、持続的に装着されるように設計されるため、また、ユーザの眼の任意のゆっくりとした変化（例えば、白内障の発症等）を監視するために利用されてもよい。さらに、虹彩および網膜の可視化はまた、その兆候が、多くの場合、最初に、眼内に現れる、鬱血性心不全、アテローム性動脈硬化症、およびコレステロール等の他の健康変化をユーザにアラートするために利用されてもよい。
したがって、本主題のシステムは、少なくとも以下の理由から、向上した正確度を伴って、ユーザを識別および補助するために利用されてもよい。第１に、システムは、眼が、人々の間で類似するが、全く同一サイズではないため、ユーザの識別を補助する、眼の曲率／サイズを決定することができる。第２に、システムは、時間的情報の知識を有する。すなわち、システムは、ユーザの眼が水膜を生成する場合、眼が寄り、ともに合焦する場合、呼吸パターン、瞬き率、または脈管内の血液拍動ステータスが正常である場合等、ユーザの正常心拍数を決定することができる。次に、システムはまた、相関情報を使用することができる。すなわち、例えば、システムは、環境の画像と予期される眼移動パターンを相関させることができ、また、ユーザが、その場所に位置すると思われるものと同一の予期される場面を見ていることをチェックすることができる（例えば、環境のＧＰＳ、Ｗｉ−Ｆｉ信号、およびマップ等から導出されるように）。例えば、ユーザが、推定上、家に居る場合、システムは、既知の家の内側の予期される姿勢の正しい場面を見ているはずである。最後に、システムは、ハイパースペクトルおよび皮膚／筋肉コンダクタンスを使用して、同様に、ユーザを識別することができる。
前述は全て、有利には、非常にセキュアな形態のユーザ識別を開発するために使用され得る。言い換えると、システムは、比較的に高度の正確度を伴って、ユーザの識別を決定するために利用されてもよい。システムは、非常に確実性を伴って、持続的ベースで（時間的情報）、ユーザについて把握するために利用されることができるため、また、マイクロトランザクションを可能にするために利用されることができる。
パスワードまたはサインアップコードは、排除されてもよい。本主題のシステムは、高確実性を伴って、ユーザの識別を決定してもよい。本情報を用いることで、ユーザは、そのサイトの諸条件についての単純通知（例えば、フローティング式仮想ボックス）後、任意のウェブサイトにアクセスすることが許可され得る。
一実施形態では、システムは、ユーザがそのサイトに関する条件を瞬時に把握するように、いくつかの標準的諸条件を作成してもよい。１つ以上のウェブサイトは、公正な条件の集合に準拠しない場合、ＡＲシステムは、その特定のウェブサイト上でのアクセスまたはマイクロトランザクションが自動的に許可されなくてもよい（以下に説明されるように）。
所与のウェブサイト上において、ＡＲシステムは、ユーザがあるコンテンツを視認または使用することを確実にし得るだけではなく、ＡＲシステムはまた、コンテンツが使用された時間の長さを決定してもよい（例えば、クイックブラウズは、無料であり得るが、より多い使用量について課金されてもよい）。
１つ以上の実施形態では、前述のように、マイクロトランザクションは、そのようなシステムを通して容易に行われ得る。例えば、異なる製品またはサービスは、１ペニーの何分の１かで値段が付けられ得る（例えば、ニュース記事は、１セントの１／３かかり得、書籍は、１ページ１ペニーで課金され得、音楽は、１回の視聴で１０セント等となる）。現在の通貨パラダイム内では、ユーザ間でそのようなアクティビティの追跡を保つことはより困難であり得るため、マイクロトランザクションを利用することは実践的ではない。しかしながら、ＡＲシステムを用いることで、ＡＲシステムは、ユーザアクティビティを容易に決定し、それを追跡し得る。
１つ以上の実施形態では、ＡＲシステムは、トランザクションのわずかなパーセンテージ（例えば、１％トランザクション料金等）を受領してもよい。一実施形態では、システムは、マイクロトランザクションの集合が集約される、ユーザによって制御可能なアカウントを作成するために利用されてもよい。本集合は、ユーザが、その金額が閾値を超えると、ウェブサイトまたはエンティティに支払い得るように集約されてもよい。または、別の実施形態では、金額は、単に、閾値に到達する場合、ルーチンベースで清算されてもよい。
別の実施形態では、親は、その子供のアカウントへの類似アクセスを有してもよい。例えば、ポリシーは、あるパーセンテージを上回る買物を許可しない、または消費限界を作成するように設定されてもよい。種々の実施形態は、以下の実施形態を使用して説明されるように、促進されてもよい。商品は、ＡＲテレプレゼンス概念に起因して、ユーザが物理的に存在しない場合でも、ユーザの好ましい場所に送達されてもよい。すなわち、ＡＲテレプレゼンスを用いることで、ユーザは、オフィスの場所に居てもよいが、配達員をその家に持って行かせる、または別様にアバタテレプレゼンスによって配達員に見えるようにしてもよい。
システムは、眼を追跡するために利用されてもよいため、また、「一瞥」による買物を可能にすることができる。すなわち、ユーザは、単に、オブジェクトを見て（例えば、あるホテル内のローブ）、「私のアカウントが＄３０００ドルを超えて戻ったら、これが欲しい」等の規定を作成してもよい。ユーザが特定の着目オブジェクトを視認するとき、類似製品もまた、仮想上、ユーザに表示されてもよい。
１つ以上の実施形態では、ＡＲシステムは、バーコードを読み取ってもよい。これはまた、トランザクションを行う際にユーザを促進し得る。１つ以上の実施形態では、中古市場が、可能な限り多くの製品および製品カテゴリのためにレンダリングされてもよい。中古アイテムは、常時、新しいものと対比されてもよい。
多くのアイテムのために、ＡＲシステムは、３Ｄオブジェクトをレンダリングするために利用され得るため、ユーザは、単に、３Ｄオブジェクトの周囲を歩き回り、それをあらゆる側面から吟味してもよい。経時的に、大部分のアイテムは、オブジェクトの迅速な走査によって更新され得る、３Ｄモデルに対応してもよいことが想定される。実際、携帯電話またはスマートフォン等の多くのアイテムは、ユーザが、従来のハードウェアを購入または携行する必要なく、同一機能性を得るように、仮想化されてもよい。
１つ以上の実施形態では、ＡＲシステムのユーザは、常時、オブジェクトのカタログへのアクセスを有することによって、所有を管理してもよく、それぞれ、提案またはユーザ設定可能料金で、市場に瞬時に売り出され得る。１つ以上の実施形態では、ＡＲシステムは、ユーザに対してあるコストで商品を保管するためにローカル企業と取り決めを有し、コストを１つ以上のウェブサイトと分割してもよい。
１つ以上の実施形態では、ＡＲシステムは、仮想市場を提供してもよい。言い換えると、ＡＲシステムは、全体的に仮想（サーバを介して）または全体的に現実であり得る、市場場所をホストしてもよい。１つ以上の実施形態では、ＡＲシステムは、一意の通貨システムを開発してもよい。通貨システムは、本主題の技術を使用して、各人物の非常に信頼性のある識別にインデックス化されてもよい。そのような場合、全ての当事者がセキュアに把握されるとき、窃盗は生じ得ない。
そのような通貨は、ユーザの数が増加すると、経時的に成長してもよい。すなわち、システムに参加する全てのユーザは、システム内の総額を増大させ得る。同様に、アイテムが購入される度に、通貨は、ユーザが多額の貨幣を保とうとする意志を持たないように、ある点を超えると暴騰し得る。これは、経済における貨幣の自由な移動を促す。通貨は、最大相互作用／最大経済成長をシミュレートするようにモデル化されてもよい。
新しい貨幣は、既存の貨幣の富と反比例して配布されてもよい。新しいユーザは、より多くを受領してもよく、裕福な人々は、より少なく受領してもよい。閾値限界を超えて貨幣供給が縮小する場合、反対も当てはまり得る。
ヒト介入を受けるのではなく、本通貨システムは、最良の既知の経済実践を使用して、適応数学的モデルで稼働してもよい。すなわち、不景気の間、通貨のインフレ要因は、貨幣がシステムに流れ込み始めるように、より大きくなり得る。経済が好景気であるとき、貨幣はさらに、市場変動を抑制するように縮小し得る。１つ以上の実施形態では、モデルパラメータは、公的にブロードキャストされ、通貨は、他の通貨に基づいて変動するであろう。
一実施形態では、網膜シグネチャセキュア化データアクセスが、利用されてもよい。そのような実施形態では、本主題のシステムは、テキスト、画像、およびコンテンツが、信頼のあるセキュアなハードウェアデバイスにのみ選択的に伝送可能および表示可能となることを可能にしてもよく、これは、ユーザが１つ以上の動的に測定される網膜シグネチャに基づいて認証されることができると、アクセスを可能にする。ディスプレイデバイスは、直接、ユーザの網膜上に投影するため、意図される受信者（網膜シグネチャによって識別された）のみ、保護されたコンテンツを視認可能となり得る。さらに、視認デバイスは、ユーザの網膜を能動的に監視するため、動的に読み取られた網膜シグネチャは、コンテンツが実際にユーザの眼に提示された証拠として記録されてもよい（例えば、可能性として、要求される眼移動のシーケンスの実行等、認証アクションを伴う、デジタル受信の形態で）。
なりすまし検出は、予期される自然変動のモデルに基づいて、網膜画像、静的または２Ｄ網膜画像、生成画像等の以前の録画の使用の試みを排除し得る。一意の起点／透かしが、生成され、網膜上に投影され、監査目的のために、一意の網膜シグネチャを生成してもよい。
本発明の種々の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広くて適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物が置換されてもよい。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、もしくは範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散構成要素および特徴を有する。全てのそのような修正は、本開示に関連付けられる請求項の範囲内にあることを目的としている。
本発明は、主題デバイスを使用して行われ得る方法を含む。方法は、そのような好適なデバイスを提供するという行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すれば、「提供する」行為は、単に、エンドユーザが、主題方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順番で、ならびに事象の記載された順番で実行されてもよい。
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関しては、これらは、上記で参照された特許および出版物と関連して理解されるとともに、概して、当業者によって公知または理解され得る。一般的または論理的に採用されるような付加的な行為の観点から、本発明の方法ベースの側面に関して、同じことが当てはまり得る。
加えて、本発明は、種々の特徴を随意的に組み込むいくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるような説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物（本明細書に記載されようと、いくらか簡単にするために含まれていなかろうと）が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることを理解されたい。
また、説明される本発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか１つ以上のものと組み合わせて、記載および請求されてもよいことが考慮される。単数形のアイテムへの参照は、複数形の同一のアイテムが存在するという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる請求項で使用されるように、「１つの（「ａ」、「ａｎ」）」、「該（ｓａｉｄ）」、および「前記（ｔｈｅ）」という単数形は、特に規定がない限り、複数形の指示主題を含む。換言すれば、冠詞の使用は、上記の説明ならびに本開示に関連付けられる請求項において、主題アイテムの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項の要素の記載と関連して、「単に」、「のみ」、および同等物等の排他的用語の使用、または「否定的」制限の使用のために、先行詞としての機能を果たすことを目的としている。
そのような排他的用語を使用することなく、本開示に関連付けられる請求項での「備えている」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の追加の要素を含むことを可能にするものとする。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるものである。
本発明の範疇は、提供される実施例および／または主題の明細書に限定されるものではなく、むしろ、本開示に関連付けられる請求項の言葉の範囲のみによって限定されるものである。
Claims (21)
- 仮想ユーザインターフェースを生成する方法であって、
ユーザ入力に基づいて、ユーザに表示されるべき仮想ユーザインターフェースを識別することと、
前記ユーザに関連付けられた場所を得ることと、
前記得られた場所に少なくとも部分的に基づいて、前記識別された仮想ユーザインターフェースを表示すべき座標点の集合を決定することと、
前記決定された座標点において、前記仮想ユーザインターフェースを前記ユーザに表示することと
を含む、方法。 - 前記ユーザ入力は、認識されたジェスチャに少なくとも部分的に基づいて、決定される、請求項１に記載の方法。
- 前記ユーザ入力は、音声コマンドに少なくとも部分的に基づいて、決定される、請求項１に記載の方法。
- 前記ユーザ入力は、所定の物理オブジェクトとの相互作用に少なくとも部分的に基づいて、決定される、請求項１に記載の方法。
- 前記識別されたユーザ仮想ユーザインターフェースをユーザインターフェースのライブラリから読み出すことをさらに含む、請求項１に記載の方法。
- 前記識別された仮想ユーザインターフェースは、基準フレームに関連付けられている、請求項１に記載の方法。
- 前記基準フレームは、身体中心基準フレームである、請求項６に記載の方法。
- 前記基準フレームは、頭部中心基準フレームである、請求項６に記載の方法。
- 前記基準フレームは、手中心基準フレームである、請求項６に記載の方法。
- 前記基準フレームは、世界中心基準フレームである、請求項６に記載の方法。
- 前記識別された仮想ユーザインターフェースに関連付けられた基準フレームと前記世界に関係する前記ユーザの得られた場所との間の変換を行い、前記仮想ユーザインターフェースの座標点の集合を決定することをさらに含む、請求項１に記載の方法。
- 前記世界内の前記ユーザの場所は、前記ユーザのＧＰＳ場所に基づいて、決定される、請求項１に記載の方法。
- 前記世界内の前記ユーザの場所は、前記ユーザに関連付けられたマップ点の集合に基づいて、決定される、請求項１に記載の方法。
- 前記仮想ユーザインターフェースは、前記ユーザが移動する場合、静止しているように見える、請求項１に記載の方法。
- 前記仮想ユーザインターフェースは、前記ユーザの移動に関係して移動する、請求項１に記載の方法。
- 前記識別された仮想ユーザインターフェースに関連付けられた基準フレームを決定することと、
前記世界基準フレームに関係する前記基準フレームの場所を決定することと、
前記決定された場所を原点として設定することと、
前記原点に関係する前記座標点の集合を決定することと
をさらに含む、請求項１に記載の方法。 - 前記マップ点の集合をネットワーク化されたメモリから読み出すことをさらに含む、請求項１に記載の方法。
- 前記ユーザ入力は、前記仮想ユーザインターフェースが表示されるべき空間内の場所を備えている、請求項１に記載の方法。
- 前記空間内の場所は、前記ユーザの場所における物理エンティティに関連付けられている、請求項１８に記載の方法。
- 前記ユーザ入力は、壁を示す投げる入力を含むジェスチャを含む、請求項１に記載の方法。
- 前記ユーザ入力は、前記仮想ユーザインターフェースを生成するための命令の終了を意味するジェスチャを含む、請求項１に記載の方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022083729A JP2022113713A (ja) | 2014-06-14 | 2022-05-23 | 仮想および拡張現実を作成する方法およびシステム |
| JP2023171946A JP2023181188A (ja) | 2014-06-14 | 2023-10-03 | 仮想および拡張現実を作成する方法およびシステム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462012273P | 2014-06-14 | 2014-06-14 | |
| US62/012,273 | 2014-06-14 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017518040A Division JP6646659B2 (ja) | 2014-06-14 | 2015-06-13 | 仮想および拡張現実を作成する方法およびシステム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022083729A Division JP2022113713A (ja) | 2014-06-14 | 2022-05-23 | 仮想および拡張現実を作成する方法およびシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020061187A true JP2020061187A (ja) | 2020-04-16 |
| JP7110252B2 JP7110252B2 (ja) | 2022-08-01 |
Family
ID=54834480
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017518040A Active JP6646659B2 (ja) | 2014-06-14 | 2015-06-13 | 仮想および拡張現実を作成する方法およびシステム |
| JP2020002609A Active JP7110252B2 (ja) | 2014-06-14 | 2020-01-10 | 仮想および拡張現実を作成する方法およびシステム |
| JP2022083729A Withdrawn JP2022113713A (ja) | 2014-06-14 | 2022-05-23 | 仮想および拡張現実を作成する方法およびシステム |
| JP2023171946A Pending JP2023181188A (ja) | 2014-06-14 | 2023-10-03 | 仮想および拡張現実を作成する方法およびシステム |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017518040A Active JP6646659B2 (ja) | 2014-06-14 | 2015-06-13 | 仮想および拡張現実を作成する方法およびシステム |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022083729A Withdrawn JP2022113713A (ja) | 2014-06-14 | 2022-05-23 | 仮想および拡張現実を作成する方法およびシステム |
| JP2023171946A Pending JP2023181188A (ja) | 2014-06-14 | 2023-10-03 | 仮想および拡張現実を作成する方法およびシステム |
Country Status (8)
| Country | Link |
|---|---|
| EP (3) | EP3699736B1 (ja) |
| JP (4) | JP6646659B2 (ja) |
| KR (1) | KR102204919B1 (ja) |
| CN (3) | CN106937531B (ja) |
| AU (1) | AU2015274283B2 (ja) |
| CA (1) | CA2953335C (ja) |
| IL (2) | IL249371B (ja) |
| WO (1) | WO2015192117A1 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022158890A1 (en) * | 2021-01-21 | 2022-07-28 | Samsung Electronics Co., Ltd. | Systems and methods for reconstruction of dense depth maps |
| US11615594B2 (en) | 2021-01-21 | 2023-03-28 | Samsung Electronics Co., Ltd. | Systems and methods for reconstruction of dense depth maps |
| WO2023095833A1 (ja) * | 2021-11-25 | 2023-06-01 | 株式会社Ｎｔｔドコモ | 情報処理装置 |
| US11688073B2 (en) | 2020-04-14 | 2023-06-27 | Samsung Electronics Co., Ltd. | Method and system for depth map reconstruction |
| US11893699B2 (en) | 2022-03-15 | 2024-02-06 | Zeality Inc | Method and processing unit for providing content in a bandwidth constrained environment |
Families Citing this family (560)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010023754A1 (ja) * | 2008-08-29 | 2010-03-04 | 株式会社コトブキ | 収納式観覧席 |
| US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
| US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
| US10188309B2 (en) | 2013-11-27 | 2019-01-29 | North Inc. | Systems, articles, and methods for electromyography sensors |
| US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
| US10475113B2 (en) | 2014-12-23 | 2019-11-12 | Ebay Inc. | Method system and medium for generating virtual contexts from three dimensional models |
| US10217189B2 (en) * | 2015-09-16 | 2019-02-26 | Google Llc | General spherical capture methods |
| US10614614B2 (en) | 2015-09-29 | 2020-04-07 | Adshir Ltd. | Path tracing system employing distributed accelerating structures |
| US10186026B2 (en) * | 2015-11-17 | 2019-01-22 | Kla-Tencor Corp. | Single image detection |
| US10565776B2 (en) | 2015-12-12 | 2020-02-18 | Adshir Ltd. | Method for fast generation of path traced reflections on a semi-reflective surface |
| CN108431669A (zh) * | 2016-01-07 | 2018-08-21 | 奇跃公司 | 动态菲涅尔投影仪 |
| JP6362631B2 (ja) * | 2016-01-15 | 2018-07-25 | 株式会社ｍｅｌｅａｐ | 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ |
| US10345914B2 (en) * | 2016-01-26 | 2019-07-09 | Infinity Augmented Reality Israel Ltd. | Method and system for generating a synthetic database of postures and gestures |
| US12008704B2 (en) | 2016-01-28 | 2024-06-11 | Snap Inc. | System for photo-realistic reflections in augmented reality |
| US10614612B2 (en) | 2018-06-09 | 2020-04-07 | Adshir Ltd. | Fast path traced reflections for augmented reality |
| EP3206121A1 (en) | 2016-02-09 | 2017-08-16 | Nokia Technologies Oy | Methods and apparatuses relating to the handling of visual virtual reality content |
| EP3206122A1 (en) | 2016-02-10 | 2017-08-16 | Nokia Technologies Oy | An apparatus and associated methods |
| CN105610868B (zh) * | 2016-03-03 | 2019-08-06 | 腾讯科技（深圳）有限公司 | 一种信息交互的方法、设备及系统 |
| WO2017156622A1 (en) * | 2016-03-13 | 2017-09-21 | Rising Sun Productions Limited | Head-mounted audiovisual capture device |
| EP3878391A1 (en) * | 2016-03-14 | 2021-09-15 | Mohamed R. Mahfouz | A surgical navigation system |
| CN107199888A (zh) * | 2016-03-18 | 2017-09-26 | 松下知识产权经营株式会社 | 姿势输入系统和姿势输入方法 |
| US10815145B2 (en) | 2016-03-31 | 2020-10-27 | Corning Incorporated | High index glass and devices incorporating such |
| US10979843B2 (en) * | 2016-04-08 | 2021-04-13 | Qualcomm Incorporated | Spatialized audio output based on predicted position data |
| KR20240070723A (ko) | 2016-04-21 | 2024-05-21 | 매직 립, 인코포레이티드 | 시야 주위의 시각적 아우라 |
| CN105788390A (zh) * | 2016-04-29 | 2016-07-20 | 吉林医药学院 | 基于增强现实的医学解剖辅助教学系统 |
| US11062383B2 (en) | 2016-05-10 | 2021-07-13 | Lowe's Companies, Inc. | Systems and methods for displaying a simulated room and portions thereof |
| JP6429829B2 (ja) * | 2016-05-25 | 2018-11-28 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
| GB2550620B (en) * | 2016-05-26 | 2020-07-29 | Michael Child John | A camera apparatus |
| JP7015104B2 (ja) * | 2016-07-04 | 2022-02-15 | エドワード・パクチャン | Ｍｅｍｓディスプレイ |
| JP6953116B2 (ja) * | 2016-07-04 | 2021-10-27 | エドワード・パクチャン | Ｍｅｍｓディスプレイ |
| EP3270208B1 (fr) * | 2016-07-12 | 2024-03-06 | Essilor International | Procédé de fourniture d'un dispositif d'affichage pour dispositif électronique informatif |
| US20190235624A1 (en) * | 2016-07-19 | 2019-08-01 | Supereye, Inc. | Systems and methods for predictive visual rendering |
| WO2020112986A1 (en) | 2018-11-27 | 2020-06-04 | Facebook Technologies, Inc. | Methods and apparatus for autocalibration of a wearable electrode sensor system |
| US20190121306A1 (en) | 2017-10-19 | 2019-04-25 | Ctrl-Labs Corporation | Systems and methods for identifying biological structures associated with neuromuscular source signals |
| US9858637B1 (en) | 2016-07-29 | 2018-01-02 | Qualcomm Incorporated | Systems and methods for reducing motion-to-photon latency and memory bandwidth in a virtual reality system |
| AU2017305249B2 (en) * | 2016-08-01 | 2021-07-22 | Magic Leap, Inc. | Mixed reality system with spatialized audio |
| US10482621B2 (en) * | 2016-08-01 | 2019-11-19 | Cognex Corporation | System and method for improved scoring of 3D poses and spurious point removal in 3D image data |
| US10398514B2 (en) | 2016-08-16 | 2019-09-03 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
| US20180049622A1 (en) | 2016-08-16 | 2018-02-22 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
| US11071596B2 (en) | 2016-08-16 | 2021-07-27 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
| WO2018039269A1 (en) * | 2016-08-22 | 2018-03-01 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
| US11102467B2 (en) * | 2016-08-25 | 2021-08-24 | Facebook Technologies, Llc | Array detector for depth mapping |
| KR20210060676A (ko) | 2016-09-13 | 2021-05-26 | 매직 립, 인코포레이티드 | 감각 안경류 |
| EP3513374A4 (en) * | 2016-09-16 | 2020-05-27 | Christopher Ghaleb | GROUND PLAN VISUALIZATION SYSTEM |
| US10380950B2 (en) * | 2016-09-23 | 2019-08-13 | Novatek Microelectronics Corp. | Method for reducing motion blur and head mounted display apparatus |
| CN114356098A (zh) | 2016-09-28 | 2022-04-15 | 奇跃公司 | 由可穿戴设备进行面部模型捕获 |
| US10067565B2 (en) | 2016-09-29 | 2018-09-04 | Intel Corporation | Methods and apparatus for identifying potentially seizure-inducing virtual reality content |
| CN106651500B (zh) * | 2016-10-12 | 2021-03-30 | 大连知行天下网络科技有限公司 | 基于空间反馈特征的视频图像识别技术和虚拟现实技术的网上购物系统 |
| US20190244391A1 (en) * | 2016-10-20 | 2019-08-08 | Spookfish Innovations Pty Ltd | An aerial camera boresight calibration system |
| US10748450B1 (en) | 2016-11-29 | 2020-08-18 | Sproutel, Inc. | System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education |
| US11056022B1 (en) | 2016-11-29 | 2021-07-06 | Sproutel, Inc. | System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education |
| CN110214339A (zh) * | 2016-11-30 | 2019-09-06 | 诺瓦赛特有限公司 | 用于显示具有改变的视场的图像的方法和设备 |
| CN108205813B (zh) | 2016-12-16 | 2022-06-03 | 微软技术许可有限责任公司 | 基于学习网络的图像风格化 |
| US10783799B1 (en) | 2016-12-17 | 2020-09-22 | Sproutel, Inc. | System, apparatus, and method for educating and reducing stress for patients with illness or trauma using an interactive location-aware toy and a distributed sensor network |
| US10371896B2 (en) * | 2016-12-22 | 2019-08-06 | Magic Leap, Inc. | Color separation in planar waveguides using dichroic filters |
| US10489979B2 (en) | 2016-12-30 | 2019-11-26 | Facebook, Inc. | Systems and methods for providing nested content items associated with virtual content items |
| US10088911B2 (en) | 2016-12-30 | 2018-10-02 | Manuel Saez | Programmable electronic helmet |
| US10515474B2 (en) | 2017-01-19 | 2019-12-24 | Mindmaze Holding Sa | System, method and apparatus for detecting facial expression in a virtual reality system |
| EP3571627A2 (en) | 2017-01-19 | 2019-11-27 | Mindmaze Holding S.A. | Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system |
| US10943100B2 (en) | 2017-01-19 | 2021-03-09 | Mindmaze Holding Sa | Systems, methods, devices and apparatuses for detecting facial expression |
| CN110770758B (zh) * | 2017-01-23 | 2024-06-04 | 牛津大学创新有限公司 | 确定可移动的设备的位置 |
| CN108346432B (zh) * | 2017-01-25 | 2022-09-09 | 北京三星通信技术研究有限公司 | 虚拟现实vr音频的处理方法及相应设备 |
| CN110892408A (zh) | 2017-02-07 | 2020-03-17 | 迈恩德玛泽控股股份有限公司 | 用于立体视觉和跟踪的系统、方法和装置 |
| US10438399B2 (en) * | 2017-02-10 | 2019-10-08 | Sony Interactive Entertainment LLC | Paired local and global user interfaces for an improved augmented reality experience |
| US10416769B2 (en) | 2017-02-14 | 2019-09-17 | Microsoft Technology Licensing, Llc | Physical haptic feedback system with spatial warping |
| KR102671512B1 (ko) * | 2017-02-20 | 2024-06-04 | 이현세 | 화상 정보를 이용한 햅틱 효과 출력 시스템 및 방법 |
| CN106951153B (zh) * | 2017-02-21 | 2020-11-20 | 联想(北京)有限公司 | 一种显示方法及电子设备 |
| CN110419061B (zh) * | 2017-03-17 | 2023-09-29 | 奇跃公司 | 混合现实系统及使用该系统生成虚拟内容的方法 |
| KR101963244B1 (ko) * | 2017-03-20 | 2019-03-28 | ㈜라이커스게임 | 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램 |
| US10969874B2 (en) | 2017-03-21 | 2021-04-06 | Pcms Holdings, Inc. | Method and system for the detection and augmentation of tactile interactions in augmented reality |
| US10453172B2 (en) | 2017-04-04 | 2019-10-22 | International Business Machines Corporation | Sparse-data generative model for pseudo-puppet memory recast |
| KR101894455B1 (ko) * | 2017-04-05 | 2018-09-04 | 부산가톨릭대학교 산학협력단 | 영상의학용 일반촬영 검사 가상현실 컨텐츠 제작-운용방법 |
| KR20190132507A (ko) * | 2017-04-06 | 2019-11-27 | 콘스탄틴 로가츠 | 증강 현실(ar) 안경 및 적어도 하나의 안경 렌즈를 통해 안경의 착용자가 볼 수 있는 이미지에 가상 이미지들을 혼합하기 위한 방법 |
| US10740613B1 (en) | 2017-04-20 | 2020-08-11 | Digimarc Corporation | Hybrid feature point/watermark-based augmented reality |
| CA3060617C (en) | 2017-04-20 | 2022-10-04 | The Cleveland Clinic Foundation | System and method for holographic image-guided non-vascular percutaneous procedures |
| WO2018201150A1 (en) * | 2017-04-28 | 2018-11-01 | Mira Labs, Inc. | Control system for a three dimensional environment |
| US11077360B2 (en) | 2017-04-28 | 2021-08-03 | Sony Interactive Entertainment Inc. | Information processing device, control method of information processing device, and program |
| KR20230108352A (ko) | 2017-05-01 | 2023-07-18 | 매직 립, 인코포레이티드 | 콘텐츠를 공간 3d 환경에 매칭 |
| CN107194163A (zh) * | 2017-05-15 | 2017-09-22 | 上海联影医疗科技有限公司 | 一种显示方法和系统 |
| FR3066672B1 (fr) * | 2017-05-19 | 2020-05-22 | Sagemcom Broadband Sas | Procede de communication d'une video immersive |
| US10582172B2 (en) | 2017-05-22 | 2020-03-03 | Microsoft Technology Licensing, Llc | Optical system steering via Bragg grating shear |
| US10679428B1 (en) | 2017-05-26 | 2020-06-09 | Snap Inc. | Neural network-based image stream modification |
| KR102670987B1 (ko) | 2017-05-31 | 2024-05-30 | 매직 립, 인코포레이티드 | 눈 추적 교정 기술들 |
| US11120264B2 (en) | 2017-06-02 | 2021-09-14 | Apple Inc. | Augmented reality interface for facilitating identification of arriving vehicle |
| US10678338B2 (en) | 2017-06-09 | 2020-06-09 | At&T Intellectual Property I, L.P. | Determining and evaluating data representing an action to be performed by a robot |
| WO2018236499A1 (en) | 2017-06-19 | 2018-12-27 | Apple Inc. | AUGMENTED REALITY INTERFACE FOR INTERACTING WITH DISPLAYED CARDS |
| US10573061B2 (en) | 2017-07-07 | 2020-02-25 | Nvidia Corporation | Saccadic redirection for virtual reality locomotion |
| US10573071B2 (en) | 2017-07-07 | 2020-02-25 | Nvidia Corporation | Path planning for virtual reality locomotion |
| US20190014362A1 (en) * | 2017-07-10 | 2019-01-10 | Qualcomm Incorporated | Enhanced region-wise packing and viewport independent hevc media profile |
| CN109241810B (zh) * | 2017-07-10 | 2022-01-28 | 腾讯科技（深圳）有限公司 | 虚拟角色图像的构建方法及装置、存储介质 |
| JP7222968B2 (ja) * | 2017-07-13 | 2023-02-15 | シーリアル テクノロジーズ ソシエテ アノニム | 視野を拡大するためのディスプレイデバイス |
| US11228829B2 (en) | 2017-07-14 | 2022-01-18 | Hewlett-Packard Development Company, L.P. | Regulating environmental conditions inside cups of headphones |
| AU2018301461A1 (en) * | 2017-07-14 | 2020-01-30 | Cappasity Inc. | Systems and methods for creating and displaying interactive 3D representations of real objects |
| WO2019013820A1 (en) | 2017-07-14 | 2019-01-17 | Hewlett-Packard Development Company, L.P. | USER ALERT CONCERNING EVENTS |
| EP3435670A1 (en) * | 2017-07-25 | 2019-01-30 | Koninklijke Philips N.V. | Apparatus and method for generating a tiled three-dimensional image representation of a scene |
| CN107689796B (zh) * | 2017-07-28 | 2021-03-26 | 同济大学 | 一种基于先验信息的无损压缩文件容错解压方法 |
| US11432877B2 (en) | 2017-08-02 | 2022-09-06 | Medtech S.A. | Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking |
| CN107368820B (zh) * | 2017-08-03 | 2023-04-18 | 中国科学院深圳先进技术研究院 | 一种精细化手势识别方法、装置及设备 |
| CN107609220B (zh) * | 2017-08-11 | 2021-11-05 | 中国电力科学研究院 | 一种负荷低电压释放特性参数的确定方法和装置 |
| EP3445049B1 (en) * | 2017-08-14 | 2021-01-27 | Facebook Technologies, LLC | Camera assembly with programmable diffractive optical element for depth sensing |
| US10551614B2 (en) * | 2017-08-14 | 2020-02-04 | Facebook Technologies, Llc | Camera assembly with programmable diffractive optical element for depth sensing |
| WO2019036006A1 (en) * | 2017-08-16 | 2019-02-21 | Covidien Lp | SYNTHESIS OF SPACE-SENSITIVE TRANSITIONS BETWEEN MULTIPLE VIEWPOINTS OF VIEWING DEVICES DURING MINI-INVASIVE SURGERY |
| CN107561549B (zh) * | 2017-08-17 | 2020-07-24 | 广州视源电子科技股份有限公司 | 终端位置的重定位方法、装置、终端及存储介质 |
| KR102360412B1 (ko) | 2017-08-25 | 2022-02-09 | 엘지디스플레이 주식회사 | 영상 생성 방법과 이를 이용한 표시장치 |
| CN111295633B (zh) * | 2017-08-29 | 2024-02-20 | 新加坡商欧之遥控有限公司 | 精细的用户识别 |
| CN109426783A (zh) * | 2017-08-29 | 2019-03-05 | 深圳市掌网科技股份有限公司 | 基于增强现实的手势识别方法及系统 |
| US10586342B2 (en) | 2017-08-31 | 2020-03-10 | Facebook Technologies, Llc | Shifting diffractive optical element for adjustable depth sensing resolution |
| DK180470B1 (en) | 2017-08-31 | 2021-05-06 | Apple Inc | Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments |
| EP3451288A1 (en) * | 2017-09-04 | 2019-03-06 | Universität Zürich | Visual-inertial odometry with an event camera |
| CN107538492A (zh) * | 2017-09-07 | 2018-01-05 | 福物（上海）机器人科技有限公司 | 移动机器人的智能操控系统、方法及智能学习方法 |
| US10762691B2 (en) * | 2017-09-08 | 2020-09-01 | Microsoft Technology Licensing, Llc | Techniques for compensating variable display device latency in image display |
| US10607082B2 (en) * | 2017-09-09 | 2020-03-31 | Google Llc | Systems, methods, and apparatus for image-responsive automated assistants |
| CN109511004B (zh) * | 2017-09-14 | 2023-09-01 | 中兴通讯股份有限公司 | 一种视频处理方法及装置 |
| CN107578078B (zh) * | 2017-09-14 | 2020-05-12 | 哈尔滨工业大学 | 用于单目视觉定位的非镜像对称二维码标志图形校验及布局方法 |
| KR20200055704A (ko) * | 2017-09-20 | 2020-05-21 | 매직 립, 인코포레이티드 | 눈 추적을 위한 개인화된 뉴럴 네트워크 |
| CN111448568B (zh) * | 2017-09-29 | 2023-11-14 | 苹果公司 | 基于环境的应用演示 |
| CN111052045B (zh) | 2017-09-29 | 2022-07-15 | 苹果公司 | 计算机生成的现实平台 |
| US10777007B2 (en) | 2017-09-29 | 2020-09-15 | Apple Inc. | Cooperative augmented reality map interface |
| CN107704681B (zh) * | 2017-09-30 | 2021-06-04 | 江西洪都航空工业集团有限责任公司 | 一种飞机地面视野范围的计算方法 |
| CN107564110A (zh) * | 2017-09-30 | 2018-01-09 | 四川长虹电器股份有限公司 | 一种基于ar的工厂设计系统 |
| US20200275988A1 (en) * | 2017-10-02 | 2020-09-03 | The Johns Hopkins University | Image to world registration for medical augmented reality applications using a world spatial map |
| CN107741886B (zh) * | 2017-10-11 | 2020-12-15 | 江苏电力信息技术有限公司 | 一种基于增强现实技术多人互动的方法 |
| CN107680105B (zh) * | 2017-10-12 | 2021-05-25 | 北京奇虎科技有限公司 | 基于虚拟世界的视频数据实时处理方法及装置、计算设备 |
| CN107680170A (zh) * | 2017-10-12 | 2018-02-09 | 北京奇虎科技有限公司 | 基于虚拟世界的图像实时处理方法及装置、计算设备 |
| CN107766206B (zh) * | 2017-10-12 | 2020-09-01 | 武汉秀宝软件有限公司 | 一种基于增强现实的多主机测试方法及系统 |
| US10403046B2 (en) * | 2017-10-20 | 2019-09-03 | Raytheon Company | Field of view (FOV) and key code limited augmented reality to enforce data capture and transmission compliance |
| KR102004048B1 (ko) * | 2017-10-25 | 2019-07-25 | 광운대학교 산학협력단 | 가상 현실을 위한 공간 재구성 방법 및 가상 로드맵 결정 방법 및 이를 수행하는 공간 재구성 장치 |
| US10796185B2 (en) * | 2017-11-03 | 2020-10-06 | Facebook, Inc. | Dynamic graceful degradation of augmented-reality effects |
| CN107742512B (zh) * | 2017-11-07 | 2020-09-01 | 北京京东方光电科技有限公司 | 一种显示驱动电路、其驱动方法及显示装置 |
| CN107765953B (zh) * | 2017-11-08 | 2023-08-22 | 网易（杭州）网络有限公司 | 信息的展示方法、装置、处理器及头戴式显示设备 |
| WO2019094047A1 (en) * | 2017-11-13 | 2019-05-16 | Boger Yuval S | Head-mounted display for public use |
| CN107657589B (zh) * | 2017-11-16 | 2021-05-14 | 上海麦界信息技术有限公司 | 基于三基准点标定的手机ar定位坐标轴同步方法 |
| CN107860315A (zh) * | 2017-11-17 | 2018-03-30 | 浙江大学城市学院 | 一种结构光全向光场视觉系统组合结构 |
| WO2019100319A1 (en) * | 2017-11-24 | 2019-05-31 | Microsoft Technology Licensing, Llc | Providing a response in a session |
| CN107945283B (zh) * | 2017-12-06 | 2021-05-14 | 河南省水利勘测设计研究有限公司 | 基于移动增强现实技术和bim的工程展示方法 |
| EP3496417A3 (en) * | 2017-12-06 | 2019-08-07 | Oticon A/s | Hearing system adapted for navigation and method therefor |
| CN108089701A (zh) * | 2017-12-07 | 2018-05-29 | 北京奇虎科技有限公司 | 一种虚拟现实vr场景的展示方法和装置 |
| CN109920283A (zh) * | 2017-12-12 | 2019-06-21 | 王子南 | 一种仿真沙盘系统 |
| CN107992896A (zh) * | 2017-12-13 | 2018-05-04 | 东南大学 | 一种基于眼动追踪技术的科学概念评测方法 |
| US10192115B1 (en) | 2017-12-13 | 2019-01-29 | Lowe's Companies, Inc. | Virtualizing objects using object models and object position data |
| KR101932007B1 (ko) * | 2017-12-15 | 2019-03-15 | 네이버랩스 주식회사 | 공간 메시징과 컨텐츠 공유를 위한 방법 및 그 시스템 |
| WO2019117655A1 (ko) * | 2017-12-15 | 2019-06-20 | 네이버랩스 주식회사 | 3d 지도를 이용한 원격 위치 기반 ar 저작 방법 및 시스템 |
| WO2019124851A1 (ko) | 2017-12-18 | 2019-06-27 | 네이버랩스 주식회사 | 지오펜싱 기반의 컨텐츠를 클라우드소싱하는 방법 및 그 시스템 |
| KR102556889B1 (ko) | 2017-12-22 | 2023-07-17 | 매직 립, 인코포레이티드 | 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 방법들 및 시스템 |
| JP7169358B2 (ja) * | 2017-12-22 | 2022-11-10 | マジック リープ， インコーポレイテッド | 高速立体再構成のための視点依存ブリック選択 |
| CA3084670A1 (en) | 2017-12-22 | 2019-06-27 | Magic Leap, Inc. | Methods and system for generating and displaying 3d videos in a virtual, augmented, or mixed reality environment |
| CN108053262B (zh) * | 2017-12-28 | 2020-10-13 | 北京星选科技有限公司 | 数据推送方法及装置 |
| CN108182719A (zh) * | 2017-12-28 | 2018-06-19 | 北京聚力维度科技有限公司 | 人工智能自适应障碍地形的行进动画生成方法和装置 |
| WO2019133505A1 (en) | 2017-12-29 | 2019-07-04 | Pcms Holdings, Inc. | Method and system for maintaining color calibration using common objects |
| US11328533B1 (en) | 2018-01-09 | 2022-05-10 | Mindmaze Holding Sa | System, method and apparatus for detecting facial expression for motion capture |
| KR102523433B1 (ko) | 2018-01-10 | 2023-04-19 | 삼성전자주식회사 | 깊이 정보를 결정하는 방법 및 광학 시스템 |
| CN108417217B (zh) * | 2018-01-11 | 2021-07-13 | 思必驰科技股份有限公司 | 说话人识别网络模型训练方法、说话人识别方法及系统 |
| CN108282228A (zh) * | 2018-01-12 | 2018-07-13 | 西安电子科技大学 | 基于室内可见光通信的多区域双控制器分层网络架构 |
| US11262756B2 (en) * | 2018-01-15 | 2022-03-01 | Uatc, Llc | Discrete decision architecture for motion planning system of an autonomous vehicle |
| US10460431B2 (en) | 2018-01-15 | 2019-10-29 | Otis Elevator Company | Part recognition and damage characterization using deep learning |
| CN110049303B (zh) * | 2018-01-15 | 2021-08-13 | 微软技术许可有限责任公司 | 立体图像的视觉风格化 |
| CN108256060B (zh) * | 2018-01-16 | 2021-02-09 | 广州视源电子科技股份有限公司 | 一种闭环检测方法、装置、终端及存储介质 |
| WO2019143688A1 (en) | 2018-01-19 | 2019-07-25 | Pcms Holdings, Inc. | Multi-focal planes with varying positions |
| KR102519653B1 (ko) * | 2018-01-20 | 2023-04-07 | 삼성전자주식회사 | 포인트 클라우드 압축 방법 및 장치 |
| WO2019143886A1 (en) * | 2018-01-22 | 2019-07-25 | Dakiana Research Llc | Objective-effectuators in synthesized reality settings |
| US20200364568A1 (en) * | 2018-01-22 | 2020-11-19 | Apple Inc. | Generating objectives for objective-effectuators in synthesized reality settings |
| CN108172051A (zh) * | 2018-01-24 | 2018-06-15 | 山东科技大学 | 一种体育课教学方法和装置 |
| US10225360B1 (en) * | 2018-01-24 | 2019-03-05 | Veeva Systems Inc. | System and method for distributing AR content |
| DK201870349A1 (en) | 2018-01-24 | 2019-10-23 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models |
| US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
| US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
| US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
| US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
| US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
| US11014242B2 (en) | 2018-01-26 | 2021-05-25 | Microsoft Technology Licensing, Llc | Puppeteering in augmented reality |
| US10976982B2 (en) * | 2018-02-02 | 2021-04-13 | Samsung Electronics Co., Ltd. | Guided view mode for virtual reality |
| CN110120229A (zh) * | 2018-02-05 | 2019-08-13 | 北京三星通信技术研究有限公司 | 虚拟现实vr音频信号的处理方法及相应设备 |
| CN108366250B (zh) * | 2018-02-06 | 2020-03-17 | 深圳市鹰硕技术有限公司 | 影像显示系统、方法以及数字眼镜 |
| US10964030B2 (en) | 2018-02-12 | 2021-03-30 | Samsung Electronics Co., Ltd. | Device and method with pose estimator based on current predicted motion state array |
| KR102549822B1 (ko) * | 2018-02-19 | 2023-06-30 | 애플 인크. | 조건부 의존적 합성 현실 콘텐츠 스레드들을 제시하고 조작하기 위한 방법 및 디바이스들 |
| KR20200121357A (ko) | 2018-02-22 | 2020-10-23 | 매직 립, 인코포레이티드 | 물리적 조작을 사용한 오브젝트 생성 |
| AU2019225989A1 (en) | 2018-02-22 | 2020-08-13 | Magic Leap, Inc. | Browser for mixed reality systems |
| KR20190101620A (ko) | 2018-02-23 | 2019-09-02 | 주식회사 로로아트플랜 | 증강현실 기술을 이용한 무빙 트릭아트 구현 방법 |
| TWI648556B (zh) * | 2018-03-06 | 2019-01-21 | 仁寶電腦工業股份有限公司 | 同步定位與地圖建構及手勢辨識方法 |
| CN108470047B (zh) * | 2018-03-07 | 2023-09-26 | 谭亮 | 基于物联网的远程平台监测系统 |
| CA3139648A1 (en) | 2018-03-07 | 2019-09-12 | Magic Leap, Inc. | Visual tracking of peripheral devices |
| US11716548B2 (en) * | 2018-03-13 | 2023-08-01 | Meta Platforms Technologies, Llc | Timing of multiplexed sensor phase measurements in a depth camera assembly for depth determination using fringe interferometry |
| US10572002B2 (en) * | 2018-03-13 | 2020-02-25 | Facebook Technologies, Llc | Distributed artificial reality system with contextualized hand tracking |
| EP3766028A1 (en) * | 2018-03-14 | 2021-01-20 | Snap Inc. | Generating collectible items based on location information |
| JP7027987B2 (ja) | 2018-03-16 | 2022-03-02 | 株式会社リコー | 頭部装着型表示装置および表示システム |
| JP7235146B2 (ja) | 2018-03-16 | 2023-03-08 | 株式会社リコー | 頭部装着型表示装置および表示システム |
| US11244439B2 (en) | 2018-03-20 | 2022-02-08 | 3M Innovative Properties Company | Vision system for status detection of wrapped packages |
| US11462319B2 (en) | 2018-03-20 | 2022-10-04 | 3M Innovative Properties Company | Sterilization process management |
| US10874759B2 (en) | 2018-03-20 | 2020-12-29 | 3M Innovative Properties Company | Sterilization process management |
| US11126047B2 (en) * | 2018-03-22 | 2021-09-21 | Liqxtal Technology Inc. | Ocular optical system |
| CN108492352B (zh) * | 2018-03-22 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 增强现实的实现方法、装置、系统、计算机设备及存储介质 |
| EP3714367A4 (en) * | 2018-03-22 | 2021-01-20 | Snowflake Inc. | INCREMENTAL DEVELOPMENT OF FUNCTION AND CAPTURE OF WORKLOAD IN DATABASE SYSTEMS |
| WO2019183211A1 (en) * | 2018-03-23 | 2019-09-26 | Pcms Holdings, Inc. | Multifocal plane based method to produce stereoscopic viewpoints in a dibr system (mfp-dibr) |
| CN108514421A (zh) * | 2018-03-30 | 2018-09-11 | 福建幸福家园投资管理有限公司 | 提升混合现实与日常健康监测的方法 |
| JP6878346B2 (ja) * | 2018-04-02 | 2021-05-26 | 株式会社コロプラ | 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
| US11093103B2 (en) | 2018-04-09 | 2021-08-17 | Spatial Systems Inc. | Augmented reality computing environments-collaborative workspaces |
| WO2019199569A1 (en) * | 2018-04-09 | 2019-10-17 | Spatial Inc. | Augmented reality computing environments |
| CN208156846U (zh) * | 2018-04-10 | 2018-11-27 | 深圳市大疆创新科技有限公司 | 云台控制装置及云台系统 |
| US11087136B2 (en) * | 2018-04-13 | 2021-08-10 | Apple Inc. | Scene classification |
| CN109325156B (zh) * | 2018-04-25 | 2021-12-17 | 厦门大学 | 基于扩展线段的农村道路网匹配方法 |
| CN108596964B (zh) * | 2018-05-02 | 2020-07-03 | 厦门美图之家科技有限公司 | 深度数据获取方法、装置及可读存储介质 |
| EP3788464B1 (en) * | 2018-05-02 | 2023-08-16 | Apple Inc. | Moving about a computer simulated reality setting |
| US10504290B2 (en) * | 2018-05-04 | 2019-12-10 | Facebook Technologies, Llc | User interface security in a virtual reality environment |
| CN108648223A (zh) * | 2018-05-17 | 2018-10-12 | 苏州科技大学 | 基于中央眼的场景重构方法及重构系统 |
| US10721510B2 (en) | 2018-05-17 | 2020-07-21 | At&T Intellectual Property I, L.P. | Directing user focus in 360 video consumption |
| JP7123041B2 (ja) * | 2018-05-21 | 2022-08-22 | アドシル リミテッド | 現実世界環境における仮想オブジェクトの光線追跡反射の高速生成 |
| CN108931795B (zh) * | 2018-05-21 | 2022-05-13 | 千寻位置网络有限公司 | 定位设备轨迹优化和边界提取方法及装置 |
| US10482653B1 (en) | 2018-05-22 | 2019-11-19 | At&T Intellectual Property I, L.P. | System for active-focus prediction in 360 video |
| WO2019226001A1 (en) | 2018-05-23 | 2019-11-28 | Samsung Electronics Co., Ltd. | Method and apparatus for managing content in augmented reality system |
| KR102113393B1 (ko) * | 2018-05-24 | 2020-05-20 | 이기헌 | 번역용 헤드키트 |
| US11307968B2 (en) * | 2018-05-24 | 2022-04-19 | The Calany Holding S. À R.L. | System and method for developing, testing and deploying digital reality applications into the real world via a virtual world |
| TWI671711B (zh) * | 2018-05-29 | 2019-09-11 | 崑山科技大學 | 模擬畫作於環境空間中的光線分佈之裝置及方法 |
| CN108805886B (zh) * | 2018-05-30 | 2021-09-03 | 中北大学 | 一种多融合物理签名的持久性聚类分割方法 |
| CN108765270B (zh) * | 2018-05-30 | 2020-01-14 | 贝壳找房(北京)科技有限公司 | 一种虚拟三维空间标签绑定方法及装置 |
| US11494158B2 (en) | 2018-05-31 | 2022-11-08 | Shure Acquisition Holdings, Inc. | Augmented reality microphone pick-up pattern visualization |
| US10827225B2 (en) | 2018-06-01 | 2020-11-03 | AT&T Intellectual Propety I, L.P. | Navigation for 360-degree video streaming |
| JP7136931B2 (ja) * | 2018-06-05 | 2022-09-13 | マジック リープ， インコーポレイテッド | 空間３ｄ環境へのコンテンツのマッチング |
| CN110569006B (zh) * | 2018-06-05 | 2023-12-19 | 广东虚拟现实科技有限公司 | 显示方法、装置、终端设备及存储介质 |
| EP3579219B1 (en) * | 2018-06-05 | 2022-03-16 | IMEC vzw | Data distribution for holographic projection |
| JP7168969B2 (ja) * | 2018-06-06 | 2022-11-10 | 株式会社アルファコード | ヒートマップ提示装置およびヒートマップ提示用プログラム |
| CN109118594B (zh) * | 2018-06-06 | 2019-11-19 | 贝壳找房(北京)科技有限公司 | 一种删除房源虚拟三维模型中细小虚像的方法及系统 |
| CN109063538A (zh) * | 2018-06-06 | 2018-12-21 | 中国电建集团华东勘测设计研究院有限公司 | 一种基于ar与bim的工程图纸读图装置 |
| US10699468B2 (en) | 2018-06-09 | 2020-06-30 | Adshir Ltd. | Method for non-planar specular reflections in hybrid ray tracing |
| TWI691932B (zh) * | 2018-06-12 | 2020-04-21 | 大陸商光寶電子（廣州）有限公司 | 影像處理系統及影像處理方法 |
| CN110599432B (zh) | 2018-06-12 | 2023-02-24 | 光宝电子(广州)有限公司 | 影像处理系统及影像处理方法 |
| WO2019239226A1 (en) * | 2018-06-12 | 2019-12-19 | King Abdullah University Of Science And Technology | Single-camera particle tracking system and method |
| CN112292690A (zh) * | 2018-06-14 | 2021-01-29 | 奇跃公司 | 增强现实深度手势网络 |
| KR102107225B1 (ko) * | 2018-06-19 | 2020-05-06 | 이성진 | 전통 시장을 기반으로 하는 가상 현실 시스템 |
| JP6931138B1 (ja) * | 2018-06-27 | 2021-09-01 | ナイアンティック， インコーポレイテッドＮｉａｎｔｉｃ，Ｉｎｃ． | デバイスローカリゼーションのためのマルチシンクアンサンブルモデル |
| TWI663423B (zh) * | 2018-06-29 | 2019-06-21 | 揚明光學股份有限公司 | 成像位移裝置及其製造方法 |
| US11500477B2 (en) * | 2018-07-02 | 2022-11-15 | Google Llc | Systems and methods for interacting and interfacing with an artificial intelligence system |
| US10951875B2 (en) * | 2018-07-03 | 2021-03-16 | Raxium, Inc. | Display processing circuitry |
| WO2020014074A1 (en) | 2018-07-07 | 2020-01-16 | Acucela Inc. | Device to prevent retinal hypoxia |
| CN109035338B (zh) * | 2018-07-16 | 2020-11-10 | 深圳辰视智能科技有限公司 | 一种基于单尺度特征的点云与图片融合方法、装置及其设备 |
| EP3827301A4 (en) * | 2018-07-23 | 2021-08-04 | Magic Leap, Inc. | MAPPING SYSTEM AND METHOD |
| US10921596B2 (en) * | 2018-07-24 | 2021-02-16 | Disney Enterprises, Inc. | Adaptive luminance/color correction for displays |
| JP2021533403A (ja) | 2018-07-30 | 2021-12-02 | アキュセラ インコーポレイテッド | 近視の進行を減少させるための電子コンタクトレンズの光学設計 |
| CN109271853B (zh) * | 2018-08-07 | 2022-05-06 | 信利光电股份有限公司 | 一种提高支付安全的识别方法及装置 |
| US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
| CN112805750A (zh) * | 2018-08-13 | 2021-05-14 | 奇跃公司 | 跨现实系统 |
| CN109107161B (zh) * | 2018-08-17 | 2019-12-27 | 深圳市腾讯网络信息技术有限公司 | 一种游戏对象的控制方法、装置、介质以及设备 |
| AU2019330119B2 (en) * | 2018-08-26 | 2023-08-24 | Lumus Ltd. | Reflection suppression in near eye displays |
| CN110148220B (zh) * | 2018-08-30 | 2023-09-19 | 杭州维聚科技有限公司 | 室内空间大物件的三维重建方法 |
| CN109129523B (zh) * | 2018-08-30 | 2021-07-06 | 燕山大学 | 基于人机交互的移动机器人实时远程控制系统 |
| US10997760B2 (en) | 2018-08-31 | 2021-05-04 | Snap Inc. | Augmented reality anthropomorphization system |
| US11157739B1 (en) | 2018-08-31 | 2021-10-26 | Apple Inc. | Multi-user computer generated reality platform |
| GB2567553B (en) * | 2018-09-06 | 2021-04-07 | Sony Interactive Entertainment Inc | Foveated rendering system and method |
| US11155259B2 (en) * | 2018-09-13 | 2021-10-26 | Honda Motor Co., Ltd. | System and method for egocentric-vision based future vehicle localization |
| CN112639687B (zh) * | 2018-09-17 | 2024-05-24 | 元平台技术有限公司 | 使用反向偏置发光二极管器件的眼睛跟踪 |
| WO2020061451A1 (en) | 2018-09-20 | 2020-03-26 | Ctrl-Labs Corporation | Neuromuscular text entry, writing and drawing in augmented reality systems |
| CN109189228A (zh) * | 2018-09-25 | 2019-01-11 | 信阳百德实业有限公司 | 一种利用ar和图像识别技术对标牌进行图案识别方法 |
| CN109272050B (zh) * | 2018-09-30 | 2019-11-22 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
| US11934944B2 (en) | 2018-10-04 | 2024-03-19 | International Business Machines Corporation | Neural networks using intra-loop data augmentation during network training |
| WO2020072915A1 (en) * | 2018-10-05 | 2020-04-09 | Ctrl-Labs Corporation | Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment |
| EP3861387A4 (en) * | 2018-10-05 | 2022-05-25 | Magic Leap, Inc. | RENDERING LOCATION-SPECIFIC VIRTUAL CONTENT IN ANY LOCATION |
| US11803664B2 (en) | 2018-10-09 | 2023-10-31 | Ebay Inc. | Distributed application architectures using blockchain and distributed file systems |
| CN113039508A (zh) * | 2018-10-10 | 2021-06-25 | 普鲁托虚拟现实科技公司 | 评估虚拟环境的输入和输出的对准 |
| US10838488B2 (en) | 2018-10-10 | 2020-11-17 | Plutovr | Evaluating alignment of inputs and outputs for virtual environments |
| CN109492208B (zh) * | 2018-10-12 | 2023-06-23 | 天津字节跳动科技有限公司 | 文档编辑方法及其装置、设备、存储介质 |
| US20200128233A1 (en) * | 2018-10-17 | 2020-04-23 | Red Technologies, LLC | Mobile device |
| CN111079481B (zh) * | 2018-10-22 | 2023-09-26 | 西安邮电大学 | 一种基于二维骨架信息的攻击性行为识别方法 |
| CN111089579B (zh) * | 2018-10-22 | 2022-02-01 | 北京地平线机器人技术研发有限公司 | 异构双目slam方法、装置及电子设备 |
| CN112956160B (zh) * | 2018-10-29 | 2022-08-02 | 昕诺飞控股有限公司 | 用于在网络中提供节点序列的系统 |
| KR102236534B1 (ko) * | 2018-11-02 | 2021-04-06 | 주식회사 엘지화학 | 편광자의 제조 방법 |
| US10691767B2 (en) | 2018-11-07 | 2020-06-23 | Samsung Electronics Co., Ltd. | System and method for coded pattern communication |
| CN109086755B (zh) * | 2018-11-07 | 2022-07-08 | 上海电气集团股份有限公司 | 基于图像分割的康复机器人的虚拟现实显示方法及系统 |
| US10761611B2 (en) * | 2018-11-13 | 2020-09-01 | Google Llc | Radar-image shaper for radar-based applications |
| CA3119609A1 (en) * | 2018-11-15 | 2020-05-22 | Edx Technologies, Inc. | Augmented reality (ar) imprinting methods and systems |
| EP3886031A4 (en) * | 2018-11-21 | 2022-06-29 | Il Inc. | Product customizing method via terminal |
| KR20200059854A (ko) | 2018-11-22 | 2020-05-29 | 한국기술교육대학교 산학협력단 | 증강현실을 제공하는 시스템의 동작 방법 |
| TWI707249B (zh) * | 2018-11-27 | 2020-10-11 | 美律實業股份有限公司 | 產生標籤資料的系統及方法 |
| CN109270515B (zh) * | 2018-11-29 | 2020-06-16 | 北京理工大学 | 可变扫描区域同轴收发扫描激光雷达 |
| WO2020112560A1 (en) | 2018-11-30 | 2020-06-04 | Pcms Holdings, Inc. | Method and apparatus to estimate scene illuminant based on skin reflectance database |
| CN109597492B (zh) * | 2018-12-05 | 2022-03-04 | 谷东科技有限公司 | 激光虚拟键盘与ar眼镜交互系统 |
| CN113395945A (zh) * | 2018-12-11 | 2021-09-14 | 项目莫里股份有限公司 | 用于机器人导管和其他用途的用户界面和模拟系统的混合维增强现实和/或配准 |
| EP3671410B1 (en) * | 2018-12-19 | 2022-08-24 | Siemens Healthcare GmbH | Method and device to control a virtual reality display unit |
| KR20200076325A (ko) * | 2018-12-19 | 2020-06-29 | 삼성전자주식회사 | 외부 객체를 컨트롤러로 이용하기 위한 웨어러블 장치 및 방법 |
| US11321768B2 (en) * | 2018-12-21 | 2022-05-03 | Shopify Inc. | Methods and systems for an e-commerce platform with augmented reality application for display of virtual objects |
| US10991117B2 (en) | 2018-12-23 | 2021-04-27 | Samsung Electronics Co., Ltd. | Performing a loop closure detection |
| TWI683330B (zh) * | 2018-12-25 | 2020-01-21 | 世洋科技股份有限公司 | 薄膜結構製造方法 |
| US10699123B1 (en) * | 2018-12-26 | 2020-06-30 | Snap Inc. | Dynamic contextual media filter |
| CN109443350B (zh) * | 2018-12-27 | 2023-09-01 | 仝人智能科技(江苏)有限公司 | 基于神经网络的蓝牙/光电/ins组合导航装置及方法 |
| WO2020141468A1 (en) * | 2019-01-03 | 2020-07-09 | Ehe Innovations Private Limited | Method and system for detecting position of a target area in a target subject |
| CN109814112A (zh) * | 2019-01-15 | 2019-05-28 | 北京百度网讯科技有限公司 | 一种超声波雷达与激光雷达信息融合方法和系统 |
| CN110163377B (zh) * | 2019-01-21 | 2021-03-16 | 腾讯科技（深圳）有限公司 | 交互数据处理方法、装置、计算机可读存储介质和计算机设备 |
| CN109801379B (zh) * | 2019-01-21 | 2023-02-17 | 视辰信息科技(上海)有限公司 | 通用的增强现实眼镜及其标定方法 |
| US11972529B2 (en) | 2019-02-01 | 2024-04-30 | Snap Inc. | Augmented reality system |
| US10984575B2 (en) * | 2019-02-06 | 2021-04-20 | Snap Inc. | Body pose estimation |
| KR20200098034A (ko) * | 2019-02-11 | 2020-08-20 | 삼성전자주식회사 | 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
| US10852906B2 (en) | 2019-02-15 | 2020-12-01 | Microsoft Technology Licensing, Llc | System and method for identifying locations for virtual items within a physical environment |
| CN113412510A (zh) | 2019-02-15 | 2021-09-17 | Jvc建伍株式会社 | 图像调整系统、图像调整装置以及图像调整方法 |
| US11137520B2 (en) | 2019-02-22 | 2021-10-05 | Microsoft Technology Licensing, Llc | Integrated depth sensor window lens and method |
| CN109947242B (zh) * | 2019-02-26 | 2022-06-24 | 贵州翰凯斯智能技术有限公司 | 一种基于信息融合的工厂虚拟应用系统及使用方法 |
| KR20200105136A (ko) * | 2019-02-28 | 2020-09-07 | (주)유인케어 | 가상현실환경을 이용한 이야기 속 역할 수행을 통한 인지재활훈련 및 평가 방법 |
| CN109857415B (zh) * | 2019-03-01 | 2022-10-04 | 广东盈科电子有限公司 | 一种烧录装置及其参数自动选择烧录方法 |
| CN111766939A (zh) * | 2019-03-15 | 2020-10-13 | 苹果公司 | 在光学透传显示器上的注意力方向 |
| EP4235381A3 (en) * | 2019-03-18 | 2023-11-01 | Apple Inc. | Virtual paper |
| EP3712852B1 (en) * | 2019-03-19 | 2021-12-15 | Carrier Corporation | Refrigerated sales cabinet |
| US20200304933A1 (en) * | 2019-03-19 | 2020-09-24 | Htc Corporation | Sound processing system of ambisonic format and sound processing method of ambisonic format |
| CN109847350A (zh) * | 2019-03-25 | 2019-06-07 | 深圳初影科技有限公司 | 基于ar技术的游戏实现方法、游戏系统、及存储介质 |
| JP7323315B2 (ja) | 2019-03-27 | 2023-08-08 | 株式会社コーエーテクモゲームス | 情報処理装置、情報処理方法及びプログラム |
| CA3130160A1 (en) * | 2019-04-04 | 2020-10-08 | Centerline Biomedical, Inc. | Registration of spatial tracking system with augmented reality display |
| US10936057B2 (en) | 2019-04-09 | 2021-03-02 | Samsung Electronics Co., Ltd. | System and method for natural three-dimensional calibration for robust eye tracking |
| JP7196744B2 (ja) * | 2019-04-10 | 2022-12-27 | 株式会社デンソー | レーダ装置 |
| US10957108B2 (en) * | 2019-04-15 | 2021-03-23 | Shutterstock, Inc. | Augmented reality image retrieval systems and methods |
| US11460576B2 (en) * | 2019-04-18 | 2022-10-04 | Beijing Voyager Technology Co., Ltd. | Transmitter having beam shifter for light detection and ranging (LIDAR) |
| JP2022529367A (ja) | 2019-04-24 | 2022-06-21 | マジック リープ， インコーポレイテッド | 姿勢付き単眼ビデオからの周囲推定 |
| US11554322B2 (en) * | 2019-04-26 | 2023-01-17 | Sony Interactive Entertainment LLC | Game controller with touchpad input |
| CN110101455B (zh) * | 2019-04-30 | 2021-01-01 | 微创（上海）医疗机器人有限公司 | 显示装置及手术机器人 |
| CN111897411A (zh) * | 2019-05-05 | 2020-11-06 | Oppo广东移动通信有限公司 | 基于大气光通信的交互方法、装置和穿戴设备 |
| CN110095767B (zh) * | 2019-05-08 | 2022-05-20 | 哈尔滨工业大学 | 一种空间目标成像仿真面元消隐方法 |
| CN110109229B (zh) * | 2019-05-08 | 2021-07-27 | 中国科学院合肥物质科学研究院 | 一种野外自动化点光源靶标装置 |
| CA3139516A1 (en) * | 2019-05-10 | 2020-11-19 | BadVR, Inc. | Novel systems and methods for collecting, locating and visualizing sensor signals in extended reality |
| CN110189405B (zh) * | 2019-05-31 | 2023-05-23 | 重庆市勘测院 | 一种顾及建筑物密度的实景三维建模方法 |
| CN110210415B (zh) * | 2019-06-05 | 2022-09-30 | 福州大学 | 基于图结构的车载激光点云道路标线识别方法 |
| US20200387286A1 (en) * | 2019-06-07 | 2020-12-10 | Facebook Technologies, Llc | Arm gaze-driven user interface element gating for artificial reality systems |
| US10890983B2 (en) * | 2019-06-07 | 2021-01-12 | Facebook Technologies, Llc | Artificial reality system having a sliding menu |
| US11043192B2 (en) * | 2019-06-07 | 2021-06-22 | Facebook Technologies, Llc | Corner-identifiying gesture-driven user interface element gating for artificial reality systems |
| CN110232664A (zh) * | 2019-06-13 | 2019-09-13 | 大连民族大学 | 一种基于增强现实的傩面具修复方法 |
| JP7311643B2 (ja) * | 2019-06-21 | 2023-07-19 | マジック リープ， インコーポレイテッド | モード式ウィンドウを介したセキュアな認可 |
| CN112130321B (zh) * | 2019-06-24 | 2023-06-27 | 成都理想境界科技有限公司 | 一种波导模组及基于波导的近眼显示模组及设备 |
| KR102361038B1 (ko) * | 2019-06-29 | 2022-02-09 | 주식회사 큐버 | 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템 |
| KR102606964B1 (ko) * | 2019-07-03 | 2023-11-29 | 삼성에스디에스 주식회사 | 다층 구조 내 경로 라우팅을 위한 원형 프레임 생성 방법 및 컴퓨팅 장치 |
| US10901689B1 (en) | 2019-07-11 | 2021-01-26 | International Business Machines Corporation | Dynamic augmented reality interface creation |
| US11941762B2 (en) | 2019-07-15 | 2024-03-26 | Samsung Electronics Co., Ltd. | System and method for augmented reality scenes |
| CN110442817A (zh) * | 2019-07-18 | 2019-11-12 | 塔普翊海（上海）智能科技有限公司 | 一种基于网页的混合现实的开发系统及制作方法 |
| WO2021022193A1 (en) | 2019-07-31 | 2021-02-04 | Acucela Inc. | Device for projecting images on the retina |
| US11048356B2 (en) | 2019-07-31 | 2021-06-29 | Sony Interactive Entertainment LLC | Microphone on controller with touchpad to take in audio swipe feature data |
| US11645772B2 (en) | 2019-08-07 | 2023-05-09 | Size Stream Llc | Mobile 3D crowd scanning methods and apparatus |
| CN110490131B (zh) * | 2019-08-16 | 2021-08-24 | 北京达佳互联信息技术有限公司 | 一种拍摄设备的定位方法、装置、电子设备及存储介质 |
| US20210056391A1 (en) * | 2019-08-20 | 2021-02-25 | Mind Machine Learning, Inc. | Systems and Methods for Simulating Sense Data and Creating Perceptions |
| US11462000B2 (en) * | 2019-08-26 | 2022-10-04 | Apple Inc. | Image-based detection of surfaces that provide specular reflections and reflection modification |
| CN110826389B (zh) * | 2019-09-02 | 2022-05-27 | 东华大学 | 基于注意力3d频率卷积神经网络的步态识别方法 |
| KR102269207B1 (ko) * | 2019-09-10 | 2021-06-25 | 한국과학기술정보연구원 | 초고속 통신 기반의 데이터 분석 가시화 방법 및 그 장치 |
| WO2021056018A1 (en) | 2019-09-16 | 2021-03-25 | Acucela Inc. | Assembly process for an electronic soft contact lens designed to inhibit progression of myopia |
| JP7315422B2 (ja) * | 2019-09-18 | 2023-07-26 | 五洋建設株式会社 | 状況把握支援システム |
| CN110688007A (zh) * | 2019-09-24 | 2020-01-14 | 北京轻威科技有限责任公司 | 一种基于平行轨道结构的多通道大通量多人引导防护系统 |
| KR102659324B1 (ko) * | 2019-09-25 | 2024-04-22 | 누들 테크놀로지 인코포레이티드 | 무선 라디오들을 이용하여 신호들을 캡처하는 것에 의한 현실 증강 |
| TWI708102B (zh) * | 2019-09-27 | 2020-10-21 | 群光電能科技股份有限公司 | 背光模組 |
| US11934584B2 (en) * | 2019-09-27 | 2024-03-19 | Apple Inc. | Finger orientation touch detection |
| CN110702139B (zh) * | 2019-09-29 | 2021-08-27 | 百度在线网络技术（北京）有限公司 | 一种时延标定方法、装置、电子设备和介质 |
| US11275453B1 (en) | 2019-09-30 | 2022-03-15 | Snap Inc. | Smart ring for manipulating virtual objects displayed by a wearable device |
| KR102183115B1 (ko) * | 2019-10-01 | 2020-11-25 | 주식회사 코탁스 | 증강현실 기술을 활용한 클라우드 기반의, 실 공간 가상화를 통한 오브젝트 오버래핑 시스템 |
| CN110568449B (zh) * | 2019-10-14 | 2021-04-16 | 自然资源部第二海洋研究所 | 一种风生粗糙海面激光反射、透射矩阵计算方法 |
| WO2021076754A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with localization service |
| WO2021076757A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system supporting multiple device types |
| EP4046401A4 (en) | 2019-10-15 | 2023-11-01 | Magic Leap, Inc. | CROSS-REALLY SYSTEM WITH WIRELESS FINGERPRINTS |
| KR102292420B1 (ko) * | 2019-10-21 | 2021-08-23 | 이혁락 | Vr 컨텐츠 제작 장치, 시스템 및 그 방법 |
| KR102060286B1 (ko) * | 2019-10-29 | 2019-12-27 | 주식회사 코드42 | 이미지 정보를 활용한 레이더 오브젝트 검출 임계값 결정 방법 및 이를 이용한 레이더 오브젝트 정보 생성 장치 |
| CN110852332B (zh) * | 2019-10-29 | 2020-12-01 | 腾讯科技（深圳）有限公司 | 训练样本的生成方法、装置、存储介质及电子设备 |
| CN117872592A (zh) * | 2019-11-01 | 2024-04-12 | 株式会社籁天那 | 增强现实用光学装置 |
| CN110782738A (zh) * | 2019-11-06 | 2020-02-11 | 北京千种幻影科技有限公司 | 一种模拟驾驶训练装置 |
| JP2023504775A (ja) | 2019-11-12 | 2023-02-07 | マジック リープ， インコーポレイテッド | 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム |
| CN114945947A (zh) | 2019-11-18 | 2022-08-26 | 奇跃公司 | 可通行世界的映射和定位 |
| CN110866109B (zh) * | 2019-11-26 | 2022-07-12 | 上海连尚网络科技有限公司 | 一种用于收藏书籍的方法与设备 |
| KR102291740B1 (ko) * | 2019-11-26 | 2021-08-23 | 주식회사 딥파인 | 영상처리 시스템 |
| FR3103593B1 (fr) * | 2019-11-27 | 2022-09-23 | Safran | Procédé de vision virtuelle, depuis un habitacle d’un aéronef, d’un objet situé à l’extérieur de l’habitacle |
| CN111078005B (zh) * | 2019-11-29 | 2024-02-20 | 恒信东方文化股份有限公司 | 一种虚拟伙伴创建方法及虚拟伙伴系统 |
| CN110942040B (zh) * | 2019-11-29 | 2023-04-18 | 四川大学 | 一种基于环境光的手势识别系统和方法 |
| US11158108B2 (en) * | 2019-12-04 | 2021-10-26 | Microsoft Technology Licensing, Llc | Systems and methods for providing a mixed-reality pass-through experience |
| USD940189S1 (en) | 2019-12-09 | 2022-01-04 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD941307S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with graphical user interface for guiding graphics |
| USD940749S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD941353S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| WO2021118962A1 (en) | 2019-12-09 | 2021-06-17 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
| USD952673S1 (en) | 2019-12-09 | 2022-05-24 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD940748S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| US11847792B2 (en) | 2019-12-20 | 2023-12-19 | Niantic, Inc. | Location determination and mapping with 3D line junctions |
| CN115175747A (zh) * | 2019-12-20 | 2022-10-11 | 奈安蒂克公司 | 具有可预测查询响应时间的地理定位数据的分片存储 |
| CN113110731B (zh) * | 2019-12-25 | 2023-07-14 | 华为技术有限公司 | 媒体内容生成的方法和装置 |
| CN111158015B (zh) * | 2019-12-31 | 2020-11-24 | 飞燕航空遥感技术有限公司 | 机载激光雷达点云数据误分地面点的检测方法和系统 |
| SG10202000067YA (en) * | 2020-01-06 | 2021-08-30 | Dharmatilleke Medha | Pop-out & Sink-in Holographic Augmented Reality and Virtual Reality Device for use without 3D glasses for simultaneous viewing by multiple persons |
| WO2021142017A1 (en) * | 2020-01-06 | 2021-07-15 | Misapplied Sciences, Inc. | Transportation hub information system |
| KR102300873B1 (ko) * | 2020-01-15 | 2021-09-13 | 주식회사 와이닷츠 | 피지컬 실체화 가능한 사이버 로봇 |
| CN111222486B (zh) * | 2020-01-15 | 2022-11-04 | 腾讯科技（深圳）有限公司 | 手部姿态识别模型的训练方法、装置、设备及存储介质 |
| CN113160396B (zh) * | 2020-01-23 | 2024-03-29 | 宝马股份公司 | 建立地图模型的方法、生成实时地图的方法和地图系统 |
| KR102307463B1 (ko) | 2020-02-05 | 2021-09-29 | 이근호 | 사파리 투어 시스템 및 그 시스템의 구동방법 |
| CN111249573A (zh) * | 2020-02-12 | 2020-06-09 | 迈德微创(天津)医疗器械有限责任公司 | 一种智能的可远程控制的输液装置和系统 |
| US11830149B2 (en) | 2020-02-13 | 2023-11-28 | Magic Leap, Inc. | Cross reality system with prioritization of geolocation information for localization |
| JP2023514208A (ja) | 2020-02-13 | 2023-04-05 | マジック リープ， インコーポレイテッド | マルチ分解能フレーム記述子を使用したマップ処理を伴うクロスリアリティシステム |
| WO2021163306A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with accurate shared maps |
| US11777340B2 (en) | 2020-02-21 | 2023-10-03 | Acucela Inc. | Charging case for electronic contact lens |
| CN111460223B (zh) * | 2020-02-25 | 2023-04-18 | 天津大学 | 基于深度网络的多模态特征融合的短视频单标签分类方法 |
| JP2023515524A (ja) | 2020-02-26 | 2023-04-13 | マジック リープ， インコーポレイテッド | 高速位置特定を伴うクロスリアリティシステム |
| US11277358B2 (en) | 2020-02-28 | 2022-03-15 | International Business Machines Corporation | Chatbot enhanced augmented reality device guidance |
| EP3882857A1 (en) | 2020-03-19 | 2021-09-22 | Sony Group Corporation | Extrinsic calibration of multi-camera system |
| CN111311741B (zh) * | 2020-03-23 | 2023-07-07 | 重庆忽米网络科技有限公司 | 一种基于5g通信的交互式室内空间构建装置及方法 |
| EP3885818A1 (de) * | 2020-03-25 | 2021-09-29 | Siemens Aktiengesellschaft | Vorrichtung und verfahren zur spektroskopischen oberflächenanalyse |
| US11106915B1 (en) | 2020-03-26 | 2021-08-31 | International Business Machines Corporation | Generating in a gaze tracking device augmented reality representations for objects in a user line-of-sight |
| CN113440862A (zh) * | 2020-03-27 | 2021-09-28 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及计算机存储介质 |
| CN111459592B (zh) * | 2020-03-31 | 2021-10-22 | 华为技术有限公司 | 分布式处理ux元素的方法及装置 |
| US11277597B1 (en) | 2020-03-31 | 2022-03-15 | Snap Inc. | Marker-based guided AR experience |
| US11348300B2 (en) * | 2020-04-03 | 2022-05-31 | Magic Leap, Inc. | Avatar customization for optimal gaze discrimination |
| US11385464B2 (en) * | 2020-04-09 | 2022-07-12 | Nvidia Corporation | Wide angle augmented reality display |
| US11481965B2 (en) | 2020-04-10 | 2022-10-25 | Samsung Electronics Co., Ltd. | Electronic device for communicating in augmented reality and method thereof |
| US11875527B1 (en) | 2020-04-13 | 2024-01-16 | Apple Inc. | Descriptor generation and point cloud fusion |
| CN111627368A (zh) * | 2020-04-15 | 2020-09-04 | 硅谷数模(苏州)半导体有限公司 | 显示屏的控制方法、装置、存储介质、处理器和电子设备 |
| CN115803788A (zh) | 2020-04-29 | 2023-03-14 | 奇跃公司 | 用于大规模环境的交叉现实系统 |
| US11798429B1 (en) | 2020-05-04 | 2023-10-24 | Snap Inc. | Virtual tutorials for musical instruments with finger tracking in augmented reality |
| US11320674B2 (en) | 2020-05-13 | 2022-05-03 | Acucela Inc. | Electro-switchable spectacles for myopia treatment |
| US11325043B2 (en) | 2020-05-15 | 2022-05-10 | Microsoft Technology Licensing, Llc | Utilizing multiple input sources for generating gameplay locations |
| CN113066122B (zh) * | 2020-05-15 | 2022-05-13 | 支付宝(杭州)信息技术有限公司 | 图像处理方法以及装置 |
| US11651473B2 (en) * | 2020-05-22 | 2023-05-16 | Meta Platforms, Inc. | Outputting warped images from captured video data |
| US11520399B2 (en) | 2020-05-26 | 2022-12-06 | Snap Inc. | Interactive augmented reality experiences using positional tracking |
| BR112022023671A2 (pt) * | 2020-06-01 | 2022-12-20 | Qualcomm Inc | Métodos e aparelhos para técnicas de manipulação de oclusão |
| US11436828B1 (en) * | 2020-06-02 | 2022-09-06 | State Farm Mutual Automobile Insurance Company | Insurance inventory and claim generation |
| CN111752386A (zh) * | 2020-06-05 | 2020-10-09 | 深圳市欢创科技有限公司 | 一种空间定位方法、系统及头戴式设备 |
| CN111672112B (zh) * | 2020-06-05 | 2023-03-24 | 腾讯科技（深圳）有限公司 | 虚拟环境的显示方法、装置、设备及存储介质 |
| EP4161636A4 (en) | 2020-06-08 | 2024-06-26 | Acucela Inc | PROJECTION OF DEFOCUSED IMAGES ON THE PERIPHERAL RETINA TO TREAT REFRACTIVE ERRORS |
| AU2021287803A1 (en) | 2020-06-08 | 2022-10-27 | Acucela Inc. | Stick on devices using peripheral defocus to treat progressive refractive error |
| CN111667585B (zh) * | 2020-06-09 | 2023-06-20 | 福州市极化律网络科技有限公司 | 多用户的虚拟世界同步探索方法及存储介质 |
| US11281022B2 (en) | 2020-06-10 | 2022-03-22 | Acucela Inc. | Apparatus and methods for the treatment of refractive error using active stimulation |
| CN111860251B (zh) * | 2020-07-09 | 2023-09-15 | 迈克医疗电子有限公司 | 数据处理方法及装置 |
| JP7074373B2 (ja) * | 2020-07-20 | 2022-05-24 | 株式会社mediVR | リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム |
| CN114052777A (zh) * | 2020-08-03 | 2022-02-18 | 通用电气精准医疗有限责任公司 | 图像显示方法以及超声成像系统 |
| CN112035154B (zh) * | 2020-08-13 | 2023-12-01 | 上海帆一尚行科技有限公司 | 一种修复车载终端内核的方法、装置和电子设备 |
| US20220047109A1 (en) * | 2020-08-14 | 2022-02-17 | June Life, Inc. | System and method for targeted heating element control |
| JP7446943B2 (ja) | 2020-08-18 | 2024-03-11 | 株式会社日立製作所 | 情報表現作成支援装置、情報表現作成支援方法およびコンピュータプログラム |
| CN112148120A (zh) * | 2020-08-18 | 2020-12-29 | 华为技术有限公司 | 一种显示虚拟界面的方法、设备以及存储介质 |
| CN111967526B (zh) * | 2020-08-20 | 2023-09-22 | 东北大学秦皇岛分校 | 基于边缘映射和深度学习的遥感图像变化检测方法及系统 |
| CN112181135B (zh) * | 2020-08-31 | 2023-05-09 | 南京信息工程大学 | 一种基于增强现实的6-dof视触觉交互方法 |
| US11176755B1 (en) | 2020-08-31 | 2021-11-16 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
| CN112053449A (zh) | 2020-09-09 | 2020-12-08 | 脸萌有限公司 | 基于增强现实的显示方法、设备及存储介质 |
| US11861137B2 (en) | 2020-09-09 | 2024-01-02 | State Farm Mutual Automobile Insurance Company | Vehicular incident reenactment using three-dimensional (3D) representations |
| US11925863B2 (en) | 2020-09-18 | 2024-03-12 | Snap Inc. | Tracking hand gestures for interactive game control in augmented reality |
| US11836287B1 (en) | 2020-09-22 | 2023-12-05 | Apple Inc. | Light pattern-based alignment for retinal eye tracking |
| US11546505B2 (en) | 2020-09-28 | 2023-01-03 | Snap Inc. | Touchless photo capture in response to detected hand gestures |
| KR102389686B1 (ko) * | 2020-09-29 | 2022-04-25 | 주식회사 고담 | 혼합 현실(mixed reality, MR) 컨텐츠 상호 간의 전환을 위한 장치 및 방법 |
| EP4221565A1 (en) | 2020-09-30 | 2023-08-09 | Acucela Inc. | Myopia prediction, diagnosis, planning, and monitoring device |
| WO2022084736A1 (en) * | 2020-10-19 | 2022-04-28 | Anna Marie Events, Llc | System and method for virtual events platform |
| CN112621487B (zh) * | 2020-11-16 | 2022-02-18 | 中南大学 | 一种基于脑机控制的爬壁打磨装置及其控制方法 |
| CN112101327B (zh) * | 2020-11-18 | 2021-01-29 | 北京达佳互联信息技术有限公司 | 动作矫正模型的训练方法、动作矫正方法及装置 |
| WO2022107294A1 (ja) * | 2020-11-19 | 2022-05-27 | 株式会社ハシラス | Ｖｒ映像空間生成システム |
| CN112330255B (zh) * | 2020-11-20 | 2023-09-15 | 重庆电子工程职业学院 | 仓库管理系统 |
| CN112509670B (zh) * | 2020-11-27 | 2023-04-07 | 重庆电子工程职业学院 | 用于糖尿病的智能健康管理系统 |
| EP4009143A1 (en) * | 2020-12-03 | 2022-06-08 | XRSpace CO., LTD. | Operating method by gestures in extended reality and head-mounted display system |
| CN112586951B (zh) * | 2020-12-08 | 2022-06-10 | 深圳市亚讯威视数字技术有限公司 | 一种产品展览用针对计算机旋转式展示台 |
| CN112417188B (zh) * | 2020-12-10 | 2022-05-24 | 桂林电子科技大学 | 一种基于图模型的高光谱图像分类方法 |
| US20220198603A1 (en) * | 2020-12-22 | 2022-06-23 | Snap Inc. | Recentering ar/vr content on an eyewear device |
| US11782577B2 (en) | 2020-12-22 | 2023-10-10 | Snap Inc. | Media content player on an eyewear device |
| US11797162B2 (en) | 2020-12-22 | 2023-10-24 | Snap Inc. | 3D painting on an eyewear device |
| US11409405B1 (en) * | 2020-12-22 | 2022-08-09 | Facebook Technologies, Llc | Augment orchestration in an artificial reality environment |
| EP4020133A1 (en) | 2020-12-22 | 2022-06-29 | Nokia Technologies Oy | Multi-participant extended reality |
| CN112648547B (zh) * | 2020-12-26 | 2022-05-24 | 山东科技职业学院 | 一种带声源追踪头灯的控制系统 |
| KR102299943B1 (ko) * | 2020-12-29 | 2021-09-09 | 주식회사 버넥트 | 속성정보 적용 기반의 증강현실 콘텐츠 제작 방법 및 시스템 |
| WO2022146729A1 (en) * | 2020-12-29 | 2022-07-07 | Snap Inc. | Body ui for augmented reality components |
| KR20220096242A (ko) | 2020-12-30 | 2022-07-07 | (주)모아지오 | 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램 |
| US11740313B2 (en) | 2020-12-30 | 2023-08-29 | Snap Inc. | Augmented reality precision tracking and display |
| CN112732088B (zh) * | 2021-01-18 | 2023-01-20 | 海信视像科技股份有限公司 | 一种虚拟现实设备及单目截屏方法 |
| JP2022113031A (ja) * | 2021-01-22 | 2022-08-03 | ソフトバンク株式会社 | 制御装置、プログラム、システム及び制御方法 |
| CN112882569B (zh) * | 2021-01-28 | 2024-02-23 | 咪咕文化科技有限公司 | Ar交互方法、终端设备及云端地图管理系统 |
| KR102593043B1 (ko) | 2021-02-09 | 2023-10-24 | 베이징 지티아오 네트워크 테크놀로지 컴퍼니, 리미티드 | 증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품 |
| US11995230B2 (en) | 2021-02-11 | 2024-05-28 | Apple Inc. | Methods for presenting and sharing content in an environment |
| CN113012690B (zh) * | 2021-02-20 | 2023-10-10 | 苏州协同创新智能制造装备有限公司 | 一种支持领域定制语言模型的解码方法及装置 |
| US11531402B1 (en) | 2021-02-25 | 2022-12-20 | Snap Inc. | Bimanual gestures for controlling virtual and graphical elements |
| US12013985B1 (en) | 2021-02-25 | 2024-06-18 | Snap Inc. | Single-handed gestures for reviewing virtual content |
| WO2022191373A1 (en) * | 2021-03-11 | 2022-09-15 | Samsung Electronics Co., Ltd. | Electronic device and controlling method of electronic device |
| WO2022192067A1 (en) * | 2021-03-11 | 2022-09-15 | Quintar, Inc. | Augmented reality system for viewing an event with mode based on crowd sourced images |
| US11645819B2 (en) | 2021-03-11 | 2023-05-09 | Quintar, Inc. | Augmented reality system for viewing an event with mode based on crowd sourced images |
| US20220295040A1 (en) * | 2021-03-11 | 2022-09-15 | Quintar, Inc. | Augmented reality system with remote presentation including 3d graphics extending beyond frame |
| CN116964543A (zh) * | 2021-03-11 | 2023-10-27 | 瑞典爱立信有限公司 | 扩展现实中的移动媒体 |
| US11527047B2 (en) | 2021-03-11 | 2022-12-13 | Quintar, Inc. | Augmented reality system for viewing an event with distributed computing |
| US12003806B2 (en) * | 2021-03-11 | 2024-06-04 | Quintar, Inc. | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model |
| US11657578B2 (en) * | 2021-03-11 | 2023-05-23 | Quintar, Inc. | Registration for augmented reality system for viewing an event |
| US11481871B2 (en) | 2021-03-12 | 2022-10-25 | Samsung Electronics Co., Ltd. | Image-guided depth propagation for space-warping images |
| WO2022204622A1 (en) | 2021-03-24 | 2022-09-29 | Acucela Inc. | Axial length measurement monitor |
| CN113240816B (zh) * | 2021-03-29 | 2022-01-25 | 泰瑞数创科技(北京)有限公司 | 基于ar和语义模型的城市精确导航方法及其装置 |
| US11209672B1 (en) | 2021-04-06 | 2021-12-28 | Acucela Inc. | Supporting pillars for encapsulating a flexible PCB within a soft hydrogel contact lens |
| WO2022216082A1 (ko) * | 2021-04-07 | 2022-10-13 | 한국과학기술원 | 가상 공간 내 메모 객체를 제어하는 전자 시스템 및 그 동작 방법 |
| US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
| CN117120962A (zh) * | 2021-04-08 | 2023-11-24 | 斯纳普公司 | 用于控制虚拟和图形元素的映射手部区域之间的双手交互 |
| EP4320594A1 (en) * | 2021-04-09 | 2024-02-14 | The Trustees of Indiana University | Avatar-based behavior changing system and method |
| CN112990105B (zh) * | 2021-04-19 | 2021-09-21 | 北京优幕科技有限责任公司 | 对用户评价的方法、装置、电子设备和存储介质 |
| CN117178247A (zh) | 2021-04-19 | 2023-12-05 | 斯纳普公司 | 用于动画化及控制虚拟和图形元素的手势 |
| CN115248655A (zh) * | 2021-04-28 | 2022-10-28 | 闪耀现实(无锡)科技有限公司 | 用于显示信息的方法和装置 |
| GB2606173A (en) * | 2021-04-28 | 2022-11-02 | Sony Interactive Entertainment Europe Ltd | Computer-implemented method for controlling a virtual avatar |
| US11366341B1 (en) | 2021-05-04 | 2022-06-21 | Acucela Inc. | Electronic case for electronic spectacles |
| CN117677918A (zh) * | 2021-05-07 | 2024-03-08 | 斯纳普公司 | 增强现实体验的虚拟品尝和导览 |
| SE544895C2 (en) * | 2021-05-10 | 2022-12-20 | Gazelock AB | Data and command transmission system, computer-implemented method of transmitting data and commands, computer program and non-volatile data carrier |
| US11587208B2 (en) * | 2021-05-26 | 2023-02-21 | Qualcomm Incorporated | High quality UI elements with frame extrapolation |
| KR102463638B1 (ko) * | 2021-05-27 | 2022-11-09 | 주식회사 엔씨소프트 | 페인팅 스타일에 기초하여 컨텐츠를 추천하는 서버 및 이의 동작 방법 |
| TWI768932B (zh) * | 2021-05-27 | 2022-06-21 | 倍利科技股份有限公司 | 影像色彩調整方法 |
| KR102493258B1 (ko) * | 2021-06-14 | 2023-02-01 | (주)이머시브캐스트 | 어지럼증이 개선된 pc 게임 확장 vr 시스템 |
| KR102567805B1 (ko) * | 2021-06-14 | 2023-08-21 | (주)이머시브캐스트 | 컨트롤 입력 기반의 pc 게임 확장 vr 시스템 |
| KR102565107B1 (ko) * | 2021-07-01 | 2023-08-09 | 계명대학교 산학협력단 | 가상현실을 이용한 자기수용 감각의 측정 및 훈련 시스템 및 방법 |
| CN113345022B (zh) * | 2021-07-05 | 2023-02-17 | 湖南快乐阳光互动娱乐传媒有限公司 | 动态三维广告植入方法、装置、电子设备及存储介质 |
| CN113506005B (zh) * | 2021-07-16 | 2022-09-23 | 牡丹江医学院 | 一种ct教学模拟方法、系统、存储介质及电子设备 |
| CN113268558B (zh) * | 2021-07-19 | 2021-09-24 | 智广海联(天津)大数据技术有限公司 | 基于二维码与地理空间坐标的公共设施治理系统及方法 |
| WO2023009113A1 (en) * | 2021-07-28 | 2023-02-02 | Innopeak Technology, Inc. | Interactive guidance for mapping and relocalization |
| KR102539045B1 (ko) * | 2021-08-06 | 2023-06-02 | 주식회사 피앤씨솔루션 | 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법 |
| CN113781657A (zh) * | 2021-08-06 | 2021-12-10 | 北京视据科技有限公司 | 一种实现基于方位的虚拟模型与实景叠加方法及装置 |
| EP4137869A1 (en) * | 2021-08-16 | 2023-02-22 | BAE SYSTEMS plc | Waveguide |
| WO2023021272A1 (en) * | 2021-08-16 | 2023-02-23 | Bae Systems Plc | Waveguide |
| US12008806B2 (en) | 2021-08-19 | 2024-06-11 | Meta Platforms Technologies, Llc | Methods and systems to allow three-dimensional map sharing between heterogeneous computing systems, cross-localization, and sharing content in three-dimensional space |
| CN113706690B (zh) * | 2021-08-23 | 2024-06-11 | 贵州省玄星科技有限公司 | 一种基于三维模型顶点分区的多载体信息隐藏方法和系统 |
| US11585917B1 (en) * | 2021-08-24 | 2023-02-21 | Google Llc | Systems and methods for generating three-dimensional maps of an indoor space |
| US11670059B2 (en) | 2021-09-01 | 2023-06-06 | Snap Inc. | Controlling interactive fashion based on body gestures |
| US11673054B2 (en) | 2021-09-07 | 2023-06-13 | Snap Inc. | Controlling AR games on fashion items |
| US11900506B2 (en) | 2021-09-09 | 2024-02-13 | Snap Inc. | Controlling interactive fashion based on facial expressions |
| US11734866B2 (en) | 2021-09-13 | 2023-08-22 | Snap Inc. | Controlling interactive fashion based on voice |
| WO2023041150A1 (en) * | 2021-09-15 | 2023-03-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and device for facilitating a privacy-aware representation in a system |
| CN113535064B (zh) * | 2021-09-16 | 2022-02-01 | 北京亮亮视野科技有限公司 | 虚拟标签标记方法、装置、电子设备及存储介质 |
| KR102586144B1 (ko) * | 2021-09-23 | 2023-10-10 | 주식회사 딥비전 | 딥러닝을 이용한 손 움직임 추적방법 및 장치 |
| KR20240065152A (ko) * | 2021-09-23 | 2024-05-14 | 애플 인크. | 콘텐츠 애플리케이션들을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 |
| US11636662B2 (en) | 2021-09-30 | 2023-04-25 | Snap Inc. | Body normal network light and rendering control |
| US11983826B2 (en) | 2021-09-30 | 2024-05-14 | Snap Inc. | 3D upper garment tracking |
| CN113920281A (zh) * | 2021-10-11 | 2022-01-11 | 郭小川 | 一种虚拟现实环境中空间规划方法、系统及应用方法 |
| US11651572B2 (en) | 2021-10-11 | 2023-05-16 | Snap Inc. | Light and rendering of garments |
| US11792499B2 (en) | 2021-10-21 | 2023-10-17 | Raytheon Company | Time-delay to enforce data capture and transmission compliance in real and near real time video |
| US11696011B2 (en) | 2021-10-21 | 2023-07-04 | Raytheon Company | Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video |
| US11798247B2 (en) | 2021-10-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
| KR102657537B1 (ko) * | 2021-11-23 | 2024-04-17 | 주식회사 바이오브레인 | 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템 |
| TWI804077B (zh) | 2021-11-30 | 2023-06-01 | 財團法人工業技術研究院 | 製程診斷系統及其操作方法 |
| CN114119835B (zh) * | 2021-12-03 | 2022-11-08 | 北京冰封互娱科技有限公司 | 硬表面模型的处理方法、装置及电子设备 |
| US11960784B2 (en) | 2021-12-07 | 2024-04-16 | Snap Inc. | Shared augmented reality unboxing experience |
| US11748958B2 (en) * | 2021-12-07 | 2023-09-05 | Snap Inc. | Augmented reality unboxing experience |
| CN114327705B (zh) * | 2021-12-10 | 2023-07-14 | 重庆长安汽车股份有限公司 | 车载助手虚拟形象自定义方法 |
| US20230186570A1 (en) * | 2021-12-10 | 2023-06-15 | Meta Platforms Technologies, Llc | Methods and systems to allow three-dimensional maps sharing and updating |
| CN114185437A (zh) * | 2021-12-16 | 2022-03-15 | 浙江小族智能科技有限公司 | 游乐车与现实场景交互方法及装置、存储介质、终端 |
| US11928783B2 (en) | 2021-12-30 | 2024-03-12 | Snap Inc. | AR position and orientation along a plane |
| US11887260B2 (en) | 2021-12-30 | 2024-01-30 | Snap Inc. | AR position indicator |
| US12014465B2 (en) | 2022-01-06 | 2024-06-18 | Htc Corporation | Tracking system and method |
| US11954762B2 (en) | 2022-01-19 | 2024-04-09 | Snap Inc. | Object replacement system |
| KR102659094B1 (ko) * | 2022-02-10 | 2024-04-19 | 주식회사 이매지니어스 | 대체 불가능 토큰 콘텐츠를 이용한 증강 현실 서비스를 제공하기 위한 방법 |
| EP4227749A1 (en) * | 2022-02-14 | 2023-08-16 | Basf Se | An augmented reality-based automation system |
| CN114547781B (zh) * | 2022-03-04 | 2023-08-25 | 无锡豪丽坤自控设备有限公司 | 一种基于虚拟现实的船用桅杆性能评价方法及系统 |
| EP4246184A1 (en) * | 2022-03-16 | 2023-09-20 | Faro Technologies, Inc. | Software camera view lock allowing editing of drawing without any shift in the view |
| US20230293008A1 (en) * | 2022-03-21 | 2023-09-21 | Headvantage Corporation | Body worn camera, sensor and content delivery system |
| JP2023142255A (ja) * | 2022-03-24 | 2023-10-05 | 株式会社ポケモン | プログラム、方法、情報処理装置、システム |
| CN114971764A (zh) * | 2022-04-08 | 2022-08-30 | 浙江赟燊商业信息系统科技有限公司 | 一种基于HoloLens的存储和匹配系统及方法 |
| US11700448B1 (en) | 2022-04-29 | 2023-07-11 | Raytheon Company | Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene |
| CN114578313B (zh) * | 2022-05-09 | 2022-07-22 | 中国电子科技集团公司信息科学研究院 | 基于质心查找的栅格检测镜像消除方法及装置 |
| KR102424123B1 (ko) * | 2022-05-12 | 2022-07-21 | 오성훈 | 사용자의 모션 제스처 및 3d ui 기반의 메타버스 제어 서버, 방법 및 프로그램 |
| CN114758042B (zh) * | 2022-06-14 | 2022-09-02 | 深圳智华科技发展有限公司 | 新的虚拟仿真引擎、虚拟仿真方法以及装置 |
| WO2023244247A1 (en) * | 2022-06-17 | 2023-12-21 | Hewlett-Packard Development Company, L.P. | Image portion combination signals |
| EP4296834A1 (en) | 2022-06-23 | 2023-12-27 | Koninklijke Philips N.V. | Rendering a virtual model |
| CN114818093B (zh) * | 2022-06-27 | 2022-09-30 | 深圳小库科技有限公司 | 装配式钢结构模块建筑的柱梁生成方法、装置及设备 |
| CN114817077B (zh) * | 2022-06-27 | 2022-09-06 | 云账户技术(天津)有限公司 | 测试质量及规范的判断方法、系统和网络设备 |
| US20240054696A1 (en) * | 2022-08-15 | 2024-02-15 | Disney Enterprises, Inc. | Dynamic Scale Augmented Reality Enhancement of Images |
| US20240054689A1 (en) * | 2022-08-15 | 2024-02-15 | Disney Enterprises, Inc. | Augmented Reality Enhancement of Moving Images |
| WO2024040430A1 (en) * | 2022-08-23 | 2024-02-29 | Qualcomm Incorporated | Method and apparatus to extend field of view of an augmented reality device |
| US20240070300A1 (en) * | 2022-08-31 | 2024-02-29 | Youjean Cho | Selective collaborative object access based on timestamp |
| US20240070243A1 (en) * | 2022-08-31 | 2024-02-29 | Youjean Cho | Authenticating a selective collaborative object |
| TWI799345B (zh) * | 2022-09-01 | 2023-04-11 | 國立清華大學 | 反射掃描式同調光繞射顯影方法及系統 |
| US11995780B2 (en) * | 2022-09-09 | 2024-05-28 | Snap Inc. | Shooting interaction using augmented reality content in a messaging system |
| CN115375930B (zh) * | 2022-10-26 | 2023-05-05 | 中国航发四川燃气涡轮研究院 | 基于多尺度信息的立体匹配网络及立体匹配方法 |
| US11847259B1 (en) | 2022-11-23 | 2023-12-19 | Google Llc | Map-aided inertial odometry with neural network for augmented reality devices |
| TWI824859B (zh) * | 2022-11-30 | 2023-12-01 | 國立勤益科技大學 | 虛擬購物手勢操控系統 |
| KR102603972B1 (ko) * | 2023-04-13 | 2023-11-21 | 주식회사 크레아코퍼레이션 | Web ar 기반 비즈니스 정보를 제공하는 방법 및 장치 |
| US11991222B1 (en) | 2023-05-02 | 2024-05-21 | Meta Platforms Technologies, Llc | Persistent call control user interface element in an artificial reality environment |
| CN116481460B (zh) * | 2023-05-26 | 2024-05-07 | 中国矿业大学 | 一种基于三维重构模型的表观坑洞缺陷尺寸检测方法 |
| KR102635477B1 (ko) * | 2023-08-01 | 2024-02-08 | 김재하 | 증강현실 기반의 공연 콘텐츠 제공장치 및 방법 |
| CN116755587B (zh) * | 2023-08-11 | 2023-12-19 | 之江实验室 | 一种增强现实的方法、装置、存储介质及电子设备 |
| CN116824705B (zh) * | 2023-08-24 | 2023-11-10 | 南京亿猫信息技术有限公司 | 智能购物车购物行为判别方法 |
| CN117282093B (zh) * | 2023-10-10 | 2024-06-11 | 东莞市三奕电子科技股份有限公司 | 游戏手柄及其控制方法、主控终端和ar游戏组件 |
| CN117632330A (zh) * | 2023-10-12 | 2024-03-01 | 浙江大学 | 一种虚拟环境下眼控界面的交互目标布局方法和系统 |
| CN117421089B (zh) * | 2023-12-19 | 2024-03-22 | 北京山维科技股份有限公司 | 一种台阶类地理信息要素处理方法和装置 |
| US12008451B1 (en) * | 2023-12-21 | 2024-06-11 | Ishita Agrawal | AI-assisted remote guidance using augmented reality |
| CN117591385B (zh) * | 2024-01-19 | 2024-04-16 | 深圳清华大学研究院 | 一种用于vr投影的控制系统 |
| CN117891352B (zh) * | 2024-03-14 | 2024-05-31 | 南京市文化投资控股集团有限责任公司 | 一种基于元宇宙的文旅内容推荐系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007116662A1 (ja) * | 2006-03-27 | 2007-10-18 | Pioneer Corporation | 電子装置及びその操作方法 |
| JP2010015553A (ja) * | 2008-06-03 | 2010-01-21 | Shimane Pref Gov | 画像認識装置および操作判定方法並びにプログラム |
| JP2011159273A (ja) * | 2010-01-29 | 2011-08-18 | Pantech Co Ltd | ホログラムを利用したユーザインターフェース装置 |
| US20130141421A1 (en) * | 2011-12-06 | 2013-06-06 | Brian Mount | Augmented reality virtual monitor |
| JP2013521576A (ja) * | 2010-02-28 | 2013-06-10 | オスターハウト グループ インコーポレイテッド | 対話式ヘッド取付け型アイピース上での地域広告コンテンツ |
| JP2013161267A (ja) * | 2012-02-06 | 2013-08-19 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6020892A (en) * | 1995-04-17 | 2000-02-01 | Dillon; Kelly | Process for producing and controlling animated facial representations |
| US6028664A (en) * | 1997-01-29 | 2000-02-22 | Inspex, Inc. | Method and system for establishing a common reference point on a semiconductor wafer inspected by two or more scanning mechanisms |
| US7630752B2 (en) * | 2002-08-06 | 2009-12-08 | Stereotaxis, Inc. | Remote control of medical devices using a virtual device interface |
| US7203669B2 (en) * | 2003-03-17 | 2007-04-10 | Intel Corporation | Detector tree of boosted classifiers for real-time object detection and tracking |
| JP4630647B2 (ja) * | 2004-11-19 | 2011-02-09 | キヤノン株式会社 | 画像提示方法及び情報処理装置 |
| US20060285330A1 (en) * | 2005-06-20 | 2006-12-21 | Ingvar Sundell | Automatic darkening filter with automatic power management |
| US7606392B2 (en) * | 2005-08-26 | 2009-10-20 | Sony Corporation | Capturing and processing facial motion data |
| US20070080967A1 (en) * | 2005-10-11 | 2007-04-12 | Animetrics Inc. | Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects |
| US7856125B2 (en) * | 2006-01-31 | 2010-12-21 | University Of Southern California | 3D face reconstruction from 2D images |
| EP2157545A1 (en) * | 2008-08-19 | 2010-02-24 | Sony Computer Entertainment Europe Limited | Entertainment device, system and method |
| JP4679661B1 (ja) | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
| US8913056B2 (en) * | 2010-08-04 | 2014-12-16 | Apple Inc. | Three dimensional user interface effects on a display by using properties of motion |
| WO2012031038A2 (en) * | 2010-09-01 | 2012-03-08 | Google Inc. | Methods and apparatus for transforming user data and generating user lists |
| US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| US8718380B2 (en) * | 2011-02-14 | 2014-05-06 | Mitsubishi Electric Research Laboratories, Inc. | Representing object shapes using radial basis function support vector machine classification |
| JP5799521B2 (ja) * | 2011-02-15 | 2015-10-28 | ソニー株式会社 | 情報処理装置、オーサリング方法及びプログラム |
| US9329469B2 (en) * | 2011-02-17 | 2016-05-03 | Microsoft Technology Licensing, Llc | Providing an interactive experience using a 3D depth camera and a 3D projector |
| EP2689396A4 (en) * | 2011-03-21 | 2015-06-03 | Intel Corp | PROCESS FOR ADVANCED CHANGES WITH 3D FACE MODELING AND MARKING ALIGNMENT |
| US8767305B2 (en) * | 2011-08-02 | 2014-07-01 | Google Inc. | Method and apparatus for a near-to-eye display |
| US20130063560A1 (en) * | 2011-09-12 | 2013-03-14 | Palo Alto Research Center Incorporated | Combined stereo camera and stereo display interaction |
| US8805116B2 (en) * | 2011-09-17 | 2014-08-12 | Adobe Systems Incorporated | Methods and apparatus for visual search |
| US8941560B2 (en) | 2011-09-21 | 2015-01-27 | Google Inc. | Wearable computer with superimposed controls and instructions for external device |
| KR20140066258A (ko) * | 2011-09-26 | 2014-05-30 | 마이크로소프트 코포레이션 | 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정 |
| EP3258671B1 (en) * | 2011-10-28 | 2018-09-05 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| JP2013172432A (ja) | 2012-02-23 | 2013-09-02 | Panasonic Corp | 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路 |
| KR101978957B1 (ko) * | 2012-05-09 | 2019-05-16 | 엘지전자 주식회사 | 디스플레이 장치 및 애플리케이션 실행 및 설치 방법 |
| US9111135B2 (en) * | 2012-06-25 | 2015-08-18 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera |
| US9292085B2 (en) | 2012-06-29 | 2016-03-22 | Microsoft Technology Licensing, Llc | Configuring an interaction zone within an augmented reality environment |
| KR20140017735A (ko) * | 2012-07-31 | 2014-02-12 | 인텔렉추얼디스커버리 주식회사 | 착용형 전자 장치 및 그의 제어 방법 |
| US9030446B2 (en) * | 2012-11-20 | 2015-05-12 | Samsung Electronics Co., Ltd. | Placement of optical sensor on wearable electronic device |
| CN103581443A (zh) * | 2013-11-14 | 2014-02-12 | 惠州Tcl移动通信有限公司 | 一种基于传感器的智能终端自动唤醒方法及系统 |
| CN103810353A (zh) * | 2014-03-09 | 2014-05-21 | 杨智 | 一种虚拟现实中的现实场景映射系统和方法 |
| CN114356098A (zh) * | 2016-09-28 | 2022-04-15 | 奇跃公司 | 由可穿戴设备进行面部模型捕获 |
-
2015
- 2015-06-13 WO PCT/US2015/035718 patent/WO2015192117A1/en active Application Filing
- 2015-06-13 CA CA2953335A patent/CA2953335C/en active Active
- 2015-06-13 CN CN201580043458.8A patent/CN106937531B/zh active Active
- 2015-06-13 CN CN202011106449.8A patent/CN112651288B/zh active Active
- 2015-06-13 KR KR1020177001117A patent/KR102204919B1/ko active IP Right Grant
- 2015-06-13 EP EP20168878.5A patent/EP3699736B1/en active Active
- 2015-06-13 AU AU2015274283A patent/AU2015274283B2/en active Active
- 2015-06-13 EP EP15807476.5A patent/EP3155560B1/en active Active
- 2015-06-13 JP JP2017518040A patent/JP6646659B2/ja active Active
- 2015-06-13 CN CN202211020246.6A patent/CN115359567A/zh active Pending
- 2015-06-13 EP EP23156726.4A patent/EP4206870A1/en active Pending
-
2016
- 2016-12-04 IL IL249371A patent/IL249371B/en unknown
-
2020
- 2020-01-10 JP JP2020002609A patent/JP7110252B2/ja active Active
- 2020-03-18 IL IL273415A patent/IL273415B/en active IP Right Grant
-
2022
- 2022-05-23 JP JP2022083729A patent/JP2022113713A/ja not_active Withdrawn
-
2023
- 2023-10-03 JP JP2023171946A patent/JP2023181188A/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007116662A1 (ja) * | 2006-03-27 | 2007-10-18 | Pioneer Corporation | 電子装置及びその操作方法 |
| JP2010015553A (ja) * | 2008-06-03 | 2010-01-21 | Shimane Pref Gov | 画像認識装置および操作判定方法並びにプログラム |
| JP2011159273A (ja) * | 2010-01-29 | 2011-08-18 | Pantech Co Ltd | ホログラムを利用したユーザインターフェース装置 |
| JP2013521576A (ja) * | 2010-02-28 | 2013-06-10 | オスターハウト グループ インコーポレイテッド | 対話式ヘッド取付け型アイピース上での地域広告コンテンツ |
| US20130141421A1 (en) * | 2011-12-06 | 2013-06-06 | Brian Mount | Augmented reality virtual monitor |
| JP2013161267A (ja) * | 2012-02-06 | 2013-08-19 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11688073B2 (en) | 2020-04-14 | 2023-06-27 | Samsung Electronics Co., Ltd. | Method and system for depth map reconstruction |
| WO2022158890A1 (en) * | 2021-01-21 | 2022-07-28 | Samsung Electronics Co., Ltd. | Systems and methods for reconstruction of dense depth maps |
| US11615594B2 (en) | 2021-01-21 | 2023-03-28 | Samsung Electronics Co., Ltd. | Systems and methods for reconstruction of dense depth maps |
| WO2023095833A1 (ja) * | 2021-11-25 | 2023-06-01 | 株式会社Ｎｔｔドコモ | 情報処理装置 |
| US11893699B2 (en) | 2022-03-15 | 2024-02-06 | Zeality Inc | Method and processing unit for providing content in a bandwidth constrained environment |
Also Published As
| Publication number | Publication date |
|---|---|
| NZ727637A (en) | 2020-10-30 |
| KR20170018930A (ko) | 2017-02-20 |
| IL249371A0 (en) | 2017-02-28 |
| IL273415B (en) | 2020-11-30 |
| EP3155560A1 (en) | 2017-04-19 |
| JP2022113713A (ja) | 2022-08-04 |
| JP7110252B2 (ja) | 2022-08-01 |
| CN106937531A (zh) | 2017-07-07 |
| CA2953335A1 (en) | 2015-12-17 |
| CN112651288B (zh) | 2022-09-20 |
| CN106937531B (zh) | 2020-11-06 |
| JP2017529635A (ja) | 2017-10-05 |
| AU2015274283B2 (en) | 2020-09-10 |
| IL273415A (en) | 2020-05-31 |
| CN112651288A (zh) | 2021-04-13 |
| EP4206870A1 (en) | 2023-07-05 |
| KR102204919B1 (ko) | 2021-01-18 |
| EP3155560B1 (en) | 2020-05-20 |
| JP2023181188A (ja) | 2023-12-21 |
| WO2015192117A1 (en) | 2015-12-17 |
| EP3155560A4 (en) | 2018-01-10 |
| AU2015274283A1 (en) | 2017-01-12 |
| CN115359567A (zh) | 2022-11-18 |
| CA2953335C (en) | 2021-01-05 |
| JP6646659B2 (ja) | 2020-02-14 |
| IL249371B (en) | 2021-07-29 |
| EP3699736B1 (en) | 2023-03-29 |
| EP3699736A1 (en) | 2020-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7110252B2 (ja) | 仮想および拡張現実を作成する方法およびシステム | |
| US11507193B2 (en) | Methods and systems for creating virtual and augmented reality | |
| US11656677B2 (en) | Planar waveguide apparatus with diffraction element(s) and system employing same | |
| US10203762B2 (en) | Methods and systems for creating virtual and augmented reality | |
| US9612403B2 (en) | Planar waveguide apparatus with diffraction element(s) and system employing same | |
| NZ727637B2 (en) | Methods and systems for creating virtual and augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210304 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210409 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210728 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210728 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210810 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210811 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20210910 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20210914 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20211125 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220201 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20220224 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220412 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220523 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220526 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220621 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220720 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7110252 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |