JP2023181188A - 仮想および拡張現実を作成する方法およびシステム - Google Patents
仮想および拡張現実を作成する方法およびシステム Download PDFInfo
- Publication number
- JP2023181188A JP2023181188A JP2023171946A JP2023171946A JP2023181188A JP 2023181188 A JP2023181188 A JP 2023181188A JP 2023171946 A JP2023171946 A JP 2023171946A JP 2023171946 A JP2023171946 A JP 2023171946A JP 2023181188 A JP2023181188 A JP 2023181188A
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual
- item
- user interface
- illustrate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 707
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 144
- 230000033001 locomotion Effects 0.000 claims description 291
- 230000015654 memory Effects 0.000 claims description 43
- 238000010606 normalization Methods 0.000 abstract description 35
- 210000001508 eye Anatomy 0.000 description 468
- 230000003993 interaction Effects 0.000 description 263
- 210000003811 finger Anatomy 0.000 description 254
- 230000003287 optical effect Effects 0.000 description 230
- 210000000695 crystalline len Anatomy 0.000 description 223
- 239000000835 fiber Substances 0.000 description 169
- 210000001747 pupil Anatomy 0.000 description 143
- 230000004044 response Effects 0.000 description 143
- 230000000007 visual effect Effects 0.000 description 127
- 238000009877 rendering Methods 0.000 description 126
- 230000000875 corresponding effect Effects 0.000 description 123
- 230000008569 process Effects 0.000 description 118
- 238000012545 processing Methods 0.000 description 115
- 210000003128 head Anatomy 0.000 description 104
- 238000013459 approach Methods 0.000 description 92
- 230000000694 effects Effects 0.000 description 91
- 230000006870 function Effects 0.000 description 82
- 238000004458 analytical method Methods 0.000 description 65
- 230000008859 change Effects 0.000 description 60
- 239000000758 substrate Substances 0.000 description 59
- 238000013507 mapping Methods 0.000 description 58
- 238000004891 communication Methods 0.000 description 56
- 230000006854 communication Effects 0.000 description 56
- 230000007246 mechanism Effects 0.000 description 55
- 210000001525 retina Anatomy 0.000 description 55
- 230000009471 action Effects 0.000 description 54
- 230000008447 perception Effects 0.000 description 43
- 238000010586 diagram Methods 0.000 description 41
- 238000007667 floating Methods 0.000 description 41
- 239000013598 vector Substances 0.000 description 41
- 210000004087 cornea Anatomy 0.000 description 39
- 241000282414 Homo sapiens Species 0.000 description 36
- 230000008878 coupling Effects 0.000 description 36
- 238000010168 coupling process Methods 0.000 description 36
- 238000005859 coupling reaction Methods 0.000 description 36
- 238000005259 measurement Methods 0.000 description 36
- 210000003813 thumb Anatomy 0.000 description 36
- RVCKCEDKBVEEHL-UHFFFAOYSA-N 2,3,4,5,6-pentachlorobenzyl alcohol Chemical compound OCC1=C(Cl)C(Cl)=C(Cl)C(Cl)=C1Cl RVCKCEDKBVEEHL-UHFFFAOYSA-N 0.000 description 35
- 239000013307 optical fiber Substances 0.000 description 35
- 230000003068 static effect Effects 0.000 description 34
- 230000006399 behavior Effects 0.000 description 33
- 239000004973 liquid crystal related substance Substances 0.000 description 33
- 230000004308 accommodation Effects 0.000 description 32
- 238000005286 illumination Methods 0.000 description 29
- 230000005540 biological transmission Effects 0.000 description 27
- 238000001514 detection method Methods 0.000 description 27
- 210000004247 hand Anatomy 0.000 description 27
- 239000000463 material Substances 0.000 description 26
- 210000004556 brain Anatomy 0.000 description 24
- 230000004424 eye movement Effects 0.000 description 24
- 241000196324 Embryophyta Species 0.000 description 23
- 239000000872 buffer Substances 0.000 description 23
- 239000003826 tablet Substances 0.000 description 23
- 230000001133 acceleration Effects 0.000 description 22
- 238000003491 array Methods 0.000 description 22
- 239000000047 product Substances 0.000 description 22
- 230000035807 sensation Effects 0.000 description 22
- 230000008901 benefit Effects 0.000 description 21
- 239000011295 pitch Substances 0.000 description 20
- 238000013519 translation Methods 0.000 description 20
- 230000014616 translation Effects 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 19
- 239000003086 colorant Substances 0.000 description 19
- 230000001965 increasing effect Effects 0.000 description 19
- 230000001953 sensory effect Effects 0.000 description 19
- 238000013461 design Methods 0.000 description 18
- 239000011521 glass Substances 0.000 description 18
- 238000000576 coating method Methods 0.000 description 17
- 230000009466 transformation Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 239000000243 solution Substances 0.000 description 16
- 238000001125 extrusion Methods 0.000 description 15
- 235000013305 food Nutrition 0.000 description 15
- 230000012010 growth Effects 0.000 description 15
- 230000036541 health Effects 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 15
- 230000006855 networking Effects 0.000 description 15
- 210000000707 wrist Anatomy 0.000 description 15
- 239000004567 concrete Substances 0.000 description 14
- 230000001934 delay Effects 0.000 description 14
- 230000004438 eyesight Effects 0.000 description 14
- 230000004807 localization Effects 0.000 description 14
- 230000036544 posture Effects 0.000 description 14
- 238000000513 principal component analysis Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 13
- 230000000903 blocking effect Effects 0.000 description 13
- 230000007613 environmental effect Effects 0.000 description 13
- GQYHUHYESMUTHG-UHFFFAOYSA-N lithium niobate Chemical compound [Li+].[O-][Nb](=O)=O GQYHUHYESMUTHG-UHFFFAOYSA-N 0.000 description 13
- 230000010287 polarization Effects 0.000 description 13
- 230000002829 reductive effect Effects 0.000 description 13
- 239000002131 composite material Substances 0.000 description 12
- 230000008451 emotion Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 238000012546 transfer Methods 0.000 description 12
- 230000007704 transition Effects 0.000 description 12
- 230000001960 triggered effect Effects 0.000 description 12
- 235000014101 wine Nutrition 0.000 description 12
- 241000239290 Araneae Species 0.000 description 11
- 206010010904 Convulsion Diseases 0.000 description 11
- 239000003795 chemical substances by application Substances 0.000 description 11
- 125000001475 halogen functional group Chemical group 0.000 description 11
- 238000005457 optimization Methods 0.000 description 11
- 238000012552 review Methods 0.000 description 11
- 239000000523 sample Substances 0.000 description 11
- 230000007480 spreading Effects 0.000 description 11
- 238000003892 spreading Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 11
- 241001422033 Thestylus Species 0.000 description 10
- 230000002996 emotional effect Effects 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 10
- 230000005057 finger movement Effects 0.000 description 10
- 238000000638 solvent extraction Methods 0.000 description 10
- 241000282412 Homo Species 0.000 description 9
- 230000001427 coherent effect Effects 0.000 description 9
- 238000009826 distribution Methods 0.000 description 9
- 239000012634 fragment Substances 0.000 description 9
- 230000004886 head movement Effects 0.000 description 9
- 239000003550 marker Substances 0.000 description 9
- 239000003973 paint Substances 0.000 description 9
- 239000000123 paper Substances 0.000 description 9
- 230000002207 retinal effect Effects 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 9
- 239000011248 coating agent Substances 0.000 description 8
- 210000003414 extremity Anatomy 0.000 description 8
- 210000000887 face Anatomy 0.000 description 8
- 230000008921 facial expression Effects 0.000 description 8
- 239000010408 film Substances 0.000 description 8
- 230000000670 limiting effect Effects 0.000 description 8
- 230000000873 masking effect Effects 0.000 description 8
- 238000005192 partition Methods 0.000 description 8
- 230000037081 physical activity Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- VPNMENGBDCZKOE-LNYNQXPHSA-N [(1R,5S)-8-methyl-8-azabicyclo[3.2.1]octan-3-yl] 3-hydroxy-2-phenylpropanoate [(1S,2S,4R,5R)-9-methyl-3-oxa-9-azatricyclo[3.3.1.02,4]nonan-7-yl] (2S)-3-hydroxy-2-phenylpropanoate (1R,3S)-1,2,2-trimethylcyclopentane-1,3-dicarboxylic acid Chemical compound CC1(C)[C@H](CC[C@@]1(C)C(O)=O)C(O)=O.CC1(C)[C@H](CC[C@@]1(C)C(O)=O)C(O)=O.CN1[C@H]2CC[C@@H]1CC(C2)OC(=O)C(CO)c1ccccc1.CN1[C@H]2CC(C[C@@H]1[C@H]1O[C@@H]21)OC(=O)[C@H](CO)c1ccccc1 VPNMENGBDCZKOE-LNYNQXPHSA-N 0.000 description 7
- 230000002350 accommodative effect Effects 0.000 description 7
- 210000003484 anatomy Anatomy 0.000 description 7
- 239000011263 electroactive material Substances 0.000 description 7
- 230000001976 improved effect Effects 0.000 description 7
- 229910052751 metal Inorganic materials 0.000 description 7
- 239000002184 metal Substances 0.000 description 7
- 230000002688 persistence Effects 0.000 description 7
- 230000002085 persistent effect Effects 0.000 description 7
- 238000003825 pressing Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000012800 visualization Methods 0.000 description 7
- 241000699666 Mus <mouse, genus> Species 0.000 description 6
- 238000007792 addition Methods 0.000 description 6
- 230000004075 alteration Effects 0.000 description 6
- 230000002238 attenuated effect Effects 0.000 description 6
- 210000001217 buttock Anatomy 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 210000005069 ears Anatomy 0.000 description 6
- 238000010304 firing Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 239000004615 ingredient Substances 0.000 description 6
- 210000000554 iris Anatomy 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 108091008695 photoreceptors Proteins 0.000 description 6
- 230000005855 radiation Effects 0.000 description 6
- 239000002516 radical scavenger Substances 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 229910052782 aluminium Inorganic materials 0.000 description 5
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000003416 augmentation Effects 0.000 description 5
- 235000013339 cereals Nutrition 0.000 description 5
- 238000005253 cladding Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000003278 mimic effect Effects 0.000 description 5
- 230000008520 organization Effects 0.000 description 5
- 230000001737 promoting effect Effects 0.000 description 5
- 230000000644 propagated effect Effects 0.000 description 5
- 230000004256 retinal image Effects 0.000 description 5
- 238000012384 transportation and delivery Methods 0.000 description 5
- 238000011282 treatment Methods 0.000 description 5
- 208000021384 Obsessive-Compulsive disease Diseases 0.000 description 4
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 235000013351 cheese Nutrition 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000001886 ciliary effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 210000002683 foot Anatomy 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 4
- 239000012528 membrane Substances 0.000 description 4
- 239000007769 metal material Substances 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 238000007639 printing Methods 0.000 description 4
- 230000002040 relaxant effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000010408 sweeping Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 241000274965 Cyrestis thyodamas Species 0.000 description 3
- 206010025421 Macule Diseases 0.000 description 3
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 239000012298 atmosphere Substances 0.000 description 3
- 230000035559 beat frequency Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000001447 compensatory effect Effects 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 210000004932 little finger Anatomy 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 235000016709 nutrition Nutrition 0.000 description 3
- 210000000608 photoreceptor cell Anatomy 0.000 description 3
- 239000004033 plastic Substances 0.000 description 3
- 230000000272 proprioceptive effect Effects 0.000 description 3
- 238000012887 quadratic function Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 230000033458 reproduction Effects 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 210000004243 sweat Anatomy 0.000 description 3
- 239000010409 thin film Substances 0.000 description 3
- KRQUFUKTQHISJB-YYADALCUSA-N 2-[(E)-N-[2-(4-chlorophenoxy)propoxy]-C-propylcarbonimidoyl]-3-hydroxy-5-(thian-3-yl)cyclohex-2-en-1-one Chemical compound CCC\C(=N/OCC(C)OC1=CC=C(Cl)C=C1)C1=C(O)CC(CC1=O)C1CCCSC1 KRQUFUKTQHISJB-YYADALCUSA-N 0.000 description 2
- 235000000832 Ayote Nutrition 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 240000004244 Cucurbita moschata Species 0.000 description 2
- 235000009854 Cucurbita moschata Nutrition 0.000 description 2
- 235000009804 Cucurbita pepo subsp pepo Nutrition 0.000 description 2
- 239000004606 Fillers/Extenders Substances 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 2
- 230000000386 athletic effect Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000003098 cholesteric effect Effects 0.000 description 2
- HVYWMOMLDIMFJA-DPAQBDIFSA-N cholesterol Chemical compound C1C=C2C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2 HVYWMOMLDIMFJA-DPAQBDIFSA-N 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 235000020805 dietary restrictions Nutrition 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000012377 drug delivery Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 229920001746 electroactive polymer Polymers 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 125000000524 functional group Chemical group 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 150000002739 metals Chemical class 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 229910052755 nonmetal Inorganic materials 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 235000015136 pumpkin Nutrition 0.000 description 2
- 230000004478 pupil constriction Effects 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000003362 replicative effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000004462 vestibulo-ocular reflex Effects 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000256837 Apidae Species 0.000 description 1
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 201000001320 Atherosclerosis Diseases 0.000 description 1
- 241000972773 Aulopiformes Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010063659 Aversion Diseases 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 206010007559 Cardiac failure congestive Diseases 0.000 description 1
- 208000002177 Cataract Diseases 0.000 description 1
- 239000004986 Cholesteric liquid crystals (ChLC) Substances 0.000 description 1
- 101100117236 Drosophila melanogaster speck gene Proteins 0.000 description 1
- 239000004593 Epoxy Substances 0.000 description 1
- 102000017177 Fibromodulin Human genes 0.000 description 1
- 108010013996 Fibromodulin Proteins 0.000 description 1
- 208000004262 Food Hypersensitivity Diseases 0.000 description 1
- 241000597800 Gulella radius Species 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 206010019280 Heart failures Diseases 0.000 description 1
- 230000005374 Kerr effect Effects 0.000 description 1
- 240000002129 Malva sylvestris Species 0.000 description 1
- 235000006770 Malva sylvestris Nutrition 0.000 description 1
- 229920001410 Microfiber Polymers 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 239000004988 Nematic liquid crystal Substances 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- XYFCBTPGUUZFHI-UHFFFAOYSA-N Phosphine Chemical compound P XYFCBTPGUUZFHI-UHFFFAOYSA-N 0.000 description 1
- 206010034962 Photopsia Diseases 0.000 description 1
- 201000007902 Primary cutaneous amyloidosis Diseases 0.000 description 1
- 102100026827 Protein associated with UVRAG as autophagy enhancer Human genes 0.000 description 1
- 101710102978 Protein associated with UVRAG as autophagy enhancer Proteins 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 239000004783 Serene Substances 0.000 description 1
- 244000061456 Solanum tuberosum Species 0.000 description 1
- 235000002595 Solanum tuberosum Nutrition 0.000 description 1
- 235000017899 Spathodea campanulata Nutrition 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 229910052770 Uranium Inorganic materials 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 230000001914 calming effect Effects 0.000 description 1
- 239000002041 carbon nanotube Substances 0.000 description 1
- 229910021393 carbon nanotube Inorganic materials 0.000 description 1
- 239000011111 cardboard Substances 0.000 description 1
- 235000012000 cholesterol Nutrition 0.000 description 1
- 239000002642 cobra venom Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000001268 conjugating effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 235000012495 crackers Nutrition 0.000 description 1
- 230000005574 cross-species transmission Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000023077 detection of light stimulus Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000020785 dietary preference Nutrition 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000005262 ferroelectric liquid crystals (FLCs) Substances 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 235000019688 fish Nutrition 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 235000020932 food allergy Nutrition 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 235000012055 fruits and vegetables Nutrition 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000002789 length control Methods 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 239000003658 microfiber Substances 0.000 description 1
- 230000004459 microsaccades Effects 0.000 description 1
- 210000004115 mitral valve Anatomy 0.000 description 1
- 230000037230 mobility Effects 0.000 description 1
- 230000004973 motor coordination Effects 0.000 description 1
- 230000004220 muscle function Effects 0.000 description 1
- 210000001087 myotubule Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- -1 or other smartphones Substances 0.000 description 1
- 230000003534 oscillatory effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000011087 paperboard Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000005019 pattern of movement Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- JTJMJGYZQZDUJJ-UHFFFAOYSA-N phencyclidine Chemical compound C1CCCCN1C1(C=2C=CC=CC=2)CCCCC1 JTJMJGYZQZDUJJ-UHFFFAOYSA-N 0.000 description 1
- 229910000065 phosphene Inorganic materials 0.000 description 1
- 238000001126 phototherapy Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 208000014670 posterior cortical atrophy Diseases 0.000 description 1
- 238000004382 potting Methods 0.000 description 1
- 239000010970 precious metal Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000011253 protective coating Substances 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 108020003175 receptors Proteins 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000000964 retinal cone photoreceptor cell Anatomy 0.000 description 1
- 210000000880 retinal rod photoreceptor cell Anatomy 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 235000019515 salmon Nutrition 0.000 description 1
- 238000005488 sandblasting Methods 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- MTCFGRXMJLQNBG-UHFFFAOYSA-N serine Chemical compound OCC(N)C(O)=O MTCFGRXMJLQNBG-UHFFFAOYSA-N 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000012209 synthetic fiber Substances 0.000 description 1
- 229920002994 synthetic fiber Polymers 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 239000002435 venom Substances 0.000 description 1
- 210000001048 venom Anatomy 0.000 description 1
- 231100000611 venom Toxicity 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/24—Coupling light guides
- G02B6/26—Optical coupling means
- G02B6/27—Optical coupling means with polarisation selective and adjusting means
- G02B6/2706—Optical coupling means with polarisation selective and adjusting means as bulk elements, i.e. free space arrangements external to a light guide, e.g. polarising beam splitters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/08—Biomedical applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】仮想および拡張現実を作成する方法およびシステムを提供すること。
【解決手段】仮想現実および拡張現実体験をユーザに提示するための構成が、開示される。本システムは、1つ以上の画像を捕捉するための画像捕捉デバイスと、頭部搭載式拡張現実デバイスのユーザの視野に対応する1つ以上の画像と、画像捕捉デバイスに通信可能に結合され、マップ点の集合を集合の画像から抽出し、低密度点の集合および高密度点の集合を抽出されたマップ点の集合から識別し、正規化をマップ点の集合上で行う、プロセッサとを備えてもよい。
【選択図】図1
【解決手段】仮想現実および拡張現実体験をユーザに提示するための構成が、開示される。本システムは、1つ以上の画像を捕捉するための画像捕捉デバイスと、頭部搭載式拡張現実デバイスのユーザの視野に対応する1つ以上の画像と、画像捕捉デバイスに通信可能に結合され、マップ点の集合を集合の画像から抽出し、低密度点の集合および高密度点の集合を抽出されたマップ点の集合から識別し、正規化をマップ点の集合上で行う、プロセッサとを備えてもよい。
【選択図】図1
Description
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式においてユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の視覚化の拡張として、デジタルまたは仮想画像情報の提示を伴う。例えば、拡張現実場面は、AR技術のユーザに、実世界オブジェクト上またはその中間に重畳された1つ以上の仮想オブジェクトが見えることを可能にし得る(例えば、背景に人々、木々、建物を特徴とする、実世界の公園のような設定等)。
ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、VRまたはAR技術を生成することは、困難である。従来の立体視装着式眼鏡は、概して、3次元遠近画がヒトの視覚系によって知覚されるように、若干異なる要素の提示を伴う画像を表示するように構成される、2つのディスプレイを特徴とする。そのような構成は、画像を3次元で知覚するために克服され得る、両眼離反運動と遠近調節との間の不整合に起因して、多くのユーザにとって不快であることが見出されている。実際、一部のユーザは、立体視構成に耐えることができない。
いくつかの光学構成(例えば、頭部搭載式眼鏡)が、利用可能である(例えば、GoogleGlass(登録商標)、Occulus Rift(登録商標)等)が、これらの構成はいずれも、部分的に、従来のシステムが、可視化の知覚をユーザにもたらすための網膜の視細胞および脳とのその相互作用を含む、ヒトの知覚系の基本側面のいくつかに対処できていないため、ユーザにとって快適かつ最大限に有用となるであろう様式で、豊かな双眼用の3次元拡張現実体験を提示するために最適に適していない。
ヒトの眼は、非常に複雑な器官であって、典型的には、角膜、虹彩、水晶体、黄斑、網膜、および脳への視神経路を備えている。黄斑は、網膜の中枢であって、中程度の詳細を見るために利用される。黄斑の中枢には、「中心窩」と称される網膜の一部があり、これは、場面の最も細かい詳細を見るために利用され、網膜の任意の他の部分より多くの視細胞(視度あたり約120個の錐体)を含む。
ヒトの視覚系は、受動的センサタイプのシステムではない。すなわち、環境を能動的に走査する。画像を捕捉するためのフラットベッドスキャナの使用、または紙から点字を読み取るための指の使用に若干類似する様式において、眼の視細胞は、一定刺激状態に一定に応答するのではなく、刺激の変化に応答して、信号を発する。したがって、視細胞情報を脳に提示するための運動が、要求される。
実際、眼の筋肉を麻痺させるために利用されたコブラ毒等の物質を用いた実験は、ヒト対象が、眼が開かれ、毒によって誘発され麻痺した眼で静的場面を視認したまま位置付けられる場合、失明するであろうことを示している。言い換えると、刺激の変化がない場合、視細胞は、脳に入力を提供せず、失明する。これは、正常なヒトの眼が、「マイクロサッカード」としても知られる横運動において、往復移動する、すなわち、微動することが観察されていることの少なくとも1つの理由であると考えられる。
前述のように、網膜の中心窩は、視細胞の最大密度を含む。典型的には、ヒトは、視野全体を通して高分解能可視化能力を持つ知覚を有することが認知されているが、実際には、ヒトは、中心窩で最近捕捉された高分解能情報の持続的記憶とともに、ほぼ常時、機械的に見渡す、小さな高分解能中枢のみを有する。若干類似する様式において、眼の焦点距離制御機構(例えば、毛様体弛緩が、毛様体結合線維の緊張を生じさせ、より離れた焦点距離のためにレンズを平坦化させ、毛様体収縮が、毛様体結合線維の弛緩を生じさせ、レンズがより近い焦点距離のためにより丸い幾何学形状をとることを可能にする様式で水晶体に動作可能に結合される毛様筋)は、標的焦点距離の近側および遠側の両方に、少量の「光屈折ぼけ」を周期的に誘発するために、約1/4~1/2ジオプタだけ往復微動する。これは、針路を常に補正し、固定されたオブジェクトの網膜画像をほぼ合焦させて保つのに役立つ、周期的負のフィードバックとして、脳の遠近調節制御回路によって利用される。
脳の可視化中枢はまた、両眼およびその構成要素の相互に対する運動から有益な知覚情報を得る。相互に対する両眼の両眼離反運動(例えば、眼の視線を収束させ、オブジェクトに固定するための相互に向かって、またはそこから離れる、瞳孔の転動)は、眼のレンズの合焦(または「遠近調節」)と密接に関連付けられる。正常条件下では、眼のレンズの焦点を変化させる、すなわち、眼を遠近調節させ、異なる距離におけるオブジェクトに合焦させることは、「遠近調節-両眼離反運動反射作用」として知られる関係下、自動的に、同一距離までの両眼離反運動における整合変化を生じさせるであろう。同様に、両眼離反運動の変化は、正常条件下では、遠近調節の整合変化も誘起するであろう。本反射作用に逆らう作用は(従来の立体視ARまたはVR構成の大部分におけるように)、眼疲労、頭痛、または他の形態の不快感をユーザにもたらすことが知られている。
眼を格納する、頭部の移動もまた、オブジェクトの可視化に重要な影響を及ぼす。ヒトは、その頭部を移動させ、その周囲の世界を視覚化する傾向にあって、多くの場合、非常に一定状態において、頭部を着目オブジェクトに対して再位置付けおよび再配向する。さらに、大部分の人々は、その視線が、特定のオブジェクトに合焦させるために、中心から約20度を上回って移動する必要があるとき、その頭部を移動させることを好む(例えば、人々は、典型的には、「眼の端から」物を見ることを好まない)。ヒトはまた、典型的には、音に連動してその頭部を走査または移動させ、オーディオ信号捕捉を改善し、頭部に対する耳の幾何学形状を利用する。ヒトの視覚系は、頭部の運動および眼の両眼離反運動距離の関数として、異なる距離におけるオブジェクトの相対運動に関連する、「頭部運動視差」と呼ばれるものから優れた深度の手掛かりを得る。言い換えると、人がその頭部を横移動させ、オブジェクトに対して固定状態を維持する場合、そのオブジェクトからより遠いアイテムは、頭部と同一方向に移動し、そのオブジェクトの正面のアイテムは、頭部運動と反対に移動するであろう。これらは、オブジェクトが人に対して環境内に空間的に位置する場所の非常に顕著な手掛かりであり得る。頭部運動はまた、当然ながら、オブジェクトを見回すためにも利用される。
さらに、頭部および眼の運動は、頭部回転の間、網膜に対する画像情報を安定化させ、したがって、オブジェクト画像情報を網膜のほぼ中心に保つ、「前庭眼反射作用」と協調される。頭部の回転に応答して、眼は、反射的かつ比例的に反対方向に回転され、オブジェクトに対する安定した固定状態を維持する。本補償関係の結果として、多くのヒトは、その頭部を往復して振動させながら、本を読むことができる。興味深いことに、本が、頭部がほぼ定常のまま、同一速度で往復してめくられる場合、同じことは、概して、当てはまらない。すなわち、人は、めくられている本を読むことができない可能性が高い。前庭眼反射作用は、頭部および眼の運動協調のうちの1つであって、概して、手の運動のために発達されていない。本パラダイムは、ユーザの頭部運動が、比較的に直接、眼の運動に関連付けられ得るため、ARシステムのために重要であり得、理想的システムは、好ましくは、本関係と協働する準備ができたものとなるであろう。
実際、これらの種々の関係を前提として、デジタルコンテンツ(例えば、部屋の実世界ビューを拡張させるために提示される仮想シャンデリアオブジェクト等の3-Dコンテンツ、または部屋の実世界ビューを拡張させるために提示される平面/平坦仮想油絵オブジェクト等の2-Dコンテンツ)を設置するとき、オブジェクトの挙動を制御するための設計選択が、行われ得る。例えば、2-D油絵オブジェクトは、頭部を中心とし得、その場合、オブジェクトは、ユーザの頭部に伴って移動する(例えば、GoogleGlass(登録商標)アプローチにおけるように)。別の実施例では、オブジェクトは、世界を中心とし得、その場合、ユーザが、実世界に対してオブジェクトの位置を移動させずに、その頭部または眼を移動させ得るように、実世界座標系の一部であるかのように提示され得る。
したがって、仮想コンテンツをARシステムを用いて提示される拡張現実世界の中に設置するとき、オブジェクトが、世界を中心として、身体を中心として、頭部を中心として、または眼を中心として提示されるべきかどうについて、選定が行われる。頭部中心アプローチでは、仮想オブジェクトは、ユーザが、実世界壁等のそれを囲繞する実世界オブジェクトに対してその位置を変化させずに、その身体、頭部、眼をその周囲で移動させ得るように、実世界内の定位置に留まる。身体中心アプローチでは、仮想要素は、ユーザが、オブジェクトを移動させずに、その頭部または眼を移動させることができるが、胴体の移動に従動されるように、ユーザの胴体に対して固定され得る。頭部中心アプローチでは、表示されるオブジェクト(および/またはディスプレイ自体)は、GoogleGlass(登録商標)を参照して前述のように、頭部の移動に伴って移動され得る。以下に説明されるような「中心窩ディスプレイ」構成におけるように、眼中心アプローチでは、コンテンツは、眼の位置の関数として従動される。
世界を中心とした構成では、正確な頭部姿勢測定、ユーザの周囲の実世界オブジェクトおよび幾何学形状の正確な表現および/または測定、頭部姿勢の関数としての拡張現実ディスプレイにおける短待ち時間の動的レンダリング、ならびに概して短い待ち時間のディスプレイ等の入力を有することが望ましくあり得る。
前述の米国特許出願は、典型的ヒトの視覚的構成と協働し、仮想現実および拡張現実用途における種々の課題に対処するためのシステムおよび技法を提示する。これらの仮想現実および/またはARシステムの設計は、仮想コンテンツを送達する際のシステムのスピード、仮想コンテンツの品質、ユーザの瞳距離、システムのサイズおよび可搬性、ならびに他のシステムおよび光学課題を含む、多数の課題を提示する。
本明細書に説明されるシステムおよび技法は、典型的ヒトの視覚的構成と連動し、これらの課題に対処するように構成される。
本発明の実施形態は、1人以上のユーザのための仮想現実および/または拡張現実相互作用を促進するためのデバイス、システム、および方法を対象とする。一側面では、仮想コンテンツを表示するためのシステムが、開示される。
一側面では、拡張現実ディスプレイシステムは、1つ以上の画像を捕捉するための画像捕捉デバイスと、頭部搭載式拡張現実デバイスのユーザの視野に対応する1つ以上の画像と、画像捕捉デバイスに通信可能に結合され、マップ点の集合を画像の集合から抽出し、低密度点の集合および高密度点の集合を抽出されたマップ点の集合から識別し、正規化をマップ点の集合上で行う、プロセッサとを備えている。1つ以上の実施形態では、プロセッサは、それぞれ、低密度点の集合および高密度点の集合のための低密度および高密度点記述子を生成してもよい。
1つ以上の実施形態では、低密度点記述子および高密度点記述子は、マップデータとして記憶される。1つ以上の実施形態では、低密度点の集合は、1つ以上の画像の別個の特徴に対応する。1つ以上の実施形態では、別個の特徴は、角、円形、三角形、およびテキストから成る群から選択される。
1つ以上の実施形態では、高密度点の集合は、視野内の3D点に対応する。1つ以上の実施形態では、高密度点の集合はさらに、色値を含む。1つ以上の実施形態では、正規化は、スケール正規化を備えている。1つ以上の実施形態では、正規化は、共通原点に対する座標正規化を備えている。1つ以上の実施形態では、正規化は、機械学習を利用する。1つ以上の実施形態では、低密度および高密度点記述子は、低密度および高密度点の集合のそれぞれの低密度および高密度点に対応する。1つ以上の実施形態では、低密度および高密度点記述子は、スケール、テクスチャ、配向、およびパッチデータのうちの少なくとも1つに関する情報を備えている。
別の側面では、マップデータを生成する方法は、1つ以上の画像に関連付けられたマップ点の集合を識別するステップと、低密度点の集合および高密度点の集合を識別されたマップ点から決定するステップと、それぞれの低密度点の集合および高密度点の正規化を行うステップとを含む。
1つ以上の実施形態では、本方法はさらに、それぞれの低密度点の集合および高密度点のための低密度および高密度点記述子を生成するステップと、低密度点記述子および高密度点記述子を組み合わせ、マップデータとして記憶するステップとを含む。
1つ以上の実施形態では、低密度点の集合は、別個の特徴に対応する。1つ以上の実施形態では、別個の特徴は、角、円形、三角形、およびテキストから成る群から選択される。1つ以上の実施形態では、高密度点の集合は、視野内の3D点に対応する。1つ以上の実施形態では、高密度点の集合はまた、色値を含む。
1つ以上の実施形態では、正規化は、スケール正規化を備えている。1つ以上の実施形態では、正規化は、共通原点に対する座標正規化を備えている。1つ以上の実施形態では、正規化は、機械学習を使用して実装される。1つ以上の実施形態では、低密度および高密度点記述子は、それぞれの低密度および高密度点の集合の各低密度および高密度点に対応する。1つ以上の実施形態では、各低密度および高密度点記述子は、スケール、配向、パッチデータ、およびテクスチャから成る群から選択される、それぞれの低密度および高密度点に関する情報を含む。
別の側面では、拡張現実ディスプレイシステムは、1つ以上の画像を捕捉するための画像捕捉デバイスであって、1つ以上の画像は、ユーザの視野に対応し、画像は、ユーザによって作成された少なくとも1つのジェスチャを捕捉する、画像捕捉デバイスと、画像捕捉デバイスに通信可能に結合され、ジェスチャに関連付けられた点の集合を識別し、点の集合と所定のジェスチャのデータベースを比較し、少なくとも部分的に比較に基づいて、ジェスチャを認識し、少なくとも部分的に認識されたジェスチャに基づいて、ユーザ入力を決定するように構成される、プロセッサとを備えている。
1つ以上の実施形態では、プロセッサは、比較に基づいて、識別された点の集合のためのスコア化値を生成する。1つ以上の実施形態では、プロセッサは、スコア化値が閾値を超えている場合、ジェスチャを認識する。1つ以上の実施形態では、拡張現実ディスプレイシステムは、所定のジェスチャの集合を記憶するためのデータベースを備えている。1つ以上の実施形態では、本システムはさらに、所定のジェスチャのデータベースにアクセスするためのネットワーク化されたメモリを備えている。
1つ以上の実施形態では、ジェスチャは、手のジェスチャである。1つ以上の実施形態では、ジェスチャは、指ジェスチャである。1つ以上の実施形態では、ジェスチャは、指間相互作用である。1つ以上の実施形態では、ジェスチャは、指間相互作用、指示、タップ、および摩擦から成る群から選択される。
1つ以上の実施形態では、拡張現実ディスプレイシステムはさらに、空間光変調器を備え、空間光変調器は、プロセッサに通信可能に結合され、プロセッサは、1つ以上の仮想オブジェクトが、少なくとも部分的に決定されたユーザ入力に基づいて、ユーザに表示されるように、空間光変調器を制御する。1つ以上の実施形態では、1つ以上の仮想オブジェクトは、仮想ユーザインターフェースを備えている。
別の側面では、ユーザ入力を決定する方法は、ユーザの視野の画像を捕捉するステップであって、画像は、ユーザによって作成されたジェスチャを含む、ステップと、捕捉された画像を分析し、ジェスチャに関連付けられた点の集合を識別するステップと、識別された点の集合と所定のジェスチャのデータベースに関連付けられた点の集合を比較するステップと、認識されたジェスチャに基づいて、ユーザ入力を決定するステップとを含む。
1つ以上の実施形態では、本方法はさらに、比較に基づいて、識別された点の集合のためのスコア化値を生成するステップを含む。1つ以上の実施形態では、本方法はさらに、スコア化値が閾値を超えている場合、ジェスチャを認識するステップを含む。1つ以上の実施形態では、本方法はさらに、所定のジェスチャをデータベース内に記憶するステップを含む。1つ以上の実施形態では、本方法はさらに、ネットワーク化されたメモリにアクセスし、所定のジェスチャのデータベースにアクセスするステップを含む。
1つ以上の実施形態では、ジェスチャは、手のジェスチャである。1つ以上の実施形態では、ジェスチャは、指ジェスチャである。1つ以上の実施形態では、ジェスチャは、指間相互作用である。1つ以上の実施形態では、ジェスチャは、指間相互作用、指示、タップ、および摩擦から成る群から選択される。
1つ以上の実施形態では、本方法はさらに、少なくとも部分的に決定されたユーザ入力に基づいて、1つ以上の仮想オブジェクトをユーザに表示するステップを含む。1つ以上の実施形態では、1つ以上の仮想オブジェクトは、仮想ユーザインターフェースを備えている。
別の側面では、拡張現実ディスプレイシステムは、1つ以上の画像を捕捉するための画像捕捉デバイスと、画像捕捉デバイスに通信可能に結合され、捕捉された画像を分析し、ユーザによって作成された1つ以上のジェスチャを識別する、プロセッサとを備え、1つ以上のジェスチャの識別は、複数の段階を有するカスケード機構を利用するステップを含む。
1つ以上の実施形態では、カスケード機構は、複数のノードを備え、各ノードは、複数の段階のうちのある段階に対応する。1つ以上の実施形態では、カスケード機構は、一連のパーミッシブ型分析ノードを備えている。1つ以上の実施形態では、カスケード機構の複数の段階のうちの前の段階は、カスケード機構の複数の段階のうちの後の段階と比較して少ない処理電力を消費するように構成される。
1つ以上の実施形態では、非ジェスチャは、カスケード機構の前の段階において捕捉された画像の分析に基づいて、除去される。1つ以上の実施形態では、複数の段階のうちの後の段階は、少なくとも部分的に捕捉された画像に基づいて、より複雑なジェスチャを決定するように構成される。
1つ以上の実施形態では、捕捉された画像の分析は、捕捉された画像内の種々の形状の輪郭の鮮鋭度がジェスチャを構成するために十分に鮮鋭であるかどうかを決定するステップを含む。1つ以上の実施形態では、カスケード機構の後の段階は、異なるジェスチャ間で区別するために利用される。1つ以上の実施形態では、プロセッサはさらに、少なくとも部分的に分析に基づいて、スコアを生成するように構成される。1つ以上の実施形態では、プロセッサは、生成されたスコアが最小閾値より低い場合、候補画像を検討から除去する。1つ以上の実施形態では、プロセッサは、生成されたスコアが最小閾値より高い場合、カスケード機構の後の段階に前進する。
別の側面では、方法は、ユーザの視野に対応する1つ以上の画像を捕捉するステップと、捕捉された1つ以上の画像を分析し、ユーザによって作成された1つ以上のジェスチャを識別するステップであって、分析は、複数の段階を有するカスケード機構を利用するステップを含む、ステップとを含む。
1つ以上の実施形態では、カスケード機構は、複数のノードを備え、各ノードは、複数の段階のうちのある段階に対応する。1つ以上の実施形態では、カスケード機構は、一連のパーミッシブ型分析ノードを備えている。1つ以上の実施形態では、カスケード機構の複数の段階のうちの前の段階は、カスケード機構の複数の段階のうちの後の段階と比較して少ない処理電力を消費するように構成される。
1つ以上の実施形態では、非ジェスチャは、カスケード機構の前の段階において捕捉された画像の分析に基づいて、除去される。1つ以上の実施形態では、複数の段階のうちの後の段階は、少なくとも部分的に捕捉された画像に基づいて、より複雑なジェスチャを決定するように構成される。
1つ以上の実施形態では、捕捉された画像の分析は、捕捉された画像内の種々の形状の輪郭の鮮鋭度がジェスチャを構成するために十分に鮮鋭であるかどうかを決定するステップを含む。1つ以上の実施形態では、カスケード機構の後の段階は、異なるジェスチャ間で区別するために利用される。
1つ以上の実施形態では、本方法はさらに、少なくとも部分的に分析に基づいて、スコアを生成するステップを含む。1つ以上の実施形態では、本方法はさらに、候補画像を生成されたスコアが最小閾値より低いかどうかの検討から除去するステップを含む。1つ以上の実施形態では、本方法はさらに、生成されたスコアが最小閾値より高い場合、カスケード機構の後の段階に前進するステップを含む。
別の側面では、拡張現実システムは、ユーザのそれぞれの視野の複数の画像を捕捉するための画像捕捉デバイスと、画像捕捉デバイスに通信可能に結合され、複数の画像を分析し、複数のジェスチャ候補を捕捉された複数の画像から生成し、複数のジェスチャ候補に対応する分析値を生成する、プロセッサとを備え、ジェスチャは、少なくとも部分的に分析値に基づいて、認識される。
1つ以上の実施形態では、プロセッサはさらに、少なくとも部分的にそれぞれの分析値に基づいて、ジェスチャ候補をソートするように構成される。1つ以上の実施形態では、プロセッサはさらに、最小閾値より低い分析値を有するジェスチャ候補を排除するように構成される。1つ以上の実施形態では、プロセッサはさらに、分析値が最小閾値より高い場合、ジェスチャ候補を処理の次の段階に前進させるように構成される。
別の側面では、方法は、ユーザのそれぞれの視野の複数の画像を捕捉するステップと、複数の画像を分析し、複数のジェスチャ候補を生成するステップと、複数の分析値に対応する分析値を生成するステップであって、ジェスチャは、少なくとも部分的に分析値に基づいて、認識される、ステップとを含む。
1つ以上の実施形態では、本方法はさらに、少なくとも部分的にそれぞれの分析値に基づいて、ジェスチャ候補をソートするステップを含む。1つ以上の実施形態では、本方法はさらに、最小閾値より低い分析値を有するジェスチャ候補を排除するステップを含む。1つ以上の実施形態では、本方法はさらに、分析値が最小閾値より高い場合、ジェスチャ候補を処理の次の段階に前進させるステップを含む。
さらに別の側面では、拡張現実ディスプレイシステムは、ユーザの視野の画像を捕捉するための画像捕捉デバイスと、捕捉された画像に対応する深度マップを生成し、捕捉された画像の深度マップを分析し、ジェスチャを識別するように構成される、プロセッサとを備えている。
1つ以上の実施形態では、プロセッサはさらに、分類機構を利用して、生成された深度マップの点に対応する手の一部を識別するように構成される。1つ以上の実施形態では、プロセッサはさらに、手の一部の識別に基づいて、深度マップを骨格化するように構成される。
1つ以上の実施形態では、プロセッサは、少なくとも部分的に骨格化された深度マップに基づいて、画像をジェスチャとして分類する。1つ以上の実施形態では、深度は、少なくとも部分的に深度区画化プロセスを行うことによって生成される。
1つ以上の実施形態では、深度区画化は、線検索を備えている。1つ以上の実施形態では、プロセッサは、カスケード分析を深度マップに行い、画像をジェスチャとして分類する。1つ以上の実施形態では、プロセッサは、深度拡張を深度マップに行う。1つ以上の実施形態では、プロセッサは、表面正規化を深度マップに行う。
1つ以上の実施形態では、プロセッサは、配向正規化を深度マップに行う。1つ以上の実施形態では、プロセッサは、背景減算を深度マップに行う。1つ以上の実施形態では、プロセッサは、深度比較を深度マップに行う。1つ以上の実施形態では、プロセッサは、少なくとも部分的に骨格化された深度マップおよび以前の情報に基づいて、画像をジェスチャとして分類する。1つ以上の実施形態では、分類機構は、決定森である。
別の側面では、ジェスチャを分類する方法は、ユーザの視野の画像を捕捉するステップと、深度区画化を捕捉された画像に行い、深度マップを生成するステップと、少なくとも部分的に生成された深度マップに基づいて、ジェスチャを識別するステップとを含む。
1つ以上の実施形態では、本方法はさらに、分類機構を使用して、深度マップを分析し、深度マップ内の点に対応する手の一部を識別するステップを含む。1つ以上の実施形態では、本方法はさらに、手の一部の識別に基づいて、深度マップを骨格化するステップを含む。1つ以上の実施形態では、本方法はさらに、骨格化された深度マップに基づいて、画像をジェスチャとして分類するステップを含む。
1つ以上の実施形態では、深度区画化は、線検索を備えている。1つ以上の実施形態では、本方法はさらに、カスケード分析を深度マップに行い、画像をジェスチャとして分類するステップを含む。1つ以上の実施形態では、本方法はさらに、深度拡張を深度マップに行うステップを含む。
1つ以上の実施形態では、本方法はさらに、表面正規化を深度マップに行うステップを含む。1つ以上の実施形態では、本方法はさらに、配向正規化を深度マップに行うステップを含む。1つ以上の実施形態では、本方法はさらに、背景減算を深度マップに行うステップを含む。
1つ以上の実施形態では、本方法はさらに、深度比較を深度マップに行うステップを含む。1つ以上の実施形態では、本方法はさらに、骨格化された深度マップおよび以前の情報に基づいて、画像をジェスチャとして分類するステップを含む。1つ以上の実施形態では、分類機構は、決定森である。
別の側面では、拡張現実ディスプレイシステムは、ユーザの視野の画像の集合を捕捉するための画像捕捉デバイスであって、画像の集合は、所定の物理オブジェクトに関係するユーザの移動を捕捉する、画像捕捉デバイスと、画像捕捉デバイスに通信可能に結合され、所定の物理オブジェクトに関係する移動を分析し、少なくとも部分的に分析された移動に基づいて、ユーザ入力を決定する、プロセッサとを備えている。
1つ以上の実施形態では、プロセッサは、所定の物理オブジェクトを認識する。1つ以上の実施形態では、所定の物理オブジェクトは、少なくとも部分的に所定の物理オブジェクトの捕捉された画像と所定の物理オブジェクトのデータベースとの間の画像比較に基づいて、認識される。1つ以上の実施形態では、所定の物理オブジェクトに関係するユーザの分析された移動は、パターンを生成するために使用される。1つ以上の実施形態では、生成されたパターンは、所定のパターンのデータベースと比較される。1つ以上の実施形態では、プロセッサは、比較に基づいて、認識されたパターンのためのスコア化値を生成する。
1つ以上の実施形態では、プロセッサは、スコア化値が閾値を超えている場合、ユーザ入力を決定する。1つ以上の実施形態では、画像捕捉デバイスは、所定の物理オブジェクトに関係する移動を視覚的に追跡し、ビデオ録画を生成する。1つ以上の実施形態では、ビデオ録画は、ユーザ入力を決定するために分析される。
1つ以上の実施形態では、拡張現実ディスプレイシステムはさらに、所定のパターンのデータベースにアクセスするためのネットワーク化されたメモリを備えている。1つ以上の実施形態では、所定の物理オブジェクトは、視野内の既存の構造、能動的にマークされたトーテム、受動的にマークされたトーテム、カメラ/センサに統合されたオブジェクト、およびトーテムコントローラオブジェクトから成る群から選択される。
1つ以上の実施形態では、所定の物理オブジェクトに関係する移動は、基準フレームに対する所定の物理オブジェクトの位置、配向、および移動から成る群から選択される。1つ以上の実施形態では、所定の物理オブジェクトは、ユーザの手のうちの第1の手を備え、第1の手に関係する移動は、ユーザの手のうちの第2の手を用いた第1の手の操作を備えている。
1つ以上の実施形態では、所定の物理オブジェクトは、軟質硬度表面を有し、所定の物理オブジェクトに関係する移動は、ユーザによる軟質硬度表面の押下を備えている。1つ以上の実施形態では、プロセッサは、ユーザのための所定の物理オブジェクトに関連付けられた仮想インターフェース要素をレンダリングし、仮想インターフェース要素は、ディスプレイデバイスを通してユーザによって視認される。
1つ以上の実施形態では、仮想インターフェース要素は、ユーザによって視認されると、仮想インターフェース要素が、少なくとも部分的に所定の物理オブジェクトに関係する修正に基づいて、修正されるように、所定の物理オブジェクトに関係して表示される。1つ以上の実施形態では、所定の物理オブジェクトは、電子入力デバイスを備え、ユーザ入力は、所定の物理オブジェクトの認識された移動に基づいて、決定され、電子入力デバイスから入力される。
1つ以上の実施形態では、プロセッサは、ユーザに表示される仮想コンテンツが、少なくとも部分的に決定されたユーザ入力に基づいて、修正されるように、ユーザの眼に結合されるディスプレイデバイスを制御するように構成される。
別の側面では、ユーザ入力を決定する方法は、1つ以上のユーザの視野の画像を捕捉するステップであって、画像は、少なくとも所定の物理オブジェクトを備えている、ステップと、画像を分析し、所定の物理オブジェクトに関係するユーザの移動を検出するステップと、少なくとも部分的に所定の物理オブジェクトに関係する移動の分析に基づいて、ユーザ入力を決定するステップとを含む。
1つ以上の実施形態では、本方法はさらに、所定の物理オブジェクトを認識するステップを含む。1つ以上の実施形態では、所定の物理オブジェクトは、少なくとも部分的に所定の物理オブジェクトの捕捉された画像と所定の物理オブジェクトのデータベースとの間の画像比較に基づいて、認識される。1つ以上の実施形態では、所定の物理オブジェクトに関係するユーザの移動は、パターンを生成するために使用される。
1つ以上の実施形態では、本方法はさらに、生成されたパターンを所定のパターンのデータベースと比較するステップを含む。1つ以上の実施形態では、本方法はさらに、比較に基づいて、認識されたパターンのためのスコア化値を生成するステップを含む。1つ以上の実施形態では、本方法はさらに、スコア化値が閾値を超えている場合、ユーザ入力を決定するステップを含む。
1つ以上の実施形態では、本方法はさらに、所定の物理オブジェクトに関係する移動を視覚的に追跡し、ビデオ録画を生成するステップを含む。1つ以上の実施形態では、ビデオ録画は、ユーザ入力を決定するために分析される。1つ以上の実施形態では、本方法はさらに、ネットワーク化されたメモリを通して、所定のパターンのデータベースにアクセスするステップを含む。1つ以上の実施形態では、所定の物理オブジェクトは、視野内の既存の構造、能動的にマークされたトーテム、受動的にマークされたトーテム、カメラ/センサに統合されたオブジェクト、およびトーテムコントローラオブジェクトから成る群から選択される。
1つ以上の実施形態では、所定の物理オブジェクトに関係する移動は、基準フレームに対する所定の物理オブジェクトの位置、配向、および移動から成る群から選択される。1つ以上の実施形態では、所定の物理オブジェクトは、ユーザの手のうちの第1の手を備え、第1の手に関係する移動は、ユーザの手のうちの第2の手を用いた第1の手の操作を備えている。
1つ以上の実施形態では、所定の物理オブジェクトは、軟質硬度表面を有し、所定の物理オブジェクトに関係する移動は、ユーザによる軟質硬度表面の押下を備えている。1つ以上の実施形態では、本方法はさらに、ユーザのための所定の物理オブジェクトに関連付けられた仮想インターフェース要素をレンダリングするステップを含む。
1つ以上の実施形態では、仮想インターフェース要素は、ユーザによって視認されると、仮想インターフェース要素が、少なくとも部分的に所定の物理オブジェクトに関係する修正に基づいて、修正されるように、所定の物理オブジェクトに関係して表示される。1つ以上の実施形態では、所定の物理オブジェクトは、電子入力デバイスを備え、ユーザ入力は、所定の物理オブジェクトの認識された移動に基づいて、決定され、電子入力デバイスから入力される。1つ以上の実施形態では、本方法はさらに、少なくとも部分的に決定されたユーザ入力に基づいて、ユーザに表示される仮想コンテンツの少なくとも1つの特性を修正するステップを含む。
別の側面では、拡張現実ディスプレイシステムは、ユーザの眼に物理的に結合され、1つ以上の物理オブジェクトに関係する仮想コンテンツの集合を表示する、ディスプレイと、ディスプレイおよび画像捕捉デバイスに通信可能に結合され、ユーザ入力に基づいて、ディスプレイを介して、ユーザに表示されるべき仮想ユーザインターフェースを識別し、世界に関係するユーザの場所を得て、仮想ユーザインターフェースを表示すべき座標点の集合を決定し、識別された仮想ユーザインターフェースがユーザに表示されるように、ディスプレイを制御する、プロセッサとを備えている。
1つ以上の実施形態では、ユーザ入力は、少なくとも部分的に認識されたジェスチャに基づいて、決定される。1つ以上の実施形態では、ユーザ入力は、少なくとも部分的に音声コマンドに基づいて、決定される。1つ以上の実施形態では、ユーザ入力は、少なくとも部分的に所定の物理オブジェクトとの相互作用に基づいて、決定される。
1つ以上の実施形態では、拡張現実ディスプレイシステムはさらに、ユーザインターフェースのライブラリを備え、識別されたユーザインターフェースは、ユーザインターフェースのライブラリから読み出される。1つ以上の実施形態では、識別された仮想ユーザインターフェースは、基準フレームに関連付けられる。1つ以上の実施形態では、基準フレームは、身体中心基準フレームである。
1つ以上の実施形態では、基準フレームは、頭部中心基準フレームである。1つ以上の実施形態では、基準フレームは、手中心基準フレームである。1つ以上の実施形態では、基準フレームは、世界中心基準フレームである。1つ以上の実施形態では、プロセッサは、識別された仮想ユーザインターフェースに関連付けられた基準フレームと世界に関係するユーザの得られた場所との間の変換を行い、仮想ユーザインターフェースの座標点の集合を決定する。
1つ以上の実施形態では、世界内のユーザの場所は、ユーザのGPS場所に基づいて、決定される。1つ以上の実施形態では、世界内のユーザの場所は、ユーザに関連付けられたマップ点の集合に基づいて、決定される。1つ以上の実施形態では、仮想ユーザインターフェースは、ユーザが移動するにつれて、定常であるように見える。
1つ以上の実施形態では、仮想ユーザインターフェースは、ユーザの移動に関係して移動する。1つ以上の実施形態では、プロセッサは、識別された仮想ユーザインターフェースに関連付けられた基準フレームを決定し、世界基準フレームに関係する基準フレームの場所を決定し、決定された場所を原点として設定し、原点に関係する座標点の集合を決定する。
別の側面では、仮想ユーザインターフェースを生成する方法は、ユーザ入力に基づいて、ユーザに表示されるべき仮想ユーザインターフェースを識別するステップと、ユーザに関連付けられた場所を得るステップと、少なくとも部分的に得られた場所に基づいて、識別された仮想ユーザインターフェースを表示すべき座標点の集合を決定するステップと、決定された座標点において、仮想ユーザインターフェースをユーザに表示するステップとを含む。
1つ以上の実施形態では、ユーザ入力は、少なくとも部分的に認識されたジェスチャに基づいて、決定される。1つ以上の実施形態では、ユーザ入力は、少なくとも部分的に音声コマンドに基づいて、決定される。1つ以上の実施形態では、ユーザ入力は、少なくとも部分的に所定の物理オブジェクトとの相互作用に基づいて、決定される。
1つ以上の実施形態では、本方法はさらに、識別されたユーザ仮想ユーザインターフェースをユーザインターフェースのライブラリから読み出すステップを含む。1つ以上の実施形態では、識別された仮想ユーザインターフェースは、基準フレームに関連付けられる。1つ以上の実施形態では、基準フレームは、身体中心基準フレームである。
1つ以上の実施形態では、基準フレームは、頭部中心基準フレームである。1つ以上の実施形態では、基準フレームは、手中心基準フレームである。1つ以上の実施形態では、基準フレームは、世界中心基準フレームである。
1つ以上の実施形態では、本方法はさらに、識別された仮想ユーザインターフェースに関連付けられた基準フレームと世界に関係するユーザの得られた場所との間の変換を行い、仮想ユーザインターフェースの座標点の集合を決定するステップを含む。1つ以上の実施形態では、世界内のユーザの場所は、ユーザのGPS場所に基づいて、決定される。
1つ以上の実施形態では、世界内のユーザの場所は、ユーザに関連付けられたマップ点の集合に基づいて、決定される。1つ以上の実施形態では、仮想ユーザインターフェースは、ユーザが移動するにつれて、定常であるように見える。1つ以上の実施形態では、仮想ユーザインターフェースは、ユーザの移動に関係して移動する。
1つ以上の実施形態では、本方法はさらに、識別された仮想ユーザインターフェースに関連付けられた基準フレームを決定するステップと、世界基準フレームに関係する基準フレームの場所を決定するステップと、決定された場所を原点として設定するステップと、原点に関係する座標点の集合を決定するステップとを含む。
1つ以上の実施形態では、本方法はさらに、マップ点の集合をネットワーク化されたメモリから読み出すステップを含む。1つ以上の実施形態では、ユーザ入力は、仮想ユーザインターフェースが表示されるべき空間内の場所を備えている。1つ以上の実施形態では、空間内の場所は、ユーザの場所における物理エンティティに関連付けられる。1つ以上の実施形態では、ユーザ入力は、壁を示す投げる入力を含むジェスチャを含む。1つ以上の実施形態では、ユーザ入力は、仮想ユーザインターフェースを生成するための命令の終了を意味するジェスチャを含む。
別の側面では、仮想ユーザインターフェースを生成する方法は、所定の物理オブジェクトの操作を検出するステップと、検出された操作に基づいて、仮想ユーザインターフェースを作成するためのコマンドを認識するステップと、仮想世界モデルから、所定の物理オブジェクトの位置に関連付けられたマップ点の集合を決定するステップと、仮想ユーザインターフェースが、ユーザによって視認されると、所定の物理オブジェクトの位置に定常であるように見えるように、仮想ユーザインターフェースをトーテムの位置に関連付けられた決定されたマップ点にリアルタイムでレンダリングするステップとを含む。
1つ以上の実施形態では、所定の物理オブジェクトの操作は、所定の物理オブジェクトの表面上でユーザの手によって挟んだ状態を広げるジェスチャを含む。1つ以上の実施形態では、仮想ユーザインターフェースは、ユーザによって視認されると、所定の物理オブジェクトの表面の一部を覆うように見え、部分は、挟んだ状態を広げるジェスチャの形成の間、ユーザの手の場所に対応する。1つ以上の実施形態では、所定の物理オブジェクトは、ユーザの手である。
1つ以上の実施形態では、所定の物理オブジェクトの操作は、ユーザが手を広げること、ユーザが手のひらを広げて見せること、およびユーザが手を挙げることから成る群から選択される、アクションを含む。1つ以上の実施形態では、仮想ユーザインターフェースは、ユーザによって視認されると、手の表面の一部を被覆するように見える。
1つ以上の実施形態では、仮想ユーザインターフェースは、手の指または親指によって選択可能な複数の第1のレベルのメニューアイテムを備えている。1つ以上の実施形態では、本方法はさらに、手のさらなる操作を検出するステップと、検出されたさらなる操作に基づいて、第2の仮想ユーザインターフェースを作成するためのコマンドを認識するステップと、仮想ユーザインターフェースが、ユーザによって視認されると、所定の物理オブジェクトの位置において定常であるように見えるように、所定の物理オブジェクトの位置に関連付けられた決定されたマップ点に第2の仮想ユーザインターフェースをリアルタイムでレンダリングするステップとを含む。
1つ以上の実施形態では、本方法はさらに、手の指が離れるように広げることを含む、手のさらなる操作を含む。1つ以上の実施形態では、第2の仮想ユーザインターフェースは、手の指または親指によって選択可能な複数の第2のレベルのメニューアイテムを備え、第2のレベルは、第1のレベルより低い。
1つ以上の実施形態では、トーテムのさらなる操作は、ユーザの手のうちの第2の手からの指を用いて、手のひらに円を描写する運動を行なうことを含む。1つ以上の実施形態では、第2の仮想ユーザインターフェースは、弧に配列された複数のメニューアイテムを備え、メニューアイテムは、第2の手の指によってスクロール可能かつ選択可能である。
別の側面では、拡張現実ディスプレイシステムは、ユーザの視野の1つ以上の画像を捕捉するための画像捕捉デバイスであって、少なくとも1つの画像は、所定の物理オブジェクトの操作を捕捉する、画像捕捉デバイスと、1つ以上の仮想オブジェクトをユーザに表示するためのディスプレイデバイスと、パス可能世界モデルを備えている、データベースであって、パス可能世界モデルは、世界の物理オブジェクトに関連付けられたマップ点の集合を備えている、データベースと、画像捕捉デバイスに通信可能に結合され、1つ以上の画像に基づいて、仮想ユーザインターフェースを作成するためのコマンドを認識し、少なくとも部分的にパス可能世界モデルに基づいて、所定の物理オブジェクトに対応するマップ点を決定し、仮想ユーザインターフェースが所定の物理オブジェクトの位置において定常であるように見えるように、仮想ユーザインターフェースが所定の物理オブジェクトに対応する決定されたマップ点に生成されるような様式で、ディスプレイを制御する、プロセッサとを備えている。
1つ以上の実施形態では、所定の物理オブジェクトの操作は、所定の物理オブジェクトの表面上でユーザの手によって挟んだ状態を広げるジェスチャを含む。1つ以上の実施形態では、仮想ユーザインターフェースは、ユーザによって視認されると、所定の物理オブジェクトの表面の一部を覆うように見え、部分は、挟んだ状態を広げるジェスチャの形成の間、ユーザの手の場所に対応する。1つ以上の実施形態では、所定の物理オブジェクトは、ユーザの手である。
1つ以上の実施形態では、所定の物理オブジェクトの操作は、ユーザが手を広げること、ユーザが手のひらを広げて見せること、およびユーザが手を挙げることから成る群から選択される、アクションを含む。1つ以上の実施形態では、仮想ユーザインターフェースは、ユーザによって視認されると、手の表面の一部を被覆するように見える。
1つ以上の実施形態では、仮想ユーザインターフェースは、手の指または親指によって選択可能な複数の第1のレベルのメニューアイテムを備えている。1つ以上の実施形態では、所定の物理オブジェクトは、手であって、プロセッサは、手のさらなる操作を検出し、第2の仮想ユーザインターフェースを作成するためのコマンドを認識し、第2の仮想ユーザインターフェースが決定されたマップ点に表示されるように、ディスプレイを制御する。
1つ以上の実施形態では、手のさらなる操作は、手の指が離れるように広げることを含む。1つ以上の実施形態では、第2の仮想ユーザインターフェースは、手の指または親指によって選択可能な複数の第2のレベルのメニューアイテムを備え、第2のレベルは、第1のレベルより低い。1つ以上の実施形態では、トーテムのさらなる操作は、ユーザの手のうちの第2の手からの指を用いて、手のひらに円を描写する運動を行なうことを含む。
1つ以上の実施形態では、第2の仮想ユーザインターフェースは、弧に配列された複数のメニューアイテムを備え、メニューアイテムは、第2の手の指によってスクロール可能かつ選択可能である。
別の側面では、仮想世界を更新する方法は、第1の入力を第1のユーザの第1のデバイスから受信するステップであって、第1の入力は、第1のユーザの物理環境に対応する、ステップと、受信された第1の入力に基づいて、仮想世界モデルを更新するステップであって、仮想世界モデルは、第1のユーザの物理環境に対応する、ステップと、仮想世界モデルの第1の部分に対応する第1の更新された情報を第2のユーザに伝送するステップとを含み、第1の更新された情報は、第1の更新された情報の任意の部分が第2のユーザに表示される必要があるかどうかを示すように構成される。
1つ以上の実施形態では、仮想世界モデルは、ネットワーク化されたメモリ上に常駐する。1つ以上の実施形態では、第1のユーザおよび第2のユーザは、それぞれの異なる場所に位置する。1つ以上の実施形態では、第1のユーザの第1のデバイスは、FOVカメラ、他のカメラ、センサ、眼追跡用の第1のデバイス、およびオーディオ用の第1のデバイスから成る群から選択される。
1つ以上の実施形態では、本方法はさらに、仮想世界モデルの第1の部分に対応する第1の更新された情報を第1のユーザに伝送するステップを含み、第1の更新された情報は、第1の更新された情報の任意の部分が第1のユーザに表示される必要があるかどうかを示すように構成される。1つ以上の実施形態では、本方法はさらに、仮想世界モデルの第1の部分に対応する第1の更新された情報を複数の他のユーザに伝送するステップを含み、第1の更新された情報は、第1の更新された情報の任意の部分が複数の他のユーザの各々に表示される必要があるかどうかを示すように構成される。
1つ以上の実施形態では、本方法はさらに、複数の入力を複数の他のユーザのそれぞれの第1のデバイスから受信するステップであって、複数の入力は、第1のユーザの物理環境に対応する、ステップと、受信された複数の入力に基づいて、仮想世界モデルを更新するステップと、仮想世界モデルのそれぞれの追加の部分に対応する追加の更新された情報を第2のユーザに伝送するステップとを含み、追加の更新された情報は、追加の更新された情報の任意の部分が第2のユーザに表示される必要があるかどうかを示すように構成される。
1つ以上の実施形態では、本方法はさらに、仮想世界モデルの部分に対応する追加の更新された情報を第1のユーザに伝送するステップを含み、追加の更新された情報は、追加の更新された情報の任意の部分が第1のユーザに表示される必要があるかどうかを示すように構成される。
1つ以上の実施形態では、本方法はさらに、仮想世界モデルのそれぞれの追加の部分に対応する追加の更新された情報を複数の他のユーザに伝送するステップを含み、追加の更新された情報は、追加の更新された情報の任意の部分が複数の他のユーザの各々に表示される必要があるかどうかを示すように構成される。
1つ以上の実施形態では、本方法はさらに、第2の入力を第2のユーザの第2のデバイスから受信するステップであって、第2の入力は、第2のユーザの物理環境に対応する、ステップと、受信された第2の入力に基づいて、仮想世界モデルを更新するステップであって、仮想世界モデルは、第1のユーザの物理環境に対応する、ステップと、仮想世界モデルの第2の部分に対応する第2の更新された情報を第1のユーザに伝送するステップとを含み、第2の更新された情報は、第2の更新された情報の任意の部分が第1のユーザに表示される必要があるかどうかを示すように構成される。1つ以上の実施形態では、第2の更新された情報は、仮想世界モデルの第2の部分内の第2のユーザのアバタの移動に対応する。
別の側面では、方法は、光パターンを空間上に投影するステップと、カメラを用いて、光パターンの第1および第2の部分を検出し、パターンの第1および第2の部分に対応する第1および第2のデータ点を生成するステップと、三角測量分析を行い、少なくとも部分的に第1および第2のデータ点に基づいて、光パターンの第1および第2の部分の場所を決定するステップとを含む。
1つ以上の実施形態では、本方法はさらに、パターンの複数の部分を投影し、検出し、三角測量するステップを繰り返し、空間の追加のテクスチャデータを取得するステップを含む。1つ以上の実施形態では、光を空間上に投影するステップは、ファイバベースのプロジェクタを使用して、光を空間上に投影するステップを含む。
1つ以上の実施形態では、本方法はさらに、光が空間上に投影される前に、光学要素を用いて光を修正し、光線の束を形成するステップを含む。1つ以上の実施形態では、光パターンは、構造化された光に対応し、光パターンは、動的である。1つ以上の実施形態では、光パターンは、パターン化された光に対応し、光パターンは、複数の点を含む。
1つ以上の実施形態では、光パターンは、テクスチャ化された光に対応し、光パターンは、不規則である。1つ以上の実施形態では、光パターンの第1および第2の部分は、光パターンのそれぞれのピクセルである。
別の側面では、拡張現実ディスプレイシステムは、光パターンを空間内に投影するための光プロジェクタと、拡張現実ディスプレイシステムのフレームに結合され、ユーザの視野の画像を捕捉するためのカメラであって、投影された光パターンに対応する第1および第2の部分を捕捉するためのカメラと、カメラに通信可能に結合され、少なくとも部分的にカメラから受信されるデータに基づいて、パターンの第1および第2の部分に対応する第1および第2のデータ点を検出し、三角測量分析を行い、少なくとも部分的に第1および第2のデータ点に基づいて、光パターンの第1および第2の部分の場所を決定する、プロセッサとを備えている。
1つ以上の実施形態では、プロセッサは、パターンの複数の部分を用いて、投影、検出、および三角測量するステップを繰り返し、空間の追加のテクスチャデータを取得する。1つ以上の実施形態では、光プロジェクタは、ファイバベースのプロジェクタを備えている。1つ以上の実施形態では、投影される光は、光が空間上に投影される前に、光線の束を形成するように、光学要素を用いて修正される。
1つ以上の実施形態では、光パターンは、構造化された光に対応し、光パターンは、動的である。1つ以上の実施形態では、光パターンは、パターン化された光に対応し、光パターンは、複数の点を含む。1つ以上の実施形態では、光パターンは、テクスチャ化された光に対応し、光パターンは、不規則である。1つ以上の実施形態では、光パターンの第1および第2の部分は、光パターンのそれぞれのピクセルである。
別の側面では、拡張現実システムは、操作が拡張現実システムによってユーザ入力として検出可能であるように操作されるように構成される表面を有する、所定の物理オブジェクトを備え、所定の物理オブジェクトは、ユーザが、タッチを介して、所定の物理オブジェクトと相互作用すると、触覚知覚をユーザに提供するように構成される材料を備えている。
1つ以上の実施形態では、所定の物理オブジェクトは、ユーザ入力デバイスをシミュレートするように構成される。1つ以上の実施形態では、ユーザ入力デバイスは、コンピュータキーボード、コンピュータマウス、コンピュータトラックパッド、およびハンドヘルドコントローラから成る群から選択される。
1つ以上の実施形態では、本システムはさらに、1つ以上の仮想オブジェクトをユーザに表示するためのディスプレイデバイスと、仮想ユーザインターフェースが所定の物理オブジェクトの表面上に表示されるように、ディスプレイデバイスを制御するためのプロセッサとを備えている。
1つ以上の実施形態では、所定の物理オブジェクトは、球状形状を有する。1つ以上の実施形態では、本システムは、仮想ユーザインターフェースが所定の物理オブジェクトから出現するように見えるように、仮想ユーザインターフェースを表示するように構成される。1つ以上の実施形態では、所定の物理オブジェクトは、テクスチャ化された外側表面を有する。
1つ以上の実施形態では、所定の物理オブジェクトは、ユーザ入力要素を備えている。1つ以上の実施形態では、ユーザ入力要素は、キー、ボタン、およびスクロールホイールから成る群から選択される。1つ以上の実施形態では、ユーザ入力要素は、電子機器に動作可能に結合されない。1つ以上の実施形態では、本システムはさらに、トーテムのユーザの操作を検出するように構成される、カメラを備えている。
1つ以上の実施形態では、所定の物理オブジェクトは、くぼみ、空洞、または突出部を備えている。1つ以上の実施形態では、操作は、スワイプ、揺動、回転、スクロール、タップ、ダブルタップ、短タップ、および長タップから成る、指運動の群から選択される。
1つ以上の実施形態では、操作は、いくつかの相互作用、相互作用のタイプ、および相互作用の持続時間から成る、指運動特性の群から選択される。1つ以上の実施形態では、操作は、距離、方向、スピード、および加速から成る、指特性の群から選択される。
さらに別の側面では、仮想部屋を生成する方法は、ユーザに表示されるべき仮想部屋を識別するステップと、仮想部屋に関連付けられた第1のマップ点の集合を得るステップであって、第1のマップ点の集合は、ユーザの場所における第1の物理部屋に対応する、ステップと、仮想部屋を第1のマップ点の集合にテザリングするステップと、仮想部屋が、ユーザによって視認されると、第1のマップ点の集合の集合において定常であるように見えるように、仮想部屋をユーザに表示するステップとを含む。
1つ以上の実施形態では、本方法はさらに、ユーザ入力に基づいて、仮想部屋を識別するステップを含む。1つ以上の実施形態では、ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される。
1つ以上の実施形態では、仮想部屋は、ユーザによって与えられる。1つ以上の実施形態では、本方法はさらに、第1のマップ点の集合をネットワーク化されたメモリから読み出すステップを含む。1つ以上の実施形態では、本方法はさらに、仮想部屋に関連付けられた第2のマップ点の集合を得るステップであって、第2のマップ点の集合は、ユーザが第1の物理部屋から移動した後のユーザの場所における第2の物理部屋に対応する、ステップと、仮想部屋を第2のマップ点の集合にテザリングするステップと、仮想部屋が、ユーザによって視認されると、第2のマップ点の集合において定常であるように見えるように、仮想部屋をユーザに表示するステップとを含む。
1つ以上の実施形態では、仮想部屋はまた、第1および第2の仮想オブジェクトを含み、本方法はさらに、仮想部屋が第2のマップ点の集合にテザリングされている場合、第1のマップ点の集合に対応する第1の仮想オブジェクトと第2の仮想オブジェクトとの間の相対的空間位置を保つステップを含む。1つ以上の実施形態では、本方法はさらに、仮想部屋が、ユーザによって視認されると、第1の物理部屋の一部に対して定常であるように見えるように、仮想部屋をユーザに表示するステップを含む。1つ以上の実施形態では、仮想部屋はまた、選択可能仮想装飾を含む。
別の側面では、小売体験を作成する方法は、小売店舗内のユーザの場所を認識するステップと、小売店舗に対応するデータを読み出すステップと、読み出されたデータに基づいて、小売店舗に関連する仮想コンテンツを生成するステップと、仮想ユーザインターフェースをユーザの視野内に作成するステップと、ユーザが小売店舗内で小売アクティビティに従事する間、仮想コンテンツを仮想ユーザインターフェース上に表示するステップとを含む。
1つ以上の実施形態では、読み出されたデータは、小売店舗に対応するマップ点の集合を備え、仮想ユーザインターフェースは、ユーザによって視認されると、マップ点の集合において定常であるように見える。1つ以上の実施形態では、ユーザの場所は、無線周波数識別トランスポンダおよび通信を使用して認識される。1つ以上の実施形態では、仮想コンテンツは、仮想キャラクタ、仮想クーポン、ユーザ場所に基づくゲーム、宣伝アイテムの一覧、栄養情報、アイテムに関連するメタデータ、有名人の登場、クロスセリング広告、ユーザに既知の人物からの情報、および電子書籍から成る群から選択される。
1つ以上の実施形態では、本方法はさらに、ユーザに対応するユーザデータを読み出すステップと、読み出されたデータおよび読み出されたユーザデータの両方に基づいて、仮想コンテンツを生成するステップとを含む。1つ以上の実施形態では、仮想コンテンツは、仮想食料品一覧、仮想クーポン書籍、仮想レシピ書籍、ユーザの家内の種々の資材の一覧、および仮想レシピビルダから成る群から選択される。1つ以上の実施形態では、本方法はさらに、ユーザ入力を受信するステップと、ユーザ入力に基づいて、追加の仮想コンテンツを生成するステップと、ユーザが小売店舗内の小売アクティビティに従事する間、追加の仮想コンテンツを仮想ユーザインターフェース上に表示するステップとを含む。
1つ以上の実施形態では、ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される。1つ以上の実施形態では、仮想コンテンツは、総運営コスト、スマート仮想食料品一覧、ユーザ場所に近接するアイテムのインジケータ、および仮想支払システムから成る群から選択される。1つ以上の実施形態では、本方法はさらに、生成された仮想コンテンツを表示のためにユーザデバイスに送信するステップを含む。
別の側面では、方法は、患者の医療履歴に関連する患者データを読み出すステップと、少なくとも部分的に読み出された患者データに基づいて、仮想コンテンツを生成するステップと、第1のユーザの第1の場所に対応する第1のマップ点の集合を読み出すステップと、少なくとも部分的に読み出されたマップ点の集合に基づいて、第1の仮想ユーザインターフェースを第1のユーザの視野内に作成するステップと、第1の仮想ユーザインターフェースが、第1のユーザによって視認されると、第1のマップ点の集合において固定されるように見えるように、仮想コンテンツを第1の仮想ユーザインターフェース上に表示するステップとを含む。
1つ以上の実施形態では、仮想コンテンツは、外科手術の標的の3次元画像、患者識別情報、医療画像、患者のバイタルサイン情報、およびカルテから成る群から選択される。1つ以上の実施形態では、患者データは、ネットワーク化されたメモリから読み出される。
1つ以上の実施形態では、本方法はさらに、第1のユーザと第2のユーザとの間の通信を促進するように構成される、第2の仮想ユーザインターフェースを生成するステップを含み、第2のユーザは、第1のユーザの第1の場所と異なる第2の場所内に居る。1つ以上の実施形態では、第2の仮想ユーザインターフェースは、第2のユーザの視覚的表現である。1つ以上の実施形態では、第2のユーザは、上級専門外科医、患者、患者に関連する者、および医学生から成る群から選択される。1つ以上の実施形態では、本方法はさらに、第1の仮想ユーザインターフェースが、第2のユーザによって視認されると、マップ点の集合において固定されるように見えるように、仮想コンテンツを第1の仮想ユーザインターフェース上において第2のユーザに表示するステップを含む。
1つ以上の実施形態では、仮想コンテンツは、外科手術手技中、第1のユーザに表示され、本方法はさらに、ユーザ入力を受信するステップと、ユーザ入力に基づいて、追加の仮想コンテンツを生成するステップと、第1のユーザが外科手術手技を行っている間、追加の仮想コンテンツを第1の仮想ユーザインターフェース上に表示するステップとを含む。
1つ以上の実施形態では、ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される。1つ以上の実施形態では、ユーザ入力は、第1のユーザの視野の画像を備え、本方法はさらに、第1の仮想ユーザインターフェースが、第2のユーザによって視認されると、マップ点の集合において固定されるように見えるように、追加の仮想コンテンツを第1の仮想ユーザインターフェース上において第2のユーザに表示するステップを含む。
1つ以上の実施形態では、医療リハビリテーションを促進する方法は、医療リハビリテーションに関連するユーザ入力を受信するステップと、受信されたユーザ入力に基づいて、医療リハビリテーションに関連する要求をクラウドサーバに送信するステップと、要求に基づいて、医療リハビリテーションに関連するデータをクラウドサーバに接続されている知識ベースから受信するステップと、受信されたデータに基づいて、医療リハビリテーションに関連する仮想コンテンツを第1のユーザに表示するステップとを含む。
1つ以上の実施形態では、ユーザ入力は、視覚的、聴覚的、および感覚入力から成る群から選択される。1つ以上の実施形態では、本方法はさらに、要求をクラウドサーバに送信する前に、ユーザ入力が有効であるかどうかを決定するステップを含む。1つ以上の実施形態では、データは、クラウドサーバに接続されている複数の知識ベースから受信される。
1つ以上の実施形態では、要求は、クラウドサーバに、データを知識ベースから読み出すように命令する。1つ以上の実施形態では、仮想コンテンツは、リラックスさせる環境を含む。1つ以上の実施形態では、本方法はさらに、追加のデータを第2のユーザから受信するステップと、受信された追加のデータに基づいて、追加の仮想コンテンツを第1のユーザに表示するステップとを含む。
1つ以上の実施形態では、第1および第2のユーザは、異なる物理場所に位置する。1つ以上の実施形態では、追加の仮想コンテンツは、第2のユーザの視覚的表現である。1つ以上の実施形態では、本方法はさらに、第1のユーザデータを第1のユーザから受信するステップと、第2のユーザデータを第2のユーザから受信するステップと、受信された第1および第2のユーザデータに基づいて、仮想コンテンツを修正するステップと、修正された仮想コンテンツを第1および第2のユーザに表示するステップとを含む。
1つ以上の実施形態では、第1のユーザは、医療リハビリテーションのための物理アクティビティに従事し、仮想コンテンツは、物理アクティビティに関する。1つ以上の実施形態では、仮想コンテンツは、物理アクティビティについての情報、第1のユーザのパフォーマンス統計、物理アクティビティに対応する仮想体験、および仮想アバタから成る群から選択される。1つ以上の実施形態では、データは、ネットワーク化されたメモリから読み出される。
別の側面では、タスクのパフォーマンスを向上させる方法は、ユーザによって行われるべきタスクに関連するタスクデータを読み出すステップと、タスクデータに基づいて、仮想コンテンツを生成するステップと、仮想ユーザインターフェースをユーザの視野内に作成するステップと、ユーザの場所に対応するマップ点の集合を読み出すステップと、仮想ユーザインターフェースが、ユーザによって視認されると、マップ点の集合において固定されるように見えるように、ユーザがタスクを行っている間、仮想コンテンツを仮想ユーザインターフェース上に表示するステップとを含む。
1つ以上の実施形態では、仮想コンテンツは、仮想マップされたパターンを有するゲームであり、ゲームは、ユーザによるタスクのパフォーマンスを改良するように構成される。1つ以上の実施形態では、ゲームは、仮想マップされたパターンに従うことに対してポイントを与える。1つ以上の実施形態では、ゲームは、仮想マップされたパターン内の地点に所定の時間内に到達することに対してポイントを倍にする。
1つ以上の実施形態では、ゲームは、仮想マップされたパターンから外れることに対してポイントを差し引く。1つ以上の実施形態では、ゲームは、物理オブジェクトに隣接して移動することに対してポイントを差し引く。1つ以上の実施形態では、タスクは、造園機械を運転すること、在庫アイテムを読み出すこと、小売棚に陳列すること、および郵便をソートすることから成る群から選択される。1つ以上の実施形態では、タスクデータは、ネットワーク化されたメモリから読み出される。
1つ以上の実施形態では、本方法はさらに、ユーザ入力を受信するステップと、ユーザ入力に基づいて、追加の仮想コンテンツを生成するステップと、ユーザがタスクを行っている間、追加の仮想コンテンツを仮想ユーザインターフェース上に表示するステップとを含む。1つ以上の実施形態では、ユーザ入力は、タスクのパフォーマンスに関連するユーザアクションを含む。
さらに別の側面では、拡張現実ディスプレイシステムは、1つ以上の仮想画像をユーザの眼に表示するように構成可能なディスプレイデバイスと、1つ以上の仮想画像をディスプレイデバイスに提供するために構成されるディスプレイデバイスに通信可能に結合される、プロセッサであって、仮想画像のディスプレイに関するタイミング不一致を予測的に補正するための予測機構を備えている、プロセッサとを備えている。
1つ以上の実施形態では、タイミング不一致は、1つ以上のセンサによって行われる1つ以上のセンサ測定に関わり、1つ以上のセンサは、プロセッサに通信可能に結合される。1つ以上の実施形態では、タイミング不一致は、着信データを処理するときの処理遅延に関わる。
1つ以上の実施形態では、予測機構は、フィルタを利用して、タイミング不一致の影響を補正する。1つ以上の実施形態では、フィルタは、1つ以上のセンサ測定の相対的スピードを考慮し、センサ測定は、プロセッサに通信可能に結合されている1つ以上のセンサによって行われる。1つ以上の実施形態では、予測機構は、カルマン予測子を利用する。
1つ以上の実施形態では、カルマン予測子は、ディスプレイ処理段階中、利用される。1つ以上の実施形態では、プロセッサは、補償変更を1つ以上の仮想画像に関連付けられたデータに行い、タイミング不一致を補償する。1つ以上の実施形態では、補償変更は、仮想画像に関連付けられたデータのシフトを行うステップを含む。
1つ以上の実施形態では、補償変更は、仮想画像に関連付けられた1つ以上の視覚的アーチファクトを平滑化するステップを含む。1つ以上の実施形態では、補償変更は、1つ以上のセンサのセンサ測定の負の影響を補正するステップを含み、1つ以上のセンサは、プロセッサに通信可能に結合される。
別の側面では、拡張現実ディスプレイシステムにおける遅延を補正する方法は、仮想画像をユーザに表示する少なくとも1つの段階における1つ以上のタイミング不一致を決定するステップと、予測機構を利用して、タイミング不一致を予測的に補正するステップと、少なくとも部分的に予測機構に基づいて、仮想画像のデータに関連する少なくとも1つの特性を補償するステップとを含む。
1つ以上の実施形態では、タイミング不一致は、1つ以上のセンサによって行われる1つ以上のセンサ測定に関わり、1つ以上のセンサは、プロセッサに通信可能に結合される。1つ以上の実施形態では、タイミング不一致は、着信データを処理するときの処理遅延に関わる。
1つ以上の実施形態では、予測機構は、フィルタを利用して、タイミング不一致の影響を補正する。1つ以上の実施形態では、フィルタは、1つ以上のセンサ測定の相対的スピードを考慮し、センサ測定は、プロセッサに通信可能に結合されている1つ以上のセンサによって行われる。
1つ以上の実施形態では、予測機構は、カルマン予測子を利用する。1つ以上の実施形態では、カルマン予測子は、ディスプレイ処理段階中、利用される。1つ以上の実施形態では、補償は、仮想画像に関連付けられたデータのシフトを行うステップを含む。1つ以上の実施形態では、補償は、仮想画像に関連付けられた1つ以上の視覚的アーチファクトを平滑化するステップを含む。1つ以上の実施形態では、補償は、1つ以上のセンサのセンサ測定の負の影響を補正するステップを含み、1つ以上のセンサは、プロセッサに通信可能に結合される。
別の側面では、拡張現実システムを較正する方法は、仮想画像をユーザに表示するステップであって、仮想画像は、既知の焦点距離に表示されるように構成され、仮想画像は、ピクセル点を備えている、ステップと、ピクセル点がユーザに表示される場所を決定するステップであって、ピクセルの場所は、少なくとも部分的にユーザの眼の瞳孔の場所に基づいて、計算される、ステップと、仮想画像のピクセル点と空間内の既知の点を整合させるステップとを含む。
1つ以上の実施形態では、ステップは、複数のピクセル点に対して繰り返される。1つ以上の実施形態では、ピクセル点がユーザに表示される場所は、少なくとも部分的に空間内の既知の点の場所に基づいて、計算される。1つ以上の実施形態では、瞳孔の場所、ピクセル点の場所、および空間内の既知の点の場所は、同一線上にある。
1つ以上の実施形態では、ピクセル点がユーザに表示される場所は、ユーザ入力に基づいて、修正される。1つ以上の実施形態では、本方法はさらに、複数のピクセル点がユーザに提示されるように、ゲーム用インターフェースを作成するステップを含む。1つ以上の実施形態では、ゲーム用インターフェースは、ユーザの眼移動を通してレーザを発射するステップを含む。
1つ以上の実施形態では、既知の点の場所は、少なくとも部分的に1つ以上の世界カメラから受信されるデータに基づいて、決定される。1つ以上の実施形態では、ステップは、ユーザの別の眼に対して繰り返される。1つ以上の実施形態では、ピクセル点の場所は、少なくとも部分的に瞳孔の場所および既知の点の場所の関数に基づいて、決定される。1つ以上の実施形態では、関数は、二次関数を備えている。
別の側面では、拡張現実ディスプレイシステムは、仮想画像をユーザに表示するためのディスプレイデバイスであって、仮想画像は、既知の焦点距離に表示されるように構成され、仮想画像は、ピクセル点を備えている、ディスプレイデバイスと、ディスプレイデバイスに通信可能に結合され、ピクセル点がユーザに表示される場所を決定し、少なくとも部分的にユーザの眼の瞳孔の場所に基づいて、ピクセル点の場所を計算し、仮想画像のピクセル点を空間内の既知の点に整合させるように構成される、プロセッサとを備えている。
1つ以上の実施形態では、ステップは、複数のピクセル点に対して繰り返される。1つ以上の実施形態では、ピクセル点がユーザに表示される場所は、少なくとも部分的に空間内の既知の点の場所に基づいて、計算される。1つ以上の実施形態では、瞳孔の場所、ピクセル点の場所、および空間内の既知の点の場所は、同一線上にある。1つ以上の実施形態では、ピクセル点がユーザに表示される場所は、ユーザ入力に基づいて、修正される。
1つ以上の実施形態では、本システムはさらに、複数のピクセル点をユーザに提示するように構成される、ゲーム用インターフェースを備えている。1つ以上の実施形態では、ゲーム用インターフェースは、ユーザの眼移動を通してレーザを発射するステップを含む。1つ以上の実施形態では、既知の点の場所は、少なくとも部分的に1つ以上の世界カメラから受信されるデータに基づいて、決定される。
1つ以上の実施形態では、ステップは、ユーザの別の眼に対して繰り返される。1つ以上の実施形態では、ピクセル点の場所は、少なくとも部分的に瞳孔の場所および既知の点の場所の関数に基づいて、決定される。1つ以上の実施形態では、関数は、二次関数を備えている。
別の側面では、仮想インターフェースを表示する方法は、ユーザ入力に基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、少なくとも1つの物理オブジェクトに関係して、アバタユーザインターフェースを表示するステップであって、アバタユーザインターフェースは、少なくとも1つの仮想ユーザインターフェース要素を提示する、ステップと、少なくとも部分的にユーザとアバタユーザインターフェースとの間の相互作用に基づいて、少なくとも1つの仮想ユーザインターフェース要素を選択するステップとを含む。
1つ以上の実施形態では、ユーザ入力は、ジェスチャを含む。1つ以上の実施形態では、本方法はさらに、ユーザの拡張現実ディスプレイシステムに関係するジェスチャの場所を決定するステップを含み、仮想ユーザインターフェースは、決定された場所に表示される。1つ以上の実施形態では、アバタは、事前に選択されたアバタである。1つ以上の実施形態では、アバタは、ユーザに似ている。
1つ以上の実施形態では、アバタは、物理オブジェクトの上に立っているかのように表示される。1つ以上の実施形態では、少なくとも1つの仮想要素は、アプリケーションを備えている。1つ以上の実施形態では、本方法はさらに、別のユーザ入力に少なくとも部分的に基づいて、少なくとも1つの仮想要素を選択するステップであって、少なくとも1つの仮想要素は、ユーザの仲介者を備えている、ステップと、アバタ仮想ユーザインターフェースおよび物理オブジェクトに関係して、ユーザの仲介者を表す別のアバタを表示するステップであって、ユーザとユーザの仲介者との間の相互作用は、アバタ仮想ユーザインターフェースとユーザの仲介者を表す他のアバタとの間の仮想相互作用を通して動画化される、ステップとを含む。
1つ以上の実施形態では、相互作用は、データをユーザの拡張現実システムとユーザの仲介者に対応するコンピューティングシステムとの間で伝送するステップを含む。1つ以上の実施形態では、ユーザ入力は、音声コマンドを備えている。
別の側面では、仮想インターフェースを表示する方法は、ユーザ入力に基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、少なくとも1つの物理オブジェクトに関係して、1つ以上の選択可能仮想インターフェース要素を備えているフローティング式ユーザインターフェースを表示するステップであって、フローティング式ユーザインターフェースは、ユーザ入力が受信された場所から押し出されたように見える、ステップとを含む。
1つ以上の実施形態では、ユーザ入力は、ユーザの指のジェスチャを含む。1つ以上の実施形態では、ユーザの指のジェスチャは、ユーザの一方の手の指をユーザの他方の手の別の指を用いてタッチすることを含む。1つ以上の実施形態では、本方法はさらに、ユーザの一方の手の指をユーザの他方の手の別の指を用いてタッチした場所を決定するステップを含み、フローティング式仮想ユーザインターフェースは、決定された場所から生じる。
1つ以上の実施形態では、フローティング式ユーザインターフェースは、3次元ブロックの集合を備え、3次元ブロックの集合のうちの3次元ブロックは、少なくとも1つの選択可能仮想ユーザインターフェース要素を表す。1つ以上の実施形態では、フローティング式仮想ユーザインターフェースは、少なくとも部分的に世界基準フレームに基づいて、作成される。
1つ以上の実施形態では、少なくとも1つの選択可能仮想ユーザインターフェース要素は、3次元ブロックのスタックとして存在し、3次元ブロックのスタックは、別のユーザ入力に少なくとも部分的に基づいて、回転される。1つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザから受信される別のユーザ入力に基づいて、少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップであって、仮想インターフェース要素は、少なくとも1つの他のサブ仮想インターフェース要素に関連付けられる、ステップと、少なくとも1つの他のサブ仮想インターフェース要素を選択された仮想インターフェース要素の下に表示するステップとを含む。
1つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザから受信される別のユーザ入力に基づいて、少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、仮想ボックス内に、選択された仮想インターフェース要素に関連付けられたコンテンツを表示するステップであって、仮想ボックスは、ユーザの視野内に表示されるコンテンツを備えている、ステップとを含む。
1つ以上の実施形態では、本方法はさらに、仮想ボックスが閉鎖されるべきことを示す、第2のユーザ入力を識別するステップと、少なくとも部分的に第2のユーザ入力に基づいて、仮想ボックスを紙をくしゃくしゃに丸めることに似た様式で動画化するステップと、選択された仮想インターフェース要素に関連付けられたコンテンツを終了させるステップとを含む。1つ以上の実施形態では、第2のユーザ入力は、ジェスチャを含み、ジェスチャは、1枚の紙をくしゃくしゃに丸めることに似ている。
さらに別の側面では、仮想ユーザインターフェースを表示する方法は、ユーザ入力に基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、少なくとも1つの物理オブジェクトに関係して、1つ以上の選択可能仮想インターフェース要素を備えているフローティング式ユーザインターフェースを表示するステップとを含み、フローティング式ユーザインターフェースは、少なくとも1つの物理オブジェクト上に置かれているように見え、少なくとも1つの物理オブジェクトの縦軸の周りでの少なくとも1つの物理オブジェクトの回転は、追加の選択可能仮想インターフェース要素が表示されることをもたらし、追加の選択可能仮想インターフェース要素は、少なくとも1つの物理オブジェクトの別の側に静置されるように見える。
1つ以上の実施形態では、少なくとも1つの物理オブジェクトは、ユーザの腕を備えている。1つ以上の実施形態では、ユーザ入力は、ジェスチャを含む。1つ以上の実施形態では、ジェスチャは、選択可能仮想インターフェース要素が表示されるように見える、ユーザの腕上におけるユーザの手のカップを形成するような運動を含む。
1つ以上の実施形態では、本方法はさらに、ユーザの腕上におけるユーザの手のカップを形成するような運動の場所を決定するステップを含み、フローティング式ユーザインターフェースは、決定された場所から生じる。1つ以上の実施形態では、本方法はさらに、別のユーザ入力に少なくとも部分的に基づいて、フローティング式仮想ユーザインターフェースのレンダリングを終了させるステップを含む。
1つ以上の実施形態では、他のユーザ入力は、ジェスチャを含み、ジェスチャは、物理オブジェクトを横断してユーザのカップ状の手をドラッグする運動を含む。1つ以上の実施形態では、フローティング式仮想ユーザインターフェースは、少なくとも部分的に手中心基準フレームに基づいて、作成される。1つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザから受信される別のユーザ入力に基づいて、少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、選択された仮想インターフェース要素に関連付けられたコンテンツを表示するステップであって、コンテンツは、フローティング式仮想インターフェースに関係して表示される、ステップとを含む。
1つ以上の実施形態では、表示されるコンテンツは、手中心基準フレームに対応する。1つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザから受信される入力に基づいて、フローティング式仮想ユーザインターフェースが移動している場合、表示されるコンテンツが静止したままであるように、表示されるコンテンツを手中心基準フレームから世界中心基準フレームに移動させるステップを含む。
別の側面では、仮想ユーザインターフェースを作成する方法は、ユーザ入力に基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、少なくとも1つの物理オブジェクトに関係して、少なくとも1つの物理オブジェクトにタッチした場所から生じる、仮想ユーザインターフェースを表示するステップとを含み、仮想ユーザインターフェースは、少なくとも1つの物理オブジェクトにタッチした場所から飛び出ているように見え、仮想ユーザインターフェースは、仮想ユーザインターフェースに取り付けられるように見える少なくとも1つの選択可能仮想ユーザインターフェース要素を備えている。
1つ以上の実施形態では、少なくとも1つの物理オブジェクトは、水平表面を備えている。1つ以上の実施形態では、ユーザ入力は、ジェスチャを含む。1つ以上の実施形態では、ジェスチャは、所定の期間の間、伸ばされた指が少なくとも1つの物理オブジェクトをタッチすることを含む。1つ以上の実施形態では、本方法はさらに、ユーザの指が少なくとも1つの物理オブジェクトにタッチした場所を決定するステップを含み、仮想ユーザインターフェースは、決定された場所から生じる。
1つ以上の実施形態では、本方法はさらに、別のユーザ入力に少なくとも部分的に基づいて、フローティング式仮想ユーザインターフェースのレンダリングを終了させるステップを含む。1つ以上の実施形態では、他のユーザ入力は、ジェスチャを含み、ジェスチャは、レンダリングされた仮想ユーザインターフェースを横断して、ユーザの手を用いて切断する運動を含む。1つ以上の実施形態では、仮想ユーザインターフェースは、仮想ユーザインターフェースがユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される。
1つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザから受信される別のユーザ入力に基づいて、少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、少なくとも1つの物理オブジェクトの別の場所に、第2の仮想ユーザインターフェースを生成するステップであって、第2の仮想ユーザインターフェースは、追加の選択可能仮想インターフェース要素を備えている、ステップとを含む。1つ以上の実施形態では、仮想ユーザインターフェースは、少なくとも1つの物理オブジェクトにタッチした場所から生える木に類似する。
別の側面では、仮想ユーザインターフェースを表示する方法は、ユーザ入力に基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、仮想ユーザインターフェースが指の移動を鏡映するように、ユーザの指の運動を鏡映するような仮想ユーザインターフェースを描写するステップと、1つ以上の選択可能ユーザインターフェース要素を仮想ユーザインターフェースが描写されているエリア内に表示するステップとを含む。1つ以上の実施形態では、指ジェスチャは、所定の期間の間、ユーザの手の少なくとも1本の指を用いて指示するジェスチャを含む。
1つ以上の実施形態では、本方法はさらに、指示ジェスチャの場所を決定するステップを含み、仮想ユーザインターフェースは、決定された場所から生じる。1つ以上の実施形態では、本方法はさらに、ユーザが仮想ユーザインターフェースをもはや描写していないことを検出するステップを含み、仮想ユーザインターフェース要素は、少なくとも部分的に検出に基づいて、表示される。1つ以上の実施形態では、仮想ユーザインターフェースの描写は、空間を横断したユーザの指のドラッグ運動を鏡映する。1つ以上の実施形態では、本方法はさらに、別のユーザ入力に少なくとも部分的に基づいて、フローティング式仮想ユーザインターフェースのレンダリングを終了させるステップを含む。
1つ以上の実施形態では、他のユーザ入力は、ジェスチャを含み、ジェスチャは、ユーザの指の連続ドラッグ運動の終了を含む。1つ以上の実施形態では、仮想ユーザインターフェースは、仮想ユーザインターフェースがユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される。
1つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザから受信される別のユーザ入力に基づいて、少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、仮想ユーザインターフェースに関係する選択された仮想インターフェース要素に関連付けられたコンテンツを生成するステップとを含む。1つ以上の実施形態では、仮想ユーザインターフェースの形状は、ユーザの指によって描写される形状に類似する。
別の側面では、仮想ユーザインターフェースを作成する方法は、ユーザの手のジェスチャに基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、仮想ユーザインターフェースが物理オブジェクトの垂直側面にあるように見えるように、手のジェスチャの方向における物理オブジェクトの垂直側面の手のジェスチャに応答して、少なくとも1つの選択可能仮想インターフェース要素を有する仮想ユーザインターフェースを表示するステップとを含む。
1つ以上の実施形態では、本方法はさらに、手のジェスチャに応答して、塗料の斑点に似た仮想コンテンツの集合を表示するステップを含み、仮想コンテンツは、手のジェスチャによって示される点において生じる。1つ以上の実施形態では、手のジェスチャは、物理オブジェクトの垂直側面の方向に振り上げられた伸ばされた指を含む。1つ以上の実施形態では、本方法はさらに、物理オブジェクトの垂直側面の方向に振り上げられた伸ばされた指の場所を決定するステップを含み、塗料の斑点に似た仮想コンテンツの集合は、決定された場所に表示される。
1つ以上の実施形態では、本方法はさらに、仮想斑点を物理オブジェクトの垂直側面に表示するステップを含み、仮想斑点の少なくとも1つの特性は、少なくとも部分的に物理オブジェクトの垂直側面の方向に振り上げられた伸ばされた指の決定された場所に基づいて、物理オブジェクトの垂直側面に表示される。1つ以上の実施形態では、物理オブジェクトは、壁を備えている。
1つ以上の実施形態では、仮想ユーザインターフェースは、仮想ユーザインターフェースがユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される。1つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザから受信される別のユーザ入力に基づいて、少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、物理オブジェクトの別の場所に、選択されたユーザインターフェース要素に関連付けられたコンテンツを生成するステップとを含む。
1つ以上の実施形態では、本方法はさらに、選択されたユーザインターフェース要素に関連付けられたコンテンツを縮小形態で記憶するステップを含み、縮小形態は、仮想バンドを備え、仮想バンドは、ユーザの手の周囲に表示される。1つ以上の実施形態では、仮想バンドは、仮想バンドが、少なくとも部分的に手の移動に基づいて、移動するように、少なくとも部分的に手中心基準フレームに基づいて、作成される。
1つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザの別のジェスチャに基づいて、コンテンツを完全形態で表示するステップを含む。1つ以上の実施形態では、他のジェスチャは、仮想バンドが表示される、手の振り上げる運動を含む。
別の側面では、仮想ユーザインターフェースを作成する方法は、ユーザの手のジェスチャに基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、手のジェスチャに応答して、仮想ユーザインターフェースを表示するステップとを含み、仮想ユーザインターフェースは、少なくとも1つの選択可能仮想インターフェース要素が、少なくとも部分的にユーザの別の手のジェスチャに基づいて、移動し、追加の選択可能仮想インターフェース要素を表示するように、少なくとも1つの選択可能仮想インターフェース要素を有する水平糸に似ている。
1つ以上の実施形態では、手のジェスチャは、ユーザの第1の手の第1の指を第2の手の第2の指を用いてタッチする運動を含む。1つ以上の実施形態では、ジェスチャはさらに、第1の指が第2の指から引き離されるように、第1の指および第2の指の両方を引き離す運動を含む。1つ以上の実施形態では、仮想糸は、第1および第2の指の移動の長さを鏡映し、仮想糸の長さは、少なくとも部分的に第1および第2の指の移動に基づく。
1つ以上の実施形態では、本方法はさらに、第1および第2の指のタッチ運動を決定するステップを含み、仮想糸は、決定された場所から生じる。1つ以上の実施形態では、他方の手のジェスチャは、ユーザの手の転向運動を含み、転向移動は、少なくとも1つの選択可能仮想インターフェース要素を転向運動の方向に移動させる。
1つ以上の実施形態では、仮想ユーザインターフェースは、仮想ユーザインターフェースがユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される。1つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザの別の手のジェスチャに基づいて、少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、物理オブジェクトの別の場所に、選択されたユーザインターフェース要素に関連付けられたコンテンツを生成するステップとを含む。1つ以上の実施形態では、他方の手のジェスチャは、ユーザの一方の手を前方に持って来る運動を含む。
別の側面では、仮想ユーザインターフェースを作成する方法は、ユーザの手のジェスチャに基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、手のジェスチャに応答して、仮想ユーザインターフェースを表示するステップであって、仮想ユーザインターフェースは、垂直糸の集合を備え、垂直糸の各々は、少なくとも1つの選択可能仮想インターフェース要素に関連付けられる、ステップとを含む。
1つ以上の実施形態では、手のジェスチャは、所定の期間の間、ユーザの第1の手を広げるジェスチャを含む。1つ以上の実施形態では、本方法はさらに、別の手のジェスチャに少なくとも部分的に基づいて、少なくとも1つの選択可能仮想インターフェース要素を選択するステップを含み、他方の手のジェスチャは、ユーザの2本の指を用いて、仮想糸の集合の仮想糸のうちの少なくとも1つを引っ張る運動を含む。
1つ以上の実施形態では、本方法はさらに、手のジェスチャに少なくとも部分的に基づいて、第1の仮想糸に関連付けられた第1の仮想要素に関連付けられたデータを第2の仮想糸に関連付けられた第2の仮想要素に伝送するステップを含む。1つ以上の実施形態では、他方の手のジェスチャは、第2の仮想糸に関連付けられた第2の仮想要素を用いた第1の仮想糸に関連付けられた第1の仮想要素の圧搾運動を含み、圧搾運動は、ユーザの指によって行われる。
1つ以上の実施形態では、仮想インターフェースは、少なくとも1つの物理オブジェクトに関係して表示される。1つ以上の実施形態では、少なくとも1つの物理オブジェクトは、壁を備えている。1つ以上の実施形態では、本方法はさらに、手のジェスチャの場所を決定するステップを含み、仮想糸は、決定された場所から生じる。
1つ以上の実施形態では、仮想ユーザインターフェースは、仮想ユーザインターフェースがユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される。1つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザの別の手のジェスチャに基づいて、少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、物理オブジェクトの別の場所に、選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成するステップとを含む。
別の側面では、仮想ユーザインターフェースを作成する方法は、ユーザの手のジェスチャに基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、手のジェスチャに応答して、仮想ユーザインターフェースを表示するステップであって、仮想ユーザインターフェースは、垂直糸の集合を備え、垂直糸の各々は、少なくとも1つの選択可能仮想インターフェース要素に関連付けられる、ステップとを含む。1つ以上の実施形態では、手のジェスチャは、所定の期間の間、ユーザの第1の手を広げるジェスチャを含む。
1つ以上の実施形態では、本方法はさらに、別の手のジェスチャに少なくとも部分的に基づいて、少なくとも1つの選択可能仮想インターフェース要素を選択するステップを含み、他方の手のジェスチャは、ユーザの2本の指を用いて、仮想糸の集合の仮想糸のうちの少なくとも1つを引っ張る運動を含む。1つ以上の実施形態では、本方法はさらに、手のジェスチャに少なくとも部分的に基づいて、第1の仮想糸に関連付けられた第1の仮想要素に関連付けられたデータを第2の仮想糸に関連付けられた第2の仮想要素に伝送するステップを含む。
1つ以上の実施形態では、他方の手のジェスチャは、第2の仮想糸に関連付けられた第2の仮想要素を用いた第1の仮想糸に関連付けられた第1の仮想要素の圧搾運動を含み、圧搾運動は、ユーザの指によって行われる。1つ以上の実施形態では、仮想インターフェースは、少なくとも1つの物理オブジェクトに関係して表示される。1つ以上の実施形態では、少なくとも1つの物理オブジェクトは、壁を備えている。
1つ以上の実施形態では、本方法はさらに、手のジェスチャの場所を決定するステップを含み、仮想糸は、決定された場所から生じる。1つ以上の実施形態では、仮想ユーザインターフェースは、仮想ユーザインターフェースがユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される。
1つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザの別の手のジェスチャに基づいて、少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、物理オブジェクトの別の場所に、選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成するステップとを含む。
さらに別の側面では、仮想ユーザインターフェースを作成する方法は、ユーザの手のジェスチャに基づいて、ユーザに表示されるべきユーザインターフェースを識別するステップと、手のジェスチャに応答して、仮想ユーザインターフェースを表示するステップとを含み、仮想ユーザインターフェースは、仮想クモの巣に似ており、ユーザは、仮想クモの巣の仮想糸を引っ張り、仮想インターフェースをユーザにより近付ける。
1つ以上の実施形態では、手のジェスチャは、ユーザの手の握り拳を用いて引っ張る運動を含む。1つ以上の実施形態では、仮想クモの巣の仮想糸は、少なくとも1つの選択可能仮想要素を備えている。1つ以上の実施形態では、本方法はさらに、別の手のジェスチャに少なくとも部分的に基づいて、少なくとも1つの選択可能仮想インターフェース要素を選択するステップを含み、他方の手のジェスチャは、仮想糸のうちの少なくとも1つをユーザに向かって引っ張る運動を含む。
1つ以上の実施形態では、本方法はさらに、手のジェスチャに少なくとも部分的に基づいて、第1の仮想糸に関連付けられた第1の仮想要素に関連付けられたデータを第2の仮想糸に関連付けられた第2の仮想要素に伝送するステップを含む。1つ以上の実施形態では、他方の手のジェスチャは、第2の仮想糸に関連付けられた第2の仮想要素を用いた第1の仮想糸に関連付けられた第1の仮想要素の圧搾運動を含み、圧搾運動は、ユーザの指によって行われる。
1つ以上の実施形態では、仮想インターフェースは、少なくとも1つの物理オブジェクトに関係して表示される。1つ以上の実施形態では、少なくとも1つの物理オブジェクトは、壁を備えている。1つ以上の実施形態では、本方法はさらに、手のジェスチャの場所を決定するステップを含み、仮想クモの巣は、決定された場所から生じる。
1つ以上の実施形態では、仮想ユーザインターフェースは、仮想ユーザインターフェースがユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される。1つ以上の実施形態では、本方法はさらに、少なくとも部分的にユーザの別の手のジェスチャに基づいて、少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択するステップと、物理オブジェクトの別の場所に、選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成するステップとを含む。
本発明の付加的ならびに他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
マップデータを生成する方法であって、
1つ以上の画像に関連付けられたマップ点の集合を識別することと、
低密度点の集合および高密度点の集合を前記識別されたマップ点から決定することと、
前記それぞれの低密度点および高密度点の集合の正規化を行うことと
を含む、方法。
(項目2)
前記それぞれの低密度点および高密度点の集合のための低密度および高密度点記述子を生成することと、
前記低密度点記述子および高密度点記述子を組み合わせ、マップデータとして記憶することと
をさらに含む、項目1に記載の方法。
(項目3)
前記低密度点の集合は、固有の特徴に対応する、項目1に記載の方法。
(項目4)
前記固有の特徴は、角、円形、三角形、およびテキストから成る群から選択される、項目3に記載の方法。
(項目5)
前記高密度点の集合は、視野内の3D点に対応する、項目1に記載の方法。
(項目6)
前記高密度点の集合はまた、色値を含む、項目5に記載の方法。
(項目7)
前記正規化は、スケール正規化を備えている、項目1に記載の方法。
(項目8)
前記正規化は、共通原点に対する座標正規化を備えている、項目1に記載の方法。
(項目9)
前記正規化は、機械学習を使用して実装される、項目1に記載の方法。
(項目10)
前記低密度および高密度点記述子は、前記それぞれの低密度および高密度点の集合の各低密度および高密度点に対応する、項目1に記載の方法。
(項目11)
各低密度および高密度点記述子は、スケール、配向、パッチデータ、およびテクスチャから成る群から選択される、それぞれの低密度および高密度点に関する情報を含む、項目10に記載の方法。
(項目12)
ユーザ入力を決定する方法であって、
ユーザの視野の画像を捕捉することであって、前記画像は、前記ユーザによって作成されたジェスチャを含む、ことと、
前記捕捉された画像を分析し、前記ジェスチャに関連付けられた点の集合を識別することと、
前記識別された点の集合を所定のジェスチャのデータベースに関連付けられた点の集合と比較することと、
認識されたジェスチャに基づいて、ユーザ入力を決定することと
を含む、方法。
(項目13)
前記比較に基づいて、前記識別された点の集合のためのスコア化値を生成することをさらに含む、項目12に記載の方法。
(項目14)
前記スコア化値が閾値を超えている場合、前記ジェスチャを認識することをさらに含む、項目13に記載の方法。
(項目15)
前記所定のジェスチャをデータベース内に記憶することをさらに含む、項目12に記載の方法。
(項目16)
ネットワーク化されたメモリにアクセスし、前記所定のジェスチャのデータベースにアクセスすることをさらに含む、項目15に記載の方法。
(項目17)
前記ジェスチャは、手のジェスチャである、項目12に記載の方法。
(項目18)
前記ジェスチャは、指ジェスチャである、項目12に記載の方法。
(項目19)
前記ジェスチャは、指間相互作用である、項目12に記載の方法。
(項目20)
前記ジェスチャは、指間相互作用、指示、タップ、および摩擦から成る群から選択される、項目12に記載の方法。
(項目21)
前記決定されたユーザ入力に少なくとも部分的に基づいて、1つ以上の仮想オブジェクトを前記ユーザに表示することをさらに含む、項目12に記載の方法。
(項目22)
前記1つ以上の仮想オブジェクトは、仮想ユーザインターフェースを備えている、項目21に記載の方法。
(項目23)
方法であって、
ユーザの視野に対応する1つ以上の画像を捕捉することと、
前記捕捉された1つ以上の画像を分析し、前記ユーザによって作成された1つ以上のジェスチャを識別することであって、前記分析は、複数の段階を有するカスケード機構を利用することを含む、ことと
を含む、方法。
(項目24)
前記カスケード機構は、複数のノードを備え、各ノードは、前記複数の段階のうちのある段階に対応する、項目23に記載の方法。
(項目25)
前記カスケード機構は、一連のパーミッシブ型分析ノードを備えている、項目23に記載の方法。
(項目26)
前記カスケード機構の前記複数の段階のうちの前の段階は、前記カスケード機構の前記複数の段階のうちの後の段階と比較して少ない処理電力を消費する、項目23に記載の方法。
(項目27)
非ジェスチャは、前記カスケード機構の前記前の段階において捕捉された画像の分析に基づいて、除去される、項目26に記載の方法。
(項目28)
前記複数の段階のうちの前記後の段階は、前記捕捉された画像に少なくとも部分的に基づいて、より複雑なジェスチャを決定する、項目26に記載の方法。
(項目29)
前記捕捉された画像の分析は、前記捕捉された画像内の種々の形状の輪郭の鮮鋭度がジェスチャを構成するために十分に鮮鋭であるかどうかを決定することを含む、項目26に記載の方法。
(項目30)
前記カスケード機構の前記後の段階は、異なるジェスチャ間で区別するために利用される、項目26に記載の方法。
(項目31)
前記分析に少なくとも部分的に基づいて、スコアを生成することをさらに含む、項目23に記載の方法。
(項目32)
前記生成されたスコアが最小閾値より低い場合、候補画像を検討から除くことをさらに含む、項目31に記載の方法。
(項目33)
前記生成されたスコアが最小閾値より高い場合、前記カスケード機構の前記後の段階に前進することをさらに含む、項目31に記載の方法。
(項目34)
方法であって、
ユーザのそれぞれの視野の複数の画像を捕捉することと、
前記複数の画像を分析し、複数のジェスチャ候補を生成することと、
前記複数の分析値に対応する分析値を生成することであって、ジェスチャが、前記分析値に少なくとも部分的に基づいて、認識される、ことと
を含む、方法。
(項目35)
前記それぞれの分析値に少なくとも部分的に基づいて、前記ジェスチャ候補をソートすることをさらに含む、項目34に記載の方法。
(項目36)
最小閾値より低い分析値を有するジェスチャ候補を排除することをさらに含む、項目34に記載の方法。
(項目37)
前記分析値が最小閾値より高い場合、前記ジェスチャ候補を処理の次の段階に前進させることをさらに含む、項目34に記載の方法。
(項目38)
ジェスチャを分類する方法であって、
ユーザの視野の画像を捕捉することと、
深度区画化を前記捕捉された画像に行い、深度マップを生成することと、
前記生成された深度マップに少なくとも部分的に基づいて、ジェスチャを識別することと
を含む、方法。
(項目39)
分類機構を使用して、前記深度マップを分析し、前記深度マップ内の点に対応する手の一部を識別することをさらに含む、項目38に記載の方法。
(項目40)
前記手の一部の識別に基づいて、前記深度マップを骨格化することをさらに含む、項目39に記載の方法。
(項目41)
前記骨格化された深度マップに基づいて、前記画像をジェスチャとして分類することをさらに含む、項目40に記載の方法。
(項目42)
前記深度区画化は、線検索を備えている、項目38に記載の方法。
(項目43)
カスケード分析を前記深度マップに行い、前記画像を前記ジェスチャとして分類することをさらに含む、項目38に記載の方法。
(項目44)
深度拡張を前記深度マップに行うことをさらに含む、項目38に記載の方法。
(項目45)
表面正規化を前記深度マップに行うことをさらに含む、項目38に記載の方法。
(項目46)
配向正規化を前記深度マップに行うことをさらに含む、項目38に記載の方法。
(項目47)
背景減算を前記深度マップに行うことをさらに含む、項目38に記載の方法。
(項目48)
深度比較を前記深度マップに行うことをさらに含む、項目38に記載の方法。
(項目49)
前記骨格化された深度マップおよび以前の情報に基づいて、前記画像をジェスチャとして分類することをさらに含む、項目38に記載の方法。
(項目50)
前記分類機構は、決定森である、項目38に記載の方法。
(項目51)
ユーザ入力を決定する方法であって、
1つ以上のユーザの視野の画像を捕捉することであって、前記画像は、少なくとも所定の物理オブジェクトを備えている、ことと、
前記画像を分析し、前記所定の物理オブジェクトに関係する前記ユーザの移動を検出することと、
前記所定の物理オブジェクトに関係する前記移動の分析に少なくとも部分的に基づいて、ユーザ入力を決定することと
を含む、方法。
(項目52)
前記所定の物理オブジェクトを認識することをさらに含む、項目51に記載の方法。
(項目53)
前記所定の物理オブジェクトは、前記所定の物理オブジェクトの捕捉された画像と所定の物理オブジェクトのデータベースとの間の画像比較に少なくとも部分的に基づいて、認識される、項目52に記載の方法。
(項目54)
前記所定の物理オブジェクトに関係する前記ユーザの前記移動は、パターンを生成するために使用される、項目51に記載の方法。
(項目55)
前記生成されたパターンを所定のパターンのデータベースと比較することをさらに含む、項目54に記載の方法。
(項目56)
前記比較に基づいて、前記認識されたパターンのためのスコア化値を生成することをさらに含む、項目51に記載の方法。
(項目57)
前記スコア化値が閾値を超えている場合、前記ユーザ入力を決定することをさらに含む、項目56に記載の方法。
(項目58)
前記所定の物理オブジェクトに関係する前記移動を視覚的に追跡し、ビデオ録画を生成することをさらに含む、項目51に記載の方法。
(項目59)
前記ビデオ録画は、前記ユーザ入力を決定するために分析される、項目58に記載の方法。
(項目60)
ネットワーク化されたメモリを通して、前記所定のパターンのデータベースにアクセスすることをさらに含む、項目55に記載の方法。
(項目61)
前記所定の物理オブジェクトは、前記視野内の既存の構造、能動的にマークされたトーテム、受動的にマークされたトーテム、カメラ/センサに統合されたオブジェクト、およびトーテムコントローラオブジェクトから成る群から選択される、項目51に記載の方法。
(項目62)
前記所定の物理オブジェクトに関係する前記移動は、基準フレームに対する前記所定の物理オブジェクトの位置、配向、および移動から成る群から選択される、項目51に記載の方法。
(項目63)
前記所定の物理オブジェクトは、前記ユーザの手のうちの第1の手を備え、前記第1の手に関係する移動は、前記ユーザの手のうちの第2の手を用いた前記第1の手の操作を備えている、項目51に記載の方法。
(項目64)
前記所定の物理オブジェクトは、軟質硬度表面を有し、前記所定の物理オブジェクトに関係する移動は、前記ユーザによる前記軟質硬度表面の押下を備えている、項目51に記載の方法。
(項目65)
前記ユーザのための前記所定の物理オブジェクトに関連付けられた仮想インターフェース要素をレンダリングすることをさらに含む、項目51に記載の方法。
(項目66)
前記仮想インターフェース要素は、前記ユーザによって視認されると、前記仮想インターフェース要素が、前記所定の物理オブジェクトに関係する修正に少なくとも部分的に基づいて、修正されるように、前記所定の物理オブジェクトに関係して表示される、項目65に記載の方法。
(項目67)
前記所定の物理オブジェクトは、電子入力デバイスを備え、ユーザ入力は、前記所定の物理オブジェクトの認識された移動に基づいて、決定され、前記電子入力デバイスから入力される、項目51に記載の方法。
(項目68)
前記決定されたユーザ入力に少なくとも部分的に基づいて、前記ユーザに表示される仮想コンテンツの少なくとも1つの特性を修正することをさらに含む、項目51に記載の方法。
(項目69)
仮想ユーザインターフェースを生成する方法であって、
ユーザ入力に基づいて、ユーザに表示されるべき仮想ユーザインターフェースを識別することと、
前記ユーザに関連付けられた場所を得ることと、
前記得られた場所に少なくとも部分的に基づいて、前記識別された仮想ユーザインターフェースを表示すべき座標点の集合を決定することと、
前記決定された座標点において、前記仮想ユーザインターフェースを前記ユーザに表示することと
を含む、方法。
(項目70)
前記ユーザ入力は、認識されたジェスチャに少なくとも部分的に基づいて、決定される、項目69に記載の方法。
(項目71)
前記ユーザ入力は、音声コマンドに少なくとも部分的に基づいて、決定される、項目69に記載の方法。
(項目72)
前記ユーザ入力は、所定の物理オブジェクトとの相互作用に少なくとも部分的に基づいて、決定される、項目69に記載の方法。
(項目73)
前記識別されたユーザ仮想ユーザインターフェースをユーザインターフェースのライブラリから読み出すことをさらに含む、項目69に記載の方法。
(項目74)
前記識別された仮想ユーザインターフェースは、基準フレームに関連付けられている、項目69に記載の方法。
(項目75)
前記基準フレームは、身体中心基準フレームである、項目74に記載の方法。
(項目76)
前記基準フレームは、頭部中心基準フレームである、項目74に記載の方法。
(項目77)
前記基準フレームは、手中心基準フレームである、項目74に記載の方法。
(項目78)
前記基準フレームは、世界中心基準フレームである、項目74に記載の方法。
(項目79)
前記識別された仮想ユーザインターフェースに関連付けられた基準フレームと前記世界に関係する前記ユーザの得られた場所との間の変換を行い、前記仮想ユーザインターフェースの座標点の集合を決定することをさらに含む、項目69に記載の方法。
(項目80)
前記世界内の前記ユーザの場所は、前記ユーザのGPS場所に基づいて、決定される、項目69に記載の方法。
(項目81)
前記世界内の前記ユーザの場所は、前記ユーザに関連付けられたマップ点の集合に基づいて、決定される、項目69に記載の方法。
(項目82)
前記仮想ユーザインターフェースは、前記ユーザが移動する場合、静止しているように見える、項目69に記載の方法。
(項目83)
前記仮想ユーザインターフェースは、前記ユーザの移動に関係して移動する、項目69に記載の方法。
(項目84)
前記識別された仮想ユーザインターフェースに関連付けられた基準フレームを決定することと、
前記世界基準フレームに関係する前記基準フレームの場所を決定することと、
前記決定された場所を原点として設定することと、
前記原点に関係する前記座標点の集合を決定することと
をさらに含む、項目69に記載の方法。
(項目85)
前記マップ点の集合をネットワーク化されたメモリから読み出すことをさらに含む、項目69に記載の方法。
(項目86)
前記ユーザ入力は、前記仮想ユーザインターフェースが表示されるべき空間内の場所を備えている、項目69に記載の方法。
(項目87)
前記空間内の場所は、前記ユーザの場所における物理エンティティに関連付けられている、項目86に記載の方法。
(項目88)
前記ユーザ入力は、壁を示す投げる入力を含むジェスチャを含む、項目69に記載の方法。
(項目89)
前記ユーザ入力は、前記仮想ユーザインターフェースを生成するための命令の終了を意味するジェスチャを含む、項目69に記載の方法。
(項目90)
仮想ユーザインターフェースを生成する方法であって、
所定の物理オブジェクトの操作を検出することと、
前記検出された操作に基づいて、仮想ユーザインターフェースを作成するためのコマンドを認識することと、
仮想世界モデルから、前記所定の物理オブジェクトの位置に関連付けられたマップ点の集合を決定することと、
前記仮想ユーザインターフェースが前記ユーザによって視認されると、前記所定の物理オブジェクトの位置に静止しているように見えるように、前記仮想ユーザインターフェースを前記トーテムの位置に関連付けられた前記決定されたマップ点にリアルタイムでレンダリングすることと
を含む、方法。
(項目91)
前記所定の物理オブジェクトの操作は、前記所定の物理オブジェクトの表面上で前記ユーザの手によって挟んだ状態を広げるジェスチャを含む、項目90に記載の方法。
(項目92)
前記仮想ユーザインターフェースは、前記ユーザによって視認されると、前記所定の物理オブジェクトの表面の一部を覆うように見え、前記部分は、前記挟んだ状態を広げるジェスチャの形成中の前記ユーザの手の場所に対応する、項目91に記載の方法。
(項目93)
前記所定の物理オブジェクトは、前記ユーザの手である、項目90に記載の方法。
(項目94)
前記所定の物理オブジェクトの操作は、前記ユーザが手を広げること、前記ユーザが手のひらを広げて見せること、および前記ユーザが手を挙げることから成る群から選択される、アクションを備えている、項目93に記載の方法。
(項目95)
前記仮想ユーザインターフェースは、前記ユーザによって視認されると、前記手の表面の一部を覆うように見える、項目94に記載の方法。
(項目96)
前記仮想ユーザインターフェースは、前記手の指または親指によって選択可能な複数の第1のレベルのメニューアイテムを備えている、項目95に記載の方法。
(項目97)
前記手のさらなる操作を検出することと、
前記検出されたさらなる操作に基づいて、第2の仮想ユーザインターフェースを作成するためのコマンドを認識することと、
前記ユーザによって視認されると、前記仮想ユーザインターフェースが前記所定の物理オブジェクトの位置において静止しているように見えるように、前記所定の物理オブジェクトの位置に関連付けられた前記決定されたマップ点に前記第2の仮想ユーザインターフェースをリアルタイムでレンダリングすることと
をさらに含む、項目96に記載の方法。
(項目98)
前記手のさらなる操作は、前記手の指が離れるように広げることを含む、項目97に記載の方法。
(項目99)
前記第2の仮想ユーザインターフェースは、前記手の指または親指によって選択可能な複数の第2のレベルのメニューアイテムを備え、前記第2のレベルは、前記第1のレベルより低い、項目98に記載の方法。
(項目100)
前記トーテムのさらなる操作は、前記ユーザの手のうちの第2の手からの指を用いて、前記手のひらに円を描写する運動を行なうことを含む、項目97に記載の方法。
(項目101)
前記第2の仮想ユーザインターフェースは、弧に配列された複数のメニューアイテムを備え、前記メニューアイテムは、前記第2の手の指によってスクロール可能かつ選択可能である、項目100に記載の方法。
(項目102)
仮想世界を更新する方法であって、
第1の入力を第1のユーザの第1のデバイスから受信することであって、前記第1の入力は、前記第1のユーザの物理環境に対応する、ことと、
前記受信された第1の入力に基づいて、仮想世界モデルを更新することであって、前記仮想世界モデルは、前記第1のユーザの物理環境に対応する、ことと、
前記仮想世界モデルの第1の部分に対応する第1の更新された情報を第2のユーザに伝送することと
を含み、
前記第1の更新された情報は、前記第1の更新された情報の任意の部分が前記第2のユーザに表示される必要があるかどうかを示す、方法。
(項目103)
前記仮想世界モデルは、ネットワーク化されたメモリ上に常駐する、項目102に記載の方法。
(項目104)
第1のユーザおよび前記第2のユーザは、それぞれの異なる場所に位置する、項目102に記載の方法。
(項目105)
前記第1のユーザの第1のデバイスは、FOVカメラ、他のカメラ、センサ、眼追跡用の第1のデバイス、およびオーディオ用の第1のデバイスから成る群から選択される、項目102に記載の方法。
(項目106)
前記仮想世界モデルの第1の部分に対応する前記第1の更新された情報を前記第1のユーザに伝送することをさらに含み、前記第1の更新された情報は、前記第1の更新された情報の任意の部分が前記第1のユーザに表示される必要があるかどうかを示す、項目102に記載の方法。
(項目107)
前記仮想世界モデルの第1の部分に対応する前記第1の更新された情報を複数の他のユーザに伝送することをさらに含み、前記第1の更新された情報は、前記第1の更新された情報の任意の部分が前記複数の他のユーザの各々に表示される必要があるかどうかを示す、項目102に記載の方法。
(項目108)
複数の入力を複数の他のユーザのそれぞれの第1のデバイスから受信することであって、前記複数の入力は、前記第1のユーザの物理環境に対応する、ことと、
前記受信された複数の入力に基づいて、前記仮想世界モデルを更新することと、
前記仮想世界モデルのそれぞれの追加の部分に対応する追加の更新された情報を前記第2のユーザに伝送することと
をさらに含み、
前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記第2のユーザに表示される必要があるかどうかを示す、項目102に記載の方法。
(項目109)
前記仮想世界モデルの前記部分に対応する前記追加の更新された情報を前記第1のユーザに伝送することをさらに含み、前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記第1のユーザに表示される必要があるかどうかを示す、項目108に記載の方法。
(項目110)
前記仮想世界モデルのそれぞれの追加の部分に対応する前記追加の更新された情報を前記複数の他のユーザに伝送することをさらに含み、前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記複数の他のユーザの各々に表示される必要があるかどうかを示す、項目108に記載の方法。
(項目111)
第2の入力を前記第2のユーザの第2のデバイスから受信することであって、前記第2の入力は、前記第2のユーザの物理環境に対応する、ことと、
前記受信された前記第2の入力に基づいて、前記仮想世界モデルを更新することであって、前記仮想世界モデルは、前記第1のユーザの物理環境に対応する、ことと、
前記仮想世界モデルの第2の部分に対応する第2の更新された情報を前記第1のユーザに伝送することと
をさらに含み、
前記第2の更新された情報は、前記第2の更新された情報の任意の部分が前記第1のユーザに表示される必要があるかどうかを示す、項目102に記載の方法。
(項目112)
前記第2の更新された情報は、前記仮想世界モデルの前記第2の部分内の前記第2のユーザのアバタの移動に対応する、項目111に記載の方法。
(項目113)
方法であって、
光パターンを空間上に投影することと、
カメラを用いて、前記光パターンの第1および第2の部分を検出し、前記パターンの前記第1および第2の部分に対応する第1および第2のデータ点を生成することと、
三角測量分析を行い、前記第1および第2のデータ点に少なくとも部分的に基づいて、前記光パターンの前記第1および第2の部分の場所を決定することと
を含む、方法。
(項目114)
前記パターンの複数の部分を投影し、検出し、三角測量するステップを繰り返し、前記空間の追加のテクスチャデータを取得することをさらに含む、項目113に記載の方法。
(項目115)
前記光を空間上に投影することは、ファイバベースのプロジェクタを使用して、前記光を前記空間上に投影することを含む、項目113に記載の方法。
(項目116)
前記光が前記空間上に投影される前に、光学要素を用いて前記光を修正し、光線の束を形成することをさらに含む、項目113に記載の方法。
(項目117)
前記光パターンは、構造化された光に対応し、前記光パターンは、動的である、項目113に記載の方法。
(項目118)
前記光パターンは、パターン化された光に対応し、前記光パターンは、複数の点を含む、項目113に記載の方法。
(項目119)
前記光パターンは、テクスチャ化された光に対応し、前記光パターンは、不規則である、項目113に記載の方法。
(項目120)
前記光パターンの前記第1および第2の部分は、前記光パターンのそれぞれの画素である、項目113に記載の方法。
(項目130)
仮想部屋を生成する方法であって、
ユーザに表示されるべき仮想部屋を識別することと、
前記仮想部屋に関連付けられた第1のマップ点の集合を得ることであって、前記第1のマップ点の集合は、前記ユーザの場所における第1の物理部屋に対応する、ことと、
前記仮想部屋を前記第1のマップ点の集合にテザリングすることと、
前記ユーザによって視認されると、前記仮想部屋が前記第1のマップ点の集合において静止しているように見えるように、前記仮想部屋を前記ユーザに表示することと
を含む、方法。
(項目131)
ユーザ入力に基づいて、前記仮想部屋を識別することをさらに含む、項目130に記載の方法。
(項目132)
前記ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される、項目131に記載の方法。
(項目133)
前記仮想部屋は、前記ユーザによって事前決定される、項目131に記載の方法。
(項目134)
前記第1のマップ点の集合をネットワーク化されたメモリから読み出すことをさらに含む、項目131に記載の方法。
(項目135)
前記仮想部屋に関連付けられた第2のマップ点の集合を得ることであって、前記第2のマップ点の集合は、前記ユーザが前記第1の物理部屋から移動した後の前記ユーザの場所における第2の物理部屋に対応する、ことと、
前記仮想部屋を前記第2のマップ点の集合にテザリングすることと、
前記ユーザによって視認されると、前記仮想部屋が前記第2のマップ点の集合において静止しているように見えるように、前記仮想部屋を前記ユーザに表示することと
をさらに含む、項目131に記載の方法。
(項目136)
前記仮想部屋はまた、第1および第2の仮想オブジェクトを含み、前記方法は、前記仮想部屋が前記第2のマップ点の集合にテザリングされている場合、前記第1のマップ点の集合に対応する前記第1の仮想オブジェクトと第2の仮想オブジェクトとの間の相対的空間位置を保つことをさらに含む、項目135に記載の方法。
(項目137)
前記ユーザによって視認されると、前記仮想部屋が前記第1の物理部屋の一部に対して静止しているように見えるように、前記仮想部屋を前記ユーザに表示することをさらに含む、項目131に記載の方法。
(項目138)
前記仮想部屋はまた、選択可能仮想装飾を含む、項目131に記載の方法。
(項目139)
小売体験を作成する方法であって、
小売店舗内のユーザの場所を認識することと、
前記小売店舗に対応するデータを読み出すことと、
前記読み出されたデータに基づいて、前記小売店舗に関連する仮想コンテンツを生成することと、
仮想ユーザインターフェースを前記ユーザの視野内に作成することと、
前記ユーザが前記小売店舗内で小売アクティビティに従事する間、前記仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
を含む、方法。
(項目140)
前記読み出されたデータは、前記小売店舗に対応するマップ点の集合を備え、
前記仮想ユーザインターフェースは、前記ユーザによって視認されると、前記マップ点の集合において静止しているように見える、項目139に記載の方法。
(項目141)
前記ユーザの場所は、無線周波数識別トランスポンダおよび通信を使用して認識される、項目139に記載の方法。
(項目142)
前記仮想コンテンツは、仮想キャラクタ、仮想クーポン、前記ユーザ場所に基づくゲーム、宣伝アイテムの一覧、栄養情報、アイテムに関連するメタデータ、有名人の登場、クロスセリング広告、前記ユーザに既知の人物からの情報、および電子書籍から成る群から選択される、項目139に記載の方法。
(項目143)
前記ユーザに対応するユーザデータを読み出すことと、
前記読み出されたデータおよび前記読み出されたユーザデータの両方に基づいて、前記仮想コンテンツを生成することと
をさらに含む、項目139に記載の方法。
(項目144)
前記仮想コンテンツは、仮想食料品一覧、仮想クーポン書籍、仮想レシピ書籍、前記ユーザの家内の種々の資材の一覧、および仮想レシピビルダから成る群から選択される、項目143に記載の方法。
(項目145)
ユーザ入力を受信することと、
前記ユーザ入力に基づいて、追加の仮想コンテンツを生成することと、
前記ユーザが前記小売店舗内の小売アクティビティに従事する間、前記追加の仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
をさらに含む、項目139に記載の方法。
(項目146)
前記ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される、項目145に記載の方法。
(項目147)
前記仮想コンテンツは、総運営コスト、スマート仮想食料品一覧、前記ユーザ場所に近接するアイテムのインジケータ、および仮想支払システムから成る群から選択される、項目145に記載の方法。
(項目148)
前記生成された仮想コンテンツを表示のためにユーザデバイスに送信することをさらに含む、項目139に記載の方法。
(項目149)
方法であって、
患者の医療履歴に関連する患者データを読み出すことと、
前記読み出された患者データに少なくとも部分的に基づいて、仮想コンテンツを生成することと、
前記第1のユーザの第1の場所に対応する第1のマップ点の集合を読み出すことと、
前記読み出されたマップ点の集合に少なくとも部分的に基づいて、第1の仮想ユーザインターフェースを第1のユーザの視野内に作成することと、
前記第1のユーザによって視認されると、前記第1の仮想ユーザインターフェースが前記第1のマップ点の集合において固定されているように見えるように、前記仮想コンテンツを前記第1の仮想ユーザインターフェース上に表示することと
を含む、方法。
(項目150)
前記仮想コンテンツは、外科手術の標的の3次元画像、患者識別情報、医療画像、患者のバイタルサイン情報、およびカルテから成る群から選択される、項目149に記載の方法。
(項目151)
前記患者データは、ネットワーク化されたメモリから読み出される、項目149に記載の方法。
(項目152)
第2の仮想ユーザインターフェースを生成し、前記第1のユーザと第2のユーザとの間の通信を促進することをさらに含み、前記第2のユーザは、前記第1のユーザの前記第1の場所と異なる第2の場所内に居る、項目149に記載の方法。
(項目153)
前記第2の仮想ユーザインターフェースは、前記第2のユーザの視覚的表現である、項目152に記載の方法。
(項目154)
前記第2のユーザは、上級専門外科医、患者、前記患者に関連する者、および医学生から成る群から選択される、項目152に記載の方法。
(項目155)
前記第2のユーザによって視認されると、前記第1の仮想ユーザインターフェースが前記マップ点の集合において固定されているように見えるように、前記仮想コンテンツを前記第1の仮想ユーザインターフェース上において前記第2のユーザに対して表示することをさらに含む、項目152に記載の方法。
(項目156)
前記仮想コンテンツは、前記外科手術手技中、前記第1のユーザに表示され、前記方法は、
ユーザ入力を受信することと、
前記ユーザ入力に基づいて、追加の仮想コンテンツを生成することと、
前記第1のユーザが前記外科手術手技を行っている間、前記追加の仮想コンテンツを前記第1の仮想ユーザインターフェース上に表示することと
をさらに含む、項目149に記載の方法。
(項目157)
前記ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される、項目156に記載の方法。
(項目158)
前記ユーザ入力は、前記第1のユーザの視野の画像を備え、前記方法は、前記第2のユーザによって視認されると、前記第1の仮想ユーザインターフェースが前記マップ点の集合において固定されているように見えるように、前記追加の仮想コンテンツを前記第1の仮想ユーザインターフェース上において前記第2のユーザに対して表示することをさらに含む、項目156に記載の方法。
(項目159)
医療リハビリテーションを促進する方法であって、
医療リハビリテーションに関連するユーザ入力を受信することと、
前記受信されたユーザ入力に基づいて、医療リハビリテーションに関連する要求をクラウドサーバに送信することと、
前記要求に基づいて、医療リハビリテーションに関連するデータを前記クラウドサーバに接続されている知識ベースから受信することと、
前記受信されたデータに基づいて、医療リハビリテーションに関連する仮想コンテンツを第1のユーザに表示することと
を含む、方法。
(項目160)
前記ユーザ入力は、視覚的、聴覚的、および感覚入力から成る群から選択される、項目159に記載の方法。
(項目161)
前記要求を前記クラウドサーバに送信する前に、前記ユーザ入力が有効であるかどうかを決定することをさらに含む、項目159に記載の方法。
(項目162)
前記データは、前記クラウドサーバに接続されている複数の知識ベースから受信される、項目159に記載の方法。
(項目163)
前記要求は、前記クラウドサーバに、データを前記知識ベースから読み出すように命令する、項目159に記載の方法。
(項目164)
前記仮想コンテンツは、リラックスさせる環境を含む、項目159に記載の方法。
(項目165)
追加のデータを第2のユーザから受信することと、
前記受信された追加のデータに基づいて、追加の仮想コンテンツを前記第1のユーザに表示することと
をさらに含む、項目159に記載の方法。
(項目166)
前記第1および第2のユーザは、異なる物理場所に位置する、項目165に記載の方法。
(項目167)
前記追加の仮想コンテンツは、前記第2のユーザの視覚的表現である、項目165に記載の方法。
(項目168)
第1のユーザデータを前記第1のユーザから受信することと、
第2のユーザデータを第2のユーザから受信することと、
前記受信された第1および第2のユーザデータに基づいて、前記仮想コンテンツを修正することと、
修正された仮想コンテンツを前記第1および第2のユーザに表示することと
をさらに含む、項目159に記載の方法。
(項目169)
前記第1のユーザは、医療リハビリテーションのための物理アクティビティに従事し、前記仮想コンテンツは、前記物理アクティビティに関連する、項目159に記載の方法。
(項目170)
前記仮想コンテンツは、前記物理アクティビティについての情報、前記第1のユーザのパフォーマンス統計、前記物理アクティビティに対応する仮想体験、および仮想アバタから成る群から選択される、項目169に記載の方法。
(項目171)
前記データは、ネットワーク化されたメモリから読み出される、項目159に記載の方法。
(項目172)
タスクのパフォーマンスを向上させる方法であって、
ユーザによって行われるべきタスクに関連するタスクデータを読み出すことと、
前記タスクデータに基づいて、仮想コンテンツを生成することと、
仮想ユーザインターフェースを前記ユーザの視野内に作成することと、
前記ユーザの場所に対応するマップ点の集合を読み出すことと、
前記ユーザによって視認されると、前記仮想ユーザインターフェースが前記マップ点の集合において固定されているように見えるように、前記ユーザが前記タスクを行っている間、前記仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
を含む、方法。
(項目173)
前記仮想コンテンツは、仮想マップされたパターンを有するゲームであり、前記ゲームは、前記ユーザによる前記タスクのパフォーマンスを改良する、項目172に記載の方法。
(項目174)
前記ゲームは、前記仮想マップされたパターンに従うことに対してポイントを与える、項目173に記載の方法。
(項目175)
前記ゲームは、前記仮想マップされたパターン内の地点に所定の時間内に到達することに対してポイントを倍にする、項目174に記載の方法。
(項目176)
前記ゲームは、前記仮想マップされたパターンから外れることに対してポイントを差し引く、項目175に記載の方法。
(項目177)
前記ゲームは、物理オブジェクトに隣接して移動することに対してポイントを差し引く、項目175に記載の方法。
(項目178)
前記タスクは、造園機械を運転すること、在庫アイテムを読み出すこと、小売棚に陳列すること、および郵便をソートすることから成る群から選択される、項目172に記載の方法。
(項目179)
前記タスクデータは、ネットワーク化されたメモリから読み出される、項目172に記載の方法。
(項目180)
ユーザ入力を受信することと、
前記ユーザ入力に基づいて、追加の仮想コンテンツを生成することと、
前記ユーザが前記タスクを行っている間、前記追加の仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
をさらに含む、項目172に記載の方法。
(項目181)
前記ユーザ入力は、前記タスクのパフォーマンスに関連するユーザアクションを備えている、項目180に記載の方法。
(項目182)
拡張現実ディスプレイシステムにおける遅延を補正する方法であって、
仮想画像をユーザに表示する少なくとも1つの段階における1つ以上のタイミング不一致を決定することと、
予測機構を利用して、前記タイミング不一致を予測的に補正することと、
前記予測機構に少なくとも部分的に基づいて、前記仮想画像のデータに関連する少なくとも1つの特性を補償することと
を含む、方法。
(項目183)
前記タイミング不一致は、1つ以上のセンサによって行われる1つ以上のセンサ測定に関わり、前記1つ以上のセンサは、前記プロセッサに通信可能に結合されている、項目182に記載の方法。
(項目184)
前記タイミング不一致は、着信データを処理するときの処理遅延に関わる、項目182に記載の方法。
(項目185)
前記予測機構は、フィルタを利用して、前記タイミング不一致の影響を補正する、項目182に記載の方法。
(項目186)
前記フィルタは、1つ以上のセンサ測定の相対的スピードを考慮し、前記センサ測定は、前記プロセッサに通信可能に結合されている1つ以上のセンサによって行われる、項目185に記載の方法。
(項目187)
前記予測機構は、カルマン予測子を利用する、項目182に記載の方法。
(項目188)
前記カルマン予測子は、ディスプレイ処理段階中、利用される、項目187に記載の方法。
(項目189)
前記補償は、前記仮想画像に関連付けられたデータのシフトを行うことを含む、項目182に記載の方法。
(項目190)
前記補償は、前記仮想画像に関連付けられた1つ以上の視覚的アーチファクトを平滑化することを含む、項目182に記載の方法。
(項目191)
前記補償は、1つ以上のセンサのセンサ測定の負の影響を補正することを含み、前記1つ以上のセンサは、前記プロセッサに通信可能に結合されている、項目182に記載の方法。
(項目192)
拡張現実システムを較正する方法であって、
仮想画像をユーザに表示することであって、前記仮想画像は、既知の焦点距離に表示され、前記仮想画像は、画素点を備えている、ことと、
前記画素点が前記ユーザに表示されている場所を決定することであって、前記画素の場所は、前記ユーザの眼の瞳孔の場所に少なくとも部分的に基づいて、計算される、ことと、
前記仮想画像の画素点を空間内の既知の点と整列させることと
を含む、方法。
(項目193)
項目331のステップは、複数の画素点に対して繰り返される、項目192に記載の方法。
(項目194)
前記画素点が前記ユーザに表示されている場所は、前記空間内の既知の点の場所に少なくとも部分的に基づいて、計算される、項目192に記載の方法。
(項目195)
前記瞳孔の場所、前記画素点の場所および前記空間内の既知の点の場所は、同一線上にある、項目192に記載の方法。
(項目196)
前記画素点が前記ユーザに表示されている場所は、ユーザ入力に基づいて、修正される、項目192に記載の方法。
(項目197)
複数の画素点が前記ユーザに提示されるように、ゲーム用インターフェースを作成することをさらに含む、項目196に記載の方法。
(項目198)
前記ゲーム用インターフェースは、前記ユーザの眼移動を通してレーザを発射することを含む、項目197に記載の方法。
(項目199)
前記既知の点の場所は、1つ以上の世界カメラから受信されるデータに少なくとも部分的に基づいて、決定される、項目197に記載の方法。
(項目200)
項目1のステップは、前記ユーザの他方の眼に対して繰り返される、項目192に記載の方法。
(項目201)
前記画素点の場所は、前記瞳孔の場所および前記既知の点の場所の関数に少なくとも部分的に基づいて、決定される、項目193に記載の方法。
(項目202)
前記関数は、二次関数を備えている、項目201に記載の方法。
(項目203)
仮想インターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも1つの物理オブジェクトに関係して、アバタユーザインターフェースを表示することであって、前記アバタユーザインターフェースは、少なくとも1つの仮想ユーザインターフェース要素を提示する、ことと、
前記ユーザと前記アバタユーザインターフェースとの間の相互作用に少なくとも部分的に基づいて、少なくとも1つの仮想ユーザインターフェース要素を選択することと
を含む、方法。
(項目204)
前記ユーザ入力は、ジェスチャを含む、項目203に記載の方法。
(項目205)
前記ユーザの拡張現実ディスプレイシステムに関係する前記ジェスチャの場所を決定することをさらに含み、前記仮想ユーザインターフェースは、前記決定された場所に表示される、項目204に記載の方法。
(項目206)
前記アバタは、事前に選択されたアバタである、項目203に記載の方法。
(項目207)
前記アバタは、前記ユーザに似ている、項目203に記載の方法。
(項目208)
前記アバタは、前記物理オブジェクトの上に立っているかのように表示される、項目203に記載の方法。
(項目209)
前記少なくとも1つの仮想要素は、アプリケーションを備えている、項目203に記載の方法。
(項目210)
別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも1つの仮想要素を選択することであって、前記少なくとも1つの仮想要素は、前記ユーザの連絡先を備えている、ことと、
前記アバタ仮想ユーザインターフェースおよび前記物理オブジェクトに関係して、前記ユーザの連絡先を表す別のアバタを表示することであって、前記ユーザと前記ユーザの連絡先との間の相互作用は、前記アバタ仮想ユーザインターフェースと前記ユーザの連絡先を表す他のアバタとの間の仮想相互作用を通して動画化される、ことと
をさらに含む、項目203に記載の方法。
(項目211)
前記相互作用は、データを前記ユーザの拡張現実システムと前記ユーザの連絡先に対応するコンピューティングシステムとの間で伝送することを含む、項目210に記載の方法。
(項目212)
前記ユーザ入力は、音声コマンドを備えている、項目203に記載の方法。
(項目213)
仮想インターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも1つの物理オブジェクトに関係して、1つ以上の選択可能仮想インターフェース要素を備えているフローティング式ユーザインターフェースを表示することであって、前記フローティング式ユーザインターフェースは、前記ユーザ入力が受信された場所から押し出されたように見える、ことと
を含む、方法。
(項目214)
前記ユーザ入力は、前記ユーザの指のジェスチャを含む、項目213に記載の方法。
(項目215)
前記ユーザの指のジェスチャは、前記ユーザの一方の手の指を前記ユーザの他方の手の別の指を用いてタッチすることを含む、項目214に記載の方法。
(項目216)
前記ユーザの一方の手の指を前記ユーザの他方の手の別の指を用いてタッチした場所を決定することをさらに含み、前記フローティング式仮想ユーザインターフェースは、前記決定された場所から生じる、項目215に記載の方法。
(項目217)
前記フローティング式ユーザインターフェースは、3次元ブロックの集合を備え、前記3次元ブロックの集合のうちの3次元ブロックは、前記少なくとも1つの選択可能仮想ユーザインターフェース要素を表す、項目213に記載の方法。
(項目218)
前記フローティング式仮想ユーザインターフェースは、世界基準フレームに少なくとも部分的に基づいて、作成される、項目213に記載の方法。
(項目219)
前記少なくとも1つの選択可能仮想ユーザインターフェース要素は、3次元ブロックのスタックとして存在し、前記3次元ブロックのスタックは、別のユーザ入力に少なくとも部分的に基づいて、回転される、項目213に記載の方法。
(項目220)
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することであって、前記仮想インターフェース要素は、少なくとも1つの他のサブ仮想インターフェース要素に関連付けられている、ことと、
前記少なくとも1つの他のサブ仮想インターフェース要素を前記選択された仮想インターフェース要素の下に表示することと
をさらに含む、項目213に記載の方法。
(項目221)
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することと、
仮想ボックス内に、前記選択された仮想インターフェース要素に関連付けられたコンテンツを表示することであって、前記仮想ボックスは、前記ユーザの視野内に表示されるコンテンツを備えている、ことと
をさらに含む、項目213に記載の方法。
(項目222)
前記仮想ボックスが閉鎖されるべきことを示す第2のユーザ入力を識別することと、
前記第2のユーザ入力に少なくとも部分的に基づいて、前記仮想ボックスを紙をくしゃくしゃに丸めることに似た様式で動画化することと、
前記選択された仮想インターフェース要素に関連付けられたコンテンツを終了させることと
をさらに含む、項目221に記載の方法。
(項目223)
前記第2のユーザ入力は、ジェスチャを含み、前記ジェスチャは、1枚の紙をくしゃくしゃに丸めることに似ている、項目222に記載の方法。
(項目224)
仮想ユーザインターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも1つの物理オブジェクトに関係して、1つ以上の選択可能仮想インターフェース要素を備えているフローティング式ユーザインターフェースを表示することと
を含み、
前記フローティング式ユーザインターフェースは、前記少なくとも1つの物理オブジェクト上に置かれているように見え、前記少なくとも1つの物理オブジェクトの縦軸の周りでの前記少なくとも1つの物理オブジェクトの回転は、追加の選択可能仮想インターフェース要素が表示されることをもたらし、前記追加の選択可能仮想インターフェース要素は、前記少なくとも1つの物理オブジェクトの別の側に置かれているように見える、方法。(項目225)
前記少なくとも1つの物理オブジェクトは、前記ユーザの腕を備えている、項目224に記載の方法。
(項目226)
前記ユーザ入力は、ジェスチャを含む、項目224に記載の方法。
(項目227)
前記ジェスチャは、前記選択可能仮想インターフェース要素が表示されているように見える、前記ユーザの腕上における前記ユーザの手のカップを形成するような運動を含む、項目226に記載の方法。
(項目228)
前記ユーザの腕上における前記ユーザの手のカップを形成するような運動の場所を決定することをさらに含み、前記フローティング式ユーザインターフェースは、前記決定された場所から生じる、項目227に記載の方法。
(項目229)
別のユーザ入力に少なくとも部分的に基づいて、前記フローティング式仮想ユーザインターフェースのレンダリングを終了させることをさらに含む、項目224に記載の方法。
(項目230)
前記他のユーザ入力は、ジェスチャを含み、前記ジェスチャは、前記物理オブジェクトを横断して前記ユーザのカップ状の手をドラッグする運動を含む、項目229に記載の方法。
(項目231)
前記フローティング式仮想ユーザインターフェースは、手中心基準フレームに少なくとも部分的に基づいて、作成される、項目224に記載の方法。
(項目232)
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することと、
前記選択された仮想インターフェース要素に関連付けられたコンテンツを表示することであって、前記コンテンツは、前記フローティング式仮想インターフェースに関係して表示される、ことと
をさらに含む、項目224に記載の方法。
(項目233)
前記表示されるコンテンツは、前記手中心基準フレームに対応する、項目231に記載の方法。
(項目234)
前記ユーザから受信される入力に少なくとも部分的に基づいて、前記フローティング式仮想ユーザインターフェースが移動している場合、前記表示されるコンテンツが静止したままであるように、前記表示されるコンテンツを前記手中心基準フレームから世界中心基準フレームに移動させることをさらに含む、項目231に記載の方法。
(項目235)
仮想ユーザインターフェースを作成する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも1つの物理オブジェクトに関係して、前記少なくとも1つの物理オブジェクトにタッチした場所から生じる仮想ユーザインターフェースを表示することであって、前記仮想ユーザインターフェースは、前記少なくとも1つの物理オブジェクトにタッチした場所から飛び出ているように見え、前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースに取り付けられているように見える少なくとも1つの選択可能仮想ユーザインターフェース要素を備えている、ことと
を含む、方法。
(項目236)
前記少なくとも1つの物理オブジェクトは、水平表面を備えている、項目235に記載の方法。
(項目237)
前記ユーザ入力は、ジェスチャを含む、項目235に記載の方法。
(項目238)
前記ジェスチャは、所定の期間の間、伸ばされた指が前記少なくとも1つの物理オブジェクトをタッチすることを含む、項目237に記載の方法。
(項目239)
前記ユーザの指が前記少なくとも1つの物理オブジェクトにタッチした場所を決定することをさらに含み、前記仮想ユーザインターフェースは、前記決定された場所から生じる、項目235に記載の方法。
(項目240)
別のユーザ入力に少なくとも部分的に基づいて、前記フローティング式仮想ユーザインターフェースのレンダリングを終了させることをさらに含む、項目235に記載の方法。(項目241)
前記他のユーザ入力は、ジェスチャを含み、前記ジェスチャは、前記レンダリングされた仮想ユーザインターフェースを横断して、前記ユーザの手を用いて切断する運動を含む、項目240に記載の方法。
(項目242)
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目235に記載の方法。
(項目243)
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することと、
前記少なくとも1つの物理オブジェクトの別の場所に、第2の仮想ユーザインターフェースを生成することであって、前記第2の仮想ユーザインターフェースは、追加の選択可能仮想インターフェース要素を備えている、ことと
をさらに含む、項目235に記載の方法。
(項目244)
前記仮想ユーザインターフェースは、前記少なくとも1つの物理オブジェクトにタッチした場所から生えている木に似ている、項目235に記載の方法。
(項目245)
仮想ユーザインターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記仮想ユーザインターフェースが指の移動を鏡映するように、前記ユーザの前記指の運動を鏡映するような仮想ユーザインターフェースを描写することと、
1つ以上の選択可能ユーザインターフェース要素を前記仮想ユーザインターフェースが描写されているエリア内に表示することと
を含む、方法。
(項目246)
前記指ジェスチャは、所定の期間の間、前記ユーザの手の少なくとも1本の指を用いて指示するジェスチャを含む、項目245に記載の方法。
(項目247)
前記指示ジェスチャの場所を決定することをさらに含み、前記仮想ユーザインターフェースは、前記決定された場所から生じる、項目246に記載の方法。
(項目248)
前記ユーザが前記仮想ユーザインターフェースをもはや描写していないことを検出することをさらに含み、前記仮想ユーザインターフェース要素は、前記検出に少なくとも部分的に基づいて、表示される、項目245に記載の方法。
(項目249)
前記仮想ユーザインターフェースの描写は、空間を横断した前記ユーザの指のドラッグ運動を鏡映する、項目245に記載の方法。
(項目250)
別のユーザ入力に少なくとも部分的に基づいて、フローティング式仮想ユーザインターフェースのレンダリングを終了させることをさらに含む、項目245に記載の方法。
(項目251)
前記他のユーザ入力は、ジェスチャを含み、前記ジェスチャは、前記ユーザの指の連続ドラッグ運動の終了を含む、項目250に記載の方法。
(項目252)
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目245に記載の方法。
(項目253)
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記仮想ユーザインターフェースに関係して前記選択された仮想インターフェース要素に関連付けられたコンテンツを生成することと
をさらに含む、項目245に記載の方法。
(項目254)
前記仮想ユーザインターフェースの形状は、前記ユーザの指によって描写される形状に似ている、項目245に記載の方法。
(項目255)
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、前記仮想ユーザインターフェースが前記物理オブジェクトの垂直側面にあるように見えるように、前記手のジェスチャの方向における物理オブジェクトの前記垂直側面に少なくとも1つの選択可能仮想インターフェース要素を有する仮想ユーザインターフェースを表示することと
を含む、方法。
(項目256)
前記手のジェスチャに応答して、塗料の斑点に似た仮想コンテンツの集合を表示することをさらに含み、前記仮想コンテンツは、前記手のジェスチャによって示される点において生じる、項目255に記載の方法。
(項目257)
前記手のジェスチャは、前記物理オブジェクトの前記垂直側面の方向に振り上げられた伸ばされた指を含む、項目255に記載の方法。
(項目258)
前記物理オブジェクトの前記垂直側面の方向に振り上げられた伸ばされた指の場所を決定することをさらに含み、塗料の斑点に似た仮想コンテンツの集合は、前記決定された場所に表示される、項目257に記載の方法。
(項目259)
仮想斑点を前記物理オブジェクトの前記垂直側面に表示することをさらに含み、前記仮想斑点の少なくとも1つの特性は、前記物理オブジェクトの前記垂直側面の方向に振り上げられた伸ばされた指の決定された場所に少なくとも部分的に基づいて、前記物理オブジェクトの前記垂直側面に表示される、項目258に記載の方法。
(項目260)
前記物理オブジェクトは、壁を備えている、項目255に記載の方法。
(項目261)
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目255に記載の方法。
(項目262)
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられたコンテンツを生成することと
をさらに含む、項目255に記載の方法。
(項目263)
前記選択されたユーザインターフェース要素に関連付けられたコンテンツを縮小形態で記憶することをさらに含み、前記縮小形態は、仮想バンドを備え、前記仮想バンドは、前記ユーザの手の周囲に表示される、項目2622に記載の方法。
(項目264)
前記仮想バンドは、前記仮想バンドが少なくとも部分的に前記手の移動に基づいて移動するように、少なくとも部分的に手中心基準フレームに基づいて、作成される、項目263に記載の方法。
(項目265)
前記ユーザの別のジェスチャに少なくとも部分的に基づいて、前記コンテンツを完全形態で表示することをさらに含む、項目263に記載の方法。
(項目266)
前記他のジェスチャは、前記仮想バンドが表示される前記手の振り上げる運動を含む、項目265に記載の方法。
(項目267)
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、少なくとも1つの選択可能仮想インターフェース要素が前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、移動し、追加の選択可能仮想インターフェース要素を表示するように、前記少なくとも1つの選択可能仮想インターフェース要素を有する水平糸に似ている、方法。
(項目268)
前記手のジェスチャは、前記ユーザの第1の手の第1の指を第2の手の第2の指を用いてタッチする運動を含む、項目267に記載の方法。
(項目269)
前記ジェスチャは、前記第1の指が前記第2の指から離れるように、前記第1の指および前記第2の指の両方を引き離す運動をさらに含む、項目268に記載の方法。
(項目270)
前記仮想糸は、前記第1および第2の指の移動の長さを鏡映し、前記仮想糸の長さは、前記第1および第2の指の移動に少なくとも部分的に基づく、項目269に記載の方法。(項目271)
前記第1の指と第2の指とのタッチ運動の場所を決定することをさらに含み、前記仮想糸は、前記決定された場所から生じる、項目267に記載の方法。
(項目272)
前記他方の手のジェスチャは、前記ユーザの手の方向転換運動を含み、前記方向転換移動は、前記少なくとも1つの選択可能仮想インターフェース要素に前記方向転換運動の方向に移動させる、項目267に記載の方法。
(項目273)
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目267に記載の方法。
(項目274)
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられたコンテンツを生成することと
をさらに含む、項目267に記載の方法。
(項目275)
前記他方の手のジェスチャは、前記ユーザの一方の手を前方に持って来る運動を含む、項目274に記載の方法。
(項目276)
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、垂直糸の集合を備え、前記垂直糸の各々は、少なくとも1つの選択可能仮想インターフェース要素に関連付けられている、方法。
(項目277)
前記手のジェスチャは、所定の期間の間、前記ユーザの第1の手を広げるジェスチャを含む、項目276に記載の方法。
(項目278)
別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素を選択することをさらに含み、前記他方の手のジェスチャは、前記ユーザの2本の指を用いて、前記仮想糸の集合のうちの仮想糸のうちの少なくとも1つを引っ張る運動を含む、項目277に記載の方法。
(項目279)
手のジェスチャに少なくとも部分的に基づいて、第1の仮想糸に関連付けられた第1の仮想要素に関連付けられたデータを第2の仮想糸に関連付けられた第2の仮想要素に伝送することをさらに含む、項目276に記載の方法。
(項目280)
前記他方の手のジェスチャは、前記第2の仮想糸に関連付けられた前記第2の仮想要素を用いた前記第1の仮想糸に関連付けられた前記第1の仮想要素の圧搾運動を含み、前記圧搾運動は、前記ユーザの指によって行われる、項目279に記載の方法。
(項目281)
前記仮想インターフェースは、少なくとも1つの物理オブジェクトに関係して表示される、項目276に記載の方法。
(項目282)
前記少なくとも1つの物理オブジェクトは、壁を備えている、項目281に記載の方法。
(項目283)
手のジェスチャの場所を決定することをさらに含み、前記仮想糸は、前記決定された場所から生じる、項目276に記載の方法。
(項目284)
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目276に記載の方法。
(項目285)
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成することと
をさらに含む、項目276に記載の方法。
(項目286)
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、垂直糸の集合を備え、前記垂直糸の各々は、少なくとも1つの選択可能仮想インターフェース要素に関連付けられている、方法。
(項目287)
前記手のジェスチャは、所定の期間の間、前記ユーザの第1の手を広げるジェスチャを含む、項目286に記載の方法。
(項目288)
別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素を選択することをさらに含み、前記他方の手のジェスチャは、前記ユーザの2本の指を用いて、前記仮想糸の集合のうちの仮想糸のうちの少なくとも1つを引っ張る運動を含む、項目287に記載の方法。
(項目289)
手のジェスチャに少なくとも部分的に基づいて、第1の仮想糸に関連付けられた第1の仮想要素に関連付けられたデータを第2の仮想糸に関連付けられた第2の仮想要素に伝送することをさらに含む、項目286に記載の方法。
(項目290)
前記他方の手のジェスチャは、前記第2の仮想糸に関連付けられた前記第2の仮想要素を用いた前記第1の仮想糸に関連付けられた前記第1の仮想要素の圧搾運動を含み、前記圧搾運動は、前記ユーザの指によって行われる、項目289に記載の方法。
(項目291)
前記仮想インターフェースは、少なくとも1つの物理オブジェクトに関係して表示される、項目286に記載の方法。
(項目292)
前記少なくとも1つの物理オブジェクトは、壁を備えている、項目291に記載の方法。
(項目293)
手のジェスチャの場所を決定することをさらに含み、前記仮想糸は、前記決定された場所から生じる、項目286に記載の方法。
(項目294)
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目286に記載の方法。
(項目295)
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成することと
をさらに含む、項目286に記載の方法。
(項目296)
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、仮想クモの巣に似ており、前記ユーザは、前記仮想クモの巣の仮想糸を引っ張り、前記仮想インターフェースを前記ユーザに近付ける、方法。
(項目297)
前記手のジェスチャは、前記ユーザの手の握り拳を用いて引っ張る運動を含む、項目296に記載の方法。
(項目298)
前記仮想クモの巣の仮想糸は、少なくとも1つの選択可能仮想要素を備えている、項目297に記載の方法。
(項目299)
別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素を選択することをさらに含み、前記他方の手のジェスチャは、前記仮想糸のうちの少なくとも1つを前記ユーザに向かって引っ張る運動を含む、項目298に記載の方法。
(項目300)
手のジェスチャに少なくとも部分的に基づいて、第1の仮想糸に関連付けられた第1の仮想要素に関連付けられたデータを第2の仮想糸に関連付けられた第2の仮想要素に伝送することをさらに含む、項目296に記載の方法。
(項目301)
前記他方の手のジェスチャは、前記第2の仮想糸に関連付けられた前記第2の仮想要素を用いた前記第1の仮想糸に関連付けられた前記第1の仮想要素の圧搾運動を含み、前記圧搾運動は、前記ユーザの指によって行われる、項目300に記載の方法。
(項目302)
前記仮想インターフェースは、少なくとも1つの物理オブジェクトに関係して表示される、項目296に記載の方法。
(項目303)
前記少なくとも1つの物理オブジェクトは、壁を備えている、項目302に記載の方法。
(項目304)
手のジェスチャの場所を決定することをさらに含み、前記仮想クモの巣は、前記決定された場所から生じる、項目296に記載の方法。
(項目305)
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目296に記載の方法。
(項目306)
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成することと
をさらに含む、項目296に記載の方法。
(項目307)
前記方法ステップを実装する手段を有するシステムとして実装される、項目1-306に記載の方法。
(項目308)
前記方法ステップを実行するための実行可能コードを有するコンピュータ使用可能記憶媒体を備えているコンピュータプログラム製品として実装される、項目1-306に記載の方法。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
マップデータを生成する方法であって、
1つ以上の画像に関連付けられたマップ点の集合を識別することと、
低密度点の集合および高密度点の集合を前記識別されたマップ点から決定することと、
前記それぞれの低密度点および高密度点の集合の正規化を行うことと
を含む、方法。
(項目2)
前記それぞれの低密度点および高密度点の集合のための低密度および高密度点記述子を生成することと、
前記低密度点記述子および高密度点記述子を組み合わせ、マップデータとして記憶することと
をさらに含む、項目1に記載の方法。
(項目3)
前記低密度点の集合は、固有の特徴に対応する、項目1に記載の方法。
(項目4)
前記固有の特徴は、角、円形、三角形、およびテキストから成る群から選択される、項目3に記載の方法。
(項目5)
前記高密度点の集合は、視野内の3D点に対応する、項目1に記載の方法。
(項目6)
前記高密度点の集合はまた、色値を含む、項目5に記載の方法。
(項目7)
前記正規化は、スケール正規化を備えている、項目1に記載の方法。
(項目8)
前記正規化は、共通原点に対する座標正規化を備えている、項目1に記載の方法。
(項目9)
前記正規化は、機械学習を使用して実装される、項目1に記載の方法。
(項目10)
前記低密度および高密度点記述子は、前記それぞれの低密度および高密度点の集合の各低密度および高密度点に対応する、項目1に記載の方法。
(項目11)
各低密度および高密度点記述子は、スケール、配向、パッチデータ、およびテクスチャから成る群から選択される、それぞれの低密度および高密度点に関する情報を含む、項目10に記載の方法。
(項目12)
ユーザ入力を決定する方法であって、
ユーザの視野の画像を捕捉することであって、前記画像は、前記ユーザによって作成されたジェスチャを含む、ことと、
前記捕捉された画像を分析し、前記ジェスチャに関連付けられた点の集合を識別することと、
前記識別された点の集合を所定のジェスチャのデータベースに関連付けられた点の集合と比較することと、
認識されたジェスチャに基づいて、ユーザ入力を決定することと
を含む、方法。
(項目13)
前記比較に基づいて、前記識別された点の集合のためのスコア化値を生成することをさらに含む、項目12に記載の方法。
(項目14)
前記スコア化値が閾値を超えている場合、前記ジェスチャを認識することをさらに含む、項目13に記載の方法。
(項目15)
前記所定のジェスチャをデータベース内に記憶することをさらに含む、項目12に記載の方法。
(項目16)
ネットワーク化されたメモリにアクセスし、前記所定のジェスチャのデータベースにアクセスすることをさらに含む、項目15に記載の方法。
(項目17)
前記ジェスチャは、手のジェスチャである、項目12に記載の方法。
(項目18)
前記ジェスチャは、指ジェスチャである、項目12に記載の方法。
(項目19)
前記ジェスチャは、指間相互作用である、項目12に記載の方法。
(項目20)
前記ジェスチャは、指間相互作用、指示、タップ、および摩擦から成る群から選択される、項目12に記載の方法。
(項目21)
前記決定されたユーザ入力に少なくとも部分的に基づいて、1つ以上の仮想オブジェクトを前記ユーザに表示することをさらに含む、項目12に記載の方法。
(項目22)
前記1つ以上の仮想オブジェクトは、仮想ユーザインターフェースを備えている、項目21に記載の方法。
(項目23)
方法であって、
ユーザの視野に対応する1つ以上の画像を捕捉することと、
前記捕捉された1つ以上の画像を分析し、前記ユーザによって作成された1つ以上のジェスチャを識別することであって、前記分析は、複数の段階を有するカスケード機構を利用することを含む、ことと
を含む、方法。
(項目24)
前記カスケード機構は、複数のノードを備え、各ノードは、前記複数の段階のうちのある段階に対応する、項目23に記載の方法。
(項目25)
前記カスケード機構は、一連のパーミッシブ型分析ノードを備えている、項目23に記載の方法。
(項目26)
前記カスケード機構の前記複数の段階のうちの前の段階は、前記カスケード機構の前記複数の段階のうちの後の段階と比較して少ない処理電力を消費する、項目23に記載の方法。
(項目27)
非ジェスチャは、前記カスケード機構の前記前の段階において捕捉された画像の分析に基づいて、除去される、項目26に記載の方法。
(項目28)
前記複数の段階のうちの前記後の段階は、前記捕捉された画像に少なくとも部分的に基づいて、より複雑なジェスチャを決定する、項目26に記載の方法。
(項目29)
前記捕捉された画像の分析は、前記捕捉された画像内の種々の形状の輪郭の鮮鋭度がジェスチャを構成するために十分に鮮鋭であるかどうかを決定することを含む、項目26に記載の方法。
(項目30)
前記カスケード機構の前記後の段階は、異なるジェスチャ間で区別するために利用される、項目26に記載の方法。
(項目31)
前記分析に少なくとも部分的に基づいて、スコアを生成することをさらに含む、項目23に記載の方法。
(項目32)
前記生成されたスコアが最小閾値より低い場合、候補画像を検討から除くことをさらに含む、項目31に記載の方法。
(項目33)
前記生成されたスコアが最小閾値より高い場合、前記カスケード機構の前記後の段階に前進することをさらに含む、項目31に記載の方法。
(項目34)
方法であって、
ユーザのそれぞれの視野の複数の画像を捕捉することと、
前記複数の画像を分析し、複数のジェスチャ候補を生成することと、
前記複数の分析値に対応する分析値を生成することであって、ジェスチャが、前記分析値に少なくとも部分的に基づいて、認識される、ことと
を含む、方法。
(項目35)
前記それぞれの分析値に少なくとも部分的に基づいて、前記ジェスチャ候補をソートすることをさらに含む、項目34に記載の方法。
(項目36)
最小閾値より低い分析値を有するジェスチャ候補を排除することをさらに含む、項目34に記載の方法。
(項目37)
前記分析値が最小閾値より高い場合、前記ジェスチャ候補を処理の次の段階に前進させることをさらに含む、項目34に記載の方法。
(項目38)
ジェスチャを分類する方法であって、
ユーザの視野の画像を捕捉することと、
深度区画化を前記捕捉された画像に行い、深度マップを生成することと、
前記生成された深度マップに少なくとも部分的に基づいて、ジェスチャを識別することと
を含む、方法。
(項目39)
分類機構を使用して、前記深度マップを分析し、前記深度マップ内の点に対応する手の一部を識別することをさらに含む、項目38に記載の方法。
(項目40)
前記手の一部の識別に基づいて、前記深度マップを骨格化することをさらに含む、項目39に記載の方法。
(項目41)
前記骨格化された深度マップに基づいて、前記画像をジェスチャとして分類することをさらに含む、項目40に記載の方法。
(項目42)
前記深度区画化は、線検索を備えている、項目38に記載の方法。
(項目43)
カスケード分析を前記深度マップに行い、前記画像を前記ジェスチャとして分類することをさらに含む、項目38に記載の方法。
(項目44)
深度拡張を前記深度マップに行うことをさらに含む、項目38に記載の方法。
(項目45)
表面正規化を前記深度マップに行うことをさらに含む、項目38に記載の方法。
(項目46)
配向正規化を前記深度マップに行うことをさらに含む、項目38に記載の方法。
(項目47)
背景減算を前記深度マップに行うことをさらに含む、項目38に記載の方法。
(項目48)
深度比較を前記深度マップに行うことをさらに含む、項目38に記載の方法。
(項目49)
前記骨格化された深度マップおよび以前の情報に基づいて、前記画像をジェスチャとして分類することをさらに含む、項目38に記載の方法。
(項目50)
前記分類機構は、決定森である、項目38に記載の方法。
(項目51)
ユーザ入力を決定する方法であって、
1つ以上のユーザの視野の画像を捕捉することであって、前記画像は、少なくとも所定の物理オブジェクトを備えている、ことと、
前記画像を分析し、前記所定の物理オブジェクトに関係する前記ユーザの移動を検出することと、
前記所定の物理オブジェクトに関係する前記移動の分析に少なくとも部分的に基づいて、ユーザ入力を決定することと
を含む、方法。
(項目52)
前記所定の物理オブジェクトを認識することをさらに含む、項目51に記載の方法。
(項目53)
前記所定の物理オブジェクトは、前記所定の物理オブジェクトの捕捉された画像と所定の物理オブジェクトのデータベースとの間の画像比較に少なくとも部分的に基づいて、認識される、項目52に記載の方法。
(項目54)
前記所定の物理オブジェクトに関係する前記ユーザの前記移動は、パターンを生成するために使用される、項目51に記載の方法。
(項目55)
前記生成されたパターンを所定のパターンのデータベースと比較することをさらに含む、項目54に記載の方法。
(項目56)
前記比較に基づいて、前記認識されたパターンのためのスコア化値を生成することをさらに含む、項目51に記載の方法。
(項目57)
前記スコア化値が閾値を超えている場合、前記ユーザ入力を決定することをさらに含む、項目56に記載の方法。
(項目58)
前記所定の物理オブジェクトに関係する前記移動を視覚的に追跡し、ビデオ録画を生成することをさらに含む、項目51に記載の方法。
(項目59)
前記ビデオ録画は、前記ユーザ入力を決定するために分析される、項目58に記載の方法。
(項目60)
ネットワーク化されたメモリを通して、前記所定のパターンのデータベースにアクセスすることをさらに含む、項目55に記載の方法。
(項目61)
前記所定の物理オブジェクトは、前記視野内の既存の構造、能動的にマークされたトーテム、受動的にマークされたトーテム、カメラ/センサに統合されたオブジェクト、およびトーテムコントローラオブジェクトから成る群から選択される、項目51に記載の方法。
(項目62)
前記所定の物理オブジェクトに関係する前記移動は、基準フレームに対する前記所定の物理オブジェクトの位置、配向、および移動から成る群から選択される、項目51に記載の方法。
(項目63)
前記所定の物理オブジェクトは、前記ユーザの手のうちの第1の手を備え、前記第1の手に関係する移動は、前記ユーザの手のうちの第2の手を用いた前記第1の手の操作を備えている、項目51に記載の方法。
(項目64)
前記所定の物理オブジェクトは、軟質硬度表面を有し、前記所定の物理オブジェクトに関係する移動は、前記ユーザによる前記軟質硬度表面の押下を備えている、項目51に記載の方法。
(項目65)
前記ユーザのための前記所定の物理オブジェクトに関連付けられた仮想インターフェース要素をレンダリングすることをさらに含む、項目51に記載の方法。
(項目66)
前記仮想インターフェース要素は、前記ユーザによって視認されると、前記仮想インターフェース要素が、前記所定の物理オブジェクトに関係する修正に少なくとも部分的に基づいて、修正されるように、前記所定の物理オブジェクトに関係して表示される、項目65に記載の方法。
(項目67)
前記所定の物理オブジェクトは、電子入力デバイスを備え、ユーザ入力は、前記所定の物理オブジェクトの認識された移動に基づいて、決定され、前記電子入力デバイスから入力される、項目51に記載の方法。
(項目68)
前記決定されたユーザ入力に少なくとも部分的に基づいて、前記ユーザに表示される仮想コンテンツの少なくとも1つの特性を修正することをさらに含む、項目51に記載の方法。
(項目69)
仮想ユーザインターフェースを生成する方法であって、
ユーザ入力に基づいて、ユーザに表示されるべき仮想ユーザインターフェースを識別することと、
前記ユーザに関連付けられた場所を得ることと、
前記得られた場所に少なくとも部分的に基づいて、前記識別された仮想ユーザインターフェースを表示すべき座標点の集合を決定することと、
前記決定された座標点において、前記仮想ユーザインターフェースを前記ユーザに表示することと
を含む、方法。
(項目70)
前記ユーザ入力は、認識されたジェスチャに少なくとも部分的に基づいて、決定される、項目69に記載の方法。
(項目71)
前記ユーザ入力は、音声コマンドに少なくとも部分的に基づいて、決定される、項目69に記載の方法。
(項目72)
前記ユーザ入力は、所定の物理オブジェクトとの相互作用に少なくとも部分的に基づいて、決定される、項目69に記載の方法。
(項目73)
前記識別されたユーザ仮想ユーザインターフェースをユーザインターフェースのライブラリから読み出すことをさらに含む、項目69に記載の方法。
(項目74)
前記識別された仮想ユーザインターフェースは、基準フレームに関連付けられている、項目69に記載の方法。
(項目75)
前記基準フレームは、身体中心基準フレームである、項目74に記載の方法。
(項目76)
前記基準フレームは、頭部中心基準フレームである、項目74に記載の方法。
(項目77)
前記基準フレームは、手中心基準フレームである、項目74に記載の方法。
(項目78)
前記基準フレームは、世界中心基準フレームである、項目74に記載の方法。
(項目79)
前記識別された仮想ユーザインターフェースに関連付けられた基準フレームと前記世界に関係する前記ユーザの得られた場所との間の変換を行い、前記仮想ユーザインターフェースの座標点の集合を決定することをさらに含む、項目69に記載の方法。
(項目80)
前記世界内の前記ユーザの場所は、前記ユーザのGPS場所に基づいて、決定される、項目69に記載の方法。
(項目81)
前記世界内の前記ユーザの場所は、前記ユーザに関連付けられたマップ点の集合に基づいて、決定される、項目69に記載の方法。
(項目82)
前記仮想ユーザインターフェースは、前記ユーザが移動する場合、静止しているように見える、項目69に記載の方法。
(項目83)
前記仮想ユーザインターフェースは、前記ユーザの移動に関係して移動する、項目69に記載の方法。
(項目84)
前記識別された仮想ユーザインターフェースに関連付けられた基準フレームを決定することと、
前記世界基準フレームに関係する前記基準フレームの場所を決定することと、
前記決定された場所を原点として設定することと、
前記原点に関係する前記座標点の集合を決定することと
をさらに含む、項目69に記載の方法。
(項目85)
前記マップ点の集合をネットワーク化されたメモリから読み出すことをさらに含む、項目69に記載の方法。
(項目86)
前記ユーザ入力は、前記仮想ユーザインターフェースが表示されるべき空間内の場所を備えている、項目69に記載の方法。
(項目87)
前記空間内の場所は、前記ユーザの場所における物理エンティティに関連付けられている、項目86に記載の方法。
(項目88)
前記ユーザ入力は、壁を示す投げる入力を含むジェスチャを含む、項目69に記載の方法。
(項目89)
前記ユーザ入力は、前記仮想ユーザインターフェースを生成するための命令の終了を意味するジェスチャを含む、項目69に記載の方法。
(項目90)
仮想ユーザインターフェースを生成する方法であって、
所定の物理オブジェクトの操作を検出することと、
前記検出された操作に基づいて、仮想ユーザインターフェースを作成するためのコマンドを認識することと、
仮想世界モデルから、前記所定の物理オブジェクトの位置に関連付けられたマップ点の集合を決定することと、
前記仮想ユーザインターフェースが前記ユーザによって視認されると、前記所定の物理オブジェクトの位置に静止しているように見えるように、前記仮想ユーザインターフェースを前記トーテムの位置に関連付けられた前記決定されたマップ点にリアルタイムでレンダリングすることと
を含む、方法。
(項目91)
前記所定の物理オブジェクトの操作は、前記所定の物理オブジェクトの表面上で前記ユーザの手によって挟んだ状態を広げるジェスチャを含む、項目90に記載の方法。
(項目92)
前記仮想ユーザインターフェースは、前記ユーザによって視認されると、前記所定の物理オブジェクトの表面の一部を覆うように見え、前記部分は、前記挟んだ状態を広げるジェスチャの形成中の前記ユーザの手の場所に対応する、項目91に記載の方法。
(項目93)
前記所定の物理オブジェクトは、前記ユーザの手である、項目90に記載の方法。
(項目94)
前記所定の物理オブジェクトの操作は、前記ユーザが手を広げること、前記ユーザが手のひらを広げて見せること、および前記ユーザが手を挙げることから成る群から選択される、アクションを備えている、項目93に記載の方法。
(項目95)
前記仮想ユーザインターフェースは、前記ユーザによって視認されると、前記手の表面の一部を覆うように見える、項目94に記載の方法。
(項目96)
前記仮想ユーザインターフェースは、前記手の指または親指によって選択可能な複数の第1のレベルのメニューアイテムを備えている、項目95に記載の方法。
(項目97)
前記手のさらなる操作を検出することと、
前記検出されたさらなる操作に基づいて、第2の仮想ユーザインターフェースを作成するためのコマンドを認識することと、
前記ユーザによって視認されると、前記仮想ユーザインターフェースが前記所定の物理オブジェクトの位置において静止しているように見えるように、前記所定の物理オブジェクトの位置に関連付けられた前記決定されたマップ点に前記第2の仮想ユーザインターフェースをリアルタイムでレンダリングすることと
をさらに含む、項目96に記載の方法。
(項目98)
前記手のさらなる操作は、前記手の指が離れるように広げることを含む、項目97に記載の方法。
(項目99)
前記第2の仮想ユーザインターフェースは、前記手の指または親指によって選択可能な複数の第2のレベルのメニューアイテムを備え、前記第2のレベルは、前記第1のレベルより低い、項目98に記載の方法。
(項目100)
前記トーテムのさらなる操作は、前記ユーザの手のうちの第2の手からの指を用いて、前記手のひらに円を描写する運動を行なうことを含む、項目97に記載の方法。
(項目101)
前記第2の仮想ユーザインターフェースは、弧に配列された複数のメニューアイテムを備え、前記メニューアイテムは、前記第2の手の指によってスクロール可能かつ選択可能である、項目100に記載の方法。
(項目102)
仮想世界を更新する方法であって、
第1の入力を第1のユーザの第1のデバイスから受信することであって、前記第1の入力は、前記第1のユーザの物理環境に対応する、ことと、
前記受信された第1の入力に基づいて、仮想世界モデルを更新することであって、前記仮想世界モデルは、前記第1のユーザの物理環境に対応する、ことと、
前記仮想世界モデルの第1の部分に対応する第1の更新された情報を第2のユーザに伝送することと
を含み、
前記第1の更新された情報は、前記第1の更新された情報の任意の部分が前記第2のユーザに表示される必要があるかどうかを示す、方法。
(項目103)
前記仮想世界モデルは、ネットワーク化されたメモリ上に常駐する、項目102に記載の方法。
(項目104)
第1のユーザおよび前記第2のユーザは、それぞれの異なる場所に位置する、項目102に記載の方法。
(項目105)
前記第1のユーザの第1のデバイスは、FOVカメラ、他のカメラ、センサ、眼追跡用の第1のデバイス、およびオーディオ用の第1のデバイスから成る群から選択される、項目102に記載の方法。
(項目106)
前記仮想世界モデルの第1の部分に対応する前記第1の更新された情報を前記第1のユーザに伝送することをさらに含み、前記第1の更新された情報は、前記第1の更新された情報の任意の部分が前記第1のユーザに表示される必要があるかどうかを示す、項目102に記載の方法。
(項目107)
前記仮想世界モデルの第1の部分に対応する前記第1の更新された情報を複数の他のユーザに伝送することをさらに含み、前記第1の更新された情報は、前記第1の更新された情報の任意の部分が前記複数の他のユーザの各々に表示される必要があるかどうかを示す、項目102に記載の方法。
(項目108)
複数の入力を複数の他のユーザのそれぞれの第1のデバイスから受信することであって、前記複数の入力は、前記第1のユーザの物理環境に対応する、ことと、
前記受信された複数の入力に基づいて、前記仮想世界モデルを更新することと、
前記仮想世界モデルのそれぞれの追加の部分に対応する追加の更新された情報を前記第2のユーザに伝送することと
をさらに含み、
前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記第2のユーザに表示される必要があるかどうかを示す、項目102に記載の方法。
(項目109)
前記仮想世界モデルの前記部分に対応する前記追加の更新された情報を前記第1のユーザに伝送することをさらに含み、前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記第1のユーザに表示される必要があるかどうかを示す、項目108に記載の方法。
(項目110)
前記仮想世界モデルのそれぞれの追加の部分に対応する前記追加の更新された情報を前記複数の他のユーザに伝送することをさらに含み、前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記複数の他のユーザの各々に表示される必要があるかどうかを示す、項目108に記載の方法。
(項目111)
第2の入力を前記第2のユーザの第2のデバイスから受信することであって、前記第2の入力は、前記第2のユーザの物理環境に対応する、ことと、
前記受信された前記第2の入力に基づいて、前記仮想世界モデルを更新することであって、前記仮想世界モデルは、前記第1のユーザの物理環境に対応する、ことと、
前記仮想世界モデルの第2の部分に対応する第2の更新された情報を前記第1のユーザに伝送することと
をさらに含み、
前記第2の更新された情報は、前記第2の更新された情報の任意の部分が前記第1のユーザに表示される必要があるかどうかを示す、項目102に記載の方法。
(項目112)
前記第2の更新された情報は、前記仮想世界モデルの前記第2の部分内の前記第2のユーザのアバタの移動に対応する、項目111に記載の方法。
(項目113)
方法であって、
光パターンを空間上に投影することと、
カメラを用いて、前記光パターンの第1および第2の部分を検出し、前記パターンの前記第1および第2の部分に対応する第1および第2のデータ点を生成することと、
三角測量分析を行い、前記第1および第2のデータ点に少なくとも部分的に基づいて、前記光パターンの前記第1および第2の部分の場所を決定することと
を含む、方法。
(項目114)
前記パターンの複数の部分を投影し、検出し、三角測量するステップを繰り返し、前記空間の追加のテクスチャデータを取得することをさらに含む、項目113に記載の方法。
(項目115)
前記光を空間上に投影することは、ファイバベースのプロジェクタを使用して、前記光を前記空間上に投影することを含む、項目113に記載の方法。
(項目116)
前記光が前記空間上に投影される前に、光学要素を用いて前記光を修正し、光線の束を形成することをさらに含む、項目113に記載の方法。
(項目117)
前記光パターンは、構造化された光に対応し、前記光パターンは、動的である、項目113に記載の方法。
(項目118)
前記光パターンは、パターン化された光に対応し、前記光パターンは、複数の点を含む、項目113に記載の方法。
(項目119)
前記光パターンは、テクスチャ化された光に対応し、前記光パターンは、不規則である、項目113に記載の方法。
(項目120)
前記光パターンの前記第1および第2の部分は、前記光パターンのそれぞれの画素である、項目113に記載の方法。
(項目130)
仮想部屋を生成する方法であって、
ユーザに表示されるべき仮想部屋を識別することと、
前記仮想部屋に関連付けられた第1のマップ点の集合を得ることであって、前記第1のマップ点の集合は、前記ユーザの場所における第1の物理部屋に対応する、ことと、
前記仮想部屋を前記第1のマップ点の集合にテザリングすることと、
前記ユーザによって視認されると、前記仮想部屋が前記第1のマップ点の集合において静止しているように見えるように、前記仮想部屋を前記ユーザに表示することと
を含む、方法。
(項目131)
ユーザ入力に基づいて、前記仮想部屋を識別することをさらに含む、項目130に記載の方法。
(項目132)
前記ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される、項目131に記載の方法。
(項目133)
前記仮想部屋は、前記ユーザによって事前決定される、項目131に記載の方法。
(項目134)
前記第1のマップ点の集合をネットワーク化されたメモリから読み出すことをさらに含む、項目131に記載の方法。
(項目135)
前記仮想部屋に関連付けられた第2のマップ点の集合を得ることであって、前記第2のマップ点の集合は、前記ユーザが前記第1の物理部屋から移動した後の前記ユーザの場所における第2の物理部屋に対応する、ことと、
前記仮想部屋を前記第2のマップ点の集合にテザリングすることと、
前記ユーザによって視認されると、前記仮想部屋が前記第2のマップ点の集合において静止しているように見えるように、前記仮想部屋を前記ユーザに表示することと
をさらに含む、項目131に記載の方法。
(項目136)
前記仮想部屋はまた、第1および第2の仮想オブジェクトを含み、前記方法は、前記仮想部屋が前記第2のマップ点の集合にテザリングされている場合、前記第1のマップ点の集合に対応する前記第1の仮想オブジェクトと第2の仮想オブジェクトとの間の相対的空間位置を保つことをさらに含む、項目135に記載の方法。
(項目137)
前記ユーザによって視認されると、前記仮想部屋が前記第1の物理部屋の一部に対して静止しているように見えるように、前記仮想部屋を前記ユーザに表示することをさらに含む、項目131に記載の方法。
(項目138)
前記仮想部屋はまた、選択可能仮想装飾を含む、項目131に記載の方法。
(項目139)
小売体験を作成する方法であって、
小売店舗内のユーザの場所を認識することと、
前記小売店舗に対応するデータを読み出すことと、
前記読み出されたデータに基づいて、前記小売店舗に関連する仮想コンテンツを生成することと、
仮想ユーザインターフェースを前記ユーザの視野内に作成することと、
前記ユーザが前記小売店舗内で小売アクティビティに従事する間、前記仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
を含む、方法。
(項目140)
前記読み出されたデータは、前記小売店舗に対応するマップ点の集合を備え、
前記仮想ユーザインターフェースは、前記ユーザによって視認されると、前記マップ点の集合において静止しているように見える、項目139に記載の方法。
(項目141)
前記ユーザの場所は、無線周波数識別トランスポンダおよび通信を使用して認識される、項目139に記載の方法。
(項目142)
前記仮想コンテンツは、仮想キャラクタ、仮想クーポン、前記ユーザ場所に基づくゲーム、宣伝アイテムの一覧、栄養情報、アイテムに関連するメタデータ、有名人の登場、クロスセリング広告、前記ユーザに既知の人物からの情報、および電子書籍から成る群から選択される、項目139に記載の方法。
(項目143)
前記ユーザに対応するユーザデータを読み出すことと、
前記読み出されたデータおよび前記読み出されたユーザデータの両方に基づいて、前記仮想コンテンツを生成することと
をさらに含む、項目139に記載の方法。
(項目144)
前記仮想コンテンツは、仮想食料品一覧、仮想クーポン書籍、仮想レシピ書籍、前記ユーザの家内の種々の資材の一覧、および仮想レシピビルダから成る群から選択される、項目143に記載の方法。
(項目145)
ユーザ入力を受信することと、
前記ユーザ入力に基づいて、追加の仮想コンテンツを生成することと、
前記ユーザが前記小売店舗内の小売アクティビティに従事する間、前記追加の仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
をさらに含む、項目139に記載の方法。
(項目146)
前記ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される、項目145に記載の方法。
(項目147)
前記仮想コンテンツは、総運営コスト、スマート仮想食料品一覧、前記ユーザ場所に近接するアイテムのインジケータ、および仮想支払システムから成る群から選択される、項目145に記載の方法。
(項目148)
前記生成された仮想コンテンツを表示のためにユーザデバイスに送信することをさらに含む、項目139に記載の方法。
(項目149)
方法であって、
患者の医療履歴に関連する患者データを読み出すことと、
前記読み出された患者データに少なくとも部分的に基づいて、仮想コンテンツを生成することと、
前記第1のユーザの第1の場所に対応する第1のマップ点の集合を読み出すことと、
前記読み出されたマップ点の集合に少なくとも部分的に基づいて、第1の仮想ユーザインターフェースを第1のユーザの視野内に作成することと、
前記第1のユーザによって視認されると、前記第1の仮想ユーザインターフェースが前記第1のマップ点の集合において固定されているように見えるように、前記仮想コンテンツを前記第1の仮想ユーザインターフェース上に表示することと
を含む、方法。
(項目150)
前記仮想コンテンツは、外科手術の標的の3次元画像、患者識別情報、医療画像、患者のバイタルサイン情報、およびカルテから成る群から選択される、項目149に記載の方法。
(項目151)
前記患者データは、ネットワーク化されたメモリから読み出される、項目149に記載の方法。
(項目152)
第2の仮想ユーザインターフェースを生成し、前記第1のユーザと第2のユーザとの間の通信を促進することをさらに含み、前記第2のユーザは、前記第1のユーザの前記第1の場所と異なる第2の場所内に居る、項目149に記載の方法。
(項目153)
前記第2の仮想ユーザインターフェースは、前記第2のユーザの視覚的表現である、項目152に記載の方法。
(項目154)
前記第2のユーザは、上級専門外科医、患者、前記患者に関連する者、および医学生から成る群から選択される、項目152に記載の方法。
(項目155)
前記第2のユーザによって視認されると、前記第1の仮想ユーザインターフェースが前記マップ点の集合において固定されているように見えるように、前記仮想コンテンツを前記第1の仮想ユーザインターフェース上において前記第2のユーザに対して表示することをさらに含む、項目152に記載の方法。
(項目156)
前記仮想コンテンツは、前記外科手術手技中、前記第1のユーザに表示され、前記方法は、
ユーザ入力を受信することと、
前記ユーザ入力に基づいて、追加の仮想コンテンツを生成することと、
前記第1のユーザが前記外科手術手技を行っている間、前記追加の仮想コンテンツを前記第1の仮想ユーザインターフェース上に表示することと
をさらに含む、項目149に記載の方法。
(項目157)
前記ユーザ入力は、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド、音声コマンド、眼追跡、および物理ボタンの選択から成る群から選択される、項目156に記載の方法。
(項目158)
前記ユーザ入力は、前記第1のユーザの視野の画像を備え、前記方法は、前記第2のユーザによって視認されると、前記第1の仮想ユーザインターフェースが前記マップ点の集合において固定されているように見えるように、前記追加の仮想コンテンツを前記第1の仮想ユーザインターフェース上において前記第2のユーザに対して表示することをさらに含む、項目156に記載の方法。
(項目159)
医療リハビリテーションを促進する方法であって、
医療リハビリテーションに関連するユーザ入力を受信することと、
前記受信されたユーザ入力に基づいて、医療リハビリテーションに関連する要求をクラウドサーバに送信することと、
前記要求に基づいて、医療リハビリテーションに関連するデータを前記クラウドサーバに接続されている知識ベースから受信することと、
前記受信されたデータに基づいて、医療リハビリテーションに関連する仮想コンテンツを第1のユーザに表示することと
を含む、方法。
(項目160)
前記ユーザ入力は、視覚的、聴覚的、および感覚入力から成る群から選択される、項目159に記載の方法。
(項目161)
前記要求を前記クラウドサーバに送信する前に、前記ユーザ入力が有効であるかどうかを決定することをさらに含む、項目159に記載の方法。
(項目162)
前記データは、前記クラウドサーバに接続されている複数の知識ベースから受信される、項目159に記載の方法。
(項目163)
前記要求は、前記クラウドサーバに、データを前記知識ベースから読み出すように命令する、項目159に記載の方法。
(項目164)
前記仮想コンテンツは、リラックスさせる環境を含む、項目159に記載の方法。
(項目165)
追加のデータを第2のユーザから受信することと、
前記受信された追加のデータに基づいて、追加の仮想コンテンツを前記第1のユーザに表示することと
をさらに含む、項目159に記載の方法。
(項目166)
前記第1および第2のユーザは、異なる物理場所に位置する、項目165に記載の方法。
(項目167)
前記追加の仮想コンテンツは、前記第2のユーザの視覚的表現である、項目165に記載の方法。
(項目168)
第1のユーザデータを前記第1のユーザから受信することと、
第2のユーザデータを第2のユーザから受信することと、
前記受信された第1および第2のユーザデータに基づいて、前記仮想コンテンツを修正することと、
修正された仮想コンテンツを前記第1および第2のユーザに表示することと
をさらに含む、項目159に記載の方法。
(項目169)
前記第1のユーザは、医療リハビリテーションのための物理アクティビティに従事し、前記仮想コンテンツは、前記物理アクティビティに関連する、項目159に記載の方法。
(項目170)
前記仮想コンテンツは、前記物理アクティビティについての情報、前記第1のユーザのパフォーマンス統計、前記物理アクティビティに対応する仮想体験、および仮想アバタから成る群から選択される、項目169に記載の方法。
(項目171)
前記データは、ネットワーク化されたメモリから読み出される、項目159に記載の方法。
(項目172)
タスクのパフォーマンスを向上させる方法であって、
ユーザによって行われるべきタスクに関連するタスクデータを読み出すことと、
前記タスクデータに基づいて、仮想コンテンツを生成することと、
仮想ユーザインターフェースを前記ユーザの視野内に作成することと、
前記ユーザの場所に対応するマップ点の集合を読み出すことと、
前記ユーザによって視認されると、前記仮想ユーザインターフェースが前記マップ点の集合において固定されているように見えるように、前記ユーザが前記タスクを行っている間、前記仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
を含む、方法。
(項目173)
前記仮想コンテンツは、仮想マップされたパターンを有するゲームであり、前記ゲームは、前記ユーザによる前記タスクのパフォーマンスを改良する、項目172に記載の方法。
(項目174)
前記ゲームは、前記仮想マップされたパターンに従うことに対してポイントを与える、項目173に記載の方法。
(項目175)
前記ゲームは、前記仮想マップされたパターン内の地点に所定の時間内に到達することに対してポイントを倍にする、項目174に記載の方法。
(項目176)
前記ゲームは、前記仮想マップされたパターンから外れることに対してポイントを差し引く、項目175に記載の方法。
(項目177)
前記ゲームは、物理オブジェクトに隣接して移動することに対してポイントを差し引く、項目175に記載の方法。
(項目178)
前記タスクは、造園機械を運転すること、在庫アイテムを読み出すこと、小売棚に陳列すること、および郵便をソートすることから成る群から選択される、項目172に記載の方法。
(項目179)
前記タスクデータは、ネットワーク化されたメモリから読み出される、項目172に記載の方法。
(項目180)
ユーザ入力を受信することと、
前記ユーザ入力に基づいて、追加の仮想コンテンツを生成することと、
前記ユーザが前記タスクを行っている間、前記追加の仮想コンテンツを前記仮想ユーザインターフェース上に表示することと
をさらに含む、項目172に記載の方法。
(項目181)
前記ユーザ入力は、前記タスクのパフォーマンスに関連するユーザアクションを備えている、項目180に記載の方法。
(項目182)
拡張現実ディスプレイシステムにおける遅延を補正する方法であって、
仮想画像をユーザに表示する少なくとも1つの段階における1つ以上のタイミング不一致を決定することと、
予測機構を利用して、前記タイミング不一致を予測的に補正することと、
前記予測機構に少なくとも部分的に基づいて、前記仮想画像のデータに関連する少なくとも1つの特性を補償することと
を含む、方法。
(項目183)
前記タイミング不一致は、1つ以上のセンサによって行われる1つ以上のセンサ測定に関わり、前記1つ以上のセンサは、前記プロセッサに通信可能に結合されている、項目182に記載の方法。
(項目184)
前記タイミング不一致は、着信データを処理するときの処理遅延に関わる、項目182に記載の方法。
(項目185)
前記予測機構は、フィルタを利用して、前記タイミング不一致の影響を補正する、項目182に記載の方法。
(項目186)
前記フィルタは、1つ以上のセンサ測定の相対的スピードを考慮し、前記センサ測定は、前記プロセッサに通信可能に結合されている1つ以上のセンサによって行われる、項目185に記載の方法。
(項目187)
前記予測機構は、カルマン予測子を利用する、項目182に記載の方法。
(項目188)
前記カルマン予測子は、ディスプレイ処理段階中、利用される、項目187に記載の方法。
(項目189)
前記補償は、前記仮想画像に関連付けられたデータのシフトを行うことを含む、項目182に記載の方法。
(項目190)
前記補償は、前記仮想画像に関連付けられた1つ以上の視覚的アーチファクトを平滑化することを含む、項目182に記載の方法。
(項目191)
前記補償は、1つ以上のセンサのセンサ測定の負の影響を補正することを含み、前記1つ以上のセンサは、前記プロセッサに通信可能に結合されている、項目182に記載の方法。
(項目192)
拡張現実システムを較正する方法であって、
仮想画像をユーザに表示することであって、前記仮想画像は、既知の焦点距離に表示され、前記仮想画像は、画素点を備えている、ことと、
前記画素点が前記ユーザに表示されている場所を決定することであって、前記画素の場所は、前記ユーザの眼の瞳孔の場所に少なくとも部分的に基づいて、計算される、ことと、
前記仮想画像の画素点を空間内の既知の点と整列させることと
を含む、方法。
(項目193)
項目331のステップは、複数の画素点に対して繰り返される、項目192に記載の方法。
(項目194)
前記画素点が前記ユーザに表示されている場所は、前記空間内の既知の点の場所に少なくとも部分的に基づいて、計算される、項目192に記載の方法。
(項目195)
前記瞳孔の場所、前記画素点の場所および前記空間内の既知の点の場所は、同一線上にある、項目192に記載の方法。
(項目196)
前記画素点が前記ユーザに表示されている場所は、ユーザ入力に基づいて、修正される、項目192に記載の方法。
(項目197)
複数の画素点が前記ユーザに提示されるように、ゲーム用インターフェースを作成することをさらに含む、項目196に記載の方法。
(項目198)
前記ゲーム用インターフェースは、前記ユーザの眼移動を通してレーザを発射することを含む、項目197に記載の方法。
(項目199)
前記既知の点の場所は、1つ以上の世界カメラから受信されるデータに少なくとも部分的に基づいて、決定される、項目197に記載の方法。
(項目200)
項目1のステップは、前記ユーザの他方の眼に対して繰り返される、項目192に記載の方法。
(項目201)
前記画素点の場所は、前記瞳孔の場所および前記既知の点の場所の関数に少なくとも部分的に基づいて、決定される、項目193に記載の方法。
(項目202)
前記関数は、二次関数を備えている、項目201に記載の方法。
(項目203)
仮想インターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも1つの物理オブジェクトに関係して、アバタユーザインターフェースを表示することであって、前記アバタユーザインターフェースは、少なくとも1つの仮想ユーザインターフェース要素を提示する、ことと、
前記ユーザと前記アバタユーザインターフェースとの間の相互作用に少なくとも部分的に基づいて、少なくとも1つの仮想ユーザインターフェース要素を選択することと
を含む、方法。
(項目204)
前記ユーザ入力は、ジェスチャを含む、項目203に記載の方法。
(項目205)
前記ユーザの拡張現実ディスプレイシステムに関係する前記ジェスチャの場所を決定することをさらに含み、前記仮想ユーザインターフェースは、前記決定された場所に表示される、項目204に記載の方法。
(項目206)
前記アバタは、事前に選択されたアバタである、項目203に記載の方法。
(項目207)
前記アバタは、前記ユーザに似ている、項目203に記載の方法。
(項目208)
前記アバタは、前記物理オブジェクトの上に立っているかのように表示される、項目203に記載の方法。
(項目209)
前記少なくとも1つの仮想要素は、アプリケーションを備えている、項目203に記載の方法。
(項目210)
別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも1つの仮想要素を選択することであって、前記少なくとも1つの仮想要素は、前記ユーザの連絡先を備えている、ことと、
前記アバタ仮想ユーザインターフェースおよび前記物理オブジェクトに関係して、前記ユーザの連絡先を表す別のアバタを表示することであって、前記ユーザと前記ユーザの連絡先との間の相互作用は、前記アバタ仮想ユーザインターフェースと前記ユーザの連絡先を表す他のアバタとの間の仮想相互作用を通して動画化される、ことと
をさらに含む、項目203に記載の方法。
(項目211)
前記相互作用は、データを前記ユーザの拡張現実システムと前記ユーザの連絡先に対応するコンピューティングシステムとの間で伝送することを含む、項目210に記載の方法。
(項目212)
前記ユーザ入力は、音声コマンドを備えている、項目203に記載の方法。
(項目213)
仮想インターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも1つの物理オブジェクトに関係して、1つ以上の選択可能仮想インターフェース要素を備えているフローティング式ユーザインターフェースを表示することであって、前記フローティング式ユーザインターフェースは、前記ユーザ入力が受信された場所から押し出されたように見える、ことと
を含む、方法。
(項目214)
前記ユーザ入力は、前記ユーザの指のジェスチャを含む、項目213に記載の方法。
(項目215)
前記ユーザの指のジェスチャは、前記ユーザの一方の手の指を前記ユーザの他方の手の別の指を用いてタッチすることを含む、項目214に記載の方法。
(項目216)
前記ユーザの一方の手の指を前記ユーザの他方の手の別の指を用いてタッチした場所を決定することをさらに含み、前記フローティング式仮想ユーザインターフェースは、前記決定された場所から生じる、項目215に記載の方法。
(項目217)
前記フローティング式ユーザインターフェースは、3次元ブロックの集合を備え、前記3次元ブロックの集合のうちの3次元ブロックは、前記少なくとも1つの選択可能仮想ユーザインターフェース要素を表す、項目213に記載の方法。
(項目218)
前記フローティング式仮想ユーザインターフェースは、世界基準フレームに少なくとも部分的に基づいて、作成される、項目213に記載の方法。
(項目219)
前記少なくとも1つの選択可能仮想ユーザインターフェース要素は、3次元ブロックのスタックとして存在し、前記3次元ブロックのスタックは、別のユーザ入力に少なくとも部分的に基づいて、回転される、項目213に記載の方法。
(項目220)
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することであって、前記仮想インターフェース要素は、少なくとも1つの他のサブ仮想インターフェース要素に関連付けられている、ことと、
前記少なくとも1つの他のサブ仮想インターフェース要素を前記選択された仮想インターフェース要素の下に表示することと
をさらに含む、項目213に記載の方法。
(項目221)
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することと、
仮想ボックス内に、前記選択された仮想インターフェース要素に関連付けられたコンテンツを表示することであって、前記仮想ボックスは、前記ユーザの視野内に表示されるコンテンツを備えている、ことと
をさらに含む、項目213に記載の方法。
(項目222)
前記仮想ボックスが閉鎖されるべきことを示す第2のユーザ入力を識別することと、
前記第2のユーザ入力に少なくとも部分的に基づいて、前記仮想ボックスを紙をくしゃくしゃに丸めることに似た様式で動画化することと、
前記選択された仮想インターフェース要素に関連付けられたコンテンツを終了させることと
をさらに含む、項目221に記載の方法。
(項目223)
前記第2のユーザ入力は、ジェスチャを含み、前記ジェスチャは、1枚の紙をくしゃくしゃに丸めることに似ている、項目222に記載の方法。
(項目224)
仮想ユーザインターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも1つの物理オブジェクトに関係して、1つ以上の選択可能仮想インターフェース要素を備えているフローティング式ユーザインターフェースを表示することと
を含み、
前記フローティング式ユーザインターフェースは、前記少なくとも1つの物理オブジェクト上に置かれているように見え、前記少なくとも1つの物理オブジェクトの縦軸の周りでの前記少なくとも1つの物理オブジェクトの回転は、追加の選択可能仮想インターフェース要素が表示されることをもたらし、前記追加の選択可能仮想インターフェース要素は、前記少なくとも1つの物理オブジェクトの別の側に置かれているように見える、方法。(項目225)
前記少なくとも1つの物理オブジェクトは、前記ユーザの腕を備えている、項目224に記載の方法。
(項目226)
前記ユーザ入力は、ジェスチャを含む、項目224に記載の方法。
(項目227)
前記ジェスチャは、前記選択可能仮想インターフェース要素が表示されているように見える、前記ユーザの腕上における前記ユーザの手のカップを形成するような運動を含む、項目226に記載の方法。
(項目228)
前記ユーザの腕上における前記ユーザの手のカップを形成するような運動の場所を決定することをさらに含み、前記フローティング式ユーザインターフェースは、前記決定された場所から生じる、項目227に記載の方法。
(項目229)
別のユーザ入力に少なくとも部分的に基づいて、前記フローティング式仮想ユーザインターフェースのレンダリングを終了させることをさらに含む、項目224に記載の方法。
(項目230)
前記他のユーザ入力は、ジェスチャを含み、前記ジェスチャは、前記物理オブジェクトを横断して前記ユーザのカップ状の手をドラッグする運動を含む、項目229に記載の方法。
(項目231)
前記フローティング式仮想ユーザインターフェースは、手中心基準フレームに少なくとも部分的に基づいて、作成される、項目224に記載の方法。
(項目232)
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することと、
前記選択された仮想インターフェース要素に関連付けられたコンテンツを表示することであって、前記コンテンツは、前記フローティング式仮想インターフェースに関係して表示される、ことと
をさらに含む、項目224に記載の方法。
(項目233)
前記表示されるコンテンツは、前記手中心基準フレームに対応する、項目231に記載の方法。
(項目234)
前記ユーザから受信される入力に少なくとも部分的に基づいて、前記フローティング式仮想ユーザインターフェースが移動している場合、前記表示されるコンテンツが静止したままであるように、前記表示されるコンテンツを前記手中心基準フレームから世界中心基準フレームに移動させることをさらに含む、項目231に記載の方法。
(項目235)
仮想ユーザインターフェースを作成する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
少なくとも1つの物理オブジェクトに関係して、前記少なくとも1つの物理オブジェクトにタッチした場所から生じる仮想ユーザインターフェースを表示することであって、前記仮想ユーザインターフェースは、前記少なくとも1つの物理オブジェクトにタッチした場所から飛び出ているように見え、前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースに取り付けられているように見える少なくとも1つの選択可能仮想ユーザインターフェース要素を備えている、ことと
を含む、方法。
(項目236)
前記少なくとも1つの物理オブジェクトは、水平表面を備えている、項目235に記載の方法。
(項目237)
前記ユーザ入力は、ジェスチャを含む、項目235に記載の方法。
(項目238)
前記ジェスチャは、所定の期間の間、伸ばされた指が前記少なくとも1つの物理オブジェクトをタッチすることを含む、項目237に記載の方法。
(項目239)
前記ユーザの指が前記少なくとも1つの物理オブジェクトにタッチした場所を決定することをさらに含み、前記仮想ユーザインターフェースは、前記決定された場所から生じる、項目235に記載の方法。
(項目240)
別のユーザ入力に少なくとも部分的に基づいて、前記フローティング式仮想ユーザインターフェースのレンダリングを終了させることをさらに含む、項目235に記載の方法。(項目241)
前記他のユーザ入力は、ジェスチャを含み、前記ジェスチャは、前記レンダリングされた仮想ユーザインターフェースを横断して、前記ユーザの手を用いて切断する運動を含む、項目240に記載の方法。
(項目242)
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目235に記載の方法。
(項目243)
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素の仮想ユーザインターフェース要素を選択することと、
前記少なくとも1つの物理オブジェクトの別の場所に、第2の仮想ユーザインターフェースを生成することであって、前記第2の仮想ユーザインターフェースは、追加の選択可能仮想インターフェース要素を備えている、ことと
をさらに含む、項目235に記載の方法。
(項目244)
前記仮想ユーザインターフェースは、前記少なくとも1つの物理オブジェクトにタッチした場所から生えている木に似ている、項目235に記載の方法。
(項目245)
仮想ユーザインターフェースを表示する方法であって、
ユーザ入力に基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記仮想ユーザインターフェースが指の移動を鏡映するように、前記ユーザの前記指の運動を鏡映するような仮想ユーザインターフェースを描写することと、
1つ以上の選択可能ユーザインターフェース要素を前記仮想ユーザインターフェースが描写されているエリア内に表示することと
を含む、方法。
(項目246)
前記指ジェスチャは、所定の期間の間、前記ユーザの手の少なくとも1本の指を用いて指示するジェスチャを含む、項目245に記載の方法。
(項目247)
前記指示ジェスチャの場所を決定することをさらに含み、前記仮想ユーザインターフェースは、前記決定された場所から生じる、項目246に記載の方法。
(項目248)
前記ユーザが前記仮想ユーザインターフェースをもはや描写していないことを検出することをさらに含み、前記仮想ユーザインターフェース要素は、前記検出に少なくとも部分的に基づいて、表示される、項目245に記載の方法。
(項目249)
前記仮想ユーザインターフェースの描写は、空間を横断した前記ユーザの指のドラッグ運動を鏡映する、項目245に記載の方法。
(項目250)
別のユーザ入力に少なくとも部分的に基づいて、フローティング式仮想ユーザインターフェースのレンダリングを終了させることをさらに含む、項目245に記載の方法。
(項目251)
前記他のユーザ入力は、ジェスチャを含み、前記ジェスチャは、前記ユーザの指の連続ドラッグ運動の終了を含む、項目250に記載の方法。
(項目252)
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目245に記載の方法。
(項目253)
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記仮想ユーザインターフェースに関係して前記選択された仮想インターフェース要素に関連付けられたコンテンツを生成することと
をさらに含む、項目245に記載の方法。
(項目254)
前記仮想ユーザインターフェースの形状は、前記ユーザの指によって描写される形状に似ている、項目245に記載の方法。
(項目255)
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、前記仮想ユーザインターフェースが前記物理オブジェクトの垂直側面にあるように見えるように、前記手のジェスチャの方向における物理オブジェクトの前記垂直側面に少なくとも1つの選択可能仮想インターフェース要素を有する仮想ユーザインターフェースを表示することと
を含む、方法。
(項目256)
前記手のジェスチャに応答して、塗料の斑点に似た仮想コンテンツの集合を表示することをさらに含み、前記仮想コンテンツは、前記手のジェスチャによって示される点において生じる、項目255に記載の方法。
(項目257)
前記手のジェスチャは、前記物理オブジェクトの前記垂直側面の方向に振り上げられた伸ばされた指を含む、項目255に記載の方法。
(項目258)
前記物理オブジェクトの前記垂直側面の方向に振り上げられた伸ばされた指の場所を決定することをさらに含み、塗料の斑点に似た仮想コンテンツの集合は、前記決定された場所に表示される、項目257に記載の方法。
(項目259)
仮想斑点を前記物理オブジェクトの前記垂直側面に表示することをさらに含み、前記仮想斑点の少なくとも1つの特性は、前記物理オブジェクトの前記垂直側面の方向に振り上げられた伸ばされた指の決定された場所に少なくとも部分的に基づいて、前記物理オブジェクトの前記垂直側面に表示される、項目258に記載の方法。
(項目260)
前記物理オブジェクトは、壁を備えている、項目255に記載の方法。
(項目261)
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目255に記載の方法。
(項目262)
前記ユーザから受信される別のユーザ入力に少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられたコンテンツを生成することと
をさらに含む、項目255に記載の方法。
(項目263)
前記選択されたユーザインターフェース要素に関連付けられたコンテンツを縮小形態で記憶することをさらに含み、前記縮小形態は、仮想バンドを備え、前記仮想バンドは、前記ユーザの手の周囲に表示される、項目2622に記載の方法。
(項目264)
前記仮想バンドは、前記仮想バンドが少なくとも部分的に前記手の移動に基づいて移動するように、少なくとも部分的に手中心基準フレームに基づいて、作成される、項目263に記載の方法。
(項目265)
前記ユーザの別のジェスチャに少なくとも部分的に基づいて、前記コンテンツを完全形態で表示することをさらに含む、項目263に記載の方法。
(項目266)
前記他のジェスチャは、前記仮想バンドが表示される前記手の振り上げる運動を含む、項目265に記載の方法。
(項目267)
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、少なくとも1つの選択可能仮想インターフェース要素が前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、移動し、追加の選択可能仮想インターフェース要素を表示するように、前記少なくとも1つの選択可能仮想インターフェース要素を有する水平糸に似ている、方法。
(項目268)
前記手のジェスチャは、前記ユーザの第1の手の第1の指を第2の手の第2の指を用いてタッチする運動を含む、項目267に記載の方法。
(項目269)
前記ジェスチャは、前記第1の指が前記第2の指から離れるように、前記第1の指および前記第2の指の両方を引き離す運動をさらに含む、項目268に記載の方法。
(項目270)
前記仮想糸は、前記第1および第2の指の移動の長さを鏡映し、前記仮想糸の長さは、前記第1および第2の指の移動に少なくとも部分的に基づく、項目269に記載の方法。(項目271)
前記第1の指と第2の指とのタッチ運動の場所を決定することをさらに含み、前記仮想糸は、前記決定された場所から生じる、項目267に記載の方法。
(項目272)
前記他方の手のジェスチャは、前記ユーザの手の方向転換運動を含み、前記方向転換移動は、前記少なくとも1つの選択可能仮想インターフェース要素に前記方向転換運動の方向に移動させる、項目267に記載の方法。
(項目273)
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目267に記載の方法。
(項目274)
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられたコンテンツを生成することと
をさらに含む、項目267に記載の方法。
(項目275)
前記他方の手のジェスチャは、前記ユーザの一方の手を前方に持って来る運動を含む、項目274に記載の方法。
(項目276)
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、垂直糸の集合を備え、前記垂直糸の各々は、少なくとも1つの選択可能仮想インターフェース要素に関連付けられている、方法。
(項目277)
前記手のジェスチャは、所定の期間の間、前記ユーザの第1の手を広げるジェスチャを含む、項目276に記載の方法。
(項目278)
別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素を選択することをさらに含み、前記他方の手のジェスチャは、前記ユーザの2本の指を用いて、前記仮想糸の集合のうちの仮想糸のうちの少なくとも1つを引っ張る運動を含む、項目277に記載の方法。
(項目279)
手のジェスチャに少なくとも部分的に基づいて、第1の仮想糸に関連付けられた第1の仮想要素に関連付けられたデータを第2の仮想糸に関連付けられた第2の仮想要素に伝送することをさらに含む、項目276に記載の方法。
(項目280)
前記他方の手のジェスチャは、前記第2の仮想糸に関連付けられた前記第2の仮想要素を用いた前記第1の仮想糸に関連付けられた前記第1の仮想要素の圧搾運動を含み、前記圧搾運動は、前記ユーザの指によって行われる、項目279に記載の方法。
(項目281)
前記仮想インターフェースは、少なくとも1つの物理オブジェクトに関係して表示される、項目276に記載の方法。
(項目282)
前記少なくとも1つの物理オブジェクトは、壁を備えている、項目281に記載の方法。
(項目283)
手のジェスチャの場所を決定することをさらに含み、前記仮想糸は、前記決定された場所から生じる、項目276に記載の方法。
(項目284)
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目276に記載の方法。
(項目285)
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成することと
をさらに含む、項目276に記載の方法。
(項目286)
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、垂直糸の集合を備え、前記垂直糸の各々は、少なくとも1つの選択可能仮想インターフェース要素に関連付けられている、方法。
(項目287)
前記手のジェスチャは、所定の期間の間、前記ユーザの第1の手を広げるジェスチャを含む、項目286に記載の方法。
(項目288)
別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素を選択することをさらに含み、前記他方の手のジェスチャは、前記ユーザの2本の指を用いて、前記仮想糸の集合のうちの仮想糸のうちの少なくとも1つを引っ張る運動を含む、項目287に記載の方法。
(項目289)
手のジェスチャに少なくとも部分的に基づいて、第1の仮想糸に関連付けられた第1の仮想要素に関連付けられたデータを第2の仮想糸に関連付けられた第2の仮想要素に伝送することをさらに含む、項目286に記載の方法。
(項目290)
前記他方の手のジェスチャは、前記第2の仮想糸に関連付けられた前記第2の仮想要素を用いた前記第1の仮想糸に関連付けられた前記第1の仮想要素の圧搾運動を含み、前記圧搾運動は、前記ユーザの指によって行われる、項目289に記載の方法。
(項目291)
前記仮想インターフェースは、少なくとも1つの物理オブジェクトに関係して表示される、項目286に記載の方法。
(項目292)
前記少なくとも1つの物理オブジェクトは、壁を備えている、項目291に記載の方法。
(項目293)
手のジェスチャの場所を決定することをさらに含み、前記仮想糸は、前記決定された場所から生じる、項目286に記載の方法。
(項目294)
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目286に記載の方法。
(項目295)
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成することと
をさらに含む、項目286に記載の方法。
(項目296)
仮想ユーザインターフェースを作成する方法であって、
ユーザの手のジェスチャに基づいて、前記ユーザに表示されるべきユーザインターフェースを識別することと、
前記手のジェスチャに応答して、仮想ユーザインターフェースを表示することと
を含み、
前記仮想ユーザインターフェースは、仮想クモの巣に似ており、前記ユーザは、前記仮想クモの巣の仮想糸を引っ張り、前記仮想インターフェースを前記ユーザに近付ける、方法。
(項目297)
前記手のジェスチャは、前記ユーザの手の握り拳を用いて引っ張る運動を含む、項目296に記載の方法。
(項目298)
前記仮想クモの巣の仮想糸は、少なくとも1つの選択可能仮想要素を備えている、項目297に記載の方法。
(項目299)
別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素を選択することをさらに含み、前記他方の手のジェスチャは、前記仮想糸のうちの少なくとも1つを前記ユーザに向かって引っ張る運動を含む、項目298に記載の方法。
(項目300)
手のジェスチャに少なくとも部分的に基づいて、第1の仮想糸に関連付けられた第1の仮想要素に関連付けられたデータを第2の仮想糸に関連付けられた第2の仮想要素に伝送することをさらに含む、項目296に記載の方法。
(項目301)
前記他方の手のジェスチャは、前記第2の仮想糸に関連付けられた前記第2の仮想要素を用いた前記第1の仮想糸に関連付けられた前記第1の仮想要素の圧搾運動を含み、前記圧搾運動は、前記ユーザの指によって行われる、項目300に記載の方法。
(項目302)
前記仮想インターフェースは、少なくとも1つの物理オブジェクトに関係して表示される、項目296に記載の方法。
(項目303)
前記少なくとも1つの物理オブジェクトは、壁を備えている、項目302に記載の方法。
(項目304)
手のジェスチャの場所を決定することをさらに含み、前記仮想クモの巣は、前記決定された場所から生じる、項目296に記載の方法。
(項目305)
前記仮想ユーザインターフェースは、前記仮想ユーザインターフェースが前記ユーザの任意の移動に対して静止したままであるように、世界中心基準フレームに少なくとも部分的に基づいて、作成される、項目296に記載の方法。
(項目306)
前記ユーザの別の手のジェスチャに少なくとも部分的に基づいて、前記少なくとも1つの選択可能仮想インターフェース要素のうちの仮想ユーザインターフェース要素を選択することと、
前記物理オブジェクトの別の場所に、前記選択されたユーザインターフェース要素に関連付けられた仮想コンテンツを生成することと
をさらに含む、項目296に記載の方法。
(項目307)
前記方法ステップを実装する手段を有するシステムとして実装される、項目1-306に記載の方法。
(項目308)
前記方法ステップを実行するための実行可能コードを有するコンピュータ使用可能記憶媒体を備えているコンピュータプログラム製品として実装される、項目1-306に記載の方法。
図面は、本発明の種々の実施形態の設計および可用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して類似参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点ならびに目的を得る方法をより深く理解するために、簡単に前述された発明を実施するための形態が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して付加的具体性および詳細とともに記載ならびに説明されるであろう。
図1は、例証される実施形態の1つによる、1つ以上のサーバと相互作用する拡張現実(AR)システムのシステムアーキテクチャを図示する。
図2は、例証される実施形態の1つによる、1つ以上のサーバと相互作用するARデバイスとして使用される携帯電話の詳細図を図示する。
図3は、例証される実施形態の1つによる、ユーザの頭部上に搭載される例示的ARデバイスの平面図を図示する。
図4A-4Dは、装着式ARデバイスの種々の内部処理構成要素の1つ以上の実施形態を図示する。
図4A-4Dは、装着式ARデバイスの種々の内部処理構成要素の1つ以上の実施形態を図示する。
図4A-4Dは、装着式ARデバイスの種々の内部処理構成要素の1つ以上の実施形態を図示する。
図4A-4Dは、装着式ARデバイスの種々の内部処理構成要素の1つ以上の実施形態を図示する。
図5A-5Hは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図5A-5Hは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図5A-5Hは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図5A-5Hは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図5A-5Hは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図5A-5Hは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図5A-5Hは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図5A-5Hは、透過性ビームスプリッタ基板を通したユーザへの合焦された光の伝送の実施形態を図示する。
図6Aおよび6Bは、レンズ要素と図5A-5Hの透過性ビームスプリッタ基板の結合の実施形態を図示する。
図6Aおよび6Bは、レンズ要素と図5A-5Hの透過性ビームスプリッタ基板の結合の実施形態を図示する。
図7Aおよび7Bは、光をユーザに伝送するための1つ以上の導波管の使用の実施形態を図示する。
図7Aおよび7Bは、光をユーザに伝送するための1つ以上の導波管の使用の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図8A-8Qは、可能回折光学要素可能回折光学要素(ODE)の実施形態を図示する。
図9Aおよび9Bは、例証される実施形態の1つによる、光プロジェクタから生成される波正面を図示する。
図10は、例証される実施形態の1つによる、光学要素と結合される複数の透過性ビームスプリッタ基板のスタックされた構成の実施形態を図示する。
図11A-11Cは、例証される実施形態による、ユーザの瞳孔の中に投影されるビームレットの集合を図示する。
図11A-11Cは、例証される実施形態による、ユーザの瞳孔の中に投影されるビームレットの集合を図示する。
図11A-11Cは、例証される実施形態による、ユーザの瞳孔の中に投影されるビームレットの集合を図示する。
図12Aおよび12Bは、例証される実施形態による、マイクロプロジェクタのアレイの構成を図示する。
図12Aおよび12Bは、例証される実施形態による、マイクロプロジェクタのアレイの構成を図示する。
図13A-13Mは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図13A-13Mは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図13A-13Mは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図13A-13Mは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図13A-13Mは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図13A-13Mは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図13A-13Mは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図13A-13Mは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図13A-13Mは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図13A-13Mは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図13A-13Mは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図13A-13Mは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図13A-13Mは、例証される実施形態による、マイクロプロジェクタと光学要素の結合の実施形態を図示する。
図14A-14Fは、例証される実施形態による、光学要素と結合される空間光変調器の実施形態を図示する。
図14A-14Fは、例証される実施形態による、光学要素と結合される空間光変調器の実施形態を図示する。
図14A-14Fは、例証される実施形態による、光学要素と結合される空間光変調器の実施形態を図示する。
図14A-14Fは、例証される実施形態による、光学要素と結合される空間光変調器の実施形態を図示する。
図14A-14Fは、例証される実施形態による、光学要素と結合される空間光変調器の実施形態を図示する。
図14A-14Fは、例証される実施形態による、光学要素と結合される空間光変調器の実施形態を図示する。
図15A-15Cは、例証される実施形態による、複数の光源とともに、楔タイプ導波管の使用を図示する。
図15A-15Cは、例証される実施形態による、複数の光源とともに、楔タイプ導波管の使用を図示する。
図15A-15Cは、例証される実施形態による、複数の光源とともに、楔タイプ導波管の使用を図示する。
図16A-16Oは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図16A-16Oは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図16A-16Oは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図16A-16Oは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図16A-16Oは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図16A-16Oは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図16A-16Oは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図16A-16Oは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図16A-16Oは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図16A-16Oは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図16A-16Oは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図16A-16Oは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図16A-16Oは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図16A-16Oは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図16A-16Oは、例証される実施形態による、光学要素と光ファイバの結合の実施形態を図示する。
図17は、例証される実施形態の1つによる、ノッチフィルタを図示する。
図18は、例証される実施形態の1つによる、ファイバ走査ディスプレイの渦巻パターンを図示する。
図19A-19Nは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図19A-19Nは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図19A-19Nは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図19A-19Nは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図19A-19Nは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図19A-19Nは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図19A-19Nは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図19A-19Nは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図19A-19Nは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図19A-19Nは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図19A-19Nは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図19A-19Nは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図19A-19Nは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図19A-19Nは、例証される実施形態による、暗視野をユーザに提示する際の遮閉効果を図示する。
図20A-20Oは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図20A-20Oは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図20A-20Oは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図20A-20Oは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図20A-20Oは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図20A-20Oは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図20A-20Oは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図20A-20Oは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図20A-20Oは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図20A-20Oは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図20A-20Oは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図20A-20Oは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図20A-20Oは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図20A-20Oは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図20A-20Oは、例証される実施形態による、種々の導波管アセンブリの実施形態を図示する。
図21A-21Nは、例証される実施形態による、他の光学要素に結合されるDOEの種々の構成を図示する。
図21A-21Nは、例証される実施形態による、他の光学要素に結合されるDOEの種々の構成を図示する。
図21A-21Nは、例証される実施形態による、他の光学要素に結合されるDOEの種々の構成を図示する。
図21A-21Nは、例証される実施形態による、他の光学要素に結合されるDOEの種々の構成を図示する。
図21A-21Nは、例証される実施形態による、他の光学要素に結合されるDOEの種々の構成を図示する。
図21A-21Nは、例証される実施形態による、他の光学要素に結合されるDOEの種々の構成を図示する。
図21A-21Nは、例証される実施形態による、他の光学要素に結合されるDOEの種々の構成を図示する。
図21A-21Nは、例証される実施形態による、他の光学要素に結合されるDOEの種々の構成を図示する。
図21A-21Nは、例証される実施形態による、他の光学要素に結合されるDOEの種々の構成を図示する。
図21A-21Nは、例証される実施形態による、他の光学要素に結合されるDOEの種々の構成を図示する。
図21A-21Nは、例証される実施形態による、他の光学要素に結合されるDOEの種々の構成を図示する。
図21A-21Nは、例証される実施形態による、他の光学要素に結合されるDOEの種々の構成を図示する。
図21A-21Nは、例証される実施形態による、他の光学要素に結合されるDOEの種々の構成を図示する。
図21A-21Nは、例証される実施形態による、他の光学要素に結合されるDOEの種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図22A-22Yは、例証される実施形態による、自由形状光学の種々の構成を図示する。
図23は、簡略化された個々のARデバイスの構成要素の上面図を図示する。
図24は、個々のARシステムの光学の例示的実施形態を図示する。
図25は、一実施形態による、個々のARシステムのシステムアーキテクチャを図示する。
図26は、一実施形態による、部屋ベースのセンサシステムを図示する。
図27は、拡張現実システムの通信アーキテクチャおよび多くのユーザの拡張現実システムとクラウドの相互作用を図示する。
図28は、一実施形態による、パス可能世界モデルの簡略化された図を図示する。
図29は、一実施形態による、パス可能世界モデルを使用してレンダリングする例示的方法を図示する。
図30は、一実施形態による、オブジェクトを認識するプロセスのための高レベルフロー図を図示する。
図31は、一実施形態による、パス可能世界内のオブジェクトを認識するオブジェクト認識器によって採用されるリングバッファアプローチを図示する。
図32は、一実施形態による、例示的トポロジマップを図示する。
図33は、一実施形態による、トポロジマップを使用した位置特定のプロセスのための高レベルフロー図を図示する。
図34は、一実施形態による、種々のキーフレーム間の接続としての幾何学的マップを図示する。
図35は、一実施形態による、幾何学的マップの上部に層化されたトポロジマップの例示的実施形態を図示する。
図36は、一実施形態による、波伝搬束調節を行うプロセスのための高レベルフロー図を図示する。
図37は、一実施形態による、仮想キーフレームを通して見られるマップ点およびマップ点からキーフレームまでのレンダリング線を図示する。
図38は、一実施形態による、検索ではなく、レンダリングに基づいて、マップ点を発見するプロセスのための高レベルフロー図を図示する。
図39は、一実施形態による、光マップに基づいて、仮想オブジェクトをレンダリングするプロセスのための高レベルフロー図を図示する。
図40は、一実施形態による、光マップを作成するプロセスのための高レベルフロー図を図示する。
図41は、一実施形態による、ユーザ中心光マップを描写する。
図42は、一実施形態による、オブジェクト中心光マップを描写する。
図43は、一実施形態による、光マップを変換するプロセスのための高レベルフロー図を図示する。
図44は、一実施形態による、自律的ナビゲーション定義またはオブジェクトのライブラリを図示する。
図45は、一実施形態による、種々の自律的ナビゲーションオブジェクトの相互作用を図示する。
図46は、一実施形態による、自律的ナビゲーション定義またはオブジェクトのスタックを図示する。
図47A-47Bは、一実施形態による、感情状態を識別するための自律的ナビゲーション定義の使用を図示する。
図47A-47Bは、一実施形態による、感情状態を識別するための自律的ナビゲーション定義の使用を図示する。
図48は、一実施形態による、自律的ナビゲーション定義またはオブジェクトを定義するために使用されるべき相関閾値グラフを図示する。
図49は、一実施形態による、パス可能世界モデルの系統図を図示する。
図50は、一実施形態による、仮想場面を表示する例示的方法を図示する。
図51は、例証される実施形態の1つによる、ARシステムの種々のモジュールの平面図を図示する。
図52は、例証される実施形態の1つによる、ARデバイスが拡張現実モードにおいて動作されるときのユーザによって視認されるオブジェクトの実施例を図示する。
図53は、例証される実施形態の1つによる、ARデバイスが仮想モードにおいて動作されるときのユーザによって視認されるオブジェクトの実施例を図示する。
図54は、例証される実施形態の1つによる、ARデバイスが混成仮想インターフェースモードにおいて動作されるときのユーザによって視認されるオブジェクトの実施例を図示する。
図55は、一実施形態による、2人のユーザが異なる地理的場所に位置し、それぞれ、そのそれぞれのユーザデバイスを通して、他のユーザおよび共通仮想世界と相互作用する、実施形態を図示する。
図56は、一実施形態による、図55の実施形態が触知デバイスの使用を含むように拡張される、実施形態を図示する。
図57A-57Bは、1つ以上の実施形態による、混合モードインターフェースの実施例を図示する。
図57A-57Bは、1つ以上の実施形態による、混合モードインターフェースの実施例を図示する。
図58は、一実施形態による、ARシステムとインターフェースをとるときのユーザのビューの例示的例証を図示する。
図59は、一実施形態による、ユーザが拡張現実モードにおけるシステムとインターフェースをとるときの物理オブジェクトによってトリガされる仮想オブジェクトを示す、ユーザのビューの例示的例証を図示する。
図60は、拡張現実体験におけるあるユーザが、仮想現実体験における別のユーザの存在を視覚化する、拡張および仮想現実統合構成の一実施形態を図示する。
図61は、時間および/または付随イベントベースの拡張現実体験構成の一実施形態を図示する。
図62は、仮想および/または拡張現実体験に好適なユーザディスプレイ構成の一実施形態を図示する。
図63は、ローカルおよびクラウドベースのコンピューティング協調の一実施形態を図示する。
図64は、例証される実施形態の1つによる、位置合わせ構成の種々の側面を図示する。
図65は、一実施形態による、ARシステムと相互作用する例示的シナリオを図示する。
図66は、別の実施形態による、図65の例示的シナリオの別の斜視図を図示する。
図67は、別の実施形態による、図65の例示的シナリオのさらに別の斜視図を図示する。
図68は、一実施形態による、例示的シナリオの上面図を図示する。
図69は、一実施形態による、図65-68の例示的シナリオのゲームビューを図示する。
図70は、一実施形態による、図65-68の例示的シナリオの上面図を図示する。
図71は、一実施形態による、複数のユーザを含む拡張現実シナリオを図示する。
図72A-72Bは、一実施形態による、ARデバイスとしてのスマートフォンまたはタブレットの使用を図示する。
図72A-72Bは、一実施形態による、ARデバイスとしてのスマートフォンまたはタブレットの使用を図示する。
図73は、一実施形態による、ARシステムユーザ間で通信するために位置特定を使用する例示的方法を図示する。
図74A-74Bは、一実施形態による、ARシステムと相互作用する例示的オフィスでのシナリオを図示する。
図74A-74Bは、一実施形態による、ARシステムと相互作用する例示的オフィスでのシナリオを図示する。
図75は、一実施形態による、家の中でARシステムと相互作用する例示的シナリオを図示する。
図76は、一実施形態による、家の中でARシステムと相互作用する別の例示的シナリオを図示する。
図77は、一実施形態による、家の中でARシステムと相互作用する別の例示的シナリオを図示する。
図78A-78Bは、一実施形態による、家の中でARシステムと相互作用するさらに別の例示的シナリオを図示する。
図78A-78Bは、一実施形態による、家の中でARシステムと相互作用するさらに別の例示的シナリオを図示する。
図79A-79Eは、一実施形態による、家の中でARシステムと相互作用する別の例示的シナリオを図示する。
図79A-79Eは、一実施形態による、家の中でARシステムと相互作用する別の例示的シナリオを図示する。
図79A-79Eは、一実施形態による、家の中でARシステムと相互作用する別の例示的シナリオを図示する。
図79A-79Eは、一実施形態による、家の中でARシステムと相互作用する別の例示的シナリオを図示する。
図79A-79Eは、一実施形態による、家の中でARシステムと相互作用する別の例示的シナリオを図示する。
図80A-80Cは、一実施形態による、仮想部屋内でARシステムと相互作用する別の例示的シナリオを図示する。
図80A-80Cは、一実施形態による、仮想部屋内でARシステムと相互作用する別の例示的シナリオを図示する。
図80A-80Cは、一実施形態による、仮想部屋内でARシステムと相互作用する別の例示的シナリオを図示する。
図81は、一実施形態による、別の例示的ユーザ相互作用シナリオを図示する。
図82は、一実施形態による、別の例示的ユーザ相互作用シナリオを図示する。
図83A-83Bは、1つ以上の実施形態による、さらに別の例示的ユーザ相互作用シナリオを図示する。
図83A-83Bは、1つ以上の実施形態による、さらに別の例示的ユーザ相互作用シナリオを図示する。
図84A-84Cは、1つ以上の実施形態による、仮想空間内でARシステムと相互作用するユーザを図示する。
図84A-84Cは、1つ以上の実施形態による、仮想空間内でARシステムと相互作用するユーザを図示する。
図84A-84Cは、1つ以上の実施形態による、仮想空間内でARシステムと相互作用するユーザを図示する。
図85A-85Cは、種々のユーザインターフェース実施形態を図示する。
図85A-85Cは、種々のユーザインターフェース実施形態を図示する。
図85A-85Cは、種々のユーザインターフェース実施形態を図示する。
図86A-86Cは、1つ以上の実施形態による、ユーザインターフェースを作成するための他の実施形態を図示する。
図86A-86Cは、1つ以上の実施形態による、ユーザインターフェースを作成するための他の実施形態を図示する。
図86A-86Cは、1つ以上の実施形態による、ユーザインターフェースを作成するための他の実施形態を図示する。
図87A-87Cは、1つ以上の実施形態による、ユーザインターフェースを作成および移動させるための他の実施形態を図示する。
図87A-87Cは、1つ以上の実施形態による、ユーザインターフェースを作成および移動させるための他の実施形態を図示する。
図87A-87Cは、1つ以上の実施形態による、ユーザインターフェースを作成および移動させるための他の実施形態を図示する。
図88A-88Cは、1つ以上の実施形態による、ユーザの手上に作成されたユーザインターフェースを図示する。
図88A-88Cは、1つ以上の実施形態による、ユーザの手上に作成されたユーザインターフェースを図示する。
図88A-88Cは、1つ以上の実施形態による、ユーザの手上に作成されたユーザインターフェースを図示する。
図89A-89Jは、1つ以上の実施形態による、ARシステムを用いた例示的ユーザ買物体験を図示する。
図89A-89Jは、1つ以上の実施形態による、ARシステムを用いた例示的ユーザ買物体験を図示する。
図89A-89Jは、1つ以上の実施形態による、ARシステムを用いた例示的ユーザ買物体験を図示する。
図89A-89Jは、1つ以上の実施形態による、ARシステムを用いた例示的ユーザ買物体験を図示する。
図89A-89Jは、1つ以上の実施形態による、ARシステムを用いた例示的ユーザ買物体験を図示する。
図89A-89Jは、1つ以上の実施形態による、ARシステムを用いた例示的ユーザ買物体験を図示する。
図89A-89Jは、1つ以上の実施形態による、ARシステムを用いた例示的ユーザ買物体験を図示する。
図89A-89Jは、1つ以上の実施形態による、ARシステムを用いた例示的ユーザ買物体験を図示する。
図89A-89Jは、1つ以上の実施形態による、ARシステムを用いた例示的ユーザ買物体験を図示する。
図89A-89Jは、1つ以上の実施形態による、ARシステムを用いた例示的ユーザ買物体験を図示する。
図90は、1つ以上の実施形態による、ARシステムを用いた例示的図書館体験を図示する。
図91A-91Fは、1つ以上の実施形態による、ARシステムを用いた例示的健康管理体験を図示する。
図91A-91Fは、1つ以上の実施形態による、ARシステムを用いた例示的健康管理体験を図示する。
図91A-91Fは、1つ以上の実施形態による、ARシステムを用いた例示的健康管理体験を図示する。
図91A-91Fは、1つ以上の実施形態による、ARシステムを用いた例示的健康管理体験を図示する。
図91A-91Fは、1つ以上の実施形態による、ARシステムを用いた例示的健康管理体験を図示する。
図91A-91Fは、1つ以上の実施形態による、ARシステムを用いた例示的健康管理体験を図示する。
図92は、1つ以上の実施形態による、ARシステムを用いた例示的労働体験を図示する。
図93A-93Lは、1つ以上の実施形態による、ARシステムを用いた例示的作業空間体験を図示する。
図93A-93Lは、1つ以上の実施形態による、ARシステムを用いた例示的作業空間体験を図示する。
図93A-93Lは、1つ以上の実施形態による、ARシステムを用いた例示的作業空間体験を図示する。
図93A-93Lは、1つ以上の実施形態による、ARシステムを用いた例示的作業空間体験を図示する。
図93A-93Lは、1つ以上の実施形態による、ARシステムを用いた例示的作業空間体験を図示する。
図93A-93Lは、1つ以上の実施形態による、ARシステムを用いた例示的作業空間体験を図示する。
図93A-93Lは、1つ以上の実施形態による、ARシステムを用いた例示的作業空間体験を図示する。
図93A-93Lは、1つ以上の実施形態による、ARシステムを用いた例示的作業空間体験を図示する。
図93A-93Lは、1つ以上の実施形態による、ARシステムを用いた例示的作業空間体験を図示する。
図93A-93Lは、1つ以上の実施形態による、ARシステムを用いた例示的作業空間体験を図示する。
図93A-93Lは、1つ以上の実施形態による、ARシステムを用いた例示的作業空間体験を図示する。
図93A-93Lは、1つ以上の実施形態による、ARシステムを用いた例示的作業空間体験を図示する。
図94は、1つ以上の実施形態による、ARシステムを用いた別の例示的作業空間体験を図示する。
図95A-95Eは、1つ以上の実施形態による、別のAR体験を図示する。
図95A-95Eは、1つ以上の実施形態による、別のAR体験を図示する。
図95A-95Eは、1つ以上の実施形態による、別のAR体験を図示する。
図95A-95Eは、1つ以上の実施形態による、別のAR体験を図示する。
図95A-95Eは、1つ以上の実施形態による、別のAR体験を図示する。
図96A-96Dは、1つ以上の実施形態による、さらに別のAR体験を図示する。
図96A-96Dは、1つ以上の実施形態による、さらに別のAR体験を図示する。
図96A-96Dは、1つ以上の実施形態による、さらに別のAR体験を図示する。
図96A-96Dは、1つ以上の実施形態による、さらに別のAR体験を図示する。
図97A-97Hは、1つ以上の実施形態による、ARシステムを用いたゲーム体験を図示する。
図97A-97Hは、1つ以上の実施形態による、ARシステムを用いたゲーム体験を図示する。
図97A-97Hは、1つ以上の実施形態による、ARシステムを用いたゲーム体験を図示する。
図97A-97Hは、1つ以上の実施形態による、ARシステムを用いたゲーム体験を図示する。
図97A-97Hは、1つ以上の実施形態による、ARシステムを用いたゲーム体験を図示する。
図97A-97Hは、1つ以上の実施形態による、ARシステムを用いたゲーム体験を図示する。
図97A-97Hは、1つ以上の実施形態による、ARシステムを用いたゲーム体験を図示する。
図97A-97Hは、1つ以上の実施形態による、ARシステムを用いたゲーム体験を図示する。
図98A-98Dは、1つ以上の実施形態による、ARシステムを用いたウェブショッピング体験を図示する。
図98A-98Dは、1つ以上の実施形態による、ARシステムを用いたウェブショッピング体験を図示する。
図98A-98Dは、1つ以上の実施形態による、ARシステムを用いたウェブショッピング体験を図示する。
図98A-98Dは、1つ以上の実施形態による、ARシステムを用いたウェブショッピング体験を図示する。
図99は、1つ以上の実施形態による、ゲーム用プラットフォーム内の種々のゲームのブロック図を図示する。
図100は、一実施形態による、拡張現実システムと通信するための種々のユーザ入力を図示する。
図101は、一実施形態による、ユーザの眼の移動を追跡するLED光およびダイオードを図示する。
図102は、一実施形態による、プルキニエ像を図示する。
図103は、一実施形態による、拡張現実システムと通信するために使用され得る、種々の手のジェスチャを図示する。
図104は、一実施形態による、例示的トーテムを図示する。
図105A-105Cは、1つ以上の実施形態による、他の例示的トーテムを図示する。
図105A-105Cは、1つ以上の実施形態による、他の例示的トーテムを図示する。
図105A-105Cは、1つ以上の実施形態による、他の例示的トーテムを図示する。
図106A-106Cは、拡張現実システムと通信するために使用され得る、他のトーテムを図示する。
図106A-106Cは、拡張現実システムと通信するために使用され得る、他のトーテムを図示する。
図106A-106Cは、拡張現実システムと通信するために使用され得る、他のトーテムを図示する。
図107A-107Dは、1つ以上の実施形態による、他の例示的トーテムを図示する。
図107A-107Dは、1つ以上の実施形態による、他の例示的トーテムを図示する。
図107A-107Dは、1つ以上の実施形態による、他の例示的トーテムを図示する。
図107A-107Dは、1つ以上の実施形態による、他の例示的トーテムを図示する。
図108A-108Cは、1つ以上の実施形態による、リングおよびブレスレット型トーテムの例示的実施形態を図示する。
図108A-108Cは、1つ以上の実施形態による、リングおよびブレスレット型トーテムの例示的実施形態を図示する。
図108A-108Cは、1つ以上の実施形態による、リングおよびブレスレット型トーテムの例示的実施形態を図示する。
図109A-109Cは、1つ以上の実施形態による、さらに例示的トーテムを図示する。
図109A-109Cは、1つ以上の実施形態による、さらに例示的トーテムを図示する。
図109A-109Cは、1つ以上の実施形態による、さらに例示的トーテムを図示する。
図110A-110Bは、1つ以上の実施形態による、チャーム型トーテムおよびキーチェーン型トーテムを図示する。
図110A-110Bは、1つ以上の実施形態による、チャーム型トーテムおよびキーチェーン型トーテムを図示する。
図111は、一実施形態による、トーテムを通してユーザ入力を決定するプロセスのための高レベルフロー図を図示する。
図112は、一実施形態による、音波正面を生成するプロセスのための高レベルフロー図を図示する。
図113は、一実施形態による、音波正面を生成するために使用される構成要素のブロック図である。
図114は、一実施形態による、低密度および高密度点を決定する例示的方法である。
図115は、一実施形態による、テクスチャ化された光を投影するブロック図である。
図116は、一実施形態による、データ処理の例示的ブロック図である。
図117は、一実施形態による、視線を追跡するための眼の概略図である。
図118は、一実施形態による、視線を追跡するための眼の別の斜視図および1つ以上のカメラを示す。
図119は、一実施形態による、視線を追跡するための眼のさらに別の斜視図および1つ以上のカメラを示す。
図120は、一実施形態による、視線を追跡するための眼のさらに別の斜視図および1つ以上のカメラを示す。
図121は、一実施形態による、視線を追跡するための平行移動行列ビューを示す。
図122は、一実施形態による、視線を追跡する例示的方法を図示する。
図123A-123Dは、一実施形態による、アバタを使用した一連の例示的ユーザインターフェースフローを図示する。
図123A-123Dは、一実施形態による、アバタを使用した一連の例示的ユーザインターフェースフローを図示する。
図123A-123Dは、一実施形態による、アバタを使用した一連の例示的ユーザインターフェースフローを図示する。
図123A-123Dは、一実施形態による、アバタを使用した一連の例示的ユーザインターフェースフローを図示する。
図124A-124Mは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図124A-124Mは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図124A-124Mは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図124A-124Mは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図124A-124Mは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図124A-124Mは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図124A-124Mは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図124A-124Mは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図124A-124Mは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図124A-124Mは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図124A-124Mは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図124A-124Mは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図124A-124Mは、一実施形態による、押出を使用した一連の例示的ユーザインターフェースフローを図示する。
図125A-125Mは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図125A-125Mは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図125A-125Mは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図125A-125Mは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図125A-125Mは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図125A-125Mは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図125A-125Mは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図125A-125Mは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図125A-125Mは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図125A-125Mは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図125A-125Mは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図125A-125Mは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図125A-125Mは、一実施形態による、長手袋を使用した一連の例示的ユーザインターフェースフローを図示する。
図126A-126Lは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図126A-126Lは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図126A-126Lは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図126A-126Lは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図126A-126Lは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図126A-126Lは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図126A-126Lは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図126A-126Lは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図126A-126Lは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図126A-126Lは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図126A-126Lは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図126A-126Lは、一実施形態による、成長を使用した一連の例示的ユーザインターフェースフローを図示する。
図127A-127Eは、一実施形態による、ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図127A-127Eは、一実施形態による、ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図127A-127Eは、一実施形態による、ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図127A-127Eは、一実施形態による、ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図127A-127Eは、一実施形態による、ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図128A-128Pは、一実施形態による、指ブラシを使用した一連の例示的ユーザインターフェースフローを図示する。
図129A-129Mは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図129A-129Mは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図129A-129Mは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図129A-129Mは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図129A-129Mは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図129A-129Mは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図129A-129Mは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図129A-129Mは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図129A-129Mは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図129A-129Mは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図129A-129Mは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図129A-129Mは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図129A-129Mは、一実施形態による、ピボットを使用した一連の例示的ユーザインターフェースフローを図示する。
図130A-130Iは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図130A-130Iは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図130A-130Iは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図130A-130Iは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図130A-130Iは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図130A-130Iは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図130A-130Iは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図130A-130Iは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図130A-130Iは、一実施形態による、糸を使用した一連の例示的ユーザインターフェースフローを図示する。
図131A-131Iは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図131A-131Iは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図131A-131Iは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図131A-131Iは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図131A-131Iは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図131A-131Iは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図131A-131Iは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図131A-131Iは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図131A-131Iは、一実施形態による、クモの巣を使用した一連の例示的ユーザインターフェースフローを図示する。
図132は、仮想オブジェクトが1つ以上の物理オブジェクトに関連する、種々の機構の平面図である。
図133は、1つ以上の実施形態による、種々のタイプのARレンダリングの平面図である。
図134は、1つ以上の実施形態による、ARシステムにおける種々のタイプのユーザ入力を図示する。
図135A-135Jは、1つ以上の実施形態による、ARシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図135A-135Jは、1つ以上の実施形態による、ARシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図135A-135Jは、1つ以上の実施形態による、ARシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図135A-135Jは、1つ以上の実施形態による、ARシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図135A-135Jは、1つ以上の実施形態による、ARシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図135A-135Jは、1つ以上の実施形態による、ARシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図135A-135Jは、1つ以上の実施形態による、ARシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図135A-135Jは、1つ以上の実施形態による、ARシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図135A-135Jは、1つ以上の実施形態による、ARシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図135A-135Jは、1つ以上の実施形態による、ARシステムにおけるジェスチャの使用に関する種々の実施形態を図示する。
図136は、1つ以上の実施形態による、ARシステムの較正機構のための種々の構成要素の平面図を図示する。
図137は、1つ以上の実施形態による、ユーザの顔上のARデバイスの図を図示し、ARデバイスは、眼追跡カメラを有する。
図138は、1つ以上の実施形態による、ARシステムの眼識別画像を図示する。
図139は、1つ以上の実施形態による、ARシステムを用いて撮影された網膜画像を図示する。
図140は、例証される実施形態の1つによる、仮想ユーザインターフェースを生成する例示的方法のプロセスフロー図である。
図141は、例証される実施形態の1つによる、座標フレームに基づいて仮想ユーザインターフェースを生成する例示的方法の別のプロセスフロー図である。
図142は、例証される実施形態の1つによる、カスタマイズされたユーザインターフェースを構築する例示的方法のプロセスフロー図である。
図143は、例証される実施形態の1つによる、情報をパス可能世界モデルから読み出し、ARシステムの他のユーザと相互作用する例示的方法のプロセスフロー図である。
図144は、例証される実施形態の1つによる、受信された入力に基づいて、情報をクラウド内の知識ベースから読み出す例示的方法のプロセスフロー図である。
図145は、例証される実施形態の1つによる、ARシステムを較正する例示的方法のプロセスフロー図である。
ここで、種々の実施形態が、当業者が本発明を実践することを可能にするように、本発明の例証的実施例として提供される、図面を参照して詳細に説明される。留意すべきこととして、以下の図および実施例は、本発明の範囲を限定することを意味するものではない。本発明のある要素が、公知の構成要素(または方法もしくはプロセス)を使用して部分的または完全に実装され得る場合、本発明の理解のために必要なそのような公知の構成要素(または方法もしくはプロセス)のそれらの部分のみ、説明され、そのような公知の構成要素(または方法もしくはプロセス)の他の部分の詳細な説明は、本発明を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照される構成要素の現在および将来的公知の均等物を包含する。
前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広範な精神および範囲から逸脱することなく、そこに成され得ることは明白となるであろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証的であると見なされるものとする。
開示されるのは、仮想および/または拡張現実を生成する方法およびシステムである。現実的かつ楽しめる仮想現実(VR)または拡張現実(AR)体験を提供するために、仮想コンテンツは、ヒトの眼の生理学および限界を重視する様式でユーザの眼に方略的に送達され得る。以下の開示は、ARシステムの中に統合され得る、そのような光学システムの種々の実施形態を提供するであろう。本明細書における本開示の大部分は、ARシステムの文脈において論じられるであろうが、同一技術は、VRシステムのためにもまた使用されてもよく、以下の実施形態は、限定として読まれるべきではないことを理解されたい。
以下の開示は、ARユーザが、実世界の物理オブジェクトについての包括的情報をリアルタイムで備えているマップの作成を通して、相互に相互作用し得る、種々のタイプのシステムに関する詳細を提供するであろう。マップは、有利には、既知の実オブジェクトに関係する仮想画像を投影するために考慮され得る。以下の開示は実世界についての情報を理解し、本情報を使用して、より現実的かつ楽しめるAR体験を提供するための種々のアプローチを提供するであろう。加えて、本開示は、本明細書に説明されるもの等のARシステムが実現され得る、種々のユーザシナリオおよび用途を提供するであろう。
(システム概要)
1つ以上の実施形態では、ARシステム10は、1つ以上の高帯域幅インターフェース15を通して接続される1つ以上のコンピュータサーバ11から成る、コンピューティングネットワーク5を備えている。コンピューティングネットワーク内のサーバ11は、同じ場所に位置してもよく、またはそうでなくてもよい。1つ以上のサーバ11の各々は、プログラム命令を実行するための1つ以上のプロセッサを備えている。サーバはまた、プログラム命令の指令下でサーバ11によって実施されるプロセスによって使用および/または生成される、プログラム命令およびデータを記憶するためのメモリを含んでもよい。
1つ以上の実施形態では、ARシステム10は、1つ以上の高帯域幅インターフェース15を通して接続される1つ以上のコンピュータサーバ11から成る、コンピューティングネットワーク5を備えている。コンピューティングネットワーク内のサーバ11は、同じ場所に位置してもよく、またはそうでなくてもよい。1つ以上のサーバ11の各々は、プログラム命令を実行するための1つ以上のプロセッサを備えている。サーバはまた、プログラム命令の指令下でサーバ11によって実施されるプロセスによって使用および/または生成される、プログラム命令およびデータを記憶するためのメモリを含んでもよい。
コンピューティングネットワーク5は、1つ以上のデータネットワーク接続13を経由して、サーバ11間およびサーバと1つ以上のユーザデバイス12との間でデータを通信する。そのようなデータネットワークの実施例として、限定ではないが、例えば、一般にインターネットと称される、そのようなネットワークの多くの相互接続を含む、モバイルおよび有線の両方のあらゆるタイプの公共およびプライベートデータネットワークが挙げられる。特定の媒体、トポロジ、またはプロトコルが、図によって含意されることが意図されるわけではない。
ユーザデバイスは、直接、コンピューティングネットワーク5またはサーバ11のいずれかと通信するために構成される。代替として、ユーザデバイス12は、遠隔サーバ11と、随意に、他のユーザデバイスと、ネットワーク5と1つ以上のローカルユーザデバイス12との間でデータを処理し、および/またはデータを通信するための特別にプログラムされたローカルゲートウェイ14を通してローカルで、通信する。
図示されるように、ゲートウェイ14は、ソフトウェア命令を実行するためのプロセッサと、ソフトウェア命令およびデータを記憶するためのメモリとを含む、別個のハードウェア構成要素として実装される。ゲートウェイは、コンピューティングネットワーク5を備えているサーバ11と通信するために、データネットワークへのその独自の有線および/または無線接続を有する。代替として、ゲートウェイ14は、ユーザによって装着または携行される、ユーザデバイス12と統合されることができる。例えば、ゲートウェイ14は、ユーザデバイス12内に含まれるプロセッサ上にインストールされ、起動する、ダウンロード可能ソフトウェアアプリケーションとして実装されてもよい。ゲートウェイ14は、一実施形態では、データネットワーク13を介して、コンピューティングネットワーク5への1つ以上のユーザアクセスを提供する。
サーバ11の各々は、例えば、データおよびソフトウェアプログラムを記憶するための作業メモリおよび記憶と、プログラム命令を実行するためのマイクロプロセッサと、グラフィック、画像、ビデオ、オーディオ、およびマルチメディアファイルをレンダリングおよび生成するためのグラフィックプロセッサおよび他の特殊プロセッサとを含む。コンピューティングネットワーク5はまた、サーバ11によってアクセス、使用、または作成される、データを記憶するためのデバイスを備えてもよい。
サーバ上と、随意に、ユーザデバイス12およびゲートウェイ14上とで起動するソフトウェアプログラムは、ユーザがユーザデバイス12と相互作用する、デジタル世界(本明細書では、仮想世界とも称される)を生成するために使用される。デジタル世界(またはマップ)(以下にさらに詳細に説明されるであろうように)は、ユーザが体験および相互作用するためのユーザデバイス12を通してユーザに提示され得る、仮想上の非存在エンティティ、環境、および条件を説明および/または定義する、データおよびプロセスによって表される。例えば、ユーザによって視認または体験されている場面内にインスタンス化されると、物理的に存在するように見えるでろう、いくつかのタイプのオブジェクト、エンティティ、またはアイテムは、その外観、その挙動、ユーザがそれと相互作用することが許可される方法、および他の特性の説明を含んでもよい。
仮想世界(仮想オブジェクトを含む)の環境を作成するために使用されるデータは、例えば、大気データ、地形データ、天候データ、温度データ、場所データ、ならびに仮想環境を定義および/または説明するために使用される他のデータを含んでもよい。加えて、仮想世界の動作を統制する、種々の条件を定義するデータは、例えば、物理の法則、時間、空間関係、ならびに仮想世界(仮想オブジェクトを含む)の動作を統制する種々の条件を定義および/または作成するために使用され得る、他のデータを含んでもよい。
デジタル世界のエンティティ、オブジェクト、条件、特性、挙動、または他の特徴は、文脈によって別様に示されない限り、本明細書では、オブジェクト(例えば、デジタルオブジェクト、仮想オブジェクト、レンダリングされた物理オブジェクト等)と一般的に称されるであろう。オブジェクトは、限定ではないが、建物、植物、車両、人々、動物、創造物、機械、データ、ビデオ、テキスト、写真、および他のユーザを含む、任意のタイプの生物または非生物オブジェクトであってもよい。オブジェクトはまた、物理世界に実際に存在するアイテム、挙動、または条件についての情報を記憶するために、デジタル世界内に定義されてもよい。エンティティ、オブジェクト、またはアイテムを説明もしくは定義する、またはその現在の状態を記憶する、データは、概して、本明細書では、オブジェクトデータと称される。本データは、サーバ11によって、または実装に応じて、ゲートウェイ14またはユーザデバイス12によって、処理され、オブジェクトのインスタンスをインスタンス化し、ユーザがユーザデバイスを通して体験するための適切な様式でオブジェクトをレンダリングする。
デジタル世界を開発および/または監督するプログラマは、オブジェクトおよびそれらがインスタンス化される条件を作成または定義する。しかしながら、デジタル世界は、他者が、オブジェクトを作成または修正することを可能にすることができる。いったんオブジェクトがインスタンス化されると、オブジェクトの状態は、デジタル世界を体験する1人以上のユーザによって、改変、制御、または操作されることが許可されてもよい。
例えば、一実施形態では、デジタル世界の開発、作製、および管理は、概して、1つ以上のシステム管理プログラマによって提供される。いくつかの実施形態では、これは、デジタル世界内の話の筋、テーマ、およびイベントの開発、設計、および/または実行、ならびに、例えば、映画、デジタル、ネットワーク、モバイル、拡張現実、およびライブエンターテインメント等の種々の形態のイベントおよび媒体を通した物語の分布を含んでもよい。システム管理プログラマはまた、デジタル世界およびそれに関連付けられたユーザコミュニティの技術的管理、調整、および監督、ならびに典型的にはネットワーク管理人によって行われる他のタスクにも対処し得る。
ユーザは、概して、ユーザデバイス12として指定される、いくつかのタイプのローカルコンピューティングデバイスを使用して、1つ以上のデジタル世界と相互作用する。そのようなユーザデバイスの実施例として、限定ではないが、スマートフォン、タブレットデバイス、頭部搭載式ディスプレイ(HMD)、ゲーム用コンソール、またはデータを通信し、インターフェースもしくディスプレイをユーザに提供可能である、任意の他のデバイス、ならびにそのようなデバイスの組み合わせが挙げられる。いくつかの実施形態では、ユーザデバイス12は、例えば、キーボード、マウス、ジョイスティック、ゲーム用コントローラ、触知インターフェースデバイス、運動捕捉コントローラ、光学追跡デバイス、オーディオ機器、音声機器、プロジェクタシステム、3Dディスプレイ、および/またはホログラム3Dコンタクトレンズ等のローカル周辺機器または入力/出力構成要素を含む、またはそれらと通信してもよい。
システム10と相互作用するためのユーザデバイス12の実施例は、図2に図示される。図2に示される例示的実施形態では、ユーザ21は、スマートフォン22を通して1つ以上のデジタル世界とインターフェースをとってもよい。ゲートウェイは、スマートフォン22上に記憶され、その上で起動する、ソフトウェアアプリケーション23によって実装される。本特定の実施例では、データネットワーク13は、ユーザデバイス(例えば、スマートフォン22)をコンピュータネットワーク5に接続する、無線モバイルネットワークを含む。
好ましい実施形態の一実装では、システム10は、それぞれ、いくつかのタイプのユーザデバイス12を使用して、同一デジタル世界または複数のデジタル世界とインターフェースをとる、多数の同時ユーザ(例えば、数百万人のユーザ)をサポート可能である。
ユーザデバイスは、ユーザに、他のユーザおよびユーザに提示されるオブジェクト(実または仮想)を含む、ユーザとサーバ11によって生成されたデジタル世界との間の視覚的、聴覚的、および/または物理的相互作用を可能にするためのインターフェースを提供する。インターフェースは、ユーザに、視認、聴取、または別様に感知され得る、レンダリングされた場面と、場面とリアルタイムで相互作用するための能力とを提供する。ユーザがレンダリングされた場面と相互作用する様式は、ユーザデバイスの能力によって決定され得る。例えば、ユーザデバイスが、スマートフォンである場合、ユーザ相互作用は、ユーザがタッチスクリーンに接触することによって実装されてもよい。別の実施例では、ユーザデバイスが、コンピュータまたはゲーム用コンソールである場合、ユーザ相互作用は、キーボードまたはゲーム用コントローラを使用して実装されてもよい。ユーザデバイスは、センサ等のユーザ相互作用を可能にする、付加的構成要素を含んでもよく、センサによって検出されるオブジェクトおよび情報(ジェスチャを含む)は、ユーザデバイスを使用した仮想世界とのユーザ相互作用を表す、入力として提供されてもよい。
レンダリングされた場面は、例えば、2次元または3次元視覚的ディスプレイ(投影を含む)、音、および触知または触覚フィードバック等の種々のフォーマットで提示されることができる。レンダリングされた場面は、例えば、拡張現実、仮想現実、およびそれらの組み合わせを含む、1つ以上のモードにおいて、ユーザによってインターフェースがとられてもよい。レンダリングされる場面のフォーマットならびにインターフェースモードは、ユーザデバイス、データ処理能力、ユーザデバイス接続、ネットワーク容量、およびシステム作業負荷のうちの1つ以上のものによって決定され得る。多数のユーザを同時にデジタル世界と相互作用させることおよびデータ交換のリアルタイム性質は、コンピューティングネットワーク5、サーバ11、ゲートウェイ構成要素14(随意)、およびユーザデバイス12によって可能にされる。
一実施例では、コンピューティングネットワーク5は、高速接続(例えば、高帯域幅インターフェース15)を通して接続される単一および/またはマルチコアサーバ(例えば、サーバ11)を有する、大規模コンピューティングシステムから成る。コンピューティングネットワーク5は、クラウドまたはグリッドネットワークを形成してもよい。サーバの各々は、デジタル世界のオブジェクトを作成、設計、改変、または処理するためのデータを実装するために、メモリを含む、またはソフトウェアを記憶するためのコンピュータ可読メモリと結合される。これらのオブジェクトおよびそのインスタンス化は、動的であって、出現したり消失したりし、経時的に変化し、かつ他の条件に応答して変化してもよい。オブジェクトの動的能力の実施例は、概して、種々の実施形態に関して本明細書で論じられる。いくつかの実施形態では、システム10とインターフェースをとる各ユーザもまた、オブジェクトおよび/またはオブジェクトのコレクションとして1つ以上のデジタル世界内に表されてもよい。
コンピューティングネットワーク5内のサーバ11はまた、デジタル世界毎に計算状態データを記憶する。計算状態データ(本明細書では、状態データとも称される)は、オブジェクトデータの構成要素であり得、概して、所与の時間インスタンスにおけるオブジェクトのインスタンスの状態を定義する。したがって、計算状態データは、経時的に変化し得、システム10を維持する1人以上のユーザおよび/またはプログラマのアクションによって影響を受け得る。ユーザが計算状態データ(またはデジタル世界を備えている他のデータ)に影響を及ぼすにつれて、ユーザは、直接、デジタル世界を改変または別様に操作する。デジタル世界が、他のユーザと共有される、またはそれによってインターフェースがとられる場合、ユーザのアクションは、デジタル世界と相互作用する他のユーザによって体験されるものに影響を及ぼし得る。したがって、いくつかの実施形態では、ユーザによって作製されるデジタル世界への変更は、システム10とインターフェースをとる他のユーザによっても体験されるであろう。
コンピューティングネットワーク5内の1つ以上のサーバ11に記憶されるデータは、一実施形態では、高速かつ短待ち時間で、1つ以上のユーザデバイス12および/またはゲートウェイ構成要素14に伝送または展開される。一実施形態では、サーバによって共有されるオブジェクトデータは、完全であってもよく、または圧縮され、完全オブジェクトデータをユーザ側で再作成するための命令を含み、ユーザのローカルコンピューティングデバイス(例えば、ゲートウェイ14および/またはユーザデバイス12)によってレンダリングおよび視覚化されてもよい。コンピューティングネットワーク5のサーバ11上で起動するソフトウェアは、いくつかの実施形態では、それが生成し、特定のユーザのデバイス12に送信するデータを、ユーザの具体的デバイスおよび帯域幅の関数として、コンピューティングネットワーク5によって交換されるデジタル世界内のオブジェクト(または任意の他のデータ)のために適合させてもよい。
例えば、ユーザがユーザデバイス12を通してデジタル世界またはマップと相互作用するとき、サーバ11は、ユーザによって使用されているデバイスの具体的タイプ、デバイスの接続性、および/またはユーザデバイスとサーバとの間で利用可能な帯域幅を認識し、ユーザ相互作用を最適化するためにデバイスに送信されているデータを適切にサイズ設定および平衡化してもよい。これの実施例として、データが低分解能ディスプレイを有する特定のユーザデバイス上に表示され得るように、伝送されるデータのサイズを低分解能品質に低下させることが挙げられ得る。好ましい実施形態では、コンピューティングネットワーク5および/またはゲートウェイ構成要素14は、15フレーム/秒またはそれを上回って、かつ高精細度品質である分解能またはそれを上回って動作するインターフェースを提示するために十分なレートで、データをユーザデバイス12に送達する。
ゲートウェイ14は、1人以上のユーザのために、コンピューティングネットワーク5へのローカル接続を提供する。いくつかの実施形態では、図2に示されるもの等のユーザデバイス12または別のローカルデバイス上で起動する、ダウンロード可能ソフトウェアアプリケーションによって実装されてもよい。他の実施形態では、ユーザデバイス12と通信するが、それとともに組み込まれない、もしくはそれに取り込まれないか、またはユーザデバイス12とともに組み込まれるかのいずれかである、ハードウェア構成要素(構成要素上に記憶される適切なソフトウェア/ファームウェアを伴い、構成要素は、プロセッサを有する)によって実装されてもよい。ゲートウェイ14は、データネットワーク13を介して、コンピューティングネットワーク5と通信し、コンピューティングネットワーク5と1つ以上のローカルユーザデバイス12との間のデータ交換を提供する。以下により詳細に論じられるように、ゲートウェイ構成要素14は、ソフトウェア、ファームウェア、メモリ、および処理回路を含んでもよく、ネットワーク5と1つ以上のローカルユーザデバイス12との間で通信されるデータを処理可能であってもよい。
いくつかの実施形態では、ゲートウェイ構成要素14は、ユーザデバイス12とコンピュータネットワーク5との間で交換されるデータのレートを監視および調整し、特定のユーザデバイス12のための最適データ処理能力を可能にする。例えば、いくつかの実施形態では、ゲートウェイ14は、デジタル世界の静的および動的側面の両方(ユーザデバイスと接続されるインターフェースを通してユーザに提示される視野を越えるものさえ)をバッファおよびダウンロードする。そのような実施形態では、静的オブジェクト(構造化されたデータ、ソフトウェア実装方法、または両方)のインスタンスは、メモリ(ゲートウェイ構成要素14、ユーザデバイス12、または両方にローカル)内に記憶されてもよく、コンピューティングネットワーク5および/またはユーザのデバイス12によって提供されるデータによって示される、ローカルのユーザの現在の位置に対して参照される。
例えば、他のユーザおよび/またはローカルユーザによって制御される知的ソフトウェアエージェントおよびオブジェクトを含み得る、動的オブジェクトのインスタンスは、高速メモリバッファ内に記憶される。ユーザに提示される場面内の2次元または3次元オブジェクトを表す動的オブジェクトは、例えば、移動するが変化しない静的形状および変化する動的形状等の構成要素形状に分割されることができる。変化する動的オブジェクトの部分は、ゲートウェイ構成要素14によって管理されるコンピューティングネットワーク5を通して、サーバ11からのリアルタイムのスレッド化された高優先度データストリームによって更新されることができる。
優先化されたスレッド化データストリームの一実施例として、ユーザの眼の60度視野内のデータは、より周辺にあるデータより高い優先度が与えられ得る。別の実施例として、背景内の静的オブジェクトにわたるユーザの視野内の動的キャラクタおよび/またはオブジェクトを優先化することが挙げられる。
コンピューティングネットワーク5とユーザデバイス12との間のデータ接続の管理に加え、ゲートウェイ構成要素14は、ユーザデバイス12に提示され得るデータを記憶および/または処理してもよい。例えば、ゲートウェイ構成要素14は、いくつかの実施形態では、例えば、ユーザによって視認するためにレンダリングされるべきグラフィカルオブジェクトを記述する圧縮されたデータを、コンピューティングネットワーク5から受信し、コンピューティングネットワーク5からユーザデバイス12に伝送されるデータ負荷を軽減するための高度レンダリング技法を行ってもよい。ゲートウェイ14が別個のデバイスである、別の実施例では、ゲートウェイ14は、データを処理のためにコンピューティングネットワーク5に伝送するのではなく、オブジェクトのローカルインスタンスのためのデータを記憶および/または処理してもよい。
ここで図3を参照すると、仮想世界は、ユーザのデバイスの能力に依存し得る種々のフォーマットにおいて、1人以上のユーザによって達成されてもよい。いくつかの実施形態では、ユーザデバイス12は、例えば、スマートフォン、タブレットデバイス、頭部搭載式ディスプレイ(HMD)、ゲーム用コンソール、または装着式デバイスを含んでもよい。概して、ユーザデバイスは、ディスプレイと結合される、デバイス上のメモリ内に記憶されるプログラムコードを実行するためのプロセッサと、通信インターフェースとを含むであろう。
ユーザデバイスの例示的実施形態は、図3に図示されており、ユーザデバイスは、モバイル装着式デバイス、すなわち、頭部搭載式ディスプレイシステム30を備えている。本開示のある実施形態によると、頭部搭載式ディスプレイシステム30は、ユーザインターフェース37と、ユーザ感知システム34と、環境感知システム36と、プロセッサ38とを含む。プロセッサ38は、頭部搭載式システム30と別個の隔離された構成要素として図3に示されるが、代替実施形態では、プロセッサ38は、頭部搭載式システム30の1つ以上の構成要素と統合されてもよく、または、例えば、図1および図2に示されるように、ゲートウェイ14等の他のシステム10構成要素の中に統合されてもよい。
ユーザデバイス30は、ユーザに、デジタル世界と相互作用し、それを体験するためのインターフェース37を提示する。そのような相互作用は、ユーザおよびデジタル世界と、システム10とインターフェースをとる1人以上の他のユーザと、デジタル世界内のオブジェクトとを伴い得る。インターフェース37は、概して、画像および/またはオーディオ感覚入力(およびいくつかの実施形態では、物理感覚入力)をユーザに提供する。したがって、インターフェース37は、スピーカ(図示せず)と、いくつかの実施形態では、立体視3D視認および/またはヒト視覚系のより自然な特性を具現化する3D視認をもたらすことが可能なディスプレイ構成要素33とを含んでもよい。
いくつかの実施形態では、ディスプレイ構成要素33は、「オフ」設定にあるとき、殆ど/全く光学歪曲またはコンピューティングオーバーレイを伴わずに、ユーザの周囲の物理環境の光学的に正しいビューを可能にする、透明インターフェース(クリアOLED等)を備えてもよい。以下により詳細に論じられるように、インターフェース37は、種々の視覚的/インターフェース性能および機能性を可能にする、付加的設定を含んでもよい。
ユーザ感知システム34は、いくつかの実施形態では、システム30を装着する個々のユーザに関連するある特徴、特性、または情報を検出するように動作可能な1つ以上のセンサ31を含んでもよい。例えば、いくつかの実施形態では、センサ31は、ユーザのリアルタイム光学特性/測定を検出する可能なカメラまたは光学検出/走査回路を含んでもよい。
ユーザのリアルタイム光学特性/測定は、例えば、瞳孔狭窄/拡張、各瞳孔の角度測定/測位、真球度、眼形状(眼形状が経時的に変化するにつれて)、および他の解剖学的データのうちの1つ以上のものであってもよい。本データは、ユーザの視認体験を最適化するために頭部搭載式システム30および/またはインターフェースシステム10によって使用され得る、情報(例えば、ユーザの視覚的焦点)を提供する、またはそれを計算するために使用されてもよい。例えば、一実施形態では、センサ31の各々は、ユーザの眼毎に、瞳孔収縮率を測定してもよい。本データは、プロセッサ38(またはゲートウェイ構成要素14もしくはサーバ11)に伝送されてもよく、データは、例えば、インターフェースディスプレイ33の輝度設定に対するユーザの反応を決定するために使用される。
インターフェース37は、ユーザの反応が、ディスプレイ33の輝度レベルが高すぎることを示す場合、例えば、ディスプレイ33を調光することによって、ユーザの反応に従って調節されてもよい。ユーザ感知システム34は、前述または図3に図示されるもの以外の他の構成要素を含んでもよい。例えば、いくつかの実施形態では、ユーザ感知システム34は、音声入力をユーザから受信するためのマイクロホンを含んでもよい。ユーザ感知システム34はまた、1つ以上の赤外線カメラセンサと、1つ以上の可視スペクトルカメラセンサと、構造化された光エミッタおよび/またはセンサと、赤外線光エミッタと、コヒーレント光エミッタおよび/またはセンサと、ジャイロスコープと、加速度計と、磁力計と、近接センサと、GPSセンサと、超音波エミッタおよび検出器と、触知インターフェースとを含んでもよい。
環境感知システム36は、データをユーザの周囲の物理環境から得るための1つ以上のセンサ32を含む。センサによって検出されたオブジェクトまたは情報は、ユーザデバイスへの入力として提供されてもよい。いくつかの実施形態では、本入力は、仮想世界とのユーザ相互作用を表してもよい。例えば、机上の仮想キーボードを視認しているユーザは、仮想キーボード上でタイプしているかのように指を用いてジェスチャしてもよい。指移動の運動は、センサ32によって捕捉され、ユーザデバイスまたはシステムに入力として提供されてもよく、入力は、仮想世界を変更する、または新しい仮想オブジェクトを作成するために使用されてもよい。
例えば、指の運動は、タイプとして認識されてもよく(例えば、プロセッサのソフトウェアプログラム等を使用して)、タイプの認識されたジェスチャは、仮想キーボード上の仮想キーの既知の場所と組み合わせられてもよい。システムは、次いで、ユーザ(またはシステムとインターフェースをとる他のユーザ)に表示される仮想モニタをレンダリングしてもよく、仮想モニタは、ユーザによってタイプされているテキストを表示する。
センサ32は、例えば、継続的および/または断続的に投影される赤外線の構造化された光を通して、場面情報を解釈するために、例えば、概して、外向きに面したカメラまたはスキャナを含んでもよい。環境感知システム(36)は、静的オブジェクト、動的オブジェクト、人々、ジェスチャおよび種々の照明、大気、および音響条件を含む、ローカル環境を検出および位置合わせすることによって、ユーザの周囲の物理環境の1つ以上の要素をマップするために使用されてもよい。したがって、いくつかの実施形態では、環境感知システム(36)は、ローカルコンピューティングシステム(例えば、ゲートウェイ構成要素14またはプロセッサ38)内に埋め込まれ、センサ32によって検出された1つ以上のオブジェクトもしくは情報をデジタル的に再構成するように動作可能である、画像ベースの3D再構成ソフトウェアを含んでもよい。
一例示的実施形態では、環境感知システム36は、運動捕捉データ(ジェスチャ認識を含む)、深度感知、顔認識、オブジェクト認識、一意のオブジェクト特徴認識、音声/オーディオ認識および処理、音響源位置特定、雑音低減、赤外線または類似レーザ投影、ならびに単色および/またはカラーCMOSセンサ(または他の類似センサ)、視野センサ、および種々の他の光学増強センサのうちの1つ以上のものを提供する。
環境感知システム36は、前述または図3に図示されるもの以外の他の構成要素を含んでもよいことを理解されたい。例えば、いくつかの実施形態では、環境感知システム36は、オーディオをローカル環境から受信するためのマイクロホンを含んでもよい。ユーザ感知システム(36)はまた、1つ以上の赤外線カメラセンサと、1つ以上の可視スペクトルカメラセンサと、構造光エミッタおよび/またはセンサと、赤外線光エミッタと、コヒーレント光エミッタおよび/またはセンサと、ジャイロスコープと、加速度計と、磁力計と、近接センサと、GPSセンサと、超音波エミッタおよび検出器と、触知インターフェースとを含んでもよい。
前述のように、プロセッサ38は、いくつかの実施形態では、頭部搭載式システム30の他の構成要素と統合される、インターフェースシステム10の他の構成要素と統合されてもよく、または図3に示されるように、隔離されたデバイス(装着式またはユーザと別個)であってもよい。プロセッサ38は、物理的有線接続を通して、または、例えば、モバイルネットワーク接続(携帯電話およびデータネットワークを含む)、Wi-Fi、もしくはBluetooth(登録商標)等の無線接続を通して、頭部搭載式システム30の種々の構成要素および/またはインターフェースシステム10の構成要素に接続されてもよい。
1つ以上の実施形態では、プロセッサ38は、メモリモジュールと、統合されたおよび/または付加的グラフィック処理ユニットと、無線および/または有線インターネット接続と、源(例えば、コンピューティングネットワーク5、ユーザ感知システム34、環境感知システム36、またはゲートウェイ構成要素14)からのデータを画像および聴覚的データに変換可能なコーデックおよび/またはファームウェアとを含んでもよく、画像/ビデオおよびオーディオは、インターフェース37を介して、ユーザに提示されてもよい。
1つ以上の実施形態では、プロセッサ38は、頭部搭載式システム30の種々の構成要素のためのデータ処理と、頭部搭載式システム30とゲートウェイ構成要素14、いくつかの実施形態では、コンピューティングネットワーク5との間のデータ交換とに対処する。例えば、プロセッサ38は、ユーザとコンピューティングネットワーク5との間のデータストリームをバッファおよび処理し、それによって、平滑、連続、かつ高忠実性ユーザ体験を可能にするために使用されてもよい。
いくつかの実施形態では、プロセッサ38は、320×240分解能で8フレーム/秒~高精細度分解能(1280×720)で24フレーム/秒、または4k分解能で60~120フレーム/秒およびより高いもの(10k+分解能で50,000フレーム/秒)等、それを上回って達成するために十分なレートでデータを処理してもよい。加えて、プロセッサ38は、ユーザに提示され得るデータを、コンピューティングネットワーク5からリアルタイムでストリームされるのではなく、記憶および/または処理してもよい。
例えば、プロセッサ38は、いくつかの実施形態では、圧縮されたデータをコンピューティングネットワーク5から受信し、および高度レンダリング技法(照射または陰影等)を行い、コンピューティングネットワーク5からユーザデバイス12に伝送されるデータ負荷を軽減してもよい。別の実施例では、プロセッサ38は、データをゲートウェイ構成要素14またはコンピューティングネットワーク5に伝送するのではなく、ローカルオブジェクトデータを記憶および/または処理してもよい。
頭部搭載式システム30は、いくつかの実施形態では、種々の視覚的/インターフェース性能および機能性を可能にするための種々の設定、すなわち、モードを含んでもよい。モードは、ユーザによって手動で、または頭部搭載式システム30もしくはゲートウェイ構成要素14の構成要素によって自動的に、選択されてもよい。前述のように、頭部搭載式システム30の一例示的モードは、「オフ」モードを含み、インターフェース37は、実質的に、デジタルまたは仮想コンテンツを提供しない。「オフ」モードでは、ディスプレイ構成要素33は、透明であって、それによって、光学歪曲またはコンピューティングオーバーレイを殆ど/全く伴わずに、ユーザの周囲に物理環境の光学的に正しいビューを可能にしてもよい。
一例示的実施形態では、頭部搭載式システム30は、「拡張」モードを含み、インターフェース37は、拡張現実インターフェースを提供する。拡張モードでは、インターフェースディスプレイ33は、実質的に透明であって、それによって、ユーザが、ローカルの物理環境を視認することを可能にしてもよい。同時に、コンピューティングネットワーク5、プロセッサ38、および/またはゲートウェイ構成要素14によって提供される仮想オブジェクトデータが、物理的ローカル環境と組み合わせて、ディスプレイ33上に提供される。以下のセクションは、仮想および拡張現実目的のために使用され得る、例示的頭部搭載式ユーザシステムの種々の実施形態を検討するであろう。
(ユーザシステム)
図4A-4Dを参照すると、いくつかの一般的構成要素選択肢が、図示される。図4A-4Dの議論に続く詳細な説明の一部では、種々のシステム、サブシステム、および構成要素が、ヒトVRおよび/またはARのための高品質で快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される。
図4A-4Dを参照すると、いくつかの一般的構成要素選択肢が、図示される。図4A-4Dの議論に続く詳細な説明の一部では、種々のシステム、サブシステム、および構成要素が、ヒトVRおよび/またはARのための高品質で快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される。
図4Aに示されるように、頭部搭載式拡張現実システム(「ARシステム」)のユーザ60が、ユーザの眼の正面に位置付けられるディスプレイシステム62に結合される、フレーム64構造を装着した状態で描写される。スピーカ66が、描写される構成では、フレーム64に結合され、ユーザ60の外耳道に隣接して位置付けられる(一実施形態では、図示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供する)。ディスプレイ62は、有線導線または無線接続等によって、フレーム64に固定して取り付けられる、図4Bの実施形態に示されるように、ヘルメットまたは帽子80に固定して取り付けられる、ヘッドホン内に埋め込まれる、図4Cの実施形態に示されるように、ある構成で(例えば、リュック(図示せず)内に設置される)ユーザ60の胴体82に可撤性に取り付けられる、または図4Dの実施形態に示されるように、ベルト結合式構成でユーザ60の腰84に可撤性に取り付けられる等、種々の構成で搭載され得る、ローカル処理およびデータモジュール70に動作可能に結合される68。
ローカル処理およびデータモジュール70は、省電力プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備えてもよく、両方とも、(a)画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等、フレーム64に動作可能に結合され得る、センサから捕捉された、および/または(b)可能性として、処理または読み出し後にディスプレイ62への通過のために、遠隔処理モジュール72および/または遠隔データリポジトリ74を使用して取得および/または処理されたデータの処理、キャッシュ、および記憶を補助するために利用されてもよい。
ローカル処理およびデータモジュール70は、これらの遠隔モジュール(72、74)が、相互に動作可能に結合され、ローカル処理およびデータモジュール70へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、遠隔処理モジュール72および遠隔データリポジトリ74に動作可能に結合されてもよい(76、78)。処理モジュール70は、ARシステムの光学システムおよび他のシステムを制御し、仮想コンテンツをユーザに提供するために、メモリまたは1つ以上のデータベース(例えば、クラウドベースのサーバ)からのデータの読み出しを含む、1つ以上のコンピューティングタスクを実行してもよい。
一実施形態では、遠隔処理モジュール72は、データおよび/または画像情報を分析かつ処理するように構成される、1つ以上の比較的に強力なプロセッサまたはコントローラを備えてもよい。一実施形態では、遠隔データリポジトリ74は、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であり得る、比較的に大規模なデジタルデータ記憶設備を備えてもよい。一実施形態では、全てのデータは、記憶され、全ての計算は、ローカル処理およびデータモジュール内で行われ、任意の遠隔モジュールからの完全自律使用を可能にする。
(光学実施形態)
頭部搭載式ユーザデバイスの光学要素を通して、ユーザの眼に3D仮想コンテンツを提示する多くのアプローチがあることを理解されたい。以下の例示的実施形態は、他のアプローチと組み合わせて使用されてもよく、限定的意味で読まれるべきではない。以下の例示的実施形態は、頭部搭載式ユーザデバイス(30)と統合され得るいくつかの実施例光学システムを表し、ユーザが快適で遠近調節しやすい様式で仮想コンテンツを視認できるようにする。
頭部搭載式ユーザデバイスの光学要素を通して、ユーザの眼に3D仮想コンテンツを提示する多くのアプローチがあることを理解されたい。以下の例示的実施形態は、他のアプローチと組み合わせて使用されてもよく、限定的意味で読まれるべきではない。以下の例示的実施形態は、頭部搭載式ユーザデバイス(30)と統合され得るいくつかの実施例光学システムを表し、ユーザが快適で遠近調節しやすい様式で仮想コンテンツを視認できるようにする。
図5Aから22Yを参照すると、ヒトの眼に、高レベルの画質および3次元知覚を伴って、かつ2次元コンテンツも提示可能である、物理的現実に対する拡張として快適に知覚され得る、光子ベースの放射パターンを提示するように設計される、種々のディスプレイ構成が、提示される。
図5Aを参照すると、簡略化された実施例において、45度の反射表面102を伴う透過性ビームスプリッタ基板104が、レンズ(図示せず)から眼58の瞳孔45を通して網膜54に出力され得る、入射放射106を指向させる。そのようなシステムのための視野は、ビームスプリッタ104の幾何学形状によって限定される。最小限のハードウェアを用いて快適な視認を得たいという所望に対応するために、一実施形態では、より大きい視野が、種々の異なる反射および/または回折表面の出力/反射を凝集させることによって、作成され得る。これは、例えば、眼58に、高周波数でフレームのシーケンスが提示され、単一コヒーレント場面の知覚を提供するようなフレーム順次構成を使用して、達成され得る。
異なる画像データを異なる反射体を介して時系列方式で提示することの代替として、またはそれに加え、反射体は、偏光選択性または波長選択性等の他の手段によって、コンテンツを分離してもよい。2次元画像を中継可能であることに加え、反射体はまた、実際の物理的オブジェクトの真の3次元視認に関連付けられた3次元波面を中継してもよい。
図5Bを参照すると、複数の角度110における複数の反射体を備えている、基板108が、示され、各反射体は、例証目的のために、描写される構成では、能動的に反射する。反射体は、時間的選択性を促進するように切替可能要素を備えてもよい。一実施形態では、反射表面は、意図的に、かつ順次、フレーム順次入力情報106で活性化されてもよく、各反射表面は、他の反射表面によって提示される他の狭視野サブ画像とともにタイル表示される狭視野サブ画像を提示し、複合広視野画像を形成する。
例えば、図5C、5D、および5Eを参照すると、表面110(例えば、基板108の中央にある)は、入射画像情報106を反射させ、比較的に狭視野サブ画像をより大きい視野の中央に表すように反射状態「オン」に切り替えられる一方、他の潜在的反射表面は、透過性状態である。
図5Cを参照すると、狭視野サブ画像の右側から生じる入射画像情報106(入力インターフェース112における基板108に対する入射ビーム106の角度と、基板108から出射する角度とによって示されるように)は、反射表面110から眼58に向かって反射される。図5Dは、同一反射体110が活性であることを図示し、画像情報は、入力インターフェース112における入力情報106の角度と、基板108から出射する際のその角度とによって示されるように、狭視野サブ画像の中央から生じる。
図5Eは、同一反射体110が活性であることを図示し、画像情報は、入力インターフェース112における入力情報106の角度と、基板108の表面において得られた出射角度とによって示されるように、視野の左側から生じる。図5Fは、底側反射体110が活性であって、画像情報106が、全体的視野の最右側から生じる、構成を図示する。例えば、図5C、5D、および5Eは、フレーム順次タイルディスプレイ画像の中心を表す1つのフレームを図示し得、図5Fは、そのタイルディスプレイ画像の最右側を表す第2のフレームを図示し得る。
一実施形態では、画像情報106を搬送する光は、最初に、基板108の表面から反射せずに、直接、入力インターフェース112において基板108に入射後、反射表面110に衝打してもよい。一実施形態では、画像情報106を搬送する光は、入力インターフェース112に入射後、反射表面110に衝打する前に、基板108の1つ以上の表面から反射してもよい。例えば、基板108は、平面導波管として作用し、画像情報106を搬送する光を全内部反射によって伝搬させてもよい。光はまた、部分反射コーティング、波長選択コーティング、角度選択コーティング、および/または偏光選択コーティングを通して、基板108の1つ以上の表面から反射してもよい。
一実施形態では、角度付けられた反射体は、特定の反射体への電圧および/または電流の印加に応じて、そのような反射体を備えている材料の屈折率が、基板108の残りと実質的に一致する屈折率から変化するように、電気活性材料を使用して構築されてもよい。反射体の屈折率が基板108の残りのものと整合するとき、反射体は、透過性構成にある。反射体の屈折率が基板108の残りのものと不整合であるとき、反射体は、反射効果が作成されるように、反射構成にある。例示的電気活性材料として、ニオブ酸リチウムおよび電気活性ポリマーが挙げられる。複数のそのような反射体を制御するための好適な実質的に透明な電極として、液晶ディスプレイにおいて利用される、インジウムスズ酸化物等の材料が挙げられ得る。
一実施形態では、電気活性反射体110は、ガラスまたはプラスチック等の基板108のホスト媒体中に埋め込まれる、液晶を備えてもよい。いくつかの変形例では、バイナリ(1つの透過性状態から1つの反射状態に)とは対照的に、よりアナログ的な変化が遂行され得るように、印加される電気信号の関数として屈折率を変化させる、液晶が、選択されてもよい。6つのサブ画像が、眼にフレーム順次方式で提示され、全体的リフレッシュレート60フレーム/秒で大規模なタイルディスプレイ画像を形成する、ある実施形態では、約360Hzのレートでリフレッシュすることができる入力ディスプレイとともに、そのような周波数を保つことができる電気活性反射体アレイを有することが望ましい。
一実施形態では、ニオブ酸リチウムが、液晶とは対照的に、電気活性反射材料として利用されてもよい。ニオブ酸リチウムは、高速スイッチおよび光ファイバネットワークのための光工学産業において利用されており、印加された電圧に応答して、超高周波数において屈折率を切り替える能力を有する。本高周波数は、特に、入力ディスプレイが、ファイバ走査ディスプレイまたは走査鏡ベースのディスプレイ等の走査光ディスプレイである場合、線順次またはピクセル順次サブ画像情報を操向するために使用されてもよい。
別の実施形態では、可変切替可能な角度付けられた鏡構成が、MEMS(微小電気機械システム)デバイス等の1つ以上の高速機械的に再位置付け可能である反射表面を備えてもよい。MEMSデバイスは、「デジタル鏡デバイス」、すなわち、「DMD」、(多くの場合、Texas Instruments, Inc.から利用可能なもの等の「デジタル光処理」、すなわち、「DLP」システムの一部)として知られるものを含んでもよい。別の電気機械的実施形態では、複数の空気で隔てられた(または真空中)反射表面が、高周波数で、定位置および定位置外に機械的に移動され得る。別の電気機械的実施形態では、単一反射表面が、上下に移動され、超高周波数で再ピッチ化されてもよい。
図5Gを参照すると、本明細書に説明される切替可能可変角度反射体構成は、コリメートまたは平坦波面情報を眼58の網膜54だけではなく、また、図5Gの例証に示されるように、湾曲波面122の画像情報も通過させることが可能であることに留意されたい。これは、概して、湾曲波面情報の全内部反射が望ましくない複雑化を生じさせ、したがって、入力は、概して、コリメートされなければならない、他の導波管ベースの構成には該当しない。湾曲波面情報をパスするための能力は、網膜54に、光学無限遠(他の手掛かりがない場合のコリメートされた光の解釈となるであろう)だけではなく、眼58からの種々の距離において合焦されるにつれて知覚される入力を提供するための図5B-5Hに示されるもの等の構成の能力を促進する。
図5Hを参照すると、別の実施形態では、静的部分反射表面116のアレイ(例えば、常時、反射モードである;別の実施形態では、前述のように、電気活性であり得る)が、眼58の出力を制御する高周波数ゲーティング層118とともに、基板114内に埋め込まれてもよい。高周波数ゲーティング層118は、制御可能に可動である、開口120を通した伝送のみを可能にしてもよい。言い換えると、開口120を通した伝送以外全て、選択的に遮断され得る。ゲーティング層118は、液晶アレイ、ニオブ酸リチウムアレイ、MEMSシャッタ要素のアレイ、DLP DMD要素のアレイ、または伝送モードに切り替えられることに応じて、比較的に高周波数切替および高伝達率で通過もしくは伝送するように構成される、他のMEMSデバイスのアレイを備えてもよい。
図6A-6Bを参照すると、アレイ状光学要素が、射出瞳拡大構成と組み合わせられ、ユーザの仮想または拡張現実体験の快適性を補助し得る、他の実施形態が、描写される。光学構成のための「射出瞳」が大きいほど、システムのより大きい射出瞳に起因して、ユーザの解剖学的瞳孔が、依然として、所望に応じて、ディスプレイシステムから情報を受信するように位置付けられ得る、より大きい容認可能面積が存在するため、ディスプレイ(図4A-4Dにおけるように、眼鏡状の構成でユーザの頭部に取り付けられ得る)に対するユーザの眼の位置決めは、その体験を妨害しにくい。言い換えると、射出瞳が大きいほど、システムは、ユーザの解剖学的瞳孔に対するディスプレイの若干の不整合に対して感受性が低くなり、ディスプレイ/眼鏡とのその関係に及ぼす幾何学的制約が少ないことから、ユーザにとってより快適性が、達成され得る。
ここで図6Aおよび6Bを参照すると、代替アプローチが、図示される。図6Aに示されるように、左側のディスプレイ140は、平行な光線の集合を基板124の中に供給する。一実施形態では、ディスプレイは、示されるような角度で光の狭ビームを往復走査し、角度走査光を収集し、それを光線の平行束に変換するために利用され得る、レンズまたは他の光学要素142を通して、画像を投影する、走査ファイバディスプレイであってもよい。光線は、光が反射表面(126、128、130、132、134、136)群を横断してほぼ等しく共有され得るように、入射光を部分的に反射し、部分的に伝送し得る、一連の反射表面(126、128、130、132、134、136)から反射されてもよい。小型レンズ138が、導波管124からの各出射点に設置され、出射光線は、節点を通して操向され、眼58に向かって走査され、ディスプレイシステムを注視する際、ユーザによって使用可能な射出瞳のアレイまたは1つの大きな射出瞳の機能的均等物を提供し得る。
導波管を通して実世界144もまた透視可能であることが望ましい仮想現実構成のために、レンズ139の類似集合が、導波管124の反対側に提示され、レンズの下位集合を補償し、したがって、ゼロ倍率望遠鏡の均等物を作成してもよい。反射表面(126、128、130、132、134、136)の各々は、示されるように、約45度で整合されてもよく、または異なる整合を有するように構成されてもよい(例えば、図5B-5Hの構成に類似する)。反射表面(126、128、130、132、134、136)は、波長選択反射体、帯域通過反射体、半透鏡、または他の反射構成を備えてもよい。示されるレンズ(138、139)は、屈折レンズであるが、回折レンズ要素もまた、利用されてもよい。
図6Bを参照すると、複数の湾曲反射表面(148、150、152、154、156、158)が、図6Aの実施形態のレンズ(図6Aの要素138)と反射体(図6Aの要素126、128、130、132、134、136)の機能性を効果的に組み合わせ、それによって、2つのレンズ群(図6Aの要素138)の必要性を排除するために利用され得る、若干類似する構成が、描写される。
湾曲反射表面(148、150、152、154、156、158)は、放物または楕円形湾曲表面等、反射および角度変化の付与の両方を行うように選択される、種々の湾曲構成であってもよい。放物形状では、入射光線の平行集合は、単一出力点の中に収集されるであろう。楕円形構成では、単一生成点から発散する光線の集合が、単一出力点に収集される。図6Aの構成と同様に、湾曲反射表面(148、150、152、154、156、158)は、好ましくは、入射光が導波管146の長さを横断して共有されるように、部分的に反射し、部分的に伝送する。湾曲反射表面(148、150、152、154、156、158)は、波長選択ノッチ反射体、半透鏡、または他の反射構成を備えてもよい。別の実施形態では、湾曲反射表面(148、150、152、154、156、158)は、反射させ、また、偏向させる、回折反射体と置換されてもよい。
図7Aを参照すると、Z軸差(例えば、光学軸に沿って眼からの直線距離)の知覚が、導波管と可変焦点光学要素構成を併用することによって、促進され得る。図7Aに示されるように、ディスプレイ160からの画像情報が、例えば、図6Aおよび6Bを参照して説明されるもの等の構成、または当業者に公知の他の基板誘導光学方法を使用して、コリメートされ、導波管164の中に投入され、大射出瞳様式で分布されてもよく、次いで、可変焦点光学要素能力が、導波管から現れる光の波面の焦点を変化させ、眼に、導波管164から生じる光が特定の焦点距離からのものであるという知覚を提供するために利用されてもよい。
言い換えると、入射光は、全内部反射導波管構成における課題を回避するためにコリメートされているため、コリメートされた方式で出射し、視認者の眼が、遠点が網膜上で合焦するように遠近調節することを要求し、必然的に、何らかの他の介入が、光を再合焦され、異なる視認距離からとして知覚させない限り、光学無限遠からであるように解釈されるであろう。好適なそのような介入の1つは、可変焦点レンズである。
図7Aの実施形態では、ディスプレイ160からコリメートされた画像情報は、全内部反射し、隣接する導波管164の中に通過されるような角度で、ガラス162または他の材料片の中に投入される。導波管164は、ディスプレイからのコリメートされた光が、導波管の長さに沿って、反射体または回折特徴の分布を横断してほぼ均一に出射するよう分布されるように、図6Aまたは6Bの導波管(それぞれ、124、146)と同様に構成されてもよい。眼58に向かう出射に応じて、描写される構成では、出射光は、可変焦点レンズ要素166を通して通過され、可変焦点レンズ要素166の制御された焦点に応じて、可変焦点レンズ要素166から出射し、眼58に入射する光は、種々のレベルの焦点を有するであろう(コリメートされた平坦波面は、光学無限遠を表し、ビーム発散/波面曲率が大きいほど、眼58に対してより近い視認距離を表す)。
眼58と導波管164との間の可変焦点レンズ要素166を補償するために、別の類似可変焦点レンズ要素167が、導波管164の反対側に設置され、拡張現実のために、世界144から生じる光に対するレンズ166の光学効果を相殺する(例えば、前述のように、一方のレンズが、他方のレンズを補償し、ゼロ倍率望遠鏡の機能的均等物を生成する)。
可変焦点レンズ要素166は、液晶レンズ、電気活性レンズ、可動要素を伴う従来の屈折レンズ、機械的変形ベースのレンズ(流体充填膜レンズ、または可撓性要素がアクチュエータによって撓曲および弛緩される、ヒト水晶体に類似するレンズ等)、エレクトロウェッティングレンズ、または異なる屈折率を伴う複数の流体等の屈折要素であってもよい。
可変焦点レンズ要素166はまた、切替可能回折光学要素を備えてもよい(電圧が印加されると、分子が、その屈折率がホスト媒体のものともはや一致しないように再配向し、それによって、高周波数切替可能回折パターンを作成する、ポリマー材料等のホスト媒体が材料内に分散された液晶の微小液滴を有する、高分子分散型液晶アプローチを特徴とするもの等)。
一実施形態は、ニオブ酸リチウム等のカー効果ベースの電気活性材料の微小液滴が、ホスト媒体内に分散され、ファイバ走査ディスプレイまたは走査鏡ベースのディスプレイ等の走査光ディスプレイと結合されると、ピクセル毎または行毎ベースで画像情報の再合焦を可能にする、ホスト媒体を含む。液晶、ニオブ酸リチウム、または他の技術が、パターンを表すために利用される、可変焦点レンズ要素166構成では、パターン間隔は、可変焦点レンズ要素166の焦点力を変化させるだけではなく、また、ズームレンズタイプの機能性のために、全体的光学系の焦点力を変化させるために変調され得る。
一実施形態では、レンズ166は、写真撮影用のズームレンズが焦点をズーム位置から切り離すように構成され得るものと同一方法で、ディスプレイ画像の焦点が倍率を一定に保ちながら改変されることができるという点において、テレセントリックであり得る。別の実施形態では、レンズ166は、焦点変化がまた、ズーム変化に従動するであろうように、非テレセントリックであってもよい。そのような構成では、そのような倍率変化は、焦点変化と同期するグラフィックシステムからの出力の動的スケーリングを用いて、ソフトウェアにおいて補償されてもよい。
「フレーム順次」構成における、プロジェクタまたは他のビデオディスプレイユニット160と、画像を光学ディスプレイシステムの中に供給する方法の問題に戻って参照すると、順次2次元画像のスタックが、スタックされた画像スライスを使用して3次元構造を表す、コンピュータ断層撮影システムと同様の様式で、ディスプレイに順次供給され、3次元知覚を経時的に生成し得る。
一連の2次元画像スライスが、それぞれ、眼に対して異なる焦点距離で、眼に提示され得、眼/脳は、そのようなスタックをコヒーレント3次元ボリュームの知覚の中に統合するであろう。ディスプレイタイプに応じて、行毎またはさらにピクセル毎シーケンス処理が、3次元視認の知覚を生成するために行われ得る。例えば、走査光ディスプレイ(走査ファイバディスプレイまたは走査鏡ディスプレイ等)では、ディスプレイは、導波管164に、順次方式で1度に1つの線または1つのピクセルを提示する。
可変焦点レンズ要素166が、高周波数のピクセル毎または行毎提示を保つことが可能である場合、各線またはピクセルは、可変焦点レンズ要素166を通して提示され、動的に合焦され、眼58から異なる焦点距離で知覚され得る。ピクセル毎焦点変調は、概して、超高速/高周波数可変焦点レンズ要素166を要求する。例えば、全体的フレームレート60フレーム/秒を伴う、1080P分解能ディスプレイは、典型的には、約1億2,500万ピクセル/秒を表す。そのような構成はまた、電気活性材料、例えば、ニオブ酸リチウムまたは電気活性ポリマーを使用するもの等、固体切替可能レンズを使用して構築されてもよい。図7Aに図示されるシステムとのその互換性に加え、フレーム順次多焦点ディスプレイ駆動アプローチは、本開示に説明されるいくつかのディスプレイシステムおよび光学実施形態と併用されてもよい。
図7Bを参照すると、電気活性層172(液晶またはニオブ酸リチウムを備えているもの等)が、(インジウムスズ酸化物から作製され得る)機能電極(170、174)と、従来の透過性基板176を伴う、導波管168とによって囲繞されてもよい。導波管は、1つ以上の実施形態では、電気活性層172のオンまたはオフ状態に一致する既知の全内部反射特性および屈折率を伴う、ガラスまたはプラスチックから作製されてもよい。電気活性層172は、入射ビームの経路が、本質的に、時変明視野を作成するように動的に改変され得るように、制御され得る。
図8Aを参照すると、スタックされた導波管アセンブリ178が、その導波管レベルに対して知覚されるべき焦点距離を示す導波管レベル毎の種々のレベルの波面曲率で、画像情報を眼に送信するようにともに構成される、複数の導波管(182、184、186、188、190)および複数の弱レンズ(198、196、194、192)を有することによって、3次元知覚を眼/脳に提供するために利用されてもよい。複数のディスプレイ(200、202、204、206、208)、または別の実施形態では、単一多重化ディスプレイが、それぞれ、前述のように、眼に出射するために、各導波管の長さを横断して、入射光を実質的に等しく分布させるように構成され得る、導波管(182、184、186、188、190)の中にコリメートされた画像情報を投入するために利用されてもよい。
眼に最も近い導波管182は、光学無限遠焦点面を表し得る、そのような導波管182の中に投入されるにつれて、コリメートされた光を眼に送達するように構成される。別の導波管184は、第1の弱レンズ(192;例えば、弱い負のレンズ)を通して通過し、ユーザの眼58に送達される、コリメートされた光を送光するように構成される。第1の弱レンズ192は、眼/脳が、導波管184から生じる光を光学無限遠から人に向かって内向きにより近い第1の焦点面から生じているよう解釈するように、若干の凸面波面曲率を作成するように構成されてもよい。同様に、次の導波管186は、眼58に到達する前に、その出力光を第1の192および第2の194レンズを通して通過させる。第1の192および第2の194レンズの組み合わせられた屈折力は、眼/脳が、導波管186から生じている光を導波管184からの光より光学無限遠から人に向かってさらにより内向きに近い第2の焦点面から生じているよう解釈するように、別の漸増量の波面発散を作成するように構成されてもよい。
他の導波管層(188、190)および弱レンズ(196、198)も同様に、構成され、スタック内の最高導波管190は、人に最も近い焦点面を表す凝集焦点力のために、その出力をそれと眼との間の弱レンズの全てを通して送光する。スタックされた導波管アセンブリ178の他側の世界144から生じる光を視認/解釈するとき、レンズ(198、196、194、192)のスタックを補償するために、補償レンズ層180が、スタックの上部に配置され、下方のレンズスタック(198、196、194、192)の凝集屈折力を補償する。
そのような構成は、前述のように、利用可能な導波管/レンズ対合と同じ数の知覚される焦点面に、再び、比較的に大きな射出瞳構成を提供する。導波管の反射側面およびレンズの合焦側面は両方とも、静的であってもよい(例えば、動的または電気活性ではない)。代替実施形態では、動的であって、前述のように、電気活性特徴を使用し、少数の導波管が、時系列方式で多重化され、より多数の有効焦点面を生成することを可能にしてもよい。
図8B-8Nを参照すると、コリメートされたビームを合焦および/または再指向させるための回折構成の種々の側面が、描写される。そのような目的のための回折システムの他の側面は、米国特許出願第14/331,218号に開示されている。
図8Bを参照すると、ブラッググレーティング等のコリメートされたビームを線形回折パターン210を通して通過させることは、ビームを偏向、すなわち、「操向」させるであろうことを理解されたい。また、コリメートされたビームを半径方向対称回折パターン212、すなわち、「フレネルゾーンプレート」を通して通過させることは、ビームの焦点を変化させるであろうことを理解されたい。図8Cは、コリメートされたビームを線形回折パターン210を通して通過させる偏向効果を図示する。図8Dは、コリメートされたビームを半径方向対称回折パターン212を通して通過させることの合焦効果を図示する。
図8Eおよび8Fを参照すると、線形および半径方向要素214の両方を有する、組み合わせ回折パターンが、コリメートされた入力ビームの偏向および合焦の両方を生成する。これらの偏向および合焦効果は、反射ならびに透過性モードで生成されることができる。これらの原理は、例えば、図8G-8Nに示されるように、付加的光学系制御を可能にするための導波管構成とともに適用されてもよい。
図8G-8Nに示されるように、回折パターン(220)、すなわち、「回折光学要素」(または「DOE」)が、コリメートされたビームが平面導波管216に沿って全内部反射されるにつれて、多数の場所において回折パターン220に交差するように、平面導波管216内に埋め込まれている。
好ましくは、DOE220は、ビームの光の一部のみ、DOE220の各交差点を用いて、眼58に向かって偏向される一方、残りは、全内部反射を介して、平面導波管216を通して移動し続けるように、比較的に低回折効率を有する。画像情報を搬送する光は、したがって、多数の場所において導波管から出射する、いくつかの関連光ビームに分割され、結果として、図8Hに示されるように、平面導波管216内で跳ね返る本特定のコリメートされたビームに対して、眼58に向かって非常に均一なパターンの出射放出がもたらされる。眼58に向かう出射ビームは、この場合、DOE220が、線形回折パターンのみを有するため、実質的に平行として図8Hに示される。図8L、8M、および8N間の比較に示されるように、本線形回折パターンピッチに対する変化は、出射平行ビームを制御可能に偏向させ、それによって、走査またはタイルディスプレイ機能性を生成するために利用されてもよい。
図8Iを参照すると、埋め込まれるDOE220の半径方向対称回折パターン構成要素の変化に伴って、出射ビームパターンは、より発散性となり、眼がより近い距離に対して遠近調節を行い、網膜上で合焦させることを要求し、光学無限遠より眼に近い視認距離からの光として脳によって解釈されるであろう。図8Jを参照すると、その中にビームが投入され得る(例えば、プロジェクタまたはディスプレイによって)、別の導波管218の追加に伴って、線形回折パターン等の本他の導波管218内に埋め込まれたDOE221は、光をより大きい平面導波管216全体を横断して拡散させるように機能し得る。これは、眼58に、稼働中の特定のDOE構成に従って、より大きい平面導波管216から出射する、入射光の非常に大きな入射場、例えば、大型のアイボックスを提供し得る。
DOE(220、221)は、関連付けられた導波管(216、218)を二分するように描写されるが、これは、該当する必要はない。1つ以上の実施形態では、それらは、同一機能性を有するように、導波管(216、218)のいずれかの両側により近くに、またはその上に設置されてもよい。したがって、図8Kに示されるように、単一のコリメートされたビームの投入に伴って、クローン化されたコリメートビームの場全体が、眼58に向かって指向され得る。加えて、図8Fの214および8Iの220に描写されるもの等の組み合わせられた線形回折パターン/半径方向対称回折パターンシナリオでは、Z軸合焦能力を伴う、ビーム分布導波管光学(射出瞳の機能的拡張等の機能性のため;図8Kのもの等の構成を用いると、射出瞳は、光学要素自体と同じ大きさとなり得、これは、ユーザ快適性および人間工学のために非常に有意な利点となり得る)が、提示され、クローン化されたビームの発散角度および各ビームの波面曲率は両方とも、光学無限遠より近い点から生じる光を表す。
一実施形態では、1つ以上のDOEは、能動的に回折する「オン」状態と、有意に回折しない「オフ」状態との間で切替可能である。例えば、切替可能DOEは、微小液滴が、ホスト媒体内に回折パターンを備え、微小液滴の屈折率が、ホスト材料の屈折率に実質的に一致するように切り替えられることができる(その場合、パターンは、入射光を著しく回折しない)、高分子分散型液晶の層を備えてもよい。または微小液滴が、ホスト媒体のものに一致しない屈折率に切り替えられることができる(その場合、パターンは、入射光を能動的に回折する)。
さらに、図8L-8Nにおけるように、線形回折ピッチ項等の回折項に対する動的変化に伴って、ビーム走査またはタイルディスプレイ機能性が、達成され得る。前述のように、光の分布を促進するため、DOE(220、221)の各々に比較的に低回折グレーティング効率を有することが望ましくあり得る。また、望ましく伝送される、導波管を通して生じる光(例えば、拡張現実構成では、世界144から眼58に向かって生じる光)が、それが越えるDOE220の回折効率がより低いとき、あまり影響を受けないため、そのような構成を通して実世界のより優れたビューが、達成され得る。
図8Kに図示されるもの等の構成は、好ましくは、時系列アプローチにおける画像情報の投入に伴って駆動され、フレーム順次駆動は、最も実装が簡単である。例えば、光学無限遠における空の画像が、時間1で投入され得、光のコリメートを保つ回折グレーティングが、利用されてもよい。次いで、より近い木の枝の画像が、時間2で投入され得る一方、DOEが、例えば、1ジオプタまたは1メートル離れて、焦点変化を制御可能に付与し、眼/脳に、枝の光情報がより近い焦点距離から生じているという知覚を提供する。
本種類のパラダイムは、眼/脳が、入力が同一画像の全部分であることを知覚するような高速時系列方式で繰り返されてもよい。これは、2つの焦点面の実施例にすぎないが、好ましくは、システムは、より多くの焦点面を有し、オブジェクトとその焦点距離との間のより平滑な遷移を提供するように構成されるであろうことを理解されたい。本種類の構成は、概して、DOEが比較的に低速で(例えば、数十~数百サイクル/秒の範囲内で画像を投入するディスプレイのフレームレートと同期して)切り替えられると仮定する。
正反対のものは、DOE要素が、数十~数百MHzまたはそれを上回って焦点を偏移させることができ、ピクセルが、走査光ディスプレイタイプのアプローチを使用して、眼58の中に走査されるにつれて、ピクセル毎ベースでDOE要素の焦点状態の切替を促進する、構成であってもよい。これは、全体的ディスプレイフレームレートが非常に低く保たれ得る(「フリッカー」が問題ではない(約60~120フレーム/秒の範囲内である)ことを確実にするために十分に低い)ことを意味するため、望ましい。
これらの範囲間では、DOEが、KHzレートで切り替えられ得る場合、行毎ベースで、各走査線上の焦点は、調節されてもよく、これは、ユーザに、例えば、ディスプレイに対する眼運動の間、時間的アーチファクトの観点から可視利点を与え得る。例えば、場面内の異なる焦点面は、このように、インタリーブされ、頭部の運動に応答して、可視アーチファクトを最小限にし得る(本開示の後半で詳細に論じられるように)。行毎焦点変調器は、ピクセルの線形アレイが、掃引され、画像を形成する、グレーティング光弁ディスプレイ等の線走査ディスプレイに動作可能に結合されてもよく、ファイバ走査ディスプレイおよび鏡走査光ディスプレイ等の走査光ディスプレイに動作可能に結合されてもよい。
図8Aのものに類似するスタックされた構成は、動的DOE(図8Aの実施形態の静的導波管およびレンズではなく)を使用して、多平面合焦を同時に提供してもよい。例えば、3つの同時焦点面では、一次焦点平面(例えば、測定された眼遠近調節に基づいて)が、ユーザに提示され得、+境界および-境界(例えば、一方の焦点面は、より近く、一方の焦点面は、より離れている)が、平面の更新が必要とされる前に、ユーザが遠近調節することができる、大焦点距離を提供するために利用され得る。本増加される焦点距離は、ユーザが、より近いまたはより遠い焦点(例えば、遠近調節測定によって決定されるように)に切り替える場合、時間的利点を提供することができる。次いで、焦点の新しい平面が、中央焦点深度にされ得、+および-境界は、再び、システムが追い付く間、いずれか一方への高速切替の準備ができた状態となる。
図8Oを参照すると、それぞれ、反射体(254、256、258、260、262)を端部に有し、ディスプレイ(224、226、228、230、232)によって一端に投入されたコリメートされた画像情報が、反射体までの全内部反射によって跳ね返り、その時点で、光の一部または全部が、眼もしくは他の標的に向かって反射されるように構成される、平面導波管(244、246、248、250、252)のスタック222が、示される。反射体の各々は、全て、出射光を瞳孔等の共通目的地に向かって反射させるように、若干異なる角度を有してもよい。そのような構成は、図5Bのものに若干類似するが、図8Oの実施形態における各異なる角度付けられた反射体は、投影された光が標的反射体に進行しているとき、殆ど干渉しないために、その独自の導波管を有する。レンズ(234、236、238、240、242)は、ビーム操向および/または合焦のために、ディスプレイと導波管との間に介在されてもよい。
図8Pは、反射体(276、278、280、282、284)が、出射ビームが解剖学的瞳孔等のオブジェクトと比較的に容易に整合され得るように、導波管(266、268、270、272、274)内で交互長に位置付けられる、幾何学的に交互にされたバージョンを図示する。スタック(264)と眼との間の距離(典型的快適幾何学形状である、眼の角膜と眼鏡レンズとの間の28mm等)は、既知であるため、反射体(276、278、280、282、284)および導波管(266、268、270、272、274)の幾何学形状は、出射光で眼の瞳孔を充填するように設定されてもよい(典型的には、幅約8mmまたはそれ未満)。
光を眼の瞳孔の直径より大きいアイボックスに指向することによって、視認者は、表示される画像を見る能力を保ちながら、任意の回数の眼の移動を自由に行なう。視野拡大および反射体サイズに関する図5Aおよび5Bに関連する議論に戻って参照すると、拡大される視野は、図8Pの構成によっても同様に提示され、図5Bの実施形態の切替可能反射要素の複雑性を伴わない。
図8Qは、多くの反射体298が、全体的曲線と整合するように配向される、凝集または離散平坦ファセット内に比較的に連続した湾曲反射表面を形成する、バージョン286を図示する。曲線は、放物または楕円形曲線であり得、複数の導波管(288、290、292、294、296)を横断して切断し、任意のクロストーク問題を最小限にするように示されるが、また、モノリシック導波管構成とも併用され得る。
一実装では、高フレームレートおよびより低い持続性のディスプレイが、より低いフレームレートおよびより高い持続性ディスプレイならびに可変合焦要素と組み合わせられ、比較的に高周波数フレームの順次立体ディスプレイを構成してもよい。一実施形態では、高フレームレートディスプレイは、より低いビット深度を有し、より低いフレームレートディスプレイは、より高いビット深度を有し、フレーム順次方式における画像スライス提示に非常に好適である、効果的高フレームレートおよび高ビット深度ディスプレイを構成するように組み合わせられる。そのようなアプローチを用いて、望ましく表される3次元ボリュームが、一連の2次元スライスに機能的に分割される。それらの2次元スライスの各々は、眼フレームに順次投影され、本提示と同期して、可変合焦要素の焦点が、変化される。
一実施形態では、そのような構成をサポートするための十分なフレームレートを提供するために、2つのディスプレイ要素、すなわち、60フレーム/秒で動作する、フルカラー高分解能液晶ディスプレイ(「LCD」;背面光付き強誘電パネルディスプレイもまた、別の実施形態では利用されてもよい;さらなる実施形態では、走査ファイバディスプレイが、利用されてもよい)と、より高い周波数のDLPシステムの側面とが、統合されてもよい。LCDパネルの背面を従来の様式で(例えば、フルサイズ蛍光灯またはLEDアレイを用いて)照射する代わりに、従来の照射構成は、DLPプロジェクタを収容し、LCDの背面上にマスクパターンを投影するために除去されてもよい。一実施形態では、マスクパターンは、バイナリであってもよい(例えば、DLPは、照射されるか、または照射されないかのいずれかである)。以下に説明される別の実施形態では、DLPは、階調マスク画像を投影するために利用されてもよい。
DLP投影システムは、非常に高いフレームレートで動作されることができることを理解されたい。60フレーム/秒における6つの深度平面のための一実施形態では、DLP投影システムは、360フレーム/秒でLCDディスプレイの背面に対して動作されることができる。次いで、DLPプロジェクタは、LCDパネルの視認側とユーザの眼との間に配置される、高周波数可変合焦要素(変形可能膜鏡等)(可変合焦要素(VFE)は、360フレーム/秒においてフレームベースでフレーム上の全体的ディスプレイ焦点を変動させるように構成される)と同期して、LCDパネルの一部を選択的に照射するために利用されてもよい。
一実施形態では、VFEは、同時に、画像倍率または「ズーム」に影響を及ぼさずに、焦点の調節を可能にするために、射出瞳に光学的に共役するように位置付けられる。別の実施形態では、VFEは、画像倍率変化が焦点調節を伴うように、射出瞳に共役されない。そのような実施形態では、ソフトウェアが、提示されるべき画像を事前スケーリングし、歪曲させることによって、光学倍率変化および任意の歪曲を補償するために使用されてもよい。
動作上、3次元場面が、ユーザに提示されるべきであって、背景中の空が、光学無限遠の視認距離にあって、木に結合される枝が、枝の先端が木の幹に接合する枝の近位部分よりユーザに近くなるように、木の幹から延在する、実施例を検討することは、有用である。木は、光学無限遠より近い場所にあり得、枝は、木の幹と比較してさらに近くにあり得る。
一実施形態では、所与の全体的フレームのために、システムは、LCD上に、空の正面に木の枝のフルカラーの全合焦画像を提示するように構成されてもよい。次いで、全体的フレーム内のサブフレーム1において、バイナリマスキング構成(例えば、照射または無照射)におけるDLPプロジェクタが、空と同一焦点距離で知覚されるべきではない木の枝および他の要素を表す、LCDの部分を機能的に黒色マスキング(例えば、照射不能)しながら、曇った空を表す、LCDの部分のみを照射するために使用されてもよく、VFE(変形可能膜鏡等)が、サブフレーム1におけるサブ画像を無限に離れた雲として眼に見えるように、焦点面を光学無限遠に位置付けるために利用されてもよい。
次いで、サブフレーム2において、VFEは、ユーザの眼から約1メートル(例えば、枝の場所に対して1メートル)離れた点に合焦させるように切り替えられてもよい。DLPからの照射のパターンは、システムが、木の枝と同一焦点距離で知覚されるべきではない空および他の要素を表す、LCDの部分を機能的に黒色マスキング(例えば、照射不能)しながら、木の枝を表すLCDの部分のみを照射するように、切り替えられることができる。
したがって、眼は、光学無限遠における雲の高速フラッシュに続いて、1メートルにおいて木の高速フラッシュを取得し、シーケンスは、眼/脳によって3次元知覚を形成するように統合される。枝は、視認距離の範囲を通して延在するように、視認者に対して対角線上に位置付けられてもよく、例えば、約2メートルの視認距離において幹と接合されてもよい一方、枝の先端は、1メートルのより近い位置にある。
この場合、ディスプレイシステムは、木の枝の3-Dボリュームを、1メートルにおける単一スライスではなく、複数のスライスに分割することができる。例えば、1つの焦点スライスが、空を表すために使用されてもよい(本スライスの提示の間、DLPを使用して、木の全面積をマスクする)一方、木の枝は、5つの焦点スライスを横断して分割される(DLPを使用して、空と、提示されるべき木の枝の部分毎に1つを除く木の全ての部分とをマスクする)。好ましくは、深度スライスは、視認者がスライス間の遷移に気付く可能性が低く、代わりに、焦点範囲を通して枝の平滑かつ連続したフローを知覚するであろうように、眼の焦点深度と等しいまたはより小さい間隔を有するように位置付けられる。
別の実施形態では、DLPをバイナリ(照射または暗視野のみ)モードで利用するのではなく、階調(例えば、256陰影の階調)マスクをLCDパネルの背面上に投影させ、3次元知覚を向上させるために利用されてもよい。階調陰影は、眼/脳に、何かが隣接する深度または焦点面間に存在しているという知覚を付与するために利用されてもよい。
前述のシナリオに戻ると、ユーザに最も近い枝の前縁が、焦点平面1に投影されるべき場合、サブフレーム1において、LCD上のその部分は、焦点平面1におけるVFEを用いて、DLPシステムから最大強度白色で照らされてもよい。
次いで、サブフレーム2において、焦点平面2におけるVFEが、照らされた部分のすぐ背後にあると、照射はないであろう。これらは、前述のバイナリDLPマスキング構成と類似ステップである。しかしながら、焦点平面1と焦点平面1との間の、例えば、半分の位置に知覚されるべき枝の部分がある場合、階調マスキングが、利用されてもよい。DLPは、サブフレーム1およびサブフレーム2の両方の間、照射マスクをその部分に投影することができるが、サブフレーム毎に、半照射(256階調のレベル128等において)である。
これは、焦点深度層の混成の知覚を提供し、知覚される焦点距離は、サブフレーム1とサブフレーム2との間の照度比率に比例する。例えば、焦点平面1と焦点平面2との間の3/4にあるべき木の枝の部分に対して、約25%強度階調マスクが、サブフレーム1におけるLCDのその部分を照射するために使用されることができ、約75%階調マスクが、サブフレーム2におけるLCDの同一部分を照射するために使用されることができる。
一実施形態では、低フレームレートディスプレイおよび高フレームレートディスプレイの両方のビット深度は、画像変調のために組み合わせられ、高ダイナミックレンジディスプレイを作成することができる。高ダイナミックレンジ駆動は、前述の焦点平面アドレス指定機能と連動して行われ、高ダイナミックレンジ多焦点3-Dディスプレイを構成してもよい。
別のより効率的実施形態では、ディスプレイ(例えば、LCD)出力のある部分のみ、プロジェクタ(例えば、DMD、DMD等)によってマスク照射されてもよく、ユーザの眼までの途中で可変合焦されてもよい。例えば、ディスプレイの中央部分は、マスク照射され、ディスプレイの周縁は、均一遠近調節手掛かりをユーザに提供してもよい(例えば、周縁は、DLP DMDによって均一に照射され得る一方、中心部分は、能動的にマスクされ、眼までの途中で可変合焦される)。
前述の説明される実施形態では、約360Hzのリフレッシュレートは、それぞれ、約60フレーム/秒における、6つの深度平面を可能にする。別の実施形態では、さらにより高いリフレッシュレートが、DLPの動作周波数を増加させることによって達成されてもよい。標準的DLP構成は、光をディスプレイまたはユーザに向かって反射させるモードと、光をディスプレイまたはユーザから光トラップ等の中に反射させるモードとの間でトグルする、MEMSデバイスおよび微小鏡のアレイを使用し、したがって、DLPは、本質的にバイナリである。DLPは、典型的には、鏡が、より明るいピクセルまたは中間の輝度のピクセルを作成するために、可変デューティサイクルのための可変時間量の間、「オン」状態にされる、パルス幅変調方式を使用して、階調画像を作成する。したがって、適度なフレームレートで階調画像を作成するために、DLPは、はるかに高いバイナリレートで起動していることになる。
前述の説明される構成では、そのような設定は、階調マスキングを作成するために良好に機能する。しかしながら、DLP駆動方式が、バイナリパターンでサブ画像をフラッシュさせるように適合される場合、フレームレートは、数千フレーム/秒と有意に増加され得、これは、数百~数千の深度平面が、60フレーム/秒でリフレッシュされることを可能にし、前述のような深度平面間階調補間を排除するために利用され得る。Texas Instruments DLPシステムのための典型的パルス幅変調方式は、構成が28(2の8乗)の異なる照射レベルを作成し得るように、8ビットコマンド信号を有する(第1のビットは、鏡の第1の長パルスであって、第2のビットは、第1のものの長さの半分のパルスであって、第3のビットも、再び半分の長さである、等と続く)。一実施形態では、DLPからの背面照明は、DMDの異なるパルスと同期してその強度を変動させ、作成されるサブ画像の輝度を等化させてもよい。これは、既存のDMD駆動電子機器を使用して、有意により高いフレームレートを生成させるための実践的アプローチであり得る。
別の実施形態では、DMD駆動電子機器およびソフトウェアに対する直接制御変化は、鏡が、常時、従来の可変オン時間構成の代わりに、等しいオン時間を有するために利用されてもよく、これは、より高いフレームレートを促進するであろう。別の実施形態では、DMD駆動電子機器は、高ビット深度画像のものを上回るが、バイナリフレームレートより低いフレームレートで低ビット深度画像を提示し、焦点平面の数を適度に増加させながら、焦点平面間のある階調混成を可能にするように構成されてもよい。
別の実施形態では、有限数の深度平面(例えば、前述の実施例では、6)に限定されるとき、ユーザに提示されている場面内で最大限に有用であるように、これらの6つの深度平面を機能的に移動させることが望ましくあり得る。例えば、ユーザが、部屋の中に立っており、仮想モンスタが、その拡張現実ビューの中に設置されるべき場合、仮想モンスタは、ユーザの眼からZ軸において直線約2フィートの深度にあって、全6つの深度平面をモンスタの現在の場所の中心の周囲にクラス化する(かつモンスタがユーザに対して移動するにつれて、それらをモンスタとともに動的に移動させる)ことは、より有用となり得る。これは、モンスタの直接領域内の全6つの深度平面(例えば、モンスタの中心の正面に3つ、モンスタの中心の背面に3つ)とともに、より豊かな遠近調節の手掛かりがユーザに提供し得る。そのような深度平面の配分は、コンテンツ依存性である。
例えば、前述の場面では、同一モンスタが、同一部屋内に提示されてもよいが、仮想窓フレーム要素、次いで、仮想窓フレームから光学無限遠までの仮想ビューもまた、ユーザに提示されるためには、少なくとも1つの深度平面を光学無限遠において、1つを仮想窓フレームを格納するためのものである壁の深度において、次いで、おそらく、残りの4つの深度平面を部屋内のモンスタに費やすことが有用であろう。コンテンツが、仮想窓を消失させる場合、2つの深度平面が、モンスタの周囲の領域に動的に再割り当てされ得る。したがって、焦点面リソースのコンテンツベースの動的配分は、コンピューティングおよび提示リソースを前提として、最も豊かな体験をユーザに提供し得る。
別の実施形態では、マルチコアファイバまたは単一コアファイバのアレイにおける位相遅延が、可変焦点光波面を作成するために利用されてもよい。図9Aを参照すると、マルチコアファイバ(300)は、複数の個々のファイバ(302)の凝集体を備えてもよい。図9Bは、それぞれからの球状波面(304)の形態で各コアから光を放出する、マルチコアアセンブリの拡大図を示す。コアが、例えば、共有レーザ光源からコヒーレント光を伝送している場合、これらの小球状波面は、最終的には、相互に建設的および破壊的に干渉し、マルチコアファイバから同相で放出される場合、示されるように、略平面波面(306)を凝集体内に生成させるであろう。
しかしながら、位相遅延が、コア間に誘発される(ニオブ酸リチウムを使用したもの等の従来の位相変調器を使用して、例えば、いくつかのコアの経路を他のコアの経路に対して減速させる)場合、湾曲または球状波面が、凝集体内に作成され、眼/脳に、光学無限遠により近い点から生じるオブジェクトを表し得る。これは、上記で論じられた前述の実施形態におけるように、VFEを使用するのではなく、複数の焦点面を提示するために使用され得る、別のアプローチとなり得る。言い換えると、そのような位相マルチコア構成、すなわち、位相アレイは、光源から複数の光学焦点レベルを作成するために利用されてもよい。
光ファイバの使用に関連する別の実施形態では、マルチモード光ファイバまたは光誘導ロッドもしくはパイプの公知のフーリエ変換側面が、そのようなファイバから出力される波面の制御のために利用されてもよい。光ファイバは、典型的には、2つのカテゴリ、すなわち、単一モードおよびマルチモードにおいて利用可能である。マルチモード光ファイバは、典型的には、より大きいコア直径を有し、単一モード光ファイバのような1つだけではなく、複数の角度経路に沿って、光が伝搬することを可能にする。画像が、マルチモードファイバの一端の中に投入される場合、その画像の中にエンコードされるその角度差は、マルチモードファイバを通して伝搬するにつれて、ある程度まで保たれることが知られている。いくつかの構成では、ファイバからの出力は、ファイバの中に入力された画像のフーリエ変換に有意に類似するであろう。
したがって、一実施形態では、波面(光学無限遠よりユーザに近い焦点面を表すための発散性球状波面等)の逆フーリエ変換が、フーリエ変換を光学的に付与するファイバを通して通過後、出力が所望の形状または合焦波面となるように入力されてもよい。そのような入力端は、例えば、走査ファイバディスプレイとして使用されるように走査されてもよく、または走査鏡のための光源として使用され、画像を形成してもよい。
したがって、そのような構成は、さらに別の焦点変調サブシステムとして利用されてもよい。入力端に、ある空間パターンが放出されるように、他の種類の光パターンおよび波面が、マルチモードファイバの中に投入されてもよい。これは、ウェーブレットパターンの均等物を提供するために利用されてもよい(光学では、光学系は、ゼルニケ係数の観点から分析されてもよく、画像は、同様に、特性評価され、より小さい主成分、すなわち、比較的より単純な画像成分の加重組み合わせに分解される)。したがって、光が、入力側の主成分を使用して眼の中に走査される場合、より高い分解能画像が、マルチモードファイバの入力端で回収され得る。
別の実施形態では、ホログラムのフーリエ変換が、マルチモードファイバの入力端の中に投入され、3次元焦点変調および/または分解能向上のために使用され得る、波面を出力してもよい。ある単一ファイバコア、マルチコアファイバ、または同心コア+クラッディング構成もまた、前述の逆フーリエ変換構成において利用されてもよい。
別の実施形態では、遠近調節または視線のユーザの特定の状態にかかわらず、高フレームレートでユーザの眼に接近する波面を物理的に操作するのではなく、システムは、ユーザの遠近調節を監視し、複数の異なる光波面の集合を提示するのではなく、眼の遠近調節状態に対応する単一波面を1度に提示するように構成されてもよい。
遠近調節は、直接(赤外線自動屈折計または偏心光屈折法等によって)または間接的に(ユーザの両眼の収束レベルを測定すること等によって;前述のように、両眼離反運動および遠近調節は、神経学的に強く結び付けられ、したがって、遠近調節の推定は、両眼離反運動幾何学形状に基づいて行われることができる)測定されてもよい。したがって、例えば、ユーザから1メートルの遠近調節が決定されると、次いで、眼における波面提示は、前述の可変焦点構成のいずれかを使用して、1メートル焦点距離のために構成されてもよい。2メートルにおいて合焦するための遠近調節変化が検出される場合、眼における波面提示は、2メートル焦点距離のために再構成されてもよい、等となる。
したがって、遠近調節追跡を組み込む、一実施形態では、VFEが、焦点が眼の遠近調節変化とともに変化され得るように(例えば、好ましくは、それと同一レートで)、出力コンバイナ(例えば、導波管またはビームスプリッタ)とユーザの眼との間の光学経路内に設置されてもよい。ソフトウェア効果が、可変量ぼかし(例えば、ガウス)を合焦すべきではないオブジェクトに生成し、オブジェクトがその視認距離にあるかのように、網膜に予期される光屈折ぼけをシミュレートするために利用されてもよい。これは、眼/脳による3次元知覚を向上させる。
単純実施形態は、その焦点レベルが視認者の遠近調節レベルに従動される、単一平面である。しかしながら、遠近調節追跡システムに対する性能要求は、少数の複数の平面が使用される場合でも、緩和され得る。図10を参照すると、別の実施形態では、約3つの導波管(318、320、322)のスタック328が、波面の3つの焦点面を同時に作成するために利用されてもよい。一実施形態では、弱レンズ(324、326)は、静的焦点距離を有してもよく、可変焦点レンズ316は、3つの導波管のうちの1つ(例えば、中央導波管320)が、合焦波面であると見なされるものを出力する一方、他の2つの導波管(322、318)が、+境界波面および-境界波面(例えば、検出される焦点距離からわずかに遠い、検出される焦点距離からわずかに近い)を出力するように、眼の遠近調節追跡に従動されてもよい。これは、3次元知覚を改善し、また、脳/眼遠近調節制御システムがある程度のぼかしを負のフィードバックとして感知するために十分な差異を提供し、これは、ひいては、現実の知覚を向上させ、必要に応じて、焦点レベルの物理的調節の前に、ある遠近調節の範囲を可能にし得る。
拡張現実構成における実世界144から生じる光が、スタック328および出力レンズ316のアセンブリによって、再合焦または拡大されないことを確実にするために、可変焦点補償レンズ314もまた、示される。レンズ(316、314)内の可変焦点は、前述のように、屈折、回折、または反射技法を用いて達成されてもよい。
別の実施形態では、スタック内の導波管の各々は、VFEが、図10の構成のスタック328内の中心である必要はないように、焦点を変化させるためのその独自の能力を含み得る(含まれた電子的に切替可能なDOEを有すること等によって)。
別の実施形態では、VFEは、スタックの導波管間にインタリーブされ(例えば、図10の実施形態におけるように、固定された焦点弱レンズではなく)、固定された焦点弱レンズとスタック全体の再合焦可変合焦要素の組み合わせの必要性を排除してもよい。そのようなスタック構成は、本明細書に説明されるような遠近調節追跡変形例において、また、フレーム順次多焦点ディスプレイアプローチにおいて使用されてもよい。
光が1/2mm直径またはそれ未満等の小射出瞳を伴う瞳に入射する、構成では、ビームが、常時、眼/脳によって合焦していると解釈される、ピンホールレンズ構成の均等物を有する。例えば、走査光ディスプレイは、0.5mm直径ビームを使用して、画像を眼に走査する。そのような構成は、マクスウェル視構成として知られ、一実施形態では、遠近調節追跡入力が、ソフトウェアを使用して、遠近調節追跡から決定された焦点面の背面または正面の焦点面として知覚されるべき画像情報にぼかしを誘発するために利用されてもよい。言い換えると、マクスウェル視を提示するディスプレイから開始する場合、全てのものが、理論的に合焦され得る。豊かであって、かつ自然な3次元知覚を提供するために、シミュレートされた光屈折ぼけが、ソフトウェアを用いて誘発されてもよく、遠近調節追跡ステータスに従動されてもよい。
一実施形態では、走査ファイバディスプレイは、小径ビームのみをマクスウェル形態において出力するように構成され得るため、そのような構成に非常に好適である。別の実施形態では、小射出瞳のアレイが、1つ以上の走査ファイバディスプレイによって等、システムの機能的アイボックスを増加させる(また、眼の硝子体または角膜内に存在し得る、光遮断粒子の影響を低減させる)ために作成されてもよい。または、これは、1つのみが任意の所与の時間で解剖学的ユーザの瞳孔に衝突することを確実にする、提示される射出瞳のアレイ内のピッチを用いて(例えば、平均的解剖学的瞳孔径が4mmである場合、一構成は、約4mm間隔離して離間される、1/2mm射出瞳を備えてもよい)、図8Kを参照して説明されるもの等のDOE構成を通して達成されてもよい。
そのような射出瞳はまた、眼が、常時、1つであって、かつ1つのみである、活性小射出瞳のみを1度に受容し、より密度の高い射出瞳のアレイを可能にするように、眼の位置に応答して、切替可能であってもよい。そのようなユーザは、ソフトウェアベースのぼかし技法が知覚される深度知覚を向上させるために追加され得る、大焦点深度を有するであろう。
前述のように、光学無限遠におけるオブジェクトは、実質的に平面波面を作成する。眼から1m等、より近いオブジェクトは、湾曲波面(約1m凸面曲率半径を伴う)を作成する。眼の光学系は、光線が網膜上に合焦される(凸面波面は、凹面に変えられ、次いで、網膜上の焦点に至る)ように、光の入射光線を混成させるために十分な屈折力を保有することが要求されることを理解されたい。これらは、眼の基本機能である。
前述の実施形態の多くでは、眼に指向される光は、1つの連続波面の一部として取り扱われ、その一部の下位集合が、特定の眼の瞳孔に衝突するであろう。別のアプローチでは、眼に指向される光は、ビームレットまたは光線の凝集体とともに機能的に作成され得る、より大きな凝集波面の一部として、それぞれ、直径約0.5mm未満および一意の伝搬経路を有する、複数のビームレットまたは個々の光線に効果的に離散化もしくは分割されてもよい。例えば、湾曲波面は、それぞれ、適切な角度から眼に接近し、原点を表す、複数の離散する近隣のコリメートされたビームを凝集させることによって近似されてもよい。原点は、所望の凝集波面の曲率半径の中心に一致し得る。
ビームレットが、直径約0.5mmまたはそれ未満を有するとき、本構成は、ピンホールレンズ構成に類似する。言い換えると、各個々のビームレットが、常時、眼の遠近調節状態から独立して、網膜上の相対焦点内にあるが、しかしながら、各ビームレットの軌道が、遠近調節状態によって影響されるであろう。例えば、ビームレットが、眼に平行に接近し、離散化されたコリメートされた凝集波面を表す場合、無限遠に正しく遠近調節される眼は、ビームレットを偏向させ、網膜上の同一共有スポットに収束させ、合焦して見えるであろう。眼が、例えば、1mに遠近調節する場合、ビームは、網膜の正面のスポットに収束され、経路を越え、網膜上の複数の近隣または部分的重複スポットに当たり、ぼけて見えるであろう。
ビームレットが、視認者から1メートルの共有原点を伴って、発散性構成において眼に接近する場合、1mの遠近調節は、ビームを網膜上の単一スポットに操向し、合焦して見えるであろう。視認者が、無限遠に遠近調節する場合、ビームレットは、網膜の背後のスポットに収束し、複数の近隣または部分的重複スポットを網膜上に生成し、ぼけた画像を生成するであろう。より一般的に述べると、眼の遠近調節は、網膜上のスポットの重複度を決定し、所与のピクセルは、スポットの全てが網膜上の同一スポットに指向されると、「合焦」し、スポットが相互からオフセットされると、「焦点ぼけ」となる。0.5mm直径またはそれ未満のビームレットが全て、常時、合焦し、ビームレットが、コヒーレント波面のように眼/脳によって知覚されるように凝集され得るという本概念は、快適な3次元仮想または拡張現実知覚のための構成を生成する際に利用されてもよい。
言い換えると、複数の狭ビームの集合が、より大きい直径可変焦点ビームを用いる際の状態を模倣するために使用されてもよい。ビームレット径が、最大約0.5mmに保たれる場合、比較的に静的焦点レベルを維持され得る。所望に応じて、焦点がずれた知覚を生成するために、ビームレット角度軌道が、より大きい焦点ずれビームに類似する効果を作成するように選択されてもよい(そのような焦点ぼけ処理は、より大きいビームに対するようなガウスぼかし処理と同一ではない場合があるが、ガウスぼかしと類似方式で解釈され得る、多峰性点拡がり関数を作成するであろう)。
好ましい実施形態では、ビームレットは、本凝集焦点効果を形成するように機械的に偏向されず、むしろ、眼が、ビームレットが瞳孔を交差する多数の入射角度および多数の場所の両方を含む、多くのビームレットの上位集合を受光する。特定の視認距離からの所与のピクセルを表すために、適切な入射角度および瞳孔との交差点を備えている、上位集合からのビームレットの下位集合(空間内の同一共有原点から放出されているかのように)が、凝集波面を表すために、一致する色および強度でオンにされる一方、共有原点と一貫しない上位集合内のビームレットは、その色および強度でオンにされない(但し、そのうちの一部は、ある他の色および強度レベルでオンにされ、例えば、異なるピクセルを表し得る)。
図11Aを参照すると、多数の入射ビームレット(332)の各々は、離散化された波面ディスプレイ構成において、眼58に対して小射出瞳(330)を通して通過する。図11Bを参照すると、ビームレット(332)群の下位集合(334)が、一致する色および強度レベルで駆動され、同一のより大きいサイズの光線の一部であるかのように知覚され得る(太字サブ群(334)は、「凝集されたビーム」と見なされ得る)。この場合、ビームレットの下位集合は、相互に平行であって、光学無限遠(遠くの山から生じる光等)からのコリメートされた凝集ビームを表す。眼は、無限遠に遠近調節され、したがって、ビームレットの下位集合は、眼の角膜およびレンズによって偏向され、全て、実質的に網膜の同一場所に当たり、単一合焦ピクセルを構成するように知覚される。
図11Cは、眼58が、上から冠状式平面ビューで視認される場合、ユーザの眼58の視野の右側から生じる凝集されたコリメートビーム(336)を表す、別のビームレットの下位集合を示す。再び、眼は、無限遠に遠近調節されて示され、したがって、ビームレットは、網膜の同一スポットに当たり、ピクセルは、合焦して知覚される。対照的に、発散性光線扇として眼に到達している、異なるビームレットの下位集合が、選定される場合、それらのビームレットは、眼が遠近調節をその光線扇の幾何学的原点に一致する近点に偏移するまで、網膜上の同一場所に当たらない(かつ合焦して知覚されない)であろう。
ビームレットと眼の解剖学的瞳孔の交差点のパターン(例えば、射出瞳のパターン)に関して、交差点の点は、断面効率的六角形格子(例えば、図12Aに示されるように)または正方形格子もしくは他の2次元アレイ等の構成で編成されてもよい。さらに、3次元射出瞳のアレイだけではなく、時変射出瞳のアレイも作成されてもよい。
離散化された凝集波面は、付加的中間視認光学、連続空間光変調アレイ技法、または図8Kに関係して説明されるもの等の導波管技法を伴わずに、眼に直接光を投影するように、直接視野基板(眼鏡レンズ等)に結合される、視認光学、マイクロディスプレイ、またはマイクロプロジェクタアレイの射出瞳と光学的に共役して設置されるマイクロディスプレイまたはマイクロプロジェクタのアレイ等のいくつかの構成を使用して、作成されてもよい。
図12Aを参照すると、一実施形態では、明視野が、小型プロジェクタまたはディスプレイユニット(走査ファイバディスプレイ等)群を束化することによって作成されてもよい。図12Aは、例えば、7mm直径の六角形アレイを作成し得る、六角形格子投影束338を描写し、各ファイバディスプレイは、サブ画像(340)を出力する。そのようなアレイが、レンズ等の光学系を有する場合、アレイが眼の入射瞳と光学的に共役して設置されるように、その正面に設置され、これは、図12Bに示されるように、アレイの画像を眼の瞳孔に作成し、これは、本質的に、図11Aの実施形態と同一光学配列を提供する。
構成の小射出瞳の各々は、走査ファイバディスプレイ等の束338内の専用小型ディスプレイによって作成される。光学的に、六角形アレイ338全体が、解剖学的瞳孔45の中に真っすぐ位置付けられるかのようである。そのような実施形態は、異なるサブ画像を、多数の入射角度および眼の瞳孔との交差点を伴うビームレットの上位集合を備えている、眼のより大きい解剖学的入射瞳45内の異なる小射出瞳に推進するために使用されてもよい。別個のプロジェクタまたはディスプレイの各々は、サブ画像が、異なる光強度および色で駆動されるべき異なる光線の集合を引き出すために作成され得るように、若干異なる画像で駆動されてもよい。
一変形例では、厳密な画像共役が、図12Bの実施形態におけるように、作成されてもよく、アレイ338と瞳孔45との直接1/1マッピングが存在する。別の変形例では、間隔は、アレイと眼の瞳孔の共役マッピングを受信する代わりに、眼の瞳孔が、ある他の距離でアレイから光線を捕捉し得るように、アレイ内のディスプレイと光学系(図12Bにおけるレンズ(342))との間で変化されてもよい。そのような構成では、依然として、それを通して離散化された凝集波面表現が作成され得る、ビームの角度多様性を得るであろうが、どの光線をどの屈折力および強度で推進させるかの方法に関する算術計算は、より複雑になり得る(但し、一方で、そのような構成は、視認光学の観点からは、より単純と見なされ得る)。明視野画像捕捉に関わる算術計算が、これらの計算に活用されてもよい。
図13Aを参照すると、マイクロディスプレイまたはマイクロプロジェクタ346のアレイが、眼鏡フレーム等のフレーム(344)に結合され得る、別の明視野作成実施形態が、描写される。本構成は、眼58の正面に位置付けられてもよい。描写される構成は、非共役配列であって、大規模光学要素は、アレイ346のディスプレイ(例えば、走査ファイバディスプレイ)と眼58との間に介在されない。一対の眼鏡があって、眼鏡表面に直交して位置付けられ、ユーザの瞳孔を指すように全て内向きに角度付けられた、走査ファイバエンジン等の複数のディスプレイが、それらの眼鏡に結合されていると想像されたい。各ディスプレイは、ビームレット上位集合の異なる要素を表す光線の集合を作成するように構成されてもよい。
そのような構成では、解剖学的瞳孔45において、ユーザは、図11Aを参照して論じられる実施形態において受容されるような類似結果を受容してもよく、ユーザの瞳孔における全ての点が、異なるディスプレイから寄与されている多数の入射角度および交差点を伴う光線を受光する。図13Bは、図13Aのものに類似する非共役構成を図示するが、図13Bの実施形態は、眼58の視野から離れるようなディスプレイアレイ346の移動を促進する一方、また、反射表面(348)を通した実世界144のビューも可能にする、反射表面(348)を特徴とする。
したがって、離散化された凝集波面ディスプレイのために必要な角度多様性を作成するための別の構成が、提示される。そのような構成を最適化するために、ディスプレイのサイズは、最大まで減少されてもよい。ディスプレイとして利用され得る、走査ファイバディスプレイは、1mmの範囲内のベースライン直径を有してもよいが、封入体および投影レンズハードウェアの縮小は、そのようなディスプレイの直径を約0.5mmまたはそれ未満まで減少させ得、これは、ユーザを殆ど妨害しない。別の小型化による幾何学的精緻化は、ファイバ走査ディスプレイアレイの場合、直接、コリメートレンズ(例えば、勾配屈折率を備え得る、すなわち、「GRIN」レンズ、従来の湾曲レンズ、または回折レンズ)を走査ファイバ自体の先端に結合することによって達成されてもよい。例えば、図13Dを参照すると、GRINレンズ(354)が、単一モード光ファイバの端部に融合されて示される。圧電アクチュエータ等のアクチュエータ350が、ファイバ352に結合されてもよく、ファイバ先端を走査するために使用されてもよい。
別の実施形態では、ファイバの端部は、光ファイバの湾曲研磨処理を使用して半球状形状に成形され、レンズ効果を作成してもよい。別の実施形態では、標準的屈折レンズが、接着剤を使用して、各光ファイバの端部に結合されてもよい。別の実施形態では、レンズは、エポキシ等の少量の透過性ポリマー材料またはガラスから構築されてもよい。別の実施形態では、光ファイバの端部は、溶融され、レンズ効果のための湾曲表面を作成してもよい。
図13C-2は、図13Dに示されるもの等のディスプレイ構成(例えば、図13C-1の拡大図に示される、GRINレンズを伴う走査ファイバディスプレイ)が、好ましくは、ファイバ自体が、描写されるアセンブリを横断して外界の視認のために実質的に可視ではないように、光ファイバ352のクラッディングに厳密に一致する屈折率を有する、単一透明基板356を通してともに結合され得る、実施形態を示す。クラッディングの屈折率整合が精密に行われる場合、より大きいクラッディング/筐体は、透明となり、好ましくは、約3ミクロンの直径の小コアのみ、ビューを妨害するであろうことを理解されたい。一実施形態では、ディスプレイのマトリクス358は全て、内向きに角度付けられ、したがって、ユーザの解剖学的瞳孔に向かって指向されてもよい(別の実施形態では、相互に平行に留まってもよいが、そのような構成は、あまり効率的ではない)。
図13Eを参照すると、円形ファイバを使用して、周期的に移動するのではなく、薄型の一連の平面導波管(358)が、より大きい基板構造356に対して片持ち支持されるように構成される、別の実施形態が、描写される。一変形例では、基板356は、基板構造に対して平面導波管の周期的運動を生成するように移動されてもよい(例えば、片持ち支持される部材358の共振周波数において)。別の変形例では、片持ち支持される導波管部分358は、基板に対して圧電または他のアクチュエータとともに作動されてもよい。画像照射情報が、例えば、片持ち支持される導波管部分(358)の中に結合される基板構造の右側(360)から投入されてもよい。一実施形態では、基板356は、入射光360をその長さに沿って全内部反射させ、次いで、それを片持ち支持される導波管部分358に再指向するように構成される(前述のように、統合されたDOE構成等を用いて)、導波管を備えてもよい。人が、片持ち支持される導波管部分(358)に向かって、背後の実世界144を通して注視する際、平面導波管は、その平面形状因子を用いて、任意の分散および/または焦点変化を最小限にするように構成される。
離散化された凝集波面ディスプレイの文脈では、眼の射出瞳内の全ての点のためにある程度の角度多様性をもたせることに重きが置かれ得る。言い換えると、各ピクセルを表示される画像内に表すために、複数の入射ビームを有することが望ましい。図13F-1および13F-2を参照すると、さらなる角度および空間多様性を得るためのアプローチの1つは、マルチコアファイバを使用して、GRINレンズ等のレンズを出射点に設置することである。これは、出射ビームを単一節点366を通して偏向させ得る。本節点366は、次いで、走査ファイバタイプの配列において往復走査され得る(圧電アクチュエータ368等によって)。網膜共役点が、GRINレンズの端部に定義された平面に設置される場合、ディスプレイは、前述の一般的場合の離散化された凝集波面構成と機能的均等物となるように作成されてもよい。
図13Gを参照すると、ビームのより高い角度および空間多様性をもたらすために、類似効果が、レンズを使用してではなく、光学系372の正しい共役点においてマルチコアシステムの面を走査することによって達成されてもよい。言い換えると、(前述の図12Aの束状実施例に示されるように)、複数の別個の走査ファイバディスプレイの束を有するのではなく、本必要角度および空間多様性の一部は、導波管によって中継され得る平面を作成するための複数のコアの使用を通してもたらされてもよい。図13Hを参照すると、マルチコアファイバ362は、導波管370によって眼58に中継され得る、多数の入射角度および交差点を伴うビームレットの集合を作成するように走査されてもよい(圧電アクチュエータ368によって等)。したがって、一実施形態では、コリメートされた明視野画像は、明視野ディスプレイが、直接、ヒトの眼に変換され得るように、任意の付加的再合焦要素を伴わずに、導波管の中に投入されてもよい。
図13I-13Lは、長方形断面を伴う一変形例363と、平坦出射面372および角度付けられた出射面374を伴う変形例とを含む、(Mitsubishi Cable
Industries, Ltd.(日本)等の供給業者からの)ある市販のマルチコアファイバ362の構成を描写する。
Industries, Ltd.(日本)等の供給業者からの)ある市販のマルチコアファイバ362の構成を描写する。
図13Mを参照すると、ある程度の付加的角度多様性が、走査ファイバディスプレイ等のディスプレイ378の線形アレイが供給された導波管376を有することによってもたらされてもよい。
図14A-14Fを参照すると、固定された視点の明視野ディスプレイを作成するための別の構成群が、説明される。図11Aに戻って参照すると、2次元平面が、左側から生じる小ビームの全てを交差するように作成される場合、各ビームレットは、その平面とのある交差点を有するであろう。別の平面が、左側に異なる距離で作成される場合、ビームレットは全て、異なる場所でその平面に交差するであろう。次いで、図14Aに戻って参照すると、2つまたはそれを上回る平面のそれぞれ上の種々の位置が、それを通して指向される光放射を選択的に伝送または遮断することを可能にされることができる場合、そのような多平面構成は、独立して、個々のビームレットを変調させることによって、明視野を選択的に作成するために利用されてもよい。
図14Aの基本実施形態は、液晶ディスプレイパネル(380、382)等の2つの空間光変調器を示す。他の実施形態では、空間光変調器は、MEMSシャッタディスプレイまたはDLP DMDアレイであってもよい。空間光変調器は、独立して、高分解能ベースで異なる光線を遮断または伝送するように制御されてもよい。例えば、図14Aを参照すると、第2のパネル382が、点「a」384において、光線の伝送を遮断または減衰させる場合、描写される光線は全て、遮断されるであろう。しかしながら、第1のパネル380のみが、点「b」386において、光線の伝送を遮断または減衰させる場合、より低い入射光線388のみ、遮断/減衰されるであろう一方、残りは、瞳孔45に向かって伝送されるであろう。
制御可能パネルまたは平面の各々は、「空間光変調器」または「fatte」と見なされ得る。一連のSLMを通して通過される各伝送ビームの強度は、種々のSLMアレイ内の種々のピクセルの透明度の組み合わせの関数となるであろう。したがって、任意の種類のレンズ要素を伴わずに、多数の角度および交差点を伴うビームレットの集合(または「明視野」)が、複数のスタックされたSLMを使用して作成されてもよい。2つを超える付加的数のSLMは、どのビームが選択的に減衰されるかを制御するためのより多くの機会を提供する。
前述で簡単に述べられたように、SLMとしてスタックされた液晶ディスプレイの使用に加え、DLPシステムからのDMDデバイスの平面は、SLMとして機能するようにスタックされてもよい。1つ以上の実施形態では、それらは、光をより効率的に通過させるその能力に起因して、SLMとしての液晶システムより好ましくあり得る(例えば、鏡要素が第1の状態にあると、眼に向かう途中の次の要素に対する反射率は、非常に効率的となり得、鏡要素が第2の状態にあると、鏡の角度が、12度等の角度だけ移動され、光を経路から眼まで指向し得る)。
図14Bを参照すると、一DMD実施形態では、2つのDMD(390、390)が、潜望鏡タイプの構成において、一対のレンズ(394、396)と直列に利用され、実世界144からユーザの眼58への多量の光の伝送を維持してもよい。図14Cの実施形態は、6つの異なるDMD(402、404、406、408、410、412)平面に、ビーム制御のための2つのレンズ(398、400)とともに、ビームが眼58に経路指定されるにつれて、SLM機能性を引き継ぐ機会を提供する。
図14Dは、SLM機能性のための最大4つのDMD(422、424、426、428)と、4つのレンズ(414、420、416、418)とを伴う、より複雑な潜望鏡タイプ配列を図示する。本構成は、画像が眼58を通して進行するにつれて、上下逆に反転されないことを確実にするように設計される。図14Eは、ディスプレイが、「鏡の間」を通して視認され、図14Aに図示されるものに実質的に類似するモードで動作し得る、鏡の間タイプの配列において、任意の介在レンズ(前述の設計におけるレンズは、実世界からの画像情報を組み込むためのそのような構成において有用である)を伴わずに、光が2つの異なるDMDデバイス(430、432)間で反射され得る、実施形態を図示する。
図14Fは、2つの対面DMDチップ(434、436)の非ディスプレイ部分が、反射層で被覆され、DMDチップの活性ディスプレイ領域(438、440)へおよびそこから光を伝搬し得る、実施形態を図示する。他の実施形態では、SLM機能性のためのDMDの代わりに、スライド式MEMSシャッタ(Qualcomm, Inc.の子会社であるPixtronics等の供給業者から利用可能なもの等)のアレイが、光の通過または遮断のいずれかを行うために利用されてもよい。別の実施形態では、定位置外に移動し、光伝送開口を提示する、小型ルーバのアレイも同様に、SLM機能性のために凝集されてもよい。
多くの小ビームレット(例えば、約0.5mm未満の直径)の明視野が、導波管または他の光学系の中に投入され、それを通して伝搬されてもよい。例えば、従来の「水盤」タイプの光学系は、以下に説明されるように、明視野入力、または自由形状光学設計、または任意の数の導波管構成の光の伝達のために好適であり得る。
図15A-15Cは、明視野を作成する際に有用な別の構成として、複数の光源とともに、楔タイプ導波管442の使用を図示する。図15Aを参照すると、光は、2つの異なる場所/ディスプレイ(444、446)からの楔形状の導波管442の中に投入され得、導波管の中への投入点に基づいて、異なる角度448で楔形状の導波管の全内部反射特性に従って出現するであろう。
図15Bを参照すると、ディスプレイ(走査ファイバディスプレイ等)の線形アレイ450が作成され、示されるように導波管の端部の中に投影する場合、ビーム452の大角度多様性が、図15Cに示されるように、1次元において導波管から出射するであろう。実際、導波管の端部の中に投入するディスプレイのさらに別の線形アレイが、追加されるが、但し、若干異なる角度である場合、図15Cに示される扇状出射パターンに類似するが、但し、直交軸において、出射する、ビームの角度多様性が、作成され得る。ともにこれらのビームは、導波管の各場所から出射する光線の2次元扇を作成するために利用されてもよい。したがって、別の構成は、1つ以上の走査ファイバディスプレイアレイを使用して(または代替として、小型DLP投影構成等の空間要件を満たすであろう、他のディスプレイを使用して)、角度多様性をもたらし、明視野ディスプレイを形成するために提示される。
代替として、本明細書に示される楔形状の導波管への入力として、SLMデバイスのスタックが、利用されてもよい。本実施形態では、前述のように、SLM出力の直接ビューではなく、SLM構成からの明視野出力が、図15Cに示されるもの等の構成への入力として使用されてもよい。従来の導波管が、小径コリメートビームの明視野を伴う、コリメートされた光のビームの中継を成功させるために最も好適であるが、従来の導波管技術が、ビームサイズ/コリメートに起因して、楔形状の導波管等の導波管の側方に投入されるにつれて、そのような明視野システムの出力をさらに操作するために利用され得ることを理解されたい。
別の関連実施形態では、複数の別個のディスプレイを用いて投影するのではなく、マルチコアファイバは、明視野を生成させ、それを導波管の中に投入するために使用されてもよい。さらに、明視野から生じるビームレットの静的分布を作成するのではなく、ビームの集合の経路を方法論的に変化させる、動的要素もまた導入され得るように、時変明視野が、入力として利用されてもよい。これは、2つの光学経路が、作成される、DOE(例えば、図8B-8Nを参照して前述のもの、または図7Bを参照して説明されるような液晶層等)が埋め込まれた導波管等の構成要素を使用して遂行されてもよい。
1つの経路は、液晶層が、第1の電圧状態に設置され、他の基板材料の導波管のみを辿って全内部反射を生じさせるように、他の基板材料と一致する屈折率を有する、より小さい全内部反射経路である。別の経路は、液晶層が、第2の電圧状態に設置され、光が、液晶部分および他の基板部分の両方を含む、複合導波管を通して全内部反射するように、他の基板材料と一致する屈折率を有する、より大きい全内部反射光学経路である。
同様に、楔形状の導波管は、二峰性全内部反射パラダイムを有するように構成されてもよい。例えば、一変形例では、楔形状の要素は、液晶部分が活性化されると、間隔のみではなく、ビームが反射される角度も変化されるように構成されてもよい。
走査光ディスプレイの一実施形態は、単に、走査ファイバの端部にレンズを伴う走査ファイバディスプレイとして特徴付けられてもよい。GRINレンズ等の多くのレンズ変形例が、好適であって、光をコリメートする、またはファイバのモードフィールド径より小さいスポットまで光を合焦させ、開口数(または「NA」)増加を生成する利点を提供し、スポットサイズと逆相関する、光学不変量を回避するために使用されてもよい。
より小さいスポットサイズは、概して、ディスプレイの観点から、より高い分解能機会を促進し、概して、好ましい。一実施形態では、GRINレンズは、振動要素を備え得る(例えば、走査ファイバディスプレイを伴う通常の遠位ファイバ先端振動ではなく)ファイバに対して、十分な長さであってもよい。
別の実施形態では、回折レンズが、走査ファイバディスプレイの出射端で利用されてもよい(例えば、ファイバ上にパターン化される)。別の実施形態では、湾曲鏡が、ファイバの端部に位置付けられ、反射構成で動作してもよい。本質的に、ビームをコリメートおよび合焦させることが知られている構成のいずれも、好適な走査光ディスプレイを生成するために、走査ファイバの端部で使用されてもよい。
走査ファイバの端部に結合される、またはそれを備えている、レンズを有することの2つの有意な有用性(例えば、非結合レンズが、ファイバから出射後、光を指向するために利用され得る、構成と比較して)は、(a)光出射が、コリメートされ、それを行うための他の外部光学を使用する必要性を回避し得ることと、(b)NA、すなわち、光が単一モードファイバコアの端部から広がる円錐角が、増加され、それによって、ファイバのための関連付けられたスポットサイズを減少させ、ディスプレイのために利用可能な分解能を増加させ得ることである。
前述のように、GRINレンズ等のレンズは、光ファイバの端部に融合もしくは別様に結合される、または研磨等の技法を使用して、ファイバの端部の一部から形成されてもよい。一実施形態では、NA約0.13または0.14を伴う典型的光ファイバは、約3ミクロンのスポットサイズ(開口数(NA)を前提として、光ファイバのための「モードフィールド径」としても知られる)を有し得る。これは、産業標準的ディスプレイ分解能パラダイムを前提として、比較的に高分解能のディスプレイの可能性を提供する(例えば、LCDまたは有機発光ダイオード、すなわち、「OLED」等の典型的マイクロディスプレイ技術は、スポットサイズ約5ミクロンを有する)。したがって、前述の走査光ディスプレイは、従来のディスプレイで利用可能な最小ピクセルピッチの3/5を有し得る。さらに、ファイバの端部にレンズを使用することによって、前述の構成は、1~2ミクロンの範囲内のスポットサイズを生成し得る。
別の実施形態では、走査円筒形ファイバを使用するのではなく、導波管(延伸マイクロファイバ技法ではなく、マスキングおよびエッチング等のマイクロ加工プロセスを使用して作成された導波管等)の片持ち支持される部分が、走査発振運動の中に設置されてもよく、出射端でレンズと嵌合されてもよい。
別の実施形態では、走査されるべきファイバのための開口数の増加が、ファイバの出射端を被覆する、拡散器(例えば、光を散乱させ、より大きいNAを作成するように構成されるもの)を使用してもたらされてもよい。一変形例では、拡散器は、ファイバの端部をエッチングし、光を散乱させる小領域を作成することによって作成されてもよい。別の変形例では、ビーズもしくはサンドブラスト技法または直接サンディング/スカッフィング技法が、散乱領域を作成するために利用されてもよい。さらに別の変形例では、工学的拡散器が、回折要素と同様に、望ましいNAを伴う完全スポットサイズを維持するために作成されてもよい。
図16Aを参照すると、光ファイバのアレイ454が、その端部が、研削および研磨され、入力ファイバの縦方向軸に対する臨界角(458;例えば、大部分のガラスでは、42度)に出力縁を有し、角度付けられた面から出射する光が、プリズムを通して通過されるかのように出射し、屈曲し、研磨された面の表面と略平行になるであろうように、それらをともに平行に保持するように構成される、結合器456に結合されて示される。束内のファイバ460から出射するビームは、重畳されるであろうが、異なる経路長に起因して、縦方向に位相がずれるであろう(図16Bを参照すると、例えば、異なるコアに対する角度付けられた出射面から合焦レンズまでの経路長の差が、可視である)。
角度付けられた面から出射する前の束内のX軸タイプの分離は、Z軸分離となる。この事実は、そのような構成から多焦点光源を作成する際に有用である。別の実施形態では、束状/結合された複数の単一モードファイバを使用するのではなく、Mitsubishi CableIndustries, Ltd.(日本)から利用可能なもの等のマルチコアファイバが、角度研磨されてもよい。
一実施形態では、45度の角度が、鏡コーティング等の反射要素で被覆されたファイバの中に研磨される場合、出射光は、ファイバが走査されるにつれて、走査の過程の間の距離の変化に伴って、X-Y走査ではなく、X-Y走査の均等物において機能的に走査されるように、研磨された表面から反射され、ファイバの側面から(一実施形態では、平坦に研磨された出射窓がファイバの側面に作成された場所において)出現し得る。そのような構成は、ディスプレイの焦点を変化させるためにも同様に有益に利用され得る。
マルチコアファイバは、ディスプレイ分解能向上(例えば、より高い分解能)に役割を果たすように構成されてもよい。例えば、一実施形態では、別個のピクセルデータが、マルチコアファイバ内の19のコアの密束に送信され、そのクラスタが、低密度な渦巻パターンの周囲で走査され、渦間のピッチが、マルチコアの直径にほぼ等しい場合、掃引が、同様に走査される単一コアファイバの分解能の約19倍のディスプレイ分解能を効果的に作成する。実際、7つのクラスタ464を有する、図16Cの構成におけるように、ファイバを相互に対してより低密度に配列することは、より実践的であり得る。7つのクラスタは、効率的タイルディスプレイ/六角形パターンであるため、例証目的のために使用され、他のパターンまたは数も、利用されてもよい(例えば、19のクラスタ)ことを理解されたい。それぞれ、導管462内に格納される、3つのファイバの構成は、スケールアップまたはダウンされる。
図16Cに示されるような低密度な構成では、マルチコアの走査は、コアが全て、ともに緊密に充塞され、走査される構成とは対照的に、その独自のローカル領域を通して、コアのそれぞれを走査する。コアは、コアが、過度に相互に近接する場合、走査と重複し得、コアのNAは、十分に大きくはなく、非常に密接に充塞されたコアは、相互にぼけさせ、それによって、識別可能であるように、ディスプレイのためのスポットを作成しない。したがって、分解能増加のために、低密度なタイルディスプレイではなく、非常に高密度のタイルディスプレイを有することが好ましいが、両アプローチとも、利用されてもよい。
高密度に充塞された走査コアは、一実施形態では、ディスプレイにぼかしを作成し得るという概念は、各三連構造が、赤色、緑色、および青色光を特徴とする重複されたスポットの三連構造を形成するように、複数のコア(例えば、赤色、緑色、および青色光を搬送するための三連構造またはコア)が、意図的にともに高密度に充塞され得る、利点として利用されてもよい。そのような構成では、赤色、緑色、および青色を単一モードコアの中に組み合わせる必要なく、RGBディスプレイを有することが可能であって、これは、光の複数(3つ等)のウェーブレットを単一コアの中に組み合わせるための従来の機構が、光学エネルギー中の有意な損失を被るため、利点である。
図16Cを参照すると、一実施形態では、3つのファイバコアの各緊密なクラスタは、赤色光を中継する1つのコアと、緑色光を中継する1つのコアと、青色光を中継する1つのコアとを含み、3つのファイバコアは、その位置差が後続中継光学によって分解可能ではないように十分にともに近接し、効果的に重畳されたRGBピクセルを形成する。したがって、7つのクラスタの低密度なタイルディスプレイは、分解能向上をもたらす一方、クラスタ内の3つのコアの緊密な充塞は、見かけ倒しのRGBファイバコンバイナ(例えば、波長分割多重化またはエバネセント結合技法を使用するもの)を利用する必要なく、シームレスな色混成を促進する。
図16Dを参照すると、別のより単純な変形例では、1つのみのクラスタ464が、例えば、赤色/緑色/青色のための導管468内に格納されてもよい(別の実施形態では、別のコアが、眼追跡等の使用のための赤外線のために追加されてもよい)。別の実施形態では、付加的コアが、緊密なクラスタ内に設置され、付加的波長の光を搬送し、色域増加のために、複数の一次ディスプレイを構成してもよい。
図16Eを参照すると、別の実施形態では、導管466内の単一コア470の低密度なアレイ(一変形例では、赤色、緑色、および青色が、それらの各々に組み合わせられる)が、利用されてもよい。そのような構成は、分解能増加のためにそれほど効果的ではないものの機能可能であるが、赤色/緑色/青色の組み合わせに最適ではない。
マルチコアファイバはまた、明視野ディスプレイを作成するために利用されてもよい。実際、コアが、明視野ディスプレイを用いて、走査光ディスプレイを作成する文脈に前述のように、ディスプレイパネルにおいて相互のローカル面積を走査しないように、コアを相互から十分に分離させて維持するのではなく、高密度に充塞された複数のファイバを走査することが望ましくあり得る。これは、生成されるビームがそれぞれ、明視野の具体的部分を表すためである。束状ファイバ先端から出射する光は、ファイバが小NAを有する場合、比較的に狭小であり得る。
明視野構成は、これを利用し、解剖学的瞳孔において、複数の若干異なるビームがアレイから受光される、構成を利用してもよい。したがって、単一走査ファイバモジュールのアレイの機能的均等物である、マルチコアの走査を伴う、光学構成が存在し、したがって、明視野は、単一モードファイバ群を走査するのではなく、マルチコアを走査することによって作成されてもよい。
一実施形態では、マルチコア位相アレイアプローチが大射出瞳可変波面構成を作成し、3次元知覚を促進するように使用されてもよい。位相変調器を伴う単一レーザ構成が、前述されている。マルチコア実施形態では、位相遅延が、単一レーザの光が、相互コヒーレンスが存在するように、マルチコア構成のコアの全ての中に投入されるように、マルチコアファイバの異なるチャネルの中に誘発されてもよい。
一実施形態では、マルチコアファイバは、GRINレンズ等のレンズと組み合わせられてもよい。そのようなレンズは、例えば、屈折レンズ、回折レンズ、またはレンズとして機能する研磨された縁であってもよい。レンズは、単一光学表面であってもよく、または上方にスタックされた複数の光学表面を備えてもよい。実際、マルチコアの直径を拡大する単一レンズを有することに加え、より小さいレンズレットアレイが、例えば、マルチコアのコアからの光の出射点において望ましくあり得る。図16Fは、マルチコアファイバ470が、複数のビームをGRINレンズ等のレンズ472の中に放出する、実施形態を示す。レンズは、ビームをレンズの正面の空間内の焦点474にまとめる。多くの従来の構成では、マルチコアファイバから出射するビームは、発散し得る。GRINまたは他のレンズは、コリメートされた結果が、例えば、明視野ディスプレイのために走査され得るように、それらを単一点に指向し、それらをコリメートするよう機能するように構成される。
図16Gを参照すると、より小さいレンズ478が、マルチコア476構成のコアのそれぞれの正面に設置されてもよく、これらのレンズは、光線をコリメートするために利用されてもよい。加えて、共有レンズ480が、コリメートされたビームを、3つのスポットの全てのために整合される、回折限界スポット482に合焦させるように構成されてもよい。3つのコリメートされた狭ビームと狭NAをともに組み合わせことによって、示されるように全3つをはるかに大きい放出角度に効果的に組み合わせ、例えば、頭部搭載式光学ディスプレイシステム内でより小さいスポットサイズに変換する。
図16Hを参照すると、一実施形態は、個々のコアによって生成されるビームを共通点に偏向させる小プリズムアレイ484に光を供給する、レンズレット478アレイを伴う、マルチコアファイバ476を特徴とする。代替として、光が単一点に偏向および合焦されるように、小レンズレットアレイをコアに対して偏移させてもよい。そのような構成は、NAを増加させるために利用されてもよい。
図16Iを参照すると、マルチコアファイバ476から光を捕捉する小レンズレット478アレイに続いて、順次、共有レンズ486による、ビームの単一点488への合焦を伴う、2ステップ構成が、示される。そのような構成は、開口数を増加させるために利用されてもよい。前述のように、より大きいNAは、より小さいピクセルサイズおよびより高い可能性として考えられるディスプレイ分解能に対応する。
図16Jを参照すると、前述のもの等の結合器456とともに保持され得る、斜角が付けられたファイバアレイが、DLPシステムのDMDモジュール等の反射デバイス494を用いて走査されてもよい。複数の単一ファイバ454が、アレイ、または代わりに、マルチコアの中に結合されると、重畳された光は、1つ以上の合焦レンズ(490、492)を通して指向され、多焦点ビームを作成することができる。アレイの重畳および角度付けを用いることによって、異なる源が、合焦レンズから異なる距離に存在し、レンズ492から出現し、ユーザの眼58の網膜54に向かって指向されるにつれて、ビームに異なる焦点レベルをもたらす。例えば、最も遠い光学ルート/ビームは、光学無限遠焦点位置を表す、コリメートされたビームとなるように設定され得る。より近いルート/ビームは、より近い焦点場所の発散性球状波面に関連付けられ得る。
多焦点ビームは、一連の合焦レンズを通して、次いで、眼の角膜および水晶体を通過され得る、多焦点ビームのラスター走査(または、例えば、リサジュー曲線走査パターンもしくは渦巻走査パターン)を作成するように構成され得る、走査鏡の中に通過されてもよい。レンズから出現する種々のビームは、重畳される可変焦点距離の異なるピクセルまたはボクセルを作成する。
一実施形態では、フロントエンドにおいて、異なるデータを光変調チャネルの各々に書き込み、それによって、1つ以上の合焦要素を用いて眼に投影される画像を作成してもよい。水晶体の焦点距離を変化させることによって(例えば、遠近調節することによって)、水晶体が異なるZ軸位置にある、図16Kおよび16Lに示されるように、異なる入射ピクセルは、合焦および合焦解除され得る。
別の実施形態では、ファイバアレイは、圧電アクチュエータによって、作動/移動されてもよい。別の実施形態では、比較的に薄いリボンアレイが、圧電アクチュエータが活性化されると、アレイファイバの配列と垂直な軸に沿って(例えば、リボンの薄い方向に)、片持ち支持された形態で共振されてもよい。一変形例では、別個の圧電アクチュエータが、直交長軸において、振動走査をもたらすために利用されてもよい。別の実施形態では、単一鏡軸走査が、ファイバリボンが共振振動される間、長軸に沿った低速走査のために採用されてもよい。
図16Mを参照すると、走査ファイバディスプレイ498のアレイ496が、効果的分解能増加のために有益に束化/タイル表示され得る。そのような構成では、例えば、図16Nに示されるように、束の各走査ファイバが、画像平面500の異なる部分に書き込むように構成されることが予測される。図16Nを参照すると、画像平面の各部分が少なくとも1つの束からの放出によってアドレス指定される。他の実施形態では、光学構成が、ディスプレイ平面に衝突する六角形または他の格子パターン内にある程度の重複が存在するように、ビームが光ファイバから出射するにつれて、ビームの若干の拡大を可能にするために利用されてもよい。これは、適正な小スポットサイズもまた画像平面に維持しつつ、その画像平面にわずかな拡大を維持しながら、より優れた曲線因子を可能にし得る。
個々のレンズを各走査ファイバ封入体筐体の端部で利用するのではなく、一実施形態では、レンズが、可能な限り密接に配列され得るように、モノリシックレンズレットアレイが、利用されてもよい。これは、光学系内でより低い倍率量を使用し得るため、画像平面にさらにより小さいスポットサイズを可能にする。したがって、各エンジンが視野の異なる部分を走査するために使用されているため、ファイバ走査ディスプレイのアレイは、ディスプレイの分解能を増加させるために使用されてもよく、または言い換えると、ディスプレイの視野を増加させるために使用されてもよい。
明視野構成のために、放出は、より望ましくは、画像平面において重複され得る。一実施形態では、明視野ディスプレイは、空間内で走査される複数の小径ファイバを使用して作成されてもよい。例えば、前述のように、ファイバの全てに画像平面の異なる部分をアドレス指定させる代わりに、構成は、より多くの重複(例えば、内向きに角度付けられたより多くのファイバ等)を可能にしてもよい。または、別の実施形態では、小スポットサイズがタイル表示された画像平面構成と共役しないように、レンズの焦点力が、変化されてもよい。そのような構成は、同一物理的空間内で傍受される複数のより小さい直径の光線を走査するための明視野ディスプレイを作成するために使用されてもよい。
図12Bに戻って参照すると、明視野ディスプレイを作成する方法の1つとして、左側の要素の出力を狭ビームとコリメートさせ、次いで、投影アレイを右側の眼の瞳孔と共役させることを伴うことが論じられた。
図16Oを参照すると、共通基板ブロック502とともに、単一アクチュエータが、図13-C-1および13-C-2を参照して前述される構成に類似する、複数のファイバ506をともに連動して作動させるために利用されてもよい。ファイバ全てに、同一共振周波数を保たせる、相互に望ましい位相関係で振動させる、または基板ブロックから片持ち支持する同一寸法を有することは、実践的に困難であり得る。本課題に対処するために、ファイバの先端は、非常に薄く、剛性であって、かつ軽量のグラフェンシート等の格子またはシート504と機械的に結合されてもよい。そのような結合を用いることによって、アレイ全体が、同様に振動し、かつ同一位相関係を有し得る。別の実施形態では、カーボンナノチューブのマトリクスが、ファイバを結合するために利用されてもよく、または非常に薄い平面ガラス片(液晶ディスプレイパネルを作成する際に使用される種類等)が、ファイバ端に結合されてもよい。さらに、レーザまたは他の精度の切断デバイスが、全関連付けられたファイバを同一片持ち支持長に切断するために利用されてもよい。
図17を参照すると、一実施形態では、角膜と直接界面接触され、非常に近接する(角膜と眼鏡レンズとの間の典型的距離等)ディスプレイ上への眼の合焦を促進するように構成される、コンタクトレンズを有することが望ましくあり得る。光学レンズをコンタクトレンズとして設置するのではなく、一変形例では、レンズは、選択フィルタを備えてもよい。図17は、450nm(ピーク青色)、530nm(緑色)、および650nm等のある波長帯域のみを遮断し、概して、他の波長を通過または伝送させるためのその設計に起因する、プロット508または「ノッチフィルタ」を描写する。一実施形態では、誘電コーティングのいくつかの層は、凝集され、ノッチフィルタ機能性を提供してもよい。
そのようなフィルタ構成は、赤色、緑色、および青色のための非常に狭帯域の照射を生成する、走査ファイバディスプレイと結合されてもよく、ノッチフィルタを伴うコンタクトレンズは、透過性波長以外、ディスプレイ(通常眼鏡レンズによって占有される位置に搭載される、OLEDディスプレイ等の小型ディスプレイ等)から生じる光を全て遮断するであろう。
狭小ピンホールが、小開口(例えば、約1.5mm未満の直径)が、そうでなければ遮断される波長の通過を可能にするように、コンタクトレンズフィルタ層/フィルムの中央に作成されてもよい。したがって、赤色、緑色、および青色のみが、小型ディスプレイからの画像を取り込む一方、概して、広帯域照射である、実世界からの光が、比較的に妨害されずにコンタクトレンズを通して通過するであろう、ピンホール様式で機能する、ピンホールレンズ構成が、作成される。したがって、大焦点深度仮想ディスプレイ構成が、組み立てられ、動作され得る。別の実施形態では、導波管から出射するコリメートされた画像が、ピンホールの大焦点深度のため、網膜で可視となるであろう。
その焦点深度を経時的に変動させることができる、ディスプレイを作成することは、有用となり得る。例えば、一実施形態では、ディスプレイは、非常に大きな焦点深度と小射出瞳径を組み合わせる、第1のモード(例えば、全てのものが常時合焦されるように)と、より大きい射出瞳およびより狭い焦点深度を特徴とする、第2のモード等、オペレータによって選択され得る(好ましくは、オペレータのコマンドでその2つの間を迅速にトグルする)、異なるディスプレイモードを有するように構成されてもよい。
動作時、ユーザが、多くの被写界深度で知覚されるべきオブジェクトを伴う、3次元ビデオゲームをプレイしようとする場合、オペレータは、第1のモードを選択してもよい。代替として、ユーザが、2次元ワード処理ディスプレイ構成を使用して、長いエッセイをタイプしようとする場合(例えば、比較的に長期間の間)、より大きい射出瞳およびより鮮明な画像の利便性を有するために、第2のモードに切り替えることがより望ましくあり得る。
別の実施形態では、いくつかのサブ画像が、大焦点深度で提示される一方、他のサブ画像が、小焦点深度で提示される、多焦点深度ディスプレイ構成を有することが望ましくあり得る。例えば、一構成は、常時、合焦するように、赤色波長および青色波長チャネルを非常に小射出瞳で提示させてもよい。次いで、緑色チャネルのみ、複数の深度平面を伴う大射出瞳構成で提示されてもよい(例えば、ヒトの遠近調節システムは、焦点レベルを最適化するために、緑色波長を優先的に標的化する傾向があるため)。
したがって、赤色、緑色、および青色を全深度平面で表すためのあまりに多くの要素を含むことに関連付けられたコストを削減するために、緑色波長は、優先化され、種々の異なる波面レベルで表されてもよい。赤色および青色は、よりマクスウェル的アプローチで表されるように格下げされてもよい(マクスウェルディスプレイを参照して前述のように、ソフトウェアが、ガウスレベルのぼかしを誘発するために利用されてもよい)。そのようなディスプレイは、同時に、複数の焦点深度を提示するであろう。
前述のように、より高い密度の光センサを有する、網膜の部分がある。中心窩部分には、例えば、概して、約120錐体/視度が存在する。ディスプレイシステムは、従来、眼または注視追跡を入力として使用し、人がその時に注視している場所に基づいて、非常に高い分解能のレンダリングのみを作成することによって、計算リソースを節約するように作成されていた。しかしながら、より低い分解能のレンダリングが、網膜の残りに提示される。高対低分解能部分の場所は、「中心窩ディスプレイ」と称され得る、そのような構成では、追跡された注視場所に動的に従動され得る。
そのような構成における改良として、追跡された視線に動的に従動され得るパターン間隔を伴う、走査ファイバディスプレイが挙げられ得る。例えば、図18に示されるように、渦巻パターンで動作する典型的走査ファイバディスプレイでは(図18における画像の最左部分510は、走査マルチコアファイバ514の渦巻運動パターンを図示し、図18における画像の最右部分512は、比較のための走査単一ファイバ516の渦巻運動パターンを図示する)、一定パターンピッチが、均一ディスプレイ分解能を提供する。
中心窩ディスプレイ構成では、非均一走査ピッチが、検出される注視場所に動的に従動される、より小さい/より緊密なピッチ(したがって、より高い分解能)とともに利用されてもよい。例えば、ユーザの注視が、ディスプレイ画面の縁に向かって移動するにつれて検出される場合、渦巻は、そのような場所においてより高密度にクラスタ化されてもよく、これは、高分解能部分のためにトロイドタイプ走査パターンを作成し、ディスプレイの残りは、より低い分解能モードにあるであろう。間隙が、より低い分解能モードにあるディスプレイの部分において作成され得る構成では、ぼかしが、走査間ならびに高分解能からより低い分解能走査ピッチへの遷移間の遷移を平滑化するために意図的に動的に作成され得る。
用語「明視野」は、オブジェクトから視認者の眼に進行する光の立体3-D表現を説明するために使用され得る。しかしながら、光学透視ディスプレイは、光を眼に反射させることのみでき、光が不在ではない場合、実世界からの周囲光が、仮想オブジェクトを表す任意の光に追加されるであろう。すなわち、眼に提示される仮想オブジェクトが、黒色または非常に暗部分を含む場合、実世界からの周囲光は、その暗部分を通して通過し、暗くなるように意図されるものを目立たなくし得る。
それにもかかわらず、暗仮想オブジェクトを明るい実背景にわたって提示し、その暗仮想オブジェクトが、ボリュームを所望の視認距離で占有して見えることが可能となることが望ましい。例えば、光の不在が空間内の特定の点に位置するように知覚される、その暗仮想オブジェクトの「暗視野」表現を作成することが有用である。非常に明るい実際の環境においても、仮想オブジェクトの暗視野側面を知覚し得るような遮閉要素およびユーザの眼への情報の提示に関して、前述の空間光変調器、すなわち、「SLM」構成のある側面が、関連する。
前述のように、眼等の光感知系では、暗視野の選択知覚のためのアプローチの1つは、ディスプレイのそのような部分からの光を選択的に減衰させることである。言い換えると、暗視野は、本質的に、投影されることができない。これは、暗視野として知覚され得る照射の欠如である。以下の議論は、照射の選択減衰のための種々の構成を提示するであろう。
SLM構成の議論に戻って参照すると、暗視野知覚のために選択的に減衰させる方法の1つは、1つの角度から生じる光を全て遮断する一方、他の角度からの光が伝送されることを可能にすることである。これは、前述のように、液晶(伝送状態にあるとき、その比較的に低透明度に起因して、最適ではなくなり得る)、DLPシステムのDMD要素(そのようなモードにあるとき、相対的高伝送/反射比率を有する)、および光放射を制御可能に閉鎖または通過させるように構成されるMEMSアレイまたはシャッタ等の要素を備えている複数のSLM平面を用いて遂行されてもよい。
好適な液晶ディスプレイ(「LCD」)構成に関して、コレステリックLCDアレイが、制御式遮閉/遮断アレイのために利用されてもよい。偏光状態が電圧の関数として変化される、従来のLCDパラダイムとは対照的に、コレステリックLCD構成では、顔料が、液晶分子に結合されており、次いで、分子は、印加される電圧に応答して、物理的に傾斜される。そのような構成は、透過性モードにあるとき、従来のLCDより高い透明度を達成するように設計されてもよく、偏光フィルムのスタックは、必要とされなくてもよい。
別の実施形態では、制御可能に中断されたパターンの複数の層が、モアレ効果を使用して、光の選択された提示を制御可能に遮断するために利用されてもよい。例えば、一構成では、それぞれ、例えば、ガラス基板等の透明平面材料上に印刷または塗布された微細ピッチ正弦波を備え得る、減衰パターンの2つのアレイが、視認者がパターンのいずれかのみを通してみるとき、ビューが本質的に透明であるが、視認者がシーケンスで並べられた両パターンを通して見る場合、視認者には、2つの減衰パターンが、ユーザの眼に比較的に近接するシーケンス内に設置されるときでも、空間的ビート周波数のモアレ減衰パターンが見えるであろうために十分に近接した距離で、ユーザの眼に提示されてもよい。
ビート周波数は、2つの減衰平面上のパターンのピッチに依存し、したがって、一実施形態では、暗視野知覚のために、ある光伝送を選択的に遮断するための減衰パターンは、それぞれ、そうでなければユーザに透明となるであろうが、ともに直列に、ARシステムにおいて所望される暗視野知覚に従って減衰させるように選択される、空間的ビート周波数のモアレ減衰パターンを作成する、2つの順次パターンを使用して作成されてもよい。
別の実施形態では、暗視野効果のための制御式遮閉パラダイムが、マルチビューディスプレイ式オクルーダを使用して作成されてもよい。例えば、一構成は、前述のもの等のLCD、DLPシステム、または他の選択減衰層構成を備え得る、選択減衰層と直列に、小開口またはピンホール以外、完全に遮閉する、1つのピンホール層を備えてもよい。一シナリオでは、角膜から典型的眼鏡レンズ距離(約30mm)に設置されるピンホールアレイと、眼から見てピンホールアレイと反対に位置する選択減衰パネルとを用いることによって、空間内に鮮明な機械的縁の知覚が、作成され得る。
要するに、構成が、ある角度の光が通過し、他の光が遮断または遮閉されることを可能にするであろう場合、鮮明な縁投影等の非常に鮮明なパターンの知覚が、作成され得る。別の関連実施形態では、ピンホールアレイ層は、第2の動的減衰層と置換され、若干類似するが、静的ピンホールアレイ層(静的ピンホール層が、シミュレートされ得るが、そうである必要はない)より制御を伴う構成を提供してもよい。
別の関連実施形態では、ピンホールは、円筒形レンズと置換されてもよい。ピンホールアレイ層構成におけるような遮閉の同一パターンが、達成されてもよいが、円筒形レンズでは、アレイは、非常に極小のピンホール幾何学形状に制限されない。実世界を通して視認するとき、レンズに起因して、眼に歪曲が提示されないように防止するために、第2のレンズアレイが、眼に最も近い側の開口またはレンズアレイの反対側に追加され、照射を通したビューを補償し、基本的にゼロ屈折力の望遠鏡構成を提供してもよい。
別の実施形態では、暗視野知覚の遮閉および作成のために、光を物理的に遮断するのではなく、光は、屈曲もしくは再指向されてもよい。または、液晶層が利用される場合、光の偏光が、変化されてもよい。例えば、一変形例では、各液晶層は、パターン化された偏光材料が、パネルの1面上に組み込まれる場合、実世界から生じる個々の光線の偏光が、選択的に操作され、パターン化された偏光子の一部を捕捉し得るように、偏光回転子として作用してもよい。「市松模様ボックス」の半分が垂直偏光を有し、残りの半分が水平偏光を有する、市松模様パターンを有する、当技術分野において公知の偏光子がある。加えて、偏光が選択的に操作され得る、液晶等の材料が、使用される場合、光は、これを用いて選択的に減衰されてもよい。
前述のように、選択反射体は、LCDより大きな伝送効率を提供し得る。一実施形態では、レンズシステムが、実世界から生じる光が、画像平面上に合焦させるように設置される場合、かつDMD(例えば、DLP技術)が、その画像平面に設置され、「オン」状態にあるとき、光を眼に通過させるレンズの別の集合に向かって光を反射させ、それらのレンズもまた、DMDをその焦点距離に有する場合、眼のために合焦する減衰パターンが、作成され得る。言い換えると、DMDは、図19Aに示されるように、ゼロ倍率望遠鏡構成において、選択反射体平面内で使用され、暗視野知覚の作成を制御可能に遮閉および促進してもよい。
図19Aに示されるように、レンズ(518)は、光を実世界144から捕らえ、それを画像平面520に合焦させている。DMD(または他の空間減衰デバイス)522が、レンズの焦点距離(例えば、画像平面520)に設置される場合、レンズ518は、光学無限遠から生じる光を利用し、それを画像平面520上に合焦させるであろう。次いで、空間減衰器522は、減衰されるべきものコンテンツを選択的に遮断するために利用されてもよい。
図19Aは、透過性モードにおける減衰器DMDを示し、それらは、示されるビームを通過させ、デバイスを越えさせる。画像は、次いで、第2のレンズ524の焦点距離に設置される。好ましくは、2つのレンズ(518、524)は、実世界144からの光が拡大させないように、同一焦点力を有する。そのような構成は、あるピクセルの選択遮断/減衰もまた可能にしながら、世界の非拡大ビューを提示するために使用されてもよい。
別の実施形態では、図19Bおよび19Cに示されるように、付加的DMDが、光が眼に通過する前に、4つのDMD(526、528、530、532)のそれぞれから反射するように、追加されてもよい。図19Bは、ゼロ屈折力望遠鏡効果を有するように相互から2F関係に設置される、好ましくは、同一焦点力(焦点距離「F」)の2つのレンズ(第1のものの焦点距離は、第2のものの焦点距離に共役される)を伴う、実施形態を示す。図19Cは、レンズを伴わない、実施形態を示す。図19Bおよび19Cの描写される実施形態における4つの反射パネル(526、528、530、532)の配向の角度は、単純例証目的のために、約45度であるように示されるが、具体的相対配向が、1つ以上の実施形態では、要求されてもよい(例えば、典型的DMDは、約12度の角度で反射する)。
別の実施形態では、パネルはまた、強誘電性であってもよく、または任意の他の種類の反射または選択減衰器パネルもしくはアレイであってもよい。一実施形態では、図19Bおよび19Cに描写されるものと同様に、3つの反射体アレイのうちの1つは、他の3つが選択減衰器であって、したがって、依然として、3つの独立平面を提供し、暗視野知覚の増進のために、入射照射の一部を制御可能に遮閉するように、単純鏡であってもよい。複数の動的反射減衰器を直列に有することによって、実世界に対して異なる光学距離におけるマスクが、作成され得る。
代替として、図19Cに戻って参照すると、1つ以上のDMDが、任意のレンズを伴わずに、反射潜望鏡構成で設置される、構成を作成してもよい。そのような構成は、明視野アルゴリズムで駆動され、選択的に、ある光線を減衰させる一方、他の光線を通過させてもよい。
別の実施形態では、DMDまたは類似マトリクスの制御可能に可動であるデバイスが、仮想現実等の透過性構成において使用するための概して不透明の基板とは対照的に、透明基板上に作成されてもよい。
別の実施形態では、2つのLCDパネルが、明視野オクルーダとして利用されてもよい。一変形例では、2つのLCDパネルは、前述のようなその減衰能力に起因して、減衰器と見なされ得る。代替として、それらは、共有偏光子スタックを伴う偏光回転子と見なされ得る。好適なLCDは、青色相液晶、コレステリック液晶、強誘電液晶、および/またはねじれネマティック液晶等の構成要素が挙げられ得る。
一実施形態は、特定の角度から生じる光の大部分は通過されるが、広い面が異なる角度から生じる光に提示されるように、回転を変化させ得るルーバの集合を特徴とする、MEMSデバイス等の指向性の選択遮閉要素のアレイを備えてもよい。これは、農園のシャッタが典型的ヒトスケールの窓とともに利用され得る様式に若干類似する。MEMS/ルーバ構成は、実質的に不透明のルーバとともに、光学的に透明な基板上に設置されてもよい。
理想的には、そのような構成は、ピクセル毎ベースで光を選択的に遮閉するために十分に微細なルーバピッチを備えているであろう。別の実施形態では、ルーバの2つまたはそれを上回る層もしくはスタックが、組み合わせられ、さらなる制御を提供してもよい。別の実施形態では、光を選択的に遮断するのではなく、ルーバは、制御可能に可変ベースで光の偏光状態を変化させるように構成される、偏光子であってもよい。
前述のように、選択遮閉のための別の実施形態は、スライド式パネルが、光を小フレームまたは開口を通して伝送するために制御可能に開放され、かつフレームまたは開口を遮閉し、伝送を防止するように制御可能に閉鎖され得るように、MEMSデバイス内にスライド式パネルのアレイを備えてもよい(例えば、第1の位置から第2の位置に平面方式で摺動することによって、または第1の配向から第2の配向に回転させることによって、または、例えば、回転再配向および変位を組み合わせて)。アレイは、減衰されるべき光線を最大限に減衰させ、伝送されるべき光線を最小限にのみ減衰させるよう種々のフレームまたは開口を開放もしくは遮閉するように構成されてもよい。
固定数のスライド式パネルが、第1の開口を遮閉し、第2の開口を開放させる第1の位置または第2の開口を遮閉し、第1の開口を開放させる第2の位置のいずれかを占有することができる、ある実施形態では、常時、同一量の光が全体的に伝送され得る(そのような構成では、開口の50%は、遮閉され、他の50%は、開放されるため)が、シャッタまたはドアのローカル位置変化は、種々のスライド式パネルの動的位置付けに伴って、暗視野知覚のための標的モアレまたは他の効果を作成し得る。一実施形態では、スライド式パネルは、スライド式偏光子を備えてもよい。スライド式パネルが、他の偏光要素とともにスタックされた構成に配置される場合、パネルは、静的または動的のいずれかであってもよく、選択的に減衰させるために利用されてもよい。
図19Dを参照すると、一対の合焦要素(540、542)および反射体(534;DMD等)とともに、2つの導波管(536、538)のスタックされた集合が、入射反射体(544)を用いて入射光の一部を捕捉するために使用され得るように、DMD式反射体アレイ(534)等を介して、選択反射のための機会を提供する別の構成が、示される。反射された光は、第1の導波管(536)の長さを辿って、合焦要素(540)の中に全内部反射され、光をDMDアレイ等の反射体(534)上に合焦させてもよい。DMDは、導波管から眼58に向かって光を出射するように構成される、出射反射体(546)までの全内部反射のために、光の一部を選択的に減衰させ、合焦レンズ(542;第2の導波管の中に戻る光の投入を促進するように構成される、レンズ)を通して第2の導波管(538)の中に反射させてもよい。
そのような構成は、比較的に薄い形状因子を有してもよく、実世界144からの光が選択的に減衰されることを可能にするように設計されてもよい。導波管が、コリメートされた光と最も滑らかに協働するため、そのような構成は、合焦距離が光学無限遠の範囲内にある仮想現実構成に非常に好適となり得る。より近い焦点距離のためには、明視野ディスプレイが、前述の選択減衰/暗視野構成によって作成された輪郭の上部の層として使用され、光が別の焦点距離から生じているという他の手掛かりをユーザの眼に提供してもよい。別の実施形態では、遮閉マスクが、望ましくないことに、焦点から外れ得る。さらに別の実施形態では、マスキング層の上部の明視野が、ユーザが暗視野が誤った焦点距離にあり得るということを検出しないように使用されてもよい。
図19Eを参照すると、それぞれ、約45度で示される、例証目的のために2つの角度付けられた反射体(558、544および556、546)を有する、2つの導波管(552、554)を特徴とする、実施形態が、示される。実際の構成では、角度は、導波管の反射表面、反射/屈折特性等に応じて異なってもよいことを理解されたい。角度付けられた反射体は、選択減衰のために使用され得るDMD等の各端部における反射体(548、550)に衝突するように、実世界から入射する光の一部を第1の導波管の両側(または上部層がモノリシックではない場合、2つの別個の導波管)まで指向する。反射された光は、眼58に向かった出射のために、第2の導波管(または底側層がモノリシックではない場合、2つの別個の導波管)の中に、2つの角度付けられた反射体(再び、示されるような45度である必要はない)に引き返して投入され得る。
合焦レンズもまた、各端部における反射体と導波管との間に設置されてもよい。別の実施形態では、各端部における反射体(548、550)は、標準的鏡(アルミ表面鏡等)を備えてもよい。さらに、反射体は、二色性鏡またはフィルム干渉フィルタ等の波長選択反射体であってもよい。さらに、反射体は、入射光を反射させるように構成される、回折要素であってもよい。
図19Fは、ピラミッドタイプ構成における4つの反射表面が、光を2つの導波管(560、562)を通して指向するために利用され、実世界からの入射光が、分割され、4つの異なる軸に反射され得る、構成を図示する。ピラミッド形状の反射体(564)は、4つを上回るファセットを有してもよく、図19Eの構成の反射体と同様に、基板プリズム内に存在してもよい。図19Fの構成は、図19Eのものの拡張である。
図19Gを参照すると、単一導波管(566)が、1つ以上の反射表面(574、576、578、580、582)を用いて、光を世界144から捕捉し、570を選択減衰器(568;DMDアレイ等)に中継し、伝搬572し、少なくとも部分的に、経路上の導波管からユーザの眼58に向かって出射(594)させる、1つ以上の他の反射表面(584、586、588、590、592)に遭遇するように、それを同一導波管の中に戻って再結合させるために利用されてもよい。好ましくは、導波管は、1つの群(574、576、578、580、582)が、入射光を捕捉し、それを選択減衰器まで指向させるようオンに切り替えられ得る一方、別個の別の群(584、586、588、590、592)が、選択減衰器から戻る光を眼58に向かって出射させるようオンに切り替えられ得るように、選択反射体を備えている。
便宜上、選択減衰器は、導波管に対して実質的に垂直に配向されて示される。他の実施形態では、屈折または反射光学等の種々の光学構成要素が、導波管に対して異なり、かつよりコンパクトな配向で選択減衰器を平面化するために利用されてもよい。
図19Hを参照すると、図19Dを参照して説明される構成における変形例が、図示される。本構成は、図5Bを参照して前述されているものに若干類似し、切替可能反射体のアレイが、一対の導波管(602、604)のそれぞれ内に埋め込まれてもよい。図19Hを参照すると、コントローラが、複数の反射体がフレーム順次ベースで動作されるように、反射体(598、600)をシーケンスでオンおよびオフにするように構成されてもよい。次いで、DMDまたは他の選択減衰器(594)もまた、オンおよびオフにされる異なる鏡と同期して、順次、駆動されてもよい。
図19Iを参照すると、前述のもの(例えば、図15A-15Cを参照して)に類似する一対の楔形状の導波管が、側面図または断面図に示され、各楔形状の導波管(610、612)の2つの長い表面が同一平面ではないことを図示する。「転向フィルム」(606、608;本質的に、マイクロプリズムアレイを備えている、商標名「TRAF」の下、3M corporationから利用可能なもの等)が、光線が全内部反射によって捕捉されるであろうような角度で入射光線を転向させるか、または導波管から出射する出射光線を眼または他の標的に向かって再指向させるかのいずれかのために、楔形状の導波管の1つ以上の表面上で利用されてもよい。入射光線は、第1の楔を辿って、DMD、LCD(強誘電LCD等)、またはLCDスタック(マスクとして作用する)等の選択減衰器614に向かって指向される。
選択減衰器(614)後、反射された光は、第2の楔形状の導波管の中に逆結合され、次いで、全内部反射によって光を楔に沿って中継する。楔形状の導波管の特性は、光の各跳ね返りが、角度変化を生じさせるように意図的であることである。角度が全内部反射を逃散させるための臨界角となるために十分に変化した点は、楔形状の導波管からの出射点となる。典型的には、出射は、斜角において行われるであろう。したがって、転向フィルムの別の層が、出射光を眼58等の標的オブジェクトに向かって「転向」させるために使用されてもよい。
図19Jを参照すると、いくつかの弧状レンズレットアレイ(616、620、622)が、眼に対して位置付けられ、空間減衰器アレイ618が、眼58と合焦し得るように、焦点/画像平面に位置付けられるように構成される。第1の616および第2の620のアレイは、凝集体として、実世界から眼に通過する光が、本質的に、ゼロ屈折力望遠鏡を通して通過されるように構成される。図19Jの実施形態は、改良された光学補償のために利用され得るが、一般的場合、そのような第3の層を要求しない、レンズレットの第3のアレイ622を示す。前述のように、視認光学の直径を保有する伸縮自在レンズを利用することは、望ましくないほど大きい形状因子を作成し得る(小集合の双眼鏡の束を眼の正面に有することに若干類似する)。
全体的幾何学形状を最適化する方法の1つは、図19Jに示されるように、より小さいレンズレットに分割することによって(例えば、1つの単一の大きなレンズではなく、レンズのアレイ)、レンズの直径を縮小させることである。レンズレットアレイ(616、620、622)は、瞳孔に入射するビームが適切なレンズレットを通して整合される(そうでなければ、システムは、分散、エイリアシング、および/または焦点の欠如等の光学問題に悩まされ得る)ことを確実にするために、半径方向または弧状に眼58の周囲に巻装されるように示される。したがって、レンズレットは全て、「内向きに」配向され、眼58の瞳孔に向けられ、システムは、光線が瞳孔までの途中で意図されないレンズの集合を通して伝搬される、シナリオの回避を促進する。
図19K-19Nを参照すると、種々のソフトウェアアプローチが、仮想または拡張現実変位シナリオにおける暗視野の提示を補助するために利用されてもよい。図19Kを参照すると、拡張現実に関する典型的課題シナリオが、織加工されたカーペット624および非均一背景の建築特徴626(両方とも、薄く着色されている)とともに描写される632。描写される黒色ボックス628は、1つ以上の拡張現実特徴が、3次元知覚のためにユーザに提示されるべき、ディスプレイの領域を示し、黒色ボックス内では、例えば、ユーザが関わる拡張現実ゲームの一部であり得る、ロボット創造物630が、提示されている。描写される実施例では、ロボットキャラクタ630は、濃く着色されおり、特に、本実施例シナリオのために選択される背景では、3次元知覚における提示を困難にする。
前述で簡単に論じられたように、暗視野拡張現実オブジェクトを提示するための主要な課題の1つは、システムが、概して、「暗度」を追加または塗布することができない。概して、ディスプレイは、光を追加するように構成される。したがって、図19Lを参照すると、暗視野知覚を向上させるための任意の特殊ソフトウェア処理を伴わない場合、拡張現実ビュー内のロボットキャラクタの提示は、提示内で本質的に艶無しの黒色となるべきロボットキャラクタの部分が不可視となり、ある程度の照明を有するロボットキャラクタの部分(ロボットキャラクタの肩撃ち銃の薄く着色されたカバー等)がかろうじてのみ可視である、場面をもたらす(634)。これらの部分は、そうでなければ正常な背景画像に対して、明階調崩壊のように見える。
図19Mを参照すると、ソフトウェアベースの全体的減衰処理(一対のサングラスをデジタル的に置くことに類似する)の使用は、ほぼ黒色のロボットキャラクタの輝度が、ここではより暗く見える、空間の残りに対して効果的に増加されるため、向上した可視性をロボットキャラクタに提供する640。また、図19Mに示されるのは、ここではより可視であるロボットキャラクタ形状638を強調させ、背景から区別するために追加され得る、デジタル的に追加された光の後光636である。後光処理を用いることによって、艶無しの黒色として提示されるべきロボットキャラクタの部分さえ、ロボットキャラクタの周囲に提示される白色後光、すなわち、「オーラ」と対照的に可視となる。
好ましくは、後光は、3次元空間内のロボットキャラクタの焦点距離の背後の知覚される焦点距離とともに、ユーザに提示されてもよい。前述のもの等の単一パネル遮閉技法が暗視野を提示するために利用されている構成では、光の後光は、遮閉をともに得る暗後光に一致する強度勾配とともに提示され、いずれかの暗視野効果の可視性を最小限にしてもよい。さらに、後光は、さらなる区別効果のために、提示される後光照射の背景に対するぼかしとともに提示されてもよい。よりわずかなオーラまたは後光効果は、少なくとも部分的に、比較的に薄く着色された背景の色および/または輝度を一致させることによって、作成され得る。
図19Nを参照すると、ロボットキャラクタの黒色色調の一部または全部は、暗いクールブルー色に変化され、背景に対してさらなる区別効果と、ロボット642の比較的に良好な可視化とを提供してもよい。
楔形状の導波管が、図15A-15Dおよび図19I等を参照して前述されている。楔形状の導波管の重要な側面は、光線が非同一平面表面の1つから跳ね返る度に、角度変化がもたらされ、最終的には、表面の1つに対するそのアプローチ角が臨界角を上回ると、光線が全内部反射から出射する結果をもたらすことである。転向フィルムが、出射ビームが、幾何学的および人間工学的当該問題に応じて、出射表面に略垂直な軌道を伴って出て行くように、出射光を再指向するために使用されてもよい。
例えば、図15Cに示されるように、画像情報を楔形状の導波管の中に投入する、一連またはアレイのディスプレイでは、楔形状の導波管は、楔から出現する角度バイアス光線の微細ピッチアレイを作成するように構成されてもよい。若干類似するように、明視野ディスプレイまたは可変波面作成導波管が両方とも、眼がどこに位置付けられようとも、眼が、ディスプレイパネルの正面のその特定の眼の位置に一意である、複数の異なるビームレットまたはビームによって衝突されるように、空間内の単一ピクセルを表すために、多数のビームレットまたはビームを生成し得ることが前述されている。
明視野ディスプレイの文脈においてさらに前述されたように、複数の視認ゾーンが、所与の瞳孔内に作成されてもよく、それぞれ、異なる焦点距離のために使用されてもよく、その凝集体は、可変波面作成導波管のものと類似する、または実物として視認されるオブジェクトの現実の実際の光物理学に類似する、知覚を生成する。したがって、複数のディスプレイを伴う楔形状の導波管が、明視野を生成させるために利用されてもよい。画像情報を投入するディスプレイの線形アレイを伴う、図15Cのものに類似する実施形態では、出射光線の扇が、ピクセル毎に作成される。本概念は、複数の線形アレイが、スタックされ、全て、画像情報を楔形状の導波管の中に投入し(一変形例では、1つのアレイが、楔形状の導波管面に対して1つの角度で投入する一方、第2のアレイは、楔形状の導波管面に対して第2の角度で投入してもよい)、その場合、出射ビームが、楔から2つの異なる軸において扇状になる、実施形態に拡張されてもよい。
したがって、そのような構成は、複数の異なる角度で広がる複数のビームを生成するために利用されてもよく、各ビームは、そのような構成下では、各ビームが別個のディスプレイを使用して駆動されるという事実に起因して、別個に駆動されてもよい。別の実施形態では、1つ以上のアレイまたはディスプレイは、全内部反射構成の中に投入された画像情報を楔形状の導波管に対して屈曲させるための回折光学等を使用して、画像情報を、図15Cに示されるもの以外の楔形状の導波管の側面または面を通して楔形状の導波管の中に投入するように構成されてもよい。
種々の反射体または反射表面もまた、そのような楔形状の導波管実施形態と連動して利用され、楔形状の導波管からの光を出力結合および管理してもよい。一実施形態では、楔形状の導波管に対する入射開口または図15Cに示されるもの以外の異なる面を通した画像情報の投入が、Z軸デルタもまた、3次元情報を楔形状の導波管の中に投入するための手段として開発され得るように、異なるディスプレイおよびアレイの(幾何学的および/または時間的)交互配置を促進するために利用されてもよい。3次元を上回るアレイ構成のために、種々のディスプレイが、より高い次元構成を得るための交互配置を用いて、複数のスタック内の複数の縁において楔形状の導波管に進入するように構成されてもよい。
図20Aを参照すると、導波管646が中央に狭入された回折光学要素(648;または前述のような「DOE」)を有する、図8Hに描写されるものに類似する構成が、示される(代替として、前述のように、回折光学要素は、描写される導波管の正面または背面上に存在してもよい)。光線は、プロジェクタまたはディスプレイ644から導波管646に入射してもよい。いったん導波管646に入ると、光線がDOE648に交差する度に、光線の一部は、導波管646から出射される。
前述のように、DOEは、導波管646の長さを横断する出射照度が、ほぼ均一であるように設計されてもよい。例えば、第1のそのようなDOE交差点は、光の約10%を出射するように構成されてもよい。次いで、第2のDOE交差点は、81%が通過されるように、残りの光の約10%を出射するように構成されてもよい等となる。別の実施形態では、DOEは、その長さに沿って、線形減少回折効率等の可変回折効率を備え、導波管の長さを横断してより均一な出射照度をマップするように設計されてもよい。
端部に到達する残りの光をさらに分布させるために(一実施形態では、世界に対するビューの透明度の観点から好ましいであろう、比較的に低回折効率DOEの選択を可能にするために)、反射要素(650)が、一端または両端に含まれてもよい。さらに、図20Bの実施形態を参照すると、付加的分布および保存が、示されるように、導波管の長さを横断して伸長反射体652を含む(例えば、波長選択性である薄膜二色性コーティングを備えている)ことによって、達成されてもよい。好ましくは、そのような反射体は、偶発的に上向きに(視認者によって利用されないであろうように、出射のために実世界144に引き返して)反射される光を遮断するであろう。いくつかの実施形態では、そのような伸長反射体は、ユーザによる「ゴースト生成」効果知覚に寄与し得る。
一実施形態では、本ゴースト生成効果は、導波管アセンブリの長さを横断して、好ましくは、実質的に等しく分布された様式で、眼58に向かって出射されるまで、光を移動させ続けるように設計される、図20Cに示されるもの等の二重導波管(646、654)循環反射構成を有することによって、排除され得る。図20Cを参照すると、光が、プロジェクタまたはディスプレイ644を用いて投入され、第1の導波管654のDOE656を横断して進行するにつれて、好ましくは、光の実質的に均一パターンを眼58に向かって放出させてもよい。第1の導波管内に留まる光は、第1の反射体アセンブリ660によって、第2の導波管646の中に反射される。一実施形態では、第2の導波管646は、第2の反射体アセンブリを使用して、単に、残りの光を第1の導波管に逆移送または再利用するように、DOEを有しないように構成されてもよい。
別の実施形態では(図20Cに示されるように)、第2の導波管646はまた、3次元知覚のために、進行する光の一部を均一に放出し、第2の焦点平面を提供するように構成される、DOE648を有してもよい。図20Aおよび20Bの構成と異なり、図20Cの構成は、光が導波管を一方向に進行するように設計され、DOEを用いて導波管を通して後方に通過する光に関連する前述のゴースト生成問題を回避する。図20Dを参照すると、光を再利用するために、導波管の端部に鏡またはボックス式反射体アセンブリ660を含むのではなく、より小さい逆反射体662のアレイまたは逆反射材料が、利用されてもよい。
図20Eを参照すると、底側に到達する前に、導波管646を複数回往復して交差し、その時点で、さらなる再利用のための最大レベルまで再利用され得るように、図20Cの実施形態の光再利用構成のいくつかを利用し、ディスプレイまたはプロジェクタ644を用いて投入された後、狭入DOE648を有する導波管646を通して光を「蛇行」させる、実施形態が、示される。そのような構成は、光を再利用し、光を眼58に向かって出射するための比較的に低回折効率のDOE要素の使用を促進させるだけではなく、また、光を分布させ、図8Kを参照して説明されるものに類似する大射出瞳構成を提供する。
図20Fを参照すると、入力投影106、走査、またはその他が、プリズムの跳ね返り内に保たれるため、入射光が、全内部反射を伴わずに(例えば、プリズムは、導波管と見なされない)、従来のプリズムまたはビームスプリッタ基板104に沿って反射体102に投入される、図5Aのものに類似する例証的構成が、示される。これは、そのようなプリズムの幾何学形状が有意な制約となることを意味する。別の実施形態では、導波管が、図20Fの単純プリズムの代わりに利用されてもよく、これは、全内部反射の使用を促進し、より幾何学的柔軟性を提供する。
前述の他の構成は、類似操作および光のための導波管を含むことから利益を享受するように構成される。例えば、図7Aに戻って参照すると、その中に図示される一般的概念は、実世界からの光の視認を促進するようにもまた設計される構成において、導波管の中に投入されたコリメート画像が、眼に向かって移送される前に、再合焦され得るというものである。図7Aに示される屈折レンズの代わりに、回折光学要素が、可変合焦要素として使用されてもよい。
図7Bに戻って参照すると、別の導波管構成が、より小さい経路(導波管を通した全内部反射)とより大きい経路(元々の導波管と、屈折率が主導波管と補助導波管との間で実質的に整合されるモードに切り替えられる液晶を伴う液晶隔離領域とを備えている、ハイブリッド導波管を通した全内部反射)との間の制御可能アクセストグルを伴う、相互にスタックされた複数の層を有する文脈において図示される。これは、コントローラが、フレーム毎ベースでどの経路が辿られるかを調整可能となることを可能にする。ニオブ酸リチウム等の電気活性材料の高速切替は、より大きいレート(例えば、約GHz)におけるそのような構成を用いた経路変化を促進し、これは、ピクセル毎ベースで、光の経路を変化させることを可能にする。
図8Aに戻って参照すると、弱レンズと対合された導波管のスタックが、レンズおよび導波管要素が静的であり得る、多焦点構成を実証するために図示される。各対の導波管およびレンズは、図8Iを参照して説明されるもの等のDOE要素が埋め込まれた導波管(図8Aの構成により類似するものでは、静的であってもよく、または動的であってもよい)と機能的に置換されてもよい。
図20Gを参照すると、透明プリズムまたはブロック104(例えば、導波管ではない)が、鏡または反射体102を潜望鏡タイプの構成に保持し、光をレンズ662およびプロジェクタまたはディスプレイ644等の他の構成要素から受光するために利用される場合、視野は、その反射体102のサイズによって限定される。
反射体が大きいほど、視野が広くなることを理解されたい。したがって、そのような構成を用いてより大きい視野を遠近調節するために、より厚い基板が、より大きい反射体を保持するために必要とされ得る。別様に、凝集された複数の反射体の機能性が、図8O、8P、および8Qを参照して説明されるように、機能的視野を増加させるために利用されてもよい。図20Hを参照すると、それぞれ、ディスプレイまたはプロジェクタ(644;または別の実施形態では、単一ディスプレイの多重化)が供給され、出射反射体668を有する、平面導波管666のスタック664が、より大きい単一反射体の機能に向かって凝集させるために利用されてもよい。出射反射体は、アセンブリに対する眼58の位置付けに応じて、ある場合には、同一角度にあって、または他の場合には、同一角度になくてもよい。
図20Iは、平面導波管(670、672、674、676、678)のそれぞれ内の反射体(680、682、684、686、688)が、相互からオフセットされた関連構成を図示する。各導波管は、光をプロジェクタまたはディスプレイ644から受光し、これは、平面導波管(670、672、674、676、678)のそれぞれ内の反射体(680、682、684、686、688)によってレンズ690を通して送光され、最終的には、眼58の瞳孔45に出射光を伝送し得る。場面に見られることが予期されるであろう角度の全ての総範囲を作成することができる場合(例えば、好ましくは、重要な視野内に盲目点を伴わない)、有用視野が、達成され得る。
前述のように、眼58は、少なくとも部分的に、光線が眼に入射する角度に基づいて機能する。これは、有利には、シミュレートされ得る。光線は、瞳孔における空間内の正確に同一点を通して通過する必要はない。むしろ、光線は、瞳孔を通り抜け、網膜によって感知されることのみ必要である。図20Kは、光学アセンブリの陰影部分が、補償レンズとして利用され、ゼロ屈折力望遠鏡を通して通過されるかのように、実世界144からの光をアセンブリを通して通過させるように機能し得る、変形例692を図示する。
図20Jを参照すると、前述の光線はそれぞれまた、全内部反射によって、関連導波管(670、672)を通して反射されている、相対的広ビームであってもよい。反射体(680、682)ファセットサイズは、出射ビーム幅を決定するであろう。
図20Lを参照すると、複数の小直線角度反射体が、導波管またはそのスタック696を通して、凝集体として略放物反射表面694を形成し得る、反射体のさらなる離散化が、示される。レンズ690等を通して、ディスプレイ(644;または、例えば、単一多重ディスプレイ)から生じる光は全て、眼58の瞳孔45における同一共有焦点に向かって指向される。
図13Mに戻って参照すると、ディスプレイ378の線形アレイが、光を共有導波管376の中に投入する。別の実施形態では、単一ディスプレイが、一連の入射レンズに多重化され、図13Mの実施形態と類似機能性を提供してもよく、入射レンズは、導波管を通して伝わる光線の平行経路を作成する。
全内部反射が光伝搬のために依拠される、従来の導波管アプローチでは、導波管を通して伝搬する光線のある角度範囲のみがある(他の光線は逃散し得る)ため、視野が制限される。一実施形態では、ある波長のみに対して高度に反射性であり、他の波長に対しては低反射性である、薄膜干渉フィルタと同様に、赤色/緑色/青色(または「RGB」)レーザ線反射体が平面の一端または両端に設置される場合には、光伝搬の角度の範囲を機能的に増加させることができる。窓(コーティングを伴わない)が、光が所定の場所で出射することを可能にするために提供されてもよい。さらに、コーティングは、(若干ある入射角度のみに対して高度に反射性である反射要素のように)を有する指向選択性を有するように選択されてもよい。そのようなコーティングは、導波管のより大きい平面/側に最も関連し得る。
図13Eに戻って参照すると、種々の投入されたビームが全内部反射に伴って通り過ぎている場合に、構成が振動要素358の縁から逃散するビームの線形アレイを機能的に提供するであろうように、複数の非常に薄い平面導波管358が発振または振動させられ得るような走査薄型導波管構成と見なされ得る、走査ファイバディスプレイの変形例が論じられた。描写される構成は、透明であるが、好ましくは、光が、外部投影平面導波管部分358に最終的に供給する(描写される実施形態では、光を外向きに伝送するために平面、湾曲、または他の反射体が利用され得る点において、各経路内に90度転向がある)、基板結合小型導波管のそれぞれの内の全内部反射の中にとどまるように、異なる屈折率を有する、ホスト媒体または基板356の中に約5つの外部投影平面導波管部分358を有する。
外部投影平面導波管部分358は、個々に、または基板356の発振運動とともに一群として、振動させられてもよい。そのような走査運動は、水平走査を提供してもよく、垂直走査のために、アセンブリの入力360の側面(例えば、垂直軸において走査する、1つ以上の走査ファイバディスプレイ等)が利用されてもよい。したがって、走査ファイバディスプレイの変形例が提示される。
図13Hに戻って参照すると、導波管(370)が、明視野を作成するために利用されてもよい。知覚の観点から光学無限遠に関連付けられ得る、コリメートされたビームとともに最良に機能する導波管を用いることによって、合焦したままである全てのビームが、知覚不快感を引き起こし得る(例えば、眼は、遠近調節の関数として光屈折ぼけの識別できる差異を生じず、言い換えると、0.5mmまたはそれ未満等の狭い直径のコリメートされたビームレットは、眼の遠近調節/両眼離反運動系を開ループし、不快感を引き起こし得る)。
一実施形態では、いくつかの円錐ビームレットが生じるとともに、単一のビームが供給されてもよいが、入射ビームの導入ベクトルが変化させられた(例えば、導波管に対してプロジェクタ/ディスプレイのためのビーム投入場所を側方に偏移させる)場合、眼に向かって指向されるにつれて、ビームが導波管から出射する場所を制御してもよい。したがって、狭い直径のコリメートされたビームの束を作成することによって、明視野を作成するために導波管を使用してもよく、そのような構成は、眼における所望の知覚に関連付けられる光波面の真の変動に依拠しない。
角度的および側方に多様なビームレットの集合が、導波管の中に投入される場合(例えば、マルチコアファイバを使用して、各コアを別個に駆動することによって;別の構成は、異なる角度から生じる複数のファイバスキャナを利用してもよい;別の構成は、その上にレンズレットアレイを伴う高分解能パネルディスプレイを利用してもよい)、いくつかの出射ビームレットが、異なる出射角度および出射場所で作成されることができる。導波管が明視野を混乱させ得るため、好ましくは、復号が事前に決定される。
図20Mおよび20Nを参照すると、垂直または水平軸にスタックされた導波管構成要素を備えている、導波管646のアセンブリ696が示されている。1つのモノリシック平面導波管を有するのではなく、導波管アセンブリ696は、全内部反射によって、そのような導波管を辿って伝搬する(例えば、+X、-Xにおける全内部反射に伴ってZ軸に沿って伝搬する)ことに加えて、1つの導波管に導入される光もまた、他の面積の中へ溢出しないように、垂直軸(+y、-Y)において完全に内部反射するように、相互に直接隣接して複数のより小さい導波管646をスタックする。
言い換えると、全内部反射がZ軸伝搬の間に左から右にある場合、上側または底側に衝突する任意の光を全内部反射するように、構成が設定されるであろう。各層は、他の層からの干渉を伴わずに、別個に駆動されてもよい。各導波管は、所定の焦点距離構成(0.5メートルから光学無限遠に及ぶように図20Mに示される)を伴って、前述のように、導波管の長さに沿った所定の分布で光を放出するように埋め込まれ、構成されるDOE648を有してもよい。
別の変形例では、埋め込みDOEを伴う導波管の非常に高密度のスタックが、眼の解剖学的瞳孔のサイズに跨架するように(例えば、複合導波管の複数の層698が、図20Nに図示されるように、射出瞳を横断することを要求され得るように)生成されてもよい。そのような構成では、1つの波長のためのコリメートされた画像を供給してもよく、次いで、次の1ミリメートルに位置する部分が、例えば、15メートル等の離れた焦点距離から生じるオブジェクトを表す、発散性波面を生成する等となる。ここでの概念は、DOEおよび導波管を通してDOEを横断する全内部反射の結果として、射出瞳がいくつかの異なる導波管から生じているというものである。したがって、1つの均一な射出瞳を作成するのではなく、そのような構成は、凝集体として、眼/脳による異なる焦点深度の知覚を促進する、複数の縞を作成する。
そのような概念は、各導波管を横断する軸においてより効率的な光捕捉を可能にする、図8B-8Nに関して説明されるもの等の切替可能/制御可能な埋め込みDOEを伴う(例えば、異なる焦点距離に切替可能である)導波管を備えている、構成に拡張されてもよい。複数のディスプレイが、層のそれぞれの中に結合されてもよく、DOEを伴う各導波管は、その独自の長さに沿って光線を放出するであろう。別の実施形態では、全内部反射に依拠するのではなく、レーザ線反射体が、角度範囲を増加させるために使用されてもよい。複合導波管の層の間には、アルミニウム等の完全に反射性の金属化コーティングが、全反射を確実にするために利用されてもよく、または代替として、二色性もしくは狭帯域反射体が利用されてもよい。
図20Oを参照すると、複合導波管アセンブリ696全体は、個々の導波管のそれぞれが瞳孔に向かって指向されるように、眼58に向かって凹面状に湾曲されてもよい。言い換えると、構成は、瞳孔が存在する可能性が高い場所に向かって光をより効率的に指向するように設計されてもよい。そのような構成はまた、視野を増加させるために利用されてもよい。
図8L、8M、および8Nに関して前述されたように、変化可能な回折構成は、走査光ディスプレイと若干類似する、1つの軸における走査を可能にする。図21Aは、示されるように、導波管からの出射光702の出射角度を変更するように変化させられ得る、線形グレーティング項を伴う埋め込み(例えば、その中に挟入された)DOE700を有する、導波管698を図示する。ニオブ酸リチウム等の高周波数切替えDOE材料、が利用されてもよい。一実施形態では、そのような走査構成は、1つの軸においてビームを走査するための唯一の機構として使用されてもよく、別の実施形態では、走査構成は、他の走査軸と組み合わせられてもよく、より大きい視野を作成するために使用されてもよい。例えば、正常な視野が40度であって、線形回折ピッチを変化させることによって、別の40度にわたって操向することができる場合、システムのための効果的な使用可能視野は、80度である。
図21Bを参照すると、従来の構成では、導波管(708)は、ビームが、テレビまたは他の目的のために視認可能なディスプレイを提供する走査構成において、導波管708からレンズ706を通してパネル704の中へ投入され得るように、LCDまたはOLEDパネル等のパネルディスプレイ704と垂直に設置されてもよい。したがって、導波管は、単一の光のビームが、異なる角度場所を通して掃引するように走査ファイバまたは他の要素によって操作されてもよく、加えて、別の方向が、高周波数回折光学要素を使用して走査され得る、図21Aを参照して説明される構成とは対照的に、走査画像源等の構成で利用されてもよい。
別の実施形態では、一軸方向走査ファイバディスプレイ(例えば、走査ファイバが比較的高周波数であるため、高速線走査を走査する)が、導波管の中に高速線走査を投入するために使用されてもよく、次いで、比較的に低いDOE切替(例えば、100Hzの範囲内)が、他の軸における線を走査して画像を形成するために使用されてもよい。
別の実施形態では、固定ピッチのグレーティングを伴うDOEは、光が異なる角度でグレーティングの中に再指向され得るように、動的屈折率を有する電気活性材料(液晶等)の隣接する層と組み合わせられてもよい。これは、光線が導波管から出現する角度を変化させるように、液晶またはニオブ酸リチウム等の電気活性材料を備えている電気活性層が、その屈折率を変化させ得る、図7Bを参照して前述されている基本的多経路構成の用途である。回折グレーティングが、固定ピッチでとどまり得るが、光がグレーティングに衝突する前にバイアスをかけられるように、線形回折グレーティングが、図7Bの構成に追加されてもよい(一実施形態では、より大きい下側導波管を備えている、ガラスまたは他の材料内に狭入される)。
図21Cは、2つの楔状導波管要素(710、712)を特徴とする、別の実施形態を示し、それらのうちの1つ以上のものは、関連屈折率が変化させられ得るように、電気活性であり得る。要素は、楔が一致する屈折率を有するとき、光がその対(凝集体として、両方の楔が一致している平面導波管に類似して機能する)を通して全内部反射する一方、楔界面がいかなる効果も及ぼさないように、構成されてもよい。屈折率のうちの1つが不整合をもたらすように変化させられる場合、楔界面714におけるビーム偏向が引き起こされ、全内部反射がその表面から関連楔の中へ戻るように引き起こされる。次いで、線形グレーティングを伴う制御可能DOE716は、光が出射して望ましい出射角度で眼に到達することを可能にするように、楔の長縁のうちの1つに沿って結合されてもよい。
別の実施形態では、ブラッググレーティング等のDOEは、グレーティングの機械的延伸(例えば、グレーティングが弾性材料上に存在するか、またはそれを備えている場合)、2つの異なる平面上の2つのグレーティングの間のモアレビートパターン(グレーティングは、同一または異なるピッチであってもよい)、仮想上グレーティングの延伸に機能的に類似する、グレーティングのZ軸運動(例えば、眼により近い、または眼からより遠い)、または液晶液滴が屈折率を変化させて活性グレーティングになるように制御可能に活性化される、高分子分散型液晶アプローチを使用して作成されるもの等のオンまたはオフに切り替えられ得る電気活性グレーティングによって等、ピッチ対時間を変化させるように構成されてもよい。これは、電圧をオフにし、ホスト媒体のものに一致する屈折率への切替を可能にすることと対照的である。
別の実施形態では、時変グレーティングが、タイル表示されたディスプレイ構成を作成することによって、視野拡大のために利用されてもよい。さらに、時変グレーティングは、色収差(同一の焦点において全ての色/波長を合焦できないこと)に対処するために利用されてもよい。回折グレーティングの1つの特性は、それらがその入射角度および波長の関数としてビームを偏向させるであろうことである(例えば、単純なプリズムがビームをその波長成分に分割するであろう様式に若干類似して、DOEが、異なる角度によって異なる波長を偏向させるであろう)。
視野拡大に加えて、色収差を補償するために、時変グレーティング制御を使用してもよい。したがって、例えば、前述のような埋め込みDOEタイプの構成を伴う導波管は、DOEが、赤色波長を緑色および青色と若干異なる場所に駆動して、望ましくない色収差に対処するように構成されてもよい。DOEは、オンおよびオフに切り替える(例えば、赤色、緑色、および青色を同様に外向きに回折されるように)要素のスタックを有することによって、時間変動されてもよい。
別の実施形態では、時変グレーティングが、射出瞳拡大のために利用されてもよい。例えば、図21Dを参照すると、関連ピクセルがユーザによって欠損されるであろうように、ベースラインモードにおいて出射するビームが実際に標的瞳孔45に入射しないように、埋め込みDOE720を伴う導波管718が標的瞳孔に対して位置付けられ得ることが、可能である。時変構成は、5つの出射ビームのうちの1つが眼の瞳孔に衝突することをより確実にするように、出射パターンを側方に(鎖線/点線で示される)偏移させてビームのそれぞれを効果的に走査することによって、外向き出射パターンで間隙を充填するために利用されてもよい。言い換えると、ディスプレイシステムの機能的な射出瞳は、拡大される。
別の実施形態では、時変グレーティングは、1、2、または3軸光走査のための導波管とともに利用されてもよい。図21Aを参照して説明されるものに類似する様式において、垂直軸にビームを走査しているグレーティングならびに水平軸に走査しているグレーティングにおける項を使用してもよい。さらに、グレーティングの半径方向要素が、図8B-8Nに関して上記で論じられるように組み込まれる場合、全て時系列走査であり得る、Z軸における(例えば、眼に向かった/から離れた)ビームの走査を有してもよい。
概して、導波管に関連する、DOEの特殊処理および使用に関する、本明細書の議論にかかわらず、DOEのこれらの使用の多くは、DOEが導波管に埋め込まれているかどうかを問わず使用可能である。例えば、導波管の出力は、DOEを使用して別個に操作されてもよい。または、ビームは、導波管の中に投入される前にDOEによって操作されてもよい。さらに、時変DOE等の1つ以上のDOEは、以下に論じられるように、自由形状光学構成のための入力として利用されてもよい。
図8B-8Nを参照して前述のように、DOEの要素は、制御された出射パターンを作成するように線形項と合計され得る、円形対称項を有してもよい(例えば、前述のように、光を出力結合する同一のDOEもそれを合焦させてもよい)。別の実施形態では、DOE回折グレーティングの円形対称項は、それらの関連ピクセルを表すビームの焦点が変調されるように変動されてもよい。加えて、一構成は、DOEにおいて線形項を有する必要性を排除して、第2/別個の円形DOEを有してもよい。
図21Eを参照すると、DOE要素が埋め込まれていない、コリメートされた光を出力する導波管722と、一実施形態では、オン/オフに切り替えられることができる、そのようなDOE要素のスタック724を有することによって、複数の構成の間で切り替えられることができる円形対称DOEを有する第2の導波管とを有してもよい(図21Fは、DOE要素の機能的スタック728が、前述のように、高分子分散型液晶要素のスタック726を備え得る、別の構成を示し、電圧が印加されていないと、ホスト媒体屈折率は、液晶の分散分子の屈折率に一致する;別の実施形態では、ニオブ酸リチウムの分子は、より速い応答時間のために分散させられてもよい:ホスト媒体の両側の透明インジウムスズ酸化物層等を通して、電圧が印加されると、分散された分子が屈折率を変化させ、ホスト媒体内に回折パターンを機能的に形成する)。
別の実施形態では、円形DOEが、焦点変調のために、導波管の正面に層化されてもよい。図21Gを参照すると、導波管722は、別様に修正されない限り、光学無限遠の焦点深度に関連付けられると知覚されるであろう、コリメートされた光を出力している。導波管からのコリメートされた光は、動的焦点変調のために使用され得る回折光学要素730の中に入力されてもよい(例えば、種々の異なる焦点を出射光に付与するように、異なる円形DOEパターンをオンおよびオフに切り替えてもよい)。関連実施形態では、導波管から出射するコリメートされた光を、特定のユーザ用途のために有用であり得る単一の焦点深度に合焦させるために、静的DOEが使用されてもよい。
別の実施形態では、複数のスタックされた円形DOEが、比較的少数の切替可能DOE層から、付加屈折力および多くの焦点レベルのために使用されてもよい。言い換えると、3つの異なるDOE層が、相互に対して種々の組み合わせでオンに切り替えられてもよく、オンに切り替えられるDOEの屈折力が追加されてもよい。最大4ジオプタの範囲が所望される、一実施形態では、例えば、第1のDOEは、所望される全ジオプタ範囲の半分(本実施例では、2ジオプタの焦点変化)を提供するように構成されてもよく、第2のDOEは、1ジオプタ焦点変化を誘発するように構成されてもよく、次いで、第3のDOEは、1/2ジオプタ焦点変化を誘発するように構成されてもよい。これら3つのDOEは、混合され、1/2、1、1.5、2、2.5、3、および3.5ジオプタの焦点変化を提供するように一致させられてもよい。したがって、比較的広い範囲の制御を得るために、極めて多数のDOEは、必要とされない。
一実施形態では、切替可能DOE要素のマトリクスが、走査、視野拡大、および/または射出瞳拡大のために利用されてもよい。概して、DOEの前述の議論では、典型的DOEは、全てオンまたは全てオフのいずれかであると仮定されている。一変形例では、DOE732は、それぞれ、好ましくは、オンまたはオフであるように一意に制御可能である、複数の機能的サブセクション(図21Hで要素734として標識されるもの等)に細分されてもよい(例えば、図21Hを参照すると、各サブセクションは、インジウムスズ酸化物、または他の制御線材料、中心コントローラに戻る電圧印加線736のその独自の集合によって動作されてもよい)。DOEパラダイムに対する本レベルの制御を前提として、付加的構成が促進される。
図21Iを参照すると、埋め込みDOE740を伴う導波管738が、ユーザの眼が導波管の前に位置付けられた状態で、上から下に視認される。所与のピクセルが、ビームの集合として導波管から出て行くように回折パターンによって出射され得るまで、導波管の中に入り、全内部反射するビームとして表されてもよい。回折構成に応じて、ビームは、(便宜上図21Iに示されるように)平行に/コリメートされて、または光学無限遠より近い焦点距離を表す場合は、発散扇構成で出て行ってもよい。
平行出射ビームの描写される集合は、例えば、導波管を通して視認されるように、ユーザが実世界で見ているものの最左ピクセルを表してもよく、最右端へ出る光は、異なる一群の平行出射ビームであろう。実際、前述のようなDOEサブセクションのモジュール式制御を用いると、ユーザの瞳孔に能動的に対処している可能性が高いビームのわずかな下位集合を作成して操作することにより多くのコンピューティングリソースまたは時間を費やし得る(例えば、他のビームがユーザの眼に決して到達せず、仮想上無駄にされるため)。したがって、図21Jを参照すると、ユーザの瞳孔45に対処する可能性が高いと見なされる、DOE744の2つのサブセクション(740、742)が起動される、導波管738構成が示されている。好ましくは、1つのサブセクションは、別のサブセクションが異なる方向に光を指向すると同時に、一方向に光を指向するように構成されてもよい。
図21Kは、DOE732の2つの独立して制御されるサブセクション(734、746)の直交図を示す。図21Lの上面図を参照すると、そのような独立制御は、光を走査または合焦させるために使用されてもよい。図21Kに描写される構成では、3つの独立して制御されるDOE/導波管サブセクション(750、752、754)のアセンブリ748が、走査し、視野を増加させ、および/または射出瞳領域を増加させるために使用されてもよい。そのような機能性は、そのような独立して制御可能なDOEサブセクションを伴う単一の導波管、または付加的複雑性のためのこれらの垂直スタックから生じ得る。
一実施形態では、円形DOEが、半径方向に対称的に、制御可能に延伸され得る場合、回折ピッチが変調されてもよく、DOEが、アナログタイプの制御とともに同調可能レンズとして利用されてもよい。別の実施形態では、(例えば、線形DOE項の角度を調節するための)単一の延伸軸が、DOE制御のために利用されてもよい。さらに、別の実施形態では、ドラムヘッドに類似する膜が、経時的にZ軸制御および焦点変化を提供する、Z軸における(例えば、眼に向かった/から離れた)発振運動とともに振動させられてもよい。
図21Mを参照すると、導波管722からコリメートされた光を受光し、活性化されたDOEの付加屈折力に基づいてそれを再合焦させる、いくつかのDOE756のスタックが示されている。DOEの線形および/または半径方向対称項は、導波管から生じ、好ましくは、ユーザの眼に向かって出射する光のための種々の処理(タイルディスプレイディスプレイ構成または拡大した視野等)を生成するように、フレーム順次ベース等で経時的に変調されてもよい。DOEまたは複数のDOEが導波管内に埋め込まれる構成では、実世界から通過される光の透明度を最大限にするように、低回折効率が所望される。DOEまたは複数のDOEが埋め込まれていない構成では、前述のように、高回折効率が所望され得る。一実施形態では、線形および半径方向DOE項は両方とも、導波管の外側で組み合わせられてもよく、その場合、高回折効率が所望されるであろう。
図21Nを参照すると、図8Qにおいて前述のもの等のセグメント化または放物反射体が示されている。複数のより小さい反射体を組み合わせることによって、セグメント化反射体を実行するのではなく、一実施形態では、サブセクションによって制御可能であるように、同一の機能性が、各セクションのための異なる位相プロファイルを有するDOEを伴う単一の導波管から生じてもよい。言い換えると、セグメント化反射体の機能性全体は、ともにオンまたはオフにされてもよいが、概して、DOEは、空間(例えば、ユーザの瞳孔)内の同一の領域に向かって光を指向するように構成されてもよい。
図22A-22Zを参照すると、「自由形状光学」として知られる光学構成が、前述の課題のうちのあるものにおいて利用されてもよい。用語「自由形状」は、概して、球状、放物、または円筒形レンズが幾何学的制約等の設計複雑性を満たさない状況で利用され得る、恣意的に湾曲した表面を参照して使用される。例えば、図22Aを参照すると、ユーザが鏡(およびまた、時として、レンズ760)を覗き込んでいるときのディスプレイ762構成に関する共通課題のうちの1つは、視野がシステムの最終レンズ760によって輪郭を成される面積によって制限されることである。
図22Bを参照すると、簡単に言うと、いくつかのレンズ要素を含み得るディスプレイ762を有する場合、視野がディスプレイ(762)によって輪郭を成される角度より大きくなり得ないように、単純な幾何学的関係がある。図22Cを参照すると、そのような場合において、多くの場合、レンズ760につながる反射体764があるため、本課題は、実世界からの光も光学システムを通過させられる、拡張現実体験を有しようとしている場合に悪化する。反射体を介在させることによって、眼からレンズに達する全体的経路長が増加させられ、角度をきつくし、視野を縮小させる。
これを前提として、視野が増加させられるべき場合、レンズのサイズもまた増加され得る。しかしながら、これは、人間工学的な観点から、ユーザの額に向かって物理的レンズを押動させることを意味し得る。さらに、反射体は、より大きいレンズから光の全てを捕捉しない場合がある。したがって、ヒトの頭部の幾何学形状によって課せられる実用的制限があり、概して、従来の透視ディスプレイおよびレンズを使用して、40度を上回る視野を得る課題がある。
自由形状レンズでは、前述のような標準的平面反射体を有するのではなく、湾曲レンズ幾何学形状が視野を決定することを意味する、屈折力を伴う複合反射体およびレンズ(例えば、湾曲反射体766)を有する。図22Dを参照すると、図22Cを参照して前述のような従来のパラダイムの遠回りの経路長がないと、自由形状配列が光学的要件の所与の集合のために有意により大きい視野を実現することが、可能である。
図22Eを参照すると、典型的自由形状光学は、3つの活性表面を有する。図22Eを参照すると、1つの典型的自由形状光学770構成では、光は、フラットパネルディスプレイ768等の画像平面から自由形状光学に向かって、第1の活性表面772の中へ指向されてもよい。本第1の活性表面772は、透過光を屈折させ、焦点変化を付与する、主に透過性の自由形状表面(第3の表面からの最終的な跳ね返りが一致/反対無非点収差を追加し得、これらが望ましくは相殺されるため、追加無非点収差等)であってもよい。入射光は、第1の表面から第2の表面(774)へ指向されてもよく、それは、第3の表面776に向かった全内部反射下で光を反射させるために十分に浅い角度で衝打してもよい。
第3の表面は、図22Eに示されるように、第2の表面を通して眼に向かって光を跳ね返すように構成される、半透の恣意的に湾曲した表面を備えてもよい。したがって、描写される典型的自由形状構成では、光は、第1の表面を通って入射し、第2の表面から跳ね返り、第3の表面から跳ね返り、第2の表面から外へ指向される。第1の通過での必要反射特性、ならびに光が眼に向かって出射される際の第2の通過での屈折特性を有するための第2の表面の最適化により、単純な球体または放物線よりも高次の形状を伴う種々の湾曲表面が、自由形状光学の中に形成される。
図22Fを参照すると、補償レンズ780は、光学アセンブリの総厚が実質的に均一な厚さであるように、自由形状光学770に、好ましくは、倍率を伴わずに、拡張現実構成において実世界144から入射する光に追加されてもよい。
図22Gを参照すると、自由形状光学770は、ある制約内で捕捉された光の全内部反射を促進するように構成される導波管778と組み合わせられてもよい。例えば、図22Gに示されるように、光は、フラットパネルディスプレイ等の画像平面から自由形状/導波管アセンブリの中へ指向され、湾曲自由形状表面に衝突し、ユーザの眼に向かって逃散するまで、導波管内で全内部反射されてもよい。したがって、光は、自由形状楔部分に接近するまで、全内部反射において数回跳ね返る。
そのようなアセンブリを用いた主要な目的のうちの1つは、より大きい視野のために(全内部反射による移送、また、さらなる補償を伴わないアセンブリを通した世界の視認を促進するように)可能な限り均一な厚さを保持しながら、光学アセンブリを延長しようとすることである。図22Hは、図22Hの構成がまた、厚さの均一性をさらに拡張し、さらなる補償を伴わないアセンブリを通した世界の視認を支援するように、補償レンズ部分を特徴とすることを除いて、図22Gに類似する構成を描写する。
図22Iを参照すると、別の実施形態では、左下の角に、典型的には、自由形状光学とともに使用されるものとは異なる場所において画像情報の投入を促進するように構成される、小さい平坦表面、すなわち、第4の面784を伴って、自由形状光学782が示されている。入力デバイス786は、例えば、非常に小さい出力幾何学形状を有するように設計され得る、走査ファイバディスプレイを備えてもよい。第4の面は、それ自体が種々の幾何学形状を備え、平面または自由形状表面幾何学形状を使用すること等によって、その独自の屈折力を有してもよい。
図22Jを参照すると、実際は、そのような構成はまた、光を第2の表面に戻るように指向し、次いで、第2の表面を横断して眼58に光を指向する、第3の表面に光を跳ね返すように、第1の表面に沿って反射コーティング788を特徴としてもよい。画像情報の投入のための第4の小さい表面の追加は、よりコンパクトな構成を促進する。古典的な自由形状入力構成および走査ファイバディスプレイ790が利用される、ある実施形態では、いくつかのレンズ(792、794)が、走査ファイバディスプレイからの出力を使用して画像平面(796)を適切に形成するために必要とされてもよい。これらのハードウェア構成要素は、所望されない場合がある、余分な体積を追加し得る。
図22Kを参照すると、走査ファイバディスプレイ790からの光が、画像平面796まで入力光学アセンブリ(792、794)を通過され、次いで、自由形状光学770の第1の表面を横断して、第2の表面から跳ね返る全内部反射に指向され、次いで、第3の表面から跳ね返る別の全内部反射が、光を第2の表面を横断して出射させ、眼58に向かって指向させる、実施形態が示されている。
反射コーティングがないように(例えば、表面との入射臨界角が満たされ、その時点で前述の楔形状の光学に類似する様式で光が出射するまで、全内部反射が光の伝搬のために依拠されているように)完全内部反射自由形状導波管が、作成されてもよい。言い換えると、2つの平面表面を有するのではなく、放物線、球体、楕円形等の円錐形曲線の集合からの1つ以上のサブ表面を備えている、表面を有してもよい。
そのような構成は、光学内で全内部反射のための十分に浅い角度を生成してもよい。本アプローチは、従来の自由形状光学と楔形状の導波管との間のハイブリッドであると見なされ得る。そのような構成を有する1つの動機は、製品反射に役立ち得るが、実世界144から透過する光の比較的大部分(50%等)の透過を防止することが知られている、反射コーティングの使用を回避することである。さらに、そのようなコーティングはまた、入力デバイスから自由形状光学の中に入る同等量の光を遮断し得る。したがって、反射コーティングを有していない設計を開発する理由がある。
前述のように、従来の自由形状光学の表面の内の1つは、半透反射表面を備えてもよい。概して、そのような反射表面は、概して、全ての波長を同様に反射することを意味する、「中性密度」であろう。走査ファイバディスプレイが入力として利用される実施形態等の別の実施形態では、従来の反射体パラダイムは、薄膜レーザ線反射体等の波長感受性である狭帯域反射体と置換されてもよい。したがって、一実施形態では、構成は、特定の赤色/緑色/青色波長範囲を反射し、他の波長に対して受動的なままであってもよい。これは、概して、光学の透明度を増加させ、したがって、光学を横断する実世界144からの画像情報の伝送も重視される、拡張現実構成のために好ましいであろう。
図22Lを参照すると、複数の自由形状光学(770)がZ軸において(例えば、眼の光学軸と実質的に整合される軸に沿って)スタックされ得る、実施形態が描写されている。一変形例では、3つの描写される自由形状光学のそれぞれは、青色を1つの表面から、緑色を別の表面から、赤色を第3の表面から反射させるよう、画像がそれぞれの中へ投入され得るように、波長選択的コーティング(例えば、1つが青色に対して、次が緑色に対して、次が赤に対して高度に選択的である)を有してもよい。そのような構成は、例えば、色収差問題に対処するため、明視野を作成するため、および/または機能的な射出瞳サイズを増加させるために利用されてもよい。
図22Mを参照すると、単一の自由形状光学798が、それらの反射特性が個々に制御され得るように、それぞれ、波長または偏光選択的であり得る、複数の反射表面(800、802、804)を有する、実施形態が示されている。
図22Nを参照すると、一実施形態では、走査光ディスプレイ786等の複数のマイクロディスプレイが、画像をタイル状にし(それによって、増加した視野を提供し)、機能的瞳孔サイズを増加させ、または(例えば、1つのディスプレイにつき1つの波長を反射することによって)色収差等の課題に対処するように、単一自由形状光学の中に投入されてもよい。描写されるディスプレイのそれぞれは、自由形状光学に対するディスプレイの異なる位置付けにより、自由形状光学を通した異なる経路をとるであろう光を投入し、それによって、より大きい機能的射出瞳出力を提供するであろう。
一実施形態では、走査ファイバディスプレイのパケットまたは束が、走査ファイバディスプレイを自由形状光学に動作時可能に結合する際に課題のうちの1つを克服するために、入力として利用されてもよい。走査ファイバディスプレイ構成に関する1つのそのような課題は、個々のファイバの出力が、ある開口数または「NA」を用いて放出されることである。NAは、ファイバからの光の投影角度である。最終的には、本角度は、種々の光学を通過するビームの直径を決定し、かつ最終的には、出射機能的射出瞳サイズを決定する。
したがって、自由形状光学構成を伴う射出瞳サイズを最大限にするために、コアとクラッディングとの間等の最適化された屈折関係を使用して、ファイバのNAを増加させてもよく、または、ファイバの端部にレンズ(例えば、勾配屈折率レンズまたは「GRIN」レンズ等の屈折レンズ)を設置し、もしくは前述のようにファイバの端部の中へレンズを構築してもよい。別のアプローチは、自由形状光学の中へ供給しているファイバのアレイを作成することであってもよく、その場合、束の中のこれらのNAの全ては、小さいままであり、それによって、射出瞳において、凝集体として大射出瞳の機能的均等物を形成する、小射出瞳のアレイを生成する。
代替として、別の実施形態では、走査ファイバディスプレイまたは他のディスプレイのより低密度なアレイ(例えば、パケットとして緊密に束化されていない)が、仮想画像の視野を自由形状光学を通して機能的に増加させるために利用されてもよい。図22Oを参照すると、別の実施形態では、複数のディスプレイまたはディスプレイ786が、自由形状光学770の上部を通して、別の複数のディスプレイ786が、下側の角を通して投入されてもよい。ディスプレイアレイは、2または3次元アレイであってもよい。図22Pを参照すると、別の関連実施形態では、画像情報はまた、自由形状光学770の側面806からも同様に投入されてもよい。
複数のより小さい射出瞳が機能的により大きい射出瞳の中に凝集されるべき、ある実施形態では、所与の束または複数のプロジェクタもしくはディスプレイ内に、赤色ファイバのみのサブ群、青色ファイバのみのサブ群、および緑色ファイバのみのサブ群を有し得るように、走査ファイバのそれぞれを単色にするように選択してもよい。そのような構成は、光を光ファイバの中にもたらすための出力結合の際、さらなる効率性を促進する。例えば、本アプローチは、赤色、緑色、および青色を同一帯域の中に重畳させる必要はないであろう。
図22Q-22Vを参照すると、種々の自由形状光学タイルディスプレイ構成が、描写される。図22Qを参照すると、2つの自由形状光学が、隣り合わせでタイル表示され、各側の走査光ディスプレイ786等のマイクロディスプレイが、1つの自由形状光学楔が視野の各半分を表すように、画像情報を各側から投入するように構成される、実施形態が、描写される。
図22Rを参照すると、補償器レンズ808が、光学アセンブリを通して実世界のビューを促進するために含まれてもよい。図22Sは、自由形状光学楔が、そのような光学アセンブリの厚さを比較的に均一に保ちながら、機能的視野を増加させるために隣り合わせでタイル表示される、構成を図示する。
図22Tを参照すると、星形形状のアセンブリが、比較的に薄い全体的光学アセンブリ厚もまた維持しながら、より大きい視野拡大を提供し得る構成において、複数の自由形状光学楔を備えている(また、画像情報を入力するための複数のディスプレイとともに示される)。
タイル表示された自由形状光学アセンブリでは、光学要素は、より大きい視野を生成するように凝集されてもよい。前述のタイルディスプレイ構成は、本概念に対処している。例えば、2つの自由形状導波管が、図22Rに描写されるもの等、眼に照準されている構成では、視野を増加させるためのいくつかの方法がある。1つの選択肢は、その出力が、瞳孔の空間内で共有、すなわち、重畳されるように、自由形状導波管を「内向き」にすることである。例えば、ユーザには、左側自由形状導波管を通して視野の左半分が、右側自由形状導波管を通して視野の右半分が見え得る。
そのような構成では、視野は、タイル表示された自由形状導波管を用いて増加されているが、射出瞳のサイズは、拡大されていない。代替として、自由形状導波管は、それほど内向きではないように配向されてもよく、したがって、眼の解剖学的瞳孔において隣り合わせの射出瞳が作成される。一実施例では、解剖学的瞳孔は、8mmの幅であり得、隣り合わせの射出瞳の各々は、機能的射出瞳が約2倍拡大されるように、8mmであってもよい。したがって、そのような構成は、拡大された射出瞳を提供する。しかしながら、眼が、その射出瞳によって定義された「アイボックス」の周囲で移動される場合、その眼は、視野の一部を喪失(例えば、そのような構成の隣り合わせの性質のため、左または右入射光のいずれかの一部を損失)し得る。
特に、ユーザの眼に対してZ軸において、自由形状光学をタイル表示するためのそのようなアプローチを使用する、一実施形態では、赤色/緑色/青色色収差が対処され得るように、赤色波長は、1つの自由形状光学を通して、緑色は、別の自由形状光学を通して、青色は、別の自由形状光学を通して駆動されてもよい。複数の自由形状光学要素がまた、それぞれ、特定の波長をアドレス指定するように構成される、スタックされたそのような構成に提供されてもよい。
図22Uを参照すると、2つの反対に配向された自由形状光学が、Z軸にスタックされて示される(例えば、相互に対して上下逆である)。そのような構成では、補償レンズは、アセンブリを通した正確なビューを促進するために要求されなくてもよい。言い換えると、図22Fまたは図22Rの実施形態におけるように、補償レンズを有するのではなく、光を眼に経路指定するのをさらに補助し得る、付加的自由形状光学が、利用されてもよい。図22Vは、2つの自由形状光学要素のアセンブリが垂直スタックとして提示される、別の類似構成を示す。
1つの表面が自由形状光学内の別の表面に干渉しないことを確実にするために、波長または偏光選択反射体表面を使用してもよい。例えば、図22Vを参照すると、650nm、530nm、および450nmの形態の赤色、緑色、ならびに青色波長が、620nm、550nm、および470nmの形態における赤色、緑色、ならびに青色波長と同様に、投入されてもよい。異なる選択反射体が、相互に干渉しないように、自由形状光学の各々において利用されてもよい。偏光フィルタが類似目的のために使用される構成では、特定の軸において偏光される光のための反射/伝送選択性が、変動されてもよい(例えば、画像は、各自由形状導波管に送信される前に事前に偏光され、反射体選択性と協働してもよい)。
図22Wおよび22Xを参照すると、複数の自由形状導波管がともに直列に利用され得る構成が、図示される。図22Wを参照すると、光が、実世界から入射し、順次、第1の自由形状光学770を通して、ピクセル毎ベースでフィルタリングされた光を反射させるように構成され得る(例えば、遮閉マスクが、前述のように、暗視野知覚等のために、実世界のある要素を遮断するために利用されてもよい;前述のように、DMD、LCD、強誘電LCOS、MEMSシャッタアレイ、および同等物を備えている、好適な空間光変調器が、使用されてもよい)、DLPシステムからのDMD等の反射体810に光を中継するように構成され得る、随意のレンズ812を通して、光をユーザの眼28に中継する別の自由形状光学770に指向され得る。そのような構成は、空間光変調のための従来のレンズを使用するものよりコンパクトであり得る。
図22Xを参照すると、全体的厚さを最小限に保つことが非常に重要なシナリオでは、高反射性表面が光を別のコンパクトに位置付けられた自由形状光学の中に直線に跳ね返り得るように高反射性である、1つの表面を有する、構成が、利用されてもよい。一実施形態では、選択減衰器814が、2つの自由形状光学770間に介在されてもよい。
図22Yを参照すると、自由形状光学770がコンタクトレンズシステムの一側面を備え得る、実施形態が、描写される。小型自由形状光学が、図22Fを参照して説明されるものと同様に、小型補償器レンズ部分780とともに、ユーザの眼58の角膜に対して係合されて示される。信号が、例えば、自由形状光学とユーザの涙管面積との間または自由形状光学と別の頭部搭載ディスプレイ構成との間に結合され得る、テザリングされた走査ファイバディスプレイを使用して、小型自由形状アセンブリの中に投入されてもよい。
(1人以上のユーザとARシステムとの間の相互作用)
(クラウドとのユーザシステム相互作用)
前述の実施形態では、種々の光学が説明されたが、以下の議論は、1つ以上のARシステム間の相互作用およびARシステムと物理世界との間の相互作用に焦点を当てるであろう。図23および24に図示されるように、明視野生成サブシステム(例えば、それぞれ、2300および2302)は、好ましくは、明視野を生成するために動作可能である。例えば、光学装置2360またはサブシステムは、光を生成または投影し、実3次元オブジェクトまたは場面から反射する光によって生成されるであろう、4次元(4D)明視野をシミュレートしてもよい。例えば、導波管反射体アレイプロジェクタ(WRAP)装置2310または複数の深度平面3次元(3D)ディスプレイシステム等の光学装置が、複数の仮想深度平面をそれぞれの半径方向焦点距離に生成または投影し、4D明視野をシミュレートしてもよい。
(クラウドとのユーザシステム相互作用)
前述の実施形態では、種々の光学が説明されたが、以下の議論は、1つ以上のARシステム間の相互作用およびARシステムと物理世界との間の相互作用に焦点を当てるであろう。図23および24に図示されるように、明視野生成サブシステム(例えば、それぞれ、2300および2302)は、好ましくは、明視野を生成するために動作可能である。例えば、光学装置2360またはサブシステムは、光を生成または投影し、実3次元オブジェクトまたは場面から反射する光によって生成されるであろう、4次元(4D)明視野をシミュレートしてもよい。例えば、導波管反射体アレイプロジェクタ(WRAP)装置2310または複数の深度平面3次元(3D)ディスプレイシステム等の光学装置が、複数の仮想深度平面をそれぞれの半径方向焦点距離に生成または投影し、4D明視野をシミュレートしてもよい。
WRAP装置2310または複数の深度平面3Dディスプレイシステムの形態における光学装置2360は、例えば、直接または間接的にのいずれかにおいて、画像をユーザの各眼の中に投影してもよい。仮想深度平面の数および半径方向場所が、半径方向距離の関数として、ヒト視覚系の深度分解能に匹敵するとき、離散集合の投影された深度平面は、実連続3次元オブジェクトまたは場面によって生成される、心理物理的影響を模倣する。1つ以上の実施形態では、システム2300は、ARユーザ毎にカスタマイズされ得る、フレーム2370を備えてもよい。システム2300の付加的構成要素は、ARシステムの種々の電気および電子サブ部分を相互に接続する、(以下にさらに詳細に論じられるであろうような)電子機器2330を含んでもよい。
システム2300はさらに、1つ以上の仮想画像に関連付けられた光を導波管プリズム2310の中に投影する、マイクロディスプレイ2320を備えてもよい。図23に示されるように、マイクロディスプレイ2320から生成される光は、導波管2310内を進行し、光の一部は、ユーザの眼2390に到達する。1つ以上の実施形態では、システム2300はさらに、1つ以上の補償レンズ2380を備え、仮想画像に関連付けられた光を改変してもよい。図24は、図23と同一構成要素を図示するが、マイクロディスプレイ2320からの光が、どのように導波管2310を通して進行し、ユーザの眼2390に到達するかを図示する。
光学装置2360は、それぞれ、線形導波管のそれぞれ内に埋め込まれる、位置する、または形成される、それぞれの一連の非構成湾曲球状反射体または鏡を伴う、いくつかの線形導波管を含んでもよいことを理解されたい。一連の非構成湾曲球状反射体または鏡は、無限遠合焦光を具体的半径方向距離に再合焦するように設計される。凸面球状鏡が、出力球状波を生成し、凸面球状鏡映の背後の定義された距離に位置するように見える、仮想点源を表すために使用されることができる。
線形または長方形導波管内に一連のマイクロ反射体(その形状(例えば、2つの軸を中心とする曲率半径)および配向)をともに連結することによって、特定のx、y、z座標における仮想点源によって生成される球状波正面に対応する、3D画像を投影可能となる。2D導波管または層の各々は、他の導波管に対して独立光学経路を提供し、波正面を成形し、入射光を合焦させ、それぞれの半径方向距離に対応する仮想深度平面を投影する。
十分な数の2D導波管を用いることで、投影された仮想深度平面を視認するユーザは、3D効果を体験する。そのようなデバイスは、2013年6月11日に出願された米国特許出願第13/915,530号に説明されている。他の実施形態は、他の組み合わせの光学システムを備えてもよく、図23および24に関連して説明される実施形態は、例証目的にすぎないことを理解されたい。
ARシステムのオーディオサブシステムは、種々の形態をとってもよい。例えば、オーディオサブシステムは、単純な2つのスピーカの2チャネルステレオシステムまたはより複雑な複数のスピーカシステム(5.1、7.1、12.1チャネル)の形態をとってもよい。いくつかの実装では、オーディオサブシステムは、3次元音場を生成するように動作可能であってもよい。
ARシステムは、1つ以上の別個の構成要素を含んでもよい。例えば、ARシステムは、図23および24の例証される実施形態に示されるもの等の頭部装着または搭載式構成要素を含んでもよい。頭部装着または搭載式構成要素は、典型的には、視覚システム(例えば、図23および24に示されるもの等)を含む。頭部装着式構成要素はまた、オーディオ変換器(例えば、スピーカ、マイクロホン)を含んでもよい。
オーディオ変換器は、視覚的構成要素と統合されてもよく、例えば、各オーディオ変換器は、視覚的構成要素を伴う共通フレームから支持される。代替として、オーディオ変換器は、視覚的構成要素を担持するフレームと別個であってもよい。例えば、オーディオ変換器は、図4Dに示されるもの等、ベルトパックの一部であってもよい。
図23および24に図示されるように、ARシステムは、頭部装着式構成要素(例えば、図23および24に示されるように、光学サブシステム)と別個の、別個の計算構成要素(例えば、処理サブシステム)を含んでもよい。処理サブシステムまたは計算構成要素は、例えば、使用の間、ベルトまたはズボンの胴回りに便宜的に結合され得る、ベルトパックの形態をとってもよい。代替として、計算構成要素は、例えば、携帯情報端末またはスマートフォンタイプデバイスの形態をとってもよい。
計算構成要素は、1つ以上のプロセッサ、例えば、1つ以上のマイクロコントローラ、マイクロプロセッサ、グラフィカル処理ユニット、デジタル信号プロセッサ、特定用途向け集積回路(ASIC)、プログラマブルゲートアレイ、プログラマブル論理回路、または論理を具現化するか、もしくはソフトウェアまたはファームウェア内にエンコードされた命令内に具現化された論理を実行可能であるかのいずれかである、他の回路を含んでもよい。計算構成要素は、1つ以上の非一過性コンピュータまたはプロセッサ可読媒体、例えば、揮発性および/または不揮発性メモリ、例えば読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、静的RAM、動的RAM、フラッシュメモリ、EEPROM等を含んでもよい。
前述のように、計算構成要素は、頭部装着式構成要素に通信可能に結合されてもよい。例えば、計算構成要素は、適切なコネクタを伴うケーブルを介した1つ以上のワイヤまたは光ファイバを介して、頭部装着式構成要素に通信可能にテザリングされてもよい。計算構成要素および頭部装着式構成要素は、種々のテザリングされたプロトコル、例えば、UBS(登録商標)、USB2(登録商標)、USB3(登録商標)、Ethernet(登録商標)、Thunderbolt(登録商標)、Lightning(登録商標)プロトコルのいずれかに従って通信してもよい。
代替として、または加えて、計算構成要素は、頭部装着式構成要素に無線で通信可能に結合されてもよい。例えば、計算構成要素および頭部装着式構成要素の各々は、送信機と、受信機または送受信機(集合的に、無線)に関連付けられたアンテナとを含み、無線通信をその間に確立してもよい。無線およびアンテナは、種々の形態をとってもよい。例えば、無線は、短距離通信可能であってもよく、Bluetooth(登録商標)、WI-FI(登録商標)、またはあるIEEE802.11準拠プロトコル(例えば、IEEE802.11n、IEEE802.11a/c)等の通信プロトコルを採用してもよい。
図23および24に図示されるように、身体または頭部装着式構成要素は、拡張現実コンテンツ、例えば、拡張現実視覚および/または聴覚コンテンツをユーザに送達するように動作可能な電子機器ならびにマイクロディスプレイを含んでもよい。電子機器(例えば、図23および24における2320の一部)は、電気または電子構成要素を含む、種々の回路を含んでもよい。種々の回路は、拡張現実コンテンツを送達するか、および/または周囲物理環境および/またはユーザについての情報を感知、測定、もしくは収集するかのいずれかである、いくつかの変換器に通信可能に結合される。
図25は、例証される実施形態の1つによる、拡張現実デバイスのための電子機器のための例示的アーキテクチャ2500を示す。
ARデバイスは、1つ以上の印刷回路基板構成要素、例えば、左(2502)および右(2504)印刷回路基板アセンブリ(PCBA)を含んでもよい。図示されるように、左PCBA2502は、能動電子機器の大部分を含む一方、右PCBA604は、主に、ディスプレイまたはプロジェクタ要素をサポートする。
右PCBA2504は、画像情報および制御信号を画像生成構成要素に提供する、いくつかのプロジェクタドライバ構造を含んでもよい。例えば、右PCBA2504は、第1または左のプロジェクタドライバ構造2506および第2または右のプロジェクタドライバ構造2508を担持してもよい。第1または左のプロジェクタドライバ構造2506は、第1または左のプロジェクタファイバ2510および信号線の集合(例えば、圧電ドライバワイヤ)を接合する。第2または右のプロジェクタドライバ構造2508は、第2または右のプロジェクタファイバ2512および信号線の集合(例えば、圧電ドライバワイヤ)を接合する。第1または左のプロジェクタドライバ構造2506は、第1または左の画像プロジェクタに通信可能に結合される一方、第2または右のプロジェクタドライバ構造2508は、第2または右の画像プロジェクタに通信可能に結合される。
動作時、画像プロジェクタは、仮想コンテンツを、それぞれの光学構成要素、例えば導波管および/または補償レンズを介して、ユーザの左および右眼(例えば、網膜)にレンダリングする(例えば、図23および24に示されるように)。
画像プロジェクタは、例えば、左および右プロジェクタアセンブリを含んでもよい。プロジェクタアセンブリは、種々の異なる画像形成または作製技術、例えば、ファイバ走査プロジェクタ、液晶ディスプレイ(LCD)、LCOSディスプレイ、デジタル光処理(DLP)ディスプレイを使用してもよい。ファイバ走査プロジェクタが採用される場合、画像は、光ファイバの先端を介して、光ファイバに沿って、そこから投影されるように送達され得る。先端は、導波管の中に送り込まれるように配向されてもよい(図23および24)。光ファイバの先端は、画像を投影してもよく、撓曲または発振するようにサポートされ得る。いくつかの圧電アクチュエータは、先端の発振(例えば、周波数、振幅)を制御してもよい。プロジェクタドライバ構造は、画像をそれぞれの光ファイバに提供し、圧電アクチュエータを制御するための信号を制御し、画像をユーザの眼に投影する。
右PCBA2504について継続すると、ボタンボードコネクタ2514は、種々のユーザアクセス可能ボタン、キー、スイッチ、または他の入力デバイスを担持する、ボタンボード2516に通信および物理結合を提供してもよい。右PCBA2504は、右イヤホンまたはスピーカコネクタ2518を含み、オーディオ信号を頭部装着式構成要素の右イヤホン2520またはスピーカに通信可能に結合してもよい。右PCBA2504はまた、右マイクロホンコネクタ2522を含み、オーディオ信号を頭部装着式構成要素のマイクロホンから通信可能に結合してもよい。右PCBA2504はさらに、右遮蔽ドライバコネクタ2524を含み、遮蔽情報を頭部装着式構成要素の右遮蔽ディスプレイ2526に通信可能に結合してもよい。右PCBA2504はまた、ボード/ボードコネクタを含み、そのボード/ボードコネクタ2534を介して、左PCBA2502との通信を提供してもよい。
右PCBA2504は、身体または頭部装着式である、1つ以上の右外向きに面したまたは世界ビューカメラ2528に、随意に、画像が捕捉されているときを他者に示すために照射する、右カメラ視覚的インジケータ(例えば、LED)に通信可能に結合されてもよい。右PCBA2504は、頭部装着式構成要素によって担持され、右眼の画像を捕捉し、右眼の配向および/または移動の追跡、検出、または監視を可能にするように位置付けられ、配向される、1つ以上の右眼カメラ2532に通信可能に結合されてもよい。右PCBA2504は、随意に、本明細書に説明されるように、右眼をあるパターン(例えば、時間的、空間的)の照射を用いて照射し、右眼の配向および/または移動の追跡、検出、または監視を促進する、1つ以上の右眼照射源2530(例えば、LED)に通信可能に結合されてもよい。
左PCBA2502は、1つ以上のコントローラ(例えば、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、グラフィカル処理ユニット、中央処理ユニット、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)2540、および/またはプログラマブル論理ユニット(PLU))を含み得る、制御サブシステムを含んでもよい。制御システムは、実行可能論理もしくは命令および/またはデータもしくは情報を記憶する、1つ以上の非一過性コンピュータまたはプロセッサ可読媒体を含んでもよい。非一過性コンピュータまたはプロセッサ可読媒体は、種々の形態、例えば、揮発性および不揮発性形態、例えば、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM、DRAM、SD-RAM)、フラッシュメモリ等をとってもよい。非一過性コンピュータまたはプロセッサ可読媒体は、例えば、マイクロプロセッサ、FPGA、またはASICの1つ以上のレジスタとして形成されてもよい。
左PCBA2502は、左イヤホンまたはスピーカコネクタ2536を含み、オーディオ信号を頭部装着式構成要素の左イヤホンまたはスピーカ2538に通信可能に結合してもよい。左PCBA2502は、ドライバイヤホンまたはスピーカに通信可能に結合される、オーディオ信号増幅器(例えば、ステレオ増幅器)2542を含んでもよい。左PCBA2502はまた、左マイクロホンコネクタ2544を含み、オーディオ信号を頭部装着式構成要素のマイクロホンから通信可能に結合してもよい。左PCBA2502はさらに、左遮蔽ドライバコネクタ2546を含み、遮蔽情報を頭部装着式構成要素の左遮蔽ディスプレイ2548に通信可能に結合してもよい。
左PCBA2502はまた、周囲環境および/またはユーザについての情報を検出、測定、捕捉、または別様に感知する、1つ以上のセンサまたは変換器を含んでもよい。例えば、加速変換器2550(例えば、3軸加速度計)は、3つの軸における加速を検出し、それによって、移動を検出してもよい。ジャイロスコープセンサ2552は、磁石またはコンパスの向きもしくは配向を検出してもよい。他のセンサまたは変換器は、同様に、採用されてもよい。
左PCBA2502は、身体または頭部装着式である、1つ以上の左外向きに面したまたは世界ビューカメラ2554、随意に、画像が捕捉されているときを他者に示すように照射する、左カメラ視覚的インジケータ(例えば、LED)2556に通信可能に結合されてもよい。左PCBAは、頭部装着式構成要素によって担持され、左眼の画像を捕捉し、左眼の配向および/または移動の追跡、検出、または監視を可能にするように位置付けられ、配向される、1つ以上の左眼カメラ2558に通信可能に結合されてもよい。左PCBA2502は、随意に、本明細書に説明されるように、左眼をあるパターン(例えば、時間的、空間的)の照射を用いて照射し、左眼の配向および/または移動の追跡、検出、または監視を促進する、1つ以上の左眼照射源(例えば、LED)2556に通信可能に結合されてもよい。
PCBA2502および2504は、1つ以上のポート、コネクタ、および/または経路を介して、別個の計算構成要素(例えば、ベルトパック)と通信可能に結合される。例えば、左PCBA2502は、1つ以上の通信ポートまたはコネクタを含み、ベルトパックとの通信(例えば、双方向通信)を提供してもよい。1つ以上の通信ポートまたはコネクタはまた、電力をベルトパックから左PCBA2502に提供してもよい。左PCBA2502は、通信ポートまたはコネクタに電気的に結合され、調整(例えば、昇圧、降圧、電流平滑化、過渡電圧の低減)するように動作可能な電力調整回路2580(例えば、DC/DC電力コンバータ、入力フィルタ)を含んでもよい。
通信ポートまたはコネクタは、例えば、データおよび電力コネクタまたは送受信機2582(例えば、Thunderbolt(登録商標)ポート、USB(登録商標)ポート)の形態をとってもよい。右PCBA2504は、ポートまたはコネクタを含み、電力をベルトパックから受信してもよい。画像生成要素は、電力を、例えば、ベルトパック内に位置し得る、ポータブル電源(例えば、化学電池、一次または二次電池、ウルトラキャパシタ電池、燃料電池)から受信してもよい。
図示されるように、左PCBA2502は、能動電子機器の大部分を含む一方、右PCBA2504は、主に、ディスプレイまたはプロジェクタおよび関連付けられた圧電駆動信号をサポートする。電気および/または光ファイバ接続は、ARシステムの身体または頭部装着式構成要素の正面、後面、または上部を横断して採用される。
PCBA2502および2504は両方とも、ベルトパックに通信可能に(例えば、電気的に、光学的に)結合される。左PCBA2502は、電力サブシステムおよび高速通信サブシステム含む。右PCBA2504は、ファイバディスプレイ圧電駆動信号に対処する。例証される実施形態では、右PCBA2504のみ、ベルトパックに光学的に接続される必要がある。他の実施形態では、右PCBAおよび左PCBAは両方とも、ベルトパックに接続されてもよい。
2つのPCBA2502および2504を採用するように図示されるが、身体または頭部装着式構成要素の電子機器は、他のアーキテクチャを採用してもよい。例えば、いくつかの実装は、より少ないまたはより多い数のPCBAを使用してもよい。また、例えば、種々の構成要素またはサブシステムは、図25に図示されるものと異なるように配列されてもよい。例えば、いくつかの代替実施形態では、一方のPCBA上に常駐する図25に図示される構成要素のうちのいくつかは、一般性を失うことなく、他方のPCBA上に位置してもよい。
図4A-4Dに図示されるように、各ユーザは、そのそれぞれのARシステム(概して、以下の議論では、個々のARシステムと称される)を使用してもよい。いくつかの実装では、個々のARシステムは、相互に通信してもよい。例えば、2つまたはそれを上回る近接して位置するARシステムは、相互に通信してもよい。本明細書にさらに説明されるように、通信は、1つ以上の実施形態では、ハンドシェイキングプロトコルの実施後に生じてもよい。ARシステムは、1つ以上の無線を介して、無線で通信してもよい。前述のように、そのような無線は、短距離の直接通信が可能であってもよく、またはより長距離の直接通信が可能であってもよい(例えば、リピータ、エクステンダ等を伴わずに)。加えて、または代替として、間接的なより長距離の通信が、1つ以上の中間デバイス(例えば、無線アクセスポイント、リピータ、エクステンダ)を介して、達成されてもよい。
ARシステムの頭部装着式構成要素は、1つ以上の「外向き」に面したカメラを有してもよい。1つ以上の実施形態では、頭部装着式構成要素は、1つ以上の「内向き」に面したカメラを有してもよい。本明細書で使用されるように、「外向きに面した」とは、頭部装着式構成要素を装着しているユーザではなく、カメラが周囲環境の画像を捕捉することを意味する。とりわけ、「外向き」に面したカメラは、ユーザの正面、左、右、またはさらに背後の面積を包含する、視野を有し得る。これは、ユーザの顔に面し、ユーザの顔の表情または眼の移動を捕捉する、頭部装着式構成要素、例えば、カメラを装着している個人の画像を捕捉する、内向きに面したカメラとは対照的である。
多くの実装では、ユーザによって装着されるパーソナル(または個人)ARシステムは、1つ以上のセンサ、変換器、または他の構成要素を含んでもよい。センサ、変換器、または他の構成要素は、(i)センサを装着するユーザの側面を検出するもの(例えば、本明細書では、内向きに面したセンサと称される)と、(ii)ユーザが位置する周囲環境内の条件を検出するもの(例えば、本明細書では、外向きに面したセンサと称される)との2つの一般的カテゴリにカテゴリ化され得る。これらのセンサは、多種多様な形態をとってもよい。例えば、センサは、1つ以上の画像センサ、例えばデジタル静止画または動画カメラを含んでもよい。また、例えば、センサは、1つ以上のオーディオセンサまたはマイクロホンを含んでもよい。他のセンサは、位置、移動、温度、心拍数、発汗等を検出してもよい。
前述のように、1つ以上の実施形態では、センサは、内向きに面してもよい。例えば、ユーザによって装着される画像センサは、ユーザの眼移動、ユーザの表情、またはユーザの四肢(腕、脚、手)を検出するように位置付けられる、および/または配向されてもよい。例えば、ユーザによって装着されるオーディオセンサまたはマイクロホンは、ユーザによって行われた発話を検出するように位置付けられる、および/または配向されてもよい。そのようなオーディオセンサまたはマイクロホンは、指向性であってもよく、使用の間、ユーザの口に近接して位置してもよい。
前述のように、センサは、外向きに面してもよい。例えば、ユーザによって装着される画像センサは、ユーザが位置する周囲環境および/またはユーザが相互作用するオブジェクトを視覚的に検出するように位置付けられる、および/または配向されてもよい。1つ以上の実施形態では、画像ベースのセンサは、カメラ(例えば、視野カメラ、IRカメラ、眼追跡カメラ等)を指し得る。また、例えば、ユーザによって装着されるオーディオセンサまたはマイクロホンは、他の人々のような自然源またはオーディオスピーカ等の非生物オブジェクトから生成されるかどうかにかかわらず、周囲環境内の音を検出するように位置付けられる、および/または配向されてもよい。外向きに面したセンサは、周囲環境の他の特性を検出してもよい。例えば、外向きに面したセンサは、周囲環境内の温度を検出する、温度センサまたは熱電対を含んでもよい。
外向きに面したセンサは、周囲環境内の湿度、空気の質、および/または気流を検出してもよい。外向きに面したセンサは、光検出器(例えば、フォトダイオード)を含み、周囲環境内の周囲光条件を検出してもよい。1つ以上の実施形態では、光プローブもまた、個々のARシステムの一部として使用されてもよい。外向きに面したセンサは、周囲環境内の他の人々および/または周囲環境内の移動を含む、オブジェクトの存在および/または不在を検出する、1つ以上のセンサを含んでもよい。
(物理空間/部屋ベースのセンサシステム)
図26のシステムアーキテクチャ2600に図示されるように、いくつかの実装では、ARシステムは、物理空間または部屋ベースのセンサシステムを含んでもよい。図26に図示されるように、ARシステム2602は、図23および24に示されるようなユーザの個々のARシステム(例えば、頭部搭載式拡張現実ディスプレイシステム等)から引き出すだけではなく、また、部屋ベースのセンサシステム2604を使用して、部屋および物理空間についての情報を収集してもよい。空間または部屋ベースのセンサシステム2604は、物理環境、例えば、部屋(例えば、オフィス、リビングルーム、メディアルーム、キッチン、または他の物理空間)等の空間から情報を検出および/または収集する。空間または部屋ベースのセンサシステム2604は、典型的には、1つ以上の画像センサ2606、例えば、1つ以上のカメラ(例えば、デジタル静止画カメラ、デジタル動画またはビデオカメラ)を含む。
図26のシステムアーキテクチャ2600に図示されるように、いくつかの実装では、ARシステムは、物理空間または部屋ベースのセンサシステムを含んでもよい。図26に図示されるように、ARシステム2602は、図23および24に示されるようなユーザの個々のARシステム(例えば、頭部搭載式拡張現実ディスプレイシステム等)から引き出すだけではなく、また、部屋ベースのセンサシステム2604を使用して、部屋および物理空間についての情報を収集してもよい。空間または部屋ベースのセンサシステム2604は、物理環境、例えば、部屋(例えば、オフィス、リビングルーム、メディアルーム、キッチン、または他の物理空間)等の空間から情報を検出および/または収集する。空間または部屋ベースのセンサシステム2604は、典型的には、1つ以上の画像センサ2606、例えば、1つ以上のカメラ(例えば、デジタル静止画カメラ、デジタル動画またはビデオカメラ)を含む。
画像センサは、1つ以上の実施形態では、ユーザによって装着されるパーソナルARシステムの一部を形成する、画像センサに加え、使用されてもよい。空間または部屋ベースのセンサシステムはまた、1つ以上のオーディオセンサまたは変換器2608、例えば、多指向性または指向性マイクロホンを含んでもよい。オーディオセンサまたは変換器は、音を生物オブジェクト(例えば、1人以上のユーザまたは周囲環境内の他の人々)から検出してもよい。オーディオセンサまたは変換器は、音を非生物オブジェクト、例えば、足音、テレビ、ステレオシステム、無線、または他の器具から検出してもよい。
空間または部屋ベースのセンサシステム2604はまた、周囲環境内の温度2612、湿度2614、空気の質2610、気流または速度2612、周囲光2616、存在/不在、移動2614等を感知する、他の環境センサを含んでもよい。これらの入力は全て、図26に示されるように、ARシステム2602にフィードバックされる。部屋ベースのセンサのうちのいくつかのみが、図26に示され、いくつかの実施形態は、より少ないまたはより多いセンササブシステムを備えてもよく、図26の実施形態は、限定として見なされるべきではないことを理解されたい。
空間または部屋ベースのセンサシステム2604は、空間または部屋ベースの座標系に関する情報を検出および/または収集してもよい。例えば、視覚もしくは光学情報および/または聴覚情報は、ユーザの基準フレームと異なる基準フレーム内のそのような情報の場所または源に対して参照されてもよい。例えば、そのような情報の源の場所は、空間または部屋ベースのセンサシステムもしくはその構成要素の基準フレーム内で識別されてもよい。空間または部屋ベースのセンサシステムもしくは構成要素の基準フレームは、比較的に固定されてもよく、物理空間自体の基準フレームと同じであってもよい。代替として、1つ以上の変換(例えば、平行移動および/または回転行列)が、空間または部屋ベースのセンサシステムもしくは構成要素の基準フレームと物理空間の基準フレームを数学的に関連させてもよい。
図27は、例証される実施形態の1つによる、1つ以上の有線または無線ネットワークによって通信可能に結合される、1つ以上のハブと、中央または分散型サーバコンピュータシステムと、1つ以上の個々のARシステムとを採用する、通信アーキテクチャを図示する。1つ以上の実施形態では、クラウドサーバは、ネットワーク(例えば、有線ネットワーク、無線ネットワーク、Bluetooth(登録商標)、セルラーネットワーク等)を通して、1つ以上の個々のARシステムによってアクセスされる、サーバを指し得る。例証される実施形態では、個々のARシステムは、ネットワーク2704を通して、クラウドサーバまたはサーバコンピュータシステム2780と通信する。1つ以上の実施形態では、クラウドサーバは、異なる場所にホストし、インターネットまたはあるタイプのネットワークを通して、オンデマンドで複数のユーザによってアクセスされる、ホスト化されたサーバまたは処理システムを指し得る。1つ以上の実施形態では、クラウドサーバは、クラウドを備えている、複数の接続されたサーバの集合であってもよい。
サーバコンピュータシステム2780は、例えば、クラスタ化されてもよい。例えば、サーバコンピュータシステムのクラスタは、種々の地理的に散乱した場所に位置してもよい。そのようなものは、通信を促進し、通過経路を短縮し、および/または冗長性を提供し得る。
パーソナルARシステム2708の具体的インスタンスは、クラウドネットワーク2704を通して、サーバコンピュータシステム2780に通信可能に結合されてもよい。サーバコンピュータシステム2780は、具体的ユーザの独自の物理および/または仮想世界についての情報を維持してもよい。サーバコンピュータシステム2780は、所与のユーザが、具体的ユーザの独自の物理および/または仮想世界についての情報を他のユーザと共有することを可能にしてもよい。加えて、または代替として、サーバコンピュータシステム2780は、他のユーザが、その独自の物理および/または仮想世界についての情報を所与のまたは具体的ユーザと共有することを可能にしてもよい。本明細書に説明されるように、サーバコンピュータシステム2780は、物理世界の大部分のマッピングおよび/またはキャラクタ化を可能にしてもよい。情報は、1人以上のユーザのパーソナルARシステムを介して、収集されてもよい。物理世界のモデルは、経時的に、多数のユーザを介した収集によって開発されてもよい。これは、所与のユーザが、物理世界の新しい部分または場所に進入し、特定の場所に以前行ったことがあるか、または現在居るかのいずれかである、他者によって収集された情報によって利益を享受することを可能にし得る。仮想世界のモデルは、それぞれのユーザによって、ユーザを介して経時的に作成されてもよい。
個々のARシステム2708は、サーバコンピュータシステムに通信可能に結合されてもよい。例えば、パーソナルARシステム2708は、1つ以上の無線を介して、サーバコンピュータシステム2780に無線で通信可能に結合されてもよい。無線は、前述のような短距離無線、または比較的に長距離の無線、例えば、セルラーチップセットおよびアンテナの形態をとってもよい。個々のARシステム2708は、典型的には、いくつかの中間通信ネットワークまたは構成要素介して、間接的に、サーバコンピュータシステム2780に通信可能に結合されるであろう。例えば、個々のARシステム2708は、典型的には、1つ以上の電気通信プロバイダシステム、例えば、1つ以上のセルラー通信プロバイダネットワークを介して、サーバコンピュータシステム2780に通信可能に結合されるであろう。
多くの実装では、ARシステムは、付加的構成要素を含んでもよい。1つ以上の実施形態では、ARデバイスは、例えば、1つ以上の触知デバイスもしくは構成要素を含んでもよい。触知デバイスまたは構成要素は、触感をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたは構成要素は、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、他の仮想構造物)にタッチすると、圧力および/またはテクスチャの触感を提供してもよい。触感は、仮想オブジェクトが表す、物理オブジェクトの感触を複製してもよく、または仮想コンテンツが表す、想像上のオブジェクトもしくはキャラクタ(例えば、ドラゴン)の感触を複製してもよい。
いくつかの実装では、触知デバイスまたは構成要素は、ユーザによって装着されてもよい。ユーザ装着式手袋の形態の触知デバイスの実施例が、本明細書に説明される。いくつかの実装では、触知デバイスまたは構成要素は、ユーザによって保持されてもよい。ユーザ装着式手袋の形態の触知デバイスの実施例(例えば、図34A)が、本明細書に説明される。種々の触知トーテムの形態の触知デバイスの他の実施例は、以下にさらに説明される。ARシステムは、加えて、または代替として、他のタイプの触知デバイスまたはユーザ入力構成要素を採用してもよい。
ARシステムは、例えば、ARシステムを用いて入力または相互作用可能であるようにユーザによって操作可能である、1つ以上の物理オブジェクトを含んでもよい。これらの物理オブジェクトは、本明細書では、トーテムと称され、以下にさらに詳細に説明されるであろう。いくつかのトーテムは、非生物オブジェクト、例えば、金属またはプラスチック片、壁、テーブルの表面の形態をとってもよい。代替として、いくつかのトーテムは、生物オブジェクト、例えば、ユーザの手の形態をとってもよい。
本明細書に説明されるように、トーテムは、実際には、任意の物理入力構造(例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ)を有していなくてもよい。代わりに、トーテムは、単に、物理表面を提供してもよく、ARシステムは、トーテムの1つ以上の表面上にあるようにユーザに見るように、ユーザインターフェースをレンダリングしてもよい。例えば、さらに本明細書により詳細に論じられるように、ARシステムは、トーテムの1つ以上の表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ARシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理キーまたはトラックパッドもしくはセンサを有していない。しかしながら、ARシステムは、長方形プレートを用いたユーザ操作または相互作用もしくはタッチを、仮想キーボードおよび/または仮想トラックパッドを介して行われた選択または入力として、検出してもよい。これらの構成要素の多くは、以下にさらに詳細に説明される。
(パス可能世界モデル)
パス可能世界モデルは、ユーザが、仮想上、ユーザの世界の断片(例えば、周囲環境、相互作用等)を別のユーザにパスすることを可能にする。各ユーザのそれぞれの個々のARシステムは、ユーザが環境を通過またはそこに存在するにつれて、ARシステムがパス可能世界モデルを生成するために処理する、情報を捕捉する。
パス可能世界モデルは、ユーザが、仮想上、ユーザの世界の断片(例えば、周囲環境、相互作用等)を別のユーザにパスすることを可能にする。各ユーザのそれぞれの個々のARシステムは、ユーザが環境を通過またはそこに存在するにつれて、ARシステムがパス可能世界モデルを生成するために処理する、情報を捕捉する。
個々のARシステムは、パス可能世界モデルをクラウドにおける共通または共有データのコレクションに通信またはパスしてもよい。個々のARシステムは、直接またはクラウドを介してのいずれかにおいて、パス可能世界モデルをARシステムの他のユーザに通信またはパスしてもよい。パス可能世界モデルは、本質的に、少なくともユーザの視野を包含する、情報を効率的に通信またはパスする能力を提供する。当然ながら、他の入力(例えば、感覚入力、画像入力、眼追跡入力等)も、加えて、クラウドにおけるパス可能世界モデルを拡張させるために伝送されてもよいことを理解されたい。
図28は、例証される実施形態の1つによる、パス可能世界モデル2800の構成要素を図示する。ユーザ2801が、環境を通して歩くにつれて、ユーザの個々のARシステム2810は、情報(例えば、画像、場所情報、位置、および配向情報等)を捕捉し、姿勢がタグ付けされた画像を通して情報を保存する。例証される実施形態では、オブジェクト2820(テーブルに類似する)の画像が、撮影されてもよく、マップ点2804は、捕捉された画像に基づいて収集されてもよい。これは、環境についての情報を捕捉した複数のキーフレーム(例えば、カメラ)2802によって示されるように、パス可能世界モデルのコアを形成する。
図28に示されるように、任意の所与の時間点における空間についての情報を捕捉する、複数のキーフレーム2802が存在してもよい。例えば、キーフレームは、特定の視点から情報を捕捉する、別のユーザのARシステムであってもよい。別のキーフレームは、定常視点を通して画像および点2804を捕捉する、部屋ベースのカメラ/センサシステムであってもよい。複数の視点からの画像および点を三角測量することによって、3D空間内の実オブジェクトの位置および配向が、決定されてもよい。
1つ以上の実施形態では、パス可能世界モデル2808は、ラスタ画像、点および記述子クラウド、ならびに多角形/幾何学的定義(本明細書では、パラメータ幾何学形状と称される)の組み合わせである。全本情報は、クラウドにアップロードされ、そこから読み出され、その区分は、ユーザが歩いたであろう特定の空間に対応する。図28に示されるように、パス可能世界モデルはまた、クラウドまたはユーザの個々のシステム2810上で機能し、複数のユーザの種々のキーフレームを通して捕捉された点および姿勢がタグ付けされた画像に基づいて、環境内のオブジェクトを認識する、多くのオブジェクト認識器2812を含む。本質的に、複数のキーフレーム2802を通して物理世界についての情報を継続して捕捉することによって、パス可能世界は、常時、成長し、実世界の既存の物理オブジェクトに関係する仮想コンテンツをレンダリングする方法を決定するために、検討されてもよい(継続的にまたは必要に応じて、)。情報をユーザの環境から収集することによって、パス可能世界2806の断片が、構築/拡張され、同時にまたは将来的に、1人以上のARユーザに「パス」されてもよい。
非同期通信が、ユーザのそれぞれの個々のARシステムとクラウドベースのコンピュータ(例えば、サーバコンピュータ)との間に確立される。言い換えると、ユーザの個々のARシステムは、常時、ユーザの周囲についての情報をクラウドに更新し、パス可能世界についてクラウドから情報を受信する。したがって、各ARユーザが、画像を捕捉し、捕捉された画像に基づいて、オブジェクトを認識する必要なく、非同期システムを有することによって、システムがより効率的となることが可能となる。世界のその部分についてすでに存在する情報は、自動的に、個々のARシステムに通信される一方、新しい情報は、クラウドに更新される。パス可能世界モデルは、クラウドまたは他の形態のネットワーキングコンピューティングもしくはピアツーピアシステム上に存在するだけではなく、また、ユーザの個々のARシステム上の両方に存在することを理解されたい。
1つ以上の実施形態では、ARシステムは、ローカル構成要素(例えば、ベルトパック等の計算構成要素)および遠隔構成要素(例えば、クラウドベースのコンピュータ2780)のための異なるレベルの分解能を採用してもよい。これは、遠隔構成要素(例えば、クラウドサーバ上に常駐するリソース)が、典型的には、ローカル構成要素より計算能力が高いためである。クラウドベースのコンピュータは、多くの異なる個々のARシステムおよび/または1つ以上の空間または部屋ベースのセンサシステムによって収集されたデータを取り上げ、本情報を利用して、パス可能世界モデルに追加してもよい。クラウドベースのコンピュータは、最良(例えば、最も有用な)情報のみを持続的世界モデルの中に集約してもよい。言い換えると、冗長情報および/または準最適品質情報は、システムの品質および/または性能を低下させないように、タイムリーに廃棄され得る。
図29は、パス可能世界モデルと相互作用する例示的方法2900を図示する。2902では、ユーザの個々のARシステムは、世界内のユーザの場所および配向を検出してもよい。1つ以上の実施形態では、場所は、以下にさらに詳細に説明されるであろうように、システムのトポロジマップによって導出されてもよい。他の実施形態では、場所は、GPSまたは任意の他の位置特定ツールによって導出されてもよい。パス可能世界は、常時、個々のARシステムによってアクセスされてもよいことを理解されたい。
別の実施形態では(図示せず)、ユーザは、別のユーザの空間へのアクセスを要求し、他のユーザに対応するパス可能世界のその区分および関連付けられたパラメータ情報にアクセスするようにシステムを促してもよい。したがって、パス可能世界のための多くのトリガが存在し得る。しかしながら、最も単純レベルでは、パス可能世界は、常時、複数のユーザシステムによって更新およびアクセスされ、それによって、常時、情報をクラウドに追加し、そこから受信することを理解されたい。
前述の実施例に従って、既知のユーザの場所に基づいて、2904では、システムは、ユーザの位置および意図される方向の両方を通信する、ユーザの周囲の物理面積を示す半径を引き出してもよい。次に、2906では、システムは、ユーザの予期される位置に基づいて、パス可能世界の断片を読み出してもよい。1つ以上の実施形態では、パス可能世界の断片は、以前のキーフレームを通して取得された空間の幾何学的マップと、クラウド内に記憶された捕捉された画像およびデータとからの情報を含み得る。2908では、ARシステムは、ユーザの環境からの情報をパス可能世界モデルの中にアップロードする。2910では、アップロードされた情報に基づいて、ARシステムは、ユーザの位置に関連付けられたパス可能世界をユーザの個々のARシステムにレンダリングする。
本情報は、仮想コンテンツが、コヒーレント様式でユーザの実環境と有意義に相互作用することを可能にする。例えば、仮想「モンスタ」が、実世界の特定の建物から生じるようにレンダリングされてもよい。または、別の実施例では、ユーザは、友人(同様に、ARシステムを装着している)が同一物理座標内で仮想オブジェクトを見つけるように、実世界の物理座標に関係する仮想オブジェクトを残してもよい。そのような能力(およびより多くのもの)を可能にするために、ARシステムが、常時、パス可能世界にアクセスし、情報を読み出し、アップロードすることが重要である。パス可能世界は、物理空間の実座標に関係する仮想および/またはデジタルコンテンツをレンダリングする際に必ず利用される、実空間の持続的デジタル表現を含むことを理解されたい。ARシステムは、実世界および/または仮想世界の座標を維持し得ることを理解されたい。いくつかの実施形態では、第三者は、実世界のマップ(例えば、座標)を維持してもよく、ARシステムは、世界の実オブジェクトに関係する仮想コンテンツをレンダリングするために、マップを検討し、1つ以上のパラメータを決定してもよい。
パス可能世界モデル自体は、ユーザに表示されるコンテンツをレンダリングしないことを理解されたい。むしろ、これは、クラウド内の実世界の持続的デジタル表現を動的に読み出し、更新する高レベル概念である。1つ以上の実施形態では、導出された幾何学的情報は、ゲームエンジン上にロードされ、これは、次いで、パス可能世界に関連付けられたコンテンツをレンダリングする。したがって、ユーザが特定の空間内に居るかどうかにかかわらず、その特定の空間は、デジタル表現を任意のユーザによってアクセスされ得るクラウド内に有する。パス可能世界の本断片は、空間の物理幾何学形状および空間の画像についての情報、空間を占有する種々のアバタについての情報、仮想オブジェクトについての情報、ならびに他の様々な情報を含み得る。
本明細書にさらに詳細に説明されるように、1つ以上のオブジェクト認識器は、パス可能世界モデルを検証または「クロール」し、パラメータ幾何学形状に属する点をタグ付けしてもよい。パラメータ幾何学形状、点、および記述子は、パス可能世界モデルの中にパッケージ化され、物理世界または環境の一部に対応する情報の短待ち時間パスまたは通信を可能にしてもよい。1つ以上の実施形態では、ARシステムは、2つの階層構造を実装することができ、パス可能世界モデルは、第1の階層において、高速後処理を可能にするが、次いで、その枠組みの中には、第2の階層(例えば、高速特徴)がある。1つ以上の実施形態では、第2の階層構造は、フレーム毎ベースの3次元(3D)特徴マッピングを行うことによって、分解能を増加させることができる。
図30は、オブジェクト認識器を通してオブジェクトを認識する例示的方法3000を図示する。3002では、ユーザが部屋の中に歩いていくと、ユーザの個々のARシステムは、ユーザの周囲についての情報(例えば、画像、センサ情報、姿勢タグ付けされた画像等)を複数の視点から捕捉する。3004では、3D点の集合が、1つ以上の捕捉された画像から抽出されてもよい。例えば、ユーザが部屋のある区分の中に歩いていくまでに、ユーザの個々のARシステムは、周囲についての多数のキーフレームおよび姿勢タグ付けされた画像をすでに捕捉している(図28に示される実施形態に類似する)。1つ以上の実施形態では、各キーフレームは、周囲内のオブジェクトの深度および色についての情報を含んでもよいことを理解されたい。
1つ以上の実施形態では、オブジェクト認識器(ローカルまたはクラウド内のいずれか)は、画像区画化技法を使用して、1つ以上のオブジェクトを見つけてもよい。異なるオブジェクトが、開発者によって書き込まれ、その特定のオブジェクトを認識するようにプログラムされたその独自のオブジェクト認識器によって認識され得ることを理解されたい。例証目的のために、以下の実施例は、オブジェクト認識器がドアを認識すると仮定するであろう。オブジェクト認識器は、キーフレームならびに複数のキーフレームから得られた2Dおよび3D特徴点を含む、空間の姿勢タグ付けされた画像を利用し、本情報および空間の幾何学形状を使用して、1つ以上のオブジェクト(例えば、ドア)を認識する、自律的および/またはアトミックなソフトウェアオブジェクトまたは「ロボット」であってもよい。
複数のオブジェクト認識器が、同時に、データの集合に起動されてもよく、複数のオブジェクト認識器は、相互に独立して起動してもよいことを理解されたい。オブジェクト認識器は、オブジェクトの2D画像(2Dカラー情報等)、3D画像(深度情報)を求め、また、3D低密度点を求め、世界の幾何学的座標フレーム内のオブジェクトを認識することを理解されたい。
次に、3006では、オブジェクト認識器は、2D区画化された画像特徴と低密度3D点を相関させ、2D/3Dデータ融合を使用して、オブジェクト構造およびオブジェクトについての1つ以上の特性を導出してもよい。例えば、オブジェクト認識器は、キーフレームに対するドアの具体的幾何学形状を識別してもよい。次に、3008では、オブジェクト認識器は、オブジェクトの幾何学形状をパラメータ化する。例えば、オブジェクト認識器は、意味論的情報をオブジェクトの幾何学的基本要素(例えば、ドアは、ヒンジを有する、ドアは、90度回転することができる等)に結び付けてもよい。または、オブジェクト認識器は、ドアのサイズを縮小し、オブジェクトの残りを周囲内に一致させてもよい等である。
3010では、ARシステムは、オブジェクトのパラメータ幾何学形状をクラウドに同期化させてもよい。次に、3012では、オブジェクト認識器は、幾何学的およびパラメータ情報をパス可能世界モデル中に再挿入してもよい。例えば、オブジェクト認識器は、ドアの角度を動的に推定し、それを世界の中に挿入してもよい。したがって、オブジェクト認識器の使用は、常時、ドアの角度またはドアの移動についての情報をリアルタイムで捕捉することを要求するのではなく、オブジェクト認識器が、記憶されたパラメータ情報を使用して、ドアの移動または角度を推定するため、システムが計算パワーを節約することを可能にすると予期され得る。これは、システムが、必ずしも、クラウドサーバ内の情報に依拠せずに、個々のARシステムの計算能力に基づいて、独立して機能することを可能にする。本情報は、仮想コンテンツが認識されたドアに関係して適切に表示され得るように、クラウドに更新され、他のARシステムに伝送されてもよいことを理解されたい。
前述で概略されたように、オブジェクト認識器は、低密度点(例えば、必ずしも、高密度点クラウドではない)、姿勢がタグ付けされた画像、および幾何学形状を取り込み、結び付けられた意味論を有する、パラメータ幾何学形状を生成する、アトミックな自律的ソフトウェアおよび/またはハードウェアモジュールである。意味論は、分類上の記述子、例えば、「壁」、「椅子」、「Aeron(登録商標)椅子」、および分類上の記述子に関連付けられた特性または特徴の形態をとってもよい。例えば、テーブル等の分類上の記述子は、「他のオブジェクトを支持することができる、平坦水平表面を有する」等の関連付けられた説明を有してもよい。存在論を前提として、オブジェクト認識器は、画像、点、随意に、他の幾何学形状を、意味(例えば、意味論)を有する幾何学形状に変換する。
個々のARシステムは、実世界環境内で動作することが意図されるため、点は、低密度の統計的に関連する自然特徴を表す。自然特徴は、機械視覚認識の目的のために、オブジェクトに追加(例えば、印刷、彫刻、または標識)される人工特徴とは対照的に、オブジェクトに固有のもの(例えば、縁、孔)である。点は、必ずしも、ヒトに可視である必要はない。点は、点特徴、例えば、線特徴および高次元特徴に限定されないことを理解されたい。
1つ以上の実施形態では、オブジェクト認識器は、タイプ1-基本オブジェクト(例えば、壁、カップ、椅子)と、タイプ2-詳細なオブジェクト(例えば、Aeron(登録商標)椅子、私の壁等)の2つのタイプにカテゴリ化され得る。いくつかの実装では、タイプ1認識器は、クラウド全体を横断して起動する一方、タイプ2認識器は、以前に見つけたタイプ1データに対して起動される(例えば、Aeron(登録商標)椅子に対して全椅子を検索する)。1つ以上の実施形態では、オブジェクト認識器は、オブジェクトの固有の特性を使用し、オブジェクト識別を促進してもよい。または、他の実施形態では、オブジェクト認識器は、実装を促進するために、オブジェクト間の存在論関係を使用してもよい。例えば、オブジェクト認識器は、窓が壁の「中」にあり得るという事実を使用し、窓のインスタンスの認識を促進してもよい。
1つ以上の実施形態では、オブジェクト認識器は、バンドル化、対合、または1つ以上のアプリケーションと論理的に関連付けられてもよい。例えば、「カップファインダ」オブジェクト認識器は、物理空間内のカップの存在を識別することが有用となるであろう、1つ、2つ、またはそれを上回るアプリケーションに関連付けられてもよい。例えば、コーヒー会社は、コーヒー会社によって提供されるカップの認識を可能にする、その独自の「カップファインダ」アプリケーションを作成してもよい。これは、コーヒー会社に関連する仮想コンテンツ/広告等の配信を可能にし得、直接および/または間接的に、コーヒー会社への関わりまたは関心を促し得る。
アプリケーションは、定義された認識可能視覚的データまたはモデルに論理的に接続される、もしくはそれに関連付けられることができる。例えば、画像内の任意のAeron(登録商標)椅子の検出に応答して、ARシステムは、Aeron(登録商標)椅子の製造業者および/または販売者であるHerman Miller Companyからのアプリケーションを呼び出す、または実行する。同様に、画像内のStarbucks(登録商標)の標識またはロゴの検出に応答して、ARシステムは、Starbucks(登録商標)アプリケーションを呼び出す、または実行する。
さらに別の実施例では、ARシステムは、一般的壁ファインダオブジェクト認識器のインスタンスを採用してもよい。一般的壁ファインダオブジェクト認識器は、壁についての詳細にかかわらず、画像情報内の壁のインスタンスを識別する。したがって、一般的壁ファインダオブジェクト認識器は、画像データ内に壁を構成する、垂直に配向された表面を識別し得る。ARシステムはまた、一般的壁ファインダと別個かつ異なる、具体的壁ファインダオブジェクト認識器のインスタンスを採用してもよい。
具体的壁ファインダオブジェクト認識器は、画像データ内で壁を構成し、一般的壁のもの以外の1つ以上の具体的特性を有する、垂直に配向された表面を識別する。例えば、所与の具体的壁は、定義された位置における1つ以上の窓と、定義された位置における1つ以上のドアとを有し得、定義された塗料色を有し得、壁から吊架された絵画を有し得る等であって、具体的壁を他の壁と視覚的に区別する。そのような特徴は、具体的壁ファインダオブジェクト認識器が、特定の壁を識別することを可能にする。例えば、具体的壁ファインダオブジェクト認識器の1つのインスタンスは、ユーザのオフィスの壁を識別してもよい。具体的壁ファインダオブジェクト認識器の他のインスタンスは、ユーザのリビングルームまたはベッドルームのそれぞれの壁を識別してもよい。
具体的オブジェクト認識器は、一般的オブジェクト認識器から自立してもよい。例えば、具体的壁ファインダオブジェクト認識器は、一般的壁ファインダオブジェクト認識器によって生成される任意の情報を採用せずに、一般的壁ファインダオブジェクト認識器から完全に独立して起動してもよい。代替として、具体的(例えば、より精緻化された)オブジェクト認識器は、より一般的オブジェクト認識器によって以前に見つけられたオブジェクトに対してネスト化されて起動されてもよい。例えば、一般的および/または具体的ドアファインダオブジェクト認識器は、ドアが壁内にあるはずであるため、一般的および/または具体的壁ファインダオブジェクト認識器によって見つけられた壁に対して起動してもよい。同様に、一般的および/または具体的窓ファインダオブジェクト認識器は、窓が壁の「中」にあるはずであるため、一般的および/または具体的壁ファインダオブジェクト認識器によって見つけられた壁に対して起動してもよい。
1つ以上の実施形態では、オブジェクト認識器は、オブジェクトの実在または存在を識別し得るだけではなく、また、オブジェクトに関連付けられた他の特性を識別してもよい。例えば、一般的または具体的ドアファインダオブジェクト認識器は、ドアが、ヒンジ付きまたはスライド式であるかどうか、ヒンジまたはスライドが位置するかどうか、ドアが現在開放または閉鎖位置にあるかどうか、および/またはドアが透明または不透明であるかどうか等、ドアのタイプを識別してもよい。
前述のように、各オブジェクト認識器は、アトミックである、すなわち、オブジェクト認識器は、自発的、自律的、非同期的、かつ本質的にブラックボックスソフトウェアオブジェクトである。これは、オブジェクト認識器が、コミュニティ構築されることを可能にする。開発者は、オブジェクト認識器を構築するように動機付けされてもよい。例えば、オブジェクト認識器のためのオンライン市場またはコレクションポイントが、確立されてもよい。オブジェクト認識器開発者は、他のオブジェクト認識器またはアプリケーション開発者によって開発されたアプリケーションとリンクまたは関連付けるために、オブジェクト認識器をポストすることが可能にされてもよい。
種々の他の報奨も同様に、提供されてもよい。また、例えば、報奨は、オブジェクト認識器がアプリケーションと論理的に関連付けられた回数に基づいて、および/またはオブジェクト認識器が論理的に関連付けられたアプリケーションの配信総数に基づいて、オブジェクト認識器開発者または作者に提供されてもよい。さらなる実施例として、報奨は、オブジェクト認識器がオブジェクト認識器と論理的に関連付けられたアプリケーションによって使用された回数に基づいて、オブジェクト認識器開発者または作者に提供されてもよい。報奨は、1つ以上の実施形態では、金銭による報奨であってもよい。他の実施形態では、報奨は、有料コンテンツのサービスまたは媒体へのアクセスの提供、および/または提供するサービス、媒体、または商品を取得するためのクレジットの提供を含んでもよい。
例えば、任意の数の別個の一般的および/または具体的オブジェクト認識器をインスタンス化可能であろう。いくつかの実施形態は、非常に多数の一般的および具体的オブジェクト認識器を要求してもよい。これらの一般的および/または具体的オブジェクト認識器は全て、同一データに対して起動されてもよい。前述のように、いくつかのオブジェクト認識器は、本質的に、相互の上部に層化されるように、ネスト化されることができる。
1つ以上の実施形態では、制御プログラムは、種々のオブジェクト認識器の選択、使用、または動作を制御し、例えば、その使用または動作を仲裁してもよい。いくつかのオブジェクト認識器は、異なる領域内に設置され、オブジェクト認識器が相互に重複しないことを確実にしてもよい。前述のように、オブジェクト認識器は、個々のARシステムのベルトパックにおいてローカルで起動してもよく、もしくは1つ以上のクラウドサーバ上で起動されてもよい。
(オブジェクト認識器のリングバッファ)
図31は、例証される実施形態の1つによる、オブジェクト認識器のリングバッファ3100を示す。ARシステムは、オブジェクト認識器をリング型トポロジ内に編成し、例えば、低ディスク読取利用を達成してもよい。種々のオブジェクト認識器は、リング上またはそれに沿って着座し、全て、並行して起動してもよい。パス可能世界モデルデータ(例えば、壁、天井、床)は、1つ以上の実施形態では、リングを通して起動されてもよい。データが、通り過ぎるにつれて、各オブジェクト認識器は、オブジェクト認識器が認識するオブジェクトに関連するそのデータを収集する。いくつかのオブジェクト認識器は、大量のデータを収集する必要があり得る一方、その他は、少量のデータのみを収集する必要があり得る。それぞれのオブジェクト認識器は、要求するデータは何でも収集し、前述の同一様式で結果を返す。
図31は、例証される実施形態の1つによる、オブジェクト認識器のリングバッファ3100を示す。ARシステムは、オブジェクト認識器をリング型トポロジ内に編成し、例えば、低ディスク読取利用を達成してもよい。種々のオブジェクト認識器は、リング上またはそれに沿って着座し、全て、並行して起動してもよい。パス可能世界モデルデータ(例えば、壁、天井、床)は、1つ以上の実施形態では、リングを通して起動されてもよい。データが、通り過ぎるにつれて、各オブジェクト認識器は、オブジェクト認識器が認識するオブジェクトに関連するそのデータを収集する。いくつかのオブジェクト認識器は、大量のデータを収集する必要があり得る一方、その他は、少量のデータのみを収集する必要があり得る。それぞれのオブジェクト認識器は、要求するデータは何でも収集し、前述の同一様式で結果を返す。
例証される実施形態では、パス可能世界データ3116は、リングを通して起動する。時計回りに開始し、一般的壁オブジェクト認識器3102が、最初に、パス可能世界データ3116上で起動され得る。一般的壁オブジェクト認識器3102は、壁3118のインスタンスを認識し得る。次に、具体的壁オブジェクト認識器3104が、パス可能世界データ3116上で起動し得る。同様に、テーブルオブジェクト認識器3106および一般的椅子オブジェクト認識器3108が、パス可能世界データ3116上で起動され得る。
具体的Aeron(登録商標)オブジェクト認識器3110等の具体的オブジェクト認識器もまた、データ上で起動され、Aeron椅子3120のインスタンスの認識に成功し得る。1つ以上の実施形態では、より大きいまたはより多くの一般的オブジェクト認識器が、データを最初に検証してもよく、より小さくかつより詳細な認識器が、より大きいものが起動された後にデータに目を通してもよい。リングを進むことによって、カップオブジェクト認識器3112およびフォークオブジェクト認識器3114が、パス可能世界データ3116上で起動されてもよい。
(パス可能世界内のアバタ)
パス可能世界モデルの延長として、オブジェクトだけが、認識されるのではなく、実世界の他のユーザ/人々も、認識されてもよく、仮想オブジェクトとしてレンダリングされてもよい。例えば、前述のように、第1のユーザの友人が、第1のユーザのARシステムにおいてアバタとしてレンダリングされてもよい。
パス可能世界モデルの延長として、オブジェクトだけが、認識されるのではなく、実世界の他のユーザ/人々も、認識されてもよく、仮想オブジェクトとしてレンダリングされてもよい。例えば、前述のように、第1のユーザの友人が、第1のユーザのARシステムにおいてアバタとしてレンダリングされてもよい。
いくつかの実装では、ユーザを適切に模倣するアバタをレンダリングするために、ユーザは、例えば、所望のまたは規定の移動の集合を通して移動させることによって、ARシステムを訓練してもよい。それに応答して、ARシステムは、アバタシーケンスを生成してもよく、アバタは、例えば、アバタを動画化することによって、移動を複製する。したがって、ARシステムは、ユーザの画像を捕捉または受信し、捕捉された画像内のユーザの移動に基づいて、アバタの動画を生成する。ユーザは、例えば、1つ以上のセンサを装着することによって装備されてもよい。1つ以上の実施形態では、ARシステムは、その個々のARシステムの種々のセンサによって捕捉されたデータに基づいて、ユーザの頭部、眼、および/または手の姿勢の場所を把握する。
1つ以上の実施形態では、ARシステムは、ユーザが、所定の移動および/またはパターンに基づいて、アバタを「設定」し、アバタを「訓練」することを可能にしてもよい。ユーザは、例えば、単に、訓練目的のために、いくつかの運動を行動で示すことができる。1つ以上の実施形態では、ARシステムは、ユーザの身体の残りの逆運動学分析を行ってもよく、逆運動学分析に基づいて、動画を作成してもよい。
1つ以上の実施形態では、パス可能世界はまた、空間に居る種々のアバタについての情報を含み得る。全てのユーザが、一実施形態では、アバタとしてレンダリングされてもよいことを理解されたい。または、個々のARシステムを遠隔場所から動作させているユーザは、アバタを作成し、同様に、特定の空間をデジタル的に占有することができる。いずれの場合も、パス可能世界は、静的データ構造ではなく、むしろ、常時、情報を受信するため、アバタのレンダリングおよび空間の中へのユーザの遠隔存在は、ユーザの個々のARシステムとのユーザの相互作用に基づき得る。したがって、カメラによって捕捉された捕捉されたキーフレームに基づいて、常時、アバタの移動を更新するのではなく、アバタは、その個々の拡張現実デバイスとのユーザの相互作用に基づいて、レンダリングされてもよい。有利には、これは、個々のARシステムが、データをクラウドから読み出す必要性を低減させ、代わりに、システムが、アバタ動画に関わる多数の計算タスクを個々のARシステム自体に行うことを可能にする。
より具体的には、ユーザの個々のARシステムは、空間内のユーザの頭部の姿勢および配向についての情報、ユーザの手の移動等についての情報、ユーザの眼および眼の視線についての情報、ユーザによって使用されている任意のトーテムについての情報を含む。したがって、ユーザの個々のARシステムは、パス可能世界モデルに伝送される、特定の空間内でのユーザの相互作用についての情報をすでにたくさん保持している。本情報は、次いで、ユーザのためのアバタを作成するめに確実に使用され、アバタがその空間の他のアバタまたはユーザと通信するのに役立ち得る。1つ以上の実施形態では、第三者カメラは、アバタを動画化するために必要ではなくてもよいことを理解されたい。むしろ、アバタは、ユーザの個々のARシステムに基づいて、動画化され、次いで、クラウドに伝送され、ARシステムの他のユーザによって視認/相互作用され得る。
1つ以上の実施形態では、ARシステムは、ARシステムのセンサを通して、ユーザに関するデータの集合を捕捉する。例えば、加速度計、ジャイロスコープ、深度センサ、IRセンサ、画像ベースのカメラ等が、頭部搭載式システムに対するユーザの移動を決定してもよい。本移動は、プロセッサを通して計算され、1つ以上のアルゴリズムを通して翻訳され、選定されたアバタにおいて類似移動を生成してもよい。アバタは、1つ以上の実施形態では、ユーザによって選択されてもおい。または、他の実施形態では、アバタは、単に、アバタを視認している別のユーザによって選択されてもよい。または、アバタは、単に、ユーザ自体の仮想のリアルタイムかつ動的な画像であってもよい。
ユーザに関する捕捉されたデータの集合(例えば、移動、表情、移動の方向、移動のスピード、物理属性、頭部に対する身体部分の移動等)に基づいて、ユーザに対するセンサの姿勢(例えば、個々のARシステムのセンサ)が、決定されてもよい。姿勢(例えば、位置および配向)は、システムが、正確に翻訳/変換され得るように、移動/データの集合が捕捉された視点を決定することを可能にする。本情報に基づいて、ARシステムは、ユーザの移動(例えば、ベクトルを通して)に関連するパラメータの集合を決定し、計算された移動を用いて、所望のアバタを動画化してもよい。
任意の類似方法が、アバタを動画化し、ユーザの移動を模倣するために使用されてもよい。ユーザの移動およびアバタの移動(例えば、別のユーザの個々のARデバイスに表示されている仮想画像内における)は、移動が、可能な限り短時間で捕捉され、アバタに転送されるように、協調されることを理解されたい。理想的には、ユーザの捕捉された移動とアバタの動画との間の時間遅延は、最小限となるべきである。
例えば、ユーザが、現在、会議室内に居ないが、会議室における会議に参加するために、アバタをその空間の中に挿入することを所望する場合、ARシステムは、その独自のシステムとのユーザの相互作用についての情報を得て、それらの入力を使用して、パス可能世界モデルを通して、アバタを会議室の中にレンダリングする。アバタは、ユーザ自身が会議に参加しているように、アバタがユーザ自身の画像の形態をとるようレンダリングされてもよい。または、ユーザの選好に基づいて、アバタは、ユーザによって選定される任意の画像であってもよい。例えば、ユーザは、会議室の空間の周囲を飛ぶ鳥として自身をレンダリングしてもよい。
同時に、会議室についての情報(例えば、キーフレーム、点、姿勢がタグ付けされた画像、会議室内の人々のアバタ情報、認識されたオブジェクト等)は、仮想コンテンツとして会議室内に現在居ないユーザにレンダリングされてもよい。物理空間では、システムは、幾何学的に位置合わせされる、捕捉されたキーフレームを有してもよく、次いで、点を捕捉されたキーフレームから導出してもよい。前述のように、これらの点に基づいて、システムは、姿勢を計算してもよく、オブジェクト認識器を起動させてもよく、キーフレームの点もまた、それらに結び付けられた意味論的情報を有するように、パラメータ幾何学形状をキーフレームの中に再挿入してもよい。したがって、全ての本幾何学的および意味論的情報を用いて、会議室は、現時点で、他のユーザと共有され得る。例えば、会議室場面は、ユーザのテーブル上にレンダリングされてもよい。したがって、会議室にカメラが存在しない場合でも、パス可能世界モデルは、以前のキーフレーム等を通して収集される情報を使用して、会議室についての情報を他のユーザに伝送し、他の空間内の他のユーザのために、部屋の幾何学形状を再作成可能である。
(トポロジマップ)
パス可能世界モデルの一体部分は、実世界の非常に細部の面積のマップを作成することである。例えば、物理オブジェクトに関係する仮想コンテンツをレンダリングするために、非常に詳細な位置特定が、要求される。そのような位置特定は、単に、GPSまたは従来の場所検出技法を通して達成されない場合がある。例えば、ARシステムは、ユーザが居る物理場所の座標のみを要求するのではなく、例えば、ユーザが位置する建物の部屋を正確に把握する必要があり得る。本情報に基づいて、ARシステムは、その部屋に対するデータ(例えば、部屋内の実オブジェクトの具体的幾何学形状、部屋に対するマップ点、部屋の幾何学的情報等)を読み出し、識別された部屋の実オブジェクトに関係する仮想コンテンツを適切に表示してもよい。しかしながら、同時に、本精密な粒度の細かい位置特定は、あまりに多くのリソースが不必要に消費されないように、費用効果的様式で行われてもよい。
パス可能世界モデルの一体部分は、実世界の非常に細部の面積のマップを作成することである。例えば、物理オブジェクトに関係する仮想コンテンツをレンダリングするために、非常に詳細な位置特定が、要求される。そのような位置特定は、単に、GPSまたは従来の場所検出技法を通して達成されない場合がある。例えば、ARシステムは、ユーザが居る物理場所の座標のみを要求するのではなく、例えば、ユーザが位置する建物の部屋を正確に把握する必要があり得る。本情報に基づいて、ARシステムは、その部屋に対するデータ(例えば、部屋内の実オブジェクトの具体的幾何学形状、部屋に対するマップ点、部屋の幾何学的情報等)を読み出し、識別された部屋の実オブジェクトに関係する仮想コンテンツを適切に表示してもよい。しかしながら、同時に、本精密な粒度の細かい位置特定は、あまりに多くのリソースが不必要に消費されないように、費用効果的様式で行われてもよい。
この目的を達成するために、ARシステムは、GPSまたは抽出された点および姿勢タグ付けされた画像から作成された詳細な幾何学的マップ(例えば、幾何学的点は、非常に具体的であり、故に、最もコストがかかり得る)を読み出す代わりに、位置特定目的のために、トポロジマップを使用してもよい。1つ以上の実施形態では、トポロジマップは、クラウドから容易にアクセス可能であって、空間のフィンガプリントおよび種々の空間間の関係のみを提示する、実世界内の物理空間の簡略化された表現である。トポロジマップについてのさらなる詳細は、以下にさらに提供されるであろう。
1つ以上の実施形態では、ARシステムは、トポロジマップをパス可能世界モデル上に層化し、例えば、ノードを位置特定してもよい。トポロジマップは、種々のタイプの情報、例えば、空間内の点クラウド、画像、オブジェクト、全地球測位システム(GPS)データ、Wi-Fiデータ、ヒストグラム(例えば、部屋のカラーヒストグラム)、受信された信号強度(RSS)データ等をパス可能世界モデル上に層化することができる。これは、情報の種々の層(例えば、より高レベル層と相互作用するための情報のより詳細な層)が、容易に読み出され得るように、相互に関連して設置されることを可能にする。本情報は、フィンガプリントデータと見なされ得る。言い換えると、場所(例えば、特定の部屋)に一意であるために十分に具体的に設計される。
前述のように、種々のユーザ間で確実にパスされ得る完全仮想世界を作成するために、ARシステムは、異なるタイプのユーザの周囲についての情報(例えば、マップ点、特徴、姿勢タグ付けされた画像、場面内のオブジェクト等)を捕捉する。本情報は、必要に応じて読み出され得るように、処理され、クラウド内に記憶される。前述のように、パス可能世界モデルは、ラスタ画像、点および記述子クラウド、ならびに多角形/幾何学的定義(本明細書では、パラメータ幾何学形状と称される)の組み合わせである。したがって、ユーザの個々のARシステムを通して捕捉された非常に多くの情報が、仮想世界を作成する際に、高品質および正確度を可能にすることを理解されたい。
言い換えると、種々のARシステム(例えば、ユーザ特有の頭部搭載式システム、部屋ベースのセンサシステム等)は、常時、それぞれのARシステムの即時環境に対応するデータを捕捉しているため、任意の時点における実世界についての非常に詳細かつ正確な情報が、高度な確実性を伴って把握され得る。本量の情報は、位置特定目的のために、ARアプリケーションのホストのために非常に有用であるが、ユーザに最も関連するパス可能世界の断片を見つけるために、その多くの情報を通してソートすることは、非常に非効率的であって、貴重な処理能力を犠牲にする。
この目的を達成するために、ARシステムは、本質的に、特定の場面または特定の箇所についてのあまり粒度の細かくない情報を提供する、トポロジマップを作成する。1つ以上の実施形態では、トポロジマップは、全地球測位システム(GPS)データ、Wi-Fiデータ、ヒストグラム(例えば、部屋のカラーヒストグラム)、受信された信号強度(RSS)データ等を通して導出されてもよい。例えば、トポロジマップは、種々の部屋/面積/空間のヒストグラム(例えば、カラーヒストグラム)によって作成され、トポロジマップ上のノードに縮小されてもよい。例えば、ユーザが部屋または空間の中に歩いていくと、ARシステムは、単一画像(または他の情報)を撮影し、画像のカラーヒストグラムを構築してもよい。あるレベルでは、特定の空間のヒストグラムは、経時的に大部分が一定であろうことを理解されたい(例えば、部屋の壁の色、オブジェクトの色等)。言い換えると、各部屋または空間は、任意の他の部屋または箇所と異なる、別個のシグネチャを有する。本一意のヒストグラムは、他の空間/面積の他のヒストグラムと比較され、識別されてもよい。本時点で、ARシステムは、ユーザが居る部屋を把握しており、残りの粒度の細かい情報は、容易にアクセスされ、ダウンロードされてもよい。
したがって、ヒストグラムは、種々のカメラ(キーフレーム)によって捕捉された全特徴および点についての特定の情報を含まないであろうが、システムは、ヒストグラムに基づいて、ユーザが居る場所を直ちに検出し、次いで、その特定の部屋または箇所に関連付けられた全てのより特定の幾何学的情報を読み出し得る。言い換えると、そのパス可能世界モデルを包含する、膨大な量の幾何学的およびパラメータ情報を通してソートするのではなく、トポロジマップは、ARユーザを位置特定するための迅速かつ効率的方法を可能にする。位置特定に基づいて、ARシステムは、識別された場所に最も関連する、キーフレームおよび点を読み出す。例えば、システムは、ユーザが建物の会議室に居ることを決定した後、システムは、次いで、クラウド内に記憶された全ての幾何学的情報を通して検索するのではなく、会議室に関連付けられた全てのキーフレームおよび点を読み出してもよい。
ここで図32を参照すると、トポロジマップ3200の例示的実施形態が、提示される。前述のように、トポロジマップ3200は、ノード3202およびノード3202間の接続3204(例えば、接続線によって表される)のコレクションであり得る。各ノード3202は、別個のシグネチャまたはフィンガプリント(例えば、GPS情報、カラーヒストグラムまたは他のヒストグラム、Wi-Fiデータ、RSSデータ等)を有する、特定の場所(例えば、オフィス建物の会議室)を表し、線は、それらの間の接続を表し得る。接続は、地理的接続に関係しなくてもよく、むしろ、単に、共有デバイスまたは共有ユーザであってもよいことを理解されたい。例えば、第1のユーザは、第1のノードから第2のノードに歩いていってもよい。本関係は、ノード間の接続を通して表されてもよい。ARユーザの数が増加するにつれて、ノードおよびノード間の接続もまた、比例して増加し、種々の場所についてのより精密な情報を提供するであろう。
いったんARシステムが、トポロジマップのノードを識別すると、システムは、次いで、ノードに関する幾何学的情報の集合を読み出し、その空間の実オブジェクトに関係する仮想コンテンツの表示方法/場所を決定してもよい。したがって、トポロジマップを幾何学的マップ上に層化することは、特に、位置特定および関連情報のみをクラウドから効率的に読み出すことに有用である。
1つ以上の実施形態では、ARシステムは、第1および第2の姿勢タグ付けされた画像として、グラフ理論的文脈において、同一場面の一部のそれぞれのカメラによって捕捉された2つの画像を表すことができる。本文脈におけるカメラは、異なる場面の画像を撮影する単一カメラを指し得る、または2つの異なるカメラであってもよいことを理解されたい。例えば、カメラの両方の視野内にある点であり得る、姿勢タグ付けされた画像間には、ある接続強度が存在する。1つ以上の実施形態では、クラウドベースのコンピュータは、そのようなグラフ(例えば、図32のものに類似する幾何学的世界のトポロジ表現)を構築してもよい。グラフ内のノードおよびエッジの総数は、画像内の点の総数よりはるかに小さい。
より高いレベルの抽象化では、ARシステムによって監視される他の情報が、ともにハッシュ化されることができる。例えば、クラウドベースのコンピュータは、全地球測位システム(GPS)場所情報、Wi-Fi場所情報(例えば、信号強度)、物理空間のカラーヒストグラム、および/またはユーザの周囲の物理オブジェクトについての情報のうちの1つ以上のものをともにハッシュ化してもよい。より多くのデータ点が存在するほど、コンピュータは、統計的に、その空間に対して一意の識別子を有するであろう可能性が高い。この場合、空間は、統計的に定義された概念である。
実施例として、オフィスは、例えば、多数の点および二十数枚の姿勢タグ付けされた画像として表される、空間であってもよい。同一空間は、容易にハッシュ化され得る、ある数のノード(例えば、5、25、100、1000等)のみを有するグラフとして、トポロジ的に表されてもよい。グラフ理論は、例えば、2つの空間間のアルゴリズム的に最短の経路として、接続性の表現を可能にする。
したがって、システムは、幾何学形状を暗黙的トポロジを有する姿勢タグ付けされた画像に変換することによって、具体的幾何学形状を抽象化する。システムは、情報の他の断片、例えば、カラーヒストグラムプロファイルおよびWi-Fi信号強度を追加することによって、抽象化レベルをより高くする。これは、システムが、場所に関連付けられた幾何学形状の全てを理解または処理する必要なく、ユーザの実際の実世界場所を識別することをより容易にする。
図33は、トポロジマップを構築する例示的方法3300を図示する。最初に、3302では、ユーザの個々のARシステムは、特定の場所の第1の視点から画像を捕捉してもよい(例えば、ユーザが建物の部屋の中に歩いていき、画像が、その視点から捕捉される)。3304では、カラーヒストグラムが、捕捉された画像に基づいて生成されてもよい。前述で論じられたように、システムは、任意の他のタイプの識別情報(例えば、Wi-Fiデータ、RSS情報、GPSデータ、窓の数等)を使用してもよいが、カラーヒストグラムが、例証目的のために、本実施例では使用される。
次に、3306では、システムは、カラーヒストグラムをクラウド内に記憶されたカラーヒストグラムのデータベースと比較することによって、ユーザの場所を識別するための検索を起動する。3310では、カラーヒストグラムがクラウド内に記憶された既存のカラーヒストグラムと一致するかどうかを決定するための決定が行われる。カラーヒストグラムが、カラーヒストグラムのデータベースの任意のカラーヒストグラムと一致しない場合、次いで、作製されたトポロジ内にノードとして記憶され得る3314。カラーヒストグラムが、データベースの既存のカラーヒストグラムに一致する場合、クラウド内にノードとして記憶される3312。カラーヒストグラムが、データベース内の既存のカラーヒストグラムと一致する場合、場所が、識別され、適切な幾何学的情報が、個々のARシステムに提供される。
同一実施例を継続すると、ユーザは、別の部屋または別の場所の中に歩いていき得、そこで、ユーザの個々のARシステムが、別の写真を撮影し、他の場所の別のカラーヒストグラムを生成する。カラーヒストグラムが、以前のカラーヒストグラムまたは任意の他のカラーヒストグラムと同一である場合、ARシステムは、ユーザの場所を識別する。カラーヒストグラムが、記憶されたヒストグラムと同一ではない場合、別のノードが、トポロジマップ上に作成される。加えて、第1のノードおよび第2のノードは、同一ユーザ(または同一カメラ/同一の個々のユーザシステム)によって撮影されたため、2つのノードは、トポロジマップ内で接続される。
1つ以上の実施形態では、ARシステムは、メッシュネットワーキング位置特定を採用してもよい。個々のARシステムは、位置のネイティブ知識を有する。これは、トポロジマップの明示的構築を可能にし、接続は、前述のように、距離によって加重される。これは、ユーザが、ARシステムによるメッシュネットワークアルゴリズムを最適化することを可能にする。したがって、ARシステムは、その既知の絶対姿勢に基づいて、モバイル通信ルーティングを最適化することができる。ARシステムは、機械視覚に加え、通信および位置特定の両方のために、超広帯域幅(UWB)通信インフラストラクチャを使用することができる。
位置特定の補助に加え、トポロジマップはまた、幾何学的マップ内の誤差および/または逸失情報を改良/修復するために使用されてもよい。1つ以上の実施形態では、トポロジマップは、特定の箇所の幾何学的マップまたは幾何学的構成内でループ閉鎖歪みを見つけるために使用されてもよい。前述のように、任意の所与の場所または空間に対して、1つ以上のARシステムによって撮影された画像(1人のユーザの個々のARシステムまたは複数のユーザのARシステムによって捕捉された複数の視野画像)は、特定の空間の多数のマップ点をもたらす。例えば、単一部屋は、種々のカメラ(または種々の位置に移動する1つのカメラ)の複数の視点を通して捕捉された数千のマップ点に対応し得る。
ARシステムは、前述のように、マップ点を利用して、オブジェクトを認識し(オブジェクト認識器を通して)、実世界の種々のオブジェクトの幾何学形状のより包括的写真を記憶するために、パス可能世界モデルに追加する。1つ以上の実施形態では、種々のキーフレームから導出されるマップ点は、画像を捕捉したカメラの姿勢および配向を三角測量するために使用されてもよい。言い換えると、収集されたマップ点は、画像を捕捉するキーフレーム(例えば、カメラ)の姿勢(例えば、位置および配向)を推定するために使用されてもよい。
しかしながら、多数のマップ点およびキーフレームを前提として、マップ点に基づいて、キーフレーム位置の本計算内にいくつかの誤差(例えば、歪み)が必ず存在することを理解されたい。これらの歪みを考慮するために、ARシステムは、バンドル調節を行ってもよい。バンドル調節は、マップ点およびキーフレームの精緻化または最適化を可能にし、幾何学的マップ内の歪みを最小限する。
例えば、図34に図示されるように、例示的幾何学的マップが、提示される。図34に示されるように、幾何学的マップは、全て相互に接続される、キーフレーム3402の集合であってもよい。キーフレーム3402は、種々のマップ点が幾何学的マップのために導出される、視点を表してもよい。例証される実施形態では、幾何学的マップの各ノードは、キーフレーム(例えば、カメラ)を表し、種々のキーフレームは、接続線3404を通して相互に接続される。
例証される実施形態では、異なるキーフレーム間の接続の強度は、接続線3404の太さによって表される。例えば、図34に示されるように、ノード3402aと3402bとの間の接続線は、ノード3402aとノード3402fとの間の接続線と比較して、より太い接続線3404として描写される。ノード3402aとノード3402dとの間の接続線はまた、接続線3402bとノード3402dとの間より太くなるように描写される。1つ以上の実施形態では、接続線の太さは、それらの間で共有される特徴またはマップ点の数を表す。例えば、第1のキーフレームおよび第2のキーフレームが、ともに近接する場合、それらは、多数のマップ点(例えば、ノード3402aおよびノード3402b)を共有し得、したがって、より太い接続線を用いて表され得る。当然ながら、幾何学的マップを表す他の方法も同様に、使用されてもよいことを理解されたい。
例えば、線の強度は、別の実施形態では、キーフレーム間の地理的近接に基づいてもよい。したがって、図34に示されるように、各幾何学的マップは、多数のキーフレーム3402および相互へのその接続を表す。ここで、歪みが幾何学的マップの特定の点内で識別されたと仮定すると、バンドル調節が、歪みを歪み3406の識別された点から半径方向に押し出すことによって、歪みを軽減するために行われてもよい。歪みは、以下にさらに詳細に説明されるであろうように、歪み点から伝搬する波3408(例えば、n=1、n=2等)内で半径方向に押し出される。
以下の説明は、波伝搬バンドル調節を行う例示的方法を図示する。以下の全ての実施例は、波伝搬バンドル調節のみを参照し、他のタイプのバンドル調節も同様に、他の実施形態では、使用されてもよいことを理解されたい。最初に、特定の歪み点が、識別される。図34の例証される実施形態では、中心(ノード3402a)を識別された歪み点と見なす。例えば、システムは、幾何学的マップの特定の点における歪みが特に大きい(例えば、残余誤差等)ことを決定してもよい。歪みは、2つの理由のうちの1つに基づいて識別されてもよい。1つ目は、最大残余誤差は、幾何学的マップに対して定義され得る。特定の点における残余誤差が、所定の最大残余誤差を上回る場合、バンドル調節が、開始されてもよい。2つ目は、バンドル調節は、以下にさらに説明されるであろうように、ループ閉鎖歪みの場合に(トポロジマップがマップ点の不整合を示すとき)開始され得る。
歪みが識別されると、ARシステムは、歪み点から開始して、それを特定の歪み点を囲繞するノードのネットワークを通して半径方向に伝搬させ、誤差を均一に分布させる。例えば、例証される実施形態では、バンドル調節は、誤差を識別された歪み点の周囲のn=1(識別された歪み点であるノード3402aから1度の分離)まで分布させてもよい。例証される実施形態では、ノード3402b-3402gは全て、歪み点ノード3402aの周囲のn=1波の一部である。
ある場合には、これは、十分であり得る。他の実施形態では、ARシステムは、歪みをさらに伝搬させ歪みが均一に分布されるまで、歪みが半径方向にますます押し出されるように、歪みをn=2(識別された歪み点であるノード3402aから2度の分離)またはn=3(識別された歪み点であるノード3402aから3度の分離)まで押し出してもよい。したがって、バンドル調節を行うことは、幾何学的マップ内の歪みを低減させる重要な方法である。理想的には、歪みは、より優れた結果のために、n=2またはn=3まで押し出される。
1つ以上の実施形態では、波は、より小さい漸増で伝搬されてもよい。例えば、波が歪み点の周囲のn=2まで押し出された後、バンドル調節が、n=3とn=2との間の面積内で行われ、半径方向に伝搬されることができる。波漸増を制御することによって、本反復波伝搬バンドル調節プロセスは、大量のデータ上で起動され、システム上の歪みを低減させることができる。随意の実施形態では、各波は一意であるため、波(例えば、バンドル調節された)によって触れられたノードは、波が幾何学的マップの調節された区分上に再伝搬しないように着色されてもよい。別の実施形態では、ノードは、同時波が幾何学的マップ内の異なる点から伝搬/生じ得るように着色されてもよい。
前述のように、トポロジマップをキーフレームおよびマップ点の幾何学的マップ上に層化することは、特に、ループ閉鎖歪みを見つける際に重要であり得る。ループ閉鎖歪みは、整合されるべきであるが、不整合である、異なる時間に捕捉されたマップ点間の相違を指す。例えば、ユーザがブロックの周囲を歩き、同一箇所に戻る場合、第1のキーフレームの位置から導出されたマップ点および収集されたマップ点から外挿される最後のキーフレームの位置から導出されたマップ点は、理想的には、同じであるはずである。しかしながら、異なるマップ点に基づく姿勢(キーフレームの位置)の計算に固有の歪みを前提として、多くの場合、誤差が存在し、システムは、第1のキーフレームから推定されるキー点が最後のキーフレームから導出されるマップ点と幾何学的に整合されないため、ユーザが同一位置に戻ったことを認識しない。これは、ループ閉鎖歪みの実施例であり得る。
この目的を達成するために、トポロジマップが、幾何学的マップ内のループ閉鎖歪みを見つけるために使用されてもよい。以前の実施例に戻って参照すると、トポロジマップと幾何学的マップの併用は、トポロジマップが、ユーザが開始点に戻ったことを示し得るため(例えば、カラーヒストグラムに基づいて)、ARシステムが幾何学的マップ内のループ閉鎖歪みを認識することを可能にする。例えば、図35の層化されたマップ3500を参照すると、トポロジマップのノード(例えば、3504aおよび3504b)は、幾何学的マップのノード(例えば、3502a-3502f)の上部に層化される。図16に示されるように、トポロジマップは、幾何学的マップの上部に設置されるとは、キーフレームB(ノード3502g)がキーフレームA(ノード3502a)と同一であることを示唆し得る。これに基づいて、ループ閉鎖歪みは、検出され得、システムは、キーフレームAおよびBが同一ノード内でともにより近接すべきであることを検出し、システムは、次いで、バンドル調節を行ってもよい。したがって、ループ閉鎖歪みを識別したことによって、ARシステムは、次いで、前述のもの等のバンドル調節技法を使用して、バンドル調節を識別された歪み点に行ってもよい。
トポロジマップおよび幾何学的マップの層化に基づいてバンドル調節を行うことは、システムが、システム内の全てのキーフレームを読み出す代わりに、バンドル調節が行われる必要があるキーフレームのみを読み出すことを確実にすることを理解されたい。例えば、ARシステムが、トポロジマップに基づいて、ループ閉鎖歪みが存在することを識別する場合、システムは、単に、トポロジマップのその特定のノードまたは複数のノードに関連付けられたキーフレームを読み出し、幾何学的マップの全てのキーフレームではなく、それらのキーフレームのみにバンドル調節を行い得る。再び、これは、システムが、効率的となり、システムに不必要に負担をかけ得る、不必要情報を読み出すことをさせないことを可能にする。
ここで図36を参照すると、トポロジマップに基づいてループ閉鎖歪みを補正するための例示的方法3600が、説明される。3602では、システムは、幾何学的マップの上部に層化されたトポロジマップに基づいて、ループ閉鎖歪みを識別してもよい。いったんループ閉鎖歪みが識別されると、3604では、システムは、ループ閉鎖歪みが生じたトポロジマップのノードに関連付けられたキーフレームの集合を読み出してもよい。トポロジマップのそのノードのキーフレームを読み出した後、システムは、3606において、バンドル調節を幾何学的マップ内のその点で開始してもよい。3608では、歪みは、図34に示される技法と同様に、識別された歪み点から伝搬され、n=1(次いで、n=2、n=3等)まで波内に半径方向に分布される。
仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、実世界に関係する仮想オブジェクトを正確に描写することが重要である。この目的を達成するために、前述のように、種々の頭部装着式ARシステムから捕捉されたマップ点は、実世界の種々の点および特徴についての情報を伝達する新しい写真を追加することによって、常時、パス可能世界モデルに追加される。点および特徴に基づいて、前述のように、また、キーフレーム(例えば、カメラ等)の姿勢および位置を外挿することができる。これは、ARシステムが特徴(2D点)およびマップ点(3D点)の集合を収集することを可能にするが、また、新しい特徴およびマップ点を見つけ、より正確なバージョンのパス可能世界をレンダリングすることが重要となり得る。
新しいマップ点および/または特徴を見つける方法の1つは、1つの画像の特徴を別の画像に対して比較することであり得る。各特徴は、それに結び付けられる標識または特徴記述子を有し得る(例えば、色、識別子等)。1つの写真内の特徴の標識と別の写真の比較は、環境内の自然特徴を一意に識別する方法の1つであり得る。例えば、それぞれ、約500個の特徴を捕捉する、2つのキーフレームが存在する場合、1つのキーフレームの特徴と他のキーフレームを比較することは、新しいマップ点を決定するのに役立ち得る。しかしながら、これは、2つのみのキーフレームが存在するときに実行可能な解決策であり得るが、それぞれ、数百万個の点を捕捉する、複数のキーフレームが存在するとき、多くの処理パワーを消耗するという、非常に大きな検索問題となる。言い換えると、M個のキーフレームが存在し、それぞれ、N個の不一致特徴を有する場合、新しい特徴の検索は、MN2(O(MN2))の演算を伴う。残念ながら、これは、非常に大きな検索動作である。
そのような大きな検索動作を回避する、新しい点を見つけるアプローチの1つは、検索ではなく、レンダリングによるものである。言い換えると、M個のキーフレームの位置が既知であって、そのそれぞれがN個の点を有すると仮定すると、ARシステムは、M個のキーフレームのN個の特徴からの線(または円錐)を投影し、種々の2D点の3D位置を三角測量してもよい。ここで図37を参照すると、本特定の実施例では、6個のキーフレーム3702が存在し、線または光線が、6個のキーフレームからそれぞれのキーフレームから導出される点3704にレンダリングされる(グラフィックカードを使用して)。1つ以上の実施形態では、新しい3Dマップ点が、レンダリングされた線の交差点に基づいて、決定されてもよい。言い換えると、2つのレンダリングされた線が交差するとき、3D空間内のその特定のマップ点のピクセル座標は、1または0の代わりに、2であり得る。したがって、特定の点における線の交差点が大きい数であるほど、3D空間内の特定の特徴に対応するマップ点が存在する可能性がより高くなる。1つ以上の実施形態では、図37に示されるような本交差点アプローチは、3D空間内の新しいマップ点を見つけるために使用されてもよい。
最適化目的のために、キーフレームから線をレンダリングするのではなく、三角錐が、代わりに、より正確な結果のために、キーフレームからレンダリングされ得ることを理解されたい。三角錐は、N個の特徴(例えば、3704)に対してレンダリングされた線が、三角錐の二等分線を表し、円錐の辺が、N番目の特徴の両側に投影されるように投影される。1つ以上の実施形態では、2つの辺縁に対する半角は、レンズマッピング機能をN番目の特徴の両辺に行う、カメラのピクセルピッチによって定義されてもよい。
円錐の内部は、二等分線が最も明るく、N番目の特徴の両辺の縁が0の集合となり得るように、陰影されてもよい。カメラバッファは、明るいスポットが新しい特徴の候補場所を表し得るが、カメラ分解能およびレンズ較正の両方を考慮するような総和バッファであってもよい。言い換えると、線ではなく、円錐を投影することは、あるキーフレームが、より近い距離に特徴を捕捉し得たその他より遠くにあるという事実を補償するのに役立ち得る。本アプローチでは、より遠くにあるキーフレームからレンダリングされた三角錐は、より近くにあるキーフレームからレンダリングされたものより大きくなる(かつ大半径を有する)であろう。総和バッファは、3Dマップ点を決定するために適用されてもよい(例えば、マップの最も明るいスポットは、新しいマップ点を表してもよい)。
本質的に、ARシステムは、光線または円錐をあるM個の数の以前のキーフレーム内のN個の数の不一致特徴からM+1個のキーフレームのテクスチャの中に投影し、キーフレーム識別子および特徴識別子をエンコードし得る。ARシステムは、現在のキーフレーム内の特徴から別のテクスチャを構築し、第1のテクスチャを第2のテクスチャでマスクし得る。色は全て、制約のための検索に対する候補対合である。本アプローチは、有利には、制約のためのO(MN2)検索をO(MN)レンダリングに変換した後、小規模なO((<M)N(<<N))検索が続く。
別のアプローチでは、新しいマップ点は、既存のN個の特徴を視認する仮想キーフレームを選択することによって決定されてもよい。言い換えると、ARシステムは、マップ点を視認すべき仮想キーフレームを選択し得る。例えば、ARシステムは、前述のキーフレーム投影を使用するが、{M,N}標識が探されるM個のキーフレームの法線のPCA(主成分分析)に基づいて、新しい「キーフレーム」を取り上げてもよい(例えば、PCA導出キーフレームは、標識を導出すべき最適ビューを与えるであろう)。
PCAを既存のM個のキーフレームに行うことは、既存のM個のキーフレームに最も直交する新しいキーフレームを提供する。したがって、仮想キーフレームを最も直交する方向に位置付けることは、3D空間内に新しいマップ点を見つけるべき最良視点を提供し得る。別のPCAを行うことは、次の最も直交する方向を提供し、さらなる別のPCAを行うことは、さらに別の直交方向を提供する。したがって、3回のPCAを行うことは、N個の特徴を有する既存のM個のキーフレームに基づいて、マップ点を構築すべき3D空間内のx、y、およびz座標を提供し得ると理解されたい。
図38は、マップ点をM個の既知のキーフレームから決定するための例示的方法3800を説明する。最初に、3802では、ARシステムは、特定の空間に関連付けられたM個のキーフレームを読み出す。前述のように、M個のキーフレームは、特定の空間を捕捉した既知のキーフレームを指す。次に、3804では、キーフレームの法線のPCAが、M個のキーフレームの最も直交する方向を見つけるために行われる。PCAは、それぞれ、M個のキーフレームに直交する、3つの主成分を生成し得ることを理解されたい。次に、3806では、ARシステムは、3D空間内で最小であって、また、全てのM個のキーフレームのビューに最も直交する主成分を選択する。
3808では、キーフレームに直交する主成分を識別した後、仮想キーフレームは、選択された主成分の軸に沿って設置されてもよい。1つ以上の実施形態では、仮想キーフレームは、その視野が全てのM個のキーフレームを含むように十分に離れて設置されてもよい。
次に、3810では、ARシステムは、光線(または円錐)がM個のキーフレームのそれぞれからN番目の特徴までレンダリングされるように、特徴バッファをレンダリングしてもよい。特徴バッファは、明るいスポット(N個の線が交差するピクセル座標)がN個の特徴の候補場所を表すように、総和バッファであってもよい。前述の同一プロセスは、マップ点がx、y、およびz軸上で見つけられるように、全3つのPCA軸を用いて繰り返されてもよいことを理解されたい。
次に、3812では、システムは、画像内の全ての明るいスポットを仮想「特徴」として記憶してもよい。次に、3814では、第2の「標識」バッファが、仮想キーフレームにおいて作成され、線(または円錐)をスタックし、その{M、N}標識を保存してもよい。次に、3816では、「マスク半径」が、特徴バッファ内の各明るいスポットの周囲に描写されてもよい。マスク半径は、仮想カメラの角度ピクセル誤差を表すことを理解されたい。ARシステムは、各明るいスポットの周囲の結果として生じる円形を充填し、標識バッファを結果として生じるバイナリ画像でマスクしてもよい。随意の実施形態では、円形は、円形の中心が明るいが、輝度が円形の周縁でゼロまで減退するように、勾配フィルタを適用することによって充填されてもよい。
現時点でマスクされた標識バッファでは、主光線が、各三角形の{M、N}個の要素から成る標識を使用して収集されてもよい。円錐/三角形が、光線の代わりに使用される場合、ARシステムは、三角形の両辺が円形の内側に捕捉される、三角形のみを収集し得ることを理解されたい。したがって、マスク半径は、本質的に、低条件の光線または大発散を有する光線(例えば、視野(FOV)の縁にある光線または遠くから発出する光線)を排除する、フィルタとして作用する。
最適化目的のために、標識バッファは、円錐/三角形内で生成された以前に使用された同一陰影を用いてレンダリングされてもよい。別の随意の最適化実施形態では、三角形密度は、三角形の広がり(辺)をチェックする代わりに、1からゼロまでスケーリングされてもよい。したがって、非常に発散する光線は、マスクされた領域の内側の雑音レベルを効果的に上昇させるであろう。ローカル閾値検出をマークの内側で起動することは、完全にマークの内側にあるそれらの光線のみから重心を引き出すことは自明であろう。
3818では、マスク/最適化された光線mのコレクションが、バンドル調節器に送られ、新しく決定されたマップ点の場所を推定および/または補正してもよい。本システムは、採用されるレンダリングバッファのサイズに機能的に限定されることを理解されたい。例えば、キーフレームが広範に分離される場合、結果として生じる光線/円錐は、より低い分解能を有するであろう。
代替実施形態では、PCA分析を使用して、直交方向を見つけるのではなく、仮想キーフレームは、M個のキーフレームのうちの1つの場所に設置されてもよい。これは、M個のキーフレームがカメラの最良分解能で空間をすでに捕捉しているため、より単純かつより効果的解決策であり得る。PCAが、仮想キーフレームを設置すべき直交方向を見つけるために使用される場合、前述のプロセスは、仮想カメラを各PCA軸に沿って設置し、軸のそれぞれ内のマップ点を見つけることによって繰り返される。
新しいマップ点を見つけるさらに別の例示的方法では、ARシステムは、新しいマップ点を仮定してもよい。ARシステムは、最初に、M個のキーフレーム上のPCA分析から3つの主成分を読み出してもよい。次に、仮想キーフレームは、各主成分に設置されてもよい。次に、特徴バッファは、ちょうど前述のように、3つの仮想キーフレームの各々にレンダリングされてもよい。主成分は、定義上、相互に直交するため、各カメラから外向きに描写される光線は、3D空間内の点において相互に衝突し得る。
いくつかのインスタンスでは、光線の複数の交差点が存在し得ることを理解されたい。したがって、現時点で、各仮想キーフレーム内にN個の特徴が存在し得る。次に、幾何学的アルゴリズムが、異なる光線間の交差点を見つけるために使用されてもよい。本幾何学的アルゴリズムは、N3個の光線が存在し得るため、一定時間アルゴリズムであってもよい。マスキングおよび最適化は、3D空間内のマップ点を見つけるための前述と同一様式で行われてもよい。
1つ以上の実施形態では、ARシステムは、別個の小世界モデル区画をより大きいコヒーレント区画の中にステッチしてもよい。これは、小モデルおよび大モデルの2つのレベルで生じてもよい。小モデルは、ローカルユーザレベル(例えば、計算構成要素、例えば、ベルトパック上)に対応する。一方、大モデルは、「世界全体」モデル化のための大規模またはシステム全体レベル(例えば、クラウドシステム)に対応する。これは、パス可能世界モデル概念の一部として実装されることができる。
例えば、第1のユーザによって装着される個々のARシステムは、第1のオフィスについての情報を捕捉する一方、第2のユーザによって装着される個々のARシステムは、第1のオフィスと異なる第2のオフィスについての情報を捕捉する。捕捉された情報は、クラウドベースのコンピュータにパスされてもよく、これは、最終的に、個々のARデバイスとともに歩き回る種々のユーザによってサンプリングまたは収集される実空間の包括的一貫した表現を構築する。クラウドベースのコンピュータは、経時的使用を介して、パス可能世界モデルを徐々に構築する。異なる地理的場所は、人口集中地域を最も中心として構築され、最終的に、より郊外地を充填するであろうことが予期される。
クラウドベースのコンピュータは、例えば、GPS、Wi-Fi、部屋のカラーヒストグラム、および部屋内の全ての自然特徴にハッシュを行い、写真とともに並べ、前述のように、事物の接続性のトポロジである、トポロジグラフを生成してもよい。クラウドベースのコンピュータは、トポロジを使用して、領域をともにステッチすべき場所を識別してもよい。代替として、クラウドベースのコンピュータは、特徴のハッシュ(例えば、トポロジマップ)を使用して、例えば、ある箇所において、別の箇所における幾何学的構成に一致する幾何学的構成を識別し得る。
1つ以上の実施形態では、ARシステムは、同時に、または並行して、別個の遮蔽、深度、および色表示、またはレンダリングを採用してもよい。
例えば、個々のARシステムは、空間色および空間逆光を与え、選択的に、色機構の一部を照射し得る、色レンダリングモジュール(例えば、LCD、DLP、LCOS、ファイバスキャナプロジェクタ等)を有してもよい。1つ以上の実施形態では、個々のARシステムは、時系列アプローチを採用してもよい。例えば、個々のARシステムは、1つのカラー画像を生成またはロードし、次いで、画像の異なる領域を検討し、選択的に、領域を照射してもよい。
選択的照射と併せて、個々のARシステムは、光の実際の感知された深度を変化させる、可変焦点要素を動作させることができる。可変焦点要素は、例えば、逆光と同期して、波正面を成形してもよい。個々のARシステムは、例えば、60フレーム/秒で、色をレンダリングしてもよい。それらのフレームの1つ毎に、個々のARシステムは、選択的に、背景の1つの部分を照射する、その期間の間、レンダリングされる、6つのフレームを有することができる。個々のARシステムは、60分の1秒以内に背景内に全ての光をレンダリングする。本アプローチは、有利には、画像の種々の断片を異なる深度にレンダリングすることを可能にする。
最も多くの場合、人の頭部は、前方に面する。ARシステムは、ユーザの頭部が向いている方向を識別する低域通過フィルタを使用して、および/または実世界または周囲環境に対する運動を検出することによって、臀部配向を推測してもよい。1つ以上の実施形態では、ARシステムは、加えて、または代替として、手の配向の知識を採用してもよい。これらの身体部分と臀部場所および/または臀部配向との間には、統計的相関がある。したがって、ARシステムは、臀部配向を検出するための器具類を使用せずに、臀部座標フレームを推測することができる。
1つ以上の実施形態では、ARシステムは、臀部座標フレームを仮想コンテンツがレンダリングされる仮想座標フレームとして使用することができる。これは、最も一般的クラスを構成し得る。ARシステムは、ホーム画面(例えば、ユーザのビューの一部分上にレンダリングされたソーシャルネットワーキング画面、ユーザのビューの別の部分上にレンダリングされたビデオ画面等)のような臀部座標フレームの周囲に仮想オブジェクトをレンダリングしてもよい。
世界中心座標フレームでは、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、および他の仮想構造物、例えば、アプリケーション、特徴、キャラクタ、テキスト、および他の記号)は、ユーザの周囲に配向される座標フレームに固定されるのではなく、実世界のオブジェクトに対して固定される。
いくつかの実装では、ARシステムは、例えば、LCDディスプレイのタイミング特性を利用して、複数のレベルの深度データを単一色フレームの中に混成する。例えば、ARシステムは、データの6つの深度層を1つの単一赤色/緑色/青色(RGB)フレームの中に詰め込んでもよい。
色空間内の深度は、例えば、色空間内のZ-バッファをエンコードするにより深度フレームを操作することによって、達成されてもよい。ARシステムは、深度平面を個々の色チャネル内の層マスクとしてエンコードしてもよい。
1つ以上の実施形態では、これは、標準的グラフィックカードを使用して、RGBフレームおよびz距離を有する単一フレームをレンダリングする、カスタムシェーダを作成することによって、実装されてもよい。したがって、エンコードされたz-バッファは、体積情報を生成し、画像の深度を決定するために使用されてもよい。ハードウェア構成要素が、フレームバッファおよびエンコードされたz-バッファを解釈するために使用されてもよい。これは、ハードウェアおよびソフトウェア部分が完全に抽象化され、ソフトウェア部分とハードウェア部分との間に最小限の結合が存在することを意味する。
ARシステムは、前述のように、種々の基準フレームにロックされた仮想コンテンツをレンダリングしてもよい。例えば、ARシステムが、頭部装着式構成要素を含む場合、ビューロック基準頭部搭載式(HMD)フレームが、有用となり得る。すなわち、基準フレームは、頭部の基準フレームにロックされたままであって、頭部の移動に伴って転向および/または傾斜する。身体ロック基準フレームは、身体の基準フレームにロックされ、本質的に、ユーザの身体の移動に伴って動き回る(例えば、平行移動、回転する)。世界ロック基準フレームは、環境の基準フレームに固定され、環境内で静止したままである。例えば、世界ロック基準フレームは、部屋、壁、またはテーブルに固定されてもよい。
いくつかの実装では、ARシステムは、2つまたはそれを上回る基準フレームのそれぞれのものにロックされた部分を伴う、仮想コンテンツをレンダリングしてもよい。例えば、ARシステムは、2つまたはそれを上回るネスト下された基準フレームを使用して、仮想コンテンツをレンダリングしてもよい。例えば、ARシステムは、球状パラダイムを採用してもよい。実施例として、第1の半径方向距離に延在する最内球体は、頭部またはビュー基準フレームにロックされてもよい。最内球体の半径方向外向きには、中間球体(例えば、腕の長さに若干満たない)は、身体基準フレームにロックされてもよい。中間球体の半径方向外向きには、外側または最外球体(例えば、腕を完全に伸長)は、世界基準フレームにロックされてもよい。
前述のように、ARシステムは、統計的にまたは別様に、身体またはその一部(例えば、臀部、手)の実際の姿勢を推測してもよい。例えば、ARシステムは、ユーザの臀部を座標フレームとして選択または使用してもよい。ARシステムは、臀部の場所(例えば、位置、配向)を統計的に推測し、その姿勢を持続的座標フレームとして取り扱う。ユーザがその頭部を移動(例えば、回転、傾斜)させるにつれて、ARシステムは、ユーザの姿勢の臀部の姿勢にロックされる、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、および他の仮想構造物、例えば、アプリケーション、特徴、キャラクタ、テキスト、数字、および他の記号)をレンダリングする。これは、有利には、仮想視野を著しく増加させることができる。ユーザがその頭部を移動させ、見渡す場合、ユーザには、ユーザの身体の周囲に結び付けられた仮想コンテンツが見える。すなわち、ARシステムは、レンダリングするために身体中心座標フレームを使用し、例えば、仮想コンテンツを臀部座標フレームに対してレンダリングすることができ、ユーザの頭部がどのように移動しても、仮想コンテンツがユーザの視野にロックされたまま留まる。
(予測頭部モデル)
1つ以上の実施形態では、ARシステムは、実際の特徴追跡器、ジャイロスコープ、加速度計、コンパス、および他のセンサのうちの1つ以上のものからの情報を使用して、頭部移動方向、スピード、および/または加速を予測してもよい。レンダリングエンジンが仮想コンテンツのフレームをレンダリングするためには、ある時間がかかる。ARシステムは、仮想コンテンツのフレームをレンダリングするために、種々の構造または構成要素を使用してもよい。例えば、ARシステムは、ファイバ走査プロジェクタを採用してもよい。代替として、ARシステムは、低残光性ディスプレイを採用してもよい。ARシステムは、例えば、逆光を介して、フレームの明滅を生じさせてもよい。ARシステムは、LCDを使用して、例えば、LCDを非常に明るい逆光で急明滅させ、ラスタ化を通して走査しない、非常に低残光性のディスプレイを実現させ得る。言い換えると、ARシステムは、ピクセルを整列させ、次いで、非常に短持続時間の間、LCDを非常に明るい光で明滅させる。
1つ以上の実施形態では、ARシステムは、実際の特徴追跡器、ジャイロスコープ、加速度計、コンパス、および他のセンサのうちの1つ以上のものからの情報を使用して、頭部移動方向、スピード、および/または加速を予測してもよい。レンダリングエンジンが仮想コンテンツのフレームをレンダリングするためには、ある時間がかかる。ARシステムは、仮想コンテンツのフレームをレンダリングするために、種々の構造または構成要素を使用してもよい。例えば、ARシステムは、ファイバ走査プロジェクタを採用してもよい。代替として、ARシステムは、低残光性ディスプレイを採用してもよい。ARシステムは、例えば、逆光を介して、フレームの明滅を生じさせてもよい。ARシステムは、LCDを使用して、例えば、LCDを非常に明るい逆光で急明滅させ、ラスタ化を通して走査しない、非常に低残光性のディスプレイを実現させ得る。言い換えると、ARシステムは、ピクセルを整列させ、次いで、非常に短持続時間の間、LCDを非常に明るい光で明滅させる。
いくつかの実装では、ARシステムは、フレームを世界座標系にレンダリングし、フレーム走査プロジェクタ(FSP)が、世界座標を走査し、フレームをサンプリングすることを可能にしてもよい。予測頭部モデル化に関するさらなる詳細は、弁理士整理番号20006.00の下、2014年3月14日に出願された米国特許出願第14/212,961号「DISPLAY SYSTEMS AND METHOD」に開示されている。
周囲光は、時として、ユーザへの仮想コンテンツの投影の品質に影響を及ぼし得るため、ARシステムにとって問題となる。典型的には、ARシステムは、周囲光の進入の制御を殆どまたは全く有していない。したがって、典型的には、ARシステムが実世界環境内で使用される場合、周囲環境の見え方の制御は、殆どまたは全くない。例えば、場面全体に及ぶ周囲光条件は、過度に明るいまたは過度に薄暗くなり得る。また、例えば、光強度は、場面全体を通して、徐々に変動し得る。さらに、場面内に現れる物理オブジェクトの制御は、殆どまたは全くなく、そのうちのいくつかは、光源(例えば、照明器具、窓)または反射源であり得る。これは、レンダリングされた仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、および他の仮想構造物、例えば、アプリケーション、特徴、キャラクタ、テキスト、および他の記号)のARユーザによる知覚を困難にさせ得る。
1つ以上の実施形態では、ARシステムは、自動的に、周囲環境内の比較的に暗いおよび/または比較的に明るい面積を識別してもよい。識別された暗いおよび/または明るい面積に基づいて、ARシステムは、仮想コンテンツ(例えば、仮想テキスト、数字、または他の記号)を遮蔽問題に対処するために、ARユーザの視野内の比較的に暗い箇所にレンダリングしてもよい。このように、ARシステムは、周囲環境のビュー内でARユーザに最良に可視となるように、仮想コンテンツをレンダリングする。
1つ以上の実施形態では、ARシステムは、加えて、または代替として、少なくとも部分的に特定の周囲環境の1つ以上の特性に基づいて、レンダリングされた仮想コンテンツを最適化してもよい。ARシステムは、いくつかの実施形態では、周囲環境の側面に対応するように仮想コンテンツをレンダリングしてもよい。例えば、壁が、比較的に明るい場合、ARシステムは、ドア上に暗いテキストとして重畳されて見えるであろうテキストをレンダリングしてもよい。または、別のインスタンスでは、仮想コンテンツは、周囲環境の検出された光に基づいて、動的に改変(例えば、暗化、光化等)されてもよい。
典型的には、ARシステムは、黒色をレンダリングすることが困難であり得る。しかしながら、ARシステムは、白色または他の色をレンダリング可能であってもよい。場面が、白色物理壁を含む場合、ARシステムは、白色背景に対して見ることができる、テキスト、数字、および/または他の記号をレンダリングするであろう。例えば、ARシステムは、テキスト、数字、または他の記号を中心としてカラー後光をレンダリングし、白色壁が、輝くことを可能にしてもよい。場面が、黒色または暗い色の壁を含む場合、ARシステムは、テキスト、数字、他の記号を比較的に明るい色でレンダリングしてもよい。したがって、ARシステムは、周囲背景の特性に基づいて、レンダリングされているものの視覚的特性を調節する。
(画像ベースの照明解決策)
拡張現実内の仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、および他の仮想構造物、例えば、アプリケーション、特徴、キャラクタ、テキスト、数字、および他の記号)において説得力のある現実感を作成するために、それが重畳される環境に入射する照明システムを模倣することが有利である。古典的ランバート照明モデルは、人々が実自然世界において見るために使用する方法においてオブジェクトを照射しない。実世界環境内の照明は、常時かつ継続的に、空間全体を通して変化し、著しいコントラストと強度および色の微妙なニュアンスの両方が豊富である、複雑なシステムである。眼は、実世界においてこれを見るために使用される。ランバート照明モデルは、これらのニュアンスを捕捉せず、ヒト視知覚系は、照明効果の逸失に気付き、それによって、現実感の錯覚を破壊してしまう。
拡張現実内の仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、および他の仮想構造物、例えば、アプリケーション、特徴、キャラクタ、テキスト、数字、および他の記号)において説得力のある現実感を作成するために、それが重畳される環境に入射する照明システムを模倣することが有利である。古典的ランバート照明モデルは、人々が実自然世界において見るために使用する方法においてオブジェクトを照射しない。実世界環境内の照明は、常時かつ継続的に、空間全体を通して変化し、著しいコントラストと強度および色の微妙なニュアンスの両方が豊富である、複雑なシステムである。眼は、実世界においてこれを見るために使用される。ランバート照明モデルは、これらのニュアンスを捕捉せず、ヒト視知覚系は、照明効果の逸失に気付き、それによって、現実感の錯覚を破壊してしまう。
1つ以上の実施形態では、画像ベースの照明(IBL)と呼ばれる技法は、現実感をコンピュータグラフィック(CG)に作成する際に効果的であり得る。IBLは、ラジオシティ解決策のように、複雑な照明システムを計算しようとせず、むしろ、光プローブを用いて、実世界の照明を写真のように捕捉する。「銀球光プローブ」技法と称される技法は、視認者に向かって反射された複雑な色を捕捉する際に効果的である。しかしながら、360度カメラは、より高い忠実性の環境全体のデータを捕捉し、はるかに説得力のある光マップを作成することが可能である。
1つ以上の実施形態では、IBL技法が、実オブジェクトから区別不能に見える、仮想コンテンツをレンダリングするために使用されてもよい。Maya(登録商標)等のモデル化パッケージは、IBL光マップのライブラリを利用し、そこから、ユーザは、特定の仮想場面を照射することを選定することができる。ユーザは、ライブラリから、場面のコンテンツと一貫して見える光マップを選定する。したがって、光マップが、単に、環境に類似する場合、光マップが光マップが使用される環境と同じでなくても、IBLから現実感を作成することが可能である。これは、ヒトの視知覚系がオブジェクトを見るために予期する照明における微妙なニュアンスを示唆する。それらのニュアンスが、環境と一貫しない場合、現実の錯覚の作成に干渉し得る。
IBLをARシステム内で採用するための解決策の1つは、写真によって作成されたサンプル光マップの膨大なライブラリを供給し、多くの異なる環境を網羅し、様々な潜在的状況を包含することである。光マップの各々は、識別された状況に特有の種々の光パラメータに関連付けられ得る。光マップは、クラウド内に記憶され、必要に応じて参照され、仮想コンテンツの種々のアイテムまたはインスタンスを照射し得る。そのような実装では、特定の実世界環境のための光マップの選択を自動化することが有利となるであろう。
ユーザの個々のARシステムは、1つ以上のカメラ(例えば、外向きに面したカメラ)をすでに具備しており、ユーザが位置する環境を写真のようにサンプリングする。ARシステムは、捕捉された画像データをマップ選択基準として使用してもよい。カメラからのサンプルは、光マップのライブラリを発見的に検索し、最近似光マップを見つけるために使用されることができる。ARシステムは、種々のパラメータ、例えば、周波数データ、色パレット、ダイナミックレンジ等を使用してもよい。ARシステムは、捕捉された視覚的データのパラメータとライブラリ光マップを比較し、最小誤差を伴う光マップを見つけてもよい。
ここで図39を参照すると、適切な光マップを選択する例示的方法3900が、提供される。3902では、ユーザの個々のARシステムは、ユーザのカメラを通して、周囲環境の画像を捕捉する。次に、システムは、捕捉された画像データの少なくとも1つのパラメータを選択し、光マップのライブラリと比較する。例えば、システムは、捕捉された画像の色パレットと光マップのライブラリを比較してもよい。3904では、システムは、捕捉された画像のパラメータと光マップのパラメータを比較し、パラメータの最近似を決定し(3906)、最近似を有する光マップを選択する(3908)。システムは、3910では、最近似を選択し、選択された光マップに基づいて、仮想オブジェクトをレンダリングする。
代替として、または加えて、人工神経ネットワークを利用する選択技法が、使用されてもよい。ARシステムは、光マップの集合またはライブラリ上で訓練された神経ネットワークを使用してもよい。神経ネットワークは、選択基準データを入力として使用し、光マップ選択を出力として生成する。神経ネットワークが、ライブラリ上で訓練された後、ARシステムは、ユーザのカメラからの実世界データを神経ネットワークに提示し、神経ネットワークは、瞬時またはリアルタイムのいずれかにおいて、最小誤差を伴う光マップをライブラリから選択する。
本アプローチはまた、光マップの修正を可能にし得る。選択が、発見的に、または神経ネットワークを用いて行われるかにかかわらず、選択された光マップは、基準データ内の入力サンプルと比較された誤差を有するであろう。選択された光マップが、例えば、周波数データおよびダイナミックレンジが近いが、色パレットが、過剰誤差を含む場合、ARシステムは、色パレットを修正し、実世界のサンプリングされたデータの色パレットとより良好に整合させてもよく、修正された光マップを新しい構成データから構築してもよい。
ARシステムはまた、近似解決策として識別された複数の光マップからのデータを組み合わせ、新しく構築された光マップを生成してもよい。1つ以上の実施形態では、ARシステムは、次いで、将来的選択のために、新しく構築されたマップをライブラリ内の新しいエントリとして記憶することができる。神経ネットワーク選択が使用される場合、これは、拡張集合またはライブラリ上でクラウド内神経ネットワークの再訓練を要求するであろう。しかしながら、再訓練は、新しい追加が神経ネットワークによって利用される1つ以上のネットワーク加重へのわずかな調節のみを要求し得るため、短時間となり得る。
図40は、光マップを作成するための例示的方法4000を図示する。最初に、4002では、ユーザの個々のARシステムは、ユーザのカメラを通して、周囲環境の画像を捕捉する。次に、システムは、捕捉された画像データの少なくとも1つのパラメータを選択し、光マップのライブラリを比較する。例えば、システムは、捕捉された画像の色パレットと光マップのライブラリを比較してもよい。次に、4004では、システムは、捕捉された画像のパラメータと光マップのパラメータを比較し、パラメータの1つ以上の最近似を決定し(4006)、最近似に対応する光マップを選択する。
例えば、光マップは、捕捉された画像から検出された光強度に基づいて選択されてもよい。または、光マップは、輝度、または輝度の勾配、または画像内の輝度のパターンを比較し、その情報を使用して、最近似を選択してもよい。4008では、システムは、選択された光マップのパラメータを組み合わせることによって、新しい光マップを構築する。次に、4010では、新しい光マップが、光マップのライブラリに追加される。
IBLアプリケーションのための適切な光マップを供給する別のアプローチは、ユーザのARデバイス(例えば、頭部装着式構成要素)自体を光プローブとして使用し、IBL光マップを最初から作成することである。前述のように、デバイスは、1つ以上のカメラを具備する。カメラは、360度環境全体の画像を捕捉するために配列および/または配向されることができ、これは、使用可能光マップを原位置で作成するために使用されることができる。360度カメラまたはともに繋がれた狭角カメラのアレイのいずれかを用いて、ARシステムは、環境の近似だけではなく、実際の環境の光マップをリアルタイムで捕捉するように動作する、光プローブとして使用されてもよい。
捕捉された光マップは、ユーザの位置を中心とするが、「十分に説得力のある」オブジェクト光マップを作成するために十分であり得る。そのような状況では、誤差は、受けるレビューのレベルに逆比例する。すなわち、遠く離れたオブジェクトは、ユーザ中心光マップを使用して大量の誤差を呈するであろうが、ユーザの視知覚系は、眼からの距離が比較的に遠いことに起因して、その誤差を検出不良な位置にあるであろう。一方、ユーザがオブジェクトに近いほど、ユーザの視知覚系は、誤差の検出により過敏になるが、同時に、光マップは、ユーザの頭部がオブジェクトの位置に接近するにつれて、より正確となるであろう。これは、多くの状況において十分であり得るが、そのような誤差に対処する技法が、以下に論じられる。
1つ以上の実施形態では、ARシステム(例えば、クラウドベースのコンピュータ、個々の計算構成要素)は、ユーザ中心光マップを好適なオブジェクト中心光マップとして投影する変換をユーザ中心光マップに適用し、平行移動オフセットの誤差を低減または排除してもよい。図41に図式的に図示されるように、1つの技法は、ユーザ中心光マップを、おそらく、部屋のサイズに類似する、ユーザ4120を中心とする適切な半径の古典的球体4124としてモデル化する。ユーザ中心球体4124の内側に嵌合する半径の別の球体4126は、照らされるべきオブジェクト4122の周囲にモデル化される。ユーザ中心球体4124からのデータは、次いで、オブジェクト4122の視点からオブジェクト中心球体4126上に投影され、新しい光マップを作成する。光線投射が、本投影のために良好に機能するであろう。代替として、数値法が、採用されてもよい。本変換は、ユーザ中心光マップをオブジェクトの視点からより正確となるように歪める。
色強度が、次いで、オブジェクトのオフセット位置に従って、距離減衰を調節するように修正される。att(x)が光減衰関数であって、式中、xは、光から視認者までの距離とする。ユーザ中心光マップの所与のテクセルの強度は、Im=が、Is×att(d)として表され、式中、Imは、マップ内の強度であって、Isは、光の源の強度である。したがっては、Is=Im/att(d)となる。したがって、新しいオブジェクト中心変換における新しい強度は、Im’=Is×att(d’)となる。
変換の天球法は、捕捉された光の源がユーザおよびオブジェクト位置から著しく離れている状況に良好に機能し得ることを理解されたい。
より具体的には、光の源が、少なくとも、球体境界(光の源を表すようにモデル化された)と同程度離れている場合、本技法は、良好に機能する可能性が高いであろう。しかしながら、光データ源が、内側球体空間に侵入するにつれて、誤差は、急激に大きくなり得る。最悪の場合のシナリオは、光データが、直接、ユーザとオブジェクトとの間で発生するときである。これは、必要とされる正面ではなく、オブジェクトの後面にマッピングされた光データをもたらすであろう。
ユーザのデバイス上の光カメラシステムが、立体視または深度感知ユーティリティを具備する場合、ARシステムは、光マップの各テクセルに関連付けられた深度値を記憶することができる。本深度データが特に有用である唯一の面積は、ユーザとオブジェクトとの間に常駐するデータ上である。したがって、立体視カメラシステムは、当該面積であるユーザの視野内の深度を捕捉する限り、十分であり得る。ユーザの背後、またはついでに言えば、オブジェクトの背後に常住する光マップの面積は、それらの面積がユーザおよびオブジェクト等の両方と同様に投影するため、深度データに殆ど依存しない。単に、異なる距離に対する値を減衰させることは、光マップのその面積に十分であり得る。
いったん深度データが、必要とされるマップの面積(例えば、ユーザの正面)のために捕捉されると、ARシステムは、テクセルベースでテクセル上のその光データの源の正確なユークリッド座標を計算することができる。図42に図式的に図示されるように、オブジェクト中心光マップは、それらの座標をオブジェクト球体上に投影し、適宜、強度を減衰させることによって、構築されてもよい。図42に示されるように、ユーザは、ユーザ半球体4228の中心に位置し、オブジェクト球体4226は、図41のものと同様に、オブジェクト4222の周囲にモデル化される。いったん深度データが、マップの面積のために捕捉されると、ARシステムは、深度データに基づいて、空間点4230毎に光データの源の正確な座標を計算する。
オブジェクトに向かって投影する色データが、これらの内側空間点からユーザに向かって投影する色と同一である保証はないが、色データは、一般的場合、十分に近似する可能性が高いであろう。
前述の議論は、1つのサンプリングされたユーザ位置からのユーザ中心データに基づいて、オブジェクト中心光マップを構築することに焦点を当てた。しかしながら、多くのまたは大部分の場合、ユーザは、環境全体を通してナビゲートし、多くの異なる視点からの光環境の多くのサンプルの収集を可能にするであろう。さらに、複数のユーザを環境内に有することは、双方向にリアルタイムで収集され得る、サンプル集合を増加させる。ユーザまたは複数のユーザが物理空間を横断するにつれて、ARシステムは、賢明な間隔および重要位置において新しい光マップを捕捉する。これらの光マップは、グリッドとしてクラウド内に記憶されてもよい。新しい仮想コンテンツが場面に進入するにつれて、ARシステムは、記憶されたグリッドにアクセスし、仮想コンテンツの場所に最も近い位置を表す、対応する光マップを見つける。ARシステムは、グリッド位置から仮想オブジェクトの独自の位置までの光マップの変換を計算する。
図43は、仮想コンテンツを投影するために、変換光マップを使用するための例示的方法4300を説明する。4302では、ユーザの個々のARシステムは、世界に対するユーザの場所および位置を推定する。次に、4304では、ARシステムは、クラウド内に記憶された光マップのグリッドにアクセスし、ユーザの場所および位置に最も近いグリッド内の光マップを選択する(4306)。4308では、ARシステムは、仮想オブジェクトの照明が周囲環境の照明と一致するように、グリッド位置から仮想オブジェクトの位置への光マップの変換を計算する。
1つ以上の実施形態では、「最近傍インスタンス」の解決策が、採択、修正、および採用される、インスタンスベースの推論が、採用される。変換されるインスタンスは、より優れたサンプリングされたデータがメタインスタンスデータを置換するために利用可能となるまで、その場所に対して使用されるべきメタインスタンスとして、グリッド内に記憶し戻されてもよい。グリッドにますます多くのインスタンスが取り込まれるにつれて、既存の仮想コンテンツのための光マップをより適切なインスタンスに対してアップグレードする機会が、利用可能になるであろう。このように、ユーザの相互作用は、ARシステムが、環境の照明を学習し、反復的に仮想コンテンツを現実的解決策に近づくことを可能にする。
記憶されたグリッドは、同一環境内における将来的使用のために、クラウド内に残されてもよい。明らかに、環境への著しい変更は、グリッドの有効性を疑われ得、グリッドは、最初から再構築される必要があり得る。しかしながら、あるタイプの変更は、依然として、以前に収集されたデータを利用することができる。例えば、減光等の大域的変更は、より高い頻度のデータを保ちながら、データ集合を横断して輝度の低下を用いて、依然として、収集されたデータを使用することができる。
ARシステムにおいて、効果的画像ベースの照明を仮想コンテンツに適用するためのいくつかの技法が、以下に論じられる。1つ以上の実施形態では、ARシステムは、ユーザとそのデバイスカメラの相互作用を通して、物理環境の照明を学習する。データは、クラウド内に記憶され、さらなる相互作用に伴って継続的に改良され得る。オブジェクトは、インスタンスベースの推論技法を使用して光マップを選択し、光マップを調節するために変換を適用し、光マップを好都合の時間または条件で慎重に更新し、現実的解決策に向かって近付ける。
相互作用およびサンプリングを通して、ARシステムは、物理空間の光環境のその理解を改良する。1つ以上の実施形態では、ARシステムは、光環境の取得された知識に基づいて、種々の仮想コンテンツのレンダリングにおいて使用されている光マップをより現実的光マップに更新するであろう。
潜在的問題は、例えば、ユーザが更新(例えば、仮想コンテンツのレンダリングにおける変更)を目撃する場合に生じ得る。例えば、ユーザに仮想オブジェクトの表面上で生じている変化が見える場合、表面は、生物のように見え、現実感の所望の錯覚を破壊するであろう。本潜在的問題を解決するために、ARシステムは、ユーザが仮想コンテンツの断片またはインスタンスに対する更新または変更に気付くリスクを最小限にする特殊状況の間、更新を慎重に実行する。
例えば、仮想オブジェクトが場面に進入するときの初期適用を検討する。更新または変更は、ほんの少しだけまたはさらにユーザの視野の非常に周縁のみ、仮想オブジェクトがユーザの視野から離れるにつれて行われてもよい。これは、ユーザが仮想オブジェクトの更新または変更を知覚するであろう可能性を最小限にする。
ARシステムはまた、ユーザが見えない仮想オブジェクトの後に面した部分に対応する、部分的マップを更新してもよい。ユーザが仮想オブジェクトの周囲を歩く場合、ユーザは、更新または変更を全く見ることなく、遠側の現実感の増加を発見するであろう。ARシステムは、ユーザが仮想オブジェクトの後または遠側を視認している間、現時点でユーザの視野から外れている、仮想オブジェクトの前側を更新または変更してもよい。ARシステムは、それらの部分がユーザの視野内にない間に、仮想オブジェクトのマップの種々の選択された部分(例えば、上、下、左、右、前、後)に更新または変更を行ってもよい。
1つ以上の実施形態では、ARシステムは、典型的には、仮想オブジェクトの表面/光の変更を期待するようにユーザを仕向け得る、1つ以上の条件の発生まで、更新または変更を行うことを待機してもよい。例えば、ARシステムは、陰が仮想オブジェクトを通り過ぎるとき、変更または更新を行ってもよい。仮想および実オブジェクトの両方の位置が既知であるため、標準的陰影技法が、適用されることができる。陰は、更新または変更を視認者から目立たなくさせるであろう。また、例えば、ARシステムは、環境調光における光に応答して仮想オブジェクトのマップを更新または変更し、ユーザによる更新または変更の知覚を低減させてもよい。
さらに別の実施例では、ARシステムは、ユーザの注意を引く確率が高いことが分かっているイベントの発生に応答して、仮想オブジェクトのマップを更新または変更してもよい。例えば、ビデオゲームにおけるように、天井を突き抜けて倒れてくる仮想モンスタに応答して、ARシステムは、ユーザが、仮想モンスタに焦点を当てており、他の仮想オブジェクトには当てていない可能性が高いため、他の仮想オブジェクトのためのマップを更新または変更してもよい。
(アバタ)
ARシステムは、上記である程度詳細に説明されたように、アバタと称される、ユーザまたは他のエンティティの仮想表現をレンダリングしてもよい。ARシステムは、ユーザのアバタをユーザの独自の仮想空間および/または他のユーザの仮想空間内にレンダリングしてもよい。
ARシステムは、上記である程度詳細に説明されたように、アバタと称される、ユーザまたは他のエンティティの仮想表現をレンダリングしてもよい。ARシステムは、ユーザのアバタをユーザの独自の仮想空間および/または他のユーザの仮想空間内にレンダリングしてもよい。
いくつかの実装では、ARシステムは、アバタが、環境内で動作するように、仮想機械、例えば、仮想ロボットを動作させることを可能にしてもよい。例えば、ARシステムは、アバタがロボットの中に「飛び込む」ように見え、アバタが、環境を物理的に変更することを可能にし、次いで、アバタが、ロボットから飛び出すことを可能にするようにレンダリングしてもよい。本アプローチは、物理アセットの時間多重化を可能にする。
例えば、ARシステムは、第1のユーザのアバタが、仮想ロボットが存在する、第2のユーザの仮想空間内に現れるようにレンダリングしてもよい。第1のユーザの「訪問」アバタは、第2のユーザの仮想空間内のロボットの身体内に進入する。第1のユーザは、仮想ロボットを介して、第2のユーザの仮想環境を操作することができる。別のアバタがロボット内に以前に常駐していた場合、その他のアバタは、除去され、第1のユーザのアバタが、ロボット内に進入または存在することを可能にする。ロボットに元々存在し、ロボットから除去された他のアバタは、遠隔アバタとなり、ある他の仮想空間を訪問してもよい。ロボットに元々存在していたアバタは、いったん第1のユーのザアバタがロボットの使用が終了すると、ロボットに再進入してもよい。
ARシステムは、器具類を伴わずに、アバタの存在を仮想空間内にレンダリングし、仮想相互作用を可能にしてもよい。パス可能世界モデルは、第1のユーザが、第2のユーザに、世界の第1のユーザの区分(例えば、ローカルで起動するレベル)のコピーをパスすることを可能にする。第2のユーザの個々のARシステムがローカルレンダリングを行っている場合、第1のユーザの個々のARシステムが送信する必要があるものは、骨組み動画だけである。
ARシステムは、アバタレンダリングの連続性またはスペクトルを可能にし得ることを理解されたい。
最も単純なものでは、ARシステムは、マルチプレーヤオンラインゲーム内でキャラクタを駆動させるのと同様な様式において、推論に基づいたアバタレンダリングを駆動させることができる。結果として生じるアバタは、ゲームキャラクタの外観(例えば、動画)を伴ってレンダリングされ、仮想世界内を歩き回ってもよい。本実装では、アバタに関連付けられたユーザから生じる唯一のデータは、進行速度および方向、ならびに可能性として、単純移動、例えば、手運動等である。
次に複雑なものでは、アバタは、関連付けられたユーザの物理外観に類似してもよく、関連付けられたユーザから収集される情報に基づいて、アバタのリアルタイム更新を含んでもよい。例えば、第1のユーザの顔の画像は、アバタを生成する際に使用するために、捕捉または事前走査されていてもよい。アバタは、現実的表現(例えば、写真)または認識可能表現(例えば、描写、漫画、または戯画)のいずれかとして見える、顔を有してもよい。アバタの身体は、例えば、描写、漫画、または戯画化されてもよく、さらに、アバタの頭部と釣り合いがとれていなくてもよい。
ARシステムは、第1のユーザから収集される情報を採用し、アバタをリアルタイムで動画化してもよい。例えば、個々のARシステムの頭部装着式構成要素は、1つ以上の内向きに面したカメラおよび/またはマイクロホンもしくは他のセンサ(例えば、温度、発汗、心拍数、血圧、呼吸数)を含み、リアルタイム情報またはデータを第1のユーザから収集してもよい。情報は、抑揚を伴う音声等を含む、画像および音を含んでもよい。
音声は、アバタから発出するように見えるように伝えられてもよい。アバタが現実的顔を有する、いくつかの実装では、顔画像もまた、伝えられてもよい。アバタが現実的顔を有していない場合、ARシステムは、表情を画像および/または音からの音声の抑揚から見分けてもよい。ARシステムは、見分けられた表情および/または音声の抑揚に基づいて、アバタの表情を更新してもよい。例えば、ARシステムは、表情および/または抑揚に基づいて、第1のユーザの感情状態(例えば、嬉しい、悲しい、怒っている、不満ではない、苛立っている、満足している)を決定してもよい。ARシステムは、第1のユーザの決定された感情状態に基づいて、アバタ上にレンダリングするための表情を選択してもよい。例えば、ARシステムは、感情のいくつかの動画またはグラフィック表現から選択してもよい。したがって、ARシステムは、リアルタイムテクスチャマッピングを採用し、ユーザの感情状態をユーザを表すアバタ上にレンダリングしてもよい。
次に複雑なものでは、ARシステムは、ユーザの顔または音声に加え、またはそれ以外に、ユーザの身体の一部についての情報を収集してもよい。例えば、ARシステムは、ユーザの1つ以上の四肢および/またはユーザの全身の移動を表す情報を収集してもよい。ARシステムは、ユーザ装着式センサ(例えば、加速度計、ジャイロスコープ)を介して、および/またはユーザが位置する物理空間の少なくとも一部を監視する、部屋センサシステムを介して、そのような情報を収集してもよい。
ARシステムは、アバタが表す、ユーザのその実際の移動を反映するように、収集された情報を使用して、アバタの全身をレンダリングしてもよい。ARシステムは、リアルタイムテクスチャマッピングとともに、そのような機能を行い、画像(例えば、ビデオ)をアバタに適用してもよい。
さらにより複雑な実装では、ARシステムは、物理空間内のユーザの明視野を捕捉する、1つ以上の明視野カメラを含んでもよい。第2のユーザは、第1のユーザのライブ実3次元画像を音とともに視認してもよく、これは、前述の実装より現実的である。
最も複雑な実装では、ARシステムは、物理空間内のユーザの明視野を捕捉する、1つ以上の明視野カメラを含んでもよい。ARシステムは、捕捉された明視野をモデルにコード化し、第2のユーザの仮想空間の中にレンダリングするために、モデルを第2のユーザの個々のARシステムに送信してもよい。
前述のように、ARシステムは、頭部、手、環境姿勢、音声抑揚、および/または眼視線を使用し、空間内のユーザの仮想自体またはアバタを動画化もしくは修正してもよい。ARシステムは、単に、環境に対するユーザの頭部および/または手の位置に基づいて、ユーザのアバタの場所を推測してもよい。ARシステムは、音声抑揚(例えば、発話の内容ではなく)を統計的に処理し、対応するアバタの感情表現を動画化または修正し、アバタが表すそれぞれのユーザの感情を反映してもよい。
例えば、ユーザが、カボチャに類似するアバタを選択した場合、怒りを示すユーザの音声における検出パターンに応答して、ARシステムは、カボチャアバタの口の切れ込み内に歯をレンダリングしてもよい。さらなる実施例として、ユーザは、特定のキャラクタに類似するアバタを有してもよい。好奇心を示す音声抑揚の検出に応答して、ARシステムは、例えば、ユーザの口および眼等と同一様式で口が動き、眼があちこち見回している、特定のキャラクタに類似するアバタをレンダリングしてもよい。
ユーザのそれぞれの仮想空間または環境のレンダリングは、非同期である。比較的に少量の情報の交換は、第1のユーザが、別のユーザの空間内に存在することを体験する、または第1のユーザの空間内に別のユーザを有することを体験することを可能にする。第1のユーザが、第2のユーザの空間のコピーを有する場合、第1のユーザは、第2のユーザの空間のその独自の視点の制御ならびに第2のユーザの空間内のその独自の相互作用の制御を伴って、第2のユーザの空間内に現れることができる。器具類を伴わずに、情報の下位集合を使用して、アバタを動画化することは、スケーラビリティを提供する。
ARシステムは、環境を通して仮想オブジェクトの自律的ナビゲーションを提供することができる。仮想オブジェクトが、アバタを構成する場合、アバタの種々の感情状態は、アバタが存在する空間を通して自律的にナビゲートすることが考慮される。
図44に図示されるように、ARシステムは、仮想空間または環境内で生じる、もしくは感知され得る、ある定義された条件を感知し、それに対して所定の方法で応答する、自律的ナビゲーション定義またはオブジェクト4400a-4400d(集合的に、4400)のコレクションまたはライブラリを含んでもよい。自律的ナビゲーション定義またはオブジェクトの各々は、仮想空間または環境内で生じる、もしくは感知され得る、条件または刺激に関連付けられる。
自律的ナビゲーション定義またはオブジェクト4400aは、例えば、構造(例えば、壁)の存在に応答してもよい。自律的ナビゲーション定義またはオブジェクト4400bは、例えば、光または光の源(例えば、照明器具、窓)に応答してもよい。自律的ナビゲーション定義またはオブジェクト4400cは、例えば、音または音の源(例えば、ベル、サイレン、口笛、音声)に応答してもよい。自律的ナビゲーション定義またはオブジェクト4400dは、例えば、食物もしくは水または食物もしくは水の源に応答してもよい。他の自律的ナビゲーション定義またはオブジェクト(図44には図示せず)は、他の条件または刺激、例えば、恐れの源(例えば、モンスタ、武器、火災、崖)、食物の源、水の源、宝物、貨幣、宝石、貴金属等に応答してもよい。
自律的ナビゲーション定義またはオブジェクト4400の各々は、定義された応答に関連付けられる。自律的ナビゲーション定義またはオブジェクトは、例えば、移動を生じさせる、または生じさせる傾向にすることによって応答する。例えば、いくつかの自律的ナビゲーション定義またはオブジェクト4400は、条件または刺激の源から移動させる、もしくは生じさせる傾向にある。また、例えば、いくつかの自律的ナビゲーションオブジェクト2300は、条件または刺激の源に向かって移動させる、もしくは生じさせる傾向にある。
自律的ナビゲーション定義またはオブジェクト4400のうちの少なくともいくつかは、1つ以上の調節可能パラメータを有する。調節可能パラメータは、自律的ナビゲーション定義またはオブジェクト4400が反応する基本条件または刺激を変更しないが、条件または刺激への感度レベルおよび/または応答レベルもしくは強度を設定してもよい。ARシステムは、特性を調節するための1つ以上のユーザインターフェースツールを提供してもよい。例えば、ユーザインターフェースツール(例えば、スライダバーアイコン、ノブアイコン)は、特性のスケーリング、特性の反転(例えば、向かって移動する、離れるように移動する)等を可能にしてもよい。
調節可能パラメータは、例えば、自律的ナビゲーション定義またはオブジェクトが応答する条件または刺激への自律的ナビゲーション定義またはオブジェクト4400の感度のレベルを設定してもよい。例えば、感度パラメータは、低レベルに設定されてもよく、その場合、自律的ナビゲーション定義またはオブジェクト4400が、条件の発生または刺激の存在にあまり応答せず、例えば、条件または刺激の源が非常に近くなるまで応答しない。
また、例えば、感度パラメータは、高レベルに設定されてもよく、その場合、自律的ナビゲーション定義またはオブジェクト4400は、条件の発生または刺激の存在に非常に応答し、例えば、条件または刺激の源があまり近くないときでも応答する。低レベルと高レベルとの間のレベルもまた、採用されてもよい。いくつかの実装では、感度のレベルは、感度の範囲と見なされ得る。したがって、自律的ナビゲーション定義またはオブジェクト4400が敏感である外側境界を設定してもよく、もしくは感度に1つ以上の別個の段階に伴って、線形、指数関数的、またはさらに階段関数であり得る、感度の勾配を設定してもよい。
調節可能パラメータは、例えば、自律的ナビゲーション定義またはオブジェクト4400が応答する条件または刺激への自律的ナビゲーション定義またはオブジェクト4400の応答のレベルを設定してもよい。例えば、パラメータは、自律的ナビゲーション定義またはオブジェクト4400が条件または刺激の発生に応答する、強度を調節してもよい。例えば、パラメータは、移動する傾向または可能性の強度を設定してもよい。例えば、傾向パラメータは、低レベルに設定されてもよく、その場合、自律的ナビゲーション定義またはオブジェクト4400は、条件の発生または刺激の存在にあまり応答しない。
また、例えば、傾向パラメータは、高レベルに設定されてもよく、その場合、自律的ナビゲーション定義またはオブジェクト4400は、条件の発生または刺激の存在に非常に応答し、条件または刺激の源に向かうか、またはそこから離れるかのいずれかの移動を著しく生じさせるであろう。スピードパラメータは、自律的ナビゲーション定義またはオブジェクト4400が条件または刺激の検出に応答して移動する、スピードを設定してもよい。スピードは、固定スピード、または時間(例えば、応答開始から5秒後、減速する)もしく距離(例えば、固定距離を移動後、減速する)に伴って変化する可変スピードであってもよい。方向パラメータは、移動の方向(例えば、向かう、離れる)を設定してもよい。
自律的ナビゲーション定義またはオブジェクト4400は、2次元面積における条件および刺激に応答してもよいが、いくつかの実装では、自律的ナビゲーション定義またはオブジェクト4400は、3次元体積における条件および刺激に応答する。いくつかの自律的ナビゲーション定義またはオブジェクト4400は、自律的ナビゲーションオブジェクト4400に対して全方向に生じる条件を検出し、それに応答する、等方性であってもよい。いくつかの自律的ナビゲーション定義またはオブジェクト4400は、自律的ナビゲーション定義またはオブジェクトに対して限定された方向のみに生じる条件を検出し、それに応答する、異方性であってもよい。等方性または異方性動作は、いくつかの自律的ナビゲーション定義またはオブジェクト4400のための調節可能パラメータであってもよい。
自律的ナビゲーション定義またはオブジェクト4400は、事前に定義され、ユーザまたは他者によって選択可能であってもよい。いくつかの実装では、ユーザは、新しい自律的ナビゲーション定義またはオブジェクト4400を定義し、随意に、ユーザによる再使用のために、または他者による使用のために、新しい自律的ナビゲーション定義またはオブジェクトをコレクションまたはライブラリの中に組み込んでもよい。
図45に図示されるように、1つ以上の自律的ナビゲーション定義またはオブジェクト4400a、4400cは、仮想オブジェクト4500、例えば、アバタに論理的に関連付け可能である。仮想オブジェクト4500と論理的に関連付けられると、自律的ナビゲーション定義またはオブジェクト4400a、4400cは、仮想オブジェクト4500を中心とする身体中心座標フレームとしてプロット化されてもよい。すなわち、自律的ナビゲーション定義またはオブジェクト4400a、4400cの中心は、仮想オブジェクト4500自体の本体の中心である。自律的ナビゲーション定義またはオブジェクト4400は、例えば、無限遠を1および近接を0にスケーリングする、例えば、対数関数またはある他の関数を用いて、スケーリングされてもよい。
自律的ナビゲーション定義またはオブジェクト4400の各々は、相互から独立する。任意の数の自律的ナビゲーション定義またはオブジェクト4400が、仮想オブジェクト4500に関連付けられる、または適用されることができる。例えば、数千個の自律的ナビゲーション定義またはオブジェクト4400が、単一仮想オブジェクト4500に適用されてもよい。
図46は、所与の仮想オブジェクト4500と論理的に関連付けられ、例えば、図45に図示されるように、仮想オブジェクト4500を中心とするリングとして配列されることができる、自律的ナビゲーション定義またはオブジェクト4400の集合または「スタック」4600を示す。いったん自律的ナビゲーションオブジェクト4400a-4400dの集合またはスタック4600が定義され、総和線4602(図46)によって示されるように複合されると、自律的ナビゲーション定義またはオブジェクト44の値は、ゼロと1との間にあるように正規化される。
前述のように、自律的ナビゲーションオブジェクト4400のうちの少なくともいくつかのいくつかの特性は、調節可能であってもよい。それらの特性は、感度のレベルならびに応答の強度を含んでもよい。利用可能な自律的ナビゲーション定義またはオブジェクト4400のタイプ(例えば、条件または刺激)が固定されてもよいが、ユーザは、自律的ナビゲーション定義またはオブジェクト4400を複合4602し、複合または組み合わせられた出力4604(図41)を提供することができる。複合機構は、例えば、1つ以上の実施形態では、最低値を探し得る。他の場合には、トリガは、用途に応じて、高値であってもよい。
複合機構は、例えば、構造(例えば、ソナーまたは衝突検出)の存在に応答する、自律的ナビゲーション定義またはオブジェクト4400aをフィルタ(例えば、バイナリ転帰、パス/パスしない、オン/オフ)として取り扱い、他の自律的ナビゲーション定義またはオブジェクト4400b-4400dの全てをスケーリング係数として取り扱い得る。例えば、1つ以上の自律的ナビゲーション定義またはオブジェクト4400の複合4604は、値または形状(例えば、中心からの最大距離)にピーク検出を行い、仮想オブジェクト4500が検出された条件または刺激に応答して進行し得る、速度の方向および大きさ(ベクトル4602によって示される)のインジケーションを提供してもよい。
自律的ナビゲーション定義またはオブジェクトの応答またはアクションの強度は、潜在的フィールドとして表されてもよい。例えば、潜在的フィールドは、アバタを誘引または撃退する傾向を定義してもよい。例えば、ARシステムは、正の潜在的フィールドがアバタを誘引する一方、負の潜在的フィールドがアバタを撃退する、慣例を確立してもよい。代替として、慣例は、正の潜在的フィールドがアバタを撃退する一方、負の潜在的フィールドがアバタを誘引するものであってもよい。
さらなる代替として、あるタイプの潜在的フィールドは、アバタを撃退するか、または代替として誘引するかのいずれかである、確立された慣例下で利用可能であってもよい。さらに、ARシステムは、潜在的フィールドに大きさまたは勾配が割り当てられ得る、慣例を採用してもよく、大きさまたは勾配は、強度または誘引もしくは撃退に対応する。勾配は、線形または非線形関数であってもよく、さらに、特異性を含んでもよい。潜在的フィールドは、仮想オブジェクトまたはアバタと一致して確立されてもよい。潜在的フィールドは、アバタを条件または刺激(例えば、音、光)の源を回避させる、例えば、条件または刺激の源の周囲を操向させる傾向にあってもよい。
図45に図示されるように、一実施例では、仮想空間または環境4502内で移動している第1の仮想オブジェクト4500が存在してもよい。仮想空間または環境4502は、仮想または物理オブジェクトのいずれかであり得る、壁4504を含んでもよい。仮想空間または環境4502は、音4508の源4506を含んでもよい。1つ以上の実施形態では、ARシステムは、人工知能を使用して、壁4504との衝突を回避しながら、壁4504を含む仮想空間または環境4502内の標的、例えば、音4508の源4506に向かって第1の仮想オブジェクト4500を操向させてもよい。
例えば、構造の存在に応答する、自律的ナビゲーションオブジェクト4400aは、仮想オブジェクト4500と論理的に関連付けられてもよい。また、例えば、音4508に応答する自律的ナビゲーションオブジェクト4400cは、仮想オブジェクト4500と論理的に関連付けられてもよい。自律的ナビゲーションオブジェクト4400a、4400cは、仮想オブジェクト4500の本体の中心に位置する1つ以上のリングを構成するように定義されてもよい。例えば、自律的ナビゲーションオブジェクト4400は、許容可能移動を定義する特性を有してもよい。
例えば、自律的ナビゲーションオブジェクト4400aは、構造の存在下、構造との衝突をもたらすであろう、移動を制限してもよい。例えば、平坦壁4504の存在下、自律的ナビゲーションオブジェクト4400aは、限定ではないが、第1の仮想オブジェクト4500を側方方向における移動に制限する(例えば、壁の中に移動することができない)一方、第1の仮想オブジェクト4500が、任意の他の方向に移動することを可能にしてもよい。また、例えば、自律的ナビゲーションオブジェクト4400cは、音4508の存在下、関連付けられた第1の仮想オブジェクト4500を、概して、音4508の源4506に向かって移動させてもよい。
前述の実施例は、仮想空間または環境4502への光の源の追加に伴って修正されてもよい。光に応答する、自律的ナビゲーション定義またはオブジェクト4400b(図44)は、第1の仮想オブジェクト4500に関連付けられてもよい。光応答自律的ナビゲーション定義またはオブジェクト4400bによる光の検出は、第1の仮想オブジェクト4500を光の源に向かって移動する傾向にさせる、または逆に言えば、光の源から離れるように移動する傾向にさせてもよい。この場合、第1の仮想オブジェクト4500は、3つの条件、すなわち、構造、音、および光の複合に応答するであろう。
前述のように、集合の自律的ナビゲーション定義またはオブジェクトは、仮想オブジェクト(例えば、アバタ)を中心とするリングとして配列されて表され、ともに複合される。これらは、状態機械内の状態として表され、自律的ナビゲーション定義またはオブジェクトが進行または移動情報(例えば、進行もしくは移動の方向、配向、スピード、および/または距離)に関連付けられる、仮想オブジェクトを提供することができる。これは、完全に挙動的に、進行すべき場所について仮想オブジェクトに命令する時間ベースの方法を提供する。いくつかの実装では、人工知能アルゴリズムが、経験的入力データのみに基づいて、適用され、状態を完璧に調整してもよい。
ARシステムは、持続的感情ベクトル(PEV)を提供し、状態遷移を定義してもよい。PEVは、種々の感情を表すことが可能であって、ある時間内において、特定の状態での特定の値を有してもよい。1つ以上の実施形態では、PEVは、大域的に使用されてもよい。
状態間の遷移は、PEVの集合またはスタックによって制御されてもよい。とりわけ、状態機械は、完全状態機械である必要がなくてもよく、むしろ、あらゆる可能性として考えられる状態の一部のみを網羅してもよい。ユーザは、ユーザが関心がある特定の状態遷移のための状態を設定してもよい。
図47Aに図示されるように、所与の仮想オブジェクト(例えば、アバタ)4702aに関連付けられた自律的ナビゲーション定義またはオブジェクト4400a-4400の集合4700aは、単一リング4704aに総和されるように複合される。集合4700aは、1つ以上の感情状態、例えば、怒り4706a、悲しい4706b、嬉しい、怖がっている、満足している、空腹である、疲れている、寒い、暑い、喜んでいる、落胆している等が割り当てられる、またはそれらと論理的に関連付けられてもよい。(集合的に、4706、2つの感情状態のみ図47Aには呼び出されている)。
ARシステムは、自律的ナビゲーション定義またはオブジェクト4400a-4400bがフィードする、ユーザ構成可能な総和ブロック4708a、4708b(集合的に、4708として、2つのみ示される)を提供する。総和ブロック4708は、それぞれの感情ベクトルを駆動させる。ユーザは、特定のアクションを生じさせるように総和ブロック4708を構成してもよい。これらは、本質的に、時間ベースであって、アバタ等の仮想オブジェクト4702aの現在の状態に基づいて、大域的加重を適用してもよい。
図47Bに図示されるように、ユーザまたはある他者は、例えば、怖がっているまたは恐怖感情ベクトルを確立してもよい。例えば、怖がっているまたは恐怖自律的ナビゲーション定義またはオブジェクト4400nは、仮想オブジェクト(例えば、アバタ)4702bと論理的に関連付けられてもよい。怖がっているまたは恐怖自律的ナビゲーション定義またはオブジェクト4400nは、集合4700n内の唯一の自律的ナビゲーション定義またはオブジェクト4400であってもよく、総和ブロック4708nを介して、識別機能に複合4704nしてもよい。
怖がっているまたは恐怖感情ベクトルは、恐怖4706n等のある定義された条件または刺激が提示されるとき、仮想オブジェクト(例えば、アバタ)4702bを怖がらせる傾向にある。怖がっているまたは恐怖感情ベクトルは、典型的には、比較的に短時定数および非常に低い閾値を有してもよい。恐怖状態への状態遷移は、大域的状態によって制御される。その結果、状態は、単独で、または他の感情ベクトルと組み合わせてのいずれかにおいて、怖がっているまたは恐怖感情ベクトルが低くなると、恐怖状態に遷移する。
ARシステムは、例えば相関または統計的機構を使用して、フィードバックを採用してもよい。例えば、相関閾値グラフ4800が、図48に図示されるように、任意の特定の自律的ナビゲーション定義またはオブジェクトのために定義されてもよい。相関閾値グラフ4800は、例えば、水平軸4800aに沿って時間プロット化され、垂直軸4800bに沿ってスケールプロット化(例えば、ゼロから1)されてもよい。垂直軸上における自律的ナビゲーション定義またはオブジェクトの関係を制御するために、ユーザは、時間t0における閾値および閾値感知条件または刺激レベルCTを規定することができる。関数fnは、いったん閾値が満たされると、それぞれの応答を定義する。
したがって、ARシステムは、2つまたはそれを上回る自律的ナビゲーション定義またはオブジェクト4400がともに総和されることを可能にする。ARシステムはまた、ユーザがトリガ閾値を調節することを可能にしてもよい。例えば、自律的ナビゲーション定義またはオブジェクト4400の特定の組み合わせがある時間閾値を超えたことに応答して、それらの自律的ナビゲーション定義またはオブジェクト4400の値は、特定の感情ベクトルに対するランピング機構に適用されてもよい。
本明細書に説明されるアプローチは、ある状態から別の状態に遷移するための完全に決定的な大域的可視機構を用いて決定的アクションを行うことによって、非常に複雑な人工知能(AI)特性を提供する。これらのアクションは、ユーザが関心がある挙動に暗示的にマップ可能である。システムの全体的状態のこれらの大域値の監視を通した一定洞察が、要求され、これは、他の状態の挿入または現在の状態への変更を可能にする。さらなる実施例として、自律的ナビゲーション定義またはオブジェクトは、近隣までの距離に応答してもよい。自律的ナビゲーション定義またはオブジェクトは、例えば、正面部分に急勾配および背面部分に緩勾配を伴う、近隣の周囲の勾配を定義してもよい。これは、関連付けられた仮想オブジェクトのための自動挙動を作成する。例えば、そのように定義される場合、仮想オブジェクトが移動するにつれて、例えば、急勾配ではなく、緩勾配に向かって移動する傾向にあってもよい。
代替として、仮想オブジェクトは、例えば、そのように定義される場合、緩勾配ではなく、急勾配に向かって移動する傾向にあってもよい。勾配は、仮想オブジェクトを近隣の背後を動き回る傾向にさせるように定義されてもよい。これは、例えば、近隣が敵であって、自律的ナビゲーションオブジェクトが、敵センサとして機能する、ゲーム環境において使用され得る。これはさらに、敵が面する方向を考慮してもよい。例えば、値は、アバタが正面にある場合、高くなり得る。アバタは、移動するにつれて、敵の背後に現れるようにアバタを誘引する、より小さい勾配を感知する(例えば、迂回するように遅れ、パンチする挙動)。
したがって、自律的ナビゲーション定義またはオブジェクト4400は、人工的環境内の状態、例えば、水の存在、食物の存在、地面の傾き、敵の近接、光、音、テクスチャを感知するように構成される。自律的ナビゲーション定義またはオブジェクト4400およびPEVは、ユーザが、仮想オブジェクトをユーザが所望する挙動に向かう傾向にさせる定義を構成することを可能にする。これは、ユーザが、状態を追加し、個々の状態を最適化し、新しい状態への遷移を定義することによって、徐々にかつアトミックまたはモジュール的に、無限レベルの複雑性を規定することを可能にし得る。
1つ以上の実施形態では、ARシステムは、ナビゲーションオブジェクトと仮想オブジェクトを関連付けてもよい。ナビゲーションオブジェクトは、1つ以上の所定の条件(例えば、移動、コマンド、構造、感情、距離等)に応答してもよい。ナビゲーションオブジェクトの変更に基づいて、仮想オブジェクトの少なくとも1つのパラメータも、同様に変更されてもよい。例えば、仮想オブジェクトは、より高速に移動する、または別のオブジェクトに向かって移動する、または表情を呈する等であってもよい。
処理
ARシステムは、少なくともいくつかの実装では、有利には、画像処理ユニット(IPU)を介して、特徴を見つけ、次いで、汎用集合論的プロセッサ(GPSTP)を用いて、フレーム毎に特徴を見つけることによって、ハードウェア内で光学フロー分析を行ってもよい。これらの構成要素は、ARシステムが、本願全体を通して説明される複雑な計算のうちのいくつかを行うことを可能にする。これらの構成要素に関するさらなる詳細は、以下に提供されるであろうが、任意の他の類似処理構成要素も同様に、使用される、または加えて使用されてもよいことを理解されたい。
処理
ARシステムは、少なくともいくつかの実装では、有利には、画像処理ユニット(IPU)を介して、特徴を見つけ、次いで、汎用集合論的プロセッサ(GPSTP)を用いて、フレーム毎に特徴を見つけることによって、ハードウェア内で光学フロー分析を行ってもよい。これらの構成要素は、ARシステムが、本願全体を通して説明される複雑な計算のうちのいくつかを行うことを可能にする。これらの構成要素に関するさらなる詳細は、以下に提供されるであろうが、任意の他の類似処理構成要素も同様に、使用される、または加えて使用されてもよいことを理解されたい。
GPSTPは、定義されたオブジェクトを効率的に見つける、検索エンジンである。GPSTPは、集合論的検索を行う。説明として、組み合わせ論のベン図検索が、階乗次数ではなく、次数nにおいて検索されることができる。GPSTPは、定義されたオブジェクトを見つけるための集合理論を使用して、比較を効率的に行う。例えば、GPSTPは、1987年製キャデラックを有していたことがあり、7月31日にStarbucks(登録商標)コーヒーを購入し、1983年にエベレスト山に登山し、青色のシャツを有する、男性という例示的基準に例証されるように、非常に具体的基準を満たす人物を見つけるための効率的構造である。
IPUは、ピクセル単位で画像を撮影し、それを特徴に変換することができる、1組の撮像処理ハードウェアである。特徴は、メタ情報を伴うピクセル座標と見なされ得る。
光学フローアルゴリズムおよび撮像を実行する際、ARシステムは、フレーム内のオブジェクトを識別し、次いで、そのオブジェクトが少なくとも1つの後続フレームに現れる場所を決定する。IPUは、特徴を効率的に生成し、ピクセルからのデータを特徴の集合に縮小する。例えば、IPUは、数百万個の点サイズのメガピクセルを伴うフレームを撮影し、はるかに小さい特徴の集合(例えば、200個の特徴)を生成し得る。これらの特徴の集合は、処理のために、GPSTPに提供されてもよい。GPSTPは、見つけられるべき特徴を記憶してもよい。前述のように、特徴は、関連付けられたメタ情報またはデータを伴う、画像内の2D点である。特徴は、名前または標識を有することができる。GPSTPは、最も以前のリング内で見つかったn-1個の特徴を有する。
一致が見つかる場合、対応が、2Dで保存されてもよい。これは、汎用プロセッサがバンドル調節を計算し、どの相対または絶対姿勢が最後のフレームから現在のフレームまで存在したかを理解するために、少量の計算のみを要求する。これは、非常に高速かつ非常に効率的である、ハードウェア閉ループを提供する。
モバイル計算シナリオでは、2組のハードウェア(IPUおよびGPSTP)は、通常、大量の従来の撮像処理を要求するであろうものを効率的に行い得る。
いくつかの実装では、ARシステムは、位置特定、姿勢、およびマッピングプロセスにおける全てのアトミックモジュールのためのタイミングおよび品質標的を提供する、メタプロセスを採用してもよい。各アトミックモジュールに、タイミングおよび品質標的を提供することによって、それらのモジュールは、そのアルゴリズムを最適に内部的または自律的に自己調整することができる。これは、有利には、困難なリアルタイム動作の必要性を回避する。メタコントローラが、次いで、アトミックモジュールから統計を引き出し、システムが動作している場所のクラスを統計的に識別してもよい。種々の場所(例えば、飛行機、道路、病院、リビングルーム等)のための全体的システム調整構成が、保存されてもよい。
ARシステムは、追跡モジュールを採用してもよい。コンピュータ処理の任意の断片は、異なる時間がかかり得る。全てのモジュールが、アトミックであって、タイミングおよび品質データを受信および使用することができる場合、モジュールは、プロセスを起動するためにかかる時間を決定または少なくとも推定することができる。モジュールは、それぞれのプロセスの品質に関するある測定基準を有してもよい。モジュールは、種々のモジュールの決定または推定されたタイミングを考慮し、自動的に、可能である場合、トレードオフを実装してもよい。例えば、モジュールは、より高い品質を達成するためにより長い時間がかかることが推奨されることを決定することを決定してもよい。メタコントローラは、品質時間標的を全てのモジュールシステム内の全てのモジュールにシードし得る。これは、各モジュールが、自ら自己調整し、タイミング標的に達することを可能にし得る。これは、スケジュールなしでリアルタイムで起動する必要がある、非常に複雑な処理システムの動作を可能にする。これは、フィードバックループを形成する。
本アプローチは、困難なリアルタイムで動作するシステムの必要性を回避する。メタコントローラは、時間標的メッセージをモジュールに送信する。例えば、ユーザがゲームを行っている場合、メタコントローラは、メタコントローラがある他のタスク(例えば、キャラクタ一革新に関する)のための計算パワーを空けることを所望するため、モジュールに、低品質位置特定標的を使用するように伝えることを決定してもよい。メタコントローラは、統計的に定義されてもよく、異なる構成において平衡する、標的を提供することができる。
本アプローチはまた、システム調整を節約し得る。例えば、修正可能アルゴリズムパラメータの大域的集合が、調整を可能にしてもよい。例えば、動作は、場所(例えば、飛行機上、車を運転中、病院内、リビングルーム内)に基づいて調整されてもよい。アプローチは、全てのこれらのパラメータのバンドル化を可能にする。例えば、特徴追跡は、低品質標的を有することができ、したがって、比較的に短時間のみを要求し、時間予算の残りは、他の処理のために使用されることができる。
古典的「加速セグメントテストからの特徴」(FAST)特徴抽出器(上記である程度詳細に論じられたように)が、超並列バイトマッチングシステム汎用集合論的プロセッサ(GPSTP)の中に構成されてもよい。前述のように、GPSTPは、比較のみを行う、プロセッサである。結果として生じる特徴抽出器は、FASTに類似する出力および能力を有するが、数学ではなく、完全に、総当たり検索および比較を通して実装される。特徴抽出器は、1つ以上の実施形態では、カメラの近傍に位置し、フレームを特徴データ(x、y、z基本記述子情報)に直ちに処理するであろう。超並列比較は、GPSTPを介して、連続ストリーム化データに行われるであろう。
アプローチは、本質的に、画像シーケシャルを作り、GPSTPに、可能性として考えられる全てのタイプのFAST特徴を見つけさせるであろう。特徴のタイプが、列挙され、GPSTPは、限定されたサイズ、例えば、ピクセルあたり8ビットのみ存在するため、特徴を見つける。GPSTPは、総当たり検索を介して、全ての組み合わせを検討し、見つける。任意の画像は、連続化されることができ、任意の着目特徴は、変換されてもよい。変換は、事前に画像に行われてもよく、これは、ビットパターンを回転またはスケーリング等に不変にする。GPSTPは、あるピクセル群を取り上げ、1つ以上の畳み込み動作を適用する。
したがって、上記で概略された種々のARシステム、種々のソフトウェア、および光学技法を利用することによって、システムは、ユーザのための仮想現実および/または拡張現実体験を作成可能である。
図49は、例示的ARシステムの別のシステムアーキテクチャを図示する。図49に示されるように、ARシステム4900は、ARシステム4900が入力を受信する、複数の入力チャネルを備えている。入力は、感覚入力4906、視覚的入力4902、または定常入力4904であってもよい。他のタイプの入力もまた、同様に受信されてもよい(例えば、ジェスチャ情報、聴覚情報等)。図49の実施形態は、例証目的のためだけに簡略化され、他のタイプの入力も、受信され、ARシステム4900にフィードされてもよいことを理解されたい。
基本レベルでは、ARシステム4900は、入力(例えば、ユーザの装着式システムからの視覚的入力4902、部屋カメラからの入力、システム内の種々のセンサの形態における感覚入力、ジェスチャ、トーテム、眼追跡等)を1つ以上のARシステムから受信してもよい。ARシステムは、1つ以上のユーザ装着式システムおよび/または定常部屋システム(部屋カメラ等)を構成してもよい。装着式ARシステムは、カメラからの画像を提供するだけではなく、また、種々のセンサ(例えば、加速度計、温度センサ、移動センサ、深度センサ、GPS等)を具備し、ユーザの場所および環境の種々の他の属性を決定してもよい。当然ながら、本情報はさらに、前述で論じられた定常カメラからの情報で補足されてもよい。これらのカメラは、装着式ARシステムとともに、異なる視点からの画像および/または種々のキューを提供してもよい。画像データは、前述のように、点の集合に縮小されてもよいことを理解されたい。
前述のように、受信されたデータは、マップデータベース4910内に記憶される、ラスタ画像および点情報の集合であってもよい。前述のように、マップデータベース4910は、有利には、1つ以上の実オブジェクトの既知の場所に関係する仮想オブジェクトを投影するために使用され得る、実世界についての情報を収集する。前述のように、トポロジマップ、幾何学的マップ等は、マップデータベース4910内に記憶される情報に基づいて構築されてもよい。
1つ以上の実施形態では、ARシステム4900はまた、オブジェクト認識器4908(上記で詳細に説明されるオブジェクト認識器)を備えている。上記で詳細に論じられたように、オブジェクト認識器4908は、ARシステム4900の1つ以上のデータベース(例えば、マップデータベース4910)内に記憶されるデータ(例えば、点のコレクション)を通して「クロール」し、1つ以上のオブジェクトを認識する(およびタグ付けする)。マッピングデータベースは、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。本情報に基づいて、オブジェクト認識器は、オブジェクトを認識し、これを意味論的情報で補対してもよい(前述のように)。
例えば、オブジェクト認識器が、ドアである点の集合を認識する場合、システムは、ある意味論的情報(例えば、ドアがヒンジを有し、ヒンジを中心として90度移動を有する)を結び付けてもよい。経時的に、マップデータベースは、システムが(ローカルで常駐してもよく、または無線ネットワークを通してアクセス可能であってもよい)がより多くのデータを世界から蓄積するにつれて増大する。
いったんオブジェクトが認識されると、情報は、1つ以上のユーザ装着式システム4920に伝送されてもよい。例えば、ARシステム4900は、第1の場所(例えば、San Francisco)内のある場面に関するデータをNew York City内の装着式システムを有する1人以上のユーザに伝送してもよい。マップデータベース4910内のデータ(例えば、複数のカメラおよび他の入力、オブジェクト認識器、ならびに他のソフトウェア構成要素から受信されるデータは、種々の画像を通して収集される点をマップする、オブジェクトを認識する等を行う)を利用することによって、場面は、世界の異なる部分に居るユーザに正確に「パス」され得る。前述のように、ARシステム4900はまた、位置特定目的のために、トポロジマップを利用してもよい。より具体的には、以下の議論は、ARシステムの1人以上のユーザ間の相互作用を可能にする、全体的システムの種々の要素について詳細に進められるであろう。
図50は、仮想場面が1つ以上の実オブジェクトに関係してユーザに表示される方法を図示する、例示的プロセスフロー図5000である。例えば、ユーザは、New York Cityに存在し得るが、San Franciscoで現在進んでいる場面を視認することを所望し得る。または、ユーザは、San Franciscoに常駐する友人と「仮想」散歩することを所望し得る。これを行うために、ARシステム4900は、原則的に、San Franciscoユーザに対応する世界をNew Yorkユーザの装着式ARシステムに「パス」し得る。例えば、装着式ARシステムは、New Yorkユーザの装着式ARシステムにおいて、San Franciscoユーザの実世界環境を模倣する、周囲の仮想集合を作成し得る。同様に、反対側では、San Franciscoユーザの装着式ARシステムは、仮想アバタ(またはNew Yorkユーザのアクションを模倣するNew Yorkユーザの仮想類似物)を作成し得る。したがって、両ユーザは、他方のユーザの世界から「パス」されている1つ以上の仮想要素をユーザの個々のARシステム上に可視化する。
最初に、5002では、ARシステムは、入力(例えば、視覚的入力、感覚入力、聴覚的入力、知識ベース等)を特定の環境の1人以上のユーザから受信してもよい。前述のように、これは、種々の入力デバイスおよびマップデータベース内にすでに記憶されている知識を通して達成されてもよい。ユーザのカメラ、センサ、GPSシステム、眼追跡等が、情報をシステムに伝達する(ステップ5002)。そのような情報は、複数のユーザから収集され、マップデータベースにリアルタイムおよび最新情報を包括的に取り込んでもよいことを理解されたい。
1つ以上の実施形態では、ARシステム4900は、受信されたデータの集合に基づいて、低密度点の集合を決定してもよい(5004)。前述のように、低密度点は、特定の画像を撮影したキーフレームの姿勢を決定する際に使用されてもよい。これは、ユーザの周囲内の種々のオブジェクトの配向および位置を理解する際に重要となり得る。オブジェクト認識器は、これらの収集された点を通してクロールし、マップデータベース4910を使用して、1つ以上のオブジェクトを認識してもよい(5006)。
1つ以上の実施形態では、1つ以上のオブジェクトは、事前に認識され、マップデータベース内に記憶されてもよい。他の実施形態では、情報が新しい場合、オブジェクト認識器は、新しいデータ上で起動してもよく、データは、1つ以上の装着式ARシステムに伝送されてもよい(5008)。認識された実オブジェクトおよび/またはARシステムによって伝達された他の情報に基づいて、所望の仮想場面が、適宜、装着式ARシステムのユーザに表示されてもよい(5010)。例えば、所望の仮想場面(例えば、San Franciscoに居るユーザとの散歩)が、適宜、New Yorkに居るユーザの種々のオブジェクトおよび他の周囲に関係して表示されてもよい(例えば、適切な配向、位置等における実オブジェクトの集合を含む)。前述のフロー図は、非常に基本レベルにおけるシステムを表すことを理解されたい。以下の図51は、より詳細なシステムアーキテクチャを表す。
図51を参照すると、種々の要素が、好適な視覚システムの一実施形態のために描写される。図51に示されるように、ARシステム5100は、少なくとも、姿勢モジュール5108、深度マップまたは融合モジュール5104から情報を受信したマップ5106を備えている。以下にさらに詳細に説明されるであろうように、姿勢モジュール5108は、情報を複数の装着式ARシステムから受信する。具体的には、システムのカメラ5120から受信されるデータおよびIMU5122等のセンサから受信されるデータは、種々の画像が捕捉された姿勢を決定するために利用されてもよい。本情報は、システムが、画像から導出された1つ以上のマップ点をマップ5106内の適切な位置および配向に置くことを可能にする。本姿勢情報は、本情報を使用し、捕捉されたマップ点に対するカメラの位置および配向に基づいて、マップ点記憶する、マップ5106に伝送される。
図51に示されるように、マップ5106はまた、深度マップモジュール5104と相互作用する。深度マップモジュール5104は、以下にさらに詳細に説明されるであろうように、情報をステレオプロセス5110から受信する。ステレオプロセス5110は、複数の装着式ARシステム上のステレオカメラ5116およびIRカメラ(またはIRアクティブプロジェクタ5118)から受信されるデータを利用して、深度マップ5126を構築する。ステレオプロセス5110はまた、手のジェスチャ5112に基づいて、入力を受信してもよい。手のジェスチャおよび/またはトーテムジェスチャは、少なくとも部分的にユーザの手のジェスチャを追跡する眼カメラ5114から受信されるデータに基づいて、決定されてもよいことを理解されたい。
図51に示されるように、ステレオプロセス5110からのデータおよび姿勢プロセス5108からのデータは、深度マップ融合モジュール5104において使用される。言い換えると、融合プロセス5108は、姿勢プロセス5108からの姿勢情報もまた利用して、オブジェクトの深度を決定する。本情報は、次いで、マップ5106に伝送および記憶される。図51に示されるように、マップ5106からのデータは、必要に応じて伝送され、AR体験を装着式ARシステムの複数のユーザに提供する。1人以上のユーザは、ジェスチャ追跡5128、眼追跡5130、トーテム追跡5132を通して、またはゲーム用コンソール5134を通して、ARシステムと相互作用してもよい。
マップ5106は、世界のためのマップデータを含むデータベースである。一実施形態では、マップ5106は、部分的に、ユーザ装着式構成要素上に常駐してもよく、および/または部分的に、有線または無線ネットワークによってアクセス可能なクラウド記憶場所に常駐してもよい。マップ5106は、ますます多くのユーザがシステム上に増えるにつれて、ますます大きくなるであろう、有意な成長構成要素である。1つ以上の実施形態では、マップ5106は、ラスタ画像の集合、点+記述子クラウド、および/または実世界の1つ以上のオブジェクトに対応する多角形/幾何学的定義を備えてもよい。
マップ5106は、常時、複数の拡張現実デバイスから受信される情報で更新され、経時的に、ますます正確になる。システムはさらに、図51に関して説明される種々の構成要素に関するアクションの集合を行う、プロセッサ/コントローラを含んでもよいことを理解されたい。また、プロセッサ/コントローラは、種々の構成要素(例えば、融合プロセス、姿勢プロセス、ステレオ等)を通して、画像の集合を好適な視覚システムを通してユーザに投影するために使用されることができる、集合の出力パラメータの集合を決定してもよい。例えば、出力パラメータは、投影される画像の1つ以上の側面を変動させる、決定された姿勢に関してもよい。または、出力パラメータは、投影される画像の1つ以上の側面の修正を生じさせ得る、検出されたユーザ入力に関してもよい。システムアーキテクチャの種々の部分の他のそのような出力パラメータは、以下にさらに詳細に説明されるであろう。
1つ以上の実施形態では、マップ5106は、パス可能世界モデルを備えてもよい。パス可能世界モデルは、ユーザが、ユーザの世界の断片(すなわち、周囲環境、相互作用等)を別のユーザに仮想上「パス」することを可能にする。各ユーザのそれぞれの個々のARシステム(例えば、個々の拡張現実デバイス)は、ユーザが、ARシステム(またはいくつかの実施形態では、仮想現実世界システム)がパス可能世界モデルを生成するために処理する、環境を通過またはそこに存在するにつれて、情報を捕捉する。個々のARシステムは、パス可能世界モデルをクラウドと称されるデータの共通または共有コレクションに通信またはパスしてもよい。
個々のARシステムは、直接、またはクラウド介してのいずれかにおいて、パス可能世界モデルを他のユーザに通信またはパスしてもよい。パス可能世界モデルは、本質的に、少なくともユーザの視野を包含する、情報を効率的に通信またはパスする能力を提供する。
例えば、ユーザが環境を通して歩くにつれて、ユーザの個々のARシステムは、情報(例えば、画像)を捕捉し、パス可能世界モデルのコアを形成する、情報を姿勢タグ付けされた画像として保存する。パス可能世界モデルは、ラスタ画像、点+記述子クラウド、および/または多角形/幾何学的定義(本明細書では、パラメータ幾何学形状と称される)の組み合わせである。本情報の一部または全部は、クラウドにアップロードされ、そこから読み出され、その区分は、ユーザが歩いた本特定の空間に対応する。
非同期通信は、ユーザのそれぞれの個々のARシステムとクラウドベースのコンピュータ(例えば、サーバコンピュータ)との間で確立される。言い換えると、ユーザの個々のARシステムは、常時、ユーザの周囲についての情報をクラウドに更新し、また、クラウドからパス可能世界についての情報を受信する。したがって、各ユーザが画像を捕捉し、画像のオブジェクトを認識する等を行う必要なく、非同期システムを有することによって、システムがより効率的となることを可能にする。世界のその部分についてすでに存在する情報は、自動的に、個々のARシステムに通信される一方、新しい情報は、クラウドに更新される。パス可能世界モデルは、クラウドまたは他の形態のネットワーキングコンピューティングまたはピアツーピアシステム上にあって、また、ユーザの個々のシステム上にもあり得ることを理解されたい。
姿勢プロセス5108は、装着式コンピューティングアーキテクチャ上で起動し、マップ5106からのデータを利用して、装着式コンピューティングハードウェアまたはユーザの位置および配向を決定してもよい。姿勢データは、ユーザがシステムを体験し、世界内で動作するにつれてオンザフライで収集されたデータから計算されてもよい。データは、画像、センサ(慣性測定、すなわち、概して、加速度計およびジャイロ構成要素を備えている、「IMU」デバイス等)からのデータ、および実または仮想環境内のオブジェクトに関する表面情報を備えてもよい。
任意の所与の空間のために、ユーザの個々のARシステムによって撮影された画像(1人のユーザの個々のARシステムまたは複数のユーザのARシステムによって捕捉された複数の視野画像)は、特定の空間の多数のマップ点を生じさせることを理解されたい。例えば、単一部屋は、種々のカメラ(または種々の位置に移動している1つのカメラ)の複数の視点を通して捕捉された千個のマップ点を有してもよい。
したがって、ユーザの個々のARシステムに関連付けられたカメラ(または複数のカメラ)が複数の画像を捕捉する場合、多数の点が、収集され、クラウドに伝送される。これらの点は、システムがオブジェクトを認識するだけではなく、パス可能世界モデルの一部として読み出され得る、より完全な仮想世界を作成するのに役立ち、また、点の位置に基づいて、カメラの位置の計算の精緻化を可能にする。言い換えると、収集された点は、画像を捕捉するキーフレーム(例えば、カメラ)の姿勢(例えば、位置および配向)を推定するために使用されてもよい。
「低密度点表現」の集合は、同時位置特定およびマッピング(または「SLAM」もしくは「V-SLAM」)5124の出力であってもよい。これは、入力が画像/視覚専用
プロセスである、構成を指す。システムは、種々の構成要素が存在する世界の中の場所だけではなく、また、世界が備えているものも決定する。姿勢5108は、マップ5106に取り込むことと、マップ5106からのデータを使用することとを含む、多くの目標を達成する、構築ブロックである。
プロセスである、構成を指す。システムは、種々の構成要素が存在する世界の中の場所だけではなく、また、世界が備えているものも決定する。姿勢5108は、マップ5106に取り込むことと、マップ5106からのデータを使用することとを含む、多くの目標を達成する、構築ブロックである。
一実施形態では、低密度点位置は、完全に適正ではなく、さらなる情報が、前述のような多焦点仮想または拡張現実体験5102を生成するために必要とされ得る。高密度表現(概して、深度マップ情報と称される)は、少なくとも部分的に、本間隙を充填するために利用され得る。そのような情報は、「ステレオ」と称されるプロセスから計算されてもよい。ステレオプロセス5110では、深度情報は、三角測量または飛行時間感知等の技法を使用して決定される。データの高密度および低密度表現に関するさらなる詳細は、以下にさらに提供される。
1つ以上の実施形態では、3D点が、環境から補足されてもよく、それらの画像または点を捕捉するカメラの姿勢(すなわち、世界に対するベクトルおよび/または原点位置情報)が、これらの点または画像が、「タグ付け」される、すなわち、本姿勢情報に関連付けられ得るように決定されてもよい。次いで、第2のカメラによって捕捉された点が、第2のカメラの姿勢を決定するために利用されてもよい。言い換えると、第1のカメラからのタグ付けされた画像との比較に基づいて、第2のカメラを配向および/また配置特定することができる。
本知識は、テクスチャを抽出し、マップを作製し、実世界の仮想コピーを作成する(次いで、位置合わせされる2つのカメラが存在するため)ために利用されてもよい。したがって、基本レベルでは、一実施形態では、装着式ARシステムは、点を生成した3D点および2D画像の両方を捕捉するために利用されることができ、これらの点および画像は、クラウド記憶および処理リソース(すなわち、マッピングデータベース)に送信されてもよい。それらはまた、クラウドが、3D点とともに、タグ付けされた2D画像(すなわち、3D姿勢でタグ付けされた)へのアクセスを有し得るように(すなわち、利用可能なキャッシュ内において)、埋め込まれた姿勢情報とともにローカルでキャッシュされてもよい(すなわち、タグ付けされた画像をキャッシュする)。
クラウドシステムは、いくつかの点を姿勢専用の起点として保存し、全体的姿勢追跡計算を削減してもよい。概して、ユーザが部屋を動き回るにつれて、壁、テーブル等、ユーザの環境内の主要アイテムを追跡可能となるためのいくつかの輪郭特徴を有することは、望ましくあり得、ユーザは、世界を「共有」し、ある他のユーザにその部屋の中を歩かせ、また、それらの点を見せることが可能となることを所望し得る。そのような有用かつ重要な点は、係留点として非常に有用である、すなわち、機械視覚を用いて認識され得、異なる組のユーザハードウェア上で、一貫し、かつ繰り返し、世界から抽出され得る、特徴に関連するため、「起点」と称され得る。したがって、これらの起点は、好ましくは、さらなる使用のために、クラウドに保存されてもよい。
一実施形態では、カメラが場所を認識するために容易に使用することができるアイテムの種類であるため、関連世界全体を通して比較的に均一な起点の分布を有することが好ましい。一実施形態では、関連クラウドコンピューティング構成は、3D点および任意の関連付けられたメタデータのデータベースを周期的に整備し、起点精緻化および世界作成の両方のために、種々のユーザからの最良データを使用してもよい。言い換えると、システムは、関連世界を見て、その中で機能する種々のユーザからの入力を使用することによって、最良データ集合を得てもよい。
一実施形態では、データベースは、本質的に、フラクタルである、すなわち、ユーザがオブジェクトのより近くに移動するにつれて、クラウドがより高い分解能情報をそのようなユーザにパスする。ユーザがオブジェクトをより近似的にマップするにつれて、そのデータは、クラウドに送信され、クラウドは、新しいマップがデータベース内に以前に記憶されたものより優れている場合、新しい3D点および画像ベースのテクスチャマップをデータベースに追加することができる。データベースは、複数のユーザによって同時にアクセスされてもよいことを理解されたい。
1つ以上の実施形態では、システムは、収集された情報に基づいて、オブジェクトを認識してもよい。例えば、そのようなオブジェクトを認識および理解するために、オブジェクトの深度を理解することが重要であり得る。認識器ソフトウェアオブジェクト(「認識器」)が、クラウドまたはローカルリソース上に展開され、具体的には、ユーザが世界内でデータをナビゲートするにつれて、一方または両方のプラットフォーム上の種々のオブジェクトの認識を補助してもよい。例えば、システムが、3D点クラウドおよび姿勢がタグ付けされた画像を備えている、世界モデルのためのデータを有し、その上に多数の点を伴う机ならびに机の画像が存在する場合、ヒトがそれを把握するにつれて、観察されているものが、実際、机であるという決定がされない場合がある。言い換えると、空間内のいくつかの3D点および机の大部分を示す空間から外れたある場所からの画像は、机が観察されていることを瞬時に認識するために十分ではない場合がある。
本識別を補助するために、具体的オブジェクト認識器が、未加工3D点クラウドに進入し、点の集合を区画化し、例えば、机の上側表面の平面を抽出するように作成されてもよい。同様に、認識器は、ユーザが、壁紙を変更する、または仮想もしくは拡張現実内の壁の一部を除去し、実世界内に実際には存在しない別の部屋へのポータルを有し得るように、3D点から壁を区画化するように作成されてもよい。そのような認識器は、世界モデルのデータ内で動作し、世界モデルをクロールし、その世界モデルに、意味論的情報、すなわち、空間内の点間に存在すると考えられるものについての存在論を植え付ける、ソフトウェア「ロボット」と見なされ得る。そのような認識器またはソフトウェアロボットは、その存在全体が、データの関連世界を周回し、それが考えているものが、壁、または椅子、または他のアイテムであることを見つけるようにプログラムされてもよい。それらは、点の集合を「本点の集合は壁に属する」という機能的均等物でタグ付けしてもよく、点内に存在するものに関してシステムに相互に知らせるために、点ベースのアルゴリズムおよび姿勢がタグ付けされた画像分析の組み合わせを備えてもよい。
オブジェクト認識器は、視点に応じて、種々のユーティリティの多くの目的のために作成されてもよい。例えば、一実施形態では、Starbucks等のコーヒーの提供業者は、データの関連世界内におけるStarbucksコーヒーカップの正確な認識器の作成に投資してもよい。そのような認識器は、関連近傍空間内で動作しているとき、区画化され、ユーザに識別され得るように(すなわち、おそらく、ユーザが、ある期間の間、そのStarbucksカップを見ているとき、角を曲がってすぐのStarbucks直売店でユーザにコーヒーを提供するため)、Starbucksコーヒーカップを検索する大小様々なデータの世界をクロールするように構成されてもよい。カップが区画化されると、ユーザがそれをその机上で移動させるとき、迅速に認識され得る。
そのような認識器は、利用可能な計算リソースに応じて、クラウドコンピューティングリソースおよびデータ上だけではなく、また、ローカルリソースおよびデータ上、またはクラウドおよびローカルの両方上で起動もしくは動作するように構成されてもよい。一実施形態では、その大域的モデルに寄与する数百万人のユーザを伴う、世界モデルの大域的コピーがクラウド上に存在するが、特定の町における特定の個人のようなより小さい世界またはサブ世界のために、大域的世界の大部分は、そのオフィスがどのようなものであるかは配慮せず、したがって、システムは、データを整備し、最もローカルで所与のユーザに関連すると考えられるローカルキャッシュ情報に移動してもよい。
一実施形態では、ユーザが机まで歩くとき、テーブル上のカップ等の頻繁に移動するものとして識別されるオブジェクトが、クラウドモデルおよびクラウドとローカルリソースとの間の伝送負荷に負担をかけない必要があるため、関連情報(そのテーブル上の特定のカップの区画化等)は、クラウドではなく、そのローカルコンピューティングリソース上のみに常駐してもよい。したがって、クラウドコンピューティングリソースは、区画3D点および画像を区画化し、したがって、恒久的(例えば、概して、移動しない)オブジェクトを移動可能であるオブジェクトから分ける。
これは、関連付けられたデータがとどまるべき場所、処理されるべき場所に影響を及ぼし、より恒久的オブジェクトに関連するあるデータのために、装着式/ローカルシステムから処理負担を除去し、次いで、他のユーザと共有され得る、場所の1回の処理を可能にし、特定の物理場所内の固定および移動可能であるオブジェクトのデータベースを同時に構築するための複数のデータの源を可能にし、オブジェクトを背景から区画化し、オブジェクト特有の起点およびテクスチャマップを作成し得る。
システムは、基本要素(壁、窓、机幾何学形状等)を、仮想または拡張現実内の部屋中に歩いて来て、かつ一実施形態では、その人物のシステムが、その特定の視点から画像を撮影し、それらをクラウドにアップロードするであろう、任意のユーザと共有してもよい。次いで、クラウドに、古いおよび新しいデータの集合が取り込まれ、最適化ルーチンを起動し、個々のオブジェクト上に存在する、起点を確立することができる。
画像情報およびアクティブパターン(図51に示されるように、アクティブプロジェクタを使用して作成された赤外線パターン等)が、ステレオプロセス5110への入力として使用される。有意な量の深度マップ情報は、ともに融合されてもよく、これの一部は、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのようなものへの効率的(すなわち、大規模点クラウドと比較して)かつ摘要しやすい入力である。
前述の技法は、深度マッピングプロセス5104のいくつかの実施形態を表すが、他のそのような技法も、深度マッピングおよび融合のために使用されてもよいことを理解されたい。ステレオプロセスの出力(深度マップ)は、融合プロセス5104内で組み合わせられてもよい。姿勢5108は、同様に、本融合プロセス5104への入力であってもよく、融合5108の出力は、図51の実施形態に示されるように、マッププロセス5106に取り込むための入力となる。サブ表面は、トポグラフィマッピングにおけるように、相互に接続し、より大きい表面を形成してもよく、マップ5106は、点および表面の大規模なハイブリッドとなってもよい。
拡張現実プロセス5102における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、描写される実施形態では、種々のゲームパラメータ5134は、システムのユーザまたはオペレータが、種々の場所で1匹またはそれを上回るモンスタとのモンスタ戦闘ゲームを行っていること、種々の条件下で死亡または逃走しているモンスタ(ユーザがモンスタを射撃する場合等)、種々の場所における壁または他のオブジェクト、および同等物を決定するための入力であってもよい。
マップ5105は、AR体験5102への別の有用な入力となる、そのようなオブジェクトが相互に対する場所に関する情報を含んでもよい。マップ5106からARプロセス5102への入力は、「世界マップ」と呼ばれ得る。世界に対する姿勢は、入力となり、ほぼ任意の双方向システムに対して重要な役割を果たし得る。
ユーザからの制御または入力は、別の重要な入力である。動き回る、またはゲームを行うために、例えば、ユーザは、システムに、ユーザが所望するものに関して命令する必要があり得る。空間内を自ら移動するだけ以外に、利用され得る種々の形態のユーザ制御が存在する。一実施形態では、トーテムまたはオブジェクト(例えば、銃)に関するデータ5112は、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行う相互作用の種類を理解するであろう(すなわち、トーテムまたはオブジェクトが銃である場合、システムは、場所および配向だけではなく、IMU等のセンサを具備し得る、トリガまたは他の感知ボタンまたは要素をユーザがクリックしているかどうかを理解し得、そのようなアクティビティがカメラのいずれかの視野内にない場合でも、状況についての決定を補助し得る)。
手のジェスチャの追跡または認識に関するデータ5112もまた、有用な入力情報を提供し得る。システムは、ボタン押下のため、左または右、停止等のジェスチャために、手のジェスチャを追跡および解釈してもよい。例えば、ある構成では、ユーザは、非ゲーム環境において電子メールもしくカレンダをめくる、または別の人物またはプレーヤと「フィストバンプ」を行うことを所望し得る。システムは、最小量の手のジェスチャを活用してもよく、これは、動的であってもよく、またはそうでなくてもよい。例えば、ジェスチャは、単純静的ジェスチャ(例えば、停止のために手を広げる、OKのために親指を上げる、反対のために親指を下げる、指向性コマンドのために手を右または左または上/下に向ける等)であってもよい。一実施形態は、ジェスチャ追跡および解釈のために非常に限定された語彙から開始し、最終的に、より微妙かつ複雑になってもよい。
眼追跡5114は、別の重要な入力である(すなわち、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲にレンダリングする)。一実施形態では、眼の両眼離反運動は、三角測量を使用して決定されてもよく、次いで、その特定の人物のために開発された両眼離反運動/遠近調節モデルを使用して、遠近調節が、決定されてもよい。
カメラシステムに関して、いくつかの実施形態は、ユーザの顔の両側に配列される相対的広視野(「FOV」)また「受動的SLAM」対のカメラ5120と、ユーザの正面に配向され、ステレオプロセス5104に対処し、また、ユーザの顔の正面における手のジェスチャおよびトーテム/オブジェクト追跡を捕捉する、異なる対のカメラの3つの対のカメラに対応する。一対の眼カメラ5114は、ユーザの眼の中に配向され、眼ベクトルおよび/または他の情報を三角測量してもよい。前述のように、システムはまた、以下にさらに詳細に説明されるであろうように、1つ以上のテクスチャ化された光プロジェクタ(赤外線、すなわち、「IR」プロジェクタ5118等)を備え、テクスチャを場面の中に投入してもよい。
これらのデバイス(例えば、種々のカメラ、IMU、および他のセンサ等)の全ての較正は、システムおよびその構成要素を協調させる際に重要である。システムはまた、無線三角測量技術(モバイル無線ネットワーク三角測量および/または汎地球測位衛星技術等、その両方とも、システムが屋外で利用されるため、より関連するようになる)を利用してもよい。ユーザによって装着される歩数計、ユーザの場所および/または配向に関連付けられたホイールエンコーダ等の他のデバイスまたは入力も、システムに有用となるために較正される必要があり得る。
ディスプレイシステムはまた、較正視点から入力要素と見なされ得る。言い換えると、システムの種々の要素は、好ましくは、相互に関連し、同様に、内部較正される(すなわち、要素が実世界行列を測定の中にマップする方法;実世界測定から行列に進むと、そこは「内部」と称され得る)。カメラモジュールのために、標準的内部パラメータは、ピクセル単位の焦点距離、主点(光学軸とセンサの交差点)、および歪曲パラメータ(特に、幾何学形状)を含んでもよい。
また、空間内の測定または放射輝度の正規化に着目する場合、写真測量パラメータを検討してもよい。ジャイロおよび加速度計デバイスを組み合わせる、IMUモジュール5122を用いる場合、スケーリング係数は、重要な較正入力であり得る。カメラ間較正もまた、重要であり得、相互に堅く結合された3つのカメラの集合(例えば、眼カメラ、ステレオカメラ、および広視野カメラ等)を有することによって行われてもよい。一実施形態では、ディスプレイは、2つの眼用サブディスプレイを有してもよく、これは、少なくとも部分的に、工場内で、かつユーザの解剖学的変動に起因して(頭蓋骨に対する眼の場所、相互に対する眼の場所等)、部分的に、原位置で較正されてもよい。したがって、一実施形態では、プロセスは、特定のユーザのためのディスプレイシステムを較正するために、ランタイム時に行われる。
概して、較正は全て、前述のように、他の機能ブロックへの入力として使用され得る、パラメータまたは構成を生成するであろう。例えば、較正は、空間内の光線方向の視点から画像内の全てのピクセルの場所を決定するために、システムが画像をリアルタイムで調節し得るように、カメラがヘルメットまたは他の頭部装着式モジュールに対する場所、ヘルメットの大域的基準、カメラの内部パラメータ等に関する入力を生成してもよい。
同じことはまた、ステレオカメラ5116にも当てはまる。1つ以上の実施形態では、ステレオカメラの相違マップが、深度マップの中と、3Dにおける点の実際のクラウドの中とにマップされてもよい。したがって、較正は、この場合も同様に基本的である。カメラは全て、好ましくは、単一基準フレームに対して把握されるであろう。これは、較正の文脈における基本概念である。前述と同様に、同じことはまた、IMU5122にも当てはまる。概して、3つの軸回転が、それに関連する少なくともいくつかの特性評価/変換を促進するために、ARシステムに対して決定されてもよい。他の較正技法も、以下にさらに論じられるであろう。
(高密度/低密度マッピング追跡)
前述のように、所与の場所に対するマップ点を得ることができる、多くの方法が存在し、いくつかのアプローチは、多数の(高密度)点、より低い分解能深度点を生成してもよく、他のアプローチは、はるかに少ない数の(低密度)点を生成してもよい。しかしながら、従来の視覚技術は、マップデータが全て1つの密度の点から成ることを前提とする。
前述のように、所与の場所に対するマップ点を得ることができる、多くの方法が存在し、いくつかのアプローチは、多数の(高密度)点、より低い分解能深度点を生成してもよく、他のアプローチは、はるかに少ない数の(低密度)点を生成してもよい。しかしながら、従来の視覚技術は、マップデータが全て1つの密度の点から成ることを前提とする。
これは、様々なレベルの低密度から完全に高密度のデータの集合まで様々な密度の点を有する、単一マップを有する必要があるとき、問題を提起する。例えば、所与の空間内の屋内設定に居るとき、例えば、部屋内の点に対するより高いレベルおよび体積の詳細が、多くのゲームまたは事業用途の要件を充足させるために重要となり得るため、多くの場合、部屋内の点の非常に高密度マップを記憶する必要がある。一方、長廊下または屋外設定では、高密度量のデータ記憶する必要はめったになく、故に、より低密度の点の集合を使用して、屋外空間を表すことが非常に効率的であり得る。
装着式ARシステムを用いて、システムアーキテクチャは、ユーザが、高密度マッピング(例えば、屋内)に対応する設定からより低密度マッピングに対応する場所(例えば、屋外)に移動し得ることと、その逆も同様であるという事実を考慮可能である。一般的考えは、前述で詳細に説明されるように、識別された点の性質にかかわらず、ある情報が、その点に対して得られ、これらの点が、共通マップの中にともに記憶されるというものである。正規化プロセスは、点に対して記憶された情報が、システムが着式デバイスのための所望の機能性を行うことを可能にするために十分であることを確認するために行われる。本共通マップは、したがって、異なるタイプおよび/または密度のデータの統合を可能にし、マップデータへのシームレスなアクセスおよびその使用を伴う装着式デバイスの移動を可能にする。
図114を先に参照すると、マップに低密度マップデータおよび高密度マップデータの両方を取り込むための1つの可能性として考えられるアプローチのフロー図11400が、図示される。左部分上の経路は、低密度点に対処し、右部分上の経路は、高密度点に対処する。
11401aでは、プロセスは、機械に可視の任意の別個の/繰り返し可能テクスチャに関し得る、低密度特徴点を識別する。そのような別個の点の実施例として、角、円形、三角形、テキスト等が挙げられる。これらの別個の特徴の識別は、その点に対する特性を識別し、また、識別された点を位置特定することを可能にする。点の座標ならびに点を囲繞または隣接する領域のテクスチャの特性に関する他の情報を含む、種々のタイプの情報が、点に対して得られる。
同様に、11401bでは、空間内の多数の点の識別が、行われる。例えば、深度カメラが、その点の(x,y,z)座標を識別する、空間内の3D点の集合を捕捉するために使用されてもよい。いくつかの深度カメラはまた、点に対するD(深度)値とともに、RGB値を捕捉してもよい。これは、捕捉された点に対する世界座標の集合を提供する
本時点における問題は、潜在的に互換性のない点の2つの集合が存在することであって、一方の集合は、低密度(11401aから生じる)であって、他方の集合は、高密度(11401bから生じる)である。本発明は、捕捉されたデータに正規化を行い、本潜在的問題に対処する。正規化は、装着式デバイスのために必要とされる視覚機能性を促進するために必要とされ得る、データの任意の側面に対処するように行われる。例えば、11403aでは、スケール正規化が、低密度データの密度を正規化するために行われることができる。ここでは、点が、識別され、その点からのオフセットもまた、識別され、識別された点からオフセットまでの差異を決定し、本プロセスは、点に関連付けられるべき適切なスケーリングをチェックおよび決定するために行われる。同様に、11403bでは、高密度データもまた、必要に応じて、正規化され、識別された高密度点を適切にスケーリングしてもよい。他のタイプの正規化、例えば、共通原点に対する座標正規化もまた、当業者に公知のように行われてもよい。機械学習フレームワークが、点のローカル集合から学習された正規化が、全ての必要点が正規化されるまで、第2の点等を正規化するために使用されるように、正規化プロセスを実装するために使用されることができる。
本時点における問題は、潜在的に互換性のない点の2つの集合が存在することであって、一方の集合は、低密度(11401aから生じる)であって、他方の集合は、高密度(11401bから生じる)である。本発明は、捕捉されたデータに正規化を行い、本潜在的問題に対処する。正規化は、装着式デバイスのために必要とされる視覚機能性を促進するために必要とされ得る、データの任意の側面に対処するように行われる。例えば、11403aでは、スケール正規化が、低密度データの密度を正規化するために行われることができる。ここでは、点が、識別され、その点からのオフセットもまた、識別され、識別された点からオフセットまでの差異を決定し、本プロセスは、点に関連付けられるべき適切なスケーリングをチェックおよび決定するために行われる。同様に、11403bでは、高密度データもまた、必要に応じて、正規化され、識別された高密度点を適切にスケーリングしてもよい。他のタイプの正規化、例えば、共通原点に対する座標正規化もまた、当業者に公知のように行われてもよい。機械学習フレームワークが、点のローカル集合から学習された正規化が、全ての必要点が正規化されるまで、第2の点等を正規化するために使用されるように、正規化プロセスを実装するために使用されることができる。
低密度および高密度点の両方のために正規化された点データは、次いで、適切なデータフォーマットで表される。11405aでは、記述子が、生成され、低密度点毎に取り込まれる。同様に、11405bでも、記述子が、生成され、高密度点のために取り込まれる。記述子(例えば、A-KAZE、球体またはLATCH記述子アルゴリズムを使用する)は、低密度または高密度データに対応するかどうか、点のそれぞれを特性評価する。例えば、記述子は、点のスケール、配向、パッチデータ、および/またはテクスチャについての情報を含んでもよい。その後、11407では、記述子は、次いで、共通マップデータベースの中に記憶され(前述のように)、低密度および高密度データの両方を含む、データを統合する。
装着式デバイスの動作の間、必要とされるデータが、システムによって使用される。例えば、ユーザが高密度データに対応する空間内に居るとき、多数の点が、そのデータを使用して任意の必要機能性を行うために利用可能である可能性が高い。一方、ユーザが低密度データに対応する場所に移動すると、必要機能性を行うために使用される、限定数の点が存在し得る。ユーザは、4つの点のみ識別される、屋外空間に存在してもよい。4つの点は、例えば、オブジェクト識別およびそのオブジェクトの配向のために使用されてもよい。
点はまた、ユーザの姿勢を決定するために使用されてもよい。例えば、ユーザがすでにマップされた部屋の中に移動したと仮定する。ユーザのデバイスは、部屋内の点を識別するであろう(例えば、装着式デバイス上のモノまたはステレオカメラを使用して)。例えば、既知の点を識別することによって、以前にマップされた同一点/パターンのチェックが試行され、ユーザの場所が、ユーザの配向とともに識別されることができる。部屋の3Dモデル内の4つまたはそれを上回る識別された点を前提として、これは、ユーザの姿勢を決定することを可能にする。高密度マッピングが存在する場合、高密度データに適切なアルゴリズムが、決定を行うために使用されることができる。空間が、低密度マッピングに対応する場合、低密度データに適切なアルゴリズムが、決定を行うために使用されることができる。
(投影されるテクスチャ源)
いくつかの場所では、その空間に対するテクスチャデータを得るべき特徴点が乏しい場合がある。例えば、ある部屋は、識別して、マッピングデータを得るための別個の特徴点が存在しない、幅広い開口部のない壁を有し得る。
いくつかの場所では、その空間に対するテクスチャデータを得るべき特徴点が乏しい場合がある。例えば、ある部屋は、識別して、マッピングデータを得るための別個の特徴点が存在しない、幅広い開口部のない壁を有し得る。
本発明のいくつかの実施形態は、自然特徴点または自然発生テクスチャの不在下でも、各点の別個のテクスチャを能動的に生成するためのフレームワークを提供する。図115は、本発明の実施形態の本側面を実装するためにとられ得る、例示的アプローチを図示する。1つ以上のファイバベースのプロジェクタ11501が、カメラ1(11502)および/またはカメラ2(11503)等の1つ以上のカメラに可視である光を投影するために採用される。
一実施形態では、ファイバベースのプロジェクタは、光の狭ビームを前後に選択された角度で投影する、走査式ファイバディスプレイスキャナを備えている。光は、角度走査された光を収集し、それを1つ以上の光線の束に変換するために利用され得る、レンズまたは他の光学要素を通して投影されてもよい。
ファイバベースのプロジェクタによって投影されるべき投影データ11507は、任意の好適なタイプの光を備えてもよい。いくつかの実施形態では、投影データ11507は、一連の動的既知のパターンを有する構造化された光11504を備え、連続光パターンが、投影され、個々に、アドレス指定およびテクスチャ化され得る、個々のピクセルを識別する。投影データはまた、識別およびテクスチャ化されるべき点の既知のパターンを有する、パターン化された光11505を備えてもよい。さらに別の実施形態では、投影データは、必ずしも、既知のまたは認識可能パターンを備えている必要はないが、光データ内の点を別々に識別するために十分なテクスチャを含む、テクスチャ化された光11506を備えている。
動作時、1つ以上のカメラが、プロジェクタから認識可能オフセットを有するように設置される。点は、1つ以上のカメラから捕捉された画像から識別され、三角測量が、行われ、点に対して必要な場所および深度情報を決定する。テクスチャ化された光アプローチを用いることで、テクスチャ化された光は、投影された表面上にすでにあるテクスチャ化が存在する場合でも、点を識別することを可能にする。
これは、例えば、複数のカメラに(テクスチャ化された光または実世界オブジェクトのいずれかからの)投影からの同一点を識別させ、次いで、テクスチャ抽出モジュール11508を通してその識別された点に対して正しい場所および深度情報を三角測量することによって実装される。これは、テクスチャパターンが既知である必要がないため、構造化された光およびパターン化された光アプローチより有利であり得る。むしろ、テクスチャパターンは、2つまたはそれを上回るカメラから三角測量されるだけである。これは、周囲光条件に対してよりロバストである。さらに、2つまたはそれを上回るプロジェクタは、テクスチャが、識別ではなく、直接、三角測量のために使用されるため、相互に干渉しない。
本機能性のためのファイバベースのプロジェクタの使用は、多数の利点を提供する。1つの利点は、ファイバベースのアプローチが、テクスチャ化目的のために所望される場所に正確に光データを引き出すために使用されることができることである。これは、システムが、カメラによって投影される、および/または見える必要がある場所に正確に可視点を置くことを可能にする。実際、これは、テクスチャデータを生成するためのトリガ可能テクスチャ源の完全に制御可能なトリガを可能にする。これは、システムが、非常に迅速かつ容易に光を投影し、次いで、テクスチャ化されるべき所望の点を見つけ、次いで、その位置および深度を三角測量することを可能にする。
本アプローチによって提供される別の利点は、いくつかのファイバベースのプロジェクタもまた、画像を捕捉可能であることである。したがって、本アプローチでは、カメラは、プロジェクタ装置の中に統合され、コスト、デバイス専有面積、および電力利用の観点から節約を提供することができる。例えば、2つのファイバプロジェクタ/カメラが使用されるとき、これは、第1のプロジェクタ/カメラが、第2のプロジェクタ/カメラによって捕捉される光データを精密に投影することを可能にする。次に、逆のことが生じ、第2のプロジェクタ/カメラが、第1のプロジェクタ/カメラによって捕捉されるべき光データを精密に投影する。三角測量が、次いで、捕捉されたデータに対して行われ、点に対するテクスチャ情報を生成することができる。
前述のように、ARシステムユーザは、ユーザの眼の正面に位置付けられるディスプレイシステムを有する、装着式構造を使用してもよい。ディスプレイは、有線導線または無線接続等によって、種々の構成において搭載され得る、ローカル処理およびデータモジュールに動作可能に結合される。ローカル処理およびデータモジュールは、電力効率的プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備えてもよく、両方とも、a)画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等のフレームに動作可能に結合され得るセンタさから捕捉される、および/またはb)可能性として、そのような処理または読み出しの後にディスプレイへのパスのために、遠隔処理モジュールおよび/または遠隔データリポジトリを使用して、取得および/または処理される、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。ローカル処理およびデータモジュールは、これらの遠隔モジュールが、相互に動作可能に結合され、ローカル処理およびデータモジュールへのリソースとして利用可能であるように、有線または無線通信リンク等を介して、遠隔処理モジュールおよび遠隔データリポジトリに動作可能に結合されてもよい。
いくつかのクラウドベースの実施形態では、遠隔処理モジュールは、データおよび/または画像情報を分析ならびに/もしくは処理するために、1つ以上の比較的に高性能のプロセッサまたはコントローラを備えてもよい。図116は、あるクラウドベースのコンピューティング実施形態において使用され得る、例示的アーキテクチャを描写する。クラウドベースのサーバ11612は、クラウドリソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であり得る、比較的に大規模デジタルデータ記憶設備として具現化される、1つ以上の遠隔データリポジトリとして実装されることができる。
種々のタイプのコンテンツが、クラウドベースのリポジトリ内に記憶されてもよい。例えば、ユーザが、システムを体験し、世界内で動作するにつれて、オンザフライで収集されるデータは、クラウドベースのリポジトリ内に記憶されてもよい。データは、画像、センサ(概して、加速度計およびジャイロ構成要素を備えている、慣性測定、すなわち、IMUデバイス等)からのデータ、および実または仮想環境内のオブジェクトに関連する表面情報を備えてもよい。システムは、種々のタイプのデータおよび収集されたセンサデータからのメタデータを生成してもよい。例えば、幾何学形状マッピングデータ11606および意味論的マッピングデータ11608が、生成され、クラウドベースのリポジトリ内に記憶されることができる。
マップデータは、世界のためのマップデータを含むデータベースであり得る、クラウドベースであってもよい。一実施形態では、本データは、全体としてクラウド内に記憶される。別の実施形態では、本マップデータは、部分的に、ユーザ装着式構成要素上に常駐し、部分的に、有線または無線ネットワークによってアクセス可能なクラウド記憶場所に常駐してもよい。クラウドサーバ11612はさらに、ユーザの個人情報および/または企業のポリシーを別のデータベース11610内に記憶してもよい。
クラウドベースの処理が、データを処理および/または分析するために行われてもよい。例えば、意味論的マップ11608は、例えば、マップによって追跡されている世界内のオブジェクトおよび場所のために、システムによって使用可能な意味論的コンテンツを提供する、情報を備えている。1つ以上の遠隔サーバは、処理11602(例えば、機械学習処理)を行い、センサデータを分析し、関連意味論的マップデータを識別/生成するために使用されることができる。別の実施例として、姿勢プロセスが、装着式コンピューティングハードウェアまたはユーザの位置および配向を決定するために起動されてもよい。本姿勢処理はまた、遠隔サーバ上で行われることができる。
一実施形態では、システム処理は、部分的に、クラウドベースのサーバ上で行われ、部分的に、装着式コンピューティングアーキテクチャ内のプロセッサ上で行われる。代替実施形態では、処理の全体が、遠隔サーバ上で行われる。装着式デバイスと遠隔サーバ(例えば、クラウドベースのサーバ)との間の作業負荷の任意の好適なパーティション化が、要求される具体的作業、装着式とサーバとの間の相対的利用可能なリソース、およびネットワーク帯域幅可用性/要件の検討とともに実装されてもよい。
クラウドベースの設備もまた、記憶されたデータのための品質保証処理および誤差補正11604を行うために使用されてもよい。そのようなタスクとして、例えば、誤差補正、標識化タスク、クリーンアップアクティビティ、および訓練データの生成が挙げられ得る。自動化が、遠隔サーバにおいて使用され、これらのアクティビティを行うことができる。代替として、遠隔「人的リソース」もまた、あるコンピューティングプロバイダによって提供されるMechanical Turkプログラムと同様に採用されることができる。
(個人データ)
個人データもまた、全体的アーキテクチャ内の種々の場所に構成可能に記憶されることができる。いくつかの実施形態では、ユーザが装着式デバイスを利用するにつれて、ユーザについての履歴データが、取得および維持され、例えば、ある期間にわたって、そのユーザの場所、アクティビティ、およびセンサデータのコピーを反映させる。個人データは、装着式デバイス自体にローカルで記憶されてもよいが、通常の使用の間に生成される可能性が高い大量のデータを前提として、クラウドベースのリポジトリが、その履歴データを記憶するために最良場所であり得る。
個人データもまた、全体的アーキテクチャ内の種々の場所に構成可能に記憶されることができる。いくつかの実施形態では、ユーザが装着式デバイスを利用するにつれて、ユーザについての履歴データが、取得および維持され、例えば、ある期間にわたって、そのユーザの場所、アクティビティ、およびセンサデータのコピーを反映させる。個人データは、装着式デバイス自体にローカルで記憶されてもよいが、通常の使用の間に生成される可能性が高い大量のデータを前提として、クラウドベースのリポジトリが、その履歴データを記憶するために最良場所であり得る。
1つ以上のプライバシーポリシーが、個人データの記憶のために、特に、クラウドベースの設定におけるそのデータへのアクセスを制御してもよい。プライバシーポリシーは、ユーザの個人データが第三者によってアクセスされ得る条件を設定するために、ユーザによって構成可能である。ユーザは、例えば、第三者が、個人データに基づいて、サービスをユーザに提供することを可能にすることを求めるユーザのために、具体的状況下でアクセスを許可してもよい。例えば、マーケティング責任者は、そのユーザの大体の近傍で事業のためのクーポンを提供するために、そのユーザの場所を決定することを求め得る。ユーザは、ユーザがマーケティング情報/クーポンを第三者マーケティング責任者からを受信することは有益であると考えるため、その場所データが第三者と共有されることを可能にするためのプライバシーポリシーを使用してもよい。一方、ユーザは、個人データのいずれかへの第三者によるいかなるアクセスも可能にしない構成に対応する、最高のレベルのプライバシーを求めてもよい。任意の好適なプライバシーポリシー構成が、本発明の実施形態に従って、使用可能であり得る。
(ARシステムとの相互作用)
以下の実施形態は、1つ以上のARシステムが実環境および/または他のARユーザと相互作用する、種々のアプローチを図示する。一例示的実施形態では、ARシステムは、ARデバイスのインターフェースが、実質的に透明であって、それによって、ユーザがローカル的物理環境を視認することを可能にし得る、「拡張」モードを含んでもよい。
以下の実施形態は、1つ以上のARシステムが実環境および/または他のARユーザと相互作用する、種々のアプローチを図示する。一例示的実施形態では、ARシステムは、ARデバイスのインターフェースが、実質的に透明であって、それによって、ユーザがローカル的物理環境を視認することを可能にし得る、「拡張」モードを含んでもよい。
図52は、ARシステムが拡張モードで動作しているとき、ユーザによって視認されるオブジェクトの例示的実施形態を図示する。図52に示されるように、ARシステムは、物理オブジェクト5202と、仮想オブジェクト5204とを提示する。図5に図示される実施形態では、物理オブジェクト5202は、ユーザのローカル環境内に存在する実物理オブジェクトである一方、仮想オブジェクト5204は、ARシステムによって作成された仮想オブジェクトである。いくつかの実施形態では、仮想オブジェクト5204は、物理環境内の固定位置または場所に表示されてもよく(例えば、物理環境内に位置する特定の道路標識の隣に立っている仮想サル)、またはユーザに対してある位置に位置するオブジェクト(例えば、ディスプレイの左上角に可視である仮想掛時計または温度計)としてユーザに表示されてもよい。
いくつかの実施形態では、仮想オブジェクトは、ユーザの視野内または外に物理的に存在するオブジェクトからキューが送られる、またはそれによってトリガされるように作製されてもよい。仮想オブジェクト5204は、物理オブジェクト5202からキューが送られる、またはそれによってトリガされる。例えば、物理オブジェクト5202は、実際には、スツールであってもよく、仮想オブジェクト5204は、スツール上に立っている仮想動物としてユーザ(およびいくつかの実施形態では、ARシステムとインターフェースをとる他のユーザ)に表示されてもよい。そのような実施形態では、ARシステム(例えば、例えば、プロセッサ内に記憶され、種々の特徴および/または形状パターンを認識するソフトウェアおよび/またはファームウェアを使用して)は、物理オブジェクト5202をスツールとして識別してもよい。例えば、スツール座面等のこれらの認識された形状パターンは、仮想オブジェクト5204の設置をトリガするために使用されてもよい。他の実施例として、オブジェクトまたはオブジェクトとのある関係において、拡張現実体験をトリガするために見える、または使用されることができる、壁、テーブル、家具、車、建物、人々、床、植物、動物、または任意のオブジェクトが挙げられる。
いくつかの実施形態では、トリガされる特定の仮想オブジェクト5204は、ユーザによって選択される、または頭部搭載式ARシステムの他の構成要素によって自動的に選択されてもよい。加えて、仮想オブジェクト5204が自動的に、トリガされる実施形態では、特定の仮想オブジェクト5204は、仮想オブジェクト5204が、キューが送られる、またはトリガされる、特定の物理オブジェクト5202(またはその特徴)に基づいて選択されてもよい。例えば、物理オブジェクトが、プールの上方に延在する飛込台として識別される場合、トリガされる仮想オブジェクトは、シュノーケル、水着、救命胴衣、または他の関連アイテムを装着する創造物であってもよい。
別の例示的実施形態では、ARシステムは、ARシステムが仮想現実インターフェースを提供する、「仮想」モードを含んでもよい。仮想モードでは、物理環境は、ディスプレイから省略され、仮想オブジェクトデータが、ディスプレイ303上に提示される。物理環境の省略は、視覚的ディスプレイを物理的にブロックすることによって(例えば、カバーを介して)、またはディスプレイが不透明設定に遷移する、ARシステムの特徴を通して、遂行されてもよい。仮想モードでは、ライブおよび/または記憶された視覚および聴覚感覚が、ARシステムのインターフェースを通してユーザに提示されてもよく、ユーザは、インターフェースの仮想モードを通して、デジタル世界(デジタルオブジェクト、他のユーザ等)を体験し、それと相互作用する。したがって、仮想モードにおいてユーザに提供されるインターフェースは、仮想デジタル世界を備えている仮想オブジェクトデータから成る。
図53は、仮想モードで動作するときのユーザインターフェースの例示的実施形態を図示する。図53に示されるように、ユーザインターフェースは、デジタルオブジェクト5310から成る仮想世界5300を提示し、デジタルオブジェクト5310は、大気、天候、地形、建物、および人々を含んでもよい。図53に図示されないが、デジタルオブジェクトはまた、例えば、植物、車両、動物、創造物、機械、人工知能、場所情報、および仮想世界5300を定義する任意の他のオブジェクトまたは情報を含んでもよい。
別の例示的実施形態では、ARシステムは、ARシステムの種々の特徴(ならびに仮想および拡張モードの特徴)が1つ以上のカスタムインターフェースモードを作成するために組み合わせられ得る、「混成」モードを含んでもよい。一例示的カスタムインターフェースモードでは、物理環境が、省略され、仮想オブジェクトデータが、仮想モードに類似する様式で提示される。しかしながら、本例示的カスタムインターフェースモードでは、仮想オブジェクトは、完全仮想であってもよく(例えば、ローカル物理環境に存在しない)またはオブジェクトは、物理オブジェクトの代わりに、インターフェース内に仮想オブジェクトとしてレンダリングされた実ローカル物理オブジェクトであってもよい。したがって、本特定のカスタムモード(本明細書では、混成仮想インターフェースモードと称される)では、ライブおよび/または記憶された視覚および聴覚感覚が、ARシステムのインターフェースを通してユーザに提示されてもよく、ユーザは、完全仮想オブジェクトおよびレンダリングされた物理オブジェクトを備えているデジタル世界を体験し、それと相互作用する。
図54は、混成仮想インターフェースモードに従って動作する、ユーザインターフェースの例示的実施形態を図示する。図54に示されるように、ユーザインターフェースは、完全仮想オブジェクト5410およびレンダリングされた物理オブジェクト5420(場面内にそうでなければ物理的に存在するオブジェクトのレンダリング)から成る仮想世界5400を提示する。図54に図示される実施例によると、レンダリングされた物理オブジェクト5420は、建物5420Aと、地面5420Bと、プラットフォーム5420Cとを含む。これらの物理オブジェクトは、太い輪郭5430で示され、ユーザに、オブジェクトがレンダリングされていることを示す。加えて、完全仮想オブジェクト5410は、付加的ユーザ5410Aと、クラウド5410Bと、太陽5410Cと、プラットフォーム620Cの上部の炎5410Dとを含む。
完全仮想オブジェクト5410は、例えば、大気、天候、地形、建物、人々、植物、車両、動物、創造物、機械、人工知能、場所情報、および仮想世界5400を定義し、ローカル物理環境内に存在するオブジェクトからレンダリングされていない、任意の他のオブジェクトまたは情報を含んでもよいことを理解されたい。逆に言えば、レンダリングされた物理オブジェクト5420は、仮想オブジェクトとしてレンダリングされた実ローカル物理オブジェクトである。太い輪郭5430は、レンダリングされた物理オブジェクトをユーザに示すための一実施例を表す。したがって、レンダリングされた物理オブジェクトは、本明細書に開示されるもの以外の方法等を使用して示されてもよい。
したがって、ユーザが、混成仮想インターフェースモードにおいてARシステムとインターフェースをとるにつれて、種々の物理オブジェクトが、レンダリングされた物理オブジェクトとしてユーザに表示されてもよい。これは、依然として、ローカル物理環境を安全にナビゲートすることが可能でありながら、ユーザがARシステムとインターフェースをとることを可能にするために、特に有用であり得る。いくつかの実施形態では、ユーザは、選択的に、レンダリングされた物理オブジェクトを除去または追加することが可能であってもよい。
別の例示的カスタムインターフェースモードでは、インターフェースは、実質的に透明であって、それによって、種々のローカル物理オブジェクトがレンダリングされた物理オブジェクトとしてユーザに表示される間、ユーザが、ローカル物理環境を視認することを可能にしてもよい。本例示的カスタムインターフェースモードは、拡張モードに類似するが、仮想オブジェクトのうちの1つ以上のものは、前述の実施例に関して前述のように、レンダリングされた物理オブジェクトであってもよい。
前述の例示的カスタムインターフェースモードは、ARシステムの混成モードによって提供されることが可能な種々のカスタムインターフェースモードのいくつかの例示的実施形態を表す。故に、種々の他のカスタムインターフェースモードは、本開示の範囲から逸脱することなく、ARシステムの構成要素によって提供される特徴および機能性および前述の種々のモードの種々の組み合わせから作成されてもよい。
本明細書で論じられる実施形態は、単に、オフ、拡張、仮想、または混成モードで動作するインターフェースを提供するためのいくつかの実施例を説明し、ARシステムの構成要素のそれぞれのインターフェースモードまたは機能性の範囲またはコンテンツを限定することを意図するものではない。例えば、いくつかの実施形態では、仮想オブジェクトは、ユーザに表示されるデータ(時間、温度、高度等)、システムによって作成および/または選択されるオブジェクト、ユーザによって作成および/または選択されるオブジェクト、もしくはさらにシステムとインターフェースをとる他のユーザを表すオブジェクトを含んでもよい。加えて、仮想オブジェクトは、物理オブジェクトの延在部を含んでもよく(例えば、物理プラットフォームから延びる仮想彫像)、物理オブジェクトに視覚的に接続される、またはそこから切断されてもよい。
仮想オブジェクトはまた、動的であって、時間に伴って変化する、ユーザまたは他のユーザ、物理オブジェクト、および他の仮想オブジェクト間の種々の関係(例えば、場所、距離等)に従って変化する、および/またはARシステム、ゲートウェイ構成要素、またはサーバのソフトウェアおよび/またはファームウェア内に規定された他の変数に従って変化してもよい。例えば、ある実施形態では、仮想オブジェクトは、ユーザデバイスまたはその構成要素(例えば、触知デバイスがそれに隣接して設置されるとき、仮想ボールが移動する)、物理的または言葉によるユーザ相互作用(例えば、ユーザがそれに接近すると、仮想創造物が逃げる、またはユーザがそれに話しかけると、話す、椅子が仮想創造物に投げられと、創造物が椅子をかわす)、他の仮想オブジェクト(例えば、第1の仮想創造物が第2の仮想創造物を見ると反応する)、場所、距離、温度、時間等の物理変数、またはユーザの環境内の他の物理オブジェクト(例えば、物理的通りに立っているように示される仮想創造物が、物理的車が通過すると平坦になる)に応答してもよい。
本明細書で論じられる種々のモードは、ARシステム以外のユーザデバイスに適用されてもよい。例えば、拡張現実インターフェースは、携帯電話またはタブレットデバイスを介して提供されてもよい。そのような実施形態では、電話またはタブレットは、カメラを使用して、ユーザの周囲の物理環境を捕捉してもよく、仮想オブジェクトは、電話/タブレットディスプレイ画面上にオーバーレイされてもよい。加えて、仮想モードは、デジタル世界を電話/タブレットのディスプレイ画面上に表示することによって提供されてもよい。故に、これらのモードは、前述のように、本明細書で論じられる電話/タブレットの構成要素、ならびにユーザデバイスに接続される、またはそれと組み合わせて使用される他の構成要素を使用して、種々のカスタムインターフェースモードを作成するように混成されてもよい。例えば、混成仮想インターフェースモードは、運動または画像捕捉システムと組み合わせて動作するカメラを欠いたコンピュータモニタ、テレビ画面、または他のデバイスによって提供されてもよい。本例示的実施形態では、仮想世界は、モニタ/画面から視認されてもよく、オブジェクト検出およびレンダリングは、運動または画像捕捉システムによって行われてもよい。
図55は、それぞれ異なる地理的場所に位置する2人のユーザが他方のユーザおよびそのそれぞれのユーザデバイスを通して共通仮想世界と相互作用する、本開示の例示的実施形態を図示する。本実施形態では、2人のユーザ5501および5502は、仮想ボール5503(仮想オブジェクトのあるタイプ)を行ったり来たり投げ合っており、各ユーザは、仮想世界上の他方のユーザの影響を観察可能である(例えば、各ユーザは、他方のユーザによってキャッチされている、仮想ボールが変化する方向を観察する等)。仮想オブジェクト(例えば、仮想ボール5503)の移動および場所は、ARシステムに関連付けられたコンピューティングネットワーク内のサーバによって追跡されるため、システムは、いくつかの実施形態では、ユーザ5501および5502のそれぞれへの各ユーザに対するボール5503の到着の正確な場所およびタイミングを通信し得る。
例えば、第1のユーザ5501がLondonに位置する場合、ユーザ5501は、ARシステムによって計算される速度で、ボール5503をLos Angelesに位置する第2のユーザ5502に投げてもよい。故に、ARシステムは、第2のユーザ5502に(例えば、電子メール、テキストメッセージ、インスタントメッセージ等を介して)ボールの到着の正確な時間および場所を通信し得る。したがって、第2のユーザ5502は、ARデバイスを使用して、ボール5503が規定された時間および位置に到着するのが見え得る。1人以上のユーザはまた、地理的場所マッピングソフトウェア(または類似物)を使用して、仮想上地球を横断して進行するにつれて、1つ以上の仮想オブジェクトを追跡してもよい。これの実施例は、3D頭部搭載式ディスプレイを装着しているユーザが、空を見上げると、実世界上に重畳される、頭上を飛んでいる仮想飛行機が見えるというものであり得る。仮想飛行機は、ユーザ、知的ソフトウェアエージェント(ユーザデバイスまたはゲートウェイ上で起動するソフトウェア)、ローカルおよび/または遠隔に存在し得る他のユーザ、および/またはこれらの組み合わせのいずれかによって、飛ばされてもよい。
前述のように、ユーザデバイスは、触知インターフェースデバイスを含んでもよく、触知インターフェースデバイスは、触知デバイスが、ARシステムによって、仮想オブジェクトに対して物理的空間場所に位置することが決定されると、フィードバック(例えば、抵抗、振動、光、音等)をユーザに提供する。例えば、図55に関して前述の実施形態は、図56に示されるように、触知デバイス5602の使用を含むように拡張されてもよい。
本例示的実施形態では、触知デバイス5602は、野球バットとして仮想世界内に表示されてもよい。ボール5503が到着すると、ユーザ5502は、触知デバイス5602を仮想ボール5503に対して振ってもよい。ARシステムが、触知デバイス5602によって提供される仮想バットがボール5503と「接触」したと決定する場合、触知デバイス5602は、振動する、また他のフィードバックをユーザ5502に提供してもよく、仮想ボール5503は、ボールとバットの接触の検出されたスピード、方向、およびタイミングに従って、ARシステムによって計算された方向に仮想バットから跳ね返ってもよい。
開示されるARシステムは、いくつかの実施形態では、混合モードインターフェースを促進し得、複数のユーザが、異なるインターフェースモード(例えば、拡張、仮想、混成等)を使用して、共通仮想世界(およびその中に含まれる仮想オブジェクト)とインターフェースをとり得る。例えば、仮想インターフェースモード内の特定の仮想世界とインターフェースをとる第1のユーザは、拡張現実モード内の同一仮想世界とインターフェースをとる第2のユーザと相互作用してもよい。
図57Aは、第1のユーザ5701(混成仮想インターフェースモードにおいてARシステムのデジタル世界とインターフェースをとる)および第1のオブジェクト5702が、完全仮想現実モードにおけるARシステムの同一デジタル世界とインターフェースをとる第2のユーザ5722に仮想オブジェクトとして見える、実施例を図示する。前述のように、混成仮想インターフェースモードを介してデジタル世界とインターフェースをとると、ローカル物理オブジェクト(例えば、第1のユーザ5701および第1のオブジェクト5702)が、仮想世界内の仮想オブジェクトとして走査およびレンダリングされてもよい。第1のユーザ5701は、例えば、運動捕捉システムまたは類似デバイスによって走査され、仮想世界内で第1のレンダリングされた物理オブジェクト5731としてレンダリングされてもよい。
同様に、第1のオブジェクト5702は、例えば、ARシステムの環境感知システム5706によって走査され、仮想世界内に第2のレンダリングされた物理オブジェクト5732としてレンダリングされてもよい。第1のユーザ5701および第1のオブジェクト5702は、図57Aの第1の部分5710に物理世界内の物理オブジェクトとして示される。図57Aの第2の部分5720では、第1のユーザ5701および第1のオブジェクト5702は、第1のレンダリングされた物理オブジェクト5731および第2のレンダリングされた物理オブジェクト5732として、完全仮想現実モードにおいてARシステムの同一仮想世界とインターフェースをとる第2のユーザ5722に見えるように示される。
図57Bは、混合モードインターフェースの別の例示的実施形態を図示し、第1のユーザ5701は、前述のように、混成仮想インターフェースモードにおいてデジタル世界とインターフェースをとり、第2のユーザ5722は、拡張現実モードにおいて同一デジタル世界(および第2のユーザの物理ローカル環境5725)とインターフェースをとる。図57Bにおける実施形態では、第1のユーザ5701および第1のオブジェクト5702は、第1の物理場所5715に位置し、第2のユーザ5722は、第1の場所5715からある距離によって分離される、異なる第2の物理場所5725に位置する。本実施形態では、仮想オブジェクト5731および5732は、リアルタイム(またはほぼリアルタイム)で、第2の場所5725に対応する仮想世界内の場所に転置されてもよい。したがって、第2のユーザ5722は、第2のユーザの物理ローカル環境5725内において、それぞれ、第1のユーザ5701および第1のオブジェクト5702を表す、レンダリングされた物理オブジェクト5731および5732を観察し、それと相互作用してもよい。
図58は、拡張現実モードにおいてARシステムとインターフェースをとるときのユーザのビューの例示的例証を図示する。図58に示されるように、ユーザには、ローカル物理環境(例えば、複数の建物を有する都市)ならびに仮想キャラクタ5810(例えば、仮想オブジェクト)が見える。仮想キャラクタ5810の位置は、2D視覚的標的(例えば、広告看板、ポストカード、または雑誌)および/または建物、車、人々、動物、飛行機、建物の一部、および/または任意の3D物理オブジェクト、仮想オブジェクト、および/またはそれらの組み合わせ等の1つ以上の3D基準フレームによってトリガされてもよい。図58に図示される実施例では、都市内の建物の既知の位置が、仮想キャラクタ5810をレンダリングするための位置合わせ起点および/または情報ならびに重要特徴を提供してもよい。
加えて、ユーザの地理的空間場所(例えば、GPS、姿勢/位置センサ等によって提供される)または建物に対するモバイル機器の場所は、ARシステムのコンピューティングネットワークによって使用されるデータを備え、仮想キャラクタ5810を表示するために使用されるデータの伝送をトリガしてもよい。いくつかの実施形態では、仮想キャラクタ5810を表示するために使用されるデータは、レンダリングされたキャラクタ5810および/または仮想キャラクタ5810またはその一部をレンダリングするための命令を備えてもよい。
いくつかの実施形態では、地理的空間ユーザの場所が、利用不可能または未知である場合、ARシステムは、依然として、時間および/または他のパラメータの関数としてユーザの最後の既知の位置を使用して、特定の仮想オブジェクトおよび/または物理オブジェクトが位置し得る場所を推定する、推定アルゴリズムを使用して仮想オブジェクト5810を表示してもよい。これはまた、ARシステムのセンサが遮蔽されたおよび/または他の故障を被った場合、任意の仮想オブジェクトの位置を決定するために使用されてもよい。
いくつかの実施形態では、仮想キャラクタまたは仮想オブジェクトは、仮想像を備えてもよく、仮想像のレンダリングは、物理オブジェクトによってトリガされる。例えば、ここで図59を参照すると、仮想像5910は、実物理プラットフォーム5920によってトリガされてもよい。像5910のトリガは、視覚的オブジェクトまたはユーザデバイスまたはARシステムの他の構成要素によって検出された特徴(例えば、起点、設計特徴、幾何学形状、パターン、物理場所、高度等)に応答してもよい。ユーザが、ユーザデバイスを用いずに、プラットフォーム5920を視認すると、ユーザには、像5910を伴わないプラットフォーム5920が見える。
しかしながら、ユーザが、装着式ARデバイスを通して、プラットフォーム5920を視認すると、ユーザは、図59に示されるように、プラットフォーム5920上に像5910が見える。像5910は、仮想オブジェクトであって、したがって、定常である、動画化される、経時的にまたはユーザの視認位置に対して変化する、またはさらに、像5910を視認してる特定のユーザに応じて変化してもよい。
例えば、ユーザが、小さな子供である場合、像は、犬であってもよい。視認者が、成人男性である場合、像は、図59に示されるように、大きなロボットであってもよい。これらは、ユーザ依存および/または状態依存体験の実施例である。これは、1人以上のユーザが、1つ以上の仮想オブジェクトのみおよび/または物理オブジェクトと組み合わせて知覚し、仮想オブジェクトのカスタマイズおよび個人化されたバージョンを体験するのに役立つであろう。像5910(またはその一部)は、例えば、ユーザデバイス上にインストールされたソフトウェア/ファームウェアを含む、システムの種々の構成要素によってレンダリングされてもよい。
ユーザデバイスの場所および姿勢を示すデータを、仮想オブジェクト(例えば、像5910)の位置合わせ特徴と組み合わせ使用して、仮想オブジェクト(例えば、像5910)は、物理オブジェクト(例えば、プラットフォーム5920)との関係を形成可能である。例えば、1つ以上の仮想オブジェクトと1つ以上の物理オブジェクトとの間の関係は、距離、測位、時間、地理的場所、1つ以上の他の仮想オブジェクトへの近接度、ならびに/もしくは任意の種類の仮想および/または物理データを含む任意の他の機能関係の関数であってもよい。いくつかの実施形態では、ユーザデバイス内の画像認識ソフトウェアはさらに、仮想オブジェクト/物理オブジェクト関係を向上させ得る。
開示されるシステムおよび方法によって提供される双方向インターフェースは、例えば、1つ以上の仮想環境およびオブジェクトとの相互作用、他のユーとの相互作用、ならびに広告、音楽コンサート、および映画を含む、メディアコンテンツの種々の形態の体験等の種々のアクティビティを促進するように実装されてもよい。故に、開示されるシステムは、ユーザが、メディアコンテンツを視聴するだけではなく、むしろ、能動的に、メディアコンテンツに参加し、それを体験するように、ユーザ相互作用を促進する。いくつかの実施形態では、ユーザ参加は、既存のコンテンツを改変する、もしくは1つ以上の仮想世界内にレンダリングされるべき新しいコンテンツを作成することを含んでもよい。いくつかの実施形態では、メディアコンテンツおよび/またはユーザ作成コンテンツは、1つ以上の仮想世界の神話環境の周囲にテーマ化されてもよい。
一実施例では、ミュージシャン(または他のユーザ)は、特定の仮想世界と相互作用するユーザにレンダリングされるべき音楽コンテンツを作成してもよい。音楽コンテンツは、例えば、種々のシングル、EP、アルバム、ビデオ、ショートフィルム、およびコンサート演奏を含んでもよい。一実施例では、多数のユーザは、ARシステムとインターフェースをとり、同時に、ミュージシャンによって行われる仮想コンサートを体験してもよい。
いくつかの実施形態では、生成されるメディアは、特定のエンティティ(例えば、バンド、アーティスト、ユーザ等)に関連付けられた一意の識別子コードを含み得る。コードは、英数字文字、UPCコード、QRコード(登録商標)、2D画像トリガ、3D物理オブジェクト特徴トリガ、または他のデジタルマーク、ならびに音、画像、および/またはの両方の集合の形態であってもよい。いくつかの実施形態では、コードはまた、ARシステムを使用してインターフェースがとられ得る、デジタルメディアとともに埋め込まれてもよい。ユーザは、コード(例えば、料金の支払を介して)を得て、コードを識別子コードに関連付けられたエンティティによって生成されるメディアコンテンツへのアクセスと引き換えてもよい。メディアコンテンツは、ユーザのインターフェースから追加または除去されてもよい。
一実施形態では、短待ち時間で、クラウドコンピューティングシステムからユーザに結合されるローカルプロセッサ等、リアルタイムまたはほぼリアルタイムビデオデータをあるコンピューティングシステムから別のコンピューティングシステムにパスするための計算および帯域幅制限を回避するために、種々の形状および幾何学形状に関するパラメータ情報が、転送され、表面を定義するために利用されてもよい一方、テクスチャが、パラメータ的に再現された顔幾何学形状上にマップされた人物の顔のビットマップベースのビデオ詳細等、静的または動的詳細をもたらすために、転送され、これらの表面に追加されてもよい。
別の実施例として、システムが、人物の顔を認識し、人物のアバタが拡張世界内に位置することを認識する場合、システムは、比較的に大きな設定転送において、関連世界情報および人物のアバタ情報をパスしてもよく、その後、ローカルレンダリングのためのローカルコンピューティングシステムへの残りの転送は、パラメータおよびテクスチャ更新に限定されてもよい。これは、人物の骨組み構造の運動パラメータおよび人物の顔の移動ビットマップを含んでもよい。これらは、初期設定転送またはリアルタイムビデオのパスに対して殆ど帯域幅を要求し得ない。
クラウドベースのおよびローカルコンピューティングアセットが、したがって比較的に短待ち時間を要求しないクラウドハンドリング計算と、短待ち時間が最優先事項であるローカル処理アセットハンドリングタスクと、統合方式で使用されてもよい。そのような場合、ローカルシステムに転送されるデータの形態は、好ましくは、そのようなデータ(例えば、周囲のリアルタイムビデオではなく、パラメータ情報、テクスチャ等)の形態または量に起因して、比較的に低帯域幅でパスされる。
先に図63を参照すると、概略は、クラウドコンピューティングアセット6346とローカル処理アセット(6308、6320)との間の協調を図示する。一実施形態では、クラウド6346アセットは、有線または無線ネットワーキング(6340、6342)を介して、直接、ユーザの頭部またはベルト6308に結合される構造で格納され得るプロセッサおよびメモリ構成等のローカルコンピューティングアセット(6320、6308)の一方または両方に動作可能に結合される(無線が、移動性のために好ましく、有線は、所望され得るある高帯域幅または高データ量転送のために好ましい)。
ユーザにローカルのこれらのコンピューティングアセットは、同様に、有線および/または無線接続構成6344を介して、相互にも動作可能に結合されてもよい。一実施形態では、低慣性および小型サイズ頭部搭載式サブシステム6320を維持するために、ユーザとクラウド6346との間の一次転送は、ベルトベースのサブシステム6308とクラウドとの間のリンクを介してもよく、頭部搭載式サブシステム6320は、例えば、パーソナルコンピューティング周辺接続用途において現在採用されているように、主に、超広帯域(「UWB」)接続等の無線接続を使用して、ベルトベースのサブシステム6308にデータテザリングされる。
上記である程度詳細に論じられたように、効率的ローカルおよび遠隔処理協調ならびにユーザのための適切なディスプレイデバイスを用いることで、ユーザの現在の実際または仮想場所に関連するある世界の側面が、ユーザに転送または「パス」され、効率的方式で更新され得る。実際、一実施形態では、ある人物が拡張現実モードで仮想現実システム(「VRS」)を利用し、第1の人物にローカルの同一世界を探索するために、別の人物が完全仮想モードでVRSを利用すると、2人のユーザは、種々の方式でその世界内で相互を体験し得る。例えば、図60を参照すると、図59を参照して説明されたものに類似するシナリオが、完全仮想現実シナリオから描写される拡張現実世界を通して飛んでいる第2のユーザのアバタ6002の可視化の追加を伴って描写されている。
言い換えると、図60に描写される場面は、第1の人物のための拡張現実において体験および表示され得る。すなわち、2つの拡張現実要素(像6010および第2の人物の飛んでいるマルハナバチアバタ2)が、地面、背景内の建物、像プラットフォーム6020等の場面内のローカル世界の周囲の実際の物理要素に加え、表示される。動的更新が、利用され、第1の人物が、アバタ2が第1の人物にローカルな世界を通して飛ぶにつれて、第2の人物のアバタ2の進度を可視化することを可能にしてもよい。
再び、前述のように、クラウドコンピューティングリソース上に常駐し、そこから配信され得る、ある世界モデルが存在する、構成を用いることで、そのような世界は、比較的に低帯域幅形態で1人以上のユーザに「パス可能」となることができる。これは、リアルタイムでビデオデータをパスするより好ましくあり得る。像の近傍に立っている人物の拡張体験(例えば、図60に示されるように)は、クラウドベースの世界モデルによって情報提供されてもよく、その下位集合は、彼らおよびそのローカルディスプレイデバイスにパスされ、ビューを完成してもよい。
机上にある単純パーソナルコンピュータとしてであり得る、遠隔ARデバイスの前に座っている人物は、情報の同一区分をクラウドから効率的にダウンロードし、それをそのディスプレイ上にレンダリングさせることができる。実際、像の近傍の公園内に実際に存在するある人物は、その公園内を遠隔で位置する友人と散歩してもよく、友人は、仮想および拡張現実を通して参加する。システムは、通りの場所、木の場所、像の場所等を把握する必要があるであろう。本情報およびクラウドからのデータを使用して、参加する友人が、クラウドからのシナリオの側面をダウンロードし、次いで、実際に公園内に居る人物に対してローカルの拡張現実に沿って散歩を始めることができる。
図61を参照すると、時間および/または他の付随パラメータベースの実施形態が、描写されており、仮想および/または拡張現実インターフェースと繋がれた人物は、ARシステム(6104)を利用し、コーヒー施設に入り、1杯のコーヒーを注文する(6106)。VRSは、ローカルでおよび/または遠隔で、感知およびデータ収集能力を利用して、コーヒー施設内のハイライトされたドアの場所または関連コーヒーメニューの吹き出しウィンドウ等、その人物のために、拡張および/または仮想現実内にディスプレイ機能強化を提供してもよい(6108)。
ユーザが注文した1杯のコーヒーを受け取ると、またはある他の関連パラメータのシステムによる検出に応じて、システムは、ディスプレイデバイスを用いて、静的または動的のいずれかである、ジャングルの音および他の効果の有無にかかわらず、壁および天井から、マダガスカルのジャングルの場面等、1つ以上の時間ベースの拡張もしくは仮想現実画像、ビデオ、および/または音をローカル環境内に表示してもよい(6110)。
ユーザへのそのような提示は、タイミングパラメータ(例えば、満杯のコーヒーカップが認識され、ユーザに手渡されてから5分後、システムがユーザが施設の正面ドアを通って歩き去ったことを認識してから10分後等)、またはユーザがカップからのコーヒーの最後の1滴を飲み終えて、コーヒーカップの配向を上下逆にしたことに気付くことによる、ユーザがコーヒーを飲み終えたことのシステムによる認識、もしくはユーザが施設の正面ドアから去ったことのシステムによる認識等、他のパラメータに基づいて、切断されてもよい(6312)。
図62を参照すると、好適なユーザディスプレイデバイス6214の一実施形態が、筐体またはフレーム6284によってユーザの頭部または眼に搭載され得るディスプレイレンズ6282を備えているように示されている。ディスプレイレンズ6282は、ユーザの眼6220の正面に筐体6284によって位置付けられる1つ以上の透明鏡を備え、投影される光6238を眼6220の中に送達し、ビーム成形を促進する一方、また、拡張現実構成内のローカル環境からの少なくとも一部の光の伝送も可能にしてもよい。
仮想現実構成では、ディスプレイシステム6214は、暗化されたバイザー、ブロック用カーテン、全黒色LCDパネルモード、または同等物等によって、ローカル環境からの実質的に全光をブロック可能であることが望ましくあり得る。描写される実施形態では、2つの広視野機械視覚カメラ6216が、筐体6284に結合され、ユーザの周囲の環境を撮像する。一実施形態では、これらのカメラ6216は、二重捕捉可視光/赤外線光カメラである。描写される実施形態はまた、示されるように、ディスプレイ鏡および光学を伴う、一対の走査式レーザ成形波正面(例えば、深度のために)光プロジェクタモジュールを備え、光6238を眼6220の中に投影する。
描写される実施形態はまた、ユーザの眼6220を追跡し、レンダリングおよびユーザ入力をサポートする、赤外線光源6226(例えば、発光ダイオード「LED」)と対合された2つの小型赤外線カメラ6224を備えている。システム6214はさらに、X、Y、およびZ軸加速度計能力ならびに磁気コンパスおよびX、Y、およびZ軸ジャイロ能力を備え、好ましくは、200Hz等の比較的に高周波数でデータを提供し得る、センサアセンブリ6239を特徴とする。
描写されるシステム6214はまた、捕捉デバイス6216から出力される広視野画像情報からの実またはほぼリアルタイムユーザ頭部姿勢を計算し得る、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、および/またはARMプロセッサ(新型縮小命令セット機械)等の頭部姿勢プロセッサ6236を備えている。また、示されるのは、デジタルおよび/またはアナログ処理を実行し、センサアセンブリ6239からのジャイロ、コンパス、および/または加速度計データから姿勢を導出するための別のプロセッサ6232である。
描写される実施形態はまた、姿勢および測位を補助するためのGPS6237(例えば、全地球測位衛星)サブシステムを特徴とする。最後に、描写される実施形態は、世界のユーザのビューのために、ソフトウェアプログラムを起動し、ユーザにローカルのレンダリング情報を提供し、スキャナの動作およびユーザの眼の中への結像を促進するハードウェアを特徴とし得る、レンダリングエンジン6234を備えている。
レンダリングエンジン6234は、ンダリングされた拡張および/または仮想現実オブジェクトの光が、網膜走査ディスプレイと類似する様式で走査レーザ配列6218を使用して投影されるように、センサ姿勢プロセッサ6232、画像姿勢プロセッサ6236、眼追跡カメラ6224、および投影サブシステム6218に動作可能に結合される(6281、6270、6276、6278、6280)(例えば、有線または無線接続を介して)。他の実施形態は、前述の種々の光学実施形態に類似する他の光学配列を利用してもよい。
投影される光ビーム6238の波正面は、拡張および/または仮想現実オブジェクトの所望の焦点距離と一致するように屈曲または合焦されてもよい。小型赤外線カメラ6224は、眼を追跡し、レンダリングおよびユーザ入力(例えば、ユーザが見ている場所、焦点深度等)をサポートするために利用されてもよい。以下に論じられるように、眼の両眼離反運動は、焦点深度を推定するために利用されてもよい。
GPS6237、ジャイロスコープ、コンパス、および加速度計6239は、進路および/または高速姿勢推定を提供するために利用されてもよい。カメラ6216画像および姿勢情報は、関連付けられたクラウドコンピューティングリソースからのデータと併せて、ローカル世界をマップし、ユーザビューを仮想または拡張現実コミュニティと共有するために利用されてもよい。
図62に特徴とされるディスプレイシステム6214内のハードウェアの多くは、ディスプレイ6282およびユーザの眼6220に隣接する筐体6284に直接結合されるように描写されるが、描写されるハードウェア構成要素は、ベルト搭載式構成要素等の他の構成要素に搭載される、またはその中に格納されてもよい。
一実施形態では、図62に特徴とされるシステム6214の構成要素は全て、ディスプレイ筐体6284に直接結合されるが、画像姿勢プロセッサ6236、センサ姿勢プロセッサ6232、およびレンダリングエンジン6234を除く。画像姿勢プロセッサ6236、センサ姿勢プロセッサ6232、およびレンダリングエンジン6243間の通信は、超広帯域等の無線通信または有線通信を通してもよいことを理解されたい。
描写される筐体6284は、ユーザに自然に嵌合し、ユーザの頭部上に頭部搭載可能である、形状である。筐体6284はまた、ユーザの耳の中に挿入され、図61に関して参照されたジャングルの音等、拡張または仮想現実体験に関連し得る、音をユーザに提供するために利用され得るもの等のスピーカと、ユーザにローカルの音を捕捉するために利用され得る、マイクロホンとを特徴としてもよい。
1つ以上の実施形態では、ミニカメラ6224は、一般に、眼6220の焦点の位置または「焦点深度」と一致する、ユーザの眼6220の中心が幾何学的に接する場所を測定するために利用されてもよい。前述のように、眼が接する全点の3次元表面は、「単視軌跡」と呼ばれる。焦点距離は、有限数の深度を取り得る、または無限に変動し得る。両眼離反運動距離から投影される光は、対象の眼6220に合焦されるように見える一方、両眼離反運動距離の正面または背面の光は、ぼやける。
さらに、約0.7ミリメートル未満のビーム直径を伴う空間的にコヒーレントな光は、眼が合焦する場所にかかわらず、ヒトの眼によって正しく分解されることが発見されている。本理解を前提として、適切な焦点深度の錯覚を作成するために、眼の両眼離反運動が、小型カメラ6224を用いて追跡されてもよく、レンダリングエンジン6234および投影サブシステム6218は、単視軌跡上またはそれに近接する全オブジェクトを合焦させて、かつ全ての他のオブジェクトを様々な焦点ぼけ度で(例えば、意図的に作成されたぼけを使用して)レンダリングするために利用されてもよい。
好ましくは、システム6214は、約60フレーム/秒またはそれを上回るフレームレートでユーザにレンダリングする。前述のように、好ましくは、小型カメラ6224が、眼追跡のために利用されてもよく、ソフトウェアは、両眼離反運動幾何学形状だけではなく、また、焦点場所キューも取り上げ、ユーザ入力として保存してもよい。好ましくは、そのようなシステムは、昼間または夜間使用に好適な輝度およびコントラストを有する。一実施形態では、そのようなシステムは、好ましくは、ヒトの眼のほぼ限界である、視覚的オブジェクト整合のための約20ミリ秒未満の待ち時間、約0.1度未満の角度整合、および約1分の分解能を有する。
ディスプレイシステム6214は、GPS要素、光学追跡、コンパス、加速度計、および/または他のデータソースを伴い、位置および姿勢決定を補助し得る、位置特定システムと統合されてもよい。位置特定情報は、関連世界のユーザのビューにおける正確なレンダリングを促進するために使用されてもよいことを理解されたい(例えば、そのような情報は、眼鏡が実世界に対する場所を把握するのを促進するであろう)。
他の好適なディスプレイデバイスは、限定ではないが、デスクトップおよびモバイルコンピュータ、スマートフォン、3D斜視図を促進またはシミュレートするために、ソフトウェアおよびハードウェア特徴を用いてさらに機能強化され得る(例えば、一実施形態では、フレームはスマートフォンに可撤性に結合されてもよく、フレームは、200Hzジャイロおよび加速度計センサ下位集合と、広視野レンズを伴う2つの小型機械視覚カメラと、ARMプロセッサとを特徴とし、図14に特徴とされる構成の機能性のうちのいくつかをシミュレートする)、スマートフォン、タブレットコンピュータ、スマートフォンに関して前述のように機能強化され得る、タブレットコンピュータ、付加的処理および感知ハードウェアを用いて機能強化される、タブレットコンピュータ、スマートフォンおよび/またはタブレットを使用して、拡張および仮想視点(拡大光学鏡、コンタクトレンズ、または光構造化要素を介した視覚的遠近調節)を表示する、頭部搭載式システム、発光要素の非シースルーディスプレイ(LCD、OLED、垂直共振器面発光レーザ、操向式レーザビーム等)、ヒトに自然世界および人工的に生成された画像が同時に見えることを可能にする、シースルーディスプレイ(例えば、光誘導光学要素、近焦点コンタクトレンズの中に差し込む透明かつ偏光OLED、操向式レーザビーム等)、発光要素を伴うコンタクトレンズ(特殊な相補的眼眼鏡構成要素と組み合わせられてもよい)、発光要素を伴う埋込型デバイス、ならびにヒトの脳の光受容体をシミュレートする、埋込型デバイスを含んでもよい。
図63に描写されるもの等のシステムを用いることで、3D点が、環境から捕捉され得、それらの画像または点を捕捉するカメラの姿勢(例えば、世界に対するベクトルおよび/または原位置情報)が、これらの点または画像が、「タグ付け」され、または本姿勢情報に関連付けられ得るように決定され得る。次いで、第2のカメラ(例えば、別のARシステム)によって捕捉された点は、第2のカメラの姿勢を決定するために利用されてもよい。
言い換えると、第1のカメラからのタグ付けされた画像との比較に基づいて、第2のカメラを配向および/また配置特定することができる。本知識は、テクスチャを抽出し、マップを作り、実世界の仮想コピーを作成する(次いで、位置合わせされる2つのカメラが存在するため)ために利用されてもよい。したがって、基本レベルでは、一実施形態では、ARシステムは、3D点および点を生成した2D画像の両方を捕捉することができ、これらの点および画像は、クラウド記憶および処理リソースに送信されてもよい。それらはまた、クラウドが、3D点とともにタグ付けされた2D画像(例えば、3D姿勢とタグ付けされた)にアクセス可能であり得るように(例えば、利用可能なキャッシュ内の)、埋め込まれた姿勢情報とともにローカルでキャッシュされてもよい(例えば、タグ付けされた画像をキャッシュする)。
ユーザが、動的である何らかのものを観察している場合、ユーザのARシステムはまた、付加的情報を運動に関連するクラウドに送信してもよい(例えば、別の人物の顔を見ている場合、ユーザは、顔のテクスチャマップを持ち出し、テクスチャマップを最適化された周波数で当てはめることができ、周囲世界は、そうでなければ基本的に静的である)。
クラウドシステムは、いくつかの点を姿勢専用の起点として保存し、全体的姿勢追跡計算を削減してもよい。概して、ユーザが部屋を動き回るにつれて、壁、テーブル等のユーザの環境内の主要アイテムを追跡するために、いくつかの輪郭特徴を使用することが望ましくあり得る。ユーザは、世界を「共有」し、ある他のユーザを部屋の中に歩いてこさせ、また、それらの点を見せることを所望してもよい。そのような有用および重要点は、アンカ点として非常に有用であるため、「起点」と称され得る。それらは、機械視覚を用いて認識され得、異なる一式のユーザハードウェア上で一貫し、かつ繰り返し世界から抽出され得る、特徴に関連する。したがって、これらの起点は、好ましくは、さらなる使用のために、クラウドに保存され得る。
一実施形態では、カメラが場所を認識するために容易に使用することができるアイテムの種類であるため、関連世界全体を通して比較的に均一な起点分布を有することが好ましい。
一実施形態では、関連クラウドコンピューティング構成は、起点精緻化および世界作成の両方のために、種々のユーザからの最良データを使用するために、3D点および任意の関連付けられたメタデータのデータベースを周期的に整備する。言い換えると、システムは、関連世界内を見て、機能させている種々のユーザからの入力を使用することによって、最良データ集合を得てもよい。一実施形態では、データベースは、本質的にフラクタルである。すなわち、ユーザがオブジェクトのより近くに移動するにつれて、クラウドは、より高い分解能情報をそのようなユーザにパスする。ユーザがオブジェクトをより近接してマップするにつれて、そのデータは、クラウドに送信され、クラウドは、新しい点が以前に記憶された点より優れている場合、新しい3D点および画像ベースのテクスチャマップをデータベースに追加することができる。本プロセスは、複数のユーザのために同時に起動してもよいことを理解されたい。
前述のように、ARまたはVR体験は、大部分において、あるタイプのオブジェクトを認識することに依拠し得る。例えば、そのようなオブジェクトを認識および理解するために、特定のオブジェクトが所与の深度を有することを理解することが重要であり得る。上記である程度詳細に説明されたように、オブジェクト認識ソフトウェア(「認識器」)が、クラウドまたはローカルリソース上に展開され、ユーザが世界内をナビゲートするにつれて、プラットフォームの一方または両方上の種々のオブジェクトの認識を具体的に補助してもよい。
例えば、システムが、3D点クラウドおよび姿勢がタグ付けされた画像を備えている世界モデルのためのデータを有し、その上に点の束を伴う机と、机の画像とが存在する場合、机の幾何学形状が、システムがそれを認識するために、システムに教示され得る。言い換えると、空間内のいくつかの3D点および机の大部分を示す画像は、机が観察されていることを瞬時に認識するために十分ではない場合がある。
本識別を補助するために、具体的オブジェクト認識器が、未加工3D点クラウド上で起動し、点の集合を区画し、例えば、机の上側表面の平面を抽出するように作成されてもよい。同様に、認識器は、ユーザが、単に、仮想もしくは拡張現実内の「仮想」壁紙を変更する、または壁の一部を除去する、および/または実世界の一部ではない別の仮想部屋へのポータルを有し得るように、3D点から壁を区画化するように作成されてもよい。
そのような認識器は、世界モデルのデータ内で動作し、世界モデルをクロールし、その世界モデルに意味論的情報または空間内の点間に存在すると考えられるものについての存在論を植え付ける、ソフトウェア「ロボット」と見なされ得る。そのような認識器またはソフトウェアロボットは、その存在全体が、データの関連世界を動き回り、壁、または椅子、または他のアイテムであると考えるものを見つけるように構成されてもよい。それらは、点の集合に、「本点の集合は壁に属する」という機能的均等物をタグ付けするように構成されてもよく、点内にあるものに関してシステムに相互に知らせるために、点ベースのアルゴリズムおよび姿勢がタグ付けされた画像分析の組み合わせを備えてもよい。
オブジェクト認識器は、観点に応じて、様々なユーティリティの多くの目的のために作成されてもよい。例えば、一実施形態では、Starbucks(登録商標)等のコーヒーの提供業者は、データの関連世界内のStarbucksコーヒーカップの正確な認識器の作成に投資してもよい。そのような認識器は、関連近傍空間内で動作しているとき、区画化され、ユーザに認識され得るように、大小のデータの世界をクロールし、Starbucksコーヒーカップを検索してもよい(例えば、おそらく、ユーザが、ある期間の間、そのStarbucksカップを見ているとき、角を曲がってすぐのStarbucks直売店でユーザにコーヒーを提供するため)。
カップが区画化されると、ユーザがそれをその机上に移動させると、迅速に認識され得る。そのような認識器は、利用可能な計算リソースに応じて、クラウドコンピューティングリソースおよびデータ上でのみではなく、また、ローカルリソースおよびデータ、またはクラウドおよびローカルの両方で起動もしくは動作してもよい。一実施形態では、クラウド上に世界モデルの大域的コピーが存在し、数百万人のユーザが、その大域的モデルに寄与している。しかしながら、より小さい世界(例えば、特定の町内の特定の個人のオフィス)のためには、ローカル情報は、世界の大部分のユーザに関連しないであろう。したがって、システムは、データを整備し、所与のユーザに最もローカルで関連すると考えられる情報をローカルキャッシュに移動させてもよい。
一実施形態では、例えば、ユーザが机まで歩いてくるとき、テーブル上のカップ等、頻繁に移動するものとして識別されるオブジェクトが、クラウドとローカルリソースとの間にクラウドモデル伝送に負担をかける必要がないため、関連情報(そのテーブル上の特定のカップの区画化等)は、クラウド上ではなく、ローカルコンピューティングリソース上に常駐してもよい。
したがって、クラウドコンピューティングリソースは、3D点および画像を区画化し、したがって、恒久的(例えば、概して、移動しない)オブジェクトを移動可能であるものから分解してもよく、これは、関連付けられたデータが留まる場所、処理されるべき場所に影響を及ぼし、恒久的オブジェクトにより関連するあるデータのための処理負担を装着式/ローカルシステムから除去し得る。これはまた、1回の場所処理を可能にし、これは、次いで無制限の他のユーザと共有され、複数のデータのソースが、同時に、特定の物理場所内の固定および移動可能であるオブジェクトのデータベースを構築し、オブジェクトを背景から区画化し、オブジェクト特有の起点およびテクスチャマップを作成することを可能にし得る。
一実施形態では、システムは、ユーザが、システムを訓練し、システムが、意味論的情報を実世界内のオブジェクトに関連付けることを可能にし得るように、ユーザに、あるオブジェクトの識別についての入力をクエリしてもよい(例えば、システムは、ユーザに、「それはStarbucksコーヒーカップであるか?」等の質問を提示してもよい)。存在論基準は、世界から区画化されたオブジェクトに関するガイダンス(例えば、オブジェクトが行うもの、オブジェクトの挙動方法等)を提供してもよい。一実施形態では、システムは、無線で接続されるキーパッド、スマートフォンのキーパッドへの接続、または同等物等の仮想または実際のキーパッドを特徴とし、システムへのあるユーザ入力を促進してもよい。
システムは、基本要素(壁、窓、机幾何学形状等)を仮想または拡張現実内の部屋の中に歩いてくる任意のユーザと共有してもよく、一実施形態では、その人物のシステムは、その特定の視点から画像を撮影し、それらをクラウドにアップロードしてもよい。次いで、クラウドに、古いおよび新しいデータの集合が取り込まれ、最適化ルーチンを起動し、個々のオブジェクト上に存在する起点を確立することができる。
GPSおよび他の位置特定情報が、そのような処理への入力として利用されてもよいことを理解されたい。さらに、オンラインカレンダまたはFacebook(登録商標)アカウント情報等の他のコンピューティングシステムおよびデータも、入力として利用されてもよい(例えば、一実施形態では、クラウドおよび/またはローカルシステムは、所与の目的地におけるユーザの到着時間に備えているために、経時的に、情報が、クラウドからユーザのローカルシステムに移動され得るように、飛行機のチケット、日付、および目的地に関して、ユーザのカレンダのコンテンツを分析してもよい)。
一実施形態では、クラウドリソースは、前述のように、パラメータおよびテクスチャに基づいて個々のユーザによってレンダリングされているモデルを伴う、「パス可能世界」を参照して、ユーザ間で実および仮想世界のデジタルモデルをパスしてもよい。これは、リアルタイムビデオのパスと比較して帯域幅を低減させ、場面の仮想視点のレンダリングを可能にし、数百万またはそれを上回るユーザが、ユーザのビューがそのローカルコンピューティングリソースによってレンダリングされるため、彼らの各々に見える必要があるデータ(ビデオ等)を送信せずに1つの仮想集会に参加することを可能にする。
ARシステムは、カメラを使用するリアルタイム計量コンピュータ視覚、同時位置特定およびマッピング技法、地図、ならびにジャイロスコープ、加速度計、コンパス、気圧計、GPS、無線信号強度三角測量、信号飛行時間分析、LIDAR測距、RADAR測距、走行距離計、およびソナー測距等のセンサからのデータのうちの1つ以上のものを通して、ユーザ場所および視野(ともに「姿勢」として知られる)を位置合わせしてもよい。
ARシステムは、同時に、マップおよび配向してもよい。例えば、未知の環境では、ARシステムは、環境についての情報を収集し、ユーザ姿勢計算のために好適な起点、世界モデル化のための他の点、世界のテクスチャマップを提供するための画像を確認してもよい。起点は、姿勢を光学的に計算するために使用されてもよい。
世界がより詳細にマップされるにつれて、より多くのオブジェクトは、区画化され、その独自のテクスチャマップが与えられ得るが、世界は、依然として、好ましくは、低分解能テクスチャマップを伴う単純多角形における低空間分解能で表現可能である。前述のもの等の他のセンサが、本モデル化の試みをサポートするために利用されてもよい。世界は、移動または別様により優れたビューを求める(視点、「超視覚」モード、ズーム等を通して)ことが、クラウドリソースからの高分解能情報を要求するという点において、本質的にフラクタルであり得る。オブジェクトのより近くに移動することは、より高い分解能データを捕捉し、これは、クラウドに送信され得、世界モデル内の格子間位置における新しいデータを計算および/または挿入し得る。
図64を参照すると、装着式システムは、画像情報を捕捉し、起点および認識された点6452を抽出し得る。装着式ローカルシステムは、後述される姿勢計算技法のうちの1つを使用して、姿勢を計算してもよい。クラウド6454は、画像および起点を使用して、3Dオブジェクトをより静的3D背景から区画化してもよい。画像は、オブジェクトおよび世界に関するテクスチャマップを提供してもよい(テクスチャは、リアルタイムビデオであってもよい)。クラウドリソースは、世界位置合わせのために、静的起点およびテクスチャを記憶および利用してもよい。
クラウドリソースは、位置合わせのために、最適点密度のための点クラウドを整備してもよい。クラウドリソース6460は、オブジェクト位置合わせおよび操作のために、オブジェクト起点およびテクスチャを記憶および利用してもよい。クラウドは、位置合わせのために、最適密度のための点クラウドを整備してもよい。クラウドリソース6462は、全ての有効点およびテクスチャを使用して、オブジェクトのフラクタル固体モデルを生成してもよい。クラウドは、最適起点密度のために、点クラウド情報を整備してもよい。クラウドリソース6464は、区画化されたオブジェクトおよび世界の識別における訓練のために、ユーザにクエリしてもよい。前述のように、存在論データベースは、回答を使用して、オブジェクトおよび世界にアクション可能特性を植え込んでもよい。
位置合わせおよびマッピングの以下の具体的モードは、光学またはカメラシステムから決定される姿勢を表す、用語「O-姿勢」と、センサ(例えば、前述のように、GPS、ジャイロ、コンパス、加速度計等のデータの組み合わせ等)から決定される姿勢を表す、「S-姿勢」と、ARサーバ(クラウドコンピューティングおよびデータ管理リソースを表す)とを特徴とする。
「配向」モードは、新しい環境の基本マップを作成し、その目的は、新しい環境がマップされない場合またはユーザがARサーバに接続されていない場合、ユーザの姿勢を確立することである。配向モードでは、装着式システムは、点を画像から抽出し、フレームからフレームへと点を追跡し、S-姿勢を使用して、起点を三角測量する(画像から抽出された起点が存在しないため)。装着式システムはまた、ユーザの残光性に基づいて、不良起点をフィルタ除去してもよい。
配向モードは、位置合わせおよびマッピングの最も基本モードであって、常時、低精度姿勢に対しても機能するであろうことを理解されたい。しかしながら、ARシステムが、少なくともわずかな時間の間、相対的運動において使用された後、最小起点集合が、装着式システムが、O-姿勢を使用して、オブジェクトを認識し、環境をマップするために設定されるように、確立されるであろう。O-姿勢は、確実になるとすぐに(最小起点集合を用いて)、装着式セットは、配向モードを終了し得る。「マップおよびO-姿勢」モードは、環境をマップするために使用されてもよい。マップおよびO-姿勢モードの目的は、高精度姿勢を確立し、環境をマップし、マップおよび画像をARサーバに提供することである。本モードでは、O-姿勢は、ARサーバからダウンロードされる、および/またはローカルで決定される、完全となった世界起点から計算される。
しかしながら、S-姿勢は、計算されたO-姿勢のチェックとして使用されてもよく、また、O-姿勢の計算を加速化するために使用されてもよいことを理解されたい。上記と同様に、装着式システムは、点を画像から抽出し、フレームからフレームへと点を追跡し、O-姿勢を使用して、起点を三角測量し、残光性に基づいて、不良起点をフィルタ除去する。残りの起点および姿勢がタグ付けされた画像は、次いで、ARサーバクラウドに提供される。
これらの機能(点の抽出、不良起点のフィルタ除去、および起点および姿勢がタグ付けされた画像の提供)は、リアルタイムで行われる必要はなく、帯域幅を保存するために、後に行われてもよいことを理解されたい。
O-姿勢は、ユーザの姿勢(ユーザ場所および視野)を決定するために使用される。O-姿勢の目的は、最小処理パワーを使用して、すでにマップされた環境内に高精度姿勢を確立することである。O-姿勢の計算は、いくつかのステップを伴う。
nにおける姿勢を推定することは、装着式システムが、S-姿勢およびO-姿勢から集められた履歴データ(n-1、n-2、n-3等)を使用してもよい。nにおける姿勢は、次いで、起点をnにおいて捕捉された画像の中に投影し、画像マスクを投影から作成するために使用される。装着式システムは、点をマスクされた領域から抽出し、O-姿勢を抽出された点および完全となった世界起点から計算する。
処理負担は、点を特定の画像のマスクされた下位集合から検索/抽出することによって大幅に低減されることを理解されたい。1ステップさらに進むと、nにおける計算されたO-姿勢およびnにおけるS-姿勢は、n+1における姿勢を推定するために使用されてもよい。姿勢がタグ付けされた画像および/またはビデオは、ARサーバクラウドに伝送されてもよい。
「超分解能」モードは、超分解能画像および起点を作成するために使用されてもよい。複合姿勢タグ付け画像は、超分解能画像を作成するために使用されてもよく、これは、順に、起点位置推定を向上させるために使用されてもよい。超分解能起点および画像からのO-姿勢推定を反復することを理解されたい。前述のステップは、装着式デバイス上でリアルタイムで行われてもよく、またはARサーバクラウドに伝送され、後に行われてもよい。
一実施形態では、ARシステムは、ある基本機能性と、ARシステムを通して配信され、ある特殊機能性を提供し得る、「アプリ」またはアプリケーションによって促進される、機能性とを有してもよい。例えば、以下のアプリが、本主題のARシステムにインストールされ、特殊機能性を提供してもよい。
一実施形態では、ディスプレイデバイスが連続フレームを通して2D点を追跡する場合、ベクトル値関数をそれらの点の時間発展に適合し、ベクトル値関数を任意の時点(例えば、フレーム間)または近い将来のある時点においてサンプリングすることが可能である(ベクトル値関数を時間的に前方に投影することによって)。これは、高分解能後処理の作成および次の画像が実際に捕捉される前の将来的姿勢の予測を可能にする(例えば、位置合わせスピードを2倍にすることは、カメラフレームレートを2倍にすることなく可能である)。
身体中心レンダリング(頭部固定または世界固定レンダリングとは対照的に)に関して、身体の正確なビューが、所望される。身体を測定するのではなく、一実施形態では、ユーザの頭部の平均位置を通してその場所を導出することが可能である。ユーザの顔が、殆どの時間、前方を向いている場合、頭部位置の複数日平均は、その方向を表すであろう。
重力ベクトルと併せて、これは、身体固定レンダリングのための合理的に安定した座標フレームを提供する。本長持続時間座標フレームに対する頭部位置の現在の測定値の使用は、余剰器具類を伴わずに、ユーザの身体上/その周囲におけるオブジェクトの一貫したレンダリングを可能にする。本実施形態の実装のために、頭部方向ベクトルの単一登録平均が、開始されてもよく、デルタ-tによって除算されたデータの累計は、現在の平均頭部位置を与えるであろう。第n-5日目から開始して、第n-4日目、第n-3日目、第n-2日目、第n-1日目の5日程度の登録を維持することは、過去「n」日のみのローリング平均の使用を可能にする。
一実施形態では、場面は、スケールダウンされ、実際より小さい空間内でユーザに提示されてもよい。例えば、巨大空間(例えば、フットボール競技場等)内にレンダリングされ得る場面が存在する状況では、同等巨大空間が存在しない場合がある、またはそのような大空間は、ユーザに不便であり得る。一実施形態では、システムは、ユーザに縮小して見え得るように、場面のスケールを縮使用してもよい。例えば、全体が見渡せるビデオゲームまたは世界選手権フットボールゲームを有し、スケーリンされていないフィールドでプレイする、またはスケールダウンされ、リビングルームの床に提示され得る。システムは、単に、レンダリング投射、スケール、および関連付けられた遠近調節距離をシフトさせてもよい。
システムはまた、仮想または拡張現実オブジェクトの焦点を操作する、それらをハイライトする、コントラスト、輝度、スケール等を変更することによって、提示される場面内の具体的アイテムにユーザの注意を引いてもよい。
好ましくは、システムは、以下のモードを達成し得る。開放空間レンダリングモードでは、システムは、重要点を構造化された環境から取り上げ、レンダリングでその間の空間を充填してもよい。本モードは、ステージ、出力空間、広い屋内空間等のような潜在的場を作成するために使用されてもよい。
オブジェクトラッピングモードでは、システムは、実世界内の3Dオブジェクトを認識し、次いで、それを拡張してもよい。本文脈における「認識」は、画像を3Dオブジェクトにアンカするために十分に高い精度で3Dオブジェクトを識別することを意味し得る。本文脈における「認識」は、オブジェクトのタイプ(例えば、人物の顔)の分類、および/またはオブジェクトの特定のインスタンス(例えば、Joe、人物)の分類のいずれかを意味し得ることを理解されたい。これらの原理を想定して使用すると、認識器ソフトウェアは、壁、天井、床、顔、道路、空、飛行機、牧場、テーブル、椅子、車、道路標識、広告掲示板、ドア、窓、書棚等のような種々の物を認識するために使用されることができる。いくつかの認識器ソフトウェアプログラムは、タイプIであって、一般的機能性を有し得る(例えば、「私のビデオをその壁に置く」、「あれは、犬である」等)一方、他の認識器ソフトウェアプログラムは、タイプIIであって、具体的機能性を有し得る(私のTVは、天井から3.2フィートのリビングルームの壁にある)、「あれは、Fidoである」等)
身体中心レンダリングでは、任意のレンダリングされた仮想オブジェクトは、ユーザの身体に固定される。例えば、いくつかのオブジェクトは、ユーザの身体(例えば、ユーザのベルト)の周囲に浮遊してもよい。これの達成は、頭部だけではなく、身体の位置を把握することを要求する。しかしながら、身体の位置は、頭部の位置によって推定されてもよい。例えば、頭部は、通常、地面と平行に前方を向いている。また、身体の位置は、ユーザの頭部位置の長期平均によって取得されたデータを使用して、時間に伴って、より正確になってもよい。
身体中心レンダリングでは、任意のレンダリングされた仮想オブジェクトは、ユーザの身体に固定される。例えば、いくつかのオブジェクトは、ユーザの身体(例えば、ユーザのベルト)の周囲に浮遊してもよい。これの達成は、頭部だけではなく、身体の位置を把握することを要求する。しかしながら、身体の位置は、頭部の位置によって推定されてもよい。例えば、頭部は、通常、地面と平行に前方を向いている。また、身体の位置は、ユーザの頭部位置の長期平均によって取得されたデータを使用して、時間に伴って、より正確になってもよい。
タイプIIとして認識されたオブジェクトは、種々の3Dモデルのオンラインデータベースにリンクされてもよい。認識プロセスを開始するとき、車または公益施設のように、一般に利用可能である3Dモデルを有するオブジェクトから開始することが理想的である。
システムはまた、仮想存在のために使用され、例えば、ユーザが、遠隔人物のアバタを特定の開放空間の中に描くことを可能にしてもよい。これは、前述の「開放空間レンダリング」の下位集合と見なされ得る。ユーザは、ローカル環境の大まかな幾何学形状を作成し、幾何学形状およびテクスチャマップの両方を他者に反復的に送信してもよい。ユーザは、しかしながら、他者が、その環境に進入する許可を与えてもよい。微妙な音声キュー、手の追跡、および頭部運動が、遠隔アバタに送信されてもよい。前述の情報に基づいて、アバタは、動画化されてもよい。仮想存在の作成は、帯域幅を最小限にし、慎重に使用されてもよいことを理解されたい。
システムはまた、オブジェクトを別の部屋への「ポータル」にするために構成されてもよい。言い換えると、ローカル部屋内にアバタを示す代わりに、認識されたオブジェクト(例えば、壁)が、別のユーザの環境へのポータルとして使用されてもよい。したがって、複数のユーザは、その独自の部屋内に座り、他のユーザの環境を壁を「通して」見てもよい。
システムはまた、カメラ(人々)の群が異なる視点から場面を視認するとき、ある面積の高密度デジタルモデルを作成するために構成されてもよい。本モデルは、その面積が少なくとも1つのカメラを通して視認される限り、任意の視点からレンダリング可能であり得る。例えば、結婚式の場面が、複数のユーザの視点を通してレンダリングされてもよい。認識器は、定常オブジェクトを移動オブジェクトから区別し、異なるようにマップし得ることを理解されたい(例えば、壁は、安定したテクスチャマップを有する一方、人々は、より高い頻度の移動テクスチャマップを有する)。
リアルタイムで更新された豊富なデジタルモデルを用いることで、場面は、任意の視点からレンダリングされ得る。結婚式の実施例に戻ると、背後における出席者は、より優れたビューのために、前列へと空中を飛んで行ってもよい。または、敷地外出席者は、アバタを用いて、または主催者によって許可される場合、不可視のいずれかにおいて、「席」を見つけることができる。出席者は、移動するアバタを示すことができる、またはビューから隠れたアバタを有してもよい。本側面は、非常に高帯域幅を要求する可能性があることを理解されたい。高周波数データは、クラウドを通して高速ローカル無線接続上でストリームされてもよい一方、低周波数データは、クラウド内のARサーバから生じてもよい。前述の実施例では、結婚式の全出席者は、高精度位置情報を有し得るため、したがって、ローカルネットワーキングのための最適ルーティング経路の作成は、わけがないことである。
システムへ、またはユーザ間の通信のために、単純無音メッセージングが、多くの場合、望ましい。例えば、指コーディングキーボードが、使用されてもよい。随意の実施形態では、触覚手袋解決策が、性能向上をもたらし得る。
完全仮想現実体験をユーザに与えるために、視覚系は、暗化され、ユーザは、実世界とオーバーレイされないビューが示される。本モードでも、位置合わせシステムは、依然として、ユーザの頭部位置を追跡するために必要であり得る。完全仮想現実を体験するために使用され得る、いくつかのモードが存在し得る。例えば、「ソファー」モードでは、ユーザは、飛ぶことが可能であり得る。「歩行」モードでは、実世界のオブジェクトは、ユーザが実世界と衝突しないように、仮想オブジェクトとして再レンダリングされ得る。
原則として、身体部分のレンダリングは、仮想世界を通してナビゲートする際、ユーザの不信の一時的停止のために重要であり得る。1つ以上の実施形態では、これは、身体部分を追跡し、ユーザの視野内にレンダリングする方法を有することを要求し得る。例えば、不透明バイザーは、多くの画像強調可能性を伴う仮想現実の形態であり得る。別の実施例では、広視野は、ユーザに背後のビューを与え得る。さらに別の実施例では、システムは、望遠鏡視覚、シースルー視覚、赤外線視覚、神の視覚等のような種々の形態の「超視覚」を含んでもよい。
一実施形態では、仮想および/または拡張ユーザ体験のためのシステムが、ユーザに関連付けられた遠隔アバタが、関連ソフトウェアモジュールによって行われるような音声抑揚分析および顔認識分析等のソースからの入力を用いて、少なくとも部分的に、装着式デバイス上のデータに基づいて動画化され得るように作成される。例えば、図60に戻って参照すると、ハチアバタ6002は、ユーザの顔上の笑顔の顔認識に基づいて、またはユーザからローカルで音声サンプルを捕捉し得るマイクロホンに入力される音声を分析するソフトウェアによって決定されるように、音声または発話の優しいトーンに基づいて、優しい笑顔を有するように動画化されてもよい。さらに、アバタキャラクタは、アバタがある感情を表す可能性が高い様式において動画化されてもよい。例えば、アバタが犬である、ある実施形態では、ヒトユーザにローカルのシステムによって検出された嬉しい笑顔またはトーンは、犬アバタがしっぽを振ると、アバタ内に表されてもよい。
図65-70を参照すると、複雑なゲーム実施形態の種々の側面が、「Secret agent007」下で作られたキャラクタに関係して提示されるスパイテーマのうちのいくつかを用いてテーマ的に配向され得る、スパイタイプゲームの文脈において図示される。図65を参照すると、家族6584の例証が、パーソナルコンピュータまたは専用ゲーム用システムに基づくもの等、ゲーム用コンピュータまたはコンソール6586に動作可能に結合される、ゲーム用ジョイスティックまたはコントローラ等の入力デバイス6588を動作させることによって、ゲーム内でキャラクタを操縦する家族6585の一員とともに描写される。
ゲーム用コンソール6586は、ユーザインターフェースビュー6592をパイロット/オペレータ6585およびその近くに居る他者に示す、ディスプレイ6592に動作可能に結合される。図66は、そのようなユーザインターフェースビュー6592の一実施例を図示しており、本主題のゲームは、London(England)の町内の橋上またはその近傍で行われている。本特定のプレーヤ6585のためのユーザインターフェースビュー6592は、純粋仮想現実(例えば、表示されるユーザインターフェースの全要素が、実際には、プレーヤ6585とともに存在しない)であって、モニタまたはディスプレイ(図65における要素6590)を使用して表示される仮想要素である。
再び、図66を参照すると、描写される仮想現実ビュー6592は、Londonの町のビューを特徴とし、橋6602および種々の建物6698ならびに他の建築特徴とともに、図66のユーザインターフェースビュー6592に示されるように、斜視図から本主題のプレーヤ6585によって動作されるゲーム用キャラクタ(6618-本例証的実施例では、「エージェント009」とも称される)の描写を特徴とする。
また、プレーヤ6585に表示されるのは、通信ディスプレイ6696、コンパスインジケータ6694、キャラクタステータスインジケータ6614、ニュースツールユーザインターフェース6604、ソーシャルネットワーキングツールユーザインターフェース6632、およびメッセージングユーザインターフェース6612である。さらに示されるのは、ゲーム内の別のキャラクタの代表(6622-本例証的実施例では、「エージェント006」とも称される)である。ユーザインターフェースビュー6592に示されるように、システムは、エージェント006キャラクタの周囲に視覚的に提示されるハイライトとともに、エージェント006が接近中であるというメッセージングインターフェース6612を通したメッセージ等、提示される場面に関連すると見なされる情報を提示してもよい。
オペレータ6585は、利用しているビューの視点を随時変更してもよい。例えば、図66に示されるヘリコプター状斜視図ではなく、プレーヤは、そのようなキャラクタの眼の視点、または計算および提示され得る、多くの他の可能性として考えられるビューのうちの1つからのビューを選択することを決定してもよい。
図67を参照すると、別の例証的ビュー6744は、家のリビングルームにおいてオペレータ(例えば、図65におけるプレーヤ6585)によってプレイされている、同一ゲームに参加しており、その混成または拡張現実体験のために、Londonの実際の町を実際に通って歩きながら、頭部搭載式ARディスプレイシステム6700および関連付けられたローカル処理システム6708を装着してキャラクタ「エージェント006」6740として動作する、実際のヒトプレーヤを示す。
描写される実施形態では、プレーヤ6740は、その拡張現実頭部搭載式ディスプレイ6700を装着して橋に沿って歩ている間、そのローカル処理システム6708は、そのディスプレイに、実際の現実のそのビュー上にオーバーレイされる、描写されるような種々の仮想現実要素(例えば、London6738の実際の地平線および構造等)をフィードしている。
ヒトは、一実施形態では、印刷およびゲーム用シナリオで使用するために、事前に電子的に通信された、1つ以上の実際の文書6842をその手に携行してもよい。図68は、その実際の文書6742を見ながら、実際のLondonの地平線6738が見える一方、また、その頭部搭載式ディスプレイを通して拡張現実ビューのための種々の仮想要素が提示されている、プレーヤの6740眼の視点からのビュー6846の例証を示す。
仮想要素は、例えば、通信ディスプレイ6826、ニュースディスプレイ6828、1つ以上の電子通信またはソーシャルネットワーキングツールディスプレイ6832、1つ以上のプレーヤステータスインジケータ6834、メッセージングインターフェース6836、コンパス配向インジケータ6824、およびテキスト、オーディオ、またはビデオコンテンツ等のコンテンツ6848の1つ以上のディスプレイを含んでもよい。これは、プレーヤ6840によって携行される実際の文書6842内に特徴付けられるテキストまたは写真等、他の表示または捕捉された情報に従って、読み出され、提示されてもよい。
近傍には、仮想現実にのみ存在する、別のキャラクタ「エージェント009」が、キャラクタ「エージェント006」として動作するプレーヤ6840の拡張現実ビュー6846の中に提示され、図68に示されるように、容易な識別のために、ユーザインターフェース内にそのように標識されてもよい。
図69を参照すると、同様に、London6938に偶然に実際に存在し、「エージェント006」プレーヤ6940に向かって同一橋を横断して歩いているが、頭部装着式ARシステムを伴わない、別のプレーヤ6950のプレーヤの眼のビュー6952が、提示される。本プレーヤ6950は、タブレットまたはスマートフォン等のモバイル通信デバイス6954を携行し得、これは、本実施形態では、より大きいシステムと無線で接続され、本主題のゲームの拡張現実世界の中への「ウィンドウ」として利用され、デバイスの限定されたユーザインターフェース6956内に、警告またはキャラクタ情報等の他の拡張現実ディスプレイ情報6962とともに、1人または2人の他の近傍プレーヤ(例えば、実際または仮想)に関する拡張現実情報を提示するように構成されてもよい。図69に示されるように、エージェント006プレーヤ6958およびエージェント009 6960の仮想表現は、ユーザインターフェース6956上に示される。
図70を参照すると、「鳥瞰図」または有人または無人航空機(または「UAV」)ビューが、提示される7064。一実施形態では、ビュー7064は、別のプレーヤまたは前述のプレーヤのうちの1人によって動作される仮想UAVに基づいてもよい。描写されるビュー7064は、完全仮想モードにおいて、例えば、大型コンピュータディスプレイ6590または頭部搭載式ARシステムを用いて、家のソファーに座っている、プレーヤに提示されてもよい。代替として、そのようなビューは、拡張現実ビューとして、偶然飛行機または他の飛行体(例えば、そのような位置における人物にとって、ビューの少なくとも一部は、実際の現実であろうため、「拡張」または混成)に乗っているプレーヤに提示されてもよい。図示されるビュー7064は、ビュー内で見つけられた識別された相手方に関する情報等、関連情報を特徴とする情報ダッシュボード7070のためのインターフェース面積を含む。描写されるビュー7064はまた、着目敷地情報7068、他のプレーヤまたはキャラクタ7066の場所および/またはステータス、ならびに/もしくは他の情報提示7067等の仮想ハイライト情報を特徴とする。
図71を参照すると、例証目的のために、別の拡張現実シナリオが、部屋の構造物7174、コーヒーテーブル7180、DJテーブル7178、およびそれぞれ、世界のそれぞれの拡張現実ビュー(例えば、実際の人々7188のうちの1人に対する仮想現実漫画キャラクタ7198、仮想現実スペイン人ダンサーキャラクタ7196、漫画キャラクタ7194、および丸いウサギ耳の付いた頭部の被り物7192)を体験し得るように、頭部搭載式ARシステムを装着している、5人の実際の人々(7176、7188、7182、7184、7186)等、ある実際の現実要素を特徴とするビュー7172とともに、提示される。拡張現実インターフェースハードウェアを伴わない場合、部屋は、家具、DJテーブルを伴う部屋のように、5人の実際の人々に対面するであろう。
しかしながら、ARシステムを用いることで、システムは、従事するプレーヤまたは参加者が、漫画キャラクタもしくはスペイン人ダンサーの形態で、または漫画キャラクタとして、現在部屋の中に居る、別のユーザ、または通常の衣服を装着しているが、その頭部が、頭部が丸いウサギ耳の付いた頭部の被り物とともに可視化されるユーザ7192を体験し得るように構成されてもよい。システムはまた、DJ7176にのみ可視になり得る、仮想音楽楽譜7190、またはその拡張現実インターフェースハードウェアを使用して、周りの任意の人物に可視になり得る、DJテーブル照明特徴等、実際のDJテーブル7178に関連付けられたある仮想特徴を示すように構成されてもよい。
図72Aおよび72Bを参照すると、タブレットコンピュータまたはスマートフォン等のモバイル通信デバイスの適応が、本主題のシステムを使用して作成された本主題のゲームまたは体験の拡張現実世界の中への修正される「ウィンドウ」として、拡張現実を体験するために利用されてもよい。図72Aを参照すると、典型的スマートフォンまたはタブレットコンピューティングシステムモバイルデバイス7254は、比較的に単純視覚的ユーザインターフェース7256を特徴とし、典型的には、1つ以上のカメラを有する。
図72Bを参照すると、モバイルコンピューティングデバイスは、拡張用コンソール7218の中に可撤性かつ動作可能に結合され、モバイルコンピューティングデバイスの拡張現実参加能力を増加させる。例えば、描写される実施形態は、眼追跡のために利用され得る、2つのプレーヤに配向されたカメラ7202、単純高品質オーディオおよび/または指向性音成形のために利用され得る、4つのスピーカ7200、機械視覚、位置合わせ、および/または位置特定のための2つの前方に配向されるカメラ7204、追加バッテリまたは電力供給源能力7212と、プレーヤが結合されるシステムを把持することによる容易な利用のために位置付けられ得る、1つ以上の入力インターフェース(214、216)、フィードバックを結合されたシステムを把持しているユーザに提供するための触知フィードバックデバイス7222(一実施形態では、触知フィードバックデバイスは、軸毎に+または-方向に2つのフィードバック軸を提供し、指向性フィードバックを提供してもよく、そのような構成は、例えば、オペレータがシステムを特定の着目標的に照準させたまま保つことを保持するため等に利用されてもよい)、1つ以上のGPSまた配置特定センサ7206、ならびに/もしくは1つ以上の加速度計、慣性測定ユニット(IMU)、および/またはジャイロスコープ(208)を特徴とする。
図73を参照すると、一実施形態では、図72Bに描写されるもの等のシステムは、GPSセンサおよび/または無線三角測量を使用して、XおよびY(緯度および経度の地球の座標に類似する)デカルト方向において、参加者を大まかに位置特定するために利用されてもよい(7332)。大まかな配向は、コンパスおよび/または無線配向技法を使用して達成されてもよい(7334)。大まかな位置特定および配向が決定されると、分散システムは、ローカル特徴マッピング情報をローカルデバイスにロードしてもよい(例えば、無線通信を介して)。
そのような情報は、例えば、地平線幾何学形状、建築幾何学形状、水路/平面要素幾何学形状、風景幾何学形状、および同等物等の幾何学的情報を備えてもよい(7336)。ローカルおよび分散システムは、大まかな位置特定、大まかな配向、およびローカル特徴マップ情報の組み合わせを利用して、細かい位置特定および配向特性を決定してもよく(X、Y、およびZ{高度に類似する}座標および3-D配向等)(7338)、これは、分散システムに、細かいピッチのローカル特徴マッピング情報をローカルシステムにロードさせ、ユーザ体験および動作を向上させるために利用されてもよい。異なる配向および場所への移動は、大まかな位置特定および配向ツール、ならびに参加者によって携行され得る、タブレットまたは携帯電話等のモバイルコンピューティングシステムに結合され得る、慣性測定ユニット、ジャイロスコープ、および加速度計等のローカルに展開されたデバイスを利用して追跡されてもよい(7342)。
図71に特徴とされるDJテーブル7178等の実際のオブジェクトは、仮想現実表面、形状、および/または機能性とともに拡張されてもよい。例えば、一実施形態では、そのようなデバイス上の実際のボタンは、実際のデバイスおよび/または他のデバイス、人々、またはオブジェクトと相互作用するように構成される、仮想パネルを開くように構成されてもよい。
図71に描写されるパーティルーム等の部屋7174は、任意の部屋または空間であるように外挿されてもよい。システムは、いくつかの既知のデータ(部屋の他の関連付けられた構造または物に関する既存の2または3次元データ等)から任意の場所を有してもよく、または新しいゼロデータを有してもよく、図72Bのコントローラコンソール上に搭載されるもの等のカメラを利用する機械視覚構成は、追加のデータを捕捉するために利用されることができる。さらに、システムは、人々の群が、使用可能な2または3次元マップ情報源を収集し得るように作成されてもよい。
Londonの町の3次元マップデータ等の既存のマップ情報が利用可能な構成では、頭部搭載式ARシステムを装着するユーザは、GPS、コンパス、および/または他方の手段(付加的固定追跡カメラ、他のプレーヤに結合されるデバイス等)を使用して、大まかに位置特定されてもよい。細かい位置合わせが、ユーザのセンサから遂行され、そのような位置合わせのための起点として物理場所の既知の幾何学形状を決定してもよい。
例えば、距離Xにおいて視認されるときLondon特有の建物において、システムが、GPS情報から、Yフィート内であって、かつコンパスおよびマップMから、方向Cにユーザを特定すると、システムは、位置合わせアルゴリズム(幾分、ロボットまたはコンピュータ支援外科手術において利用される技法に類似する)を実装し、ユーザの3次元場所をある程度の誤差E内に「ロックイン」するように構成されてもよい。
固定カメラはまた、頭部搭載式または感覚生成システムとともに利用されてもよい。例えば、図71に描写されるもの等のパーティルームでは、部屋のある側面7174に搭載された固定カメラは、部屋および動く人々のライブの進行中ビューを提供し、仮想および部屋内の物理的人々の両方とのそのソーシャル相互作用が、はるかに豊かになるように、遠隔参加者に、部屋全体の「ライブ」デジタル遠隔存在ビューを提供するように構成されてもよい。
そのような実施形態では、いくつかの部屋が、相互にマップされてもよい。すなわち、物理部屋および仮想部屋幾何学形状が、相互にマップされてもよい。付加的拡張または視覚が、物理的および仮想「メタ」部屋の両方を通して行き来するオブジェクトとともに、それを物理部屋と等しく、それ未満、またはより大きくマップするように作成されてもよく、次いで、視覚的にカスタマイズまたは「スキニング」されたバージョンの部屋は、各ユーザまたは参加者に利用可能になってもよい。例えば、ユーザが、正確に同一の物理的または仮想部屋内に存在し得る間、システムは、ユーザによるカスタムビューを可能にしてもよい。例えば、あるユーザは、パーティに居るが、「Death Star」モチーフまたはスキンでマップされた環境を有することができる一方、別のユーザは、パーティ環境とともに図71に示されるようなスキニングされた部屋を有してもよい。
(ディスプレイ)
1つ以上の実施形態では、予測子/修正子機構が、ディスプレイプロセスにおける遅延および/またはタイミング不一致を平滑化および/または予測的に補正するために適用されることができる。図示するために、画像を装着式デバイスの接眼レンズ内に表示するためのプロセスに多数の段階が存在することを検討する。例えば、装着式デバイスは、少なくとも以下の処理段階に対応すると仮定する。
センサ->計算->アプリケーション->ディスプレイ処理
センサ段階は、装着式デバイスを通してデータを作成または表示するために使用される、1つ以上のセンサから得られた測定に関する。そのようなセンサは例えば、カメラ、IMU等、を含んでもよい。問題は、センサのうちのいくつかが、相互から有意に異なる測定率を有し得、いくつかは、比較的に「高速」と見なされ、その他は、比較的に「低速」と見なされ得ることである。カメラセンサは、例えば、30~60測定/秒の範囲内で比較的に低速で動作し得る。対照的に、IMUは、例えば、500~2000測定/秒の範囲内で比較的に高速で動作し得る。これらの異なる測定率は、測定データを使用して、ディスプレイ情報を生成しようと試みるとき、遅延および不一致を導入し得る。
1つ以上の実施形態では、予測子/修正子機構が、ディスプレイプロセスにおける遅延および/またはタイミング不一致を平滑化および/または予測的に補正するために適用されることができる。図示するために、画像を装着式デバイスの接眼レンズ内に表示するためのプロセスに多数の段階が存在することを検討する。例えば、装着式デバイスは、少なくとも以下の処理段階に対応すると仮定する。
センサ->計算->アプリケーション->ディスプレイ処理
センサ段階は、装着式デバイスを通してデータを作成または表示するために使用される、1つ以上のセンサから得られた測定に関する。そのようなセンサは例えば、カメラ、IMU等、を含んでもよい。問題は、センサのうちのいくつかが、相互から有意に異なる測定率を有し得、いくつかは、比較的に「高速」と見なされ、その他は、比較的に「低速」と見なされ得ることである。カメラセンサは、例えば、30~60測定/秒の範囲内で比較的に低速で動作し得る。対照的に、IMUは、例えば、500~2000測定/秒の範囲内で比較的に高速で動作し得る。これらの異なる測定率は、測定データを使用して、ディスプレイ情報を生成しようと試みるとき、遅延および不一致を導入し得る。
加えて、タイミング遅延が、前述の識別された処理段階のうちのいくつかの間に導入され得る。例えば、タイミング遅延は、センサデータが受信され、そのセンサデータに基づく計算が起動される、計算段階において導入され得る。例えば、センサデータを正規化、計算、調節、および/またはスケーリングするためのアクションは、本処理段階の間に、遅延Δtcomuteをもたらす可能性が高いであろう。同様に、アプリケーション段階もまた、ある量の遅延を導入する可能性が高い。アプリケーション段階は、特定のアプリケーションが、ユーザによって所望される機能性のための入力データにおいて動作するために実行される、段階である。例えば、ユーザがゲームをプレイしている場合、ゲームアプリケーションが、アプリケーション段階で起動される。アプリケーションによって要求される処理は、本処理段階の間、遅延Δタップplicationを導入するであろう。ディスプレイ処理段階もまた、その独自の遅延Δtdisplayをプロセスの中に導入する可能性が高い。本遅延は、例えば、装着式接眼レンズ内に表示されるべきピクセルをレンダリングするために必要とされる処理を行うために導入される。明白なこととして、多くのタイプの遅延が、処理の種々の段階の間に導入される。
本発明の実施形態は、予測フィルタを使用して、表示される画像へのこれらの遅延および/または不一致の影響を考慮および/または補正する。これは、これらの問題の影響を予測的に決定することによって遂行される(例えば、クロックならびにΔtcomputeおよびΔタップplicationおよびΔtdisplayの影響を加算/計算することによって)。予測フィルタはまた、センサ段階におけるセンサ測定の相対的スピードを考慮する。本予測を行うためにとられ得る1つの可能性として考えられるアプローチは、ディスプレイ処理段階においてカルマン予測子を利用することである。少なくとも部分的に本予測に基づいて、補償変更が、ディスプレイデータに行われ、遅延および/または測定スピードの負の影響を考慮および/または補正することができる。
例証的実施例として、ある視覚的データの集合が装着式デバイス内で表示される必要があるときを検討する。しかしながら、ユーザはまた、その特定の時点でも移動中であって、前述の遅延は、顕著な遅れをその場面に関してユーザにレンダリングされたピクセルに生じさせ得る。本状況では、本実施形態は、予測フィルタを使用して、遅延の存在および影響を識別し、ユーザの移動を分析し、「向かっている場所」を決定し、次いで、表示されるデータの「シフト」を行い、処理遅延を考慮する。フィルタはまた、例えば、カルマン平滑化を使用して、センサ測定からの視覚的アーチファクトおよび負の影響を「平滑化」するために使用されることができる。
(UIシステム)
以下の議論は、ARシステムと通信するために使用され得る、種々のタイプのユーザインターフェース構成要素に焦点を当てるであろう。
以下の議論は、ARシステムと通信するために使用され得る、種々のタイプのユーザインターフェース構成要素に焦点を当てるであろう。
ARシステムは、多種多様なユーザインターフェース(UI)構成要素のうちの1つ以上のものを使用してもよい。ユーザインターフェース構成要素は、眼追跡、手追跡、トーテム追跡、自然特徴姿勢決定、頭部姿勢決定、ならびに予測頭部姿勢決定を行う、構成要素を含んでもよい。ユーザインターフェースシステムは、非同期世界モデルを採用してもよい。ユーザインターフェース構成要素は、本明細書に論じられるように、ビュー中心(例えば、頭部中心)レンダリング、身体中心レンダリング、および/または世界中心レンダリングを採用してもよい。さらに、ユーザインターフェース構成要素は、種々のタイプの環境データ、例えば、GPS場所データ、Wi-Fi信号強度データ、携帯電話差動信号強度、既知の特徴、画像ヒストグラムプロファイル、部屋特徴等のハッシュ、壁/天井/床/3D-ブロブ/等の近接度、世界内の場所(例えば、家、オフィス、車、通り)、親近ソーシャルデータ(例えば、「友人」)、および/または音声認識を採用してもよい。
前述のように、非同期部分モデルは、ローカルコピーを個々のARシステム内に構築し、クラウドに対する任意の変更を同期させることを指す。例えば、椅子が、空間内で移動される場合、椅子オブジェクト認識器は、椅子が移動されたことを認識し得る。しかしながら、その情報をクラウドに取得し、次いで、遠隔存在アバタが椅子に座っているように、それをローカルシステムにダウンロードさせる際に遅延が存在し得る。
環境データは、ユーザインターフェースが使用され得る方法に寄与し得ることを理解されたい。ARシステムは、状況的に認識するため、暗示的に、ユーザまたは物理オブジェクトが位置する場所の意味論的理解を有する。例えば、GPS場所データ、Wi-Fi信号強度またはネットワーク識別、差動信号強度、既知の特徴、ヒストグラムプロファイル等が、トポロジマップのための統計的推測を行うために使用されることができる。拡張現実実装におけるユーザインターフェースの概念は、拡張されることができる。例えば、ユーザが壁に接近しており、壁をノックする場合、ノックは、ユーザインターフェースによってユーザ体験(UX)相互作用モダリティとして解釈されることができる。別の実施例として、ユーザが、デバイス上の特定のWi-Fi信号を選択する場合、選択は、ユーザインターフェースによって相互作用モダリティとして解釈され得る。ユーザの周囲の世界は、ユーザのためのユーザインターフェース(UI)の一部となる。
(ユーザ入力)
図100を先に参照すると、ユーザインターフェースは、種々の入力のうちの1つ以上のものに応答してもよい。ARシステムのユーザインターフェースは、例えば、手入力10002、例えば、ジェスチャ、タッチ、マルチタッチ、および/または複数の手入力に応答してもよい。ARシステムのユーザインターフェースは、例えば、眼入力10004、例えば、眼ベクトルおよび/または眼条件(例えば、開放/閉鎖)に応答してもよい。ARシステムのユーザインターフェースは、例えば、トーテム入力10006に応答してもよい。トーテムは、多種多様な形態のいずれか、例えば、ベルトパックをとってもよい。トーテム入力は、静的であって、例えば、閉鎖された書籍/タブレット等を追跡してもよい。トーテム入力は、動的であって、例えば、書籍等のページをめくるような動的変化であってもよい。トーテム入力は、トーテム、例えば、光線銃トーテムとの通信と関連してもよい。トーテム入力は、固有の通信、例えば、USB、データ通信等を介した通信と関連してもよい。トーテム入力は、アナログジョイスティック、クリックホイール等を介して生成されてもよい。
図100を先に参照すると、ユーザインターフェースは、種々の入力のうちの1つ以上のものに応答してもよい。ARシステムのユーザインターフェースは、例えば、手入力10002、例えば、ジェスチャ、タッチ、マルチタッチ、および/または複数の手入力に応答してもよい。ARシステムのユーザインターフェースは、例えば、眼入力10004、例えば、眼ベクトルおよび/または眼条件(例えば、開放/閉鎖)に応答してもよい。ARシステムのユーザインターフェースは、例えば、トーテム入力10006に応答してもよい。トーテムは、多種多様な形態のいずれか、例えば、ベルトパックをとってもよい。トーテム入力は、静的であって、例えば、閉鎖された書籍/タブレット等を追跡してもよい。トーテム入力は、動的であって、例えば、書籍等のページをめくるような動的変化であってもよい。トーテム入力は、トーテム、例えば、光線銃トーテムとの通信と関連してもよい。トーテム入力は、固有の通信、例えば、USB、データ通信等を介した通信と関連してもよい。トーテム入力は、アナログジョイスティック、クリックホイール等を介して生成されてもよい。
ARシステムのユーザインターフェースは、例えば、頭部姿勢、例えば、頭部位置および/または配向に応答してもよい。ARシステムのユーザインターフェースは、例えば、音声、例えば、発話コマンドおよびパラメータに応答してもよい。ARシステムのユーザインターフェースは、例えば、環境音に応答してもよい。ARシステムは、例えば、1つ以上の周囲マイクロホンを含み、音、例えば、胸部タップ等を取り上げてもよい。
ARシステムのユーザインターフェースは、例えば、環境状況に応答してもよい。例えば、ユーザインターフェースは、壁に対してもしくはそれに近接して生じる移動または定義された閾値を上回る移動(例えば、比較的に高速における移動)に応答してもよい。
開発者に提案し、ARシステムのオペレーティングシステム(OS)の中に内蔵し、種々のアプリケーションおよび/またはゲームを再スキニングすることを可能にし得る、一貫したユーザインターフェースメタファを有することが有用であり得る。1つのアプローチは、ユーザ作動可能レバーまたはボタンアイコンを採用してもよいが、そのアプローチは、触覚フィードバックを欠いている。レバーは、それぞれの支点を有してもよいが、そのようなアプローチは、ユーザにとって困難であり得る。別のアプローチは、意図的に物を引き離す、「力場」メタファ(例えば、境界上の閃光等)に基づく。
1つ以上の実施形態では、仮想画像は、仮想ユーザインターフェースの形態でユーザに提示されてもよい。仮想ユーザインターフェースは、図100に示されるように、フローティング式仮想画面であってもよい。システムは、仮想ユーザインターフェースの場所(例えば、深度、距離、感知された場所等)を把握するため、システムは、仮想インターフェースの座標を容易に計算し、ユーザが、相互作用が生じた座標およびユーザの手、眼等の既知の座標に基づいて、仮想画面と相互作用し、入力を仮想ユーザインターフェースから受信することを可能にし得る。
したがって、言い換えると、システムは、仮想ユーザインターフェースの種々の「キー」または特徴の座標をマップし、また、ユーザの手、眼(または任意の他のタイプの入力)の座標をマップし/その場所を把握し、それらを相関させ、ユーザ入力を受信する。
例えば、仮想ユーザインターフェースが、頭部中心基準フレーム内でユーザに提示される場合、システムは、常時、世界中心基準フレームに関係する仮想ユーザインターフェースの種々の「キー」または特徴の距離/場所を把握する。システムは、次いで、いくつかの数学的平行移動/変換を行い、両基準フレーム間の関係を見つける。次に、ユーザは、仮想アイコンを圧搾することによって、ユーザインターフェースのボタンを「選択」してもよい。システムは、タッチの場所を把握するため(例えば、触知センサ、画像ベースのセンサ、深度センサ等に基づいて)、システムは、手圧搾の場所およびボタンユーザインターフェースの既知の場所に基づいて選択されたボタンを決定する。
したがって、常時、実オブジェクトに関係する、および種々の基準フレーム(例えば、世界中心、頭部中心、手中心、臀部中心等)に関係する仮想オブジェクトの場所を把握することは、システムが、種々のユーザ入力を理解することを可能にする。入力に基づいて、システムは、マッピングテーブルを使用して、特定のアクションまたはコマンドへの入力を相関させ、アクションを実行してもよい。
言い換えると、仮想ユーザインターフェースとのユーザの相互作用は、常時、追跡されている(例えば、眼相互作用、ジェスチャ相互作用、手相互作用、頭部相互作用等)。限定ではないが相互作用の場所、相互作用の力、相互作用の方向、相互作用の頻度、相互作用の回数、相互作用の性質等を含む、これらの相互作用(またはこれらの相互作用の特性)はユーザが、表示される仮想ユーザインターフェースに応答して、ユーザ入力をユーザインターフェースに提供することを可能にするために使用される。
(眼追跡)
1つ以上の実施形態では、ARシステムは、物理空間または環境(例えば、物理部屋)内の1人以上のユーザの眼姿勢(例えば、配向、方向)および/または眼移動を追跡することができる。ARシステムは、ユーザの眼の姿勢および/または移動を検出するように位置付けられ、配向される1つ以上のセンサまたは変換器(例えば、カメラ)によって収集される情報(例えば、捕捉された画像または画像データ)を採用してもよい。例えば、個々のARシステムの頭部装着式構成要素は、1つ以上の内向きに面したカメラおよび/または光源を含み、ユーザの眼を追跡してもよい。
1つ以上の実施形態では、ARシステムは、物理空間または環境(例えば、物理部屋)内の1人以上のユーザの眼姿勢(例えば、配向、方向)および/または眼移動を追跡することができる。ARシステムは、ユーザの眼の姿勢および/または移動を検出するように位置付けられ、配向される1つ以上のセンサまたは変換器(例えば、カメラ)によって収集される情報(例えば、捕捉された画像または画像データ)を採用してもよい。例えば、個々のARシステムの頭部装着式構成要素は、1つ以上の内向きに面したカメラおよび/または光源を含み、ユーザの眼を追跡してもよい。
前述のように、ARシステムは、ユーザの眼姿勢(例えば、配向、方向)および眼移動を追跡し、「ヒートマップ」を構築することができる。ヒートマップは、1つ以上の仮想または実オブジェクトに指向された眼姿勢インスタンスの時間、頻度、および回数を追跡および記録する、世界のマップであってもよい。例えば、ヒートマップは、眼視線または注視の最大回数/時間/頻度をもたらした仮想および/または実オブジェクトに関する情報を提供してもよい。これはさらに、システムが、特定の仮想または実オブジェクトにおけるユーザの関心を理解することを可能にし得る。
有利には、1つ以上の実施形態では、ヒートマップは、いくつかの実施形態では、広告またはマーケティング目的において使用され、広告キャンペーンの有効性を決定してもよい。ARシステムは、ユーザが注意を払っている空間内の面積を表すヒートマップを生成または決定してもよい。1つ以上の実施形態では、ARシステムは、例えば、眼追跡および/またはヒートマップに基づいて最適化された位置および/または光学特性(例えば、色、明度、輝度)とともに、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、および他の仮想構造物、例えば、アプリケーション、特徴、キャラクタ、テキスト、数字、および他の記号)をレンダリングすることができる。
(視線追跡)
視線追跡に対する概略された概念は、以下にさらに説明されるユーザシナリオおよび実施形態のいずれかに適用されてもよいことを理解されたい。1つ以上の実施形態では、以下に説明される種々のユーザインターフェースはまた、検出された視線に起因してアクティブ化/発生し得る。本明細書に説明される原理は、本開示の任意の他の部分に適用されてもよく、限定として読み取られるべきではない。
視線追跡に対する概略された概念は、以下にさらに説明されるユーザシナリオおよび実施形態のいずれかに適用されてもよいことを理解されたい。1つ以上の実施形態では、以下に説明される種々のユーザインターフェースはまた、検出された視線に起因してアクティブ化/発生し得る。本明細書に説明される原理は、本開示の任意の他の部分に適用されてもよく、限定として読み取られるべきではない。
ARシステムは、いくつかの実施形態では、眼視線を追跡してもよい。視線追跡に対して3つの主要構成要素が存在する。すなわち、眼追跡モジュール(瞳孔検出および角膜中心検出)、頭部追跡モジュール、および眼追跡モジュールと頭部追跡モジュールを相関させる、相関モジュールである。相関モジュールは、世界座標(例えば、実世界内のオブジェクトの位置)と眼座標(例えば、眼追跡カメラに関係する眼の移動等)との間の情報を相関させる。
眼追跡モジュールは、角膜の中心および瞳孔の中心を決定するように構成される。図117を先に参照すると、眼11702の概略が、図示される。図117に示されるように、線11704が、角膜の中心、瞳孔の中心、および眼球の中心を通して通過するように示される。本線11704は、光学軸と称され得る。
図117はまた、角膜を通して通過する、別の視線11706示す。本線は、視覚軸と称され得る。図17に示されるように、視覚軸は、光学軸に関係する傾斜線である。視覚軸11706が交差する中心窩11708の面積は、光受容体の非常に高密度面積と見なされ、したがって、外側世界を視認するために、眼にとって重要であることを理解されたい。視覚軸11706は、典型的には、光学軸から1~5°の逸脱にある(必ずしも、垂直逸脱ではない)。
従来の視線追跡技術では、主要な仮定のうちの1つは、頭部が移動していないということである。これは、視線追跡目的のために、光学軸に関係する視覚軸を決定することをより容易にする。しかしながら、ARシステムの文脈では、ユーザは、常時その頭部を移動させているであろうことが予期される。したがって、従来の視線追跡機構は、実行可能ではあり得ない。
この目的を達成するために、ARシステムは、システムに関係する角膜の位置を正規化するように構成される。角膜の位置は、光学軸および視覚軸の両方が、前述の図117に示されるように、角膜を通して通過するため、視線追跡において非常に重要であることを理解されたい。
ここで図118を参照すると、ARシステムは、装着式ARシステム11806に結び付けられる世界カメラシステム(例えば、ユーザの頭部上に設置され、周囲の集合を捕捉するためのカメラ、ユーザの移動の頭部とともに移動するカメラ)11804を備えている。また、図118に示されるように、ARシステム11806はさらに、眼11802の移動を追跡する、1つ以上の眼追跡カメラ11808を備えてもよい。両カメラ(例えば、眼追跡カメラ11808および世界カメラ11804)は、移動しているため、システムは、頭部移動および眼移動の両方を考慮し得る。頭部移動(例えば、FOVカメラ11804に基づいて計算される)および眼移動(例えば、眼追跡カメラ11808に基づいて計算される)の両方が、角膜の位置を正規化するために追跡されてもよい。
眼追跡カメラ11808は、カメラから角膜の中心までの距離を測定することを理解されたい。したがって、装着式ARシステム11806が眼に対して移動する方法における任意の変更を補償するために、角膜の中心までの距離が、正規化される。例えば、眼鏡移動に伴って、角膜からカメラの若干の回転および/または平行移動が存在し得る。しかしながら、システムは、角膜の中心までに距離を正規化することによって、本移動を補償する。
眼追跡カメラおよび頭部カメラ(世界カメラ)の両方が、剛性本体(例えば、ARシステムのフレーム)であるため、眼追跡カメラの任意の正規化または補正はまた、世界カメラ上でも同様に行われる必要があることを理解されたい。例えば、同一回転および平行移動ベクトルが、世界カメラシステムにも同様に適用され得る。したがって、本ステップは、眼追跡システムと頭部追跡システムとの間の関係(例えば、回転ベクトル、平行移動ベクトル等)を識別する。
いったん回転および/または平行移動ベクトルが識別されると、較正ステップが、ユーザからの種々の深度で行われる。例えば、ユーザからの固定距離にある、既知の点が存在し得る。世界カメラ11804は、ユーザからの空間内に固定される点間の距離を測定してもよい。前述のように、角膜の位置の中心はまた、眼追跡カメラ11808に関連付けられた計算に基づいて把握される。
加えて、前述のように、眼追跡カメラ11808と世界カメラとの間の関係もまた、把握される(例えば、任意の平行移動または回転ベクトル)。したがって、いったん標的の位置(例えば、空間内の固定される既知の点)および角膜の位置が識別されると、視線(角膜から標的まで)が、容易に識別され得ることを理解されたい。本情報は、物理世界の1つ以上の実オブジェクトに関係する空間内の仮想オブジェクトを正確に描写するために、マッピングおよび/またはレンダリングにおいて使用されてもよい。
より具体的には、世界カメラ11804と眼追跡カメラ11806との間の関係を決定するため、少なくとも2つの固定された画像が、眼カメラおよび世界カメラの両方に提示されてもよく、画像内の差異は、両カメラを較正するために使用されてもよい。例えば、角膜の中心が、眼追跡システム11808に関係して把握される場合、角膜の中心は、眼カメラと世界カメラとの間の既知の関係を利用することによって、世界座標系11804に関係して決定され得る。
1つまたはより多くの実施形態では、較正プロセスの間(例えば、ユーザが最初にARデバイスを受け取るときの設定プロセスの間等)、第1の固定画像が、眼カメラ11806、次いで、世界カメラ11804によって捕捉される。例証目的のために、眼カメラによって行われる第1の画像捕捉は、「E」と見なされ得、世界カメラによって行われる第1の画像捕捉は、「W」と見なされ得る。次いで、第2の固定画像が、眼カメラ11806によって捕捉され、次いで、世界カメラ11804によって捕捉される。第2の固定画像は、若干、第1の固定画像と異なる位置にあり得る。
眼カメラの第2の画像捕捉は、E´と称され得、世界カメラの第2の画像捕捉は、W´と称され得る。Z=WXEおよびZ=W´XE´であるため、Xは、前述の2つの方程式を使用して容易に計算されることができる。したがって、本情報は、世界に関係するカメラの位置を自然に構成するように、点を確実にマップするために使用されてもよい。本マッピング情報を確立することによって、視線11706は、容易に決定され得る、これは、順に、仮想コンテンツをユーザに方略的に提供するために使用され得る。
(視線追跡ハードウェア)
ここで図119を参照すると、眼追跡モジュールを使用して角膜の中心を検出するために、ARシステムは、2つの閃光(例えば、LED光)を伴う1つのカメラまたはそれぞれ1つの閃光を伴う2つのカメラのいずれかを利用する。例証される実施形態では、1つのみの閃光11902が、眼11802および眼追跡カメラ11806に関係して示される。角膜の表面は、非常に反射性であって、したがって、眼を追跡するカメラ(例えば、眼追跡カメラ)が存在する場合、カメラの画像平面上に形成される閃光が存在し得ることを理解されたい。
ここで図119を参照すると、眼追跡モジュールを使用して角膜の中心を検出するために、ARシステムは、2つの閃光(例えば、LED光)を伴う1つのカメラまたはそれぞれ1つの閃光を伴う2つのカメラのいずれかを利用する。例証される実施形態では、1つのみの閃光11902が、眼11802および眼追跡カメラ11806に関係して示される。角膜の表面は、非常に反射性であって、したがって、眼を追跡するカメラ(例えば、眼追跡カメラ)が存在する場合、カメラの画像平面上に形成される閃光が存在し得ることを理解されたい。
LED光11902の3D位置は、既知であって、カメラの画像平面から閃光11910までの線も、既知であるため、閃光および画像平面を備えている3D平面が、作成される。角膜の中心は、本作成された3D平面11904(図119内に線として表される)上に位置する。同様に、別の閃光(別のLED光から)が、使用される場合、2つの3D平面は、他の3D平面もまた角膜の中心を有するように相互に公差する。したがって、両3D平面の交差点は、角膜の中心を保持する線を生成することを理解されたい。ここで、その線内の角膜の正確な点が、決定され得る。
反射の法則を満たすその線(閃光からプロジェクタまで)上には、一意の位置が存在することを理解されたい。物理特性において周知であるように、反射の法則は、光線が表面から反射するとき、入射の角度が反射の角度に等しいことを述べる。本法則は、角膜の中心を見つけるために使用されてもよい。
図120を参照すると、ここで、角膜の中心から原点(例えば、閃光11910)までの距離が、決定されてもよい(r´、図示せず)。同様に、同一分析が、他の線12004(他の閃光12002から他のプロジェクタまで)上で行われ、r´´(交線から他の線までの距離)(図示せず)を見つけてもよい。角膜の中心は、相互に値が最も近いr´およびr´´の値に基づいて推定されてもよい。前述の例示的実施形態は、2つの平面を説明するが、角膜の位置は、より多くの平面が使用される場合、より容易に見つけられ得ることを理解されたい。これは、複数のLED光(例えば、より多くの閃光)を使用することによって達成されてもよい。
眼追跡システムは、眼上で少なくとも2つの閃光を生成することが重要である。正確度を増加させるために、より多くの閃光が、眼上に生成されてもよい。しかしながら、付加的閃光が眼の表面上に生成されることで、どの閃光がどのLEDによって生成されたかを決定することが困難になる。この目的を達成するために、閃光とLEDとの間の対応を理解するため、同時に、各フレーム上で閃光を反射させるのではなく、1つのLEDが、1つのフレームに対してオンにされてもよく、他のものは、第1のものがオフにされた後、オンにされてもよい。本アプローチは、ARシステムをより信頼性のあるものにし得る。
同様に、屈折によって生じる分散のため、瞳孔の正確な中心を決定することは、困難である。瞳孔の中心を検出するために、眼の画像が、捕捉されてもよい。瞳孔を見つけるために、中心点から半径方向外向きに「星形」パターンで画像の中心を動き回ってもよい。いったん見つけられると、同一プロセスは、瞳孔の縁を見つけるために、瞳孔内の点から開始するように行われてもよい。本情報は、瞳孔中心を推測するために使用されてもよい。本プロセスが数回繰り返される場合、いくつかの中心は、外れ値であり得ることを理解されたい。しかしながら、これらの外れ値は、フィルタ除去されてもよい。しかしながら、本アプローチを用いても、瞳孔の中心は、依然として、前述の屈折原理のため、正しい位置にない場合がある。
ここで図121を参照すると、較正が、視覚軸と光学軸との間の逸脱を決定するために行われてもよい。システムを較正するとき、瞳孔の実中心は、問題となり得ないが、世界におけるマッピング(例えば、世界が2Dにあるように考慮する)のために、世界と眼との間の距離を決定することが重要である。瞳孔中心および画像平面を前提として、図121に示されるように、2D世界における相関座標を見つけるためのマッピングを見つけることが重要である。この目的を達成するために、放物線マッピングを使用して、画像平面内の対応する座標を見つけることができる。以下のようなサンプル方程式が、使用されてもよい。
Xs=a1xe2+a2ye2+a3xeye+a4xe+a5ye+a6
Xs=∫x(Xe、Ye)
Ys=∫y(Xe、Ye)
図121の12100に示されるように、前述に類似する方程式が、(Xs、Ys)を決定された(Xe、Ye)から決定するために使用されてもよい。ここでは、合計パラメータは、12個である。各点は、2つの方程式を提供する。したがって、少なくとも6つの点(例えば、a1-a6)が、本方程式を解くために必要とされ得る。
Xs=a1xe2+a2ye2+a3xeye+a4xe+a5ye+a6
Xs=∫x(Xe、Ye)
Ys=∫y(Xe、Ye)
図121の12100に示されるように、前述に類似する方程式が、(Xs、Ys)を決定された(Xe、Ye)から決定するために使用されてもよい。ここでは、合計パラメータは、12個である。各点は、2つの方程式を提供する。したがって、少なくとも6つの点(例えば、a1-a6)が、本方程式を解くために必要とされ得る。
ここで、角膜の中心が把握され、標的点の位置が把握されると、線が、角膜の中心から標的点まで引かれ得る。世界カメラ11804は、空間内の固定点において画像を撮影し得る、画像を撮影する固定平面を有する。次いで、別の標的点が、人物に表示され、次いで、仮想上世界カメラに結び付けられる交差平面が、決定される。
前述のマッピング技法は、上記で詳細に説明されるように、その交差平面内の対応する点を決定するために使用されてもよい。角膜の中心を把握することで、前述のマッピング技法は、世界カメラに仮想上結び付けられる画像平面上の点を識別することができる。全てのこれらの点がここで把握されていることを前提として、視線が、角膜の中心から画像平面上の点まで構築され得る。視線は、眼毎に別個に構築されることを理解されたい。
ここで図122を参照すると、視線を決定する例示的方法12200が、図示される。最初に、12202では、角膜の中心が、決定されてもよい(例えば、前述のLED三角測量アプローチ通して等)。次いで、112204では、眼カメラと世界カメラとの間の関係が、決定されてもよい。12206では、標的位置が、決定されてもよい。最後に、12208では、マッピング技法が、全ての決定された情報に基づいて、視線を構築するために利用されてもよい。
(疑似ランダムパターン)
1つ以上の実施形態では、ARシステムは、眼姿勢または眼移動を追跡する際、疑似ランダム雑音を採用してもよい。例えば、個々のARシステムの頭部装着式構成要素は、頭部装着式構成要素がユーザによって装着されるとき、ユーザの眼を照射するように位置付けられ、配向される、1つ以上の光源(例えば、LED)を含んでもよい。カメラは、眼から返される光源からの光を検出する。例えば、ARシステムは、プルキニエ像、例えば、眼の構造からのオブジェクトの反射を使用してもよい。
1つ以上の実施形態では、ARシステムは、眼姿勢または眼移動を追跡する際、疑似ランダム雑音を採用してもよい。例えば、個々のARシステムの頭部装着式構成要素は、頭部装着式構成要素がユーザによって装着されるとき、ユーザの眼を照射するように位置付けられ、配向される、1つ以上の光源(例えば、LED)を含んでもよい。カメラは、眼から返される光源からの光を検出する。例えば、ARシステムは、プルキニエ像、例えば、眼の構造からのオブジェクトの反射を使用してもよい。
ARシステムは、光源によって放出される光のパラメータを変動させ、認識可能パターンを、放出され、故に、眼から反射される、検出された光に与えてもよい。例えば、ARシステムは、光源の動作パラメータを疑似ランダムに変動させ、放出される光のパラメータを疑似ランダムに変動させてもよい。例えば、ARシステムは、光源の放出の長さ(オン/オフ)を変動させてもよい。これは、周囲光源から放出および反射された光からの放出および反射された光の自動検出を促進する。
図101および図102に図示されるように、一実装では、光源(例えば、LED)10102は、眼の片側(例えば、上側)のフレーム上に位置付けられ、センサ(例えば、フォトダイオード)は、フレームの底側部分上に位置付けられる。眼は、反射体として見られ得る。とりわけ、対の眼が連動して移動する傾向にあるため、片眼のみ、器具を備え、追跡される必要がある。光源10102(例えば、LED)は、通常、パターン化されたコード(例えば、振幅変動または変調)を生成するために、一度(例えば、時間スライス)に1つオンおよびオフにされる。ARシステムは、センサ(例えば、フォトダイオード)によって生成される信号の自動相関を行い、飛行時間信号を決定する。1つ以上の実施形態では、ARシステムは、既知の幾何学形状の光源(例えば、LED)、センサ(例えば、フォトダイオード)、および眼までの距離を採用する。
眼の既知の幾何学形状に伴うベクトルの和は、眼追跡を可能にする。眼の位置を推定するとき、眼は、強膜および眼球を有するため、幾何学形状は、相互の上に層化された2つの円形として表されることができる。本システム10100を使用して、眼の向きのベクトルが、カメラを用いずに、決定または計算されることができる。また、眼の回転中心が、眼の断面が円形であって、強膜が特定の角度を通して揺動するため、推定され得る。これは、実際には、光線トレースだけではなく、既知の伝送される信号に対する受信された信号の自己相関のため、ベクトル距離をもたらす。出力は、図102に示されるように、プルキニエ像10200として見られ得、これは、順に、眼の移動を追跡するために使用され得る。
いくつかの実装では、光源は、電磁スペクトルの赤外線(IR)範囲内の光を放出してもよく、光センサは、選択的に、IR範囲内の電磁エネルギーに応答し得る。
1つ以上の実施形態では、光線は、例証される実施形態に示されるように、ユーザの眼に向かって放出される。ARシステムは、光とユーザの眼の相互作用に関連付けられた1つ以上の特性(例えば、プルキニエ像、フォトダイオードによって検出された後方散乱された光の範囲、後方散乱された光の方向等)を検出するように構成される。これは、例証される実施形態に示されるように、フォトダイオードによって捕捉されてもよい。相互作用の1つ以上のパラメータは、フォトダイオードで測定されてもよい。これらのパラメータは、順に、眼移動または眼姿勢の特性を外挿するために使用されてもよい。
(手追跡)
1つ以上の実施形態では、ARシステムは、1つ以上のユーザ入力検出デバイスおよび/または技法を介して、手追跡を行ってもよい。
1つ以上の実施形態では、ARシステムは、1つ以上のユーザ入力検出デバイスおよび/または技法を介して、手追跡を行ってもよい。
例えば、ARシステムは、頭部装着式であって、ユーザの身体基準フレームから前方に向く、1つ以上の画像センサ(例えば、カメラ)を採用してもよい。加えて、または代替として、ARシステムは、頭部装着式ではなく、またはユーザの身体の任意の部分にも装着されない、1つ以上のセンサ(例えば、カメラ)を使用してもよい。例えば、ARシステムは、物理環境に搭載される1つ以上のセンサ(例えば、カメラ、慣性センサ、ジャイロスコープ、加速度計、温度センサまたは熱電対、発汗センサ)(例えば、前述の部屋ベースのセンサシステム)を使用してもよい。
別の実施例として、ARシステムは、ステレオ対のカメラまたは光センサに依拠してもよい。代替として、ARシステムは、構造化された光の1つ以上の源を含み、手を照射してもよい。構造化された光は、ユーザに可視であってもよく、またはそうでなくてもよい。例えば、光源は、選択的に、電磁スペクトルの赤外線または近赤外線範囲内で放出してもよい。
なおもさらなる実施例として、ARシステムは、例えば、本明細書で論じられる触知手袋に類似する、器具を装備した手袋を介して、手追跡を行ってもよい。ARシステムは、触知手袋を光学的に追跡してもよい。加えて、または代替として、ARシステムは、手袋内に位置する1つ以上の手袋センサ、例えば、1つ以上の内部センサまたは加速度計(例えば、MEMS加速度計)からの遠隔測定法を使用してもよい。
(指ジェスチャ)
いくつかの実装では、指ジェスチャが、ARシステムのための入力として使用されてもよい。指ジェスチャは、種々の形態をとることができ、例えば、指間相互作用、指示、タップ、摩擦等に基づいてもよい。
いくつかの実装では、指ジェスチャが、ARシステムのための入力として使用されてもよい。指ジェスチャは、種々の形態をとることができ、例えば、指間相互作用、指示、タップ、摩擦等に基づいてもよい。
他のジェスチャは、例えば、文字列(例えば、文字、数字、句読点)の2Dまたは3D表現を含んでもよい。そのようなジェスチャを入力するために、ユーザは、単に、所定のキャラクタパターンにおいて指をスワイプさせてもよい。
ユーザインターフェースの一実装では、ARシステムは、3つの円形をレンダリングしてもよく、具体的に選定された文字列(例えば、文字、数字、句読点)を伴う各円形が、周縁の周囲に円周方向に配列される。ユーザは、円形および文字を通してスワイプし、文字列選択または入力を指定することができる。別の実装では、ARシステムは、腕を曲げた位置において、ユーザの利き手の位置に近接するユーザの視野内にキーボード(例えば、QWERTYキーボード)列をレンダリングする。ユーザは、次いで、所望のキーを通してスワイプ状運動を行い、次いで、別のジェスチャ(例えば、親指と薬指のジェスチャ)または他の固有受容相互作用を行うことによって、スワイプジェスチャ選択が、完了したことを示すことができる。
他のジェスチャとして、例えば、例証される実施形態の1つによる、ユーザの視野内にレンダリングされ得る、「ポップアップ」円形半径方向メニューと併用され得る、サムホイール選択タイプジェスチャが挙げられ得る。
ここで図103を参照すると、いくつかの付加的ジェスチャ10320もまた、図示される。図103に示される指ジェスチャは、例示目的にすぎず、他のジェスチャも同様に使用されてもよいことを理解されたい。上列最左位置では、指示された人差し指は、焦点、例えば、人差し指が指示される場面または仮想コンテンツの特定の部分に焦点を当てるコマンドを示し得る。例えば、ジェスチャ10322は、指示された人差し指から成る「焦点」コマンドのためのジェスチャを示す。ARシステムは、ジェスチャを認識し(例えば、指の捕捉された画像/ビデオを通して、触知手袋が使用される場合、センサを通して等)、所望のアクションを行ってもよい。
上列中央位置では、人差し指の先端が親指の先端にタッチし、閉鎖された円形を形成する、第1の挟むジェスチャは、掴むおよび/またはコピーコマンドを示し得る。図103に示されるように、ユーザは、人差し指および親指をともにくっつけ、ユーザインターフェースのある部分から別の部分に「挟む」または掴んで持って行ってもよい(例えば、ジェスチャ10324)。例えば、ユーザは、仮想ユーザインターフェースのある部分から別の部分にアイコン(例えば、アプリケーション)をコピーまたは移動させるために本ジェスチャを使用してもよい。
上列最右位置では、薬指の先端が親指の先端にタッチし、閉鎖された円形を形成する、第2の挟むジェスチャは、選択コマンドを示し得る。同様に、「選択」ジェスチャは、1つ以上の実施形態では、図10326に示されるように、ユーザの親指と薬指をくっつけることから成ってもよい。例えば、ユーザは、特定の文書を選択する、またはあるタイプのARコマンドを行うために、本ジェスチャを使用してもよい。
下列最左位置では、小指の先端が親指の先端にタッチし、閉鎖された円形を形成する、第3の挟むジェスチャは、戻るおよび/またはキャンセルコマンドを示し得る。ジェスチャ10330は、小指および親指をともにくっつけることを伴う、例示的「戻る/キャンセル」ジェスチャを示す。
下列中央位置では、薬指および中指が曲げられ、薬指の先端が親指の先端にタッチする、ジェスチャは、クリックおよび/またはメニューコマンドを示し得る。ジェスチャ10332(例えば、親指と中指および薬指をともにくっつける)は、「右クリック」コマンドのために、またはシステムが「メインメニュー」に戻ることを示すために使用されてもよい。
1つ以上の実施形態では、ユーザは、単に、ARシステムバイザー上の「ホーム空間」ボタンを叩き、ホームページに戻ってもよい(例えば、10334)。下列最右位置では、人差し指の先端が頭部装着式構成要素またはフレーム上のある場所にタッチすることは、ホームコマンドに戻ることを示し得る。これは、ARシステムに、ホームまたはデフォルト構成に戻らせ、例えば、ホームまたはデフォルトメニューを表示させ得る。
図103に示されるように、ARシステムは、種々のコマンドを認識し、これらのコマンドに応答して、コマンドにマップされたある機能を行う。コマンドへのジェスチャのマッピングは、多くのユーザを横断して汎用的に定義され、少なくともいくつかの共通性をユーザインターフェースにおいて採用する、種々のアプリケーションの開発を促進してもよい。代替として、または加えて、ユーザまたは開発者は、ジェスチャの少なくともいくつかと、コマンドの検出に応答してARシステムによって実行されるべき対応するコマンドとの間のマッピングを定義してもよい。
(トーテム)
ARシステムは、トーテムの追跡(例えば、視覚的追跡)を介して、ユーザの相互作用を検出または捕捉してもよい。トーテムは、システムによって認識され、ARシステムと通信するために使用され得る、所定の物理オブジェクトである。
ARシステムは、トーテムの追跡(例えば、視覚的追跡)を介して、ユーザの相互作用を検出または捕捉してもよい。トーテムは、システムによって認識され、ARシステムと通信するために使用され得る、所定の物理オブジェクトである。
任意の好適な既存の物理構造が、トーテムとして使用されることができる。例えば、ゲーム用アプリケーションでは、ゲームオブジェクト(例えば、テニスラケット、銃コントローラ等)が、トーテムとして認識されることができる。1つ以上の特徴点が、物理構造上で認識され、物理構造をトーテムとして識別するためのコンテキストを提供することができる。トーテムの視覚的追跡は、1つ以上のカメラを採用して行われ、ある基準フレーム(例えば、メディアの断片、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム)に対するトーテムの位置、配向、および/または移動(例えば、位置、方向、距離、スピード、加速)を検出することができる。
能動的にマークされたトーテムは、ある種類の能動的照明または他の形態の視覚的識別を備えている。そのような能動的マーキングの実施例として、(a)明滅光(例えば、LED)、(b)照明パターン群、(c)照明によってハイライトされる反射マーカー、(d)ファイバベースの照明、(e)静的光パターン、および/または(f)動的光パターンが挙げられる。光パターンは、複数のトーテムの中の具体的トーテムを一意に識別するために使用されることができる。
受動的にマークされたトーテムは、非能動的照明または識別手段を備えている。そのような受動的にマークされたトーテムの実施例として、テクスチャ化されたパターンおよび反射マーカーが挙げられる。
トーテムはまた、外部機器がトーテムを追跡するために必要とされないように、1つ以上のカメラ/センサを組み込むことができる。代わりに、トーテムは、自らを追跡し、その独自の場所、配向、および/または識別を他のデバイスに提供するであろう。オンボードカメラが、特徴点を視覚的にチェックし、視覚的追跡を行い、トーテム自体の、および基準フレームに対する位置、配向、および/または移動(例えば、位置、方向、距離、スピード、加速)を検出するために使用される。加えて、トーテム上に搭載されるセンサ(GPSセンサまたは加速度計等)は、トーテムの位置および場所を検出するために使用されることができる。
トーテムコントローラオブジェクトは、任意の物理構造に搭載されることができ、トーテムの追跡/識別を促進するための機能性を組み込む、デバイスである。これは、単に、トーテムコントローラオブジェクトをその物理構造に設置または添着させることによって、任意の物理構造が、トーテムになることを可能にする。トーテムコントローラオブジェクトは、オブジェクト上の電子機器に給電するためのバッテリを含む、給電式オブジェクトであってもよい。トーテムコントローラオブジェクトは、通信、例えば、アンテナおよび無線ネットワーキングモデム等の無線通信インフラストラクチャを含み、メッセージを他のデバイスと交換してもよい。トーテムコントローラオブジェクトはまた、任意の能動的マーキング(LEDまたはファイバベースの照明等)、受動的マーキング(反射体またはパターン等)、またはカメラ/センサ(カメラ、GPSロケータ、または加速度計等)を含んでもよい。
トーテムは、1つ以上の実施形態では、仮想ユーザインターフェースを提供するために使用されてもよい。ARシステムは、例えば、仮想ユーザインターフェースをレンダリングし、トーテム上に現れるようにしてもよい。トーテムは、多種多様な形態をとってもよい。例えば、トーテムは、非生物オブジェクトであってもよい。例えば、トーテムは、金属(例えば、アルミニウム)の断片またはシートの形態をとってもよい。個々のARシステムのプロセッサ構成要素、例えば、ベルトパックが、トーテムとしての役割を果たしてもよい。
ARシステムは、例えば、実際の物理デバイスのユーザインターフェース(例えば、コンピュータ、携帯電話のキーボードおよび/またはトラックパッド)を「非知能型」トーテム上に複製してもよい。実施例として、ARシステムは、電話の特定の動作システムのユーザインターフェースをアルミニウムシートの表面上にレンダリングしてもよい。ARシステムは、例えば、正面に面したカメラを介して、レンダリングされた仮想ユーザインターフェースとの相互作用を検出し、検出された相互作用に基づいて、機能を実装してもよい。
例えば、ARシステムは、1つ以上の仮想アクションを実装し、例えば、電話のオペレーティングシステムの更新されたディスプレイをレンダリングする、ビデオをレンダリングする、ウェブページのディスプレイをレンダリングしてもよい。加えて、または代替として、ARシステムは、1つ以上の実際のもしくは非仮想アクションを実装し、例えば、電子メールを送信する、テキストを送信する、および/または電話をかけてもよい。これは、ユーザが、所望のユーザインターフェースを選択し、実際の物理デバイスの集合、例えば、スマートフォンおよび/またはタブレットの種々のモデル、もしくは他のスマートフォン、タブレット、またはさらに、テレビ、DVD/ブルーレイプレーヤ、サーモスタット等のユーザインターフェースを有する他のタイプの器具と相互作用することを可能にし得る。
したがって、トーテムは、例えば、仮想コンテンツがユーザ体験(UX)コンテキスト内にロックされ得る、身体部分(例えば、手)を含む、仮想コンテンツがレンダリングされ得る、任意のオブジェクトであってもよい。いくつかの実装では、ARシステムは、トーテムの背後から生じるように見える、例えば、ユーザの手の背後から現れ、少なくとも部分的に、ユーザの手の周囲にゆっくりと巻き付くように見えるように、仮想コンテンツをレンダリングすることができる。ARシステムは、仮想コンテンツとのユーザ相互作用、例えば、部分的に、ユーザの手の周囲に巻かれた仮想コンテンツとのユーザ指操作を検出する。
代替として、ARシステムは、ユーザの手のひらから現れるように見えるように仮想コンテンツをレンダリングしてもよく、システムは、その仮想コンテンツのユーザの指先端相互作用および/または操作を検出してもよい。したがって、仮想コンテンツは、ユーザの手の基準フレームにロックされ得る。ARシステムは、仮想コンテンツのあるアイテムを見る、手を移動させる、手で自分自身または環境にタッチする、他のジェスチャ、眼を開放および/または閉鎖する等を含む、種々のユーザ相互作用またはジェスチャに応答してもよい。
本明細書に説明されるように、ARシステムは、身体中心レンダリング、ユーザ中心レンダリング、手中心レンダリング、臀部中心レンダリング、世界中心レンダリング、固有受容触覚相互作用、指示、眼ベクトル、トーテム、オブジェクト認識器、身体センサレンダリング、頭部姿勢検出、音声入力、環境または周囲音入力、および環境状況入力を採用して、ARシステムのユーザと相互作用してもよい。
図104は、例証される実施形態の1つによる、トーテムを示し、これは、仮想キーボード10422実装の一部として使用されてもよい。トーテムは、略長方形プロファイルおよび軟質硬度表面を有してもよい。軟質表面は、ユーザがタッチを介してトーテムと相互作用するにつれて、ある触覚知覚をユーザに提供する。
前述のように、ARシステムは、仮想キー、スイッチ、または他のユーザ入力構成要素が、トーテムの表面上に常駐して見えるように、仮想キーボード画像をユーザの視野内にレンダリングしてもよい。ARシステムは、例えば、直接、ユーザの網膜に投影される、4D明視野をレンダリングしてもよい。4D明視野は、ユーザが、実深度にあるように見えるものを伴う仮想キーボードを視覚的に知覚することを可能にする。
ARシステムはまた、トーテムの表面とのユーザの相互作用を検出または捕捉してもよい。例えば、ARシステムは、1つ以上の正面に面したカメラを採用して、ユーザの指の位置および/または移動を検出してもよい。特に、ARシステムは、捕捉された画像から、ユーザの指とトーテムの表面の種々の部分の任意の相互作用を識別してもよい。ARシステムは、仮想キーの位置と、故に、種々の入力(例えば、文字列、数字、句読点、制御、機能)のそれらの相互作用の場所をマップする。入力に応答して、ARシステムは、入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、ARシステムは、選択されるユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ARシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ARシステムは、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングしてもよい。したがって、ARシステムによってレンダリングすることは、コンテキスト依存性であり得る。
図105Aは、仮想マウス実装10502の一部として使用され得る、例証される実施形態の1つによる、トーテムの上側表面を示す。トーテムの上側表面は、略卵形プロファイルを有し、硬質表面部分と、1つ以上の軟質表面部分とを伴い、物理マウスのキーを複製してもよい。軟質表面部分は、実際には、スイッチを実装するために必要ではなく、トーテムは、物理キー、物理スイッチ、または物理電子機器を有していなくてもよい。軟質表面部分は、ユーザがタッチを介してトーテムと相互作用するにつれて、ある触覚知覚をユーザに提供する。
ARシステムは、仮想入力構造(例えば、キー、ボタン、スクロールホイール、ジョイスティック、サムスティック等)が、トーテムの上側表面上に常駐して見えるように、仮想マウス画像10502をユーザの視野内にレンダリングしてもよい。前述のように、ARシステムは、例えば、直接、ユーザの網膜に投影され、実深度にあるように見えるものを伴う仮想マウスの視覚的知覚を提供する、4D明視野をレンダリングしてもよい。
ARシステムはまた、ユーザによるトーテムの移動ならびにトーテムの表面とのユーザ相互作用を検出または捕捉してもよい。例えば、ARシステムは、1つ以上の正面に面したカメラを採用して、マウスの位置および/または移動および/またはユーザの指と仮想入力構造(例えば、キー)の相互作用を検出してもよい。ARシステムは、マウスの位置および/または移動をマップする。ARシステムは、仮想入力構造(例えば、キー)の位置、故に、種々の入力(例えば、制御、機能)とのユーザ相互作用をマップする。位置、移動、および/または仮想入力構造アクティブ化に応答して、ARシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、ARシステムは、選択ユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ARシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ARシステムは、前述のように、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングしてもよい。
図105Bは、仮想トラックパッド実装の一部として使用され得る、例証される実施形態の1つによる、図105Aのトーテムの底側表面10504を示す。トーテムの底側表面は、略卵形または円形プロファイルを伴う平坦であってもよい。底側表面は、硬質表面であってもよい。トーテムは、物理入力構造(例えば、キー、ボタン、スクロールホイール)、物理スイッチ、および物理電子機器を有していなくてもよい。
ARシステムは、随意に、仮想分界がトーテムの底側表面上に常駐して見えるように、仮想トラックパッド画像をユーザの視野内にレンダリングしてもよい。ARシステムは、トーテムの底側表面とのユーザの相互作用を検出または捕捉する。例えば、ARシステムは、1つ以上の正面に面したカメラを採用して、トーテムの底側表面上のユーザの指の位置および/または移動を検出してもよい。例えば、ARシステムは、1つ以上の指の1つ以上の静的位置、もしくは1つ以上の指の位置の変化(例えば、1つ以上の指を用いたスワイプジェスチャ、2つまたはそれを上回る指を使用した挟むジェスチャ)を検出してもよい。
ARシステムはまた、正面に面したカメラを採用して、ユーザの指とトーテムの底側表面の相互作用(例えば、タップ、ダブルタップ、短タップ、長タップ)を検出してもよい。ARシステムは、トーテムの底側表面に沿ってユーザの指の位置および/または移動(例えば、距離、方向、スピード、加速)をマップする。ARシステムは、トーテムの底側表面、故に、種々の入力(例えば、制御、機能)とのユーザ相互作用(例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間)をマップする。位置、移動、および/または相互作用に応答して、ARシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
図105Cは、仮想マウス実装の一部として使用され得る、別の例証される実施形態による、トーテム10506の上側表面を示す。図105Cのトーテムは、図105Aのトーテムのものと多くの点において類似する。故に、類似またはさらに同じ構造は、同一参照番号で識別される。
図105Cのトーテムの上側表面は、ARシステムがキーをレンダリングする、または他の構造(例えば、スクロールホイール)を現させるであろう、上側表面上の1つ以上のそれぞれの場所に1つ以上のくぼみまたはへこみを含む。
図106Aは、別の例証される実施形態による、花弁形状の(例えば、蓮の花)仮想ユーザインターフェース10604を伴う球体トーテム10602を示す。
トーテム10602は、硬質外側表面または軟質外側表面のいずれかを伴う、球状形状を有してもよい。トーテムの外側表面10602は、ユーザによる確実な把持を促進するようなテクスチャを有してもよい。トーテム10602は、物理キー、物理スイッチ、または物理電子機器を有していなくてもよい。
ARシステムは、トーテム10602から発出するように見えるように、花弁形状の仮想ユーザインターフェース画像10604をユーザの視野内にレンダリングしてもよい。仮想ユーザインターフェース10604の花弁のそれぞれは、機能、機能のカテゴリ、ならびに/もしくはコンテンツまたはメディアタイプ、ツール、および/またはアプリケーションのカテゴリに対応してもよい。
ARシステムは、随意に、1つ以上の分界をトーテムの外側表面上にレンダリングしてもよい。代替として、または加えて、トーテム10602は、随意に、1つ以上の物理分界(例えば、印刷、刻設される)を外側表面上に担持してもよい。分界は、ユーザがトーテム10602を花弁形状の仮想ユーザインターフェース10604と視覚的に配向するのを補助してもよい。
1つ以上の実施形態では、ARシステムは、トーテム10602とのユーザの相互作用を検出または捕捉する。例えば、ARシステムは、1つ以上の正面に面したカメラを採用し、ある基準フレーム(例えば、花弁形状の仮想ユーザインターフェースの基準フレーム、実世界、物理部屋、ユーザの身体、ユーザの頭部)に対するトーテムの位置、配向、および/または移動(例えば、回転方向、回転の大きさ、角度スピード、角度加速)を検出してもよい。例えば、ARシステムは、トーテム10602またはトーテム10602上の分界の1つ以上の静的配向または配向変化を検出してもよい。
ARシステムはまた、正面に面したカメラを採用して、ユーザの指とトーテムの外側表面の相互作用(例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持等)を検出してもよい。ARシステムは、トーテムの配向および/または配向変化(例えば、距離、方向、スピード、加速)をユーザ選択または入力にマップする。ARシステムは、随意に、トーテムの外側表面10602、故に、種々の入力(例えば、制御、機能)とのユーザ相互作用(例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間)をマップする。配向、位置変化(例えば、移動)、および/または相互作用に応答して、ARシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、および前述のように、ARシステムは、種々のユーザ相互作用に応答して、仮想ユーザインターフェース10604を異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ARシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ARシステムは、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングしてもよい。
ここで図106Bを参照すると、トーテム10606は、円盤形状である。図106Aのユーザインターフェース10604と同様に、花弁形状の仮想ユーザインターフェース10604が、いくつかの実施形態では、トーテム10606が選択されると、レンダリングされる。
図106Bのトーテムは、図106Bに図示されるように、平坦またはドーム状であり得る上側表面および底側表面を有する、円盤形状である。すなわち、曲率半径は、無限またはトーテムの周辺縁の曲率半径よりはるかに大きくあり得る。
ARシステムは、トーテム10606から発出するように見えるように、花弁形状の仮想ユーザインターフェース10604画像をユーザの視野内にレンダリングする。前述のように、花弁の各々は、機能、機能のカテゴリ、ならびに/もしくはコンテンツまたはメディアタイプ、ツール、および/またはアプリケーションのカテゴリに対応してもよい。図106Bは、検索機能、設定機能、お気に入りのコレクション、プロファイル、ゲームのコレクション、ツールおよび/またはアプリケーションのコレクション、ソーシャルメディアまたはアプリケーションカテゴリ、メディアまたはコンテンツカテゴリもしくはコレクション(例えば、エンターテインメント、電子雑誌、電子書籍、他の刊行物、映画、テレビ番組等)を含む、いくつかの実施例を表す。
図106Cは、別の例証される実施形態による、第1の構成10610および第2の構成10612内の球体トーテム10608を示す。特に、トーテム10608は、相互に対して選択的に移動可能または位置付け可能である、いくつかのアームまたは要素を有する。例えば、第1のアームまたは対のアームは、第2のアームまたは対のアームに対して回転されてもよい。第1のアームまたは対のアームは、第1の構成10610から第2の構成10612に回転されてもよい。アームは、第1の構成10610では、図示されるように、略弧状である場合、アームは、球体または略球状構造を形成する。第2の構成10612では、第2のアームまたは対のアームは、例証される実施形態に示されるように、第1のアームまたは対のアームと整合し、C形状のプロファイルを伴う、部分的管を形成する。
アームは、1つ以上の実施形態では、ユーザの手首または他の四肢を受容するために十分に大きい内径サイズを有してもよい。内径は、使用の間、トーテム10608が四肢から摺動して外れないように防止するために十分に小さく定寸されてもよい。例えば、内径は、ユーザの手首を快適に受容する一方、ユーザの手を越えて摺動しないように定寸されてもよい。これは、トーテム10608が、例えば、便宜的携行のために使用しないとき、ブレスレット型の形態をとることを可能にする。ユーザは、次いで、前述の球体トーテムに類似する様式で使用するために、球体形状にしてもよい。トーテムは、物理キー、物理スイッチ、または物理電子機器を有していなくてもよい。
とりわけ、仮想ユーザインターフェース(図106Aおよび106Bに示される仮想ユーザインターフェース10604等)は、図106Cから省略される。ARシステムは、多種多様な形態のいずれか、例えば、前述で図示および論じられる花弁形状の仮想ユーザインターフェース10604において、仮想ユーザインターフェースをレンダリングしてもよい。
図107Aは、別の例証される実施形態による、ハンドヘルドコントローラ形状のトーテム10702を示す。トーテム10702は、定寸された把持区分を有し、ユーザの手内に快適に嵌合し得る。トーテム10702は、いくつかのユーザ入力要素、例えば、キーまたはボタンおよびスクロールホイールを含んでもよい。ユーザ入力要素は、物理要素であってもよいが、トーテム10702内の任意のセンサまたはスイッチに接続されず、それ自体は、物理スイッチまたは物理電子機器を有していなくてもよい。代替として、ユーザ入力要素は、ARシステムによってレンダリングされた仮想要素であってもよい。トーテム10702は、くぼみ、空洞、突出部、テクスチャまたは他の構造を有し、ユーザ入力要素の感触を触覚的に複製してもよいことを理解されたい。
ARシステムは、トーテム10702のユーザ入力要素とのユーザの相互作用を検出または捕捉する。例えば、ARシステムは、1つ以上の正面に面したカメラを採用して、トーテム10702のユーザ入力要素に対するユーザの指の位置および/または移動を検出してもよい。例えば、ARシステムは、1つ以上の指の1つ以上の静的位置、または1つ以上の指の位置の変化(例えば、1つ以上の指を用いたスワイプまたは揺動ジェスチャ、回転またはスクロールジェスチャ、または両方)を検出してもよい。
ARシステムはまた、正面に面したカメラを採用して、ユーザの指とトーテム10702のユーザ入力要素の相互作用(例えば、タップ、ダブルタップ、短タップ、長タップ)を検出してもよい。ARシステムは、トーテム10702のユーザ入力要素とのユーザの指の位置および/または移動(例えば、距離、方向、スピード、加速)をマップする。ARシステムは、ユーザの指とトーテム10702のユーザ入力要素、故に、種々の入力(例えば、制御、機能)とのユーザ相互作用(例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間)をマップする。位置、移動、および/または相互作用に応答して、ARシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
図107Bは、別の例証される実施形態による、ブロック形状のトーテム10704を示す。トーテム10704は、6つの面を伴う立方体の形状またはある他の3次元幾何学的構造を有してもよい。トーテム10704は、硬質外側表面または軟質外側表面を有してもよい。トーテムの外側表面10704は、ユーザによる確実な把持を促進するようなテクスチャを有してもよい。トーテム10704は、物理キー、物理スイッチ、または物理電子機器を有していなくてもよい。
ARシステムは、1つ以上の実施形態では、トーテム10704の外側表面の面上に現れるように、仮想ユーザインターフェース画像をユーザの視野内にレンダリングしてもよい。面のそれぞれおよび対応するユーザ入力は、機能、機能のカテゴリ、ならびに/もしくはコンテンツまたはメディアタイプ、ツール、および/またはアプリケーションのカテゴリに対応してもよい。
ARシステムは、トーテム10704とのユーザの相互作用を検出または捕捉する。例えば、ARシステムは、1つ以上の正面に面したカメラを採用して、ある基準フレーム(例えば、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム等の)に対するトーテム10704の位置、配向、および/または移動(例えば、回転方向、回転の大きさ、角度スピード、角度加速)を検出してもよい。例えば、ARシステムは、トーテム10704の1つ以上の静的配向または配向変化を検出してもよい。
ARシステムはまた、正面に面したカメラを採用して、ユーザの指とトーテム10704の外側表面の相互作用(例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持等)を検出してもよい。ARシステムは、トーテム10704の配向および/または配向変化(例えば、距離、方向、スピード、加速)をユーザ選択または入力にマップする。ARシステムは、随意に、トーテム10704の外側表面、故に、種々の入力(例えば、制御、機能)とのユーザ相互作用(例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間)をマップする。配向、位置変化(例えば、移動)、および/または相互作用に応答して、ARシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
配向、位置変化(例えば、移動)、および/または相互作用に応答して、ARシステムは、仮想ユーザインターフェースをレンダリングする1つ以上の側面を変更し、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。例えば、ユーザがトーテム10704を回転させるにつれて、異なる面が、ユーザの視野の中に入ってくる一方、他の面は、ユーザの視野から外れるように回転してもよい。ARシステムは、前はユーザのビューから隠れていた仮想インターフェース要素を現時点で可視面上に見えるようにレンダリングすることによって応答してもよい。同様に、ARシステムは、そうでなければ現時点でユーザのビューから隠れている面上に見えるであろう仮想インターフェース要素のレンダリングを停止することによって応答してもよい。
加えて、または代替として、ARシステムは、選択ユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ARシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ARシステムは、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングする。
図107Cは、別の例証される実施形態による、ハンドヘルドコントローラ形状のトーテム10706を示す。トーテム10706は、例えば、円筒形管状部分等の定寸された把持区分を有し、ユーザの手内に快適に嵌合し得る。トーテム10706は、いくつかのユーザ入力要素、例えば、いくつかの感圧式スイッチおよびジョイスティックまたはサムスティックを含んでもよい。
ユーザ入力要素は、物理要素であってもよいが、トーテム10706内の任意のセンサまたはスイッチに接続されず、それ自体は、物理スイッチまたは物理電子機器を有していなくてもよい。代替として、ユーザ入力要素は、ARシステムによってレンダリングされた仮想要素であってもよい。ユーザ入力要素が、仮想要素である場合、トーテム10706は、くぼみ、空洞、突出部、テクスチャまたは他の構造を有し、ユーザ入力要素の感触を触覚的に複製してもよい。
ARシステムは、トーテム10706のユーザ入力要素とのユーザの相互作用を検出または捕捉する。例えば、ARシステムは、1つ以上の正面に面したカメラを採用し、トーテム10706のユーザ入力要素に対するユーザの指の位置および/または移動を検出してもよい。例えば、ARシステムは、1つ以上の指の1つ以上の静的位置、または1つ以上の指の位置の変化(例えば、1つ以上の指を用いたスワイプまたは揺動ジェスチャ、回転またはスクロールジェスチャ、または両方)を検出してもよい。ARシステムはまた、正面に面したカメラを採用して、ユーザの指とトーテム10706のユーザ入力要素の相互作用(例えば、タップ、ダブルタップ、短タップ、長タップ)を検出してもよい。
前述のように、ARシステムは、トーテムのユーザ入力要素10706とのユーザの指の位置および/または移動(例えば、距離、方向、スピード、加速)をマップする。ARシステムは、ユーザの指とトーテム10706のユーザ入力要素、故に、種々の入力(例えば、制御、機能)とのユーザ相互作用(例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間)をマップする。位置、移動、および/または相互作用に応答して、ARシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
図107Dは、別の例証される実施形態による、別のハンドヘルドコントローラ形状のトーテム10708を示す。トーテム10708は、定寸された把持区分を有し、ユーザの手内に快適に嵌合し得る。トーテム10708は、いくつかのユーザ入力要素、例えば、キーまたはボタンおよびジョイスティックまたはサムスティックを含んでもよい。ユーザ入力要素は、物理要素であってもよいが、トーテム10708内の任意のセンサまたはスイッチに接続されず、それ自体は、物理スイッチまたは物理電子機器を有していなくてもよい。代替として、ユーザ入力要素は、ARシステムによってレンダリングされた仮想要素であってもよい。1つ以上の実施形態では、トーテム10708は、くぼみ、空洞、突出部、テクスチャまたは他の構造を有し、ユーザ入力要素の感触を触覚的に複製してもよい。
ARシステムは、トーテム10708のユーザ入力要素とのユーザの相互作用を検出または捕捉する。例えば、ARシステムは、1つ以上の正面に面したカメラを採用して、トーテム10708のユーザ入力要素に対するユーザの指の位置および/または移動を検出してもよい。例えば、ARシステムは、1つ以上の指の1つ以上の静的位置、または1つ以上の指の位置の変化(例えば、1つ以上の指を用いたスワイプまたは揺動ジェスチャ、回転またはスクロールジェスチャ、または両方)を検出してもよい。
前述と同様に、ARシステムはまた、正面に面したカメラを採用してユーザの指とトーテムのユーザ入力要素の相互作用(例えば、タップ、ダブルタップ、短タップ、長タップ)、を検出してもよい。ARシステムは、トーテムのユーザ入力要素10708とのユーザの指の位置および/または移動(例えば、距離、方向、スピード、加速)をマップする。ARシステムは、ユーザの指とトーテムのユーザ入力要素10708、故に、種々の入力(例えば、制御、機能)とのユーザ相互作用(例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間)をマップする。位置、移動、および/または相互作用に応答して、ARシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
図108Aは、例証される実施形態の1つによる、リング型トーテム10802を示す。特に、リング型トーテム10802は、管状部分および管状部分に物理的に結合される相互作用部分を有する。管状および相互作用部分は、一体型であってもよく、単一一体型構造として、またはそこから形成されてもよい。管状部分は、ユーザの指を受容するために十分に大きく定寸される内径を有する。内径は、トーテム10802を通常使用の間、指から摺動して外れないように防止するために十分に小さく定寸されてもよい。これは、リング型トーテム10802が、能動的に使用されていないときでも、快適に装着されることを可能にし、必要に応じて、可用性を確実にする。リング型トーテム10802は、物理キー、物理スイッチ、または物理電子機器を有していなくてもよい。
とりわけ、仮想ユーザインターフェース(例えば、図106Aおよび106Bに示される10604)は、省略される。ARシステムは、多種多様な形態のいずれかにおいて、仮想ユーザインターフェースをレンダリングしてもよい。例えば、ARシステムは、仮想ユーザインターフェース要素が相互作用表面上に常駐するかのように見えるように、仮想ユーザインターフェースをユーザの視野内にレンダリングしてもよい。代替として、ARシステムは、相互作用表面から発出する、前述で図示および論じられる花弁形状の仮想ユーザインターフェース10604として仮想ユーザインターフェースをレンダリングしてもよい。
前述と同様に、ARシステムは、トーテム10802とのユーザの相互作用を検出または捕捉する。例えば、ARシステムは、1つ以上の正面に面したカメラを採用し、ある基準フレーム(例えば、相互作用表面、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム)内の相互作用表面に対するユーザの指の位置、配向、および/または移動(例えば、位置、方向、距離、スピード、加速)を検出してもよい。例えば、ARシステムは、タッチの1つ以上の場所または相互作用表面上の指の位置の変化を検出してもよい。
再び、前述のように、ARシステムはまた、正面に面したカメラを採用して、相互作用表面に対するユーザの指とトーテムの相互作用表面10802の相互作用(例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持)を検出してもよい。ARシステムは、相互作用表面に対する指の位置、配向、および/または移動をユーザ選択または入力の集合にマップする。ARシステムは、随意に、トーテム10802の相互作用表面、故に、種々の入力(例えば、制御、機能)との他のユーザ相互作用(例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間)をマップする。位置、配向、移動、および/または他の相互作用に応答して、ARシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、前述のように、ARシステムは、選択ユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ARシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ARシステムは、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングする。
図108Bは、例証される実施形態の1つによる、ブレスレット型トーテム10804を示す。特に、ブレスレット型トーテム10804は、管状部分および管状部分に物理的に結合されるタッチ表面を有する。管状部分およびタッチ表面は、一体型であってもよく、単一一体型構造として、またはそこから形成されてもよい。管状部分は、ユーザの手首または他の四肢を受容するために十分に大きく定寸される内径を有する。内径は、トーテム10804が、使用の間、四肢から摺動して外れないように防止するために十分に小さく定寸されてもよい。例えば、内径は、ユーザの手首を快適に受容する一方、ユーザの手を越えて摺動しないように定寸されてもよい。これは、ブレスレット型トーテム10804が、能動的に使用されているかどうかにかかわらず、装着されることを可能にし、所望されるとき、可用性を確実にする。ブレスレット型トーテム10804は、物理キー、物理スイッチ、または物理電子機器を有していなくてもよい。
ARシステムは、多種多様な形態のいずれかにおいて、仮想ユーザインターフェースをレンダリングしてもよい。例えば、ARシステムは、仮想ユーザインターフェース要素がタッチ表面上に常駐するかのように見えるように、仮想ユーザインターフェースをユーザの視野内にレンダリングしてもよい。代替として、ARシステムは、タッチ表面から発出する、前述で図示および論じられる花弁形状の仮想ユーザインターフェース10604と同様に、仮想ユーザインターフェースをレンダリングしてもよい。
ARシステムは、トーテム10804とのユーザの相互作用を検出または捕捉する。例えば、ARシステムは、1つ以上の正面に面したカメラを採用して、ある基準フレーム(例えば、タッチ表面、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム)内のトーテムのタッチ表面に対するユーザの指の位置、配向、および/または移動(例えば、位置、方向、距離、スピード、加速)を検出してもよい。例えば、ARシステムは、タッチの1つ以上の場所またはタッチ表面上の指の位置の変化を検出してもよい。
前述のように、ARシステムはまた、正面に面したカメラを採用して、ユーザの指とトーテム10804のタッチ表面の相互作用(例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持)を検出してもよい。ARシステムは、タッチ表面に対する指の位置、配向、および/または移動をユーザ選択または入力の集合にマップする。ARシステムは、随意に、トーテム10804のタッチ表面、故に、種々の入力(例えば、制御、機能)との他のユーザ相互作用(例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間)をマップする。位置、配向、移動、および/または他の相互作用に応答して、ARシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、前述のように、ARシステムは、選択ユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ARシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ARシステムは、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングしてもよい。
図108Cは、別の例証される実施形態による、リング型トーテム10806を示す。特に、リング型トーテム10806は、管状部分と、管状部分に物理的に回転可能に結合され、それに対して回転する相互作用部分とを有する。管状部分は、それを通してユーザの指を受容するために十分に大きく定寸される内径を有する。内径は、トーテムが、通常使用の間、指から摺動して外れないように防止するために十分に小さく定寸されてもよい。これは、リング型トーテムが、能動的に使用されていないときでも、快適に装着されることを可能にし、必要に応じて、可用性を確実にする。
相互作用部分自体は、閉鎖された管状部材であって、管状部分の外径を中心として受容されるそれぞれの内径を有してもよい。例えば、相互作用部分は、管状部分に軸支される、または摺動可能に搭載されてもよい。相互作用部分は、リング型トーテムの外部表面からアクセス可能である。相互作用部分は、例えば、管状部分の縦軸を中心として第1の回転方向に回転可能であってもよい。相互作用部分は、加えて、管状部分の縦軸を中心として第1の回転方向と反対の第2の回転に回転可能であってもよい。リング型トーテム10806は、物理スイッチまたは物理電子機器を有していなくてもよい。
ARシステムは、多種多様な形態のいずれかにおいて、仮想ユーザインターフェースをレンダリングしてもよい。例えば、ARシステムは、仮想ユーザインターフェース要素が相互作用部分上に常駐するかのように見えるように、仮想ユーザインターフェースをユーザの視野内にレンダリングしてもよい。代替として、ARシステムは、相互作用部分から発出する、前述で図示および論じられる花弁形状の仮想ユーザインターフェースと同様に、仮想ユーザインターフェースをレンダリングしてもよい。
前述と同様に、ARシステムは、トーテムとのユーザの相互作用を検出または捕捉する。例えば、ARシステムは、1つ以上の正面に面したカメラを採用して、ある基準フレーム(例えば、管状部分、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム)内の管状部分(例えば、指受容部分)に対する相互作用部分の位置、配向、および/または移動(例えば、位置、方向、距離、スピード、加速)を検出してもよい。
例えば、ARシステムは、管状部分に対する相互作用部分の1つ以上の場所もしくは配向または位置もしくは配向変化を検出してもよい。ARシステムはまた、正面に面したカメラを採用して、ユーザの指とトーテムの相互作用部分の相互作用(例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持)を検出してもよい。ARシステムは、管状部分に対する相互作用部分の位置、配向、および/または移動をユーザ選択または入力の集合にマップする。ARシステムは、随意に、トーテムの相互作用部分、故に、種々の入力(例えば、制御、機能)との他のユーザ相互作用(例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間)をマップする。位置、配向、移動、および/または他の相互作用に応答して、ARシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、前述のように、ARシステムは、選択ユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ARシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。
図109Aは、例証される実施形態の1つによる、手袋形状の触知トーテム10902を示す。特に、手袋形状の触知トーテム10902は、手袋または部分的手袋のように成形され、手首を受容するための開口部およびユーザの指を受容するように定寸された1つ以上の管状手袋指(3つが示される)を有する。手袋形状の触知トーテム10902は、種々の材料のうちの1つ以上のものから作製されてもよい。材料は、エラストマーであってもよく、またはユーザの手の形状もしくは輪郭に別様に共形化し、しっかりとしているが、快適な嵌合を提供してもよい。
ARシステムは、多種多様な形態のいずれかにおいて、仮想ユーザインターフェースをレンダリングしてもよい。例えば、ARシステムは、仮想ユーザインターフェース要素が手袋形状の触知トーテム10902を介して相互作用可能であるかのように見えるように、仮想ユーザインターフェースをユーザの視野内にレンダリングしてもよい。例えば、ARシステムは、前述で図示および/または説明されたトーテムまたは仮想ユーザインターフェースのうちの1つとして仮想ユーザインターフェースをレンダリングしてもよい。
前述と同様に、ARシステムは、手袋形状の触知トーテム10902が装着されるユーザの手および指の視覚的追跡を介して、ユーザの相互作用を検出または捕捉する。例えば、ARシステムは、1つ以上の正面に面したカメラを採用して、ある基準フレーム(例えば、タッチ表面、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム)に対するユーザの手および/または指の位置、配向、および/または移動(例えば、位置、方向、距離、スピード、加速)を検出してもよい。
前述の実施形態と同様に、例えば、ARシステムは、タッチの1つ以上の場所または手および/または指の位置の変化を検出してもよい。ARシステムはまた、正面に面したカメラを採用して、ユーザの手および/または指の相互作用(例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持)を検出してもよい。とりわけ、ARシステムは、ユーザの手および指の代わりに、手袋形状の触知トーテム10902を追跡してもよい。ARシステムは、手および/または指の位置、配向、および/または移動をユーザ選択または入力の集合にマップする。
ARシステムは、随意に、種々の入力(例えば、制御、機能)との他のユーザ相互作用(例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間)をマップする。位置、配向、移動、および/または他の相互作用に応答して、ARシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、前述のように、ARシステムは、選択ユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ARシステムは、少なくとも部分的に選択に基づいて、新しい仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ARシステムは、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングする。
手袋形状の触知トーテム10902は、信号に応答して、圧力およびテクスチャ等の触知間隔を提供する、複数のアクチュエータを含む。アクチュエータは、多種多様な形態、例えば、圧電要素および/またはマイクロ電気機械的構造(MEMS)のいずれかをとってもよい。
ARシステムは、手袋形状の触知トーテム10902を介して、触知フィードバックをユーザに提供する。特に、ARシステムは、信号を手袋形状の触知トーテム10902に提供し、仮想オブジェクトが表し得る、物理オブジェクトとの相互作用の知覚感覚を複製する。そのようなものは、物理オブジェクトに関連付けられた圧力および/またはテクスチャの感知の提供を含んでもよい。したがって、ARシステムは、例えば、縁、角、真円度等の物理オブジェクトの種々の構造特徴を含む、ユーザに仮想オブジェクトの存在を感じさせ得る。ARシステムはまた、ユーザに、平滑、粗度、くぼみ等の感触テクスチャを生じさせてもよい。
図109Bは、例証される実施形態の1つによる、スタイラスまたはブラシ形状のトーテム10904を示す。スタイラスまたはブラシ形状のトーテム10904は、任意のいくつかの従来のスタイラスまたはブラシ10904のものに類似する、伸長ハンドルを含む。従来のスタイラスまたはブラシとは対照的に、スタイラスまたはブラシは、仮想先端または剛毛を有する。特に、ARシステムは、物理スタイラスまたはブラシ10904の端部に現れるように、所望のスタイルの仮想先端または仮想剛毛をレンダリングしてもよい。先端または剛毛は、狭または広点、平坦剛毛ブラシ、テーパ状、傾斜または切断剛毛ブラシ、自然ファイバ剛毛ブラシ(例えば、馬毛)、人工ファイバ剛毛ブラシ等を含む、任意の従来のスタイルをとってもよい。これは、有利には、仮想先端または剛毛が交換可能となることを可能にする。
前述と同様に、ARシステムは、スタイラスまたはブラシ10904上のユーザの手および/または指の視覚的追跡を介して、および/またはスタイラスまたはブラシ10904の端部の視覚的追跡を介して、ユーザの相互作用を検出または捕捉する。例えば、ARシステムは、1つ以上の正面に面したカメラを採用し、ある基準フレーム(例えば、メディアの断片、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム)に対するユーザの手および/または指および/またはスタイラスまたはブラシの端部の位置、配向、および/または移動(例えば、位置、方向、距離、スピード、加速)を検出してもよい。例えば、ARシステムは、タッチの1つ以上の場所または手および/または指の位置の変化を検出してもよい。また、例えば、ARシステムは、スタイラスまたはブラシ10904の端部の1つ以上の場所および/または、例えば、メディアの断片またはメディアの断片を表すトーテムに対するスタイラスまたはブラシの端部の配向を検出してもよい。ARシステムは、加えて、または代替として、スタイラスまたはブラシ10904の端部の場所の1つ以上の変更、および/または、例えば、メディアの断片またはメディアの断片を表すトーテムに対するスタイラスまたはブラシ10904の端部の配向変化を検出してもよい。
前述のように、ARシステムはまた、正面に面したカメラを採用して、ユーザの手および/または指もしくはスタイラスまたはブラシ10904の相互作用(例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持)を検出してもよい。ARシステムは、手および/または指および/またはスタイラスまたはブラシ10904の端部の位置、配向、および/または移動をユーザ選択または入力の集合にマップする。ARシステムは、随意に、種々の入力(例えば、制御、機能)との他のユーザ相互作用(例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間)をマップする。位置、配向、移動、および/または他の相互作用に応答して、ARシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、ARシステムは、スタイラスまたはブラシ10904を使用してユーザによって行われたマーキングの仮想画像をレンダリングし、選択された先端または剛毛によって達成されるであろう視覚的効果を考慮してもよい。
スタイラスまたはブラシ10904は、1つ以上の触知要素(例えば、圧電要素、MEMS要素)を有してもよく、ARシステムは、選択された点または剛毛がメディアにわたって通過するにつれて、選択された点または剛毛の感触を複製する、感覚(例えば、平滑、粗度、低摩擦、高摩擦)を提供するように制御する。感覚はまた、端部または剛毛がユーザによって選択され得るメディアの異なるタイプの物理側面と相互作用するであろう方法を反映または複製してもよい。したがって、紙およびカンバスは、2つの異なるタイプの触知応答を生成し得る。
図109Cは、例証される実施形態の1つによる、ペン形状のトーテム10906を示す。ペン形状のトーテム10906は、任意のいくつかの従来のペン、鉛筆、スタイラス、またはブラシのものに類似する、伸長シャフトを含む。ペン形状のトーテム10906は、シャフトの一端に位置するユーザ作動可能ジョイスティックまたはサムスティックを有する。ジョイスティックまたはサムスティックは、ユーザ作動に応答して、伸長シャフトに対して移動可能である。ジョイスティックまたはサムスティックは、例えば、4つの方向(例えば、前方、後方、左、右)にピボット可能に移動可能であってもよい。代替として、ジョイスティックまたはサムスティックは、例えば、ナビゲートするために、例えば、全方向に、すなわち、4つの方向に移動可能であってもよく、または、円形において任意の角度方向にピボット可能に移動可能であってもよい。とりわけ、ジョイスティックまたはサムスティックは、任意のスイッチまたは電子機器に結合されない。
ジョイスティックまたはサムスティックをスイッチまたは電子機器に結合する代わりに、ARシステムは、ジョイスティックまたはサムスティックの位置、配向、または移動を検出または捕捉する。例えば、ARシステムは、1つ以上の正面に面したカメラを採用して、所与の基準フレーム(例えば、伸長シャフトの基準フレーム等)に対してジョイスティックまたはサムスティックの位置、配向、および/または移動(例えば、位置、方向、距離、スピード、加速)を検出してもよい。
加えて、前述のように、ARシステムは、1つ以上の正面に面したカメラを採用して、ある基準フレーム(例えば、伸長シャフト、メディアの断片、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム)に対するユーザの手および/または指および/またはペン形状のトーテム10906の端部の位置、配向、および/または移動(例えば、位置、方向、距離、スピード、加速)を検出してもよい。
例えば、ARシステムは、タッチの1つ以上の場所または手および/または指の位置の変化を検出してもよい。また、例えば、ARシステムは、ペン形状のトーテム10906の端部の1つ以上の場所、および/または、例えば、メディアの断片またはメディアの断片を表すトーテムに対するペン形状のトーテム10906の端部の配向を検出してもよい。ARシステムは、加えて、または代替として、ペン形状のトーテム10906の端部の場所の1つ以上の変更、および/または、例えば、メディアの断片またはメディアの断片を表すトーテムに対するペン形状のトーテム10906の端部の配向変化を検出してもよい。
前述と同様に、ARシステムはまた、正面に面したカメラを採用して、ユーザの手および/または指とジョイスティックまたはサムスティックまたはペン形状のトーテム10906の伸長シャフトの相互作用(例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持等)を検出してもよい。ARシステムは、手および/または指ならびに/もしくはジョイスティックまたはサムスティックの端部の位置、配向、および/または移動をユーザ選択または入力の集合にマップする。ARシステムは、随意に、種々の入力(例えば、制御、機能)との他のユーザ相互作用(例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間)をマップする。位置、配向、移動、および/または他の相互作用に応答して、ARシステムは、対応する入力をコンピュータまたはある他のデバイスに提供させてもよい。
加えて、または代替として、前述のように、ARシステムは、ペン形状のトーテム10906を使用してユーザによって行われるマーキングの仮想画像をレンダリングし、選択された先端または剛毛によって達成されるであろう視覚的効果を考慮してもよい。
ペン形状のトーテム10906は、1つ以上の触知要素(例えば、圧電要素、MEMS要素)を有してもよく、ARシステムは、メディアにわたって通過する感触を複製する、感覚(例えば、平滑、粗度、低摩擦、高摩擦)を提供するように制御する。
図110Aは、例証される実施形態の1つによる、チャームチェーントーテム11002を示す。チャームチェーントーテム11002は、チェーンおよびいくつかのチャームを含む。チェーンは、可撓性をチェーンに提供する、複数の相互接続されるリンクを含んでもよい。チェーンはまた、チェーンの対向端がともにしっかり結合されることを可能にする、閉鎖部または留め金を含んでもよい。チェーンおよび/または留め金は、多種多様な形態、例えば、単鎖、多鎖、リンク、または編組をとってもよい。
チェーンおよび/または留め金は、任意の種々の金属または他の非金属材料から形成されてもよい。チェーンの長さは、2つの端部がともに留め金で留められると、ユーザの四肢の一部を収容すべきである。チェーンの長さはまた、チェーンが、2つの端部がともに留め金で留められると、四肢の一部上に緩くであっても保定されることを確実にするように定寸されるべきである。チェーンは、腕の手首または脚の足首上にブレスレットとして装着されてもよい。
チェーンは、首を中心とするネックレスとして装着されてもよい。チャーム型は、多種多様な形態のいずれかをとってもよい。チャームは、種々の形状を有してもよいが、典型的には、プレートまたはディスクの形態をとってもよい。概して、長方形プロファイルとともに図示されるが、チャームは、任意の種々のプロファイルを有してもよく、単一チェーン上の異なるチャームは、相互に異なるそれぞれのプロファイルを有してもよい。チャームは、多種多様な金属または非金属材料のいずれかから形成されてもよい。
各チャームは、少なくとも1つのコンピュータまたはプロセッサ可読非一過性記憶媒体内において、ARシステムを介してアクセス可能な機能、機能のカテゴリ、コンテンツもしくはメディアタイプのカテゴリ、および/またはツールもしくはアプリケーションと論理的に関連付け可能な印を担持してもよい。
図110Bは、例証される実施形態の1つによる、キーチェーン型トーテム11004を示す。キーチェーン型トーテム11004は、チェーンおよびいくつかのキーを含む。チェーンは、可撓性をチェーンに提供する、複数の相互接続されるリンクを含んでもよい。チェーンはまた、チェーンの対向端がともにしっかりと結合されることを可能にする、閉鎖部または留め金を含んでもよい。チェーンおよび/または留め金は、多種多様な形態、例えば、単鎖、多鎖、リンク、または編組をとってもよい。チェーンおよび/または留め金は、任意の種々の金属または他の非金属材料から形成されてもよい。
キーは、多種多様な形態のいずれかをとってもよい。キーは、種々の形状を有してもよいが、典型的には、山および谷(例えば、歯)の有無にかかわらず、従来のキーの形態をとってもよい。いくつかの実装では、キーは、対応する機械的ロックを開放してもよい一方、他の実装では、キーは、トーテムとしてのみ機能し、機械的ロックを開放しない。キーは、任意の種々のプロファイルを有してもよく、単一チェーン上の異なるキーは、相互に異なるそれぞれのプロファイルを有してもよい。キーは、多種多様な金属または非金属材料のいずれかから形成されてもよい。種々のキーは、相互と異なる色であってもよい。
各キーは、少なくとも1つのコンピュータまたはプロセッサ可読非一過性記憶媒体内において、ARシステムを介してアクセス可能な機能、機能のカテゴリ、コンテンツまたはメディアタイプのカテゴリ、および/またはツールまたはアプリケーションと論理的に関連付け可能な印を担持してもよい。
前述のように、ARシステムは、キーとのユーザの相互作用を検出または捕捉する。例えば、ARシステムは、1つ以上の正面に面したカメラを採用して、ユーザの指または手によるキーのタッチまたは操作を検出してもよい。例えば、ARシステムは、ユーザが、指を用いてそれぞれのキーをタッチする、または2つまたはそれを上回る指を用いてそれぞれのキーを把持することによって、特定のキーの選択を検出してもよい。
さらに、ARは、ある基準フレーム(例えば、身体の一部、実世界、物理部屋、ユーザの身体、ユーザの頭部の基準フレーム)に対するキーの位置、配向、および/または移動(例えば、回転方向、回転の大きさ、角度スピード、角度加速)を検出してもよい。ARシステムはまた、正面に面したカメラを採用して、ユーザの指とキーの他の相互作用(例えば、タップ、ダブルタップ、短タップ、長タップ、指先端把持、包み込み把持等)を検出してもよい。
前述のように、ARシステムは、キーの選択をユーザ選択または入力、例えば、ソーシャルメディアアプリケーションの選択にマップする。ARシステムは、随意に、キー、故に、対応するアプリケーションを用いた種々の入力(例えば、制御、機能)との他のユーザ相互作用(例えば、相互作用の回数、相互作用のタイプ、相互作用の持続時間)をマップする。タッチする、操作、またはキーとの他の相互作用に応答して、ARシステムは、対応するアプリケーションをアクティブ化させる、および/または対応する入力をアプリケーションに提供してもよい。
加えて、または代替として、前述の実施形態と同様に、ARシステムは、選択ユーザ相互作用に応答して、仮想ユーザインターフェースを異なるようにレンダリングしてもよい。例えば、いくつかのユーザ相互作用は、特定のサブメニュー、アプリケーション、または機能の選択に対応してもよい。ARシステムは、少なくとも部分的に選択に基づいて、仮想インターフェース要素の集合をレンダリングすることによって、そのような選択に応答してもよい。例えば、ARシステムは、選択されたアプリケーションまたは機能に関連付けられたサブメニューまたはメニューまたは他の仮想インターフェース要素をレンダリングする。
ここで図111を参照すると、トーテムを使用する例示的方法11100が、説明される。11102では、トーテムとのユーザの相互作用が、検出および/または捕捉される。例えば、相互作用は、触知手袋から、または正面に面したカメラ(例えば、世界カメラ、FOVカメラ等)を通した入力に基づいて、捕捉されてもよい。11104では、ARシステムは、所与の基準フレームに対するトーテムの位置、配向、および/または移動を検出してもよい。基準フレームは、ARシステムが、ユーザコマンドを理解するために、トーテムの移動の1つ以上の特性を計算することを可能にする、所定の基準フレームであってもよい。11106では、ユーザの相互作用(例えば、基準フレームに対する位置/配向/移動)は、システム内に記憶されるマップを用いて検討される。1つ以上の実施形態では、マップは、ある移動/位置または配向と特定のユーザ入力を相関させる、1:1マップであってもよい。他のマッピングテーブルおよび/または技法も同様に、他の実施形態では、使用されてもよい。11108では、ARシステムは、マッピングに基づいて、ユーザ入力を決定してもよい。
1つ以上の実施形態では、ARシステムは、オブジェクトをトーテムとして識別してもよい。オブジェクトは、実オブジェクトまたは仮想オブジェクトであってもよい。典型的には、トーテムは、事前指定されるオブジェクト、例えば、トーテムとして表示され得る、キーの集合または仮想キーの集合であってもよい。1つ以上の実施形態では、ユーザは、トーテムを選択してもよい。または、トーテムが実オブジェクトである場合、システムは、捕捉された1つ以上の画像および/またはトーテムについての他のデータを有し、それを将来認識してもよい。さらに、ARシステムは、システムがトーテムに関係して行われるコマンドを理解するように、ユーザに、トーテムを「設定」することを要求してもよい。例えば、トーテムの中心部分は、特定のコマンドを示すように押圧されてもよい。1つ以上の実施形態では、これは、システムがそのコマンドを理解するように事前プログラムされることを要求してもよい。
1つ以上の実施形態では、トーテムの基準フレームは、あるコマンドを理解するために、世界の基準フレームに対して相関されてもよい。例えば、システムは、トーテムに関係するユーザの手の移動(一実施形態では)を認識してもよい。1つ以上の実施形態では、ARシステムは、ユーザとトーテムの相互作用(例えば、手移動、トーテム移動、眼移動等)を追跡する。相互作用が所定の相互作用(例えば、移動のパターン、移動のスピード、移動の方向、タッチの力、別のオブジェクトへの近接度等)に一致すると、システムは、ユーザ入力を決定し、決定されたユーザ入力に応答して、コマンドを理解し得る。
ここで概略される概念は、ARシステムの種々の側面に適用されてもよいことを理解されたい。例えば、トーテムの認識、トーテムに関係する移動のパターンの認識、および認識されたトーテムジェスチャに関連付けられたコマンドの読み出しは、以下に論じられるほぼ全ての種々の実施形態およびユーザシナリオにおいて使用されてもよい。これらの同一概念は、システムが、トーテムジェスチャを認識し、コマンドを行うのに役立つ(例えば、アプリケーションを開く、ユーザインターフェースを表示する、アイテムを購入する、アプリケーションを切り替える等)。したがって、トーテムおよびトーテムコマンドの認識ならびにトーテムに関連付けられたコマンドの読み出しに関する、ここで概略される原理は、以下に説明されるほぼ全ての実施形態において使用されてもよい。これらの概念は、簡略目的のために、具体的実施形態の議論の際に繰り返されないであろうことを理解されたい。
(光波正面+音波正面)
1つ以上の実施形態では、ARシステムは、光波正面に類似する、音波正面を生成し、現実的音場を生成してもよい。いくつかの実装では、ARシステムは、音範囲内のマイクロホン利得を動的に調節し、実物理プレーヤと仮想空間内の仮想プレーヤを混合してもよい。言い換えると、ARシステムは、特定のオブジェクト(例えば、仮想オブジェクト等)から発出する音が明視野に一致するように、現実的音波正面を生成する。
1つ以上の実施形態では、ARシステムは、光波正面に類似する、音波正面を生成し、現実的音場を生成してもよい。いくつかの実装では、ARシステムは、音範囲内のマイクロホン利得を動的に調節し、実物理プレーヤと仮想空間内の仮想プレーヤを混合してもよい。言い換えると、ARシステムは、特定のオブジェクト(例えば、仮想オブジェクト等)から発出する音が明視野に一致するように、現実的音波正面を生成する。
例えば、仮想オブジェクトが、離れた所から現れるように描写される場合、オブジェクトから発出する音は、離れた所から接近した場合、一定ではなく、むしろ、オブジェクトから生じるであろう音を模倣すべきである。ARシステムの明視野は、仮想オブジェクトの現実的視覚体験を生成するため、ARシステムの音波正面もまた、音を現実的に描写するように修正される。例えば、仮想オブジェクトが、背後から接近している場合、仮想オブジェクトから生じる音は、単に、正面側から接近していた場合と異なるであろう。または、仮想オブジェクトが、右側から接近している場合、音は、ユーザが本能的に右を向き、仮想オブジェクトを見るように修正され得る。したがって、音を現実的に描写するための音波正面の修正は、ARシステムの全体的体験を改善し得ることを理解されたい。
音波正面はまた、ユーザの物理場所に依存し得る。例えば、自然音は、ユーザが開放空間内に居るときと比較して、ユーザが大聖堂内に居る場合、異なるように感知される(例えば、エコー等が存在し得る)。ARシステムは、ローカルおよび周囲音(例えば、ゲームエンジン駆動)再現を捕捉してもよい。
ここで図113を参照すると、音設計システムの種々の構成要素を示す、ブロック図が、提供される。図113に示されるように、頭部姿勢情報11318が、オブジェクトおよび聴取者姿勢11320を決定するために使用されてもよい。本情報は、いったん決定されると、空間および近接音レンダリングモジュール11302の中にフィードされてもよい。
オブジェクトおよび聴取者姿勢11320は、1つ以上の実施形態では、データベース内に記憶され得る種々の音データファイルを備え得る、音データモジュール11322の中にフィードされてもよい。音データモジュール11322は、音設計ツール11324(例えば、FMOD Studio等)と相互作用し、音設計フィルタ等を提供し、音データファイルを操作してもよい。
音およびメタデータ11322は、チャネルベースのコンテンツ11316もまたフィードされ得る、等化モジュール11314の中にフィードされてもよい。等化された音はまた、空間および近接レンダリングモジュール11302の中にフィードされてもよい。
1つ以上の実施形態では、3D頭部モデル伝達関数11310および動的に作成された空間モデル(例えば、空間伝達関数)もまた、空間および近接音レンダリングモジュール11302に入力される。1つ以上の実施形態では、空間および近接音レンダリングモジュール11302はまた、あらかじめ準備された空間11312からの音についての入力を受信してもよい。伝達関数は、それぞれ、頭部姿勢11318およびオブジェクトおよび聴取者姿勢11320モジュールから受信されるユーザの頭部姿勢および仮想オブジェクト情報に基づいて、変換を適用することによって、音データを操作してもよい。
1つ以上の実施形態では、空間および近接音レンダリングモジュール11302は、両耳バーチャライザ11304と相互作用し、音は、最後に、ユーザのヘッドホン11306に出力される。
1つ以上の実施形態では、ARシステムは、ユーザの頭部姿勢を決定し、オーディオオブジェクトの操作方法を決定してもよい。オーディオオブジェクトは、仮想オブジェクトに結び付けられてもよい(例えば、オーディオは、仮想オブジェクトから生じるように見える、または異なる場所に位置してもよいが、仮想オブジェクトに関連付けられる)。オーディオオブジェクトは、オーディオオブジェクト(音データ)が仮想オブジェクトの感知された場所から発出するように、感知された場所に基づいて、仮想オブジェクトに関連付けられてもよい。
ARシステムは、仮想オブジェクトの感知された場所(例えば、マップ、パス可能世界モデル等)を把握し、したがって、ARシステムは、オーディオオブジェクトを同一場所に設置してもよい。ユーザの頭部姿勢に関係してオーディオオブジェクトの感知された場所および/または決定された場所に基づいて、音データは、1つ以上の実施形態では、音が仮想オブジェクトの起源の場所から生じるように見えるように、音設計アルゴリズムを受け、動的に改変されてもよい。
1つ以上の実施形態では、ARシステムは、種々の視覚的および/または聴覚的トリガを意図的に使用して、ユーザ頭部運動を開始してもよい。ARシステムは、トリガ(例えば、仮想視覚的キューまたは仮想音キュー)を選択して、ユーザの周縁から発出する(例えば、正面またはユーザが面してる方向から変位する)ように見えるように仮想視覚的画像または音キューをレンダリングしてもよい。例えば、明視野を眼の中にレンダリングする場合、側面または周縁上の非画像形成光学は、ユーザの周辺視覚に現れ、ユーザにユーザの頭部を所望の方向に向けさせるように、視覚的キューまたはトリガをレンダリングしてもよい。加えて、または代替として、ARシステムは、音上に波正面合成を伴う空間音場を、ユーザの視野から外れて現れ、再び、ユーザを所望の方向に向けさせる、オーディオまたは聴覚キューもしくはトリガとともに、レンダリングしてもよい。
(座標フレーム)
上記の種々の実施形態において詳細に論じられたように、かつ図133を参照すると、仮想コンテンツは、仮想コンテンツが静止したままである、または座標系に対して移動するように、1つ以上の座標系に結び付けられてもよいことを理解されたい。例えば、13302に示されるように、仮想コンテンツは、部屋中心であってもよい。言い換えると、仮想コンテンツは、ユーザがその周囲を移動する、またはそこから離れるように移動し得る間、仮想コンテンツが空間内の一定場所に留まるように、実世界の1つ以上の座標にテザリングされる。
上記の種々の実施形態において詳細に論じられたように、かつ図133を参照すると、仮想コンテンツは、仮想コンテンツが静止したままである、または座標系に対して移動するように、1つ以上の座標系に結び付けられてもよいことを理解されたい。例えば、13302に示されるように、仮想コンテンツは、部屋中心であってもよい。言い換えると、仮想コンテンツは、ユーザがその周囲を移動する、またはそこから離れるように移動し得る間、仮想コンテンツが空間内の一定場所に留まるように、実世界の1つ以上の座標にテザリングされる。
別の実施形態では、13304に示されるように、仮想コンテンツは、身体中心であってもよい。したがって、仮想コンテンツは、ユーザの中心軸に対して移動されてもよい。例えば、ユーザが移動する場合、仮想コンテンツは、ユーザの移動に基づいて移動する。
さらに別の実施形態では、13306に示されるように、仮想コンテンツは、頭部中心であってもよい。言い換えると、仮想コンテンツは、ユーザの頭部の周囲を中心とする座標系に結び付けられる。仮想コンテンツは、ユーザがユーザの頭部を移動させるにつれて、移動してもよい。これは、種々のユーザインターフェースに当てはまり得る。仮想コンテンツは、ユーザがその頭部を転向させると移動し、それによって、常時、ユーザのビュー内にある、ユーザのインターフェースを提供してもよい。
さらに別の実施形態では、13308に示されるように、仮想コンテンツは、仮想コンテンツがユーザの手移動に基づいて移動するように、手中心基準点に基づいて取り込まれてもよい(例えば、以下に説明される長手袋ユーザ体験)。
ここで図134を参照すると、前述の種々の実施形態を通して図示されるように、ユーザに提示される仮想コンテンツと相互作用する多くの方法が存在し得る。ジェスチャ(例えば、手、頭部、身体、トーテム等)13402、音声相互作用13404、眼ベクトル13406、および生体フィードバック13408等の無形相互作用を含む、いくつかの実施例が、図134に示される。
前述で詳細に説明されたように、ジェスチャフィードバック13402は、ユーザが、一般に、ユーザの手、指、または腕の移動を通してARシステムと相互作用することを可能にし得る。音声ユーザ入力13404は、ユーザが、単に、ARシステムに「話しかけ」、音声コマンドを、必要に応じて、ARシステムに発話することを可能にし得る。眼ユーザ入力13406は、ユーザが、単に、ユーザの眼を移動させ、ユーザインターフェースに変更をもたらし得るように、眼追跡システムの使用を伴ってもよい。例えば、ユーザ入力は、所定のアクションに対応し得る、瞬きまたは眼移動であってもよい。例えば、ユーザは、その焦点が仮想アイコン上にある間、3回、連続的に瞬きしてもよい。これは、システムによって認識される所定の選択コマンドとなり得る。それに応答して、システムは、単に、仮想アイコンを選択してもよい(例えば、アプリケーションを開く等)。したがって、ユーザは、最小限の努力でARシステムと通信し得る。
生体フィードバック13408もまた、ARシステムと相互作用するために使用されてもよい。例えば、ARシステムは、ユーザの心拍数を監視し、適宜、応答してもよい。例えば、ユーザが運動課題に参加しているとする。ユーザの心拍数上昇に応答して、ARシステムは、仮想コンテンツをユーザに表示してもよい(例えば、ユーザが減速する、水を飲むこと等を助長する)。
1つ以上の実施形態では、ARシステムとの相互作用は、有形であってもよい。例えば、特定のコマンドであることが事前に定義される、既知の体積13410が、定義されてもよい。例えば、ユーザは、単に、ARシステムが特定のコマンドとして理解する、ある形状を空中に描いてもよい。
相互作用は、手袋13412(例えば、触知手袋等)を通してもよい。したがって、手袋13412は、ジェスチャ、物理タッチ等を取り上げてもよく、これは、順に、1つ以上のコマンドのために使用されてもよい。同様に、認識されたリング13414は、入力をARシステムに提供するために使用されてもよい。さらに別の実施形態では、展性表面13416が、入力をシステムに提供するために使用されてもよい。例えば、展性オブジェクト13416は、トーテムとして使用されてもよいが、固定サイズのオブジェクトに関係して相互作用するだけではなく、入力は、展性オブジェクト13416を、それぞれ、所定の特定のコマンドとして事前に定義され得る、異なる形状およびサイズに伸縮させてもよい。
または、他の実施形態では、単純コントローラデバイス13418(例えば、キーボード、マウス、コンソール等)が、システムと相互作用するために使用されてもよい。他の実施形態では、オブジェクト13420の物理特性が、システムと相互作用するために使用されてもよい。
(ジェスチャ)
いくつかの実装では、ARシステムは、1つ以上の指/手のジェスチャを検出し、それに応答してもよい。これらのジェスチャは、種々の形成をとることができ、例えば、指間相互作用、指示、タップ、摩擦等に基づいてもよい。他のジェスチャは、例えば、文字列(例えば、文字、数字、句読点)の2Dまたは3D表現を含んでもよい。そのように入力するために、ユーザは、その指を定義された文字列パターンでスワイプする。他のジェスチャは、例証される実施形態の1つによると、サムホイール選択タイプジェスチャを含んでもよく、これは、例えば、ユーザの視野内にレンダリングされ得る、「ポップアップ」円形半径方向メニューと併用されてもよい。
いくつかの実装では、ARシステムは、1つ以上の指/手のジェスチャを検出し、それに応答してもよい。これらのジェスチャは、種々の形成をとることができ、例えば、指間相互作用、指示、タップ、摩擦等に基づいてもよい。他のジェスチャは、例えば、文字列(例えば、文字、数字、句読点)の2Dまたは3D表現を含んでもよい。そのように入力するために、ユーザは、その指を定義された文字列パターンでスワイプする。他のジェスチャは、例証される実施形態の1つによると、サムホイール選択タイプジェスチャを含んでもよく、これは、例えば、ユーザの視野内にレンダリングされ得る、「ポップアップ」円形半径方向メニューと併用されてもよい。
ここで概略される概念は、ARシステムの種々の側面に適用されてもよいことを理解されたい。例えば、ジェスチャの認識および認識されたジェスチャに関連付けられたコマンドの読み出しは、以下に論じられるほぼ全ての種々の実施形態およびユーザシナリオにおいて使用されてもよい。例えば、ジェスチャは、以下に論じられる種々のユーザインターフェース実施形態において使用されてもよい。これらの同一概念は、システムが、ジェスチャを認識し、コマンドを行う(例えば、アプリケーションを開く、ユーザインターフェースを表示する、アイテムを購入する、アプリケーションを切り替える等)ことに役立つ。したがって、ジェスチャの認識およびジェスチャに関連付けられたコマンドの読み出しに関する、ここで概略される原理は、以下に説明されるほぼ全ての実施形態において使用されてもよい。これらの概念は、簡略目的のために、具体的実施形態の議論の際に繰り返されないであろうことを理解されたい。
ARシステムの実施形態は、したがって、ジェスチャを使用して、種々のコマンドを認識し、それに応答して、コマンドにマップされたある機能を行うことができる。コマンドへのジェスチャのマッピングは、多くのユーザを横断して汎用的に定義され、ユーザインターフェース内に少なくともいくつかの共通性を採用する、種々のアプリケーションの開発を促進してもよい。代替として、または加えて、ユーザまたは開発者は、ジェスチャのうちの少なくともいくつかと、コマンドの検出に応答して、ARシステムによって実行されるべき対応するコマンドとの間のマッピングを定義してもよい。
例えば、指示された人差し指は、焦点、例えば、人差し指が指示される場面または仮想コンテンツの特定の部分に焦点を当てるコマンドを示し得る。挟むジェスチャは、人差し指の先端が親指の先端にタッチし、閉鎖された円形を形成し、例えば、掴むおよび/またはコピーコマンドを示すために行われることができる。別の例示的挟むジェスチャは、薬指の先端が親指の先端にタッチし、閉鎖された円形を形成し、例えば、選択コマンドを示すために行われることができる。さらに別の例示的挟むジェスチャは、小指の先端が親指の先端にタッチし、閉鎖された円形を形成し、例えば、戻るおよび/またはキャンセルコマンドを示すために行われることができる。薬指および中指が曲げられ、薬指の先端が親指の先端にタッチする、ジェスチャは、例えば、クリックおよび/またはメニューコマンドを示し得る。人差し指の先端が頭部装着式構成要素またはフレーム上のある場所にタッチすることは、ホームコマンドに戻ることを示し得る。
本発明の実施形態は、ジェスチャ追跡および識別を行うための高度なシステムおよび方法を提供する。一実施形態では、拒否カスケードアプローチが、行われ、ジェスチャ分析の複数の段階が、ジェスチャを識別するために画像データ上にで行われる。図135Aを先に参照すると、着信画像13542(例えば、深度DにおけるRGB画像)は、一連の許可分析ノードを使用して処理される。各分析ノード13544(例えば、13544a、13544b等)は、画像がジェスチャとして識別可能であるかどうかを決定する別個のステップを行う。
本プロセスにおける各段階は、その全体性における異なる決定のシーケンスが、ジェスチャ処理を効率的に行うために使用され得るように、標的計算を行う。これは、例えば、プロセスの各段階における処理パワーの量が、ノードのシーケンス/順序とともに、最小限の計算費用でそれを行いながら、非ジェスチャを除去する能力を最適化するために使用されることを意味する。例えば、計算的に安価なアルゴリズムは、前の段階に適用され、多数の「より容易な」候補を除去し、それによって、より少ない数の「より困難な」データを計算的に高価なアルゴリズムを使用して後の段階で分析されるように残してもよい。
一実施形態における本タイプの処理を行うための一般的アプローチが、図135Bのフロー図13501に示される。第1のステップ13502は、ジェスチャ処理のための候補を生成するためのものである。これらは、例えば、装着式デバイスのセンサ測定、例えば、装着式デバイス上に搭載されるカメラから捕捉された画像を含む。次に、13504では、分析が、分析データを生成するための候補上で行われる。例えば、あるタイプの分析は、画像内の形状(例えば、指)の輪郭が十分に鋭的であるかどうかをチェックするためのものであってもよい。13506では、ソートが、次いで、分析された候補上で行われる。最後に、13508では、最小閾値より低いスコア化/分析値に対応する任意の候補は、検討から除去される。
図135Cは、本発明の一実施形態による、ジェスチャ分析のためのより詳細なアプローチを描写する。第1のアクションは、深度区画化13520を入力データに行うことである。例えば、典型的には、データ入力を提供するカメラ(例えば、RGB+深度データを生成するカメラ)が、ユーザの頭部上に搭載され、ユーザの世界カメラ(例えば、正面に面したカメラ、FOVカメラ等)が、ヒトがジェスチャを合理的に行い得る範囲を網羅するであろう。
図135Dに示されるように、線検索13560が、データを通して行われることができる(例えば、視野の下側から)。その線に沿って識別可能である深度点が存在する場合、潜在的ジェスチャが識別される。そうではない場合、さらなる処理が、行われる必要はない。
いくつかの実施形態では、本タイプの深度点の線処理は、非常に低密度であり得る。おそらく、50個の点が、比較的に迅速に取得される。当然ながら、異なる種類の線系列も、採用されることができる。例えば、下側を横断する平坦線に加え、またはその代わりに、より小さい対角線が、手/腕が存在し得る面積において使用される面積で採用される。
任意の好適な深度サンプリングパターンが、採用され、好ましくは、ジェスチャを検出する際に最も効果的であるものを選択してもよい。いくつかの実施形態では、信頼度向上深度マップが、得られ、検出された潜在的に有効であるジェスチャ深度点は、その点から埋めていき、潜在的手または腕を区画化し、次いで、識別されたオブジェクトが実際に手または腕であるかどうかをチェックするためにさらにフィルタ処理されるために使用される。別の信頼性向上が、例えば、手の鮮明な深度マップを得て、次いで、画像内の手からセンサに反射された光の量をチェックすることによって行われることができ、量の光の量が多いほど、より高い信頼性レベルに対応する。
深度データから、カスケード表示し、即時/高速処理13530を行うことができ、例えば、画像データは、ジェスチャの非常に高速認識に適している。これは、非常に単純ジェスチャおよび/または手/指位置に最良に機能する。
多くの場合、より深い処理が、深度マップを拡張するために行われる必要がある13522。例えば、あるタイプの深度拡張は、深度変換をデータに行うことである。あるタイプの拡張は、境界、重心等の規定された点集合からの測地距をチェックすることである。例えば、表面場所から、マップ上の種々の点までの距離の決定が行われる。これは、例えば、指の先端(指の端部を見つけることによって)まで最も遠い点を見つけることを試みる。点集合は、境界(例えば、手の輪郭)または重心(例えば、統計的質量中心場所)からであってもよい。
表面正規化もまた、計算されてもよい。加えて、曲率もまた、推定されてもよく、これは、輪郭が旋回する速度を識別する(例えば、フィルタ処理プロセスを行い、点を検討し、凹面点を指から除去することによって)。いくつかの実施形態では、配向正規化が、データに行われてもよい。例証するために、手の所与の画像が、異なる位置における手とともに捕捉され得ることを検討する。しかしながら、分析は、正準位置における手の画像データを予期し得る。本状況では、図135Eに13570として示されるように、マップされたデータは、再配向され、正規化/正準手位置に変化してもよい。
いくつかの実施形態における有利なアプローチの1つは、背景減算をデータに行うことである。多くの場合、既知の背景が、場面内に存在する、例えば、背景壁のパターンである。本状況では、分析されるべきオブジェクトのマップは、背景画像データを除去することによって向上されることができる。本プロセス13580の実施例は、図135Fに示され、図135Fの左部分は、いくつかの背景画像データにわたる手の画像を示す。図135Fの右側部分は、背景を画像から除去し、鮮明度および焦点が増加した拡張手データを残す結果を示す。
深度比較もまた、画像内の点に行われ、手に関する具体的点を識別してもよい(背景非手データとは対照的に)。例えば、図135Gの13590に示されるように、第1の点Aは、第1の深度に位置し、第2の点Bは、有意に異なる第2の深度に位置するように見られ得る。本状況では、これらの2つの点の深度の差異は、2つの点が異なるオブジェクトに属する可能性が高いことを非常に明白にする。したがって、手の深度が点Aと同一深度値にあることを把握する場合、点Aが手の一部であると結論付けることができる。一方、点Bに関する深度値は、手の深度と同一ではないため、点Bは手の一部ではないと容易に結論付けることができる。
本時点では、一連の分析段階が、深度マップに行われる。任意の数の分析段階が、データに適用されることができる。本実施形態は、3つの段階(例えば、13524、13526、および13528等)を示すが、当業者は、任意の他のいくつかの段階(より少ないか、またはより多いかのいずれか)が、本発明が適用される用途に対する必要に応じて、使用されてもよいことを容易に理解するであろう。
本実施形態では、段階1分析13524は、分類機構を使用してデータに行われる。例えば、深層神経網または分類化/決定森が、分析における一連のはい/いいえ決定を適用し、マッピング内の異なる点に対する手の異なる部分を識別するために使用されることができる。これは、例えば、特定の点が、手のひら部分、手の背面、非親指、親指、指先端、および/または指関節に属するかどうかを識別する。任意の好適な分類子が、本分析段階のために使用されることができる。例えば、深層学習モジュールまたは神経ネットワーク機構が、分類化森の代わりに、またはそれに加え、使用されることができる。加えて、回帰森(例えば、ハフ変換等を使用する)が、分類化森に加え、使用されることができる。
次の分析段階(段階2)13526は、マッピングデータをさらに分析するために使用されることができる。例えば、分析が、特に、関節場所を識別する、または骨格化をデータに行うために行われることができる。図135Hは、骨格化の例証13595を提供し、手データのオリジナルマップが、手内の骨/関節の場所を識別し、手/手骨格のあるタイプの「棒線」図モデルをもたらすために使用される。本タイプのモデルは、鮮明度を伴って、指の場所ならびに手構成要素の具体的配向および/または構成の非常に区別できるビューを提供する。標識化もまた、本段階において、手の異なる部分に適用されてもよい。
本時点では、データは、現時点で、任意のさらなる分析を要求することなく、下流アプリケーション13534によって直接消費可能であることが可能である。これは、例えば、下流アプリケーション自体が、付加的分析/計算をモデルデータに行うために論理を含む場合、生じ得る。加えて、システムはまた、随意に、カスケード表示し、即時/高速処理13532を行うことができ、例えば、データは、(1)拳ジェスチャ、(2)開放手のひらジェスチャ、(3)指銃ジェスチャ、(4)挟む等のジェスチャの非常に高速認識に適している。例えば、図135Iの13598に示されるように、手マッピング上の種々の点(例えば、延在された親指上の点および延在された人差し指の点)は、指示ジェスチャを即時に識別するために使用されることができる。出力は、次いで、世界エンジン13536に進み、例えば、アクションを認識されたジェスチャに行うであろう。
加えて、より深い処理が、段階3分析において行われることができる。これは、例えば、深層神経ネットワークまたは決定森/木を使用して、ジェスチャを分類することを伴うことができる。本付加的処理は、ジェスチャを識別する、手姿勢を決定する、文脈依存性を識別する、および/または必要に応じた任意の他の情報のために使用されることができる。
以前の/制御情報は、説明されるステップのいずれかに適用され、処理を最適化することができる。これは、その処理の段階で行われる分析アクションのためのあるバイアス化を可能にする。例えば、ゲーム処理のために、ゲームで行われた以前のアクションは、前の手位置/姿勢に基づいて、分析をバイアス化するために使用されることができる。加えて、混同行列が、分析をより正確に行うために使用されることができる。
前述のジェスチャ認識の原理を使用して、ARシステムは、ユーザのFOVカメラから集められた視覚的入力を使用して、所定のコマンドまたはアクションに関連付けられ得る種々のジェスチャを認識してもよい。ここで図135Jのフロー図13521を参照すると、ステップ13503では、ARシステムは、上記で詳細に論じられたように、ジェスチャを検出してもよい。前述のように、ステップ13505において、指の移動またはトーテムの移動は、マッピングデータベースと比較され、所定のコマンドを検出してもよい。ステップ13507では、ARシステムがステップ13505におけるマッピングに基づいてコマンドを認識するかどうかの決定が行われる。
コマンドが検出される場合、ARシステムは、ステップ13507において、ジェスチャに基づいて、所望のアクションおよび/または所望の仮想コンテンツを決定する。ジェスチャまたはトーテムの移動が、任意の既知のコマンドに対応しない場合、ARシステムは、単に、他のジェスチャまたは移動を検出するために、ステップ13503に戻る。
ステップ13509では、ARシステムは、コマンドを満たすために必要なアクションのタイプを決定する。例えば、ユーザは、アプリケーションをアクティブ化することを所望し得る、ページをめくることを所望し得る、ユーザインターフェースを生成することを所望し得る、別の物理場所に位置する友人に接続することを所望し得る等が考えられる。所望のアクション/仮想コンテンツに基づいて、ARシステムは、ステップ13511において、情報をクラウドサーバから読み出すかどうか、またはアクションがユーザデバイス上のローカルリソースを使用して行われ得るかどうかを決定する。
例えば、ユーザが、単に、仮想書籍のページをめくることを所望する場合、関連データは、すでにダウンロードされている場合がある、またはローカルデバイス上に全体として常駐する場合があり、その場合、ARシステムは、単に、次のページに関連付けられたデータを読み出し、次のページをユーザに表示する。同様に、ユーザが、ユーザが空間の中央に絵を描くように、ユーザインターフェースを作成することを所望する場合、ARシステムは、単に、クラウドからのデータを要求せず、仮想描画表面を所望の場所に生成してもよい。多くのアプリケーションおよび能力に関連付けられたデータが、ユーザデバイスが、不必要にクラウドに接続する、またはパス可能世界モデルにアクセスする必要がないように、ローカルデバイス上に記憶されてもよい。したがって、所望のアクションが、ローカルで行われることができる場合、ローカルデータは、検出されたジェスチャに対応する仮想コンテンツを表示するために使用されてもよい(ステップ13513)。
代替として、ステップ13515では、システムが、データをクラウドまたはパス可能世界モデルから読み出す必要がある場合、システムは、アクションが行われ得るように、または仮想コンテンツが適切にユーザに表示され得るように、要求をクラウドネットワークに送信し、適切なデータを読み出し、それをローカルデバイスに返信してもよい。例えば、ユーザが、別の物理場所における友人に接続することを所望する場合、ARシステムは、適宜、ローカルユーザデバイスにレンダリングするために、パス可能世界モデルにアクセスし、物理形態の友人に関連付けられた必要データを読み出す必要があり得る。
したがって、ユーザのARシステムとの相互作用に基づいて、ARシステムは、ユーザによる所望に応じて、多くのタイプのユーザインターフェースを作成してもよい。以下は、前述の例示的プロセスに類似する方式で作成され得る、ユーザインターフェースのいくつかの例示的実施形態を表す。前述のプロセスは、例証目的のために簡略化されており、他の実施形態が、所望のユーザインターフェースに基づいて、付加的ステップを含んでもよいことを理解されたい。以下の議論は、ARシステムの付加的アプリケーションの集合を詳述する。
(UIハードウェア)
ARシステムは、物理オブジェクトに結び付けられる、圧力および/または振動の感覚を提供する、疑似触知手袋を採用してもよい。触覚効果は、例えば、手を泡に通すことに類似し得る。
ARシステムは、物理オブジェクトに結び付けられる、圧力および/または振動の感覚を提供する、疑似触知手袋を採用してもよい。触覚効果は、例えば、手を泡に通すことに類似し得る。
振動が、指上に導入される場合、ユーザは、その振動をテクスチャとして解釈するであろう。疑似触知手袋は、硬質物理オブジェクト、軟質物理オブジェクト、および曖昧な物理オブジェクトの感触を複製する、触感を提供してもよい。疑似触知手袋は、選択的に、圧力および振動の両方の感覚を生成する。
例えば、空間内を浮遊する無質量オブジェクト(例えば、泡)が存在する場合、ユーザは、無質量オブジェクトにタッチする触感を感じることが可能であり得る。ユーザは、仮想オブジェクトをタッチする触感を、例えば、堅さ指向感覚ではなく、テクスチャ指向感覚に変化させることができる。例えば、ユーザが手を泡を通して通過させる場合、ユーザは、ある触感を感じ得るが、ユーザは、物理オブジェクトを把持する感覚を感じないであろう。触感を提供する類似アプローチは、ARシステムの他の装着式部分または構成要素に実装されてもよい。手袋および/または他の構成要素は、種々の異なるアクチュエータ、例えば、圧電アクチュエータを使用してもよい。
したがって、ユーザは、タッチ無質量仮想オブジェクトを直接タッチ可能であるかのように感じ得る。例えば、仮想オブジェクトが、テーブルに位置する場合、触知手袋に対応する一貫したUX要素が、ユーザに固有受容触覚相互作用を提供してもよい。例えば、ユーザは、ドアに近接する特定の取っ手を把持または握持してもよい。取っ手を仮想オブジェクトのための座標フレームとして使用することは、ユーザに非常に直感的であり得る。これは、ユーザが、物理物を取り上げ、実際に、触覚プロキシ取っ手を通して物理感覚を感じることを可能にする。
個々のARシステムの頭部装着式構成要素はまた、イヤホンまたはイヤーバズが、ユーザの耳に近接して、その上、またはその中に位置付けられるとき、それを検出するためのセンサを含んでもよい。ARシステムは、多種多様なセンサ、例えば、容量センサ、圧力センサ、電気抵抗センサ等のいずれかを使用してもよい。定位置におけるイヤホンまたはイヤーバズの検出に応答して、ARシステムは、イヤホンまたはイヤーバズを介して、音をルーティングしてもよい。定位置におけるイヤホンまたはイヤーバズの検出の失敗に応答して、ARシステムは、従来の独立型スピーカを通して、音をルーティングしてもよい。
加えて、ARシステムは、複合カメラを採用してもよい。複合カメラは、可撓性基板、例えば、可撓性印刷回路基板上に搭載される、またはそれによって担持される、複数のチップレベルカメラを備えてもよい。可撓性基板は、埋込用樹脂で修正および/または再構成され、本質的に、単一広角レンズを形成してもよい。
例えば、小型カメラが、ウエハレベル技術を使用する、層アプローチを用いて構築されてもよい。例えば、複数のビデオグラフィックアレイ(VGA)パッドが、これらのカメラを通信可能に結合するために、可撓性基板上に形成されてもよい。カメラを伴う可撓性基板は、アンビルにわたって伸展され、例えば、接着剤を介して、固定されてもよい。これは、約60度または70度の光学的に広視野を有する、安価なVGAカメラの集合を提供する。
有利には、平坦プロセスが、採用されてもよく、可撓性基板は、アンビルにわたって伸展されてもよい。得られた構造は、ピクセル数画質の観点から均等物であるが、重複または非重複視野を伴う、広視野カメラを提供する。複数の2つまたは3つの要素ウエハのレベルのカメラは、依然として、広視野カメラと同一視野を達成しながら、5つのまたは6つの要素を有する具体的広視野レンズに取って代わることができる。
(ユーザインターフェース)
以下の種々の実施形態に説明されるように、ARシステムは、多くのタイプのユーザインターフェースを作成してもよい。以下に説明される実施形態のいくつかでは、ARシステムは、ユーザの場所およびタイプの基準フレームユーザインターフェースが動作し得るタイプに基づいて、ユーザインターフェースを作成する。例えば、いくつかのユーザインターフェース(例えば、以下の図85A-85C)は、身体中心ユーザインターフェースであって、その場合、ARシステムは、ユーザの場所の中心(例えば、臀部、腰部等)を決定し、その基準フレームに基づいて、仮想インターフェースを投影してもよい。他のユーザインターフェースは、頭部中心基準フレーム、手中心基準フレーム等に基づいて作成される。さらに、ARシステムは、前述のジェスチャ追跡および/またはトーテム追跡の原理を利用して、また、いくつかのユーザインターフェースを作成し、および/またはそれと相互作用してもよい。
以下の種々の実施形態に説明されるように、ARシステムは、多くのタイプのユーザインターフェースを作成してもよい。以下に説明される実施形態のいくつかでは、ARシステムは、ユーザの場所およびタイプの基準フレームユーザインターフェースが動作し得るタイプに基づいて、ユーザインターフェースを作成する。例えば、いくつかのユーザインターフェース(例えば、以下の図85A-85C)は、身体中心ユーザインターフェースであって、その場合、ARシステムは、ユーザの場所の中心(例えば、臀部、腰部等)を決定し、その基準フレームに基づいて、仮想インターフェースを投影してもよい。他のユーザインターフェースは、頭部中心基準フレーム、手中心基準フレーム等に基づいて作成される。さらに、ARシステムは、前述のジェスチャ追跡および/またはトーテム追跡の原理を利用して、また、いくつかのユーザインターフェースを作成し、および/またはそれと相互作用してもよい。
以下に説明されるユーザインターフェースの各々は、いくつかの差異を有するが、主に、いくつかの共通原理を使用して機能する。ユーザが選定するユーザインターフェースを表示するために、ARシステムは、世界(例えば、世界座標フレーム)内のユーザの場所を決定しなければならない。例えば、ユーザの場所は、前述の位置特定技法(例えば、GPS、Bluetooth(登録商標)、トポロジマップ、ユーザのARシステムに関連するマップ点等)のいずれかを通して決定されてもよい。いったん世界座標フレーム内のユーザの場所が決定されると、ユーザのARシステムに関係してユーザの手/指等間の関係が、決定されてもよい。例えば、ユーザが、所定のリング型ベースのユーザインターフェース(例えば、図85A-85C等)を選択した場合、ユーザのARシステムと身体中心基準フレームとの間の関係が、決定されてもよい。
例えば、図85A-85Cの身体中心ユーザインターフェースは、ユーザの臀部の座標に基づいて決定されてもよい。ユーザの臀部の位置は、ARシステムによって収集されるデータに基づいて決定されてもよい。言い換えると、ARシステムの種々のセンサ(例えば、カメラ、センサ等)は、ユーザの臀部の座標(例えば、世界座標系内)を決定するのに役立ち得る。本決定された場所は、ユーザインターフェースの原点座標(0,0,0)として設定されてもよい。
原点座標を決定すると、仮想ユーザインターフェースは、ユーザが移動するにつれて、仮想ユーザインターフェースがユーザの身体とともに移動するように、決定されたユーザの臀部の場所に基づいてレンダリングされてもよい(例えば、図85A-85Cのリング型ユーザインターフェースは、ユーザの身体の周囲に留まる)。1つ以上の実施形態では、種々の事前構成されるユーザインターフェースは、適切なユーザインターフェースがデータベースから読み出されるように、ユーザインターフェースデータベース内に記憶されてもよい。
記憶されたユーザインターフェースプログラムは、仮想ユーザインターフェースの種々の部分が原点座標に関係して表示されなければならない座標を含む、ユーザインターフェースについての特性および/またはパラメータの集合を備えてもよい。例えば、2ピクセルのみを有する非常に単純なユーザインターフェースでは、原点臀部座標に関係して表示されるべきピクセルの座標が、定義されてもよい。特定のユーザインターフェースが選択されると、ユーザインターフェースデータは、データベースから読み出されてもよく、種々の平行移動ベクトルが、世界座標を決定するために、ピクセル座標に適用されてもよい。言い換えると、記憶されるユーザインターフェースプログラムの各々は、特定の基準フレームに関係して事前定義されてもよく、本情報は、特定のユーザインターフェースをレンダリングすべき場所を決定するために使用されてもよい。以下に説明されるユーザインターフェースの大部分は、本基本原理に基づいて機能することを理解されたい。前述の実施例は、2ピクセルのみを使用する概念を例証するが、仮想ユーザインターフェースの全ピクセルに対する適切な座標が、関連平行移動および/または回転が適用され得るように、同様に定義されてもよいことを理解されたい。
別の実施例では、例えば、ユーザインターフェースは、ユーザのジェスチャの場所に表示されなければならない。以下の多くの実施形態に示されるように、いくつかのユーザインターフェースは、ユーザインターフェースがユーザによって定義された空間内の特定の点において生じるように、単に、「オンザフライで」作成されてもよい。前述のような類似位置特定概念が、この場合の同様に使用されてもよい。
例えば、ユーザが、その腕を空間内で伸ばし、その指で特定のジェスチャを行い、ARシステムに、ユーザインターフェースがその場所において取り込まれるべきであることを示してもよい。この場合、前述と同様に、世界内のARシステムの場所は、把握される(例えば、GPS、Bluetooth(登録商標)、トポロジマップ等)。ARシステムの種々のセンサおよび/またはカメラは、ARシステムに関係するユーザの場所のジェスチャを決定してもよい(例えば、ユーザインターフェースを生成するためのコマンドが意味するジェスチャを認識した後)。
前述のように、いったんARシステムカメラまたはセンサに関係するジェスチャの場所が決定されると、いくつかの三角測量技法が、使用され(例えば、平行移動ベクトル等)、その場所の世界座標を決定してもよい。いったん場所の世界座標が決定されると、所望のユーザインターフェースが、その特定の場所において生じるように生成され得る。
以下に説明されるユーザインターフェースのうちのいくつかにおける別のテーマは、いくつかの仮想コンテンツのための基準フレームが、現在第1の基準フレームに結び付けられている仮想コンテンツが別の基準フレームに結び付けられるように修正されてもよいことである。以下に説明されるいくつかの実施形態において明白であるように、ユーザは、手中心ユーザインターフェースを通してアプリケーションを開いてもよい。アプリケーションは、ユーザが将来における容易な視認のために記憶することを所望し得る、友人のプロファイルページを開いてもよい。1つ以上の実施形態では、ユーザは、プロファイルページに対応する仮想オブジェクトまたは仮想ボックス(現在、手中心基準フレームに関係して表示されている)を取り上げ、もはや手中心基準フレームに結び付けられず、代わりに、世界中心基準フレームに結び付けられるように、それを修正してもよい。
例えば、ARシステムは、ユーザのジェスチャ(例えば、投げるジェスチャ、アプリケーションを取り上げ、それを第1の基準フレームから離して置くジェスチャ等)を認識し、システムに、ARユーザが特定の仮想オブジェクトの基準フレームを修正することを所望することを示してもよい。いったんジェスチャが認識されると、ARシステムは、仮想コンテンツの世界座標(例えば、世界内のARシステムの既知の場所に関係する仮想コンテンツの場所に基づいて)を決定し、もはや手中心基準フレームに結び付けられておらず、代わりに、世界座標基準フレームに結び付けられるように、仮想コンテンツの1つ以上のパラメータ(例えば、原点座標フィールド等)を修正してもよい。
さらに別の実施形態では、ARシステムは、特定の仮想アイコンが選択されたことを認識し、ユーザの手とともに移動しているように見えるように(例えば、ユーザが特定の仮想アプリケーションを保持しているかのように等)、仮想アイコンを移動させなければならない。この目的を達成するために、ARシステムは、最初に、ジェスチャ(例えば、ユーザの指で把持する運動等)を認識し、次いで、ユーザの指/手の座標を決定してもよい。同様に、仮想アイコンの世界座標もまた、前述のように、把握される(例えば、特定の基準フレームに関係する仮想コンテンツの既知の場所および基準フレームと世界中心基準フレームとの間の既知の関係を通して)。両座標が把握されるため、仮想コンテンツは、ユーザの指の移動を鏡映するように移動され得る。
以下の種々の実施形態に説明されるように、ユーザの周囲の任意の空間が、ユーザがシステムと相互作用し得るように、ユーザインターフェースに変換されてもよい。したがって、ARシステムは、マウス/キーボード等の物理ユーザインターフェースを要求せず(但し、トーテムは、前述のように、基準点として使用されてもよい)、代わりに、仮想ユーザインターフェースが、任意の場所に、任意の形態で作成され、ユーザがARシステムと相互作用するのに役立ち得る。一実施形態では、種々の仮想ユーザインターフェースの所定のモデルまたはテンプレートが存在してもよい。前述のように、設定の間、ユーザは、好ましいタイプ(または複数のタイプ)の仮想UI(例えば、身体中心UI、頭部-中心UI、手中心UI等)を指定してもよい。
代替として、または加えて、種々のアプリケーションは、その独自のタイプの仮想UIに関連付けられてもよい。代替として、または加えて、ユーザは、UIをカスタマイズし、最も快適となり得るものを作成してもよい。例えば、ユーザは、単に、その手の運動を使用して、仮想UIを空間内に「描写」してもよく、種々のアプリケーションまたは機能性は、自動的に、描写される仮想UIを取り込んでもよい。
図140を先に参照すると、ユーザインターフェースを表示する例示的フロー図が、図示される。ステップ14002では、ARシステムは、特定のUIを識別してもよい。UIのタイプは、ユーザによって事前定義されてもよい。システムは、少なくとも部分的にユーザ入力(例えば、ジェスチャ、視覚的データ、聴覚的データ、感覚データ、直接コマンド等)に基づいて、取り込まれるUIの必要性を識別してもよい。ステップ14004では、ARシステムは、仮想UIのためのデータを生成してもよい。例えば、UIの制約、一般的構造、形状等に関連付けられたデータが、生成されてもよい。加えて、ARシステムは、ARシステムがユーザの物理場所に関係してUIを表示し得るように、ユーザの物理場所のマップ座標を決定してもよい。例えば、UIが身体中心である場合、ARシステムは、リング型UIがユーザの周囲に表示され得るように、ユーザの物理姿勢の座標を決定してもよい。または、UIが手中心である場合、ユーザの手のマップ座標が、決定される必要があり得る。これらのマップ点は、FOVカメラ、感覚入力、または任意の他のタイプの収集されるデータを通して受信されたデータを通して導出されてもよいことを理解されたい。
ステップ14006では、ARシステムは、データをユーザデバイスにクラウドから送信してもよい。他の実施形態では、データは、ローカルデータベースからディスプレイ構成要素に送信されてもよい。ステップ14008では、UIは、送信されたデータに基づいて、ユーザに表示される。
いったん仮想UIが作成されると、ARシステムは、ステップ14010において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想UI上に生成してもよい。例えば、UIは、ユーザの身体の周囲における身体中心リングであってもよい。ARシステムは、次いで、コマンドを待機してもよく、認識される場合(ステップ14012)、コマンドに関連付けられた仮想コンテンツが、ユーザに表示されてもよい。
ここで図141を参照すると、ユーザインターフェースの表示を説明するより具体的フロー図14100が、説明される。14102では、ARシステムは、所望の仮想UIに関する入力を受信してもよい。例えば、ARシステムは、検出されたジェスチャ、音声コマンド等を通して、これを検出してもよい。14104では、ARシステムは、ユーザ入力に基づいて、UIのライブラリからUIを識別し、UIを表示するために、必要データを読み出してもよい。
14106では、ARシステムは、識別されたUIに関連付けられた座標フレームまたは基準フレーム系を決定してもよい。例えば、前述のように、いくつかのUIは、頭部中心であってもよく、その他は、手中心、身体中心等であってもよい。14108では、いったん座標フレームタイプが決定されると、ARシステムは、仮想ユーザインターフェースがユーザの場所に対して表示されなければならない場所を決定する。例えば、識別されたUIが身体中心UIである場合、ARシステムは、ユーザの身体の中心軸/点の場所(例えば、世界座標フレーム内のユーザの場所)を決定してもよい(例えば、マップ点、位置特定技法等)。
いったん本点/軸が位置特定されると、座標フレームの原点(例えば、x、y、z座標フレーム内の(0,0,0))として設定され得る(14110)。言い換えると、仮想UIが表示されるべき場所は、決定された座標フレーム(例えば、ユーザの身体の中心)を参照して決定されるであろう。いったんユーザの身体の中心が決定されると、仮想UIが取り込まれなければならない場所を決定するために、計算が行われ得る(14112)。14114では、所望のUIは、決定されたマップ点に取り込まれ得る。
前述の他の実施形態では、カスタマイズされた仮想ユーザインターフェースは、単に、ユーザの指の場所に基づいて、オンザフライで作成されてもよい。例えば、前述のように、ユーザは、単に、仮想境界を「描写」してもよく、ユーザインターフェースは、その仮想境界内に取り込まれてもよい。ここで図142を参照すると、例示的フロー図14200が、図示される。
ステップ14202では、ARシステムは、ユーザの指または手の移動を検出する。本移動は、ユーザがユーザインターフェースを作成することを所望することを示す所定のジェスチャであってもよい(ARシステムは、例えば、ジェスチャを所定のジェスチャのマップと比較してもよい)。本検出に基づいて、ARシステムは、ステップ14204において、ジェスチャを有効ジェスチャとして認識してもよい。ステップ14206では、ARシステムは、クラウドサーバを通して、ユーザの指または手の移動に伴って、仮想UIを正しい場所にリアルタイムで表示するために、世界座標フレーム内のユーザの指/手の位置に関連付けられた場所を読み出してもよい。
ステップ14208では、ARシステムは、ユーザのジェスチャを鏡映するUIを作成する。これは、ユーザの指に関連付けられた場所を識別し、ユーザインターフェースをその場所に表示することによって行われてもよい。ステップ14210では、UIは、決定された場所を使用して、リアルタイムで正しい位置に表示され得る。
ARシステムは、次いで、システムに、ユーザインターフェースの作成が行われることを示す、指の別の移動または別の所定のジェスチャを検出してもよい(ステップ14212)。例えば、ユーザは、その指の運動を停止し、ARシステムに、UIの「描写」の停止を示してもよい。ステップ14214では、ARシステムは、UIをユーザの指の移動によって描写される境界内の場所に表示する。したがって、カスタムユーザインターフェースが、作成され得る。
ジェスチャ追跡/UI作成等の原理を使用して、いくつかの例示的ユーザアプリケーションが、ここで説明される。以下に説明されるアプリケーションは、いくつかの実施形態では、システム上に別個にインストールされ得る、ハードウェアおよび/またはソフトウェア構成要素を有してもよい。他の実施形態では、システムは、種々の産業等において使用されてもよく、以下の実施形態のうちのいくつかを達成するために修正されてもよい。
以下に説明される特定の実施形態は、多くの場合、ジェスチャを使用して、ARシステムと通信するが、前述の任意の他のユーザ入力も同様に、使用されてもよいことを理解されたい。例えば、ジェスチャに加え、ユーザインターフェースおよび/または他の仮想コンテンツ(例えば、アプリケーション、ページ、ウェブサイト等)が、音声コマンド、直接入力、トーテム、視線追跡入力、眼追跡入力、または上記で詳細に論じられる任意の他のタイプのユーザ入力に応答して、レンダリングされてもよい。
以下のセクションは、ARシステムを通して表示され、ユーザと相互作用することを可能にし得る、ユーザインターフェースの種々の実施形態を提供する。ここで図85Aを参照すると、図85Aは、例証される実施形態の1つによる、ARシステム(図85A-85Cには図示せず)によってレンダリングされたユーザインターフェース構造物8500とのジェスチャを介して相互作用するユーザを示す。
特に、図85Aは、種々のユーザ選択可能仮想アイコンを有する、略環状レイアウトまたは構成の仮想ユーザインターフェース8512と相互作用するユーザのシナリオ8500を示す。略環状レイアウトまたは構成は、図79Eに図示されるものに実質的に類似する。
ユーザ選択可能仮想アイコンは、アプリケーション(例えば、ソーシャルメディアアプリケーション、ウェブブラウザ、電子メール等)、機能、メニュー、仮想部屋、または仮想空間等を表してもよい。ユーザは、例えば、スワイプジェスチャを行ってもよい。ARシステムは、スワイプジェスチャを検出し、スワイプジェスチャを略環状レイアウトまたは構成のユーザインターフェースをレンダリングするための命令として解釈する。ARシステムは、次いで、例証される実施形態に示されるように、ユーザの腕の範囲内にある距離にユーザから離間されて、少なくとも部分的にユーザを囲繞するように見えるように、略環状レイアウトまたは構成の仮想ユーザインターフェース8512をユーザの視野にレンダリングする。前述のように、ユーザインターフェース座標は、ユーザの身体に結び付けられるように、決定されたユーザの中心の場所に結び付けられてもよい。
図85Bは、別の例証される実施形態による、ARシステム(図85Bには図示せず)によってレンダリングされたユーザインターフェース仮想構造物8512とジェスチャを介して相互作用するユーザの別のシナリオ8502を示す。
略環状レイアウトまたは構成の仮想ユーザインターフェース8512は、種々のユーザ選択可能仮想アイコンをスクロール可能形態で提示してもよい。ユーザは、例えば、手の掃引運動を用いてジェスチャし、種々のユーザ選択可能仮想アイコンをスクロールさせてもよい。例えば、ユーザは、それぞれ、左(例えば、反時計回り)または右(例えば、時計回り)方向にスクロールを生じさせるために、掃引運動をユーザの左またはユーザ右に行ってもよい。
ユーザは、例えば、指示またはタッチジェスチャを行い、ユーザ選択可能仮想アイコンのうちの1つを近位に識別してもよい。ARシステムは、指示またはタッチジェスチャを検出し、指示またはタッチジェスチャを対応するアプリケーション、機能、メニュー、または仮想部屋もしくは仮想空間を開くまたは実行する命令として解釈する。ARシステムは、次いで、ユーザ選択に基づいて、適切な仮想コンテンツをレンダリングする。
図85Cは、さらに別の例証される実施形態による、ARシステム(図39Cには図示せず)によってレンダリングされたユーザインターフェース仮想構造物8512とジェスチャを介して相互作用するユーザのさらに別のシナリオ8504を示す。
図85Cは、図85Aおよび85Bの種々のユーザ選択可能仮想アイコンの略環状レイアウトまたは構成の仮想ユーザインターフェース8512と相互作用するユーザを示す。特に、ユーザは、ユーザ選択可能仮想アイコンのうちの1つを選択する。それに応答して、ARシステムは、対応するアプリケーション、機能、メニュー、または仮想部屋もしくは仮想空間を開くまたは実行する。例えば、ARシステムは、図85Cに図示されるように、対応するアプリケーション8514のための仮想ユーザインターフェースをレンダリングしてもよい。代替として、ARシステムは、ユーザ選択に基づいて、対応する仮想部屋または仮想空間をレンダリングしてもよい。
ここで図86Aを参照すると、図86Aは、例証される実施形態の1つによる、ARシステム(図86Aには図示せず)によってレンダリングされたユーザインターフェース仮想構造物8612とジェスチャを介して相互作用するユーザのシナリオ8602を示す。
特に、図86Aは、物理環境における空間内にホバリングするまたは物理環境の壁等の物理表面に懸架もしくは糊付された新しい仮想作業ポータルまたは構造物を作成するためのジェスチャを行うユーザを示す。ユーザは、例えば、図86Aに示されるように、2つの腕のジェスチャを行う、例えば、中心点から仮想作業ポータルまたは構造物の左上および右下角を表す場所に外向きにドラッグしてもよい。仮想作業ポータルまたは構造物8612は、例えば、長方形として表されてもよく、ユーザジェスチャは、仮想作業ポータルまたは構造物の位置だけではなく、また、寸法も確立する。
仮想作業ポータルまたは構造物8612は、他の仮想コンテンツ、例えば、アプリケーション、機能、メニュー、ツール、ゲーム、および仮想部屋または仮想空間へのアクセスを提供してもよい。ユーザは、いったん仮想作業ポータルまたは構造物が作成または開かれると、ナビゲートするための種々の他のジェスチャを採用してもよい。
図86Bは、例証される実施形態の1つによる、ARシステム(図86Bには図示せず)によってレンダリングされたユーザインターフェース仮想構造物8614とのジェスチャを介して相互作用するユーザの別のシナリオ8604を示す。
特に、図86Bは、トーテムとしての役割を果たす、物理オブジェクトの物理表面8614上に新しい仮想作業ポータルまたは構造物を作成するためのジェスチャを行うユーザを示す。ユーザは、例えば、2つの指のジェスチャ、例えば、中心点から仮想作業ポータルまたは構造物の左上および右下角が位置すべき場所に外向きドラッグする、挟んだ状態を広げるジェスチャを行ってもよい。仮想作業ポータルまたは構造物は、例えば、長方形として表されてもよく、ユーザジェスチャは、仮想作業ポータルまたは構造物の位置だけではなく、また、寸法も確立する。
図86Cは、例証される実施形態の1つによる、ARシステム(図86Cには図示せず)によってレンダリングされたユーザインターフェース仮想構造物8616とジェスチャを介して相互作用するユーザの別のシナリオ8606を示す。
特に、図86Cは、物理テーブルまたは机の上側表面等の物理表面上に新しい仮想作業ポータルまたは構造物8616を作成するためのジェスチャを行うユーザを示す。ユーザは、例えば、中心点から仮想作業ポータルまたは構造物の左上および右下角が位置すべき場所に外向きドラッグする、例えば、2つの腕のジェスチャを行ってもよい。仮想作業ポータルまたは構造物は、例えば、長方形として表されてもよく、ユーザジェスチャは、仮想作業ポータルまたは構造物の位置だけではなく、また、寸法も確立する。
図86Cに図示されるように、具体的アプリケーション、機能、ツール、メニュー、モデル、または仮想部屋もしくは仮想空間が、具体的物理オブジェクトまたは表面に割り当てられる、または関連付けられることができる。したがって、定義された物理構造または物理表面上もしくはそれに近接して行われるジェスチャに応答して、ARシステムは、自動的に、物理構造または物理表面に関連付けられたそれぞれのアプリケーション8618(または、例えば、機能、ツール、メニュー、モデル、または仮想部屋もしくは仮想空間)を開き、ユーザインターフェースをナビゲートする必要性を排除する。前述のように、仮想作業ポータルまたは構造物は、他の仮想コンテンツ、例えば、アプリケーション、機能、メニュー、ツール、ゲーム、3次元モデル、および仮想部屋または仮想空間へのアクセスを提供してもよい。ユーザは、いったん仮想作業ポータルまたは構造物が作成または開かれると、ナビゲートするための種々の他のジェスチャを採用してもよい。
図87A-87Cは、例証される実施形態の1つによる、それぞれ、ARシステム(図87A-87Cには図示せず)によってレンダリングされた種々のユーザインターフェース仮想構造物とジェスチャを介して相互作用するユーザのシナリオ8702、8704、および8706を示す。
ユーザインターフェースは、直接入力またはプロキシ入力として表される、少なくとも2つの別個のタイプのユーザ相互作用の一方または両方を採用してもよい。直接入力は、従来のドラッグアンドドロップタイプユーザ相互作用に対応し、ユーザは、例えば、ポインティングデバイス(例えば、マウス、トラックボール、指)を用いて、仮想コンテンツのインスタンスのアイコン化を選択し、選択されたアイコンを標的(例えば、フォルダ、例えば、アプリケーションの他のアイコン化)にドラッグする。
プロキシ入力は、ユーザの眼で具体的アイコン化を注視またはそれに焦点を当て、次いで、例えば、トーテムを介して、ある他のアクション(例えば、ジェスチャ)を実行することによって、ユーザが仮想コンテンツのインスタンスのアイコン化を選択することに対応する。さらなる別個のタイプのユーザ入力は、投げる入力として表される。投げる入力は、ユーザが第1のジェスチャ(例えば、把持するまたは挟む)を行い、仮想コンテンツのインスタンスのアイコン化を選択した後、第2のジェスチャ(例えば、標的に向かって腕を掃引または投げる運動)を行い、仮想コンテンツを少なくとも概して第2のジェスチャによって示される方向に移動させるためのコマンドを示すことに対応する。
投げる入力は、典型的には、標的(例えば、フォルダ)を示すための第3のジェスチャ(例えば、解放)を含むであろう。第3のジェスチャは、ユーザの手が、標的と整合される、または少なくとも標的と近接するときに行われてもよい。第3のジェスチャは、ユーザの手が標的の一般的方向に移動しているときに行われてもよいが、標的とまだ整合または近接していない場合があり、標的に近接する他の仮想コンテンツが存在しないと仮定して、意図される標的をARシステムに曖昧にするであろう。
したがって、ARシステムは、ジェスチャ(例えば、投げるジェスチャ、指示ジェスチャ)を検出し、それに応答し、これは、レンダリングまたは移動されるべき仮想コンテンツを示す自由形状場所仕様を可能にする。例えば、ユーザが、仮想ディスプレイ、モニタ、または画面を所望する場合、ユーザは、仮想ディスプレイ、モニタ、または画面を現せる、物理環境内の場所をユーザの視野内で規定してもよい。これは、物理デバイスへのジェスチャ入力とは対照的であって、ジェスチャは、物理デバイスを動作させてもよいが(例えば、オン/オフ、メディアコンテンツのチャネルまたはソースの変更)が、物理デバイスの場所を変化させない。
加えて、ユーザが、仮想コンテンツの第1のインスタンス(例えば、ファイルを表すアイコン)と第2のインスタンス(例えば、記憶フォルダまたはアプリケーションを表すアイコン)を論理的に関係付けることを所望する場合、ジェスチャは、仮想コンテンツの第1のインスタンスのための目的地を定義する。
特に、図87Aは、仮想コンテンツを選択するための第1のジェスチャを行うユーザを示す。ユーザは、例えば、仮想作業ポータルまたは構造物8712を親指と人差し指との間に挟み、保持して現す、挟むジェスチャを行ってもよい。ARシステムが仮想作業ポータルまたは構造物の選択(例えば、把持する、挟む、または保持する)を検出したことに応答して、ARシステムは、例えば、図87Aに示されるように、仮想作業ポータルまたは構造物を視覚的強調とともに再レンダリングしてもよい。視覚的強調は、ユーザに、ARシステムの断片が選択されていると検出した仮想コンテンツについてキューを出し、ユーザが必要に応じて選択を補正することを可能にする。例えば、ハイライト、マーキー、明滅、色変更等、他のタイプの視覚的キューまたは強調が、採用されてもよい。
特に、図87Bは、仮想作業ポータルまたは構造物を物理オブジェクト8714、例えば、ユーザが仮想作業ポータルまたは構造物をマップすることを所望する壁の表面に移動させるための第2のジェスチャを行うユーザを示す。ユーザは、例えば、挟むジェスチャを維持しながら、掃引タイプジェスチャを行ってもよい。いくつかの実装では、ARシステムは、例えば、近接度および/または運動の方向のいずれかに基づいて、ユーザが意図する物理オブジェクトを決定してもよい。
例えば、ユーザが単一物理オブジェクトに向かって掃引運動を行う場合、ユーザは、物理オブジェクトの実際の場所に達せずに、ユーザの手で解放ジェスチャを行ってもよい。解放ジェスチャが行われるとき、掃引ジェスチャに近接する、またはそれに並ぶ他の物理オブジェクトが存在しないため、ARシステムは、ユーザが意図した物理オブジェクトの識別を明確に決定することができる。これは、いくつかの点において、投げる運動に類似すると見なされ得る。
ARシステムが見掛け標的物理オブジェクトを検出したことに応答して、ARシステムは、検出された意図される標的と同範囲に現れる、または少なくともそれに近接するように、視覚的キューをユーザの視野内に位置付けられるようにレンダリングしてもよい。例えば、ARシステムは、図87Bに示されるように、検出された意図される標的を包囲する境界をレンダリングしてもよい。ARシステムはまた、例えば、図87Bに示されるように、仮想作業ポータルまたは構造物を視覚的強調とともにレンダリングし続けてもよい。視覚的強調は、ユーザに、ARシステムが選択されていると検出した物理オブジェクトまたは表面についてキューを出し、ユーザが必要に応じて選択を補正することを可能にする。例えば、ハイライト、マーキー、明滅、色変更等の他のタイプの視覚的キューまたは強調が、採用されてもよい。
特に、図87Cは、仮想作業ポータルまたは構造物を識別された物理オブジェクト、例えば、壁の表面にマップし、ARシステムに、仮想作業ポータルまたは構造物を物理オブジェクトにマップさせるためのコマンドを示す第3のジェスチャを行うユーザを示す。ユーザは、例えば、挟んだ状態を解放し、仮想作業ポータルまたは構造物8716の解放をシミュレートする、解放ジェスチャを行ってもよい。
図88A-88Cは、例証される実施形態の1つによる、ユーザの手がトーテムとしての役割を果たす、ARシステム(図88A-8Cには図示せず)によってレンダリングされたいくつかのユーザインターフェース仮想構造物(それぞれ、8802、8804、および8806)を示す。
図88Aに図示されるように、第1の定義されたジェスチャ(例えば、ユーザが手を開く、または広げた手のひらを表示する、ユーザが手を挙げる)の検出に応答して、ARシステムは、ユーザの手の一部上に現れる、またはそれに結び付けられるように、一次ナビゲーションメニューをユーザの視野内にレンダリングする。例えば、高レベルナビゲーションメニューアイテム、アイコン、またはフィールドが、親指以外の各指上に現れるようにレンダリングされてもよい。親指は、ポインタとしての役割を果たすように自由に残されてもよく、これは、ユーザが、第2の定義されたジェスチャのうちの1つを介して、例えば、親指が対応する指先端にタッチすることによって、高レベルナビゲーションメニューアイテムまたはアイコンのうちの所望の1つを選択することを可能にする。
メニューアイテム、アイコン、またはフィールド8812は、例えば、ユーザ選択可能仮想コンテンツ、例えば、アプリケーション、機能、メニュー、ツール、モデル、ゲーム、および仮想部屋または仮想空間を表してもよい。
図88Bに図示されるように、定義されたジェスチャ(例えば、ユーザが指を広げる)の検出に応答して、ARシステムは、ユーザの手の一部上に現れる、またはそれに結び付けられるように、メニューを拡張し、より低いレベルナビゲーションメニュー8814をユーザの視野内にレンダリングする。例えば、いくつかのより低いレベルナビゲーションメニューアイテムまたはアイコン8814は、親指以外の指のそれぞれ上に現れるようにレンダリングされてもよい。再び、例えば、親指は、ポインタとしての役割を果たすように自由に残されてもよく、これは、ユーザが、親指が対応する指の対応する部分にタッチすることによって、より低いレベルナビゲーションメニューアイテムまたはアイコンのうちの所望の1つを選択することを可能にする。
図88Cに図示されるように、別の定義されたジェスチャ8816(例えば、ユーザが、他方の手からの指で手のひらに円を描写する)の検出に応答して、ARシステムは、ユーザの手の一部上に現れる、またはそれに結び付けられるように、メニューをスクロールし、ナビゲーションメニューのフィールドをユーザの視野内にレンダリングする。例えば、いくつかのフィールドは、ある指から次の指に連続的にスクロールするように見えてもよい。新しいフィールドは、視野の中にスクロールし、ある方向(例えば、親指に近接する)から進入してもよく、他のフィールドは、視野からスクロールし、他の方向(例えば、小指に近接する)から退出してもよい。スクロールの方向は、手のひら内の指の回転方向に対応してもよい。例えば、フィールドは、時計回り回転ジェスチャに応答して、ある方向にスクロールし、反時計回り回転ジェスチャに応答して、第2の反対方向にスクロールしてもよい。
(他のUI実施形態)
前述のように、ユーザは、一連のジェスチャ、トーテム、UIハードウェア、およびシステムと相互作用する他の一意のモードを通して、ARシステムのユーザインターフェースと通信してもよい。以下の実施形態は、UI体験のいくつかの実施例を表す。以下の一覧は、包括的ではなく、システムと相互作用する他の実施形態も同様に、使用されてもよいことを理解されたい。
前述のように、ユーザは、一連のジェスチャ、トーテム、UIハードウェア、およびシステムと相互作用する他の一意のモードを通して、ARシステムのユーザインターフェースと通信してもよい。以下の実施形態は、UI体験のいくつかの実施例を表す。以下の一覧は、包括的ではなく、システムと相互作用する他の実施形態も同様に、使用されてもよいことを理解されたい。
システムと相互作用する以下の方法は、トーテムの有無にかかわらず、使用されてもよい。以下の実施形態は、ユーザが、システムをオンにする、所望のアプリケーションを開始または終了させる、ウェブをブラウズする、アバタを作成する、コンテンツをピアと共有する等し得る、異なる方法を表す。以下の一連の例示的実施形態は、包括的ではなく、単に、ユーザがARシステムと相互作用し得る例示的ユーザインターフェース/ユーザ体験を表すことを理解されたい。
アバタ
前述のように、ユーザインターフェースは、種々の入力に応答してもよい。ARシステムのユーザインターフェースは、例えば、手入力、例えば、ジェスチャ、タッチ、マルチタッチ、および/または複数の手入力に応答してもよい。ARシステムのユーザインターフェースは、例えば、眼入力、例えば、眼ベクトル、眼条件(例えば、開放/閉鎖)等に応答してもよい。
アバタ
前述のように、ユーザインターフェースは、種々の入力に応答してもよい。ARシステムのユーザインターフェースは、例えば、手入力、例えば、ジェスチャ、タッチ、マルチタッチ、および/または複数の手入力に応答してもよい。ARシステムのユーザインターフェースは、例えば、眼入力、例えば、眼ベクトル、眼条件(例えば、開放/閉鎖)等に応答してもよい。
図123Aを先に参照すると、前述の1つ以上のユーザ入力(例えば、例証される実施形態に示されるように、指示された指ジェスチャを用いたカップ状の手のひら等)に応答して、システムは、ユーザに種々の選択肢に導き得る、アバタを生成してもよい。1つ以上の実施形態では、アバタは、ユーザの表現であってもよい。要するに、ユーザは、「人形遣い」としてレンダリングされ、ARシステムのユーザアバタは、アイコンの集合を提示し、そのうちのいずれかが、ユーザによって選択され得る。
場面12302に示されるように、ユーザは、ARシステムによって認識される所定のジェスチャ(例えば、手で引っ張るジェスチャ、指ジェスチャ等)を通して、アバタを所望の場所から「引っ張って」もよい。場面12304に示されるように、アバタは、取り込まれている。
アバタは、いくつかの実施形態では、ユーザによって事前選択されてもよく、または他の実施形態では、システムは、毎回、ユーザに異なるアバタを提示してもよい。アバタの知覚を生成するであろうジェスチャもまた、事前決定されてもよい。他の実施形態では、異なる手のジェスチャは、異なるアバタに関連付けられてもよい。例えば、手で引っ張るジェスチャは、図123Aに示されるアバタを生成してもよいが、指を交差させるジェスチャは、例えば、人魚のアバタ(図示せず)を生成してもよい。他の実施形態では、異なるアプリケーションは、その独自の一意のアバタを有してもよい。例えば、ユーザがソーシャルメディアアプリケーションを開くことを所望する場合、ソーシャルメディアアプリケーションは、その独自の特定のアバタに関連付けられてもよく、これは、アプリケーションと相互作用するために使用されてもよい。
アバタを生成する/作成する/取り込む、手のジェスチャを検出する多くの方法が存在し得る。ジェスチャは、世界カメラ、センサ、手のジェスチャ触知、または前述の任意の他の入力デバイスによって検出または認識されてもよい。いくつかの例示的アプローチが前述された。
ここで図123Bを参照すると、いったんアバタが取り込まれると、付加的選択肢が、アバタに隣接してレンダリングされ、ユーザが、1つ以上の選択肢を選定するのに役立ってもよい。図123Bに示されるように、アバタは、ユーザが選択肢を選択するにつれて、ユーザとともに移動およびプレースする、動的アバタであってもよい。例示的実施形態に示されるように、図123Bにおけるアバタは、ユーザが別の手のジェスチャを通して選択し得る、種々の選択肢(場面12306)を保持してもよい。場面12308に示されるように、ユーザは、アバタに隣接してレンダリングされた提示されるアイコン(例えば、電話、ゲーム、連絡等)から特定のアプリケーションを選択してもよい。ユーザは、例えば、場面12308に示されるように、「ゲーム」アイコンを選択してもよい。いったんアイコンが選択されると、アバタは、ゲームを開いてもよい(12308に示されるように、アバタの手のジェスチャを使用して)。ゲームは、次いで、3Dでユーザにレンダリングされてもよい。一実施形態では、アバタは、ユーザがゲームを選択した後、消失してもよく、または他の実施形態では、アバタは、残ってもよく、ユーザは、他の機能性のための他の選択肢/アイコンを同様に自由に選択してもよい。
ここで図123Cを参照すると、ユーザは、アバタを通して別の選択肢を選択してもよい。例示的実施形態では、ユーザは、ユーザが通信することを所望し得る「友人」を選択してもよい(場面12310)。友人は、次いで、場面12312に示されるように、アバタとしてレンダリングされてもよい。
1つ以上の実施形態では、アバタは、単に、システムの別のアバタまたはゲーム内のキャラクタを表してもよい。または、他のアバタは、別のユーザのアバタであってもよく、2人のユーザは、そのアバタを通して相互に相互作用可能であってもよい。例えば、第1のユーザは、ファイルを別のユーザと共有することを所望してもよい。本アクションは、両システムにアバタを取り込むことによって、遊び心に満ちた様式で動画化されてもよい。
図123Cに示されるように、他のアバタを生成することで、アバタは、場面12312に示されるように、相互に相互作用し、仮想オブジェクトを相互にパスしてもよい。例えば、第1のアバタは、仮想ゲームに関連する仮想オブジェクトを他のアバタにパスしてもよい。図123Dは、アバタと相互作用するために使用され得る、詳細な入力制御12314を示す。図123Dに示されるように、種々のジェスチャは、ユーザ入力挙動のための使用されてもよい。図123Dに示されるように、いくつかのタイプのアクションは、仮想コンテンツの場所に基づいてもよい一方、その他は、仮想コンテンツに依存しなくてもよい。
(押出)
別の実施形態では、UIは、押出テーマに従ってもよい。例えば、図124Aに示されるように、ユーザは、三角形ジェスチャ12402(例えば、例証される実施形態では、人差し指をともに使う)を行い、ユーザインターフェースを開いてもよい。三角形ジェスチャに応答して、ARシステムは、図124Bに示されるように、フローティング式仮想アイコン12404の集合を押出してもよい。1つ以上の実施形態では、仮想アイコンは、フローティング式ブロックであってもよく、または、単に、特定のアプリケーションもしくは機能性に関連付けられたロゴであってもよい。図124Bに示される実施形態では、ジェスチャに応答して、メールアプリケーション、音楽アプリケーション、電話アプリケーション等が取り込まれる。
別の実施形態では、UIは、押出テーマに従ってもよい。例えば、図124Aに示されるように、ユーザは、三角形ジェスチャ12402(例えば、例証される実施形態では、人差し指をともに使う)を行い、ユーザインターフェースを開いてもよい。三角形ジェスチャに応答して、ARシステムは、図124Bに示されるように、フローティング式仮想アイコン12404の集合を押出してもよい。1つ以上の実施形態では、仮想アイコンは、フローティング式ブロックであってもよく、または、単に、特定のアプリケーションもしくは機能性に関連付けられたロゴであってもよい。図124Bに示される実施形態では、ジェスチャに応答して、メールアプリケーション、音楽アプリケーション、電話アプリケーション等が取り込まれる。
1つ以上の実施形態では、押出は、仮想オブジェクト(この場合、アイコン、選択可能オブジェクト等)を固定された断面プロファイル上に取り込むことを指し得る。断面プロファイルは、回転され、転向されてもよく、種々のブロックは、並べ替え等されてもよい。
図124Bに示されるように、ブロックは、水平に開かれ、次いで、ユーザの選好に基づいて並べ替えられてもよい。ユーザが、特定のアイコンを選択する場合、図124Cに示されるように、選択されたアイコンの下位集合である、より多くのアイコンが、選択されたアイコンの下にレンダリングされてもよい。前述のように、ブロックは、図124Dに示されるように、断面平面の周囲で回転され、特定のアイコンのより多くの選択肢を開いてもよい。例えば、ユーザが、特定のアプリケーションを開き、そのアプリケーション内の友人のプロファイルを選択することを選定することを所望する場合、ユーザは、図124Eおよび124Fの断面図に示されるように、種々のプロファイルのためのアイコンを押出してもよい。
図124Gに示されるように、ユーザは、次いで、仮想アイコンが、断面平面から「引っ張られ」、ユーザの手の中にネスト化されるように、手の保持ジェスチャを用いて、特定のアイコンを選択してもよい。図124Gに示されるように、ユーザは、ユーザの手を用いて、選択された仮想アイコンを操作してもよい(12406)。本質的に、仮想アイコンまたはブロックは、断面平面から生じ、ユーザは、アイコンまたはブロックをその手の中に把持してもよい。
例えば、ユーザは、特定の友人のプロファイルをより詳細に視認することを所望してもよい。図124Hに示されるように、ユーザは、特定の手のジェスチャ(例えば、図124Hに示されるような閉鎖および開放ジェスチャ)を用いて、単に、丸められた1枚の紙を開くかのように、プロファイルページ12408を開いてもよい(図124Iおよび124J)。いったんユーザが、友人のプロファイルページに目を通し終わると12410、ユーザは、同様に、図124Kに示されるように、仮想ページを丸め戻し、それをユーザが以前に押出した一連のブロックに戻してもよい(図124L)。図124Mは、アバタと相互作用するために使用され得る、詳細な入力制御12620を示す。図124Mに示されるように、種々のジェスチャは、ユーザ入力挙動のために使用されてもよい。図124Mに示されるように、いくつかのタイプのアクションは、仮想コンテンツの場所に基づいてもよい一方、その他は、仮想コンテンツに依存しなくてもよい。
(長手袋)
さらに別のアプローチでは、UIは、長手袋テーマに従ってもよく、ユーザの手(この場合)または任意の他の身体部分が、回転軸として使用されてもよく、アイコンは、ユーザの腕上に現れるかのようにレンダリングされてもよい。図125Aおよび125Bに示されるように、ユーザは、システムによって認識される所定のジェスチャ12502(例えば、本実施例では、腕をその他方の手で握る)を通して、種々のアイコンの生成をユーザの腕上に生じさせてもよい。図125Cに示されるように、システムは、その腕を横断するユーザのドラッグジェスチャ12506に基づいて、自動的にアイコン12504を生成してもよい。ドラッグジェスチャ12506は、仮想アイコン12506の取り込みを生じさせ得る。前述の実施例の場合のように、仮想アイコンは、アプリケーション、友人のプロファイル、またはユーザによってさらに選択され得る、任意の他のタイプの機能性であってもよい。
さらに別のアプローチでは、UIは、長手袋テーマに従ってもよく、ユーザの手(この場合)または任意の他の身体部分が、回転軸として使用されてもよく、アイコンは、ユーザの腕上に現れるかのようにレンダリングされてもよい。図125Aおよび125Bに示されるように、ユーザは、システムによって認識される所定のジェスチャ12502(例えば、本実施例では、腕をその他方の手で握る)を通して、種々のアイコンの生成をユーザの腕上に生じさせてもよい。図125Cに示されるように、システムは、その腕を横断するユーザのドラッグジェスチャ12506に基づいて、自動的にアイコン12504を生成してもよい。ドラッグジェスチャ12506は、仮想アイコン12506の取り込みを生じさせ得る。前述の実施例の場合のように、仮想アイコンは、アプリケーション、友人のプロファイル、またはユーザによってさらに選択され得る、任意の他のタイプの機能性であってもよい。
図125Dに示されるように、いったんジェスチャが取り込まれると、ユーザは、システムによって認識される別のジェスチャ12508(例えば、2つの指)を用いて、腕の周囲でアイコンの集合を回転させてもよい。これは、より多くの仮想アイコンを、図125Eに示されるように、ユーザの腕の側面に取り込ませ得る。本質的に、ユーザの腕の長さは、ユーザの腕の周囲で仮想軸を回転させる軸として使用されてもよい。
一実施例では、ユーザは、特定のアイコン12510(図125F)を選択してもよい。システムは、現在選択されていることを示すいくつかのインジケータを有してもよい(例えば、異なる色によって示される等)。図125Gに示されるように、ユーザは、選択されたアイコン12510をその手首にドラッグしてもよい。本アクションは、システムによって認識され、ユーザに、本アプリケーションが開かれ得ることを示してもよい。ここでは、ユーザは、仮想オブジェクトアイコン(例えば、図125Gに示されるように、菱形形状のアイコン)を選択している。アイコン選択に基づいて、他の仮想アイコンは、フェードアウェイしてもよく、仮想フェーディングパターンは、それぞれ、図125Hおよび125Iに示されるように、ユーザの手首に投影されてもよい。
アイコンをユーザの手首にドラッグすることに応じて、ユーザは、菱形アイコン12510がより大きいスケールで部屋の中にレンダリングされるように、握る運動において、アイコンを持ち上げてもよい(図125J)。したがって、ユーザは、仮想オブジェクトを開き、仮想オブジェクトを現在専有している物理空間の中に解放する。例えば、ユーザは、別のユーザが同一物理空間に進入するとき、それを見つけ得るように、仮想オブジェクトを物理空間内に残してもよい。
または、別の実施例では、図125Kおよび125Iに示されるように、ユーザは、知り合いまたは友人を表す、アイコンを選択してもよい。例えば、ユーザは、友人とライブ会話を開始することを所望してもよく、またはその友人とあるアクティビティに従事することを所望してもよい。前述の実施例と同様に、ユーザは、友人を表すアイコンを手首にドラッグし、握る運動を行い、友人の仮想レンダリング12514が、図125Lに示されるように、ユーザの正面に現れ得るように、友人を「解放」してもよい。ユーザは、仮想友人とリアルタイムで相互作用してもよく、これは、前述のパス可能世界技法を通して可能になることを理解されたい。図125Mは、ユーザインターフェースと相互作用するために使用され得る、詳細な入力制御12516を示す。図125Mに示されるように、種々のジェスチャは、ユーザ入力挙動のために使用されてもよい。図125Mに示されるように、いくつかのタイプのアクションは、仮想コンテンツの場所に基づいてもよい一方、その他は、仮想コンテンツに依存しなくてもよい。
成長
別のアプローチでは、UIは、例えば、ARシステムのアイコンが例えば、地面または机からの木のように「成長」され得るように、成長する木等の成長アプローチに従ってもよい。図126A-126Lを参照すると、ユーザは、種々のジェスチャを通して、1つ以上のアイコン(例えば、アプリケーション、アプリケーションのカテゴリ等)を選択し、それを木に成長させ、選択されたアプリケーションの一部であり得る、他のアイコンを取り込んでもよい。
成長
別のアプローチでは、UIは、例えば、ARシステムのアイコンが例えば、地面または机からの木のように「成長」され得るように、成長する木等の成長アプローチに従ってもよい。図126A-126Lを参照すると、ユーザは、種々のジェスチャを通して、1つ以上のアイコン(例えば、アプリケーション、アプリケーションのカテゴリ等)を選択し、それを木に成長させ、選択されたアプリケーションの一部であり得る、他のアイコンを取り込んでもよい。
より具体的には、図126Aを参照すると、種々のアプリケーションまたは機能性を示すアイコンの集合12602が、ユーザの手の上に取り込まれてもよい。図126Bおよび126Bに示されるように、ユーザは、特定のアイコンを選択し、「成長」させ、仮想アイコン(例えば、ユーザの指の握る運動を通して)を平坦表面(例えば、机等)上に置いてもよい。ここでは、例えば、ユーザは、例えば、ソーシャルメディアカテゴリを選択している。カテゴリ(例えば、カテゴリ内の他のアプリケーションを見つけるために)を「成長」させるために、図126Cに示されるように、ユーザは、仮想アイコンを「植え」(例えば、押圧運動を用いて)、平坦表面の中に押し込んでもよい。本ジェスチャは、図126Dに示されるように、仮想木または植物12604のレンダリングを生じさせ得る。図126Dに示されるように、植物は、小さい状態から開始し、図126Eに示されるもの等、より大きい木に成長してもよい。図126Dおよび126Eに示されるように、植物は、種々の枝を備えてもよく、それぞれ、より多くのアプリケーションまたは特定のアプリケーション内の選択肢を現すアイコンを有する。ここでは、現在の実施例では、枝は、ソーシャルメディアのカテゴリ内の種々のアプリケーションであってもよい(例えば、Youtube(登録商標)、Facebook(登録商標)等)。
図126Eに示されるように、ユーザは、植物または木の枝上のアイコンのうちの1つを選択し、前述の実施例と同様に、仮想アイコンを握るジェスチャ12606を通して取り上げ、それを成長させるために、再び別の場所に「植え」てもよい。例えば、図126Fおよび126Gに示されるように、ユーザは、アプリケーションを握り、次いで、それを平坦表面上に置き、図126Hに示されるように、ページを地面から「成長」させる。仮想ページは、次いで、図126Iに示されるように、地面から芽を出すかのように現れてもよい。仮想ページは、図126Iに示されるように、成長し、仮想独立木構造12608になり、ユーザによって詳細に視認され得る。
いったんユーザがページ12608を終了すると、ユーザは、木を閉鎖または「切断」し、アプリケーションを閉じてもよい。図126J-126Lに示されるように、ユーザは、切断運動において、ページまたは木の幹を通して切断し、アプリケーションを閉じてもよい。閉じられたアプリケーションは、次いで、図126Eと同様に、オリジナル仮想アイコン木の枝として現れ得る。
種々のジェスチャが、システムによって与えられることを理解されたい。ジェスチャは、アプリケーションに基づいて、事前プログラムされるか、またはユーザの好ましいジェスチャに好適であるようにカスタマイズされるかのいずれかであってもよい。例えば、システムは、木の幹における素早い手の運動を、システムにアプリケーションが閉じられるべきことを示す「切断」スワイプとして認識するようにプログラムされてもよい。
ARシステムは、例えば、前方方向に木および後方方向に末端を伴うページとして、ウェブブラウザのためのユーザインターフェースをレンダリングしてもよい。例えば、ユーザインターフェースは、そのウェブページからのリンクを示すウェブページの上部から生じる枝付きの木とともにレンダリングされてもよい。ユーザインターフェースはさらに、水平線の中に消えるように延在する枝付きの木とともにレンダリングされてもよい。ARシステムは、ウェブページ上のリンクにグラフィック的に結び付けられる枝付きの木の根とともにユーザインターフェースをレンダリングしてもよい。その結果、一度に1つのウェブページ(例えば、3つまたは4つの選択)を通してナビゲート(例えば、クリック)する必要なく、ユーザは、葉ノードまたは任意の他のノードを選択し、直接、葉ノードによって表される所望のウェブページにジャンプしてもよい。
いくつかの実装では、ARシステムは、スクロールツールを提供してもよい。枝付きの木は、前述の図に示されるように、スクロールの間、動的に変化してもよい。
枝および葉ノードは、グラフィックアイコン化を有してもよい。アイコンは、例えば、そのそれぞれのノードの選択に応答してナビゲートされるであろう、ウェブサイトまたはウェブページのスクリーンショットまたはサムネイルビューを示す、または表してもよい。
ユーザインターフェースは、連続から並列体験にブラウジングを変化させる。ユーザがウェブページを選択することに応答して、ARシステムは、選択に基づいて、別の枝付きの木をレンダリングする。枝付きの木は、水平線(例えば、背景、前景、側景)に接近するにつれて、次第に弱まるように視覚的にレンダリングされてもよい。例えば、ARシステムは、水平線が接近されるにつれて、平面に見えるように枝付きの木をレンダリングしてもよい。ARシステムは、現在選択されているウェブサイトまたはウェブページにナビゲートするために使用されたウェブサイトまたはウェブページを表すノードで中断された末端をレンダリングしてもよい。
(指ブラシ)
別の実施形態では、システムは、所定の指ブラシジェスチャに基づいて、仮想アイコン/アプリケーション/機能性等を取り込んでもよい。例えば、図127Aに示されるように、システムは、ユーザが指または複数の指を「指ブラシ」として使用することを所望することを示す、ユーザの指の特定のジェスチャ12702(例えば、所定の期間の間の人差し指の指示)を認識してもよい。図127Bに示されるように、ユーザは、次いで、空間を通して指をドラッグすることによって、図を「描写」してもよい。これは、ARシステムに、ユーザの指の移動に基づいて、仮想形状を描写させ得る。
別の実施形態では、システムは、所定の指ブラシジェスチャに基づいて、仮想アイコン/アプリケーション/機能性等を取り込んでもよい。例えば、図127Aに示されるように、システムは、ユーザが指または複数の指を「指ブラシ」として使用することを所望することを示す、ユーザの指の特定のジェスチャ12702(例えば、所定の期間の間の人差し指の指示)を認識してもよい。図127Bに示されるように、ユーザは、次いで、空間を通して指をドラッグすることによって、図を「描写」してもよい。これは、ARシステムに、ユーザの指の移動に基づいて、仮想形状を描写させ得る。
図127Bに示されるように、ユーザは、長方形を描写するプロセス中にある。1つ以上の実施形態では、仮想アイコンまたはアプリケーションが、ユーザによって描写される形状の制約内に取り込まれてもよい。図127Cに示されるように、種々の仮想アイコン12704が、現時点で、描写される形状内に現れる。現時点で、ユーザは、図127Dに示されるように、任意の特定のアイコンを開き、それをその傍に取り込させてもよい。図127Eは、描写される形状と相互作用するために使用され得る、詳細な入力制御12706を示す。図127Eに示されるように、種々のジェスチャは、ユーザ入力挙動のために使用されてもよい。図127Eに示されるように、いくつかのタイプのアクションは、仮想コンテンツの場所に基づいてもよい一方、その他は、仮想コンテンツに依存しなくてもよい。
(塗料バケツ)
ここで図128A-128Pを参照すると、ユーザインターフェース相互作用の別の実施形態が、図示される。図128Aに示されるように、前述の実施例の場合のように、ユーザジェスチャ12802(例えば、手のひらを広げる等)に基づいて、仮想アイコン12804の集合が、ユーザの手上に取り込まれるように見えるようにレンダリングされてもよい。ユーザは、図128Bに示されるように、特定のアイコンを選択し、塗料バケツ方式でそれを壁(図128C)または任意の他の空間に向かってフリックしてもよい。フリック運動は、選択されたアイコンまたはそのアイコン内のアプリケーション(例えば、アプリケーションのカテゴリ)が、次いで、壁または任意の他の空間上に「描写」され得るように、壁に向かって放り投げられたように見え得る塗料の仮想液滴に変換してもよい。
ここで図128A-128Pを参照すると、ユーザインターフェース相互作用の別の実施形態が、図示される。図128Aに示されるように、前述の実施例の場合のように、ユーザジェスチャ12802(例えば、手のひらを広げる等)に基づいて、仮想アイコン12804の集合が、ユーザの手上に取り込まれるように見えるようにレンダリングされてもよい。ユーザは、図128Bに示されるように、特定のアイコンを選択し、塗料バケツ方式でそれを壁(図128C)または任意の他の空間に向かってフリックしてもよい。フリック運動は、選択されたアイコンまたはそのアイコン内のアプリケーション(例えば、アプリケーションのカテゴリ)が、次いで、壁または任意の他の空間上に「描写」され得るように、壁に向かって放り投げられたように見え得る塗料の仮想液滴に変換してもよい。
ユーザは、次いで、手または指ジェスチャを使用して、特定の仮想アイコンを選択してもよい。図128Eおよび128Fに示されるように、特定のアイコン12808が、選択されてもよい。選択ジェスチャの認識に応じて、ARシステムは、アプリケーション(例えば、図128Gに示されるように、検索ページ)を表示してもよい。ユーザは、次いで、図128Hに示されるように、検索ページと相互作用し、1つ以上の所望のウェブサイトをナビゲートしてもよい。
閉じ込めるジェスチャ12810(例えば、人差し指および親指を握る等)を使用して、ユーザは、その選好に基づいて、ある所望のアプリケーションまたはウェブページ(例えば、図128Iのウェブページ)を記憶または「保持」してもよい。図128Hおよび128Iを参照すると、ユーザは、例えば、特定のウェブページまたはウェブページの特定の部分に関心があり得、ジェスチャ(例えば、閉じ込める運動)を通して、所望の部分を記憶してもよい。図128Iに示されるように、閉じ込めるジェスチャ12810に基づいて、所望の仮想コンテンツは、単に、所望のページを仮想バンド12812に圧潰または変形させる。これは、例えば、図128Iに示されるように、ユーザの手首上に記憶されてもよい。他の実施形態では、ユーザは、所望のウェブページを他の方法で保持または記憶してもよいことを理解されたい。例えば、所望のウェブページは、仮想ボックスもしくは実ボックス内に記憶される、またはトーテムの一部になってもよい。
図128J-128Lを参照すると、他のウェブページ/ユーザプロファイルまたは任意の他の所望の情報も同様に、他の仮想バンドとしてユーザの手首の周囲に記憶されてもよい。図128Jに示される実施形態では、種々の仮想アイコンは、ユーザの手のひら上に記憶されてもよい。ユーザは、次いで、図128Kおよび128Lに示されるように、所望のアイコンを選択し、アイコンと相互作用してもよい。種々の記憶されるアイテムは、種々の色によって示されてもよいが、他の類似区別インジケータも同様に、使用されてもよい。
ここで図128N-128Pを参照すると、記憶されたオブジェクト(例えば、ユーザの手首上の仮想バンド12812によって示される)を開くために、ユーザは、単に、別のジェスチャ12814(例えば、手のひらを放り投げるアクション/運動)を使用して、仮想バンドを一気に開いてもよい。本例示的実施形態では、放り投げるまたはフリック運動は、図128Oに示されるように、2つの異なる色(仮想バンド毎の異なる色)が所与の空間を横断して放り投げられ、所望の記憶されるウェブページ、ユーザプロファイル等を生成するように、別の塗料バケツ錯覚を生成する。したがって、図128Pに示されるように、ユーザは、次いで、記憶されたアプリケーションおよび/またはウェブページをレビューし、記憶されたコンテンツと所望の様式で相互作用してもよい。
(ピボット)
ここで図129A-131Lを参照すると、ユーザインターフェース相互作用の別の実施形態が、図示される。図129Aに示されるように、ユーザは、認識された手のジェスチャ12902(例えば、一方の手の人差し指および親指を他方の手の人差し指および親指に近接させる)を通して、仮想糸12904をユーザにレンダリングさせてもよい。図129Bに示されるように、仮想糸は、所望のユーザによって任意の長さに伸長させてもよい。例えば、ユーザが多くのアプリケーションを視認することを所望する場合、糸は、より長い仮想糸となるように引き出されてもよい。または、糸がより少量のみ引き出される場合、より少ないアプリケーションが、取り込まれてもよい。仮想糸13104の長さは、ユーザの手の運動を模倣するように取り込まれてもよい。
ここで図129A-131Lを参照すると、ユーザインターフェース相互作用の別の実施形態が、図示される。図129Aに示されるように、ユーザは、認識された手のジェスチャ12902(例えば、一方の手の人差し指および親指を他方の手の人差し指および親指に近接させる)を通して、仮想糸12904をユーザにレンダリングさせてもよい。図129Bに示されるように、仮想糸は、所望のユーザによって任意の長さに伸長させてもよい。例えば、ユーザが多くのアプリケーションを視認することを所望する場合、糸は、より長い仮想糸となるように引き出されてもよい。または、糸がより少量のみ引き出される場合、より少ないアプリケーションが、取り込まれてもよい。仮想糸13104の長さは、ユーザの手の運動を模倣するように取り込まれてもよい。
図129Cに示されるように、種々の仮想アイコン12906が、物干し用ロープと同様に、糸上に取り込まれてもよく、ユーザは、単に、手のジェスチャ12908を用いて、アイコンがユーザの手に対して移動されるように、アイコンを動き回らせてもよい。例えば、ユーザは、図129Cに示されるように、その手を右にスワイプさせ、故に、仮想アイコンもまた右に移動させることによって、仮想アイコンをスクロールさせてもよい。
ユーザは、次いで、図129Dに示されるように、別のジェスチャ12910(例えば、2つの指で特定の仮想アイコンを指示する)を通して、特定のアイコンを選択してもよい。ここで図129Eを参照すると、「連絡先」アプリケーションが、仮想アイコン上の着色されたインジケータによって示されるように、選択されてもよい。1つ以上の実施形態では、特定の仮想アイコンの選択は、仮想アイコンをユーザに向かわせる、またはユーザから離れさせる、手のジェスチャ12912によって、仮想アイコンまたはページをz方向に移動させてもよい。図129F-129Hに示されるように、いったん連絡先アプリケーションが開かれると、ユーザは、連絡先を通してブラウズし、電話をかける連絡先を選択してもよい。図129Gに示されるように、ユーザは、「Matt」を連絡先から選択してもよく、電話を開始してもよい(図129H)。
図129Lに示されるように、ユーザが連絡者と話しているとき、ユーザは、同時に、他のアプリケーションを開くことが可能であってもよい。例えば、ユーザは、図129J-129Lに示されるように、別の手のジェスチャ12912を通して、特定の文書を開き、別の手のジェスチャ12914を用いて、文書を連絡先アイコン上に物理的に移動させることによって、それを連絡者に「送信」してもよい。したがって、ユーザは、単純な手のジェスチャによって、ファイルを他のユーザにシームレスに送信することができる。ARシステムでは、ユーザは、文書、ウェブページ等にタッチし、実オブジェクトであるかのように、空間の中に放り投げられ、動き回され、物理的に走査されることができる、3D仮想オブジェクトとして、それを保持することが可能である。図129Mは、ユーザインターフェースと相互作用するために使用され得る、詳細な入力制御12916を示す。図129Mに示されるように、種々のジェスチャは、ユーザ入力挙動のために使用されてもよい。図129Mに示されるように、いくつかのタイプのアクションは、仮想コンテンツの場所に基づいてもよい一方、その他は、仮想コンテンツに依存しなくてもよい。
(糸の引張)
別の実施形態では、種々の仮想アイコンは、懸架された仮想糸13002としてレンダリングされてもよい。各糸は、図130A-130Cに示されるように、アプリケーションまたはアプリケーションのカテゴリの異なる仮想アイコンを表してもよい。特定の仮想アイコン13004を選択するために、ユーザは、図130Cおよび130Dに示されるように、仮想糸を牽引してもよい(例えば、牽引ジェスチャ13206を通して)。牽引運動13006は、ユーザが特定のアプリケーションのサブカテゴリまたは異なるアイコンを視認し得るように、糸を下に「引っ張」ってもよい。
別の実施形態では、種々の仮想アイコンは、懸架された仮想糸13002としてレンダリングされてもよい。各糸は、図130A-130Cに示されるように、アプリケーションまたはアプリケーションのカテゴリの異なる仮想アイコンを表してもよい。特定の仮想アイコン13004を選択するために、ユーザは、図130Cおよび130Dに示されるように、仮想糸を牽引してもよい(例えば、牽引ジェスチャ13206を通して)。牽引運動13006は、ユーザが特定のアプリケーションのサブカテゴリまたは異なるアイコンを視認し得るように、糸を下に「引っ張」ってもよい。
ここでは、図130Dおよび130Eに示されるように、ユーザは、音楽アプリケーションを選択してもよく、図130Eに示される種々のアイコン13010は、種々のトラックを表してもよい。ユーザは、次いで、図130Fおよび130Fに示されるように、特定のトラックを選択し、ページを開き、例えば、トラックについての詳細またはトラックに関連付けられたウェブページを視認してもよい。例証される実施形態では、握る運動13012が、特定の着目トラックを選択するために使用されてもよい。
ユーザはさらに、図130Hに示されるように、単に、ユーザの友人を表す別のアイコンを用いて、トラックまたは音楽ファイルに関連付けられた仮想アイコンを押圧すること(例えば、押圧ジェスチャ13014を通して)によって、トラックまたはウェブページを他のユーザ/友人にパスすることが可能であってもよい。したがって、押圧運動を検出することによって、ARシステムは、ユーザによって意図される入力を認識し、ARシステムのユーザの友人へのファイルの転送プロセスを開始してもよい。図130Iは、ユーザインターフェースと相互作用するために使用され得る、詳細な入力制御13020を示す。図130Iに示されるように、種々のジェスチャは、ユーザ入力挙動のために使用されてもよい。図130Iに示されるように、いくつかのタイプのアクションは、仮想コンテンツの場所に基づいてもよい一方、その他は、仮想コンテンツに依存しなくてもよい。
(クモの巣)
別の実施形態では、システムとのユーザ相互作用は、ユーザの周囲の物理空間内に作成された仮想「クモの巣」を通してもよい。例えば、図131Aに示されるように、ユーザは、仮想クモの巣の糸が、空間を横断して放り投げられるように、拳を作り、それを広げてもよい13102(図131B)。特定の仮想アイコン/アプリケーション/アプリケーションのカテゴリを選択するために、ユーザは、クモの巣の糸13104に沿って引っ張り、仮想アイコンを自身に近づけてもよい(図131C-131D)。図131Dの例証される実施形態では、ウェブページ13106が、より近いビューのために取り込まれる。
別の実施形態では、システムとのユーザ相互作用は、ユーザの周囲の物理空間内に作成された仮想「クモの巣」を通してもよい。例えば、図131Aに示されるように、ユーザは、仮想クモの巣の糸が、空間を横断して放り投げられるように、拳を作り、それを広げてもよい13102(図131B)。特定の仮想アイコン/アプリケーション/アプリケーションのカテゴリを選択するために、ユーザは、クモの巣の糸13104に沿って引っ張り、仮想アイコンを自身に近づけてもよい(図131C-131D)。図131Dの例証される実施形態では、ウェブページ13106が、より近いビューのために取り込まれる。
図131Eを参照すると、ユーザは、次いで、ウェブページ13106から、例えば、特定の連絡先13108を選択し、連絡先をクモの巣13110の糸上に記憶してもよい(図131Eおよび131F)。上記の他の実施形態と同様に、ユーザは、図131Gおよび131Hに示されるように、仮想糸13110を通して、文書13112を選択されたユーザ13108にパスしてもよい。図131Hに示されるように、転送プロセスは、進行中であって、ファイルは、連絡先に転送されている。図131Iは、ユーザインターフェースと相互作用するために使用され得る、詳細な入力制御13120を示す。図131Iに示されるように、種々のジェスチャは、ユーザ入力挙動のために使用されてもよい。図131Iに示されるように、いくつかのタイプのアクションは、仮想コンテンツの場所に基づいてもよい一方、その他は、仮想コンテンツに依存しなくてもよい。
前述の実施形態に示されるように、ARシステムのユーザインターフェースは、ARシステムを用いたユーザ体験を向上させる革新的かつ遊び心に満ちた方法で、ユーザがシステムと相互作用することを可能にする。他のゲーム用技法も同様に、システムの中で使用またはプログラムされてもよいことを理解されたい。
ここで図132を参照すると、仮想コンテンツと1つ以上の物理オブジェクトとの間の関係を実証する例示的実施形態が、図示される。13202に示されるように、仮想オブジェクトは、浮遊していてもよい。オブジェクトは、他の物理表面またはオブジェクトに関係しないとき、浮遊していてもよい。本外観は、ユーザが仮想オブジェクトを全角度から視認することを可能にする、コンテンツの部屋中心処理であってもよい。
同様に、13204に示されるように、コンテンツは、前述のいくつかの実施形態の場合のように、壁、カップ、または人物の腕のような物理表面に適用されてもよい。仮想コンテンツは、その表面の物理量の一部を占めてもよい。例えば、仮想オブジェクトが1枚の実際の紙であって、実際の紙が持ち上げられる場合、仮想オブジェクトもまた、持ち上げられてもよい。または、別の実施形態では、紙が地面に落下する場合、仮想オブジェクトもまた、落下し、引力を模倣してもよい。これはまた、コンテンツと相互作用するとき、ユーザにタッチの物理感覚を提供し得る。
他の実施形態では、仮想コンテンツは、前述のいくつかの実施形態の場合のように、アンカされてもよい。本外観タイプは、浮遊および適用されたオブジェクトの要素を組み合わせる。仮想コンテンツは、13206に示されるように、具体的表面にアンカされ、その表面の挙動およびアクションに従ってもよい(例えば、クモの巣のユーザインターフェース体験、ピボットユーザインターフェース体験等)。代替として、13208に示されるように、仮想コンテンツは、もはや可視ではないように、単に、物理オブジェクトに「割り当てられ」てもよい。例えば、文書(仮想文書アイコンによって示される)が、単に、物理オブジェクトに割り当てられてもよいが、仮想アイコンは、転送プロセスが完了するとすぐに消失してもよい。これは、ユーザが、必ずしも全てのステップを視覚化することなく、コンテンツを通して迅速にナビゲートすることができる方法であり得る。
(ユーザシナリオ)
他の具体的アプリケーションおよび/またはユーザシナリオを論じるのに先立って、パス可能世界モデルからの情報を受信および更新する例示的プロセスが、簡単に論じられる。前述のパス可能世界モデルは、複数のユーザが、クラウドサーバ上に記憶される仮想世界にアクセスし、本質的に、ユーザの世界の断片を1つ以上のピアにパスすることを可能にする。
他の具体的アプリケーションおよび/またはユーザシナリオを論じるのに先立って、パス可能世界モデルからの情報を受信および更新する例示的プロセスが、簡単に論じられる。前述のパス可能世界モデルは、複数のユーザが、クラウドサーバ上に記憶される仮想世界にアクセスし、本質的に、ユーザの世界の断片を1つ以上のピアにパスすることを可能にする。
例えば、前述の他の実施例と同様に、LondonにおけるARシステムの第1のユーザは、New Yorkに現在位置するARシステムの第2のユーザとの会議に参加することを所望し得る。パス可能世界モデルは、第1のユーザが、第1のユーザの現在の物理環境を構成するパス可能世界の断片を第2のユーザにパスし、同様に、第2のユーザがLondonにおける第1のユーザと同一部屋に居るように見えるように、第2のユーザのアバタを構成するパス可能世界の断片をパスすることを可能にしてもよい。
言い換えると、パス可能世界は、第1のユーザが、部屋についての情報を第2のユーザに伝送することを可能にし、同時に、第2のユーザが、自身を第1のユーザの物理環境内に置くためのアバタを作成することを可能にする。したがって、両ユーザは、情報を継続的に更新し、クラウドに伝送し、そこから受信し、両ユーザに、同一部屋に居る体験を同時に与える。
図143を参照すると、データが2つの別個の物理場所に位置する2人のユーザ間で行ったり来たり通信される方法の例示的プロセス14300が、開示される。各入力ARシステム(例えば、センサ、カメラ、眼追跡、オーディオ等を有する)は、以下のものに類似するプロセスを有し得ることを理解されたい。例証目的のために、以下のシステムの入力は、カメラから入力されてもよいが、ARシステムの任意の他の入力デバイスが同様に、使用されてもよい。
ステップ14302では、ARシステムは、カメラからの入力をチェックしてもよい。例えば、前述の実施例に従って、Londonにおけるユーザは、会議室に居て、いくつかの図をホワイトボード上に描写してもよい。これは、ARシステムのための入力を構成してもよく、またはそうでなくてもよい。パス可能世界は、複数のユーザから受信されるデータに応じて、常時、更新および構築されているため、クラウド上に存在する仮想世界は、新しい情報のみがクラウドに更新される必要があるように、ますます精密になる。
例えば、ユーザが、単に、部屋を動き回る場合、New YorkにおけるユーザのARデバイスが、Londonにおけるユーザから新しいデータを能動的に受信せずに、Londonにおける会議室を投影可能であるように、十分な3D点、姿勢データ情報等をすでに有し得る。しかしながら、Londonにおけるユーザが、会議室内のボード上に図を描写する等の新しい情報を追加している場合、これは、パス可能世界モデルに伝送され、New Yorkにおけるユーザにパスされる必要がある、入力を構成し得る。したがって、ステップ14304では、ユーザデバイスは、受信された入力が有効な入力であるかどうかをチェックする。受信された入力が有効ではない場合、システムが単にさらなる入力をチェックするような待機ループが置かれる14302。
入力が有効である場合、受信された入力は、ステップ14306において、クラウドサーバにフィードされる。例えば、FOVカメラを通して収集される全ての点に関連付けられたデータを送信するのではなく、ボードへの更新のみ、サーバに送信されてもよい。
クラウドサーバ上では、ステップ14308において、入力が、ユーザデバイスから受信され、ステップ14310において、パス可能世界モデルの中に更新される。前述のシステムアーキテクチャに関して論じられるように、クラウドサーバ上のパス可能世界モデルは、処理回路、複数のデータベース(幾何学的およびトポロジマップの両方を伴うマッピングデータベース14334を含む)、オブジェクト認識器14332、および他の好適なソフトウェア構成要素を備えてもよい。
ステップ14320では、受信された入力14308に基づいて、パス可能世界モデルは、更新される。更新は、次いで、ステップ14312において、更新された情報を必要とし得る、種々のユーザデバイスに送信されてもよい。ここでは、更新された情報は、パス可能世界がNew Yorkにおけるユーザにパスされ、図がLondonにおける会議室内のボード上に描写されるにつれて、第1のユーザの描写を同様に視認し得るように、New Yorkにおけるユーザに送信されてもよい。
第2のユーザのデバイスは、New Yorkにおける第2のユーザがLondonにおける会議室に居るように知覚するように、パス可能世界モデル内の既存の情報に基づいて、Londonにおける会議室のバージョンをすでに投影し得ることを理解されたい。ステップ14326では、第2のユーザデバイスは、更新をクラウドサーバから受信する。ステップ14328では、第2のユーザデバイスは、更新が表示される必要があるかどうかを決定してもよい。例えば、パス可能世界へのある変更は、第2のユーザに関連しない場合があり、更新されなくてもよい。
ステップ14330では、更新されたパス可能世界モデルは、第2のユーザのハードウェアデバイス上に表示される。情報をクラウドサーバから送信および受信する本プロセスは、第1のユーザがアクションを行うとほぼすぐに、第2のユーザに会議室のボード上に図を描写する第1のユーザが見えるように、迅速に行われることを理解されたい。
同様に、第2のユーザからの入力はまた、ステップ14320-14324において受信され、クラウドサーバに送信され、パス可能世界モデルに更新される。本情報は、次いで、ステップ14314-14318において第1のユーザのデバイスに送信されてもよい。例えば、第2のユーザのアバタが、Londonにおける会議室の物理空間内に座っているように見えると仮定すると、第2のユーザのアバタ(第2のユーザのアクション/外観を鏡映してもよく、またはそうでなくてもよい)への任意の変更もまた、第1のユーザが第2のユーザと相互作用することが可能であるように、第1のユーザに伝送されてもよい。
一実施例では、第2のユーザは、ユーザに似ている仮想アバタを作成してもよく、またはアバタは、Londonにおける会議室の周囲をホバリングするハチの形態をとってもよい。いずれの場合も、第2のユーザからの入力(例えば、第2のユーザは、第1のユーザの図に応答して、その頭部を振ってもよい)もまた、第1のユーザが第2のユーザの反応を判断し得るように、第1のユーザに伝送される。この場合、受信された入力は、顔認識に基づいてもよく、第2のユーザの顔への変更は、Londonにおける会議室内に投影されているアバタへの変更が第1のユーザに見えるように、パス可能世界モデルに送信され、次いで、第1のユーザのデバイスにパスされてもよい。
同様に、ARシステムの複数のユーザ間で行ったり来たり効果的にパスされる、多くの他のタイプの入力が存在してもよい。特定の実施例は、変化してもよいが、ARシステムのユーザとパス可能世界との間の相互作用は全て、図143を参照して前述のプロセスに類似する。前述のプロセスフロー図は、パス可能世界の断片にアクセスし、それを相互にパスする、複数のユーザ間の相互作用を説明するが、図144は、単一ユーザとARシステムとの間の相互作用を図示する、例示的プロセスフロー図14400である。ユーザは、クラウドサーバから読み出されたデータを要求する種々のアプリケーションにアクセスし、それと相互作用してもよい。
ステップ14402では、ARシステムは、ユーザからの入力をチェックする。例えば、入力は、ユーザがあるタイプのデータを要求することを示す、視覚、聴覚、感覚入力等であってもよい。例えば、ユーザは、仮想テレビ上で見たばかりの広告についての情報を調べることを所望してもよい。ステップ14404では、システムは、ユーザ入力が有効であるかどうかを決定する。ユーザ入力が有効である場合、ステップ14406では、入力は、サーバの中にフィードされる。サーバ側では、ユーザ入力が、ステップ14408において受信されると、適切なデータが、ステップ4410において、知識ベース14440から読み出される。前述のように、データを読み出す、クラウドサーバに接続される複数の知識データベースが存在してもよい。ステップ14412では、データは、読み出され、データを要求するユーザデバイスに伝送される。
ユーザデバイスに戻ると、データが、ステップ14414において、クラウドサーバから受信される。ステップ14416では、システムは、データが仮想コンテンツの形態で表示される必要があるかどうかを決定し、必要である場合、データは、ユーザハードウェア上に表示される14418。
上記で簡単に論じられるように、多くのユーザシナリオは、ARシステムが、実世界アクティビティを識別し、検出された実世界アクティビティに基づいて、自動的に、アクションを行うおよび/または仮想コンテンツを表示することを伴い得る。例えば、ARシステムは、ユーザアクティビティを認識し、次いで、ユーザの基準フレームの周囲に浮遊する、ユーザインターフェースを作成し、アクティビティに関連付けられた有用情報/仮想コンテンツを提供する。同様に、多くの他の使用も想定され得、そのうちのいくつかは、以下のユーザシナリオに説明されるであろう。
ARシステムの光学および種々のシステム構成要素について説明したので、ARシステムのいくつかのさらなるアプリケーションが、ここで論じられる。以下に説明されるアプリケーションは、いくつかの実施形態では、システム上に別個にインストールされ得る、ハードウェアおよび/またはソフトウェア構成要素を有してもよい。他の実施形態では、システムは、種々の産業等において使用されてもよく、以下の実施形態のうちのいくつかを達成するように修正される必要があってもよい。以下の実施形態は、例証目的のために簡略化され、限定として読み取られるべきはなく、多くのより複雑な実施形態が想定されてもよいことを理解されたい。
(プライバシー)
ARシステムは、ユーザの周囲からのデータ継続的に捕捉し得るため、プライバシーの懸念が存在し得る。例えば、ARデバイスを装着するユーザは、秘密の会議空間の中に歩いて入り得る、または機密コンテンツ(例えば、裸、性的コンテンツ等)に暴露され得る。したがって、ARシステムを使用する間、プライバシーを確実にするのに役立つ1つ以上の機構を提供することが有利であり得る。
ARシステムは、ユーザの周囲からのデータ継続的に捕捉し得るため、プライバシーの懸念が存在し得る。例えば、ARデバイスを装着するユーザは、秘密の会議空間の中に歩いて入り得る、または機密コンテンツ(例えば、裸、性的コンテンツ等)に暴露され得る。したがって、ARシステムを使用する間、プライバシーを確実にするのに役立つ1つ以上の機構を提供することが有利であり得る。
一実装では、ARシステムの1つ以上の構成要素は、情報がARシステムによって収集されているとき、それを示す、視覚的インジケータを含んでもよい。例えば、頭部装着または搭載式構成要素は、視覚および/または聴覚いずれかの情報が収集されているとき、それを視覚的に示す、1つ以上の視覚的インジケータ(例えば、LED)を含んでもよい。例えば、視覚的情報が頭部装着式構成要素によって担持されているカメラによって収集されているとき、第1のLEDが、照射されてもよく、または第1の色を放出してもよい。視覚的情報が頭部装着式構成要素によって担持されているマイクロホンまたはオーディオ変換器によって収集されているとき、第2のLEDが、照射されてもよく、または第2の色を放出してもよい。
加えて、または代替として、ARシステムは、ARシステムのカメラまたは他の光学センサの視野内の任意の人物からの定義されたジェスチャに応答してもよい。特に、ARシステムは、選択的に、定義されたジェスチャの検出に応答して、画像の捕捉を停止してもよい。したがって、ARユーザの視野内の人物は、選択的に、ARシステムに、単に、ジェスチャ(例えば、手のジェスチャ、腕のジェスチャ、顔のジェスチャ等)を実行することによって、画像の捕捉を停止させることができる。1つ以上の実施形態では、ARシステムは、ARデバイスを装着する人物のジェスチャに応答してもよい。他の実施形態では、ARシステムは、ARシステムを装着する人物と共有される物理空間または環境内の他者のジェスチャに応答してもよい。
さらに別の実施形態では、プライバシー目的のために、ユーザは、ARシステムに関連付けられたアプリケーションに登録してもよい。これは、システムの他のユーザの画像/ビデオおよびレンダリングによって捕捉/記憶されるかどうかに関して、ユーザのさらなる制御を可能にし得る。ARシステム(またはARシステムに関連付けられたアプリケーション)に登録されたユーザは、システムにアカウントを有していない者よりさらなるプライバシー制御を有し得る。
例えば、登録されたユーザが、他のユーザの他のARシステムによって捕捉されることを所望しない場合、システムは、その人物の認識に応じて、その特定のユーザの画像の捕捉を停止する、または代替として、その人物に関連付けられた視覚的画像をぼかしてもよい。一方、ARシステムに登録されていない人物は、自動的に、登録された者よりプライバシーに関する制御を有していない。したがって、ARシステム(または関連付けられたアプリケーション)に登録することがより推奨され得る。
別の実施形態では、ARシステムは、ユーザの検出されたアクティビティおよび/または認識された周囲に基づいて、安全性制御を自動的に実装してもよい。ARシステムは、常時、ユーザの周囲およびアクティビティ(例えば、FOVカメラ、眼カメラ、センサ等を通して)を認識しているため、ARシステムは、自動的に、ARシステムが特定のアクティビティまたは周囲を検出すると、一時停止モードに入ってもよい。例えば、ARシステムが、ユーザが家の中の特定の部屋(例えば、浴室、子供部屋、事前指定された秘密面積等)を専有しようとしていることを決定する場合、ARシステムは、自動的に、一時停止モードに入り、情報の捕捉を終了する、または選択的に、ユーザのARシステムからの基本情報のみを捕捉してもよい。または、ARシステムが、ユーザが特定のアクティビティ(例えば、運転等)に従事していると決定する場合、ARシステムは、任意の着信メッセージまたは仮想コンテンツによってユーザの気を逸らさないように、自動的に、一時停止または「オフ」モードに入ってもよい。同様に、多くの他の安全性および/またはプライバシー制御が、他の用途では同様に実装されてもよい。
(仮想部屋/空間およびユーザインターフェースの具体的用途および実施例)
以下のセクションは、仮想部屋および/または空間の種々の実施例および用途を検討し、実生活の実践的用途の前述のARシステム種々の実施形態を利用する。
以下のセクションは、仮想部屋および/または空間の種々の実施例および用途を検討し、実生活の実践的用途の前述のARシステム種々の実施形態を利用する。
前述のように、ARシステムは、1つ、または典型的には、それを上回る、個々のARシステムのインスタンスを含んでもよい。これらの個々のARシステムは、典型的には、少なくとも頭部装着または頭部搭載式構成要素を含み、少なくとも視覚的拡張現実ユーザ体験と、典型的には、聴覚的拡張現実体験とを提供する。上記で詳細に論じられるように、ARシステムは、また、典型的には、プロセッサ構成要素を含む。プロセッサ構成要素は、頭部装着または搭載式構成要素と別個かつ異なり、例えば、頭部装着または搭載式構成要素に通信可能に結合される(例えば、テザリング、無線)、ベルトパック(例えば、図4A-4D)であってもよい。
また、前述のように、ARシステムは、随意に、1つ以上の空間または部屋ベースのセンサシステム(例えば、図26)を含んでもよい。空間または部屋ベースのセンサシステムは、1つ以上の画像捕捉デバイス(例えば、カメラ)を含んでもよい。カメラは、空間、例えば、部屋を監視するために位置してもよい。例えば、カメラは、部屋内のいくつかの角に位置付けられてもよい。カメラは、例えば、頭部装着または搭載式構成要素の前方に面したカメラに構造が非常に類似する、またはさらに同じであってもよい。したがって、これらのカメラは、好ましくは、3D情報を、例えば、明視野として捕捉する。空間または部屋ベースのセンサシステムデバイスのカメラは、典型的には、頭部装着または搭載式構成要素のカメラとは対照的に、空間内に固定される。1つ以上の実施形態では、複数の空間または部屋毎の空間または部屋ベースのセンサシステムが存在してもよい。
また、前述のように、ARシステムは、オブジェクトを認識する(例えば、分類上の認識、および/または具体的認識)、複数のオブジェクト認識器を採用してもよい。ARシステムは、空間の構造および/またはコンテンツのオブジェクト認識に基づいて、空間を認識することができる。また、前述のように、ARシステムは、付加的情報、例えば、時間、地理的座標(GPS場所情報)、コンパス方向、無線ネットワーク等)を採用して、空間を識別してもよい。
1つ以上の実施形態では、ARシステムは、仮想空間(例えば、メタ部屋)をユーザの視野内に取り込む、またはレンダリングしてもよい。例えば、個々のARシステムは、仮想画像をユーザの網膜にレンダリングまたは投影し、実世界または物理空間のユーザのビュー上に与えてもよい。同様に、上記で詳述された任意の他の光学アプローチが、使用されてもよい。
ARシステムは、様々な日々の用途のために使用されてもよい。ARシステムは、ユーザが勤務中、使用されてもよく、ユーザの作業の成果を向上させるのにさせ役立ち得る。また、例えば、ARシステムは、ユーザを訓練する際(例えば、教育訓練、運動訓練、仕事関連訓練等)に使用されてもよい。さらなる実施例として、ARシステムは、エンターテインメント(例えば、ゲーム用)のために使用されてもよい。なおもさらなる実施例として、ARシステムは、例えば、命令および/または動機付けを提供することによって、運動を補助する際に使用されてもよい。例えば、ARシステムは、ユーザが追尾する何らかのもの(例えば、世界クラスランナー)またはユーザを追尾する仮想キャラクタ(例えば、T-Rex)をレンダリングしてもよい。
1つ以上の実施形態では、ARシステムは、付加的特定用途向け構成要素を備えてもよい。例えば、ARシステムは、1つ以上の随意のセンサ(例えば、歩数計、運動センサ、心拍数センサ、呼吸数センサ、発汗センサ等)に通信可能に結合されてもよい。1つ以上の実施形態では、ARシステムは、動機付けコンテンツをゲーム(例えば、シークレットエージェントテーマのゲーム)として提示してもよい。ARシステムはまた、種々のタイプのトーテム(または以下にさらに詳細に説明されるであろうように、ユーザ入力を提供するために使用され得る、オブジェクト)を採用してもよい。言い換えると、ARシステムは、様々な拡張現実体験を提供するために使用されてもよく、日々の体験を向上させ、および/または日々のタスクを補助するために使用されてもよい。以下の開示は、一連のそのような用途および/または実施形態を検討する。以下に説明される実施形態は、例証目的のためにすぎず、限定として読み取られるべきはないことを理解されたい。
(部屋または仮想空間)
以下の議論は、仮想部屋または仮想空間の概念に対処する。本議論はまた、ユーザが仮想部屋または仮想空間間をナビゲートする方法に対処する。1つ以上の実施形態では、ユーザは、仮想部屋または仮想空間内に居るとき、具体的ツールおよび/またはアプリケーションにアクセスしてもよい。
以下の議論は、仮想部屋または仮想空間の概念に対処する。本議論はまた、ユーザが仮想部屋または仮想空間間をナビゲートする方法に対処する。1つ以上の実施形態では、ユーザは、仮想部屋または仮想空間内に居るとき、具体的ツールおよび/またはアプリケーションにアクセスしてもよい。
ARシステムは、動的部屋マッピングを提供する。例えば、ARシステムは、仮想空間を物理場所、物理部屋、または他の物理空間にマップしてもよい。マッピングは、手動で、半自動的に、または自動的に、行われてもよい。ARシステムは、既存の部屋を物理環境にマッピングおよび修正するためのプロセスを提供する。ARシステムは、複数の部屋を物理空間内に同時にマッピングするためのプロセスを提供する。ARシステムは、共存体験を共有する、例えば、実装することを可能にする。また、例えば、ARシステムは、具体的アプリを共有する、部屋全体を共有する、および/またはアイテムを公共またはプライベートにすることを可能にする。
いくつかの例示的シナリオが、以下に論じられる。例えば、ユーザは、物理オフィス空間内で仕事していてもよく、同僚からのメッセージが、到着し、仮想アラートをユーザにプロンプトしてもよい。別の実施例では、そのリビングルーム内に位置するユーザは、仮想部屋または空間を選択してもよく、またはその環境を仮想エンターテインメントもしくはメディアルームから仮想トレーニング部屋または仮想オフィス空間に変更してもよい。
別の実施例では、ある仮想部屋または空間内で動作しているユーザは、異なる部屋または空間に関連付けられた具体的アプリケーションを開くまたは別様にそれにアクセスしてもよい。例えば、ユーザは、エンターテインメントまたはメディアルームからのカメラアプリケーションを開くまたはそれにアクセスしてもよい。本明細書における議論から明白であろうように、ARシステムは、多数の他のシナリオを実装してもよい。
仮想部屋または仮想空間は、ユーザの視野内にレンダリング可能な仮想オブジェクト、仮想ツール、アプリケーション、特徴、および他の仮想構造物(例えば、集合的に、仮想コンテンツ)の便宜的グループまたは組織である。
仮想部屋または仮想空間は、1つ以上の異なる方法で定義されてもよい。例えば、仮想部屋または仮想空間は、i)アクティビティ、目標、または目的、ii)場所(例えば、仕事、家等)、iii)時刻等によって定義されてもよい。ユーザは、仮想部屋または仮想空間を定義または作成し、理解、使用しやすさ、および/または検索効率をサポートしてもよい。1つ以上の実施形態では、仮想部屋および/または空間は、ユーザによってカスタム定義されてもよい。
1つ以上の実施形態では、ARシステムは、事前定義された仮想部屋または仮想空間のカタログまたはライブラリを提供してもよい。例えば、仮想部屋または空間は、テーマに基づいて、仮想コンテンツ(例えば、仮想オブジェクト、仮想ツール、および他の仮想構造物、例えば、アプリケーション、特徴、キャラクタ、テキスト、数字、および他の記号)が事前に取り込まれてもよい。テーマは、アクティビティベース、場所ベース、時間ベース、知能ベース等であってもよい。
ARシステムは、ユーザが、ユーザによって設定される選好の集合に基づいて、仮想部屋または仮想空間を作成または修正することを可能にする、ユーザインターフェースを提供する。ユーザは、部屋を最初から設計するか、または事前定義された仮想部屋もしくは空間を修正もしくは向上させるかのいずれかであってもよい。仮想部屋は、装着式ARシステムのユーザインターフェースを介して、仮想部屋または空間内の仮想コンテンツを追加する、除去する、または並べ替えることによって修正されてもよい。
図74Aは、例証される実施形態の1つによる、第1の時間における、仮想オフィスの形態で、物理オフィス空間7402内に座っており、装着式ARシステム7401を使用して、仮想部屋または仮想空間を体験している、ユーザを示す。
物理オフィスは、1つ以上の物理オブジェクト、例えば、壁、床(図示せず)、天井(図示せず)、机、および椅子を含んでもよい。図示されるようにARシステムは、仮想部屋7402をレンダリングして、ユーザは、仕事関連タスクを行ってもよい。故に、仮想オフィスには、ユーザの仕事を行う際に有用な種々の仮想ツールまたはアプリケーションが取り込まれる。
仮想ツールまたはアプリケーションは、図74Aに示されるように、例えば、種々の仮想オブジェクトまたは他の仮想コンテンツ、例えば、2次元図面または概略、2次元画像または写真、および/または3次元建築モデルを含んでもよい。仮想ツールまたはアプリケーションは、ルーラ、キャリパ、コンパス、分度器、テンプレート、またはステンシル等のツールを含んでもよい。仮想ツールまたはアプリケーションは、例えば、種々のソフトウェアアプリケーション(例えば、電子メール、ウェブブラウザ、ワードプロセッサソフトウェア、プレゼンテーションソフトウェア、スプレッドシートソフトウェア、音声電子メールソフトウェア等)のためのインターフェースを含んでもよい。
図74Aに示されるように、いくつかの仮想オブジェクトは、相互に対してスタックまたはオーバーレイされてもよい。ユーザは、対応するジェスチャを用いて、所望の仮想オブジェクトを選択してもよい。例えば、ユーザは、指フリックジェスチャを用いて、文書または画像のページをめくり、仮想オブジェクトのスタックを通して反復的に移動させてもよい。仮想オブジェクトのうちのいくつかは、メニューの形態をとってもよく、その選択は、サブメニューのレンダリングを生じさせてもよい。図74Aに示されるように、ユーザは、ユーザがARデバイス7401を通して視認し得る、仮想コンテンツの集合が示される。例証される実施形態では、ユーザは、手のジェスチャを利用して、仮想建築モデルを構築および/または向上させてもよい。したがって、モデルを物理構造から構築する必要なく、建築モデルは、単に、3Dで視認および構築され、それによって、構造を視覚化するより現実的かつ容易に修正可能な方法を提供する。
ここで図74Bを参照すると、図74Bの物理オフィスは、図74Aのものと同じであって、図74Bの仮想オフィスは、図74Aの仮想オフィスに類似する。同じまたは類似要素は、図74Aにおけるものと同一参照番号を使用して識別される。有意な差異のみが、以下に論じられる。
図74Bに示されるように、ARシステムは、仮想アラートまたは通知を仮想オフィス内のユーザにレンダリングしてもよい。例えば、ARシステムは、仮想アラートまたは通知の視覚的表現をユーザの視野内にレンダリングしてもよい。ARシステムは、加えて、または代替として、仮想アラートまたは通知の聴覚的表現をレンダリングしてもよい。
図75は、1つ以上の実施形態による、別の例示的仮想部屋を図示する。図75の仮想部屋7500に示されるように、ユーザは、装着式ARシステム7501を装着しており、物理リビングルーム内で1つ以上の仮想要素を体験している。しかしながら、リビングルームは、図74Aおよび74Bのものと同様に、仮想建築モデル等の1つ以上の仮想要素が取り込まれている。例えば、ユーザは、家に居てもよいが、建築モデルで作業することを所望し得る。したがって、ユーザは、図75に示されるように、仮想建築モデルがテーブルの上部にあるように、ARシステムに、リビングルームの物理テーブル上に最新の保存されたバージョンの建築モデルをレンダリングさせてもよい。
物理リビングルームは、1つ以上の物理オブジェクト、例えば、壁、床、天井、コーヒーテーブル、およびソファを含んでもよい。図74A-Bおよび75が図示するように、仮想オフィスは、種々の異なる物理環境においてレンダリング可能である、ポータブルであってもよい。したがって、仮想オフィスが、後続使用において、仮想オフィスが最新の使用またはレンダリングに現れたようにその外観またはレイアウトを同じくレンダリングする場合、特に有利であり得る。したがって、各後続使用またはレンダリングにおいて、同一仮想オブジェクトが現れ、種々の仮想オブジェクトが、仮想オフィスの最新のレンダリングにおけるものと相互に対してその同一空間位置を保ち得る。
いくつかの実装では、ある使用から次の後続使用における外観またはレイアウトの本一貫性または持続性は、仮想空間がレンダリングされる物理環境から独立し得る。したがって、第1の物理環境(例えば、物理オフィス空間)から第2の物理環境(例えば、物理リビングルーム)への移動は、仮想オフィスの外観またはレイアウトに影響を及ぼさないであろう。
図76は、装着式ARシステム7601を使用するユーザを含む、別のシナリオ7600を示す。例証される実施形態では、ユーザは、再び、その自身の実リビングルーム内に居るが、いくつかの仮想要素(例えば、仮想TV画面7604、靴の仮想広告7608、仮想ミニフットボールゲーム7610等)を体験している。図76に示されるように、仮想オブジェクトは、部屋の実物理オブジェクト(例えば、机、壁等)に関係して設置される。
物理リビングルームは、1つ以上の物理オブジェクト、例えば、壁、床、天井、コーヒーテーブル、およびソファを含んでもよい。便宜上、物理リビングルームは、図75のものと同じであるように図示される。故に、同じまたは類似要素は、図75におけるものと同一参照番号を使用して識別され、仮想オフィスの議論は、簡略化目的のために繰り返されないであろう。
図示されるようにARシステムは、仮想部屋または仮想空間を仮想エンターテインメントまたはメディアルームの形態でレンダリングし、ユーザは、くつろいでおり、および/またはエンターテインメントを楽しんでいる、もしくはメディア(例えば、TVプログラム、映画、ゲーム、音楽、読書等)を消費している。故に、仮想エンターテインメントまたはメディアルームは、種々の仮想ツールまたはアプリケーションが取り込まれる。
ARシステム7601は、仮想テレビまたは一次画面7604とともに仮想エンターテインメントまたはメディアルームをレンダリングしてもよい。仮想テレビまたは一次画面は、任意の所望のサイズにレンダリングされることができる。仮想テレビまたは一次画面はさらに、物理部屋の制限を超えて延在し得る。ARシステムは、仮想テレビまたは一次画面をレンダリングし、任意の既知のまたはまだ発明されていない物理テレビを複製してもよい。
したがって、ARシステムは、仮想テレビまたは一次画面をレンダリングし、1950、1960、もしくは1970年代からの年代物または古典的テレビを複製してもよく、または任意の現在のテレビを複製してもよい。例えば、仮想テレビまたは一次画面は、具体的メーカーおよびモデルおよび年式の物理テレビの外観とともにレンダリングされてもよい。また、例えば、仮想テレビまたは一次画面は、具体的メーカーおよびモデルおよび年式の物理テレビの同一映像特性とともにレンダリングされてもよい。同様に、ARシステムは、具体的メーカーおよびモデルおよび年式の物理テレビからの音と同一聴覚特性を有するように音をレンダリングしてもよい。
ARシステムはまた、メディアコンテンツが仮想テレビまたは一次画面によって表示されているかのように見えるようにメディアコンテンツをレンダリングする。メディアコンテンツは、テレビ番組、映画、ビデオ会議、または電話等を含む、多種多様な形態のいずれかをとってもよい。
ARシステムは、1つ以上の付加的仮想テレビまたは二次画面とともに、仮想エンターテインメントまたはメディアルームをレンダリングしてもよい。付加的仮想テレビまたは二次画面は、ユーザが、第2の画面体験を楽しむことを可能にしてもよい。
例えば、第1の二次画面7610は、ユーザが、プレーヤおよびチームに関する種々の統計を含む、ファンタジーリーグ(例えば、ファンタジーフットボールリーグ)のファンタジーチームまたはプレーヤのステータスを監視することを可能にしてもよい。
加えて、または代替として、第2の画面7610は、ユーザが、他のアクティビティ、例えば、一次画面上のメディアコンテンツにわずかでも関連するアクティビティを監視することを可能にしてもよい。
例えば、第2の画面7610は、ユーザが試合のうちの1つを一次画面上で観戦している間、競技連盟またはリーグからの試合におけるスコアの一覧を表示してもよい。また、例えば、第2の画面7610は、ユーザが試合のうちの1つを一次画面上で観戦している間、競技連盟またはリーグからの試合からのハイライトを表示してもよい。二次画面のうちの1つ以上のものは、図76に図示されるようにスタックされ、ユーザが、例えば、ジェスチャを介して、二次画面を上に持ってくることを選択することを可能にしてもよい。例えば、ユーザは、ジェスチャを使用して、二次画面のスタックを通して順番にトグルしてもよく、またはジェスチャを使用して、特定の二次画面を他の二次画面に対して前景に持ってくることを選択してもよい。
ARシステムは、1つ以上の3次元リプレイまたはプレイバックタブレットとともに、仮想エンターテインメントまたはメディアルームをレンダリングしてもよい。3次元リプレイまたはプレイバックタブレットは、小型模型において、ユーザが一次ディスプレイ上で観戦している試合のピッチまたは競技場を複製し、例えば、「神の眼ビュー」を提供してもよい。3D次元リプレイまたはプレイバックタブレットは、例えば、ユーザが、一次画面上に現れるメディアコンテンツのオンデマンドプレイバックまたはリプレイを楽しむことを可能にしてもよい。
これは、プレイバックまたはリプレイされるメディアコンテンツの部分のユーザ選択を含んでもよい。これは、特殊効果、例えば、スローモーションリプレイ、停止もしくは静止画リプレイ、または実際の時間より高速である加速もしくは高速モーションリプレイのユーザ選択を含んでもよい。例えば、ユーザは、1つ以上のジェスチャを使用して、フットボールの試合中のプレイのリプレイの間、レシーバーのルートに注釈マーキングを追加する、またはラインマンもしくはクォーターバックに対するブロッキング任務をマークしてもよい。
3Dリプレイまたはプレイバックタブレットはさらに、ユーザが、レビューされている以前のプレイの展開方法を修正する、変更(例えば、異なる指示)を追加することを可能にしてもよい。例えば、ユーザは、レシーバーによって走行されるルートの変更またはラインマンもしくはクォーターバックに割り当てられるブロッキング任務を規定してもよい。ARシステム7601は、実際のプレイの基本パラメータを使用し、1つ以上のパラメータを修正し、次いで、ゲームエンジンをパラメータ上で実行し、実際の物理ゲーム内で実行されたものであるが、ユーザ修正を伴う、以前のプレイを展開してもよい。
例えば、ユーザは、ワイドレシーバーに対する代替ルートを追跡してもよい。ARシステムは、選択されたワイドレシーバー、クォーターバック、およびワイドレシーバーをカバーするであろう任意のディフェンスプレーヤ以外、プレーヤのアクションに変更を行わなくてもよい。仮想ファンタジープレイ全体が展開されてもよく、さらに、実際のプレイと異なる結果を生成してもよい。これは、例えば、コマーシャルの時間またはゲーム中のタイムアウトの間に生じてもよい。
これは、ユーザが、実戦経験のないコーチまたはプレーヤとしてその能力を試すことを可能にする。類似アプローチは、他のスポーツにも適用され得る。例えば、いくつかの実施例を挙げると、ユーザは、バスケットボールの試合のリプレイにおいて異なるプレー指示を出してもよく、または野球の試合のリプレイにおいて異なるピッチを要求してもよい。ゲームエンジンの使用は、ARシステムが、統計的機会の要素を、但し、実際のゲームにおいて予期されるであろうものの制約内において、導入することを可能にする。
ARシステムは、追加の仮想コンテンツ、例えば、3D仮想広告をレンダリングしてもよい。3D仮想広告7608の主題またはコンテンツは、例えば、少なくとも部分的に、仮想テレビまたは一次画面上で再生もしくは視聴されているコンテンツに基づいてもよい。
ARシステムは、仮想制御をレンダリングしてもよい。例えば、ARシステムは、ユーザの腕の届く範囲内に見えるようにユーザの視野内にマップされた仮想制御をレンダリングしてもよい。
ARシステムは、ユーザが、仮想空間から仮想空間にナビゲートすることを可能にする。例えば、ユーザは、仮想オフィス空間(図74Aおよび74B)と仮想エンターテインメントまたはメディア空間(図75および76)との間をナビゲートしてもよい。本明細書に論じられるように、ARシステムは、あるユーザ入力に応答して、ある仮想空間から別の仮想空間に直接ナビゲートする、または利用可能な仮想空間の集合を通してトグルもしくはブラウズすることを可能にしてもよい。仮想空間の集合は、ユーザ特有、ユーザが属するエンティティ特有であってもよく、および/またはシステム全体に及ぶ、もしくは全ユーザに一般的であってもよい。
仮想部屋または仮想空間間のユーザ選択および/またはナビゲーションを可能にするために、ARシステムは、例えば、ジェスチャ、音声コマンド、眼追跡、および/または、例えば、頭部装着式構成要素、ベルトパック、または個々のARシステムの他の物理構造によって担持される物理ボタン、キー、もしくはスイッチの選択のうちの1つ以上のものに応答してもよい。ユーザ入力は、仮想空間もしくは部屋の直接選択を示してもよく、またはメニューもしくはサブメニューのレンダリングを生じさせ、仮想空間もしくは部屋のユーザ選択を可能にしてもよい。
図77は、図76のシナリオと同様に、ユーザが、物理リビングルーム空間内に座っており、そのリビングルーム内で仮想要素を体験している、別のシナリオ7700を示す。本実施形態では、ユーザは、スワイプ運動において左から右に移動するユーザの手によって示されるように、手のジェスチャを使用し、種々の仮想ユーザインターフェースに目を通す。
図77に図示されるように、ARシステムは、ユーザに、仮想部屋または仮想空間の選択肢の表現と、可能性として、ユーザに利用可能な仮想部屋または仮想空間の集合内で現在選択されている仮想部屋または仮想空間の位置とを提供する、ユーザインターフェースツールをレンダリングしてもよい。図示されるように、表現は、マークまたは記号の線の形態をとり、各マーキングは、ユーザに利用可能な仮想部屋または仮想空間のそれぞれのものを表す。仮想部屋または仮想空間のうちの現在選択されているものは、視覚的に強調され、ユーザが、その集合を通して前方または後方にナビゲートするのを補助する。
図78Aおよび78Bは、それぞれ、類似シナリオ7802および7804を示す。図78Aおよび78Bに示されるように、場面は、仮想要素(例えば、仮想画面、広告等)の集合を有する、ARシステム7801を装着するユーザのリビングルーム内に設定される。図77に図示される実施形態と同様に、ユーザは、手のジェスチャを使用して、ARシステムと相互作用する。図78Aに示されるように、ユーザは、認識されたジェスチャにおいて両手を移動させ、付加的機能またはアプリケーションを開く。図78Bに示されるように、ユーザのジェスチャに応答して、付加的仮想インターフェース要素(または「アプリ」)が、ユーザのビュー内にレンダリングされてもよい。
図78Aに図示されるように、ユーザは、第1のジェスチャ(両頭矢印によって図示される)を実行し、アイコンベースのクラスタユーザインターフェース仮想構造物(図78B)を開く。ジェスチャは、ユーザの腕および/または手もしくはユーザの身体の他の部分、例えば、頭部姿勢または眼の移動を含んでもよい。代替として、ユーザは、発話コマンドを使用して、アイコンベースのクラスタユーザインターフェース仮想構造物(図78B)にアクセスしてもよい。より包括的メニューが所望される場合、ユーザは、異なるジェスチャを使用してもよい。前述の実施例は、例証目的のために手のジェスチャを使用するが、任意の他のタイプのユーザ入力が同様に、使用されてもよい(例えば、眼ジェスチャ、音声コマンド、トーテム等)。
図78Bに図示されるように、アイコンベースのクラスタユーザインターフェース仮想構造物7808は、ユーザが選択し得る、種々の異なる仮想部屋または空間の小仮想表現の集合を提供する。本仮想ユーザインターフェース7808は、仮想部屋または仮想空間の表現を介して、仮想部屋または仮想空間への迅速なアクセスを提供してもよい。小仮想表現自体は、機能的仮想コンテンツを含まないという点において、本質的に、非機能的である。したがって、小仮想表現は、小仮想表現のうちの1つの選択に応答して、対応する仮想部屋または空間の機能的表現のレンダリングを生じさせることが可能であることを除き、非機能的である。
小仮想表現の集合は、特定のユーザに利用可能な仮想部屋または空間の集合もしくはライブラリに対応してもよい。集合が比較的に多数の選択肢を含む場合、アイコンベースのクラスタユーザインターフェース仮想構造物は、例えば、ユーザが、選択肢をスクロールすることを可能にしてもよい。例えば、第2のジェスチャに応答して、ARシステムは、1つのアイコンが視野(例えば、最右アイコン)から外れ、新しいアイコンが視野に入った状態において、第1の方向に(例えば、ユーザの右に向かって)シフトされたアイコンとともに、アイコンベースのクラスタユーザインターフェース仮想構造物を再レンダリングしてもよい。新しいアイコンは、アイコンベースのクラスタユーザインターフェース仮想構造物の時間的に直前のレンダリングに表示、レンダリング、または示されていなかったそれぞれの仮想部屋または仮想空間に対応する。第3のジェスチャは、例えば、ARシステムにアイコンを反対方向に(例えば、ユーザの左に向かって)スクロールさせてもよい。
仮想部屋または仮想空間のユーザ選択に応答して、ARシステムは、ユーザの視野内に見えるように、仮想部屋または仮想空間に関連付けられた仮想コンテンツをレンダリングしてもよい。仮想コンテンツは、物理空間にマップまたは「糊付け」されてもよい。例えば、ARシステムは、仮想コンテンツのそれぞれのアイテムまたはインスタンスが物理空間内の種々の物理表面、例えば、壁、テーブル等上にあるかのように見えるように、ユーザの視野内に位置付けられる仮想コンテンツの一部または全部をレンダリングしてもよい。また、例えば、ARシステムは、仮想コンテンツのそれぞれのアイテムまたはインスタンスが、物理空間内、例えば、ユーザの届く範囲内に浮遊しているかのように見えるように、ユーザの視野内に位置付けられる仮想コンテンツの一部または全部をレンダリングしてもよい。
図79Aは、例証される実施形態の1つによる、物理リビングルーム空間7902内に座っており、ARシステム7901を使用して、仮想エンターテインメントまたはメディアルームの形態における仮想部屋または仮想空間(前述の実施形態と同様に)を体験しているユーザであって、ユーザインターフェース仮想構造物7904と相互作用するためのジェスチャを実行している、ユーザを示す。
図79Aに図示されるように、ARシステム7901は、ユーザの視野内に見えるように、好ましくは、ユーザの届く範囲内に常駐するように見えるように、機能的グループまたはポッドユーザインターフェース仮想構造物7904をレンダリングしてもよい。ポッドユーザインターフェース仮想構造物7904は、便宜的に、ある仮想部屋または仮想空間から別の仮想部屋または仮想空間と論理的に関連付けられた機能的ツールおよびアプリケーションへのアクセスを提供する、複数の仮想部屋または仮想空間ベースのアプリケーションを含む。ポッドユーザインターフェース仮想構造物7904は、ユーザのための小型ワークステーションを形成してもよい。
ARシステムは、ポッドユーザインターフェース仮想構造物または仮想部屋もしくは空間の仮想コンテンツとのユーザ相互作用を検出する。例えば、ARシステムは、コンテキスト依存部屋を通してナビゲートするためのスワイプジェスチャを検出してもよい。ARシステムは、例えば、ユーザが異なる部屋に居ることを示す、通知またはダイアログボックス7908をレンダリングしてもよい。通知またはダイアログボックス7908は、ユーザに、ユーザがARシステムが行うことを所望するであろうアクション(例えば、既存の部屋を閉じ、自動的に部屋のコンテンツをマップする、自動的に部屋のコンテンツを既存の部屋にマップする、またはキャンセルする)に関してクエリしてもよい。
図79Bは、例証される実施形態の1つによる、物理リビングルーム空間内に座っており、ARシステムを使用して、仮想エンターテインメントまたはメディアルームの形態における仮想部屋または仮想空間を体験している、ユーザであって、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している、ユーザを示す。
図79Aと同様に、ARシステム7901は、ユーザの視野内に見えるように、好ましくは、ユーザの届く範囲内に常駐するように見えるように、機能的グループまたはポッドユーザインターフェース仮想構造物7904をレンダリングしてもよい。図79Bに図示されるように、ARシステム7901は、ポッドユーザインターフェース仮想構造物7904または仮想部屋もしくは空間の仮想コンテンツとのユーザ相互作用を検出する。例えば、ARシステムは、コンテキスト依存仮想部屋または仮想空間にナビゲートし、それを開くためのスワイプまたは挟むジェスチャを検出してもよい。ARシステムは、選択される表現を示すように、視覚的効果をレンダリングしてもよい。
図79Cは、例証される実施形態の1つによる、物理リビングルーム空間内に座っており、ARシステム7901を使用して、仮想エンターテインメントまたはメディアルームの形態における仮想部屋または仮想空間を体験している、ユーザであって、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している、ユーザを示す。
図79Cに図示されるように、ARシステムは、図79Bに図示される表現の選択に応答して、選択されたアプリケーションをユーザの視野内にレンダリングしてもよい。例えば、ユーザは、仮想エンターテインメントまたはメディアルームもしくは空間を視認しながら、ソーシャルネットワーキングアプリケーション、ウェブブラウジングアプリケーション、または電子メール(電子メール)アプリケーションを、例えば、仮想作業空間から選択してもよい。
図79Dは、例証される実施形態の1つによる、別の場面7908を示し、ユーザは、物理リビングルーム空間内に座っており、ARシステム7901を使用して、仮想エンターテインメントまたはメディアルームの形態における仮想部屋または仮想空間を体験しており、ユーザは、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している。
図79Dに図示されるように、ユーザは、一般に使用されるアプリケーション(例えば、カメラアプリケーション)のためのホットキーとしての役割を果たす、定義されたジェスチャを行ってもよい。ARシステムは、ユーザのジェスチャを検出し、ジェスチャを解釈し、対応するアプリケーションを開くまたは実行する。例えば、ARシステムは、定義されたジェスチャに応答して、選択されたアプリケーション7920または選択されたアプリケーションのユーザインターフェースをユーザの視野内にレンダリングしてもよい。特に、ARシステムは、例えば、ユーザの腕が到達する範囲内に見えるように、完全に機能的バージョンの選択されたアプリケーションまたはアプリケーションユーザインターフェースをユーザの眼の網膜にレンダリングしてもよい。
カメラアプリケーション7920は、ユーザがARシステムに画像または画像データを捕捉させることを可能にする、ユーザインターフェースを含んでもよい。例えば、カメラアプリケーション7920は、ユーザが個々のARシステムの身体または頭部装着式構成要素上の外向きに面したカメラに外向きに面したカメラおよび/またはユーザの視野内の場面の画像または画像データ(例えば、4D明視野)を捕捉させることを可能にしてもよい。
定義されたジェスチャは、好ましくは、直感的である。例えば、カメラアプリケーションまたはカメラユーザインターフェースを開くための直感的2つの手の挟むタイプジェスチャが、図79Dに図示される。ARシステムは、他のタイプのジェスチャを認識してもよい。ARシステムは、ジェスチャをそれぞれのアプリケーションおよび/または機能にマップする、ジェスチャのカタログまたはライブラリを記憶してもよい。ジェスチャは、全て一般に使用されるアプリケーションのために定義されてもよい。ジェスチャのカタログまたはライブラリは、特定のユーザに特有であってもよい。代替として、または加えて、ジェスチャのカタログまたはライブラリは、具体的仮想部屋または仮想空間に特有であってもよい。代替として、ジェスチャのカタログまたはライブラリは、具体的物理部屋または物理空間に特有であってもよい。代替として、または加えて、ジェスチャのカタログまたはライブラリは、多数のユーザおよび/またはいくつかの仮想部屋もしくは仮想空間を横断して一般的であってもよい。
前述のように、ジェスチャは、好ましくは、特に、それぞれのジェスチャが論理的に関連付けられたまたはマップされた、特定の機能、アプリケーション、または仮想コンテンツと関係して直感的である。加えて、ジェスチャは、人間工学的であるべきである。すなわち、ジェスチャは、様々な身体サイズおよび能力のユーザによって行われることが快適であるべきである。ジェスチャはまた、好ましくは、流体運動、例えば、腕掃引を伴う。定義されたジェスチャは、好ましくは、スケーラブルである。定義されたジェスチャの集合はさらに、特に、慎重さが望ましいまたは適切であるであろう場合、離散的に行われ得る、ジェスチャを含んでもよい。一方、いくつかの定義されたジェスチャは、離散的であるべきではなく、むしろ、実証的であるべきであって、例えば、ジェスチャは、ユーザが環境内に存在する他者の画像および/またはオーディオを捕捉することを意図することを示す。ジェスチャはまた、例えば、広範囲の文化にわたって、文化的に容認可能であるべきである。例えば、1つ以上の文化において攻撃的であると見なされる、あるジェスチャは、回避されるべきである。
いくつかの提案されるジェスチャが、以下の表Aに記載される。
ここで図79Eを参照すると、例証される実施形態の1つによる、別のシナリオ7910が、図示され、物理リビングルーム空間内に座っており、ARシステム7901を使用して、仮想エンターテインメントまたはメディアルームの形態における仮想部屋または仮想空間を体験している、ユーザであって、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している、ユーザを示す。
図79Eに図示されるように、ARシステム7901は、包括的仮想ダッシュボードメニューユーザインターフェースをレンダリングする、例えば、画像をユーザの眼の網膜にレンダリングする。仮想ダッシュボードメニューユーザインターフェースは、ユーザの腕が届く範囲内に離間される種々のユーザ選択可能仮想アイコンを伴って、少なくとも部分的に、ユーザを囲繞する、略環状レイアウトまたは構成を有してもよい。
ARシステムは、ユーザのジェスチャまたは仮想ダッシュボードメニューユーザインターフェースのユーザ選択可能仮想アイコンとの相互作用を検出し、ジェスチャを解釈し、対応するアプリケーションを開くまたは実行する。例えば、ARシステムは、定義されたジェスチャに応答して、選択されたアプリケーションまたは選択されたアプリケーションのユーザインターフェースをユーザの視野内にレンダリングしてもよい。例えば、ARシステムは、完全に機能的バージョンの選択されたアプリケーションまたはアプリケーションユーザインターフェースをユーザの眼の網膜にレンダリングしてもよい。図79Eに図示されるように、ARシステムは、メディアコンテンツをレンダリングしてもよく、アプリケーションは、メディアコンテンツのソースである。ARシステムは、アプリケーション、アプリケーションユーザインターフェース、またはメディアコンテンツをレンダリングし、他の仮想コンテンツをオーバーレイしてもよい。例えば、ARシステムは、アプリケーション、アプリケーションユーザインターフェース、またはメディアコンテンツをレンダリングし、一次コンテンツのディスプレイを仮想部屋または空間(例えば、仮想エンターテインメントまたはメディアルームもしくは空間)内に表示されている仮想一次画面上にオーバーレイしてもよい。
図80Aは、例証される実施形態の1つによる、物理リビングルーム空間内に座っており、ARシステム8001を使用して、第1の仮想装飾(例えば、審美的外装または審美的処理)を体験している、ユーザであって、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している、ユーザを図示する、さらに別のシナリオ8002を示す。
ARシステム8001は、ユーザが、物理部屋または物理空間の仮想装飾を変更または修正(例えば、再外装)することを可能にしてもよい。例えば、図80Aに図示されるように、ユーザは、ジェスチャを利用して、第1の仮想装飾、例えば、仮想火を伴う仮想暖炉ならびに第1および第2の仮想写真を持ち出してもよい。第1の仮想装飾(例えば、第1の外装)は、物理部屋または空間(例えば、物理リビングルーム)の物理構造にマップされる。
また、図80Aに図示されるように、ARシステムは、ユーザに、仮想装飾の選択肢の表現と、可能性として、ユーザに利用可能な仮想装飾の集合内の現在選択されている仮想装飾の位置とを提供する、ユーザインターフェースツールをレンダリングしてもよい。図示されるように、表現は、マークまたは記号の線の形態をとり、各マーキングは、ユーザに利用可能な仮想装飾のそれぞれのものを表す。仮想装飾の現在選択されているものは、視覚的に強調され、ユーザが集合を通して前方または後方にナビゲートするのを補助する。仮想装飾の集合は、ユーザに特有である、物理部屋もしくは物理空間に具体的である、または2人またはそれを上回るユーザによって共有されてもよい。
図80Bは、例証される実施形態の1つによる、別のシナリオ8004を示し、ユーザは、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している。図80Bに図示されるように、ユーザは、ジェスチャを利用して、第1の仮想装飾と異なる第2の仮想装飾を持ち出してもよい。第2の仮想装飾は、例えば、惑星、航空機の技術的図面または図、および仮想照明具または照明器具のビューとともに、航空機(例えば、Starsship)の司令室を複製してもよい。第2の仮想装飾を持ち出すためのジェスチャは、第1の仮想装飾を持ち出すためのジェスチャと同じであってもよく、ユーザは、本質的に、物理部屋または物理空間(例えば、物理リビングルーム)のための定義された仮想装飾の集合を通してトグル、ステップ、またはスクロールする。代替として、各仮想装飾は、それぞれのジェスチャに関連付けられてもよい。
図80Cは、例証される実施形態の1つによる、物理リビングルーム空間内に座っており、ARシステム8001を使用して、第3の仮想装飾(例えば、審美的外装または審美的処理)を体験している、ユーザであって、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している、ユーザを示す、別のシナリオ8006を図示する。
図80Cに図示されるように、ユーザは、第1および第2の仮想装飾と異なる第3の仮想装飾を持ち出すためのジェスチャを行ってもよい。第3の仮想装飾は、例えば、ビーチ場面および異なる仮想写真のビューを複製してもよい。第3の仮想装飾を持ち出すためのジェスチャは、第1および第2の仮想装飾を持ち出すためのジェスチャと同じであってもよく、ユーザは、本質的に、物理部屋または物理空間(例えば、物理リビングルーム)のための定義された仮想装飾の集合を通してトグル、ステップ、またはスクロールする。代替として、各仮想装飾は、それぞれのジェスチャに関連付けられてもよい。
図81は、例証される実施形態の1つによる、さらに別のシナリオ8100を示し、ARシステム8102のユーザは、仮想エンターテインメントまたはメディアルームの形態における、別の仮想部屋空間を体験しており、ユーザは、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している。
図81に図示されるように、ARシステム8101は、複数の仮想タブレットまたはタッチパッドを含む、階層メニューユーザインターフェース仮想構造物8111をユーザの視野内に見えるように、好ましくは、ユーザの届く範囲内に常駐するように見えるように、レンダリングしてもよい。これらは、ユーザが、一次メニューをナビゲートし、一次ナビゲーションメニューの特徴である、ユーザ定義された仮想部屋または仮想空間にアクセスすることを可能にする。仮想部屋または仮想空間の種々の機能または目的は、図81に示されるように、アイコンを通して表されてもよい。
図82は、例証される実施形態の1つによる、別のシナリオ8200を示し、ARシステム8201のユーザは、仮想エンターテインメントまたはメディアルームの形態における仮想部屋または仮想空間と相互作用し、ユーザは、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行し、プロキシによって入力を提供している。
図82に図示されるように、ARシステムは、複数のユーザ選択可能仮想要素を含む、ユーザインターフェース仮想構造物8211をユーザの視野内に見えるようにレンダリングしてもよい。ユーザは、トーテム8213を操作し、ユーザインターフェース仮想構造物8211の仮想要素と相互作用する。ユーザは、例えば、トーテム8213の正面を所望の要素に向けてもよい。ユーザはまた、例えば、トーテムが指示または整合される要素の選択を示す、トーテムの表面上をタップまたはタッチすることによって、トーテム8213と相互作用してもよい。
ARシステム8201は、トーテムの配向およびトーテムとのユーザ相互作用を検出し、トーテムが指示または整合される要素の選択等を解釈する。ARシステムは、対応するアクション、例えば、アプリケーションを開く、サブメニューを開く、または選択された要素に対応する仮想部屋もしくは仮想空間をレンダリングすることを実行する。
トーテム8213は、遠隔制御、例えば、一般にテレビおよびメディアプレーヤに関連付けられた遠隔制御を複製してもよい。いくつかの実装では、トーテム8213は、電子デバイス(例えば、テレビ、メディアプレーヤ、メディアストリーミングボックス)のための実際の遠隔制御であってもよいが、しかしながら、ARシステムは、実際には、任意の無線通信信号を遠隔制御から受信しなくてもよい。遠隔制御は、バッテリを有してさえいない場合があるが、ARシステムが、位置、配向、およびトーテム(例えば、遠隔制御)との相互作用を捕捉する、画像に依拠するため、依然として、トーテムとして機能する。
図83Aおよび83Bは、例証される実施形態の1つによる、物理リビングルーム空間内に座っており、ARシステム8301を使用して、仮想エンターテインメントまたはメディアルームの形態における仮想部屋または仮想空間を体験している、ユーザであって、ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行し、入力を提供している、ユーザを例証する、シナリオ8302および8304を示す。
図83Aに図示されるように、ARシステム8301は、常時利用可能である拡張可能メニューアイコンを含む、ユーザインターフェース仮想構造物をレンダリングしてもよい。ARシステム8301は、拡張可能メニューアイコンを、ユーザの視野内内の所与の場所、または好ましくは、ユーザの視野の周辺部分、例えば、右上角に一貫してレンダリングしてもよい。代替として、ARシステム8301は、拡張可能メニューアイコン8311を物理部屋または物理空間内の所与の場所に一貫してレンダリングしてもよい。
図83Bに図示されるように、ユーザは、拡張可能メニューアイコン8311にまたはそれに向かってジェスチャを行い、拡張可能メニュー構造物8312を拡張してもよい。それに応答して、ARシステムは、ユーザの視野内に見えるように、拡張された拡張可能メニュー構造物8312をレンダリングしてもよい。拡張可能メニュー構造物8312は、ユーザに利用可能な1つ以上の仮想部屋または仮想空間を表すように拡張してもよい。ARシステム8301は、拡張可能メニューを、ユーザの視野内内の所与の場所に、または好ましくは、ユーザの視野の周辺部分、例えば、右上角に一貫してレンダリングしてもよい。代替として、ARシステム8301は、拡張可能メニュー8311を物理部屋または物理空間内の所与の場所に一貫してレンダリングしてもよい。
図84Aは、例証される実施形態の1つによる、仮想装飾を体験しているARシステム8401のユーザであって、指示ユーザインターフェース仮想構造物と相互作用するためのジェスチャを実行している、ユーザを例証する、別のシナリオ8402を示す。
図84Aに図示されるように、ARシステム8401は、いくつかの事前マップされたメニューを含む、ユーザインターフェースツールをレンダリングしてもよい。例えば、ARシステム8401は、ユーザが1つ以上の指示ジェスチャを介して選択することができる、エンターテインメントまたはメディアコンテンツ(例えば、映画、スポーツイベント)のそれぞれの断片に対応する、いくつかのポスター状仮想画像8412をレンダリングしてもよい。ARシステム8401は、例えば、図84Aに示されるように、リビングルームの物理壁に懸架または糊付けされているかのようにユーザに見えるように、ポスター状仮想画像8412をレンダリングしてもよい。
ARシステム8401は、ユーザのジェスチャ、例えば、手または腕をポスター状仮想画像のうちの1つに向かって指示することを含み得る、指示ジェスチャを検出する。ARシステムは、指示ジェスチャまたは投影ベースのプロキシ入力を、ポスター状仮想画像が表すエンターテインメントまたはメディアコンテンツの配信をトリガするように意図されるユーザ選択として認識する。ARシステム8401は、1つ以上の実施形態では、ユーザがジェスチャを行う位置に向かって投影されるように見えるカーソルとともに、カーソルの画像をレンダリングしてもよい。
図84Bは、図84Aのものに類似するポスター仮想画像8412と相互作用するARシステム8401のユーザを例証する、別のシナリオ8402を示す。例証される実施形態では、ユーザは、ジェスチャ8416を通してポスター仮想画像8412と相互作用する。
図84Cは、例証される実施形態の1つによる、エンターテインメントまたはメディアコンテンツの選択された(例えば、図84Bのジェスチャ8416に基づいて)断片を体験している、ARシステム8401のユーザであって、ユーザインターフェース仮想構造物と相互作用するためのタッチジェスチャを実行している、ユーザを示す、別のシナリオ8406を示す。
図84Cに図示されるように、ユーザ選択に応答して、ARシステム8401は、選択されたエンターテインメントもしくはメディアコンテンツおよび/または関連付けられた仮想メニュー(例えば、高レベル仮想ナビゲーションメニュー、例えば、余剰材料の一次特徴、エピソードの選択を可能にする、ナビゲーションメニュー)のディスプレイ8420をレンダリングする。図84Cに図示されるように、選択されたエンターテインメントまたはメディアコンテンツのディスプレイは、第1の仮想装飾の少なくとも一部に取って代わってもよい。
図84Cに図示されるように、応答ユーザ選択に応答して、ARシステムはまた、高レベル仮想ナビゲーションメニューより詳細な仮想ナビゲーションメニュー8422を提供する、仮想タブレットタイプユーザインターフェースツールをレンダリングしてもよい。より詳細な仮想ナビゲーションメニュー8422は、高レベル仮想ナビゲーションメニューのメニュー選択肢ならびに付加的選択肢(例えば、付加的コンテンツの読み出し、メディアタイトルまたはシリーズに関連付けられた双方向ゲームのプレイ、場面選択、キャラクタ調査、俳優調査、コメント)の一部または全部を含んでもよい。例えば、ARシステムは、例えば、ユーザの腕が届く範囲内のテーブルの上側表面上にあるかのようにユーザに見えるように、詳細な仮想ナビゲーションメニューをレンダリングしてもよい。
(ユーザ体験小売実施例)
図89A-89Jは、例証される実施形態の1つによる、ARシステム実装小売体験を図示する。図示されるように、それぞれ、それぞれの個々のARシステム(それぞれ、8901および8903)を装着している、母親および娘は、小売環境、例えば、スーパーマーケット内で買物中、拡張現実体験8902を受信する。本明細書に説明されるように、ARシステムは、買物体験を促進することに加え、エンターテインメントを提供してもよい。
図89A-89Jは、例証される実施形態の1つによる、ARシステム実装小売体験を図示する。図示されるように、それぞれ、それぞれの個々のARシステム(それぞれ、8901および8903)を装着している、母親および娘は、小売環境、例えば、スーパーマーケット内で買物中、拡張現実体験8902を受信する。本明細書に説明されるように、ARシステムは、買物体験を促進することに加え、エンターテインメントを提供してもよい。
例えば、ARシステムは、仮想コンテンツ、例えば、ボックスまたは段ボール箱から飛び出し、および/または選択されたアイテムに対する仮想クーポンをもたらすように見え得る、仮想キャラクタをレンダリングしてもよい。ARシステムは、ゲーム、例えば、店舗全体を通した場所に基づく、および/または買物一覧、お気に入りの一覧、または宣伝アイテムの一覧上のアイテムに基づく、ゲームをレンダリングしてもよい。拡張現実環境は、親または同伴の成人がアイテムを取り上げる必要がある、各場所を通して移動する間、子供がプレイするように促す。
別の実施形態では、ARシステムは、食物選択肢についての情報を提供してもよく、ユーザのその健康/体重/生活スタイル目標を支援してもよい。ARシステムは、ユーザがそれを消費中、種々の食物のカロリー数をレンダリングし、したがって、その食物選択肢についてユーザを教育してもよい。ユーザが健康ではない食物を消費している場合、ARシステムは、ユーザが知らされた選択肢を行うことが可能であるように、ユーザに食物について警告してもよい。
ARシステムは、例えば、無線周波数識別(RFID)トランスポンダおよび通信を使用して、仮想クーポンをさりげなくレンダリングしてもよい。ARシステムは、アイテムに結び付けられるまたはそれと近接して関連付けられた視覚的効果をレンダリングし、例えば、ボックスの周囲に、アイテムに関連付けられたメタデータが存在することを示す、発光効果を発光させてもよい。メタデータはまた、アイテムに関する割引または割戻のためのクーポンを含む、またはそこにリンクしてもよい。
ARシステムは、ユーザジェスチャを検出し、例えば、定義されたジェスチャに応答して、メタデータをロック解除してもよい。ARシステムは、異なるアイテムのための異なるジェスチャを認識してもよい。例えば、本明細書に説明されるように、仮想動画化創造物が、潜在的購入者または顧客に対して、クーポンを保持しながらボックスから飛び出すように見えるようにレンダリングされてもよい。例えば、ARシステムは、ユーザにボックスが開く様子を知覚させる、仮想コンテンツをレンダリングしてもよい。ARシステムは、顧客または消費者決定時点で広告作成および/または配信を可能にする。
ARシステムは、有名人の外観を複製する、仮想コンテンツをレンダリングしてもよい。例えば、ARシステムは、スーパーマーケットにおいて、有名シェフの仮想外観をレンダリングしてもよい。ARシステムは、製品の抱き合わせを補助する、仮想コンテンツをレンダリングしてもよい。例えば、1つ以上の仮想効果が、1本のワインに、ワインと良く合うチーズを推奨させてもよい。ARシステムは、買物者の注意を引くために、チーズに近接して見える、視覚的および/または聴覚的効果をレンダリングしてもよい。ARシステムは、ユーザの視野内にユーザにあるクラッカーを推奨するチーズを知覚させる、1つ以上の仮想効果をレンダリングしてもよい。ARシステムは、種々の製品(例えば、ワイン、チーズ、クラッカー)に関する意見またはコメントを提供し得る、仮想友人をレンダリングしてもよい。ARシステムは、ユーザの視野内に、ユーザが従っている食事に関連する、仮想効果をレンダリングしてもよい。例えば、効果は、細いバージョンのユーザの画像を含んでもよく、これは、ユーザが高カロリー製品を見ていることに応答してレンダリングされる。これは、食事に関する聴覚リマインダを含んでもよい。
特に、図89Aは、母親および娘が食料品店において拡張現実体験を楽しんでいる、シナリオ8902を図示する。ARシステム(8901および8903)は、買物カートの存在または買物カート上の手を認識してもよく、ユーザおよび/または買物カートの場所を決定してもよい。本検出された場所に基づいて、1つ以上の実施形態では、ARシステムは、図89Aに示されるように、買物カートのハンドルにテザリングされる、仮想ユーザインターフェース8932をレンダリングしてもよい。1つ以上の実施形態では、仮想ユーザインターフェース8932は、ARシステム8901および8903の両方、または単に、母親のARシステム8901に可視であってもよい。例証される実施形態では、仮想クーポン8934もまた、表示される(例えば、フローティング式仮想コンテンツ、壁にテザリングされる等)。1つ以上の実施形態では、食料品店は、ARシステムのユーザによって視認可能であるよう、仮想クーポンが食料品店の種々の物理場所においてユーザに方略的に表示されるように、アプリケーションを開発してもよい。
アプリケーションは、例えば、仮想食料品一覧を含んでもよい。食料品一覧は、ユーザ定義された基準(例えば、夕食のレシピ)によって編成されてもよい。仮想食料品一覧は、ユーザが家を出る前に生成されてもよく、またはある後の時間に生成される、もしくはさらにオンザフライで生成され、例えば、他のアプリケーションのうちの1つと協働してもよい。アプリケーションは、例えば、種々の製品に関する割引または割戻と交換できる仮想クーポンを含む、仮想クーポンブックを含んでもよい。アプリケーションは、例えば、種々のレシピ、目次、インデックス、および材料一覧を含む、仮想レシピ本を含んでもよい。仮想レシピの選択は、ARシステムに食料品一覧を更新させてもよい。
いくつかの実装では、ARシステムは、冷蔵庫、冷凍庫、またはカップボード内のいずれかにかかわらず、ユーザがすでに家に有している種々の材料の知識に基づいて、食料品一覧を更新してもよい。ARシステムは、ユーザがその家のキッチン内で作業する際、1日を通して本情報を収集してもよい。アプリケーションは、例えば、仮想レシピビルダを含んでもよい。レシピビルダは、定義された材料に関するレシピを構築してもよい。例えば、ユーザは、あるタイプの魚(例えば、鮭)を入力してもよく、レシピビルダは、その材料を使用するレシピを生成してもよい。レシピビルダによって生成された仮想レシピの選択は、ARシステムに食料品一覧を更新させてもよい。いくつかの実装では、ARシステムは、既存の材料の知識に基づいて、食料品一覧を更新してもよい。アプリケーションは、例えば、買物カート内の全アイテムの現在までのコストの合計を維持し得る、仮想計算機を含んでもよい。
図89Bは、ARシステム(それぞれ、8901および8903)を伴う母親および娘が食料品店の青果コーナーにおいて拡張現実体験を楽しんでいる、別のシナリオ8904を示す。母親は、物理食物アイテムをスケール上で計量する。仮想コンテンツボックス8938は、図89Bに示されるように、スケールの隣に表示され、製品についてのさらなる情報を提供してもよい。
1つ以上の実施形態では、ARシステムは、アイテムの合計コスト(例えば、重量で乗算されるポンドあたりの金額)を自動的に決定し、その金額を現在までのコストの合計に入力する。1つ以上の実施形態では、ARシステムは、近傍にある食料品一覧上のアイテムに注意を引くために、場所に基づいて、「スマート」仮想食料品一覧を自動的に更新する。例えば、ARシステムは、仮想食料品一覧のレンダリングを更新し、あるアイテムを視覚的に強調してもよい(例えば、青果コーナー内のフルーツおよび野菜に焦点が当てられる)。図89Bに示されるように、仮想名称タグ8936が、物理野菜(例えば、ジャガイモ、コーン等)の隣に現れ、それによって、ユーザへのリマインダとしての役割を果たしてもよい。
さらに、ARシステムは、視覚的効果が、仮想食料品一覧上に現れる、近傍物理アイテムの周囲またはそれに近接して見えるように、視覚的効果をユーザの視野内にレンダリングしてもよい。図89Cは、子供が、仮想アイコン8940を選択し、スカベンジャーハントアプリケーションを始める、別のシナリオ8906を示す。スカベンジャーハントアプリケーションは、子供の買物体験をより充実かつ教育的にし得る。スカベンジャーハントアプリケーションは、課題(例えば、食物アイテムを世界中の異なる国から特定する)を提示してもよい。ポイントが、食物アイテムを識別し、それらをその仮想買物カート内に入れるにつれて、子供のスコアに追加されてもよい。
図89Dは、子供がフレンドリーなモンスタまたはアバタの形態におけるボーナス仮想アイコン8942に向かってジェスチャしている別のシナリオ8908を示す。ARシステムは、予期しないまたはボーナス仮想コンテンツを子供のARシステム8903の視野にレンダリングし、子供のためのより楽しくかつ充実したユーザ体験を提供してもよい。
図89Eは、母親および娘が食料品店のシリアル通路に居る、別のシナリオ8910を示す。母親は、特定のシリアルを選択し、例えば、仮想コンテンツ8944によって示されるように、シリアルについてのメタデータの仮想提示を介して、付加的情報を調べる。メタデータ8944は、例えば、食事制限、栄養情報(例えば、健康度スター)、製品レビュー、および/または製品比較、もしくは顧客コメントを含んでもよい。メタデータのレンダリングは、特に、小さい文字またはフォントを読むことが困難であり得る、成人のために容易に可読であるように、メタデータが提示されることを仮想上可能にする。例証される実施形態では、母親は、ジェスチャ8946を通してメタデータ8944と相互作用する。
また、図89Eに図示されるように、動画化されたキャラクタ8948が、特定のアイテムに利用可能であり得る仮想クーポンとともに、任意の顧客にレンダリングされてもよい。ARシステムは、所与の製品のためのクーポンを全通過顧客にまたは停止した顧客にのみレンダリングしてもよい。代替として、または加えて、ARシステムは、所与の製品のためのクーポンを所与の製品をその仮想食料品一覧上に有する顧客にまたはその仮想食料品一覧上に匹敵する製品を有する者にのみレンダリングしてもよい。代替として、または加えて、ARシステムは、顧客の過去または現在の購買習慣および/または買物カートのコンテンツの知識に基づいて、所与の製品のためのクーポンをレンダリングしてもよい。
図89Fの別のシナリオ8912に図示されるように、ARシステムは、動画化されたキャラクタ8950(例えば、フレンドリーなモンスタ)を少なくとも子供の視野内にレンダリングしてもよい。ARシステムは、ボックス(例えば、シリアルボックス)から這い出てくるように見えるように、動画化されたキャラクタをレンダリングしてもよい。動画化されたキャラクタの突然の出現は、子供にゲーム(例えば、モンスタバトル)を開始するように促してもよい。子供は、ジェスチャを用いて、キャラクタを生物化する、または命を吹き込むことができる。例えば、手首のフリックは、ARシステムに、シリアルボックスを通して飛び出る動画化されたキャラクタをレンダリングさせてもよい。
図89Gは、通路の端に居て、ARシステム8901を介して、ライブデモを行う仮想有名シェフ8952(例えば、Mario Batali)を視聴している母親を図示する、別のシナリオ8914を示す。仮想有名シェフ8952は、単純レシピを顧客に実証してもよい。実証されるレシピにおいて使用される全材料は、食料品店で利用可能であって、それによって、ユーザが購入することを促し得る。
いくつかのインスタンスでは、ARシステムは、提示用ライブを提示してもよい。これは、質問が種々の小売場所において顧客によって有名シェフ8952に尋ねられることを可能にし得る。他のインスタンスでは、ARシステムは、以前に記録された提示を提示してもよい。
いくつかの実装では、ARシステムは、例えば、各顧客の個々の頭部装着式ARシステムによって担持される内向きに面したカメラを介して、顧客の画像を捕捉してもよい。ARシステムは、種々の顧客から成る群集の複合された仮想画像を有名人に提供してもよい。これは、ARシステムまたは有名シェフに関連付けられたデバイスにおいて有名シェフによって視認されてもよい。
図89Hは、ARシステム8901を装着する母親が食料品店のワインコーナーに居る、別のシナリオ8916を図示する。母親は、アプリケーションの仮想ユーザインターフェース8954を使用して、具体的ワインを検索してもよい。アプリケーションは、ワイン特有アプリケーション、電子書籍、またはより一般的ウェブブラウザであってもよい。ワインの選択に応答して、ARシステムは、仮想名称タグ8958によって示される所望のワインにナビゲートするための方向とともに、仮想マップ8956をユーザの視野内にレンダリングしてもよい。
母親が通路を通して歩いている間、ARシステムは、それぞれのワインのボトルに取り付けられる、または少なくともそれに近接して見える、仮想名称タグ8958に結び付けられるデータをレンダリングしてもよい。データは、例えば、友人からの推奨、顧客の個人用ワイン一覧上にあるワイン、および/または専門家からの推奨を含んでもよい。データは、加えて、または代替として、特定のワインに合う食物を含んでもよい。
図89Iは、母親および子供がその買物体験を完了する、シナリオ8918を図示する。母親および子供は、例えば、閾値8960上に、それを横断して、またはそれを通して、歩いて通りすぎてもよい。閾値8960は、多種多様な方式のいずれかにおいて、例えば、好適にマークされたマップとして実装されてもよい。ARシステムは、閾値8960にわたる、またはそれを通る通路を検出し、それに応答して、買物カート内の全ての食料品のコストを合計する。ARシステムはまた、買物カート内にない、したがって、忘れた可能性がある、仮想食料品一覧上の任意のアイテムを識別する、通知またはリマインダをユーザに提供してもよい。顧客は、仮想ディスプレイ8962を通して、清算を完了してもよい。1つ以上の実施形態では、トランザクションは、クレジットカードまたはキャッシャとの任意の相互作用を伴わずに、シームレスに行われてもよい(例えば、貨幣は、ユーザの銀行から自動的に引き落とされる等)。
図89Jのシナリオ8920に図示されるように、買物体験の終了時、子供は、仮想スコアボックス8964を通してそのスカベンジャーハントゲーム体験の概要を受信する。ARシステムは、ARシステム8903を使用して、概要を仮想コンテンツとして、少なくとも子供の視野内にレンダリングしてもよい。
図90は、例証される実施形態の1つによる、ARシステム9001を採用する顧客が小売環境、例えば、書店に居る、シナリオ9000を示す。
図90に示されるように、顧客は、書籍トーテム9012を取り上げてもよい。ARシステム9001は、書籍トーテム9012が開かれたことを検出し、それに応答して、没入型仮想書店体験をユーザの視野内にレンダリングする。仮想書店体験は、例えば、書籍のレビュー、提案、および作者コメント、説明、または見解を含んでもよい。ARシステムは、付加的コンテンツ9014、例えば、仮想クーポンをレンダリングしてもよい。仮想環境は、オンライン書店の便宜性と物理環境の体験を組み合わせる。
図91A-91Fは、医療関連用途においてARシステムを使用するシナリオを図示する。特に、図91Aは、外科医および外科手術チーム(それぞれ、ARシステム9101を装着する)が今後行われる僧帽弁置換手技のための術前計画セッションを行っている、シナリオ9102を示す。医療介護提供者の各々は、それぞれの個々のARシステム9101を装着している。
前述のように、ARシステムは、上級専門外科医または主治医である外科医の視覚的表現9114をレンダリングする。本明細書に論じられるように、視覚的表現9114は、非常に単純表現(例えば、アバタ)から非常に現実的表現(例えば、図91Aに示されるように、外科医の物理形態)の多くの形態をとってもよい。
ARシステムは、チームが計画の間に分析するために、患者の事前マップされた生体構造(例えば、心臓)を仮想形態9112でレンダリングする。ARシステムは、任意の角度または配向からの視認を可能にする、明視野を使用して生体構造をレンダリングしてもよい。例えば、外科医は、その裏側が見えるように、心臓の周囲を歩き得る。
ARシステムはまた、患者情報をレンダリングしてもよい。例えば、ARシステムは、物理テーブルの表面上に見えるように、ある患者情報9116(例えば、識別情報)をレンダリングしてもよい。また、例えば、ARシステムは、1つ以上の物理壁の表面上に見えるように、他の患者情報(例えば、医療画像、バイタルサイン、チャート)をレンダリングしてもよい。
図91Bに図示されるように、外科医は、手技の間、事前マップされた3D生体構造9112(例えば、心臓)を参照可能である。生体構造をリアルタイムで参照可能であることは、例えば、弁修復の留置正確度を改善し得る。外向きに向いたカメラは、手技からの画像情報を捕捉し、医学生が、仮想上ARシステムを介して、その遠隔クラスルームから観察することを可能にする。ARシステムは、患者の情報を容易に利用可能にし、例えば、病理学を確認し、および/または任意の臨界誤差を回避する。
図91Cは、外科医と患者との間の術後面談またはデブリーフィングを示す。術後面談の間、外科医は、患者の実際の生体構造の仮想生体構造9112または仮想3D解剖学的モデルの断面を使用して、外科手術が行われた方法を説明することが可能である。ARシステムは、患者の配偶者が、職場に居る間、仮想上仮想表現9118を通して、面談に参加することを可能にする。再び、ARシステムは、外科医、患者、および配偶者が、患者の実際の生体構造の仮想3D解剖学的モデルを所望の角度または配向から検査することを可能にする、明視野をレンダリングしてもよい。
図91Dは、患者が病院の部屋で回復中である、シナリオ9108を示す。ARシステム9101は、患者が、患者によって選択される仮想設定9120、例えば、穏やかなビーチ設定を通して、任意のタイプのリラックスする環境を知覚することを可能にする。
図92Eのシナリオ9110に図示されるように、患者は、病院滞在の間および/または退院後、ヨガを練習する、またはある他のリハビリテーションに参加してもよい。ARシステム9101は、患者が、仮想ヨガクラス内に仮想上レンダリングされた環境の友人を知覚することを可能にする。
図91Fのシナリオ9142に図示されるように、患者は、病院滞在の間および/または退院後、例えば、定常自転車9152をこぐことによって、リハビリテーションに参加してもよい。ARシステム(図示せず)は、ユーザの視野内に、シミュレートされたサイクルルーティング(例えば、マップ、高度、距離)、患者のパフォーマンス統計(例えば、パワー、スピード、心拍数、走行時間)についての仮想情報9154をレンダリングする。ARシステムは、例えば、お気に入りの物理ルート等の走行コースを複製する、屋外場面を含む、仮想バイク体験をレンダリングする。加えて、または代替として、ARシステムは、仮想アバタ9156を動機付けツールとしてレンダリングする。仮想アバタは、例えば、以前の走行を複製し、患者がその独自の個人的最良時間と競うことを可能にしてもよい。
図92は、例証される実施形態の1つによる、作業者が作業環境内でARシステム9201を採用する、シナリオ9200を示す。特に、図92は、機械類(例えば、芝刈り機)を動作させている造園作業者を示す。多くの反復仕事のように、芝の伐採は、骨が折れ得る。作業者は、一定期間後、関心を失い、それによって、事故の確率が増加し得る。さらに、有資格作業者を魅了すること、または作業者が適正に作業を行うことを確実にすることは困難であり得る。
作業者は、個々のARシステム9201を装着し、仮想コンテンツをユーザの視野内にレンダリングし、仕事のパフォーマンスを向上させる。例えば、ARシステムは、仮想ゲーム9212をレンダリングしてもよく、その目標は、仮想マップされたパターンに従うことである。パターンに正確に従い、消失する前に、あるスコア倍率器にヒットすると、ポイントが、受信される。パターンから外れる、またはある物理オブジェクト(例えば、木、スプリンクラーヘッド、ポイント)に近づきすぎると、ポイントが、引かれてもよい。
1つのみの例示的環境が図示されたが、本アプローチは、多種多様な作業状況および環境において実装されることができる。例えば、類似アプローチは、アイテムを読み出すために倉庫において、または棚に並べるためにもしくはメール等のアイテムをソートするために小売環境において、使用されることができる。本アプローチは、ゲームまたはパターンが多くの特定のタスクのために提供され得るため、訓練の必要性を低減または排除し得る。
図93A-93Cは、別の例証される実施形態による、物理球体形状のトーテム9312(例えば、球体トーテム)と相互作用する、物理オフィス環境内のARシステム9301のユーザを示す。図93Bに図示されるように、その手首の捻転を用いて、ユーザは、球体トーテムの上方に見えるようにユーザの視野内にレンダリングされる、ARシステムの仮想上の一次ナビゲーションメニューをアクティブ化する。図93Cに最良に図示されるように、ARシステムはまた、同様に、作業空間の周囲に見えるように、以前にマップされた仮想コンテンツをレンダリングする。例えば、ARシステムはまた、ソーシャルメディアアカウント(例えば、Twitter(登録商標)、Facebook(登録商標))、カレンダ、ウェブブラウザ、電子メールアプリケーションに関連付けられた仮想ユーザインターフェースをレンダリングしてもよい。
例証される実施形態では、ARシステム9301のユーザは、時計回り(または反時計回り)運動を使用し、トーテム9312を「開く」。トーテム9312は、ユーザがARシステムと相互作用することを可能にする、仮想ユーザインターフェースと見なされ得る。
例証される実施形態では、場面9320において、ユーザは、トーテム9312を取り上げる。場面9322において、ユーザは、トーテム9312に関係する所定のジェスチャまたは移動を行い、仮想メニュー9316の集合を表示させる。トーテムおよび仮想インターフェースの本マッピングは、ARシステムがジェスチャおよび/または移動を認識し、ユーザインターフェースを適切に表示させるように事前マップされてもよいことを理解されたい。
場面924において、1つ以上の仮想アイテム9318もまた、ユーザの物理空間内に表示される。例えば、ユーザは、選択された1つ以上のアイテムをユーザインターフェース9316を通して表示させてもよい。ユーザの物理空間は、現時点で、ユーザによって所望される仮想コンテンツによって囲繞される。1つ以上の実施形態では、仮想アイテム9318は、ユーザに関係して浮遊する(例えば、身体中心、頭部中心、手中心等)、または物理環境に固定されてもよい(例えば、世界中心)。球体トーテム9312は、ある種類のリュックとしての役割を果たし、ユーザがユーザによって所望される仮想コンテンツの集合を携行することを可能にする。
図93Dは、別の例証される実施形態による、ユーザがARシステム9301によってレンダリングされた第2の物理トーテム9332と相互作用する、場面9326を示す。
ARシステム9301は、例えば、身体または頭部装着式構成要素上の1つ以上の外向きに面したカメラを介して、画像情報を収集する。ARシステム9301は、随意に、物理空間についての付加的情報、例えば、任意の利用可能な無線通信ネットワーク、GPS場所情報、コンパス等の識別を収集する。ARシステムは、ユーザが位置する特定の物理空間の識別を決定するために、収集された情報を処理する。例えば、ARシステムは、種々のオブジェクト認識器を採用して、環境内の種々の物理オブジェクト(例えば、壁、机、椅子)を認識してもよい。また、例えば、ARシステムは、ユーザの物理場所を確認するために、そのようなものと、例えば、トポグラフィマップとして他の情報(例えば、GPS、コンパス、無線ネットワーク関連)を組み合わせてもよい。例えば、ARシステムは、幾何学的マップを採用し、トポロジマップへの接続を伝搬してもよい。トポロジマップは、例えば、基本ベクトル(例えば、WI-FI、GPS、RSS、空間オブジェクト
のハッシュ、特徴のハッシュ、ヒストグラムプロファイル、光学マーカー)に基づく、幾何学形状の中へのインデックスであってもよい。
のハッシュ、特徴のハッシュ、ヒストグラムプロファイル、光学マーカー)に基づく、幾何学形状の中へのインデックスであってもよい。
ARシステムはまた、随意に、物理場所における現在の時間(例えば、9:15AM)を決定してもよい。決定された物理場所と、随意に、現在の時間とに基づいて、ARシステムは、仮想コンテンツをユーザの視野にレンダリングし、仮想オブジェクト、人々、および/またはアバタが取り込まれる、仮想オフィス空間のビューを生成する。
ARシステムは、例えば、仮想カレンダをレンダリングしてもよい。ARシステムは、例えば、仮想カレンダが物理オフィス環境内のユーザの作業空間内の物理壁上に懸架しているかのようにユーザに見えるように、仮想カレンダをレンダリングしてもよい。ARシステムは、例えば、作業の1つ以上の仮想断片(例えば、仮想チャート、仮想略図、仮想提示、仮想文書)をレンダリングしてもよい。ARシステムは、例えば、作業の仮想断片が物理オフィス環境内のユーザの作業空間における物理壁の正面に掲示されているかのようにユーザに見えるように、作業の断片をレンダリングしてもよい。
ARシステムは、仮想ソーシャルネットワーク(例えば、Twitter(登録商標))ユーザインターフェースをレンダリングしてもよい。ARシステムは、例えば、仮想カレンダが物理オフィス環境内のユーザの作業空間における物理壁上に懸架しているかのようにユーザに見えるように、例えば、仮想ソーシャルネットワークユーザインターフェースをレンダリングしてもよい。
ARシステムは、仮想電子メール(例えば、電子メール)ユーザインターフェースをレンダリングしてもよい。ARシステムは、例えば、複数の仮想電子メールメッセージを、ユーザによって行われ、ARシステムによって検出されたジェスチャを介して、スクロールされ得る、ある集合内にレンダリングしてもよい。例えば、ARシステムは、読まれるべき仮想電子メールメッセージの集合と、ユーザがすでに読んだ仮想電子メールメッセージの集合とをレンダリングしてもよい。ユーザが仮想電子メールメッセージをスクロールするにつれて、ARシステムは、読まれた仮想電子メールメッセージが未読集合から既読集合に移動されるように、仮想コンテンツを再レンダリングする。ユーザは、例えば、適切なジェスチャを介して、いずれかの方向にスクロールすることを選定してもよい。新しい電子メールメッセージの受信に応じて、ARシステムは、新しい電子メールメッセージの到着を示す、仮想アイコンをユーザの視野内にレンダリングしてもよい。仮想アイコンは、例えば、球体トーテムに向かって、例えば、空中を飛ぶように見えてもよい。
図93Dに図示されるように、ユーザは、第2の物理トーテム9332と相互作用することができ、ARシステムは、仮想キーパッドをマップさせてもよい。したがって、ARシステムは、仮想キーパッドが第2の物理トーテム9332の表面上にあるかのように見えるように、仮想キーパッドをユーザの視野内にレンダリングしてもよい。ユーザは、例えば、タイピングタイプの指運動および/またはタブレットタイプの指運動(例えば、スワイプ)を介して、第2の物理トーテム9332と相互作用する。ARシステムは、第2の物理トーテムとのユーザの相互作用の画像情報を捕捉する。ARシステムは、相互作用の場所とレンダリングされている種々の仮想キーの場所との間のマッピングに照らして、ユーザ相互作用を解釈する。ARシステム9301は、相互作用をキーストロークデータに変換し、これは、多種多様な形態(例えば、ASCII、拡張ASCII)のいずれかにおいて表されてもよい。これは、ユーザが、例えば、電子メールメッセージ、ソーシャルネットワークインターフェース、カレンダ、および/または作業の断片と相互作用することを可能にしてもよい。
図93Eは、別の例証される実施形態による、物理オフィス環境内のユーザが物理キーボードと相互作用する、場面9328を示す。
ARシステムは、物理オフィス空間内の種々の場所に現れるようにユーザに見えるようにマップされた仮想コンテンツ9340を仮想オフィス空間内にマップおよびレンダリングする。仮想コンテンツ9340は、種々の作業関連アプリケーションまたはアプリケーションユーザインターフェースを含んでもよい。例えば、ARシステム9301は、ユーザが構造を可視化するのに役立つ3D建築モデルを含む、3Dプログラムをレンダリングしてもよい。
新しいメッセージの受信に応答して、ARシステムは、通知をユーザに提供してもよい。例えば、ARシステムは、ユーザの視野の中に飛んでくるメッセージ9342(例えば、電子メール、Tweet(登録商標))の仮想視覚的効果と、随意に、聴覚アラートまたは通知とをレンダリングしてもよい。いくつかの実装では、ARシステムは、メッセージの相対的重要性を査定し、例えば、有意に重要なメッセージに対してのみ、視覚的および/または聴覚的効果にレンダリングする。
新しいギフト(例えば、友人からの仮想ギフト)の受領に応答して、ARシステムは、通知をユーザに提供してもよい。例えば、ARシステムは、ユーザの視野の中に飛んできて、仮想パッケージを球体トーテム9312の隣に落とす、鳥9344の仮想視覚的効果をレンダリングしてもよい。ARシステムは、加えて、または代替として、聴覚アラートまたは通知を提供してもよい。ユーザは、仮想パッケージを開くジェスチャを行ってもよい。ジェスチャに応答して、ARシステムは、仮想パッケージを開く画像をレンダリングし、ギフトがユーザがプレイするためのゲームであることを明らかにする。
図93Eに示されるように、ユーザは、物理(実)キーボードと相互作用し、仮想コンテンツと相互作用してもよい。物理キーボードは、実際のキーボードであってもよいが、トーテムとして機能してもよい。例えば、ARシステムは、物理キーボードにマップされた仮想キーの集合を有してもよい。ユーザは、例えば、タイピングタイプの指運動を介して、物理キーボードと相互作用する。ARシステムは、物理キーボードとのユーザの相互作用の画像情報を捕捉する。ARシステムは、相互作用の場所と種々の物理キーの場所との間のマッピングに照らして、ユーザ相互作用を解釈する。
ARシステムは、相互作用をキーストロークデータに変換し、これは、多種多様な形態(例えば、ASCII、拡張ASCII)のいずれかにおいて表されてもよい。これは、ユーザが、例えば、電子メールメッセージ、ソーシャルネットワークインターフェース、カレンダ、および/または作業の断片と相互作用することを可能にしてもよい。とりわけ、物理キーボードから任意の他の構成要素への有線または無線通信が存在しなくてもよい。
図93Fは、別の例証される実施形態による、仮想オフィス空間およびゲームと相互作用する、物理オフィス環境内におけるユーザのペア(それぞれ、ARデバイス9301および9303を装着する)の場面9330を示す。
図93Fに図示されるように、ARシステム9303のユーザは、ゲーム9350を始めていてもよい。ARシステム9303は、直接または間接的のいずれかにおいて、例えば、パス可能世界モデルを介して、第1のARシステム9301と通信する。2つの個々のARシステムとの間の相互作用は、第1のユーザの個々のARシステムに、仕切り壁越しにのぞき、第1のユーザに特定のゲームに挑ませる、仮想モンスタキャラクタを含む場面をレンダリングさせる。これは、ゲームに参加するための仮想招待としての役割を果たす。第1のユーザは、その独自の仮想モンスタを選択し、それを第1のユーザの机の端部における戦場に割り当てることによって、承諾してもよい。ゲームは、その時点から展開し、各ユーザは、そのそれぞれの個々のARシステムへのレンダリングを介して、同一ゲームを体験し得る。2人のユーザとともに図示されるが、ゲームは、単一ユーザまたは2人を上回るユーザを伴ってもよい。いくつかの実装では、ゲームは、数千万人のユーザを含んでもよい。
図93Gは、そのそれぞれのARシステム9301および9303を通して仮想オフィス空間およびゲームと相互作用する、物理オフィス環境内におけるユーザのペアの場面9348を示す。
図93Gに図示されるように、第1のユーザは、そのプレーヤ(例えば、モンスタ)に、その机の端部から物理オフィス環境の床に戦場を再割り当てする。それに応答して、ARシステムは、戦いが床で生じているかのようにユーザの各々に見えるように、ゲームに関連する仮想コンテンツを再レンダリングしてもよい。ARシステムは、ゲームを物理場所内の変更に適応させてもよい。例えば、ARシステムは、仮想コンテンツがマップされた面積または体積のサイズに基づいて、レンダリングされたコンテンツを自動的にスケーリングしてもよい。
図示される実施例では、そのモンスタを机から地面に移動させることは、利用可能な空間を増加させる。故に、ARシステムは、第1のユーザのモンスタのサイズを自動的に拡大し、利用可能な空間を埋める。
図93Hは、そのそれぞれのARシステム9301および9303を通して仮想オフィス空間およびゲームと相互作用する、物理オフィス環境内におけるユーザのペアの場面9346を示す。
図93Hに図示されるように、ARシステムは、以前のレンダリング(図93F)から拡大された第1のユーザのモンスタをレンダリングする。第2のユーザまたは同僚は、そのモンスタを新しい戦場(例えば、オフィス空間の物理床)に設置することによって承諾する。それに応答して、ARシステムは、戦いが床上で生じているかのようにユーザの各々に見えるように、ゲームに関連する仮想コンテンツを再レンダリングしてもよい。ARシステムは、ゲームを物理場所内の変更に適応させてもよい。例えば、ARシステムは、同僚のモンスタのサイズを自動的に拡大し、利用可能な空間を埋め、戦いが開始または継続することを可能にしてもよい。
図93I-93Kは、別の例証される実施形態による、ARシステムによってレンダリングされた仮想オフィス空間の仮想コンテンツと相互作用する、ARシステム9301のユーザを示す。
特に、図93I-93Kは、時系列インスタンスを表し、その間、ユーザは、スケーリングツール9360にジェスチャを行い、その環境内で可視である、非作業関連画像の量をスケーリングする。それに応答して、ARシステムは、仮想部屋または仮想空間を再レンダリングし、例えば、ユーザの作業に関連しない視覚的コンテンツの相対的サイズを縮小させる。代替として、ユーザは、あるアプリケーション、ツール、機能、および/または仮想部屋もしくは仮想空間をオフにする、または背景に移動される(例えば、半径方向外向きに離間される)ように選択してもよい。図93Jに示されるように、スケーリングツール9360は、移動され、図93Iに示されたものより小さいパーセンテージを表す。同様に、図93Kでは、スケーリングツール9360は、移動され、図93Iおよび93Jと比較して、さらにより小さいパーセンテージを表す。
図93Lは、別の例証される実施形態による、仮想オフィス空間の仮想コンテンツと相互作用するARシステムのユーザを示す。ユーザは、仮想連絡先一覧を通して、仮想連絡先ユーザインターフェース9362を介して、その連絡先アプリケーションからグループ会議に招待するいくつかの連絡先を選択する。ユーザは、その名前および/または画像をARシステム9301によってユーザの視野内にレンダリングされる仮想会議部屋9364の中にドラッグアンドドロップすることによって、出席者を招待してもよい。ユーザは、種々のジェスチャを介して、または代替として、音声コマンドを介して、仮想ユーザインターフェース9362構造物と相互作用してもよい。ARシステムは、1つ以上の実施形態では、ジェスチャまたは音声コマンドを検出し、招待者に電子的に送信される、会議要求を生成する。
図93Lは、別の例証される実施形態による、ARシステムによってレンダリングされた仮想コンテンツと相互作用する、物理会議室環境内の幾人かのユーザを示す。
会議は、ユーザのうちの第1の1人によって送信されるグループ会議招待に応答してもよい(図93L)。招待者またはグループ会議参加者のうちの1人である、第1のユーザおよび第2のユーザは、物理会議部屋内に物理的に存在してもよい。招待者またはグループ会議参加者のうちの別の1人である、第3のユーザは、物理会議部屋内に仮想上存在してもよい。すなわち、第3のユーザの仮想表現が、そのそれぞれの個々のARシステムを介して、第1および第2のユーザに視覚的および聴覚的にレンダリングされる。それぞれの個々のARシステムは、第1および第2のユーザから物理テーブルを横断して着座して見えるように、第3のユーザの表現をレンダリングしてもよい。ARシステムは、種々の個々のARシステムによって、随意に、存在する場合、任意の部屋または空間ベースのセンサシステムによって捕捉された画像情報から生成されたパス可能世界モデルを使用して、これを達成する。
同様に、第1および第2のユーザの仮想表現は、会議室とともに、第3のユーザのそれぞれの個々のARシステムを介して、第3のユーザに視覚的および聴覚的にレンダリングされる。個々のARシステムは、第1および第2のユーザが第3のユーザから物理テーブルを横断して着座しているかのように第3のユーザに見えるように、第1および第2のユーザならびに会議室の表現をレンダリングしてもよい。ARシステムは、種々の個々のARシステムによって、随意に、存在する場合、任意の部屋または空間ベースのセンサシステムによって捕捉された画像情報から生成されたパス可能世界モデルを使用して、これを達成する。
ARシステムは、会議に出席するユーザの2人またはそれを上回る者によって共有される、仮想コンテンツをレンダリングしてもよい。例えば、ARシステムは、仮想3Dモデル(例えば、建物の明視野表現)をレンダリングしてもよい。また、例えば、ARシステムは、物理的に存在する、または仮想上のみ存在するかどうかにかかわらず、ユーザの全てによって視認可能である仮想チャート、図面、文書、画像、写真、提示等をレンダリングしてもよい。
ユーザの各々は、その独自の視点から仮想コンテンツを視覚的に知覚してもよい。例えば、ユーザの各々は、その独自の視点から仮想3Dモデルを視覚的に知覚してもよい。したがって、ユーザの任意の1人は、立ち上がり、仮想3Dモデルの周囲を歩き回り、3Dモデルを異なる立場または視点から視覚的に検査してもよい。仮想3Dモデルへの変更または修正は、ユーザの各々によって視認可能である。例えば、第1のユーザが3Dモデルへの修正を行う場合、ARシステムは、修正された仮想3Dモデルを第1、第2、および第3のユーザに再レンダリングする。
第1および第2のユーザが同一物理場所に居て、第3のユーザが異なる物理場所に位置するように図示されたが、1つ以上の実施形態では、例えば、各人物は、他者から別個のおよび/または遠隔である、それぞれの物理場所に居てもよい。代替として、全出席者は、共有仮想コンテンツ(例えば、仮想3Dモデル)を利用しながら、同一物理空間内に存在してもよい。したがって、具体的数の出席者およびそのそれぞれの具体的場所は、限定ではない。いくつかの実装では、他のユーザが、すでに進行中のグループ会議に参加するように招待されることができる。ユーザは、同様に、望ましいとき、グループ会議から退席することができる。他のユーザは、グループ会議が開始する前またはグループ会議が進行中の間のいずれかにおいて、グループ会議に招待されるように要求することができる。ARシステムは、グループ会議を手配するために、そのような招待を前述と類似する方式で実装してもよい。
ARシステムは、ユーザ間で仮想コンテンツを共有する前に、ハンドシェイキングプロトコルを実装してもよい。ハンドシェイキングは、参加することを所望するユーザを認証または認定することを含んでもよい。いくつかの実装では、ARシステムは、例えば、パス可能世界モデルを介して、視点を共有する個々のデバイス間のピアツーピア接続を採用する。
いくつかの実装では、ARシステムは、発話のリアルタイム文書翻訳を提供してもよい。例えば、第1のユーザは、他のユーザのうちの1つ以上の者の発言のリアルタイム文書翻訳を受信することを選択することができる。したがって、英語を話す第1のユーザは、ARシステムが、例えば、フランス語を話す第2または第3のユーザのうちの少なくとも1人の発話の文書翻訳を提供することを要求してもよい。ARシステムは、1つ以上のマイクロホン、例えば、発話者によって装着される個々のARシステムの一部であるマイクロホンを介して、発話者の発話を検出する。ARシステムは、音声データをテキストに変換する、チップまたはシステム(もしくはアプリケーション)を有してもよく、テキストをある言語から別の言語に翻訳する、翻訳システムを有してもよい。ARシステムは、発話者の発話の機械翻訳を行う、または行っている。ARシステムは、翻訳を文書形態で第1のユーザの視野にレンダリングする。
ARシステムは、例えば、発話者の視覚的表現に近接して現れるように、文書翻訳をレンダリングしてもよい。例えば、発話者が第3のユーザであるとき、ARシステムは、第1のユーザの視野内の第3のユーザの仮想表現に近接して現れるように、文書テキストをレンダリングする。発話者が第2のユーザであるとき、ARシステムは、第1のユーザの視野内の第2のユーザの実画像に近接して現れるように、文書テキストをレンダリングする。翻訳アプリケーションは、旅行用途のために使用されてもよく、人々がその母国語以外の言語において遭遇する看板/言語/コマンドを理解することをより容易にし得ることを理解されたい。
他の実装では、上記の実施例と同様に、ARシステムは、メタデータ(「プロファイル情報」)を仮想コンテンツとして人物の物理身体に隣接して表示してもよい。例えば、ユーザがビジネス会議の中に歩いていき、会議における人々を良く知らないと仮定する。ARシステムは、人物の顔特徴(例えば、眼位置、顔形状等)に基づいて、人物を認識し、その人物のプロファイル情報またはビジネスプロファイル情報を読み出し、その情報を仮想形態で人物のすぐ隣に表示してもよい。したがって、ユーザは、人物についてのある事前の情報を読んで調べることで、より生産的かつ建設的会議を有することが可能となり得る。人々は、上記のプライバシーセクションに説明されるように、選定する場合、その情報を表示させないように選択してもよいことを理解されたい。好ましい実施形態では、ライブ翻訳および/またはメタデータのロック解除のいずれかは、ユーザのシステム(ベルトパック、コンピュータ)上で行われてもよい。
ここで図94を参照すると、それぞれのARシステム9401を装着するユーザ間の例示的場面が、図示される。図94に示されるように、ユーザは、例えば、建築会社の従業員であてもよく、今後のプロジェクトについて議論してもよい。有利には、ARシステム9401は、ユーザが、物理テーブル上に建築モデル9412の視覚的表現を提供することによって、相互に相互作用し、プロジェクトについて議論することを可能にしてもよい。図94に示されるように、ユーザは、仮想建築モデル9412を構築する、またはそれに任意の編集もしくは修正を行うことが可能であってもよい。図94に示されるように、ユーザはまた、ユーザが構造の側面をより良く理解することを可能にする、仮想コンパスと相互作用してもよい。
また、図94に図示されるように、種々の仮想コンテンツ9414は、ユーザが専有している物理部屋にテザリングされ、それによって、ユーザのための生産的会議を可能にしてもよい。例えば、仮想コンテンツ9414は、他の類似建築計画の図面であってもよい。または、仮想コンテンツ9414は、実世界内に構築されるべき場所のマップ等に関連付けられてもよい。
図95A-95Eは、別の例証される実施形態による、連続間隔においてARシステムによってレンダリングされた仮想コンテンツと相互作用する、屋外物理環境におけるARシステム9501のユーザを示す。
特に、図95Aは、いくつかの建物を含む、町の通りに沿って家に歩いて帰るユーザを示す。施設(例えば、レストラン、店、建物)は、ユーザの注意を引きつける。ユーザは、図95Aに示されるように、施設の看板またはロゴに体を向けて、注視する。ARシステム9501は、ユーザの視野内に現れる看板またはロゴを検出し、メタデータまたは他の情報が利用可能であるかどうかを決定する。メタデータまたは他の情報が利用可能である場合、ARシステムは、キューをユーザにレンダリングし、メタデータまたは他の情報が利用可能であることを示す。例えば、ARシステムは、少なくとも看板またはロゴに近接して、視覚的効果(例えば、ハイライト、後光、マーキー、色)を生じさせてもよい。例証される実施形態では、仮想「+」看板9532は、看板の隣にレンダリングされ、メタデータが利用可能であることを示す。
図95Bに図示されるように、ユーザは、仮想アイコン9532を選択し、看板またはロゴが関連付けられた施設(例えば、レストラン、店、建物)に関連付けられたメタデータまたは他の情報を視認してもよい。例えば、ユーザは、ジェスチャ、例えば、看板またはロゴに向かって指示ジェスチャを行ってもよい。
図95Cに図示されるように、ユーザ選択に応答して、ARシステム9501は、仮想コンテンツボックス9534を通して、施設(例えば、レストラン、店、建物)に関連付けられた情報および/またはメタデータの表現を近接してレンダリングする。例えば、ARシステム9501は、メニュー、写真、およびレビューをユーザによって視認され得る別の仮想フォルダ9536内にレンダリングしてもよい。
実際、ARシステム9501は、種々の異なるタイプの物理および/または仮想オブジェクトに関連付けられた情報および/またはメタデータの表現を近接してレンダリングしてもよい。例えば、ARシステムは、ユーザの視野内に見える、建物、人物、車両、車道、機器の断片、生体構造の断片等上またはそれに近接して、メタデータをレンダリングしてもよい。ARシステムが、物理オブジェクトに関するメタデータをレンダリングしているとき、ARシステムは、最初に、物理オブジェクトの画像を捕捉し、画像を処理し(例えば、オブジェクト認識器)、物理オブジェクトを識別する。
ARシステムは、識別された物理オブジェクトと論理的に関連付けられたメタデータを決定してもよい。例えば、ARシステムは、名前および場所、建築家、建築年、高さ、写真、階数、着目点、利用可能なアメニティ、建物の営業時間を検索してもよい。また、例えば、ARシステムは、レストランに関するメニュー、批評家によるレビュー、友人によるレビュー、写真、クーポン等を見つけてもよい。また、例えば、ARシステムは、映画館、映画、または他の製品に関する上映時間、チケット情報、批評家によるレビュー、友人によるレビュー、クーポン等を見つけてもよい。また、例えば、ARシステムは、ある人物の名前、仕事、および/または肩書き、人物との関係、人物の配偶者の名前、子供の名前、誕生日、写真、お気に入りの食物、または他の選好等の個人的詳細を見つけてもよい。
メタデータは、定義され、ユーザの母集団全体に対してオブジェクト(例えば、非生物オブジェクトもしくは人物)と論理的に関連付けられてもよく、または単一ユーザもしくはユーザの集合(例えば、同僚)に特有であってもよい。ARシステムは、ユーザが、他のユーザと共有されるメタデータまたは他の情報を選定し、メタデータまたは他の情報にアクセスし得る他のユーザを識別することを可能にしてもよい。例えば、ユーザは、メタデータの集合または物理場所(例えば、地理的座標、建物)もしくは人物に関連する他の情報を定義してもよい。ユーザは、メタデータまたは他の情報にアクセスする権限が付与される、またはその特権が提供される、ユーザの集合(例えば、ユーザの母集団の下位集合)を定義してもよい。権限または特権は、種々のレベル、例えば、読取専用アクセス、書込アクセス、修正アクセス、および/または削除アクセスに設定されてもよい。
ユーザが、ユーザが場所またはオブジェクトに関連付けられたメタデータの情報を少なくとも読み取る、または別様にそれにアクセスする権限または特権を有する、ある場所に居る、またはオブジェクトを視認しているとき、ARシステムは、ユーザにキューを提供し、メタデータまたは他の情報の可用性を示す。例えば、個々のARシステムは、メタデータまたは他の情報が利用可能であるオブジェクトまたは人物に少なくとも近接して見えるように、定義された視覚的効果をユーザの視野内にレンダリングしてもよい。ARシステムは、例えば、発光するように見える線をレンダリングしてもよい。ARシステムは、トリガ、例えば、ジェスチャまたは音声コマンドに応答して、メタデータまたは他の情報をユーザの視野内にレンダリングする。
図95Dは、背景に待合所および建物を伴うバス停に居る、ARシステム9501のユーザを示す。例証される実施形態では、ARシステム9501は、視覚的情報および/または付加的情報(例えば、GPS場所情報、コンパス情報、無線ネットワーク情報)に基づいて、ユーザの場所を検出してもよい。例えば、オブジェクト認識器は、屋外環境内に存在する種々の物理オブジェクト、例えば、待合所または建物を識別してもよい。ARシステムは、一致する物理オブジェクトを伴う場所を見つける。前述のように、ARシステムは、物理場所を査定または決定する際に情報のトポグラフィマップ(例えば、利用可能な無線ネットワークの識別および/または信号強度、GPS場所情報)を採用してもよい。
ARシステムは、待合所の外観をユーザのビュー内に検出し、ユーザが待合所または待合所上にある何らかの物を注視していることを決定するために十分な長さの一時停止を検出してもよい。それに応答して、ARシステムは、適切または対応する仮想コンテンツをレンダリングしてもよい。例えば、ARシステムは、仮想コンテンツが待合所の1つ以上の表面上またはそこから延在するように見えるように、仮想コンテンツをユーザの視野内にレンダリングしてもよい。代替として、仮想コンテンツは、他の表面(例えば、歩道)上に見える、またはさらに空中に浮遊しているように見えるように、レンダリングされてもよい。
ARシステムは、バス停において、バス停がユーザによって定期的に使用されていることを認識してもよい。それに応答して、ARシステムは、その公共交通(例えば、バス、電車)または他の輸送機関(例えば、タクシー、航空機)を待つとき、ユーザが典型的に使用する、第1の仮想コンテンツ9538の集合をレンダリングしてもよい。例えば、ARシステムは、ソーシャルネットワーキングユーザインターフェース(例えば、Twitter(登録商標)、Facebook(登録商標)等)をレンダリングしてもよい。別のインスタンスでは、ARシステムは、着信メッセージ(例えば、Tweet(登録商標))に応答して、キューをユーザの視野にレンダリングしてもよい。
また、例えば、ARシステムは、読物(例えば、新聞、雑誌、書籍)または他のメディア(例えば、ニュース、テレビ番組、映画、ビデオ、ゲーム)をレンダリングしてもよい。さらなる実施例として、ARシステムは、輸送機関についての情報(例えば、バスが到着するまでの時間および/または次のバスの現在の場所)をレンダリングしてもよい。
別の実施形態では、ARシステムは、バス停をユーザによって定期的に使用されていないバス停として認識してもよい。それに応答して、ARシステムは、加えて、または代替として、ユーザが、典型的には、公共交通(例えば、バス、電車)または他の輸送機関(例えば、タクシー、航空機)を待つときに所望するであろう、第2の仮想コンテンツ9540の集合をレンダリングする。例えば、ARシステムは、ルートマップ、スケジュール、現在のルート情報、概算移動時間、および/または代替移動選択肢の仮想表現をレンダリングしてもよい。
図95Eは、バス停でゲームをプレイしているARシステム9501のユーザを示す。図95Eに示されるように、ARシステム9501のユーザは、バスを待つ間、仮想ゲーム9542をプレイしていてもよい。
例証される実施形態では、ARシステムは、ユーザの視野内に見えるようにゲームをレンダリングする。従来の2Dゲームとは対照的に、本3Dゲームの一部は、ユーザからある深度で離間されて現実的に現れる。例えば、標的(例えば、豚で保護された要塞)が、ユーザから数フィートまたはさらに数メートルの所において、通りに位置するように見えてもよい。ユーザは、非生物オブジェクトまたはユーザ自身の手であり得る、トーテムを発射構造(例えば、パチンコ)として使用してもよい。したがって、ユーザは、バスを待つ間、楽しめる。
図96A-96Dは、別の例証される実施形態による、連続間隔でARシステム9601によってレンダリングされた仮想コンテンツと相互作用する、物理キッチン内におけるARシステム9601のユーザを示す。
ARシステム9601は、例えば、視覚的情報および/または付加的情報(例えば、GPS場所情報、コンパス情報、無線ネットワーク情報)に基づいて、ユーザの場所を検出する。例えば、オブジェクト認識器は、キッチン環境内に存在する種々の物理オブジェクト、例えば、壁、天井、床、カウンタ、キャビネット、器具等を識別してもよい。ARシステムは、一致する物理オブジェクトを用いて場所を見つける。前述のように、ARシステムは、物理場所を査定または決定する際、情報(例えば、利用可能な無線ネットワークの識別および/または信号強度、GPS場所情報)のトポグラフィマップを採用してもよい。
図96Aに図示されるように、ユーザが、例えば、キッチンに居ることの認識に応答して、ARシステム9601は、適切なまたは対応する仮想コンテンツをレンダリングしてもよい。例えば、ARシステムは、仮想コンテンツ9632が1つ以上の表面(例えば、キッチンの壁、調理台、油はね防止板、器具等)上またはそこから延在するように見えるように、仮想コンテンツ9632をユーザの視野内にレンダリングしてもよい。仮想コンテンツはさらに、冷蔵庫またはキャビネットのドアの外側表面上にレンダリングされ、冷蔵庫またはキャビネットの内部の最近前もって捕捉された画像に基づいて、冷蔵庫またはキャビネットの予期される現在の内容物のインジケーション(例えば、一覧、画像)を提供してもよい。仮想コンテンツはさらに、冷蔵庫またはキャビネットの内部等の封鎖体積の制限内にあるように見えるようにレンダリングされてもよい。
ARシステム9601は、ユーザが、例えば、ジェスチャを介して、選定するレシピのタイプのカテゴリを含む、仮想レシピユーザインターフェースをレンダリングしてもよい。ARシステムは、例えば、キッチンの壁にマップされたかのように見える、食物画像の集合(例えば、壁パネル)をユーザの視野内にレンダリングしてもよい。ARシステムは、例えば、調理台にマップされるように見えるように、ユーザの友人の種々の仮想プロファイル9634をレンダリングし、ユーザに、友人の任意の食物アレルギーまたは食事制限または選好をアラートしてもよい。図96Aはまた、ARシステムと相互作用し、常時、仮想コンテンツの集合をユーザとともに「携行」するために使用され得る、トーテム9636を図示する。したがって、キッチンの側壁には、仮想ソーシャルメディア9638が取り込まれてもよい一方、カウンタには、レシピ等が取り込まれてもよい。
図96Bに図示されるように、ユーザは、仮想レシピファインダユーザインターフェース9640を使用して、仮想検索ボックス9642を通して、種々のパラメータ、基準、またはフィルタを使用して、レシピを検索してもよい。例えば、ユーザは、グルテンフリーの前菜のレシピを検索してもよい。
図96Cに図示されるように、仮想レシピファインダ9640のユーザインターフェースは、ある基準(例えば、グルテンフリーおよび前菜)に一致するレシピのための検索の種々の結果9644を仮想上提示する。ユーザインターフェースは、1つ以上のユーザ選択可能アイコンを有してもよく、その選択は、ユーザが、検索結果をスクロールすることを可能にする。ユーザは、検索結果9644が提示される、任意の所望の方向にスクロールすることを選択してもよい。
使用すべきレシピが決まっていない場合、ユーザは、仮想インターフェースを使用して、別のユーザに連絡してもよい。例えば、ユーザは、例えば、適切なまたは対応するエントリ(例えば、名前、写真、アイコン)をユーザの連絡先の集合(例えば、一覧)から選択することによって、その母親を選択して、連絡してもよい。ユーザは、適切なジェスチャを介して、または代替として、音声または発話コマンドを介して、選択を行ってもよい。ARシステムは、ジェスチャまたは音声もしくは発話コマンドを検出し、それに応答して、他のユーザ(例えば、母親)に連絡を試みてもよい。
図96Dに図示されるように、ソーシャルネットワーキングアプリケーションのユーザインターフェースは、キューを生成し、選択された連絡者が連絡の試みに応答していることを示す。例えば、ARシステムは、キューをユーザの視野内にレンダリングし、連絡者が応答していることを示してもよい。例えば、ARシステムは、連絡先の集合内の対応する名前、写真、またはアイコンを視覚的に強調してもよい。加えて、または代替として、ARシステムは、聴覚アラートまたは通知を生成してもよい。
それに応答して、ユーザは、連絡の試みを承認し、連絡先または他のユーザ(例えば、母親)との通信ダイアログを確立してもよい。例えば、ユーザは、適切なジェスチャを行ってもよく、ARシステムは、それを検出し、通信ダイアログを確立することによって応答する。例えば、ARシステムは、ARデバイス9603を使用する他のユーザ(例えば、母親)の仮想表現9646を第1のユーザの視野の中にレンダリングしてもよい。表現は、多くの形態、例えば、単純戯画表現または他の人物を3次元で現実的に表す複雑な明視野をとってもよい。表現は、第1のユーザからカウンタを横断して立っている、または座っているかのように見えるように、レンダリングされてもよい。同様に、他のユーザも、第1のユーザの表現を視認してもよい。
2人のユーザは、両方とも同一物理空間内に存在するかのように、相互および共有仮想コンテンツと相互作用することができる。ARシステムは、有利には、上記で詳細に論じられるように、パス可能世界モデルを採用し、ユーザ体験を実装してもよい。
図97A-97Fは、別の例証される実施形態による、連続間隔でARシステムによってレンダリングされた仮想コンテンツと相互作用する、その家のリビングルームにおいてARシステム9701を装着するユーザを示す。
図97Aに図示されるように、ユーザが、例えば、その自身のリビングルームに居ることを認識する、および/または種々の来客を認識することに応答して、ARシステム9701は、適切なまたは対応する仮想コンテンツをレンダリングしてもよい。加えて、または代替として、ARシステムは、スケジュールされたイベント、例えば、ユーザが申し込んだ、またはフィードもしくは参加のためのチケットを購入した、ライブまたは記録されたコンサートに応答してもよい。
例えば、ARシステムは、仮想コンテンツが1つ以上の表面(例えば、壁、天井、床等)または物理空間の体積内のいずれかの場所上またはそこから延在するように見えるように、仮想コンテンツ9732をユーザの視野内にレンダリングしてもよい。来客が存在する場合、来客によって装着される個々のARシステムは、仮想コンテンツを来客のそれぞれの視野内にレンダリングしてもよい。仮想コンテンツ9732は、その人物の現在の位置および/または配向に基づいて、各人物のARシステムにレンダリングされ、それぞれのユーザの視点から仮想コンテンツをレンダリングしてもよい。
また、図97Aに図示されるように、ユーザは、例えば、仮想ユーザインターフェース9736を使用して、例えば、ユーザが主催している夕食パーティーに備えて、1つ以上の音楽ライブラリ、例えば、共有音楽ライブラリをブラウズしてもよい。ユーザは、例えば、ユーザのお気に入りの曲および/またはアーティストおよび/またはアルバムの仮想表現9734(例えば、アイコン、タイトル)をパーソナル仮想Beats Music
Roomの中にドラッグアンドドロップすることによって、曲または音楽断片を選択し、ユーザの来客を迎えるための完璧な雰囲気を作成してもよい。
Roomの中にドラッグアンドドロップすることによって、曲または音楽断片を選択し、ユーザの来客を迎えるための完璧な雰囲気を作成してもよい。
いくつかの実装では、ユーザは、音楽、コンサート、パフォーマンス、もしくは他のイベントにアクセスするためのチケットまたは権利を購入してもよい。音楽、コンサート、パフォーマンス、または他のイベントは、ライブであってもよく、または以前に記録されてもよい。図97Aに図示されるように、ARシステムは、コンサート、パフォーマンスまたは他のイベントをユーザの物理空間上にマップされた仮想空間としてレンダリングしてもよい。ARシステムは、パス可能世界モデルを採用し、それを実装してもよい。ARシステムは、例えば、会場のパス可能世界モデルを種々のユーザによって装着される個々のARシステムにパスしてもよい。初期パス可能世界モデルは、詳細を含む、会場全体を表す情報を含んでもよい。後続パス可能世界モデルは、以前のパス可能世界モデルからの変更のみを反映してもよい。
オーディオまたは音は、標準的2チャネルステレオ、5.1もしくは7.1サラウンド音、または3D空間音(例えば、音波位相シフタ)で提供されてもよい。オーディオまたは音は、パーソナルスピーカによって、または音を2人またはそれを上回るユーザに同時に提供する、共有スピーカによって配信されてもよい。パーソナルスピーカは、イヤーバズ、オンイヤーヘッドホン、またはオーバーイヤーヘッドホンの形態をとってもよい。これらは、仮想画像(例えば、4D明視野)を提供する、頭部装着式構成要素の中に統合されてもよい。
共有スピーカは、ブックシェルフ型スピーカ、据置型スピーカ、モニタスピーカ、リファレンススピーカ、または他のオーディオ変換器の形態をとってもよい。とりわけ、ARシステムは、そのような配列における異なる聴取者位置を考慮する必要がないため、パーソナルスピーカを使用して現実的音場を配信することがより容易であろう。別の実施形態では、ARシステムは、ユーザが存在するはずであるデジタル環境に基づいて、現実的音/オーディオを配信してもよい。
例えば、ARシステムは、特定の源または空間から生じるように見えるように、オーディオ制御をシミュレートしてもよい。例えば、小封鎖部屋から発出する音は、オペラハウスから発出する音と非常に異なり得る。前述のように、音波正面は、ARシステムの視覚に付随して起こる正しい音質の作成の成功のために使用され得る。
ARシステムは、仮想コンテンツをレンダリングし、ユーザに、パフォーマンスがその自身の場所(例えば、リビングルーム)において生じているように知覚させることができる。代替として、ARシステムは、仮想コンテンツをレンダリングし、ユーザに、例えば、任意の所与の視点から、その周囲の群集が見える能力もさらに伴って、会場において生じているパフォーマンスに参加しているように知覚させることができる。ユーザは、例えば、前列、ステージ上、またはバックステージを含む、会場内の任意の所望の視点を選択してもよい。
いくつかの実装では、ライブを行っているアーティストは、アーティストが、遠隔でパフォーマンスに出席している種々のユーザの複合である、聴衆を知覚することを可能にする、それぞれの個々のARシステムを有してもよい。種々の聴衆メンバーからの画像および/または音は、それぞれの聴衆メンバーによって装着される個々のARシステムを介して捕捉されてもよい。これは、例えば、質問および回答セッションを含む、パフォーマーと聴衆との間の相互作用を可能にしてもよい。4D明視野の使用は、そうでなければより従来のアプローチを使用して達成され得るものより現実的体験を提供する。
図97Bは、物理リビングルーム内でARシステム9701を有する、来客のペアを示す。主催者ユーザ9720は、来客の写真を撮ることを決定する。主催者ユーザは、対応するジェスチャ(例えば、人差し指と親指で両手に直角を作る)を行い、対面して保持され、長方形またはフレームを形成する。主催者ユーザの独自の個々のARシステムは、ジェスチャを検出し、ジェスチャを解釈し、それに応答して、例えば、主催者ユーザによって装着される個々のARシステムの一部を形成する、1つ以上の外向きに面したカメラを介して、画像を捕捉する。ジェスチャはまた、その写真が撮影されていることの来客へのインジケーションとしての役割を果たし、それによって、プライバシーを保護する。
いったんユーザが写真(例えば、デジタル写真)を撮ると、ユーザは、素早く写真を編集し(例えば、クロップ、注釈の追加、フィルタの追加)、写真をソーシャルネットワークにポストしてもよい。これは全て、ARシステムを介して、ジェスチャを使用して行われる。関連実施形態では、いったんユーザが写真を撮ると、写真の仮想コピーが、物理空間の中にピン留めされてもよい。
例えば、ユーザは、仮想写真を部屋内の物理壁上にピン留めしてもよく、または代替としてさらに、仮想写真をARシステムによって作成された仮想壁の中にピン留めしてもよい。写真は、いくつかの実施形態では、2D形態またはさらに3D写真のいずれかであってもよいことを理解されたい。したがって、ARシステムは、常時、3D情報を取得し、これは、後で読み出され、再使用されてもよい。例えば、テキストメッセージまたは任意のアイテムは、ユーザの選好に基づいて、2Dまたは3Dのいずれかで現れてもよい。ユーザは、以下にさらに論じられるように、ジェスチャを使用することによって、仮想コンテンツを操作してもよく、単に、ジェスチャまたは任意の他のユーザ入力を使用することによって、コンテンツを自身に引き寄せたり、引き離したりしてもよい。
図97Cは、写真、例えば、パーティーの間に捕捉された写真を楽しんでいる、物理リビングルーム内の主催者ユーザおよび来客を示す。図示されるように、仮想写真9722は、リビングルームの物理壁にピン留めされている。ARシステム9701は、例えば、各ユーザが写真を壁上にあるように知覚するように、写真をレンダリングしてもよい。ユーザは、適切なジェスチャを介して、写真をスケーリングすることができる。
パーティーウォールは、他者およびパーティーに出席している人々にパーティーを体験または再体験させる。パーティーは、全体的パーティーの完全明視野体験として捕捉されてもよい。これは、ビデオとしてではなく、完全視点体験として、パーティーを復元し、思い出すことを可能にする。言い換えると、ユーザは、本質的に任意の視点から、事後に、部屋を動き回り、ユーザを通り過ぎる人々が見え、パーティーを視認することを可能にするであろう。
図97Dは、メディアコンテンツ、例えば、映画を楽しむための仮想ディスプレイ、モニタ、または画面を設定している、物理リビングルーム内における主催者ユーザおよび来客を示す。
図97Dに図示されるように、主催者ユーザは、仮想ディスプレイ9724、モニタ、もしくは画面を作成するためのジェスチャを行う、または別様に、ARシステムに、ディスプレイメディアコンテンツ、例えば、映画、テレビタイプ番組、もしくはビデオを設定することを示すもしくはコマンドしてもよい。特に、主催者ユーザは、例えば、メディアコンテンツが現れるようにレンダリングされるべき壁に面して、2つの手のジェスチャ9726を使用して、ある面積をフレーム化する。主催者ユーザは、人差し指と親指を直角に広げ、L-形状を作り、仮想ディスプレイ9724、モニタ、または画面の所望の周縁の輪郭を描いてもよい。
主催者ユーザは、別のジェスチャを通して、仮想ディスプレイ、モニタ、または画面9724の寸法を調節してもよい。とりわけ、実践上、スケーリングに機械的限界が存在せず、唯一の感知され得る限界が、ヒトの眼の分解能であるため、ユーザの眼の網膜に指向される4D明視野の使用は、仮想ディスプレイ、モニタ、または画面のサイズが仮想上無制限であることを可能にする。
さらに、主催者ユーザの個々のARシステム(例えば、主催者ユーザによって装着される)は、来客ユーザが主催者ユーザの体験を共有することができるように、来客ユーザの個々のARシステムと協調してもよいことに留意されたい。したがって、主催者ユーザの個々のARシステムは、主催者ユーザのジェスチャを検出し、仮想ディスプレイ、モニタ、または画面を定義し、さらに、提示のためのユーザ選択メディアコンテンツを識別してもよい。主催者ユーザの個々のARシステムは、本情報を、直接または間接的にのいずれかにおいて、来客ユーザの個々のARシステムに通信してもよい。これは、1つ以上の実施形態では、パス可能世界モデルを通して遂行されてもよい。
図97Eは、メディアコンテンツ、例えば、映画を楽しむための仮想ディスプレイ、モニタ、または画面を設定している、物理リビングルーム内における主催者ユーザおよび来客を示す。
図97Dとは対照的に、主催者ユーザは、指示された人差し指を用いて、対角線を描き、所望の仮想ディスプレイ、モニタ、または画面の位置およびサイズを示す、別のジェスチャ9728を行う。
図97Fでは、ユーザはさらに、仮想ディスプレイ、モニタ、または画面9724のための特性を選んでもよい。例えば、ユーザは、仮想アイコン9730を通して、審美的特性、例えば、境界、ベゼル、またはフレームを選ぶためのジェスチャを行ってもよい。ユーザはまた、動作特性、例えば、画像再現および/または品質に関連する特性を選ぶためのジェスチャを行ってもよい。例えば、ユーザは、種々の旧来の物理モニタまたはテレビから選択してもよい。ARシステムは、旧来のモニタまたはテレビ(例えば、1967年からのカラーテレビ)の写真特性を複製してもよい。
したがって、主催者ユーザは、モニタまたはテレビをメーカーおよびモデルおよび年式の一覧から選択し、同一物理キャビネットの外観、同一視覚的または写真特性の外観を伴う、歴史的に正確なデバイスを複製し、さらに、より古い音を複製してもよい。ユーザは、より古い番組またはメディアコンテンツを年代物の現実的モニタまたはテレビ上で体験することができる。ユーザは、新しいプログラムまたはメディアコンテンツをより古いモニタまたはテレビ上で体験してもよい。
ARシステムは、最上位の最新テレビもしくはモニタまたはさらに将来的テレビもしくはモニタを忠実に複製する、仮想ディスプレイ、モニタ、またはテレビ9724を作成してもよい。これらのタイプの実施形態は、本質的に、物理ディスプレイシステム(例えば、コンピュータ、テレビ等)を購入する任意の理由を排除する。
実際、複数のユーザが、複数のテレビを使用してもよく、各テレビ画面は、異なるコンテンツを表示する。ARシステムはまた、古典的年代物の製品または最新デジタル映写機であるかどうかにかかわらず、映写機の映像特性に一致するように仮想コンテンツをレンダリングしてもよい。例えば、ARシステムは、大型映画館の映写機およびスクリーンの1つ以上の特徴を複製するように仮想コンテンツをレンダリングしてもよい。利用可能であるスピーカ構成に応じて、ARシステムはさらに、映画館のサウンドシステムを複製してもよい。
ARシステムは、映画館内に座っている状態を複製する、仮想コンテンツをレンダリングしてもよい。例えば、ARシステムは、映画館の建造物に一致または非常に類似する、仮想コンテンツをレンダリングしてもよい。したがって、ユーザは、例えば、古典的映画館の一覧から、複製のための映画館を選択してもよい。ARシステムはさらに、少なくとも部分的に、ユーザを囲繞する、聴衆を作成してもよい。仮想コンテンツは、例えば、身体座標フレームにロックされてもよい。したがって、ユーザがその頭部を転向または傾斜させるにつれて、ユーザは、映画館の異なる部分(例えば、壁、バルコニー)の仮想表現が、ユーザの周囲に着座して見える人々の仮想表現とともに見えてもよい。ユーザはさらに、着座位置または任意の他の視点を取り上げてもよい。
ウェブサイトまたはアプリケーションストアは、ユーザが、古典的テレビ、モニタ、プロジェクタ、および画面、ならびに映画館、コンサートホール等の種々の公演会場の外観と雰囲気を複製する、フィルタまたは他のソフトウェアを設計および共有することを可能にするように設定されてもよい。
したがって、ユーザは、特定の映画館、映画館内の場所、特定の映写機タイプ、および/またはサウンドシステムタイプを選択してもよい。これらの特徴は全て、単に、ユーザのARシステム上にレンダリングされてもよい。例えば、ユーザは、特定の年代物のTV番組を1960年代初期の年代物のテレビセット上で視聴することを所望し得る。ユーザは、仮想映画館内に座ってその1話を体験し、ユーザの周囲および/またはその正面に座っている人々も見え得る。身体中心視野は、ユーザが、ユーザが転向するにつれて他者が見えることを可能にしてもよい。ARシステムは、映画館体験を再現または複製することができる。同様に、ユーザは、特定のコンサート会場、会場内の特定の座席、または場所(例えば、ステージ上、バックステージ)を選択することができる。1つ以上の実施形態では、会場は、ユーザ間で共有されてもよい。
図97Gは、例証される実施形態の1つによる、幾人かのユーザを示し、それぞれ、それぞれの物理光線銃トーテム9750を保持し、ARシステムによってレンダリングされた仮想ユーザインターフェース9752と相互作用し、その武器をカスタマイズする。
プレイの前に、各ユーザは、そのそれぞれの光線銃トーテムのための1つ以上の仮想カスタマイズ構成要素を取り上げてもよい。ユーザは、そのそれぞれの個々のARシステムによって各ユーザの視野にレンダリングするための仮想カスタマイズユーザインターフェースを介して、カスタマイズを選択してもよい。例えば、ユーザは、例えば、ジェスチャまたは音声コマンドによって、カスタム装備品(例えば、スコープ、暗視スコープ、レーザスコープ、フィン、ライト)を取り上げてもよい。
各ユーザのそれぞれの個々のARシステムは、ユーザのジェスチャまたは選択を検出してもよい。付加的物理構成要素を追加するのではなく、個々のARシステム(例えば、身体および/または頭部装着式構成要素)は、各光線銃をカスタマイズする仮想コンテンツを各ユーザまたはプレーヤの視野内にレンダリングしてもよい。したがって、種々の個々のARシステムは、例えば、パス可能世界モデルを利用することによって、直接または間接的にのいずれかにおいて、情報を交換してもよい。
とりわけ、物理光線銃トーテム9750は、例えば、実際には、機能的ではあり得ない、単純デバイスであってもよい。むしろ、物理オブジェクトに関係して配信される仮想コンテンツを通して、命が与えられ得る、単なる物理オブジェクトである。前述のトーテムと同様に、ARシステムは、例えば、各ユーザの個々の拡張現実デバイス(例えば、頭部装着式構成要素)の外向きに面したカメラによって捕捉された画像情報を介して、ユーザ相互作用を検出する。
同様に、ARシステムは、爆破もしくは他の視覚的および/または聴覚効果をユーザの視野内にレンダリングし、光線銃の発射を複製してもよい。例えば、第1のユーザによって装着される第1の個々のARデバイスは、第1のユーザが第1のユーザが携行している第1の光線銃トーテムの照準を合わせていることを検出し、第1のユーザがトリガをアクティブ化したことを検出してもよい。それに応答して、第1の個々のARデバイスは、第1の光線銃トーテムを用いて生じたように見える、仮想爆破効果を第1のユーザの視野に、および/または好適な音を第1のユーザの耳に、レンダリングする。
第1の個々のARデバイスは、パス可能世界モードを、直接または間接的にのいずれかにおいて、それぞれ、第2および第3のユーザによって装着される第2および第3の個々のARシステムにパスする。これは、第2および第3の個々のARシステムに、第1の光線銃トーテムから生じたように見えるように、仮想爆破視覚的効果を第2および第3のユーザの視野内にレンダリングさせる。第2および第3の個々のARシステムはまた、第1の光線銃トーテムから生じたように見えるように、仮想爆破聴覚または音効果を第2および第3のユーザの耳にレンダリングしてもよい。
略銃形状のトーテムを用いて図示されるが、本アプローチは、非生物トーテムおよびさらに生物トーテムを含む、他のトーテムと併用されてもよい。例えば、ユーザは、身体の一部(例えば、手)を「武器化」することを選定し得る。例えば、ユーザは、仮想ロケットをその手の上に置き、および/または仮想火球をその指先端から発出させるように選定してもよい。当然ながら、ARシステムに、多くの他の仮想効果をレンダリングさせることも可能である。
図97Hは、例証される実施形態の1つによる、ARシステム9701の幾人かのユーザを示し、ARシステムを介してレンダリングされた仮想コンテンツを用いてゲームをプレイする、それぞれ、仮想カスタマイズを伴うそれぞれの物理光線銃トーテム9750を保持する。
図97Hに図示されるように、ユーザは、別の世界からの仮想エイリアンまたはロボットと戦闘する、ゲームをプレイしてもよい。個々のARシステムは、仮想エイリアンをそれぞれのユーザの視野内にレンダリングする。前述のように、それぞれの個々のARシステムは、それぞれのユーザの照準および発射相互作用を追跡し、必要情報を個々のARシステムの他の者に中継してもよい。ユーザは、ゲーム内で協力してもよく、または相互に戦ってもよい。個々のARシステムは、仮想スコアボードをユーザの視野内にレンダリングしてもよい。スコアまたはさらにゲームプレイの一部は、ソーシャルメディアネットワークを介して共有されてもよい。
図98A-98Cは、別の例証される実施形態による、連続間隔でARシステムによってレンダリングされた仮想コンテンツと相互作用する、その家のリビングルーム内におけるユーザを示す。
図98Aに図示されるように、ユーザが、例えば、その自身のリビングルームに居ることを認識することに応答して、ARシステムは、適切なまたは対応する仮想コンテンツをレンダリングしてもよい。例えば、ユーザは、リビングルームの物理壁上にあるかのように見えるようにその個々のARシステム9801がその視野内にレンダリングする、仮想テレビ9814上でテレビ番組を視聴していてもよい。個々のARシステム9801はまた、第2の仮想画面9816に関連メディアコンテンツ(例えば、投票メニュー、コンテスト参加者のランキング、または順位)をレンダリングし、ユーザに、第2の画面体験を提供してもよい。個々のARシステム9801はさらに、第3の画面(図示せず)に付加的コンテンツ、例えば、ソーシャルメディアコンテンツまたは電子メッセージもしくはメールをレンダリングしてもよい。
ユーザはまた、例えば、芸術品を視認または買物してもよい。例えば、個々のARシステムは、芸術品視認または買物ユーザインターフェースをトーテム9812にレンダリングしてもよい。前述のように、トーテム9812は、任意の物理オブジェクト(例えば、金属または木材のシート)であってもよい。トーテムは、例えば、面積寸法の観点から、タブレットコンピューティングデバイスに類似し得るが、オンボード電子機器が要求されないため、はるかに薄い厚さを有し得る。
また、前述のように、個々のARシステム9801は、トーテムとのユーザ相互作用、例えば、指ジェスチャを検出し、対応する入力を生成する。個々のARシステム9801はさらに、仮想フレーム9818を生成し、ユーザのリビングルームの壁上に見えるであろうように、芸術品を視認させてもよい。ユーザは、仮想ディスプレイ、モニタ、または画面の寸法を確立するための前述のもの等の単純ジェスチャを使用して、フレームの寸法を制御してもよい。ユーザはまた、例えば、フレーム画像の集合からフレーム設計を選択してもよい。したがって、ユーザは、種々の作品の断片が家の装飾に合うかどうか見ることが可能である。個々のARシステム9801はさらに、仮想ボックス9820に示されるように、価格情報を選択された芸術品およびフレームに近接してレンダリングしてもよい。
図98Bに図示されるように、ユーザが好む車両の広告9822を見えたことに応答して、ユーザは、特定の車両に関する調査を行うためのジェスチャを行う。
それに応答して、個々のARシステム9801は、第2の仮想画面に関連メディアコンテンツ(例えば、車両仕様、専門家からの車両レビュー、友人からの車両レビュー、最近のコスト傾向、修理傾向、リコール通知)を再レンダリングしてもよい。
また、図98Bに図示されるように、個々のARシステム9801は、例えば、仮想メニューがユーザのリビングルームの物理壁上にあるかのように見えるように、ユーザの仮想空間の高レベル仮想メニュー9824をユーザの視野内にレンダリングしてもよい。ユーザは、単純ジェスチャを使用して、メニューと相互作用し、個々のARシステムが監視する仮想空間と相互作用してもよい。仮想メニューは、定義されたジェスチャに応答して、スクロール可能であってもよい。
また、図98Bに図示されるように、ユーザは、仮想テレビまたは仮想モニタから車両の仮想3Dモデルを引き出すためのジェスチャ(例えば、把持し、引っ張るジェスチャ)を行ってもよい。
図99Cに図示されるように、ユーザの把持し、引っ張るジェスチャ(図98B)に応答して、ARシステムは、仮想3次元モデル9840を、例えば、ユーザと仮想テレビまたは仮想モニタとの間に位置する、ユーザの視野にレンダリングしてもよい。明視野を使用するとき、ユーザはさらに、車両を種々の異なる視点または観点から調べるために、車両の周囲を歩く、または車両の3次元モデルを回転させることが可能であってもよい。
さらに、ユーザが車両内に座っているかのように、車両の内部をレンダリングすることも可能であってもよい。ARシステムは、車両を任意のユーザ選択色でレンダリングしてもよい。ARシステムはまた、図98Cに示されるように、ディーラー情報、色選択肢、および他の車両仕様を別の仮想画面9842にレンダリングしてもよい。
3次元モデルを読み出すための能力等の仮想拡張は、ブロードキャストコンテンツもしくはプログラミングと同期される、またはそれによってトリガされてもよい。代替として、視覚的拡張は、ユーザ選択に基づいてもよい。
ユーザは、車両の3次元モデル9840および/または車両関連調査を車両仮想部屋または仮想空間に保存してもよい。例えば、ユーザは、仮想メニューの適切なフォルダに向かってジェスチャ(例えば、手を振るまたは逆手打ち掃引運動)を行ってもよい。ARシステム9801は、ジェスチャを認識し、後の呼び出しのために、車両関連情報を車両仮想部屋または仮想空間に関連付けられたデータ構造内に保存してもよい。
図98Dは、別の例証される実施形態による、ARシステム9801によってレンダリングされた仮想コンテンツ9850と相互作用する、私有車道におけるARシステム9801のユーザを示す。
ユーザは、私有車道へと出て、車両がユーザの家の正面に駐車されて見えるであろう様子を確認してもよい。ARシステムは、車両が私有車道内に位置付けられて見えるように、車両9850の3次元ビューをユーザの視野にレンダリングする。ARシステムは、図98Dに示されるように、ジェスチャを通して仮想車両の外観を自動的にスケーリングしてもよい。
1つ以上の実施形態では、ARシステムは、幾分、ゲームエンジンと同様に機能し得る、別個のオペレーティングシステムを使用してもよい。従来のゲームエンジンは、いくつかのシステムのために機能し得るが、他のシステムは、従来のゲームエンジンのユーザが困難となる付加的要件を課し得る。1つ以上の実施形態では、オペレーティングシステムは、対応する解決策および/またはアーキテクチャの2つの別個のモードに分割され、両モードの要件を満たし得る。
従来のコンピュータシステムのように、オペレーティングシステム(OS)は、2つの別個のモード、すなわち、i)モーダルと、ii)非モーダルとで動作する。非モーダルモードは、典型的コンピュータデスクトップに類似し、ユーザが、ウェブ、インスタントメッセージ(IM)をサーフィンし、同時に、電子メールをチェックし得るように、複数のアプリケーションが同時に起動する。
モーダルモードは、典型的ビデオゲームに類似し、全てのアプリケーションがシャットダウンし(または背景となり)、ゲームは、システムを完全に引き継ぐ。多くのゲームは、そのようなモードに適合する一方、従来のコンピューティング機能は、非モーダルアプローチを必要とするであろう。
これを達成するために、OSは、2つの構成要素、すなわち、(a)サブシステムと、(b)ウィンドウ化インターフェースとに分割されてもよい。これは、いくつかの点において、現代のオペレーティングシステムが機能する方法に類似する。実施例のために、特定のオペレーティングシステム下では、カーネルおよび多くのアプリケーションは、ともに機能し、サブシステムを提供するが、次いで、他のオペレーティングシステムは、ユーザに、従来のデスクトップ、アイコン、およびウィンドウを提供してもよい。
同様に、OSは、同じように、オペレーティングシステム(例えば、基本動作のためのLinux(登録商標)カーネル)と、別のオペレーティングシステム(例えば、Window(登録商標)システム)のためのカスタムアプリケーション(例えば、PACER、ジャイロスコープ、GPS、パス可能世界モデル化等)とのうちの1つのサブシステムに分割されてもよい。2つのモードは、サブシステムが必然的に継続的に起動するであろうため、Window(登録商標)システムにのみ適用されるであろう。
しかしながら、2つのモードはまた、付加的複雑性をシステムに導入し得る。非モーダルシステムは、従来のコンピューティング特徴をもたらし得るが、明らかに従来の方法ではなく動作する。その3D性質は、非平面オブジェクト(ユーザのビュー内に設置される3Dオブジェクト)と組み合わせられた平面表面(画面)の組み合わせとともに、現代のゲームエンジンによって共有される多くの特徴である、衝突、重力、および深度についての疑問を導入する。本理由から、システムの「オペレーティングシステム」部分は、カスタム設計されてもよい。
最も単純な非モーダルアプリケーションは、「表面」である。単純仮想2D平面表面が、3D環境にレンダリングされ、従来のコンピューティングツール(例えば、ウェブブラウザ等)を起動する。大部分のユーザは、身体中心配向(例えば、左にフィードされるTwitter(登録商標)、右のFacebook(登録商標))および世界中心配向(例えば、暖炉の上方の壁に貼り付けられたHulu(登録商標))の両方において、いくつかの表面とともにシステムを起動することが予期される。
次の非モーダルアプリケーションステップは、「通知」である。これらは、例えば、ユーザにあるアクションを通知するために、3D動画で拡張された2D平面表面であってもよい。例えば、電子メールは、おそらく、従来の2D平面システムのままであろうが、新しいメールの通知は、例えば、池の中の水滴に類似する効果を用いて、メッセージが「受信」されると飛んできて、表面上に文字を落とす、鳥を介して行われ得る。
別の非モーダルアプリケーションステップは、完全3Dアプリケーションに関する。全てのアプリケーションが、本空間の中に適合しない場合があり、最初に、提供が限定されるであろう。仮想ペットは、完全3D非モーダルアプリケーションの完璧な実施例である。すなわち、完全に3Dレンダリングされ、動画化された「創造物」が、1日を通してユーザに追従する。非モーダルアプリケーションはまた、既存のプラットフォームから「引き継がれた」アプリケーションの基礎であってもよい。
大部分のARシステムは、完全モーダルアプリケーションであろうことが予期される。例えば、ゲームが始められる(例えば、ユーザが光線銃トーテムを使用して、そのそれぞれの視野の中にレンダリングされた仮想侵入者と戦闘する)と、モーダルアプリケーションが、使用される。始められると、全てのユーザの表面および仮想コンテンツは、消失し、フィールド全体が、ゲームからのオブジェクトおよびアイテムと置換されるであろう。ゲームの終了に応じて、ユーザの個々の仮想表面および仮想コンテンツは、再開され得る。
モーダルシステムは、ゲームエンジンに依拠してもよい。いくつかのゲームは、より高性能のゲームエンジンを利用し得る一方、その他は、より単純なゲーム用エンジンを要求する。各ゲームは、その設計選択肢に適合させ、ガイダンスを組み込むためのゲームエンジンを選択してもよい。
1つ以上の実施形態では、モーダルシステム内の種々のガジェットの仮想コレクションが、利用されてもよい。開始時、ユーザは、「プレイ面積」(テーブル上または床空間であってもよい)を定義し、次いで、仮想「おもちゃ」の設置を開始する。最初は、仮想おもちゃは、基本的物理原理(例えば、重力、衝突検出)のみを伴う、非常に基本的なオブジェクト(例えば、ボール、スティック、ブロック)であり得る。
次いで、ユーザは、例えば、仮想店を介してゲーム内で購入して、または他のゲーム(例えば、Army Men)とともにバンドル化されたアドオンとして生じる、より高度な仮想おもちゃに進化させることができる。これらのより高度な仮想おもちゃは、その独自の動画または特殊属性とともに生じてもよい。各仮想おもちゃは、基本動画および挙動とともに生じ、他のオブジェクトとの相互作用を可能にしてもよい。「タグ」および「特性」のシステムを使用して、予期されない挙動が、使用またはプレイの間、展開し得る。
例えば、ユーザは、単純仮想漫画キャラクタをテーブル上にドロップしてもよい。仮想漫画キャラクタは、直ちに、「パトロールモード」に入ってもよい。その後すぐに、仮想漫画キャラクタおもちゃは、同様にタグ付けされたオブジェクトを認識し、編隊の協調を開始する。同様に、他のそのような仮想キャラクタは、仮想コレクションを使用して、テーブル上に持ってこられてもよい。
本アプローチは、いくつかの興味深い側面をシステムにもたらす。ユーザによって具体的に規定されたもの以外、殆どまたは全くルールが存在しなくてもよい。したがって、仮想コレクションが、真のプレイゾーンであるように設計される。
一実施形態では、ゲームは、「互換性のある」仮想コレクションと呼ばれ得る。加えて、要素は、直接、他者に販売されてもよい(例えば、マイクロトランザクションを通して)。これはまた、第1のステップをユーザに導入し、実および仮想オブジェクトをまとまりのある単一体験にマージし得る。物理テーブルが正確におよび動的にマップされ得る場合、任意の物理オブジェクトは、1つ以上の実施形態では、仮想キャラクタとなることができる。
仮想コレクションゲームは、システムの任意のユーザによって使用されてもよいが、単に、体験のために購入することはないであろう。これは、仮想コレクションが独立型ゲームではないためである。人々は、互換性のあるゲーム(例えば、大まかに一般的UI、テーブル上相互作用パラダイム、および適切なフォーマットにおけるゲーム内アセットの提供を伴うゲーム)の集合をプレイするためにシステムを購入し得る。
図99に図示されるように、種々の異なるゲームのタイプおよびゲームタイトルが、仮想ゲームコレクション9902を通して互換性のあるゲームとして行われるために好適である。例えば、新しい「デジタル」フォーマットにおける任意の古典的ボードゲーム9914が、含まれてもよい。また、例えば、タワーディフェンスゲーム9904(例えば、敵の押し寄せる波をブロックする試みとして、アセットをテーブル上に配列する)が、含まれてもよい。別の実施例として、「神」の作戦ゲーム9906が、含まれてもよい。なおもさらなる実施例として、さらなる人気のあるスポーツゲーム9908(フットボール、サッカー、野球等)が、含まれてもよい。他のアドベンチャゲーム9910もまた、仮想ゲームコレクション内に含まれてもよい。
互換性のあるテーブル上ゲームのクラスは、方略的に重要である。外部開発者は、新しい入力(例えば、手/眼/トーテム追跡)を受け取り、ARシステムにインポートするように修正される必要性の可能性が最も高いであろう、既存のゲームエンジンを使用して、匹敵するゲームを作成することができる。
(おもちゃ箱)
ARシステムは、相互動作可能構成要素を有する、種々のゲームを実装してもよい。ゲームは、例えば、テーブル上での使用のために設計されてもよい。各ゲームは、本質的に、他のゲームから独立するが、構造物は、要素またはアセットが要素またはアセットが共有されていないゲームに具体的に設計されていない場合でも、ゲーム間でそれらの要素またはアセットを共有することを可能にしてもよい。したがって、第1のゲームは、第2のゲームにおいて明示的に定義および使用される要素またはアセットの明示的定義を有していなくてもよい。但し、第2のゲームからの要素またはアセットが第1のゲームに予期せずに現れるとき、第1のゲームは、要素に関連付けられた定義されたルールの集合および1つ以上の特性の適用に基づいて、要素またはアセットに対応することが可能である。
ARシステムは、相互動作可能構成要素を有する、種々のゲームを実装してもよい。ゲームは、例えば、テーブル上での使用のために設計されてもよい。各ゲームは、本質的に、他のゲームから独立するが、構造物は、要素またはアセットが要素またはアセットが共有されていないゲームに具体的に設計されていない場合でも、ゲーム間でそれらの要素またはアセットを共有することを可能にしてもよい。したがって、第1のゲームは、第2のゲームにおいて明示的に定義および使用される要素またはアセットの明示的定義を有していなくてもよい。但し、第2のゲームからの要素またはアセットが第1のゲームに予期せずに現れるとき、第1のゲームは、要素に関連付けられた定義されたルールの集合および1つ以上の特性の適用に基づいて、要素またはアセットに対応することが可能である。
1つ以上の実施形態では、仮想おもちゃコレクションインターフェースが、実装されてもよく、全てのインストールされたゲームの要素またはアセット(仮想おもちゃコレクションインターフェースと互換性のある)が、1つの統合場所において利用可能である。本インターフェースは、インターフェースと互換性のある全てのゲームによって理解され得る。
第1のゲーム設計者は、第1の要素またはアセットの集合を伴う第1のゲームを定義してもよい。第2のゲーム設計者は、第1の要素またはアセットの集合と異なる第2の要素またはアセットの集合を伴う第2のゲームを定義してもよい。第2の設計者は、第1の設計者に全く関連していなくてもよく、一度も会ったこと、または第1のゲームについて聞いたことすらなくてもよく、第1のゲームの要素またはアセットの何も把握していなくてもよい。しかしながら、各ゲーム設計者は、そのベースライン相互作用としての物理特性を理解する要素またはアセットを伴うそれぞれのゲームを作ってもよい。これは、異なるゲーム間で相互交換可能な要素またはアセットをレンダリングする。例えば、第1のゲームは、砲塔を移動、回転させ、大砲を発射することが可能である、戦車キャラクタを含んでもよい。第2のゲームは、ドレスアップした人形キャラクタ(例えば、Barbie(登録商標)人形)を含んでもよく、戦車または戦車キャラクタに関連付けられた特性の明示的定義を有していなくてもよい。ユーザは、次いで、第1のゲームからの戦車キャラクタを第2のゲームに訪問させてもよい。
両ゲームは、基本的特徴または特性(例えば、ゲーム空間の存在論)を含んでもよい。第1および第2のゲームの両方が、共通構造物を有する(例えば、物理特性、物理特性エンジンを理解する)場合、第2のゲームは、少なくともある程度、第1のゲームからのキャラクタ(例えば、戦車)の導入に対処することができる。したがって、第1のゲームからのキャラクタ(例えば、戦車)は、第2のゲームからのキャラクタ(例えば、Barbie(登録商標)人形)と相互作用することができる。例えば、第1のゲームからのキャラクタ(例えば、戦車)は、メッセージパスを介して、第2のゲームからのキャラクタ(例えば、Barbie(登録商標)人形)を射撃してもよい。第2のゲームからのキャラクタ(例えば、Barbie(登録商標)人形)は、メッセージ(例えば、「撃たれました」)を受信する方法を把握していない、またはそれを理解しない。しかしながら、両ゲームは、共通基本物理特性を有する。したがって、第1のキャラクタ(例えば、戦車)は、第2のキャラクタ(例えば、Barbie(登録商標)人形)を射撃することができないが、第1のキャラクタ(例えば、戦車)は、第2のキャラクタ(例えば、Barbie(登録商標)人形)を轢くことができる。世界は、通信機構として使用される。
ARシステムは、通信のために、パス可能世界モデルに依拠してもよい。前述の実施例では、第1および第2のキャラクタは、共通物理特性を有するため、共通言語を必要としない。2つのオブジェクトが衝突する物理特性が定義されるため、あるゲームからボールを取り上げ、別のゲームからの人形をボールを打つためのバットとして使用することが考えられるであろう。
したがって、物理特性が共有される場合、ゲームまたはアプリケーションは、それぞれに属する仮想オブジェクト間に通信プロトコルを必要としない。再び、戦車が人形にぶつかる場合、戦車によって轢かれることが第2のゲーム、またはついでに言えば、第1のゲームにおいて明示的に定義されていない場合でも、人形は、轢かれる。
ARシステムにおける種々のレベルは、実世界のマップである。ユーザインターフェースは、主に、手、眼、および/またはトーテムの追跡に基づく。ユーザの手の追跡は、ジェスチャの追跡を含む。トーテム使用の追跡は、トーテムの姿勢ならびにユーザの手または指とトーテムの相互作用の追跡を含む。
個々のARシステムの能力は、個々のARシステムを非ポータブル機器(例えば、デスクトップパーソナルコンピュータ、ARサーバ等)に通信可能に接続することによって(テザリングまたは無線で)拡張され、性能を改良し得ることを理解されたい。ユーザ装着式構成要素は、余剰計算パワーを提供し得る、ARデバイス(例えば、デスクトップパーソナルコンピュータ、ARサーバ等)に情報をパスしてもよい。例えば、付加的計算パワーが、例えば、レンダリングのために、より多くのオブジェクト認識器を起動させる、より多くのクラウドデータをキャッシュする、および/または余剰シェーダをレンダリングするように所望され得る。
(他の用途)
1つ以上の実施形態では、ARシステムは、ユーザがデジタルヒトと相互作用することを可能にしてもよい。例えば、ユーザは、今はもう使われていない倉庫の中に歩いていってもよいが、空間は、銀行に類似するように、デジタルヒトが取り込まれてもよい。ユーザは、ユーザの眼を見て、彼らと相互作用することが可能であり得る、窓口係の所まで歩いていってもよい。システムは、ユーザの眼を追跡するため、ARシステムは、デジタルヒトがユーザとアイコンタクトを行うように、デジタルヒトをレンダリングすることができる。
1つ以上の実施形態では、ARシステムは、ユーザがデジタルヒトと相互作用することを可能にしてもよい。例えば、ユーザは、今はもう使われていない倉庫の中に歩いていってもよいが、空間は、銀行に類似するように、デジタルヒトが取り込まれてもよい。ユーザは、ユーザの眼を見て、彼らと相互作用することが可能であり得る、窓口係の所まで歩いていってもよい。システムは、ユーザの眼を追跡するため、ARシステムは、デジタルヒトがユーザとアイコンタクトを行うように、デジタルヒトをレンダリングすることができる。
または、関連実施形態では、眼追跡技術が、他の用途でも同様に使用されてもよい。例えば、ユーザがキオスクに向かって歩いている場合、キオスクは、ユーザの眼が焦点を当てているものを決定可能である、眼追跡器を具備してもよい。本情報に基づいて、キオスクにおけるデジタルヒトまたはヒトのビデオ表現(例えば、キオスクにおけるビデオ)は、ユーザと相互作用する間、ユーザの眼を見ることが可能であってもよい。
別の実施形態では、パフォーマーは、パフォーマーのデジタルバージョンがユーザの物理空間内に現れ得るように、自身の仮想表現を作成可能であってもよい。例えば、ミュージシャンは、単に、パフォーマンスを録画している楽屋で音楽を演奏していてもよく、本パフォーマンスは、複数のユーザのリビングルームにブロードキャストされてもよい。しかしながら、システムは、演奏中、パフォーマーの全ての側面を再レンダリングする必要なく、変更データのみを使用して、ユーザのパフォーマンスにおいて変化しているものをブロードキャストしてもよい。したがって、パフォーマーの仮想表現の非常に正確なレンダリングが、複数のユーザのリビングルームにおいてレンダリングされ得る。さらに別の改良では、ユーザの眼追跡データを有することで、デジタルヒト(この場合、パフォーマーの仮想表現)が、デジタルヒトがユーザとアイコンタクトを起こっているように、レンダリングされてもよい。したがって、これは、仮想表現/デジタルヒトが、直接、複数のユーザと相互作用させることによって、ユーザ体験を改良し得る。
1つ以上の実施形態では、ARシステムは、教育的目的のために使用されてもよい。例えば、一連の教育的仮想コンテンツが、子供に表示されてもよい。子供は、仮想オブジェクトに物理的にタッチしてもよく、または他の実施形態では、子供は、単に、より長い期間の間、仮想オブジェクトを見て、オブジェクトに関連するメタデータをロック解除してもよい。例えば、子供は、そのリビングルーム内で種々の海洋生物によって囲繞されてもよい。ユーザ入力に基づいて、仮想オブジェクトに関連するメタデータが、型どおりにロック解除されてもよい。これは、仮想上任意の空間が教育的空間に変換され得るという点において、教育において全く新しいパラダイムを提供する。図89A-Jの買物体験に図示されるように、食料品店さえ、教育的遊び場として使用されてもよい。
同様に、ARシステムは、広告用途でも同様に使用されてもよい。例えば、ユーザは、特定の広告をTV上で見る場合があり、またはピア上で気に入り得る一足の靴を見る場合がある。ユーザ入力(眼視線、タッチ、または任意の他の入力)に基づいて、ユーザは、アイテムを販売している企業のウェブページまたは別の販売者にダイレクトされてもよい。例えば、仮想アイコンは、種々の購入関連選択肢をユーザの視野内に自動的に取り込み、ユーザに提供してもよい。または、関連実施形態では、アイテムは、ユーザがアイテムを後に清算することができるように、単に、「買物カート」または類似保管バッグ内に入れられてもよい。
関連実施形態では、異なるタイプの広告パラダイムが想定されてもよい。例えば、視覚的インプレッション(「クリック」および購入)モデルが、購入のために利用されてもよい。例えば、ユーザが一足の靴をピア上で見て、小売業者のウェブサイトに行くステップをとり、少なくとも類似の一足の靴をオンライン買物カート内に入れる場合、広告主は、おそらく、ピア紹介プログラムを通して、ピアに支払ってもよい。言い換えると、ARシステムは、眼追跡技法を通して、ユーザがピアの一足の靴を見たことと、ユーザがその相互作用に起因して靴を認識したことを把握する(例えば、ピアおよびユーザが靴について話さない場合でも)。本情報は、有利に活用され得、ピアは、広告主または小売業者によって報酬を受けてもよい。
または、別の実施形態では、ユーザは、そのインプレッション、クリック、および購入を広告主に販売してもよい。言い換えると、広告主は、データを直接、ユーザの集合から購入することを選定してもよい。したがって、広告主は、広告を公開し、続いて、ユーザ挙動を監視する必要なく、個々のユーザは、単に、その挙動データを広告主に販売してもよい。これは、ユーザに、個々の選好に基づくデータを利用するための制御を与える。
さらに別の実施形態では、収益共有プログラムは、広告主が、コンテンツ/データと引き換えに、その収益をユーザと共有するように実装されてもよい。例えば、広告主は、直接、ユーザに支払い、ARシステムを通して収集されるデータを収集または受信してもよい。
さらに別の実装では、ARシステムは、個人化された広告のために使用されてもよい。したがって、モデルまたは有名人上に表示される画像または広告コンテンツを見るのではなく、広告コンテンツは、各人物がその独自のアバタを用いて広告を見るように個人化されてもよい。例えば、有名人を用いた広告板広告を見るのではなく、広告は、ユーザ自身が製品、例えば、靴を装着することを特徴としてもよい。これはまた、消費者が製品をモデル化し、アイテムまたは製品が彼らに望ましいかどうかを判断する方法であり得る。さらに、個人化された広告は、直接各ユーザに訴えるため、ユーザにより魅力的であり得、ARシステムは、ユーザの個人的特徴を活用し、直接、彼らに広告してもよい。
別の用途では、ARシステムは、ARシステムの子供の使用を監視する、または概して、親が物理的に子供に近接していないときでさえ、子供の挙動を監視し得る、ペアレンタルガイダンス用途として実装されてもよい。ARシステムは、親が、仮想上、任意の場所で任意の時間に子供と居ることができるように、そのマッピング能力を使用して、空間の画像/ビデオを読み出してもよい。したがって、子供が学校または公園に居る場合でも、親は、自身のアバタを作成し、自らをその空間の中に取り込み、必要に応じて、子供を見張ることが可能であり得る。
別の実施形態では、ARシステムは、ユーザが、仮想オブジェクトを他のユーザが実物理空間内で発見するために残すことを可能にしてもよい(例えば、図125J)。これは、ゲーム設定(例えば、スカベンジャーハントゲーム用途等)内に実装されてもよく、ユーザが種々の物理空間において仮想オブジェクトをロック解除することを競争する。または、同様に、ユーザは、同一物理空間を後に専有し得る友人のために、重要な情報を仮想コンテンツの形態で残してもよい。随意の実施形態では、ユーザは、信頼できるソースまたは友人によってのみロック解除され得るように、仮想コンテンツを「ロック」してもよい。ARシステムが、一意の識別子に基づいて、またはさらにユーザの外観に基づいて、ユーザを「認識」し得ることを前提として、ARシステムは、意図される受信者によって「タッチ」またはアクティブ化されるときのみ、仮想コンテンツまたは仮想コンテンツに関連するメタデータをロック解除し、プライバシーおよび安全性を確実にしてもよい。
別のゲーム用途では、1人以上のユーザは、そのお気に入りのビデオゲームをある物理空間内でプレイすることが可能であってもよい。したがって、ビデオゲームまたはモバイルゲームを画面上でプレイするのではなく、ARシステムは、ユーザに最も適切な3Dおよび物理スケールで、ゲームを物理場所にレンダリングしてもよい。例えば、ARシステムは、仮想「鳥」と、ユーザによって物理的につかまれ、仮想鳥に向かって投げられ、ポイントを得て、次のレベルに進み得るように、煉瓦とをレンダリングしてもよい。これらのゲームは、任意の物理環境内でプレイされてもよい。例えば、New York Cityが、物理および仮想オブジェクトの両方を使用して、相互に相互作用するARシステムの複数のユーザを伴う、仮想遊び場に変換されてもよい。したがって、ARシステムは、多くのそのようなゲーム用途を有し得る。
さらに別の用途では、ARシステムは、運動目的のために使用されてもよい。ARシステムは、運動を楽しめるゲームに変換してもよい。例えば、ARシステムは、例えば、ユーザを追いかけるように見え、ユーザをより高速で走らせ得る、仮想ドラゴンをレンダリングしてもよい。ユーザは、その近隣を走りに出かけてもよく、ARシステムは、走ることをより楽しめるようにする仮想コンテンツをレンダリングしてもよい。例えば、運動用途は、ユーザが固定された期間内で手に入れる必要がある、スカベンジャーハントの形態をとって、ユーザをより効率的に走らせる/運動させてもよい。
別の実施形態では、ARシステムは、「植物」または任意の他の仮想コンテンツをレンダリングしてもよく、その形態、形状、または特性は、ユーザの挙動に基づいて変化してもよい。例えば、ARシステムは、「良い」挙動を呈するとき咲き、ユーザがそうではないとき萎む、植物をレンダリングしてもよい。具体的実施例では、植物は、ユーザが、例えば、良い彼氏であるとき(例えば、花を彼女に買う等)咲き、ユーザがその彼女に1日中電話していないとき萎んでもよい。他の実施形態では、植物または他のオブジェクトは、物理オブジェクトがARシステムに結び付けられるように、ARシステムの機械視覚に位置合わせする、物理オブジェクトまたはトーテムであってもよいことを理解されたい。したがって、多くのそのようなゲーム用途は、ユーザ体験をより楽しくかつARシステムおよび/またはARシステムの他のユーザと双方向的にするために使用されてもよい。
さらに別の実施形態では、ARシステムは、健康保険分野における用途を有してもよい。常時ユーザの挙動を監視するARシステムの能力を前提として、企業は、その挙動に基づいて、ユーザの健康を計測し、適宜、個人のための保険料の値段をつけることが可能であり得る。これは、企業が、ユーザが健康であって、保険目的のために低リスクであることが分かり得るため、保険のための掛け金を下げるために、健康な挙動のための報奨としての役割を果たし得る。一方、企業は、不健康な挙動を査定し、適宜、本収集されるデータに基づいて、ユーザの掛け金をより高い率で値段をつけ得る。
同様に、ARシステムは、企業における従業員の生産性を計測するために使用されてもよい。企業は、従業員の作業習慣および生産性に関するデータを収集してもよく、適宜、観察される生産性に基づいて、報奨または補償を従業員に提供することが可能であり得る。
別の健康用途では、ARシステムは、健康管理空間内に実装されてもよく、例えば、仮想放射線内で使用されてもよい。例えば、単に、2D画像またはMRI走査に依拠するのではなく、ARシステムは、代わりに、特定の器官の仮想モデルをレンダリングし、医師が、3D空間内において、腫瘍または感染症が位置する正確な場所を決定することを可能にしてもよい(例えば、図91A)。ARシステムは、例えば、MRIおよびCT走査画像の組み合わせを使用して、患者の器官の正確な仮想モデルを作成してもよい。例えば、システムは、医師に、心臓の3D空間内において、問題となり得る場所が見えるように、受信されたデータに基づいて、仮想心臓を作成してもよい。ARシステムは、したがって、医療および病院空間において多くの有用性を有し得、医師(例えば、外科医、放射線技師等)が、身体内の種々の器官を正確に可視化し、適宜、その患者を診断または治療するのに役立ち得ることを理解されたい。
関連実施形態では、ARシステムは、医師が患者の医療履歴の全てへのアクセスを自由に有し得るため、健康管理を改良するのに役立ち得る。これは、患者挙動(例えば、医療記録に必ずしも含まれない情報)を含んでもよい。したがって、1つ以上の実施形態では、患者挙動の履歴は、医師が、適宜、患者を治療し得るように、適切にカテゴリ化され、医師/医療技術者に提示されてもよい。例えば、患者が意識不明である場合、医師は、(ユーザのプライバシー制御に基づいて)直近の過去のユーザの挙動の記録を検索し、病気の原因を決定し、適宜、患者を治療可能であってもよい。
ARシステムは、高度な眼追跡能力(例えば、瞳孔および角膜を監視する、視線追跡)を有するため、ARシステムは、患者が発作を起こしているとき、眼移動(例えば、発話における変化、瞳孔サイズの急変等)または網膜におけるあるパターンを検出してもよい。ARシステムは、次いで、パターンを分析し、ユーザが発作を起こしているときに毎回繰り返し起きるパターンであるかどうかを決定してもよい。例えば、全発作患者は、類似眼パターンまたは瞳孔サイズの変化もしくは他の類似症状を有し得る。または、全ての患者は、発作を起こしているとき、別個のパターンまたは眼移動/瞳孔サイズ変化等を有し得る。いずれの場合も、発作または発作を起こした個々の患者に一意であるパターンを具備し、ARシステムは、発作を治療または防止し得る光信号またはパターンを用いて、ユーザの網膜の背後に投影してもよい。
1つ以上の実施形態では、光療法プログラムは、患者に周期的に投与されてもよく、これは、ユーザが発作を起こしている間、気を逸らすものまたは療法として作用し得る。経時的に、そのような療法は、ユーザ/患者における発作の発生を低減または停止させ得る。
例えば、特定の光パターン(例えば、周波数、波長、色等)は、発作を緩和または別様に完全に治療もしくは防止するのに役立つことが分かっている場合がある。発作は、あるタイプの光によって緩和され得ることが観察されている。したがって、網膜の背後に送達される光パターンは、ある場合には、そのタイプの光の影響を取り消す影響を有し得る。したがって、ARシステムは、発作を検出するために使用されてもよく、また、それらを防止または治療するために使用されてもよい。随意の実施形態では、患者の眼移動から収集される情報に基づいて、ARシステムは、網膜光子波正面を通して、脳の種々の側面をプログラムするために使用され得る、網膜マップを作成してもよい。
網膜の中に投影される光信号の使用の他の用途も、存在し得る。本光療法はさらに、心理学的用途において使用され、脳信号をさりげなく制御し、ユーザの思考またはインパルスを変化させてもよい。
別の実施形態では、ARシステムは、ユーザの挙動のパターンを検出し、ユーザの健康を能動的に改良してもよい。例えば、ARシステムのユーザは、強迫性障害(OCD)に悩まされ得る。ARシステムは、ユーザの挙動を監視してもよい。患者がOCDの症状(例えば、神経性チック、数を数える、掻きむしる等)を示しているとき、システムは、ユーザを落ち着かせるのに役立ち得る、ユーザの医師の仮想画像を自動的にレンダリングしてもよい。
別の実施形態では、ARシステムは、患者に落ち着かせる効果を及ぼす、仮想コンテンツを自動的に表示してもよい。または、別の実施形態では、ARシステムは、患者がある種類の挙動を示すときはいつでも、直ちに処方された薬剤を投与し得る、薬物送達システムにリンクされてもよい。例えば、ユーザが、OCDエピソードに適合する間、物理的に自身を傷つけている場合、静脈内薬物送達システムにリンクされるARシステムは、患者に眠気を生じさせ得る、薬剤を自動的に投与し、したがって、患者が自らを傷つけないように防止してもよい。
さらに別の実施形態では、ARシステムは、ユーザの気が逸らされている、または作業に集中できないようである場合に、ユーザを作業に再集中させるのに役立ち得る。これは、ユーザが、作業においてより効率的および生産的となるのに役立ち得る。ARシステムは、常時、画像およびビデオを捕捉しているため、ARシステムは、非生産的挙動(例えば、非関連インターネットブラウジング、低生産性等)を検出し得、適切に、ユーザを動機付けるのに役立つ仮想コンテンツをレンダリングしてもよい。
いくつかの実施形態では、ARシステムは、別の人物のデータクラウドから抽出された制御点の集合を変形させることによって、ヒト(例えば、男性、女性、子供等)の既存の一般的化モデルを形成するために使用されてもよい。したがって、ARシステムは、ある人物の身体の3Dモデル一般化モデルを使用するが、別の人物の顔を3Dモデルに改造してもよい。そのようなアプローチの可能性として考えられる利点は、既存の操作されたモデルが、人物の顔の単純走査によって捕捉されることができない多くの要素(靭帯、筋肉機能、詳細等)を有し得ることである。しかしながら、単純走査は、ユーザの顔についての十分な情報を提供し、一般化モデルを微細な詳細において特定の人物に類似させてもよい。言い換えると、ARシステムは、高度な精密な3Dモデルからの利益を享受し、それを単純走査から捕捉された必要詳細で補足し、人物の正確な3Dバージョンを生成し得る。
(庭園概要(植物))
情報の高次元表現のために、ARシステムは、コンテンツをなじんだ自然形状にマップしてもよい。自然は、膨大な量の情報を木、草等でエンコードする。例えば、ARシステムは、各人物または組織内の役割を、それぞれのユーザによって修正され、随意に、他者によって修正され得るパラメータを有する、仮想「植物」として表してもよい。
情報の高次元表現のために、ARシステムは、コンテンツをなじんだ自然形状にマップしてもよい。自然は、膨大な量の情報を木、草等でエンコードする。例えば、ARシステムは、各人物または組織内の役割を、それぞれのユーザによって修正され、随意に、他者によって修正され得るパラメータを有する、仮想「植物」として表してもよい。
ユーザは、例えば、植物の色、形状、葉、花等をそのそれぞれのステータスでエンコードしてもよい。ユーザが働き過ぎである場合、それぞれの植物は、萎んで見え得る。ユーザが悲しい場合、それぞれの植物の葉は、落ち得る。ユーザがリソースを欠いている場合、ユーザを表すそれぞれの植物の葉は、茶色に変わってもよい等。ユーザは、そのそれぞれの植物をリーダー(例えば、マネージャー、CEO)に提供してもよい。リーダーは、全ての植物を仮想庭園内に植えることができる。これは、リーダーに、庭園の一般的色または概念を通して、組織の高帯域幅ビューを提供する。問題のそのようなグラフィック例証は、組織に関する問題またはその欠如の視覚的認識を促進する。
(電子メール)
1つ以上の実施形態では、ARシステムは、類似自然または植物アプローチを使用して、電子メールまたはメッセージインターフェースを実装してもよい。例えば、ARシステムは、木をレンダリングしてもよく、各枝は、人物、エンティティ、もしくは論理アドレスに対応する、またはそれを表す。ARシステムは、各メッセージ(例えば、電子メールメッセージ)を木の葉として表し得、葉は、それぞれのメッセージが受信または送信のいずれかをされた人物、エンティティ、またはアドレスを表す、枝と視覚的に関連付けられる。
1つ以上の実施形態では、ARシステムは、類似自然または植物アプローチを使用して、電子メールまたはメッセージインターフェースを実装してもよい。例えば、ARシステムは、木をレンダリングしてもよく、各枝は、人物、エンティティ、もしくは論理アドレスに対応する、またはそれを表す。ARシステムは、各メッセージ(例えば、電子メールメッセージ)を木の葉として表し得、葉は、それぞれのメッセージが受信または送信のいずれかをされた人物、エンティティ、またはアドレスを表す、枝と視覚的に関連付けられる。
ARシステムは、比較的に古いメッセージを茶色および/または乾燥してレンダリングしてもよく、これらの葉は、最終的に、木から地面に落ちる。サブ枝または小枝は、他の人物、エンティティ、または論理アドレス、例えば、メッセージ上にコピーまたはブラインドコピーされたものとの接続を表してもよい。これは、ユーザが、迷惑な人々を表す枝を容易に剪定し、またはそれらの枝を木の背後に置く、または別様に直接ビューから外すことを可能にする。
さらに別の実施形態では、ユーザ選択/操作またはオブジェクトの取り上げに応答して、ARシステムは、オブジェクトについて意味論的に既知のもののインジケーションを提供してもよい。例えば、ARシステムは、世界を意味論的に既知のものに対して若干発光させてもよい。例えば、ユーザがテレビを取り上げた場合、ARシステムは、テレビが設置され得る場所を示す、仮想コンテンツをレンダリングすることができる。
(「忘れ防止」用途)
さらに別の実施形態では、ARシステムは、ユーザが、追跡するための環境(例えば、お気に入りのカップ、車のキー、スマートフォン等)内の重要なオブジェクトを明示的に指定することを可能にしてもよい。特に、ARシステムは、双方向モデル化/分析段階を採用し、次いで、指定されるオブジェクトを視覚的かつ本質的に継続的に追跡してもよい。これは、ARシステムが、ユーザの要求に応じて(例えば、「私の電話を最後に見たのはどこ?」)指定されるオブジェクトの最後に既知の位置を思い出すことを可能にする。
さらに別の実施形態では、ARシステムは、ユーザが、追跡するための環境(例えば、お気に入りのカップ、車のキー、スマートフォン等)内の重要なオブジェクトを明示的に指定することを可能にしてもよい。特に、ARシステムは、双方向モデル化/分析段階を採用し、次いで、指定されるオブジェクトを視覚的かつ本質的に継続的に追跡してもよい。これは、ARシステムが、ユーザの要求に応じて(例えば、「私の電話を最後に見たのはどこ?」)指定されるオブジェクトの最後に既知の位置を思い出すことを可能にする。
例えば、ユーザが携帯電話をそのようなオブジェクトとして指定した場合、具体的携帯電話オブジェクト認識器が、特定のユーザの携帯電話の存在を捕捉された画像情報内に識別するように実行してもよい。携帯電話が検出された度に結果として生じる場所情報が、クラウドベースのコンピュータシステムに逆配信されることができる。ユーザが携帯電話を置き忘れると、ユーザは、単に、ARシステムにクエリし、携帯電話が最近検出された場所を検索してもよい。
(身体装着式構成要素写真用途)
身体装着式(例えば、頭部装着式)構成要素の画像センサ(例えば、カメラ)は、画像情報を種々の形態で捕捉することができることを理解されたい。例えば、カメラは、2D静止画像もしくは写真、2D動画もしくはビデオ、または4D明視野(例えば、世界モデル)を捕捉することができる。
身体装着式(例えば、頭部装着式)構成要素の画像センサ(例えば、カメラ)は、画像情報を種々の形態で捕捉することができることを理解されたい。例えば、カメラは、2D静止画像もしくは写真、2D動画もしくはビデオ、または4D明視野(例えば、世界モデル)を捕捉することができる。
ARシステムは、画像情報をフォーマットまたは変換し、フォーマットまたは変換された情報を命令に応じて自動転送または提供する、アプリケーションを実行する、または画像情報をそれに提供してもよい。例えば、アプリケーションは、2D画像印刷、例えば、ARシステムを有する他者との2D画像共有、2Dビデオ共有、3Dビデオ共有、および3D物理印刷等を可能にする。
本来の2Dカメラおよび2Dビデオのために、ARシステムが頭部姿勢を追跡する場合、パス可能世界モデルを使用して、ユーザが移動する場所に基づいて、空間の仮想トラバーサルを再レンダリングすることができる。
4D明視野を捕捉するカメラを用いた実装のために、アプリケーションは、4D明視野から2D画像または2Dビデオを捕捉することを可能にしてもよい。2D画像または2Dビデオへの変換は、従来の2Dソフトウェアおよびプリンタを使用して、共有または印刷を可能にする。ARシステムはまた、3Dビュー、例えば、ユーザの頭部にロックされる3Dビューを共有してもよい。そのような実施形態は、ゲームエンジンにおけるレンダリングに類似する技法を使用してもよい。いくつかの実装では、カメラは、3D広視野動画またはビデオを捕捉可能であってもよい。そのような画像またはビデオは、例えば、ARシステムを介して、3D広視野画像をレンダリング可能である構成要素またはユーザに広視野を提示することができるある他のデバイスに提示されてもよい。
(較正)
以下のセクションは、個々のARシステムのカメラの追跡に関係する大域的座標系における較正要素を検討する。図136を参照すると、例証目的のために、ARシステムは、カメラシステム(単一カメラまたはカメラアレイ等)(例えば、FOVカメラ、深度カメラ、赤外線カメラ等)を利用し、世界の3次元構造を検出および推定すると仮定され得る。前述のように、本情報は、順に、マップ(例えば、パス可能世界モデル)に、有利には必要に応じて読み出され得る世界についての情報を取り込むために使用されてもよい。
以下のセクションは、個々のARシステムのカメラの追跡に関係する大域的座標系における較正要素を検討する。図136を参照すると、例証目的のために、ARシステムは、カメラシステム(単一カメラまたはカメラアレイ等)(例えば、FOVカメラ、深度カメラ、赤外線カメラ等)を利用し、世界の3次元構造を検出および推定すると仮定され得る。前述のように、本情報は、順に、マップ(例えば、パス可能世界モデル)に、有利には必要に応じて読み出され得る世界についての情報を取り込むために使用されてもよい。
ARシステムでは、ディスプレイシステムは、概して、カメラに対して物理的に固定されてもよい(例えば、カメラおよびディスプレイシステムは、頭部搭載式ディスプレイの構造等によって、ともに固定して結合または締結されてもよい)。仮想ディスプレイ内にレンダリングされた任意のピクセルは、ピクセル値(例えば、ピクセル座標と交換可能な概念)および3次元位置によって特徴付けられ得る。
図136を参照すると、世界内の恣意的3D点P13602を前提として、目標は、ピクセルUの3D位置がPとユーザの瞳孔E13606との間に正確にあるように、ディスプレイ内のピクセルU13604を計算することであり得る(例えば、分解能1280×720を用いて)。
本モデルでは、瞳孔の3D場所および仮想ディスプレイ画面13610の3D構成は、明示的にモデル化される(画像は、ユーザによって感知されるように、ディスプレイ光学によって作成された空中に浮遊する)。瞳孔Eの3D場所は、カメラ基準系内の3D点としてパラメータ化される。
仮想ディスプレイ13610は、3つの出隅(アンカ点)A013612、A113614、およびA213616(3×1ベクトル)によってパラメータ化される。a0、a1、a2としてのこれらのアンカ点のピクセル値もまた、既知である(2×1ベクトル)。
ピクセル場所uを前提として、ピクセル場所uの3D場所は、以下の方程式を使用して計算され得る。
U=A0+[A1-A0、A2-A0]*[a1-a0、a2-a0]^-T*(u-a0)
Aは、[u:1]に適用される簡略化された乗算行列を表すとする。したがって、前述の方程式は、以下の方程式に匹敵する。
U=A*[u^T、1]^T(方程式1)
Aは、A0、A1、A2から直接構成されないことに留意されたい。アンカ点は、恣意的に、選定され得るが、Aは、具体的画面に固定されたままである。図136におけるA0、A1、A2の例証は、例証目的のためだけに使用され、A0、A1、A2は、較正プロセスの間、具体的に計算されなくてもよいことを理解されたい。むしろ、Aのための値を計算することで十分であり得る。
U=A0+[A1-A0、A2-A0]*[a1-a0、a2-a0]^-T*(u-a0)
Aは、[u:1]に適用される簡略化された乗算行列を表すとする。したがって、前述の方程式は、以下の方程式に匹敵する。
U=A*[u^T、1]^T(方程式1)
Aは、A0、A1、A2から直接構成されないことに留意されたい。アンカ点は、恣意的に、選定され得るが、Aは、具体的画面に固定されたままである。図136におけるA0、A1、A2の例証は、例証目的のためだけに使用され、A0、A1、A2は、較正プロセスの間、具体的に計算されなくてもよいことを理解されたい。むしろ、Aのための値を計算することで十分であり得る。
Aは、3×3行列であって、その自由度は、せいぜい、A0に対して9:3、A1に対して3、A2に対して3である。A1-A0がA2-A0に垂直であると仮定される場合、Aの自由度(DOF)は、1だけ差し引かれる。仮想画面13610の縦横比が既知である場合、AのDOFは、再び、1だけ差し引かれる。瞳孔13506の画面中心間の距離が既知である場合、DOFは、再び、1だけ差し引かれる。画面の視野が既知である場合、DOFは、せいぜい、5を差し引く。したがって、唯一の未知数は、距離(1)、面内回転(2)、および視野角(3)であり得る。
較正の目標は、AおよびEを推定することであることを理解されたい。レンダリング段階では、恣意的3D場所P13602(カメラ基準系内)を前提として、PとEとの間の線が仮想画面と交差する点に対応するピクセル値uが、計算されてもよい。
U=A*[u^T、1]^Tであるため、E-UおよびE-Pが整合される制約は、以下に匹敵する。
P-E=c*(U-E)(方程式2)
cは、未知の乗算器であることを理解されたい。方程式(2)は、3つの方程式および3つの未知数(u_x、u_y、c)を有する。方程式(2)を解法することによって、簡略化された閉形式解が、以下の方程式として書かれ得る。
u_x=
(A1_2*A2_3*E3-A1_2*A3_3*E2-A1_3*A2_2*E3+A1_3*A3_2*E2+A2_2*A3_3*E1-A2_3*A3_2*E1-A1_2*A2_3*P3+A1_2*A3_3*P2+A1_3*A2_2*P3-A1_3*A3_2*P2-A2_2*A3_3*P1+A2_3*A3_2*P1+A1_2*E2*P3-A1_2*E3*P2-A2_2*E1*P3+A2_2*E3*P1+A3_2*E1*P2-A3_2*E2*P1)/(A1_1*A2_2*E3-A1_1*A3_2*E2-A1_2*A2_1*E3+A1_2*A3_1*E2+A2_1*A3_2*E1-A2_2*A3_1*E1-A1_1*A2_2*P3+A1_1*A3_2*P2+A1_2*A2_1*P3-A1_2*A3_1*P2-A2_1*A3_2*P1+A2_2*A3_1*P1)(方程式3)
u_y=
(A1_1*A2_3*E3-A1_1*A3_3*E2-A1_3*A2_1*E3+A1_3*A3_1*E2+A2_1*A3_3*E1-A2_3*A3_1*E1-A1_1*A2_3*P3+A1_1*A3_3*P2+A1_3*A2_1*P3-A1_3*A3_1*P2-A2_1*A3_3*P1+A2_3*A3_1*P1+A1_1*E2*P3-A1_1*E3*P2-A2_1*E1*P3+A2_1*E3*P1+A3_1*E1*P2-A3_1*E2*P1)/(A1_1*A2_2*E3-A1_1*A3_2*E2-A1_2*A2_1*E3+A1_2*A3_1*E2+A2_1*A3_2*E1-A2_2*A3_1*E1-A1_1*A2_2*P3+A1_1*A3_2*P2+A1_2*A2_1*P3-A1_2*A3_1*P2-A2_1*A3_2*P1+A2_2*A3_1*P1)(方程式4)
前述のように、cの計算は、簡略化目的のためにここでは省略される。前述の解は、画面幾何学形状に関する以前の仮定を有していないことを理解されたい。それらの仮定(例えば、仮想画面の画面辺は、視線に垂直であって、画面軸は、それと平行である等)が考慮される場合、前述の方程式はさらに、簡略化されてもよい。
P-E=c*(U-E)(方程式2)
cは、未知の乗算器であることを理解されたい。方程式(2)は、3つの方程式および3つの未知数(u_x、u_y、c)を有する。方程式(2)を解法することによって、簡略化された閉形式解が、以下の方程式として書かれ得る。
u_x=
(A1_2*A2_3*E3-A1_2*A3_3*E2-A1_3*A2_2*E3+A1_3*A3_2*E2+A2_2*A3_3*E1-A2_3*A3_2*E1-A1_2*A2_3*P3+A1_2*A3_3*P2+A1_3*A2_2*P3-A1_3*A3_2*P2-A2_2*A3_3*P1+A2_3*A3_2*P1+A1_2*E2*P3-A1_2*E3*P2-A2_2*E1*P3+A2_2*E3*P1+A3_2*E1*P2-A3_2*E2*P1)/(A1_1*A2_2*E3-A1_1*A3_2*E2-A1_2*A2_1*E3+A1_2*A3_1*E2+A2_1*A3_2*E1-A2_2*A3_1*E1-A1_1*A2_2*P3+A1_1*A3_2*P2+A1_2*A2_1*P3-A1_2*A3_1*P2-A2_1*A3_2*P1+A2_2*A3_1*P1)(方程式3)
u_y=
(A1_1*A2_3*E3-A1_1*A3_3*E2-A1_3*A2_1*E3+A1_3*A3_1*E2+A2_1*A3_3*E1-A2_3*A3_1*E1-A1_1*A2_3*P3+A1_1*A3_3*P2+A1_3*A2_1*P3-A1_3*A3_1*P2-A2_1*A3_3*P1+A2_3*A3_1*P1+A1_1*E2*P3-A1_1*E3*P2-A2_1*E1*P3+A2_1*E3*P1+A3_1*E1*P2-A3_1*E2*P1)/(A1_1*A2_2*E3-A1_1*A3_2*E2-A1_2*A2_1*E3+A1_2*A3_1*E2+A2_1*A3_2*E1-A2_2*A3_1*E1-A1_1*A2_2*P3+A1_1*A3_2*P2+A1_2*A2_1*P3-A1_2*A3_1*P2-A2_1*A3_2*P1+A2_2*A3_1*P1)(方程式4)
前述のように、cの計算は、簡略化目的のためにここでは省略される。前述の解は、画面幾何学形状に関する以前の仮定を有していないことを理解されたい。それらの仮定(例えば、仮想画面の画面辺は、視線に垂直であって、画面軸は、それと平行である等)が考慮される場合、前述の方程式はさらに、簡略化されてもよい。
前述の検討に照らして、一実施形態では、好適な較正プロセスは、以下に概略されるステップを含んでもよい。そのような較正は、概して、ユーザが頭部搭載式ARシステムを装着し、物理世界を視認している間、ユーザがARデバイスを通して見えたものに基づいて、いくつかの応答を提供することを要求することを理解されたい。以下に概略される例示的較正は、レチクルを利用する照準システムを想定する。当然ながら、他のアプローチも同様に、使用されてもよく、以下のステップは、限定として読み取られるべきはない。
最初に、マーカーは、印刷されてもよい。1つ以上の実施形態では、ArUcoマーカーが、使用されてもよい。ArUcoは、拡張現実マーカーの検出のための最小限のC++ライブラリである。ライブラリは、コード化されたマーカーの使用に依拠する。各マーカーは、一意のコード(例えば、一意の黒色および白色パターン)を有してもよい。
次に、マーカーは、マーカーの欠失部分がユーザの視野の角に設置されるように、ユーザの正面に設置されてもよい。次に、カメラに対するユーザの瞳孔の大まかな場所が、測定される(例えば、センチメートル)。
場所は、カメラ座標系内で測定されてもよい。カメラ開口は、3D座標空間内の0,0,0に位置してもよい。大まかな場所測定は、せいぜい、1センチメートル誤差を犠牲にし得る。
次に、ユーザは、マーカーがユーザおよびカメラの両方によって見られ得るように、装着式ARシステムを装着してもよい。構成プログラムが、カメラがマーカーを検出したかどうかを決定するために起動されてもよい。カメラがマーカーを検出する場合、ユーザは、画面上にカラー画像が見えるであろう。
合理的初期較正値を前提として、ユーザはまた、ARシステムのディスプレイデバイスを通して、チェスボードと大まかに整合された緑色グリッドが見え得る。しかしながら、ユーザが最初はそれが見えない場合でも、ユーザは、継続することが求められてもよい。
次に、左眼または右眼のいずれかが、最初に較正されてもよい。較正プロセスが開始すると、ユーザは、HMD画面内にハイライトされたマーカーの角がマーカーの物理的に対応する角に照準を合うように、その頭部を移動させてもよい。
ユーザは、ソフトウェアに、次の標的に移動するようにコマンドするための選択を行ってもよい。標的は、ランダムに選択されてもよい。本プロセスは、N回繰り返されてもよい(例えば、所定の値に基づいて)。Nは、較正モデルのDOFの数の2倍を上回ることが推奨される。
N個のデータ点が収集された後、プログラムは、最適化プロセスの間、一時停止してもよく、それに続いて、ソフトウェアは、両眼にグリッドを提示してもよい。眼は、較正を受け、物理ボードと良好に整合された緑色グリッドが見え得る。本結果は、ファイル内に自動保存されてもよい。
較正プロセスは、対応の集合(X_i、Y_i、Z_i、u_i、v_i)を提供し、i=1:Nであって、X,Y,Zは、カメラによって検出された第3の点であって、u,vは、ユーザによって整合される画面ピクセル場所である。
以下の方程式等、いくつかの制約が存在し得る。
画面物理構造の以前の知識もまた、制約を提供し得る。
垂直画面側制約は、以下の方程式によって表され得る。
画面から瞳孔までの距離(dと仮定される)制約は、以下の方程式によって表され得る。
上記の制約を組み合わせると、EおよびAは、二次最適化法(例えば、最適化のためのニュートンの方法等)を使用して解法され得る。
言い換えると、図136に戻って参照すると、較正の目標は、画像平面の場所を追跡カメラ(ユーザの頭部上に搭載され得る)に対して決定することである。さらに、ユーザの眼の場所はまた、考慮されてもよい。眼は、画像平面から離れた特定の距離に位置し、ARシステムを通して物理世界を見る。
一実施形態では、ユーザは、ARシステムに搭載される空間光変調器(例えば、ファイバ走査デバイス等)からAR体験の仮想側面を受信し、本画像は、既知の焦点距離に提示されてもよい(「仮想画面」に対する代表的画像平面であって、焦点面は、歪曲、回転等され得る)。再び、較正の目標は、画像平面がカメラに対して位置する場所を推定することである。言い換えると、視線等のために眼を見るカメラ(「眼追跡カメラ」)が存在してもよく、またはそうでなくてもよい。眼追跡カメラは、較正をより正確にし得るが、較正プロセスは、眼追跡カメラの有無にかかわらず、機能し得ることを理解されたい。
概して、追跡カメラおよびARデバイスは、剛性に結合され、したがって、既知の仮定の集合が、追跡カメラとARデバイスとの間の関係について行われ得る。したがって、ユーザのために1回仮想走査較正を行うことができるが、新しいユーザがARシステムを装着する度に、新しい較正が、行われ得る。ユーザの眼位置は、図136に示されるように、Eと称され得る(3×1ベクトル(x,y,z)である)。較正システムはまた、前述のように、カメラからの入力を得る。
種々の点の座標値は、カメラによって測定されてもよい。これらの値に基づいて、カメラに対する座標系が、構築されてもよい。例えば、x,y,zである実世界内の点が存在すると仮定すると、本点は、カメラ自体上では0,0,0として定義されてもよい。そのような較正を行う目標の1つは、ユーザがARシステムを通して見るとき、画像平面上の点および実世界空間内の点が、空間内の同一線上にあるように、仮想画面上の点を測定することである。
これは、システムが、仮想コンテンツを仮想画面/画像平面上の適切な場所にレンダリングすることを可能にする。言い換えると、仮想画面が「A」であって、点Uが(a2×1ピクセル値)上にレンダリングされるべき場合、実空間P0(x,y,z)内の点Poが、決定される必要があり得る。言い換えると、関数U=Fu(P、E、A)を決定する必要がある。例えば、Pが既知であって、Eが未知であって、Aが未知であることを前提として、ピクセル場所Uが、決定される必要がある(図136参照)。
目標は、前述の関係におけるEおよびAを決定することである。問題に関して逆の観点から開始し、関係を解法することができる。第1のステップは、画像平面A上のUピクセルの3D座標位置を計算することであり得る。したがって、レンダリングの逆プロセスが、提示される。すなわち、2Dピクセル値を前提として、3D場所(3D場所が既知であって、2Dピクセルを決定する必要があるレンダリングとは対照的に)が計算され得る方法である。仮想画面または平面Aがユーザに垂直である必要はなく、むしろ、ARシステムのユーザに対して任意の配向にあり得ることを思い出されたい。1つ以上の実施形態では、歪曲が存在し得る。
平面Aは、3つの角a0、a1、a2によって定義されてもよい。例えば、仮想画面分解能は、800×600ピクセルであるとする。a0は、0,0であって、a1は、800,0であって、a2は、800,600であるとする。これらの座標は、これらの3つの点A0、A1、およびA2に対して3D座標値と称され得る。
(U-a0)が減算される場合、点a0から点Uまでのベクトルが、得られる。それを逆数で乗算し、転置する場合、([a1-a0、a2-a0]-1)となる。次いで、乗算される場合[A1-A0、A2-A0](これは、3×2行列である)、A0に対するUの3D座標が、得られ得る。
ここで、これがA0に加算される場合、カメラ作業空間/座標系の内側のUピクセルの3D座標が、得られ得る。したがって、V(「V」を「大文字u」と見なす)に対する線形代数関係が、使用されてもよい。例えば、Uが(x,y)である場合、これは、V=A*[Ux,Uy,1]として簡略化され得る。したがって、全て、3×3行列に簡略化され得る。これまで、本構成では、A0、A1、またはA2に対する値は、既知ではない。したがって、較正の目標の1つは、行列Aの値を決定することであり得る。言い換えると、行列Aの値が既知である場合、画像平面の正確な幾何学形状もまた、既知であり得る。言い換えると、画像平面の幾何学形状は、行列Aによってエンコードされる。
前述のように、本シナリオにおける本較正の目標は、E、ピクセルU、およびP0が線を形成するように、ピクセルUをレンダリングすることである。前述のように、ARシステムが新しいユーザ上に設置されると、ARシステムは、較正され得る。較正システムは、ユーザがその点を実世界の物理側面に整合させようと試み得るように、点を提示し得る。これは、複数の点(例えば、20個の点)に対して繰り返されてもよく、その後、ユーザは、較正され、動作の準備ができ得る。そのようなプロセスは、数秒のみかかる、単純ゲームとしてユーザに提示されてもよい(例えば、ユーザは、レーザを眼移動を通して発射する、または仮想標的を眼で打つ)。
一実施形態では、3つの本主題の点が同一線上にあるように強化するであろう、別の公式が、使用されてもよい。言い換えると、点が、提示されてもよく、ユーザは、その点を実世界内の物理オブジェクトに整合させるように求められてもよい。P-E(眼までのPに対するベクトル)は、複数のまたはある定数Cおよびベクトル(V-E)に匹敵する。上記の議論から、UおよびPは、既知であって、したがって、P-E=C*(V-E)であることを思い出されたい。したがって、P-E=C*(A*[Ux、Uy、1]-E)である。
したがって、較正ゲームをプレイしているユーザが照準する点毎に、それぞれ、3つの方程式(x、y、およびzに対して)から成る、そのような制約を生成してもよい。したがって、
P1-E=C1*(A*[U1x、Y1y、1]-E)
P2-E=C2*(A*[U2x、Y2y、1]-E)および
P3-E=C3*(A*[U3x、Y3y、1]-E)である。
P1-E=C1*(A*[U1x、Y1y、1]-E)
P2-E=C2*(A*[U2x、Y2y、1]-E)および
P3-E=C3*(A*[U3x、Y3y、1]-E)である。
当然ながら、20個のそのような方程式が累積される場合、60個の制約(例えば、20×3)が存在するであろう。未知数は、Aであって、これは、3×3行列であって、Eは、3×1行列である。Aについてのいくつかの仮定が存在する場合(例えば、画面が歪んでいない、画面の縦横比が既知である、追跡カメラまでの仮想平面の実際の距離等)、これらの方程式を解法するとき、ある規則化が存在し得る。
したがって、そのような規則化を考慮した後、12個の未知数と未知数Cが存在し得る。Cは、スカラーである。以前の知識が存在しない場合、いくつかの未知数は、3+9-nである(nは、較正点の数であって、毎回、少なくとも1つの付加的Cが存在する)。制約の数は、n*3である。また、追跡カメラに対する仮想平面の位置の初期の大まかな推測を必要とする。
したがって、3+9-n<3nである場合、12<4nまたは3<nである。言い換えると、4つの点のみが存在する。したがって、多数の点が、ユーザから収集され、少なくとも二乗解またはロバストな推定解を得ようとし得る。
(規則化)
画面/眼距離を決定するために、別の方程式が、使用されてもよい。瞳孔Eの中心と画面の中心との間の距離が、決定される必要があり得る。画面の中心は、単に、2で除算された画面の幅w(w/2)と、2で除算された画面の高さh(h/2)である。したがって、カメラ座標系内の画面中心は、以下の方程式によって表され得る。
A*[w/2、h/2、1]
次いで、瞳孔Eを減算し、平方値をある以前の値d(s-e)(画面から眼)と等しくするための制約を課し得る。これは、以下のような方程式を生成し得る。
画面/眼距離を決定するために、別の方程式が、使用されてもよい。瞳孔Eの中心と画面の中心との間の距離が、決定される必要があり得る。画面の中心は、単に、2で除算された画面の幅w(w/2)と、2で除算された画面の高さh(h/2)である。したがって、カメラ座標系内の画面中心は、以下の方程式によって表され得る。
A*[w/2、h/2、1]
次いで、瞳孔Eを減算し、平方値をある以前の値d(s-e)(画面から眼)と等しくするための制約を課し得る。これは、以下のような方程式を生成し得る。
次に、画面が歪められていないことを把握する場合、常時相互に垂直である、画面の2つの辺が存在する。本垂直画面制約は、Aの第1の列*A=0の第2の列の逆数を意味する。これは、「垂直画面制約」と呼ばれ得る。
次に、画面が眼に対して回転されていない(例えば、画面は、常時、直立位置にあるユーザの正面の右にある)ことを把握する場合、本情報はまた、重要となり得る。Eから画面の中心までのベクトルは、以下の方程式のように表され得る。
A[w/2、h/2、1]-E
おそらく、本ベクトルは、「アルファ」と称され、眼から画面中心までの距離を表し得る。Aの第1の列が画面の幅に沿ってあって、Aの第2の列は画面の高さに沿ってあることが既知である。したがって、以下を有する。
(Acol1)の転置行列*alpha=0
および
(Acol2)の転置行列*alpha=0
したがって、そのような構成では、幅は、ユーザの視線に垂直であって、高さもまた、ユーザの視線に垂直である。したがって、その画面は、ユーザの視線(一方または他方であり得る)に垂直であり得る。
A[w/2、h/2、1]-E
おそらく、本ベクトルは、「アルファ」と称され、眼から画面中心までの距離を表し得る。Aの第1の列が画面の幅に沿ってあって、Aの第2の列は画面の高さに沿ってあることが既知である。したがって、以下を有する。
(Acol1)の転置行列*alpha=0
および
(Acol2)の転置行列*alpha=0
したがって、そのような構成では、幅は、ユーザの視線に垂直であって、高さもまた、ユーザの視線に垂直である。したがって、その画面は、ユーザの視線(一方または他方であり得る)に垂直であり得る。
したがって、4つの制約が存在する。これは、Aの合計DOFを5に低減させる。したがって、より多くの規則化は、より少数の較正データ点を可能にし、また、その正確度を有意に増加させる。
較正が1回行われる場合、仮想画面と眼との間の関係は、既知であることを理解されたい。未知数は、画面と画面に関連しないものに関して分離されている。これは、ユーザ眼構成が異なり得るため、好ましい。Aに関するデータが既知であることを前提として、唯一の未知数は、眼Eの場所となる。言い換えると、ユーザに10個の点に照準させる較正ルーチンを行う場合、解法され得るともにスタックされた10個のアレイが存在するであろう。唯一の未知数は、Eとなるであろう(例えば、Aは、排除され得る)。したがって、本技法を使用して、より少ない未知数であるが、はるかに高い正確度で同一解法方程式を使用することができる。
システムが、眼追跡カメラ(例えば、ユーザの眼に向かって指向された画像捕捉デバイス)を有する場合、Eも同様に与えられ得る。そのような場合、ユーザが頭部搭載式ARデバイスを装着すると、較正は、画面平面の幾何学形状であるAが事前較正されるため(工場によって、ある他のユーザによって、または同一ユーザによって以前に)、必要とされなくてもよい。眼カメラは、直接、Eを測定するため、レンダリングは、任意の較正を伴わずに行われてもよい。注目されるのは、これらの種類の制約が正確ではない場合、第4の種類の規則化、すなわち、眼場所の以前の知識が存在し得ることである。言い換えると、現在の眼場所から以前の眼場所の位置までの距離は、非常に短いことが望ましい。したがって、最小二乗表現では、これは、以下の方程式によって表され得る。
(E-Eprior)2=0
当然ながら、Epriorの値は、眼追跡カメラを通して導出されてもよいことを理解されたい。
(E-Eprior)2=0
当然ながら、Epriorの値は、眼追跡カメラを通して導出されてもよいことを理解されたい。
ここで図145を参照すると、ARシステム上で較正を行う例示的方法145が、論じられる。14502では、仮想画像が、ユーザに表示される。仮想画像は、任意の画像であってもよい。前述のように、仮想画像は、単に、ユーザが合焦される点を備えてもよい。他の実施形態では、仮想画像は、任意の画像であってもよく、ユーザは、特定のピクセルにおける焦点に指向されてもよい(例えば、特定の色等によって示される)。
14504では、ARシステムは、仮想画像の場所を決定する。1つ以上の実施形態では、仮想画像の場所は、システムが仮想画像がユーザに表示されている深度を把握するため、既知であってもよい。14506では、ARシステムは、ユーザの瞳孔の場所を計算してもよい。これは、上記で概略された種々の技法を通して計算されてもよい。14508では、ARシステムは、計算されたユーザの瞳孔の場所を使用して、仮想画像のピクセルがユーザに表示される場所を決定してもよい。ユーザ入力はまた、ピクセルの場所を決定するために利用されてもよい。
14510では、ユーザは、ピクセル点を空間内の既知の点に整合させるように求められてもよい。14512では、十分な点Nが収集されたかどうかの決定が行われてもよい。種々のピクセル点が種々の点におよび種々の方向において方略的に位置し、ARシステムのディスプレイのいくつかの部分に対して正確な較正値を求め得ることを理解されたい。前述のように、いくつかの実施形態では、いくつかの点(例えば、20個のピクセル点)は、より高い正確度を得るためにかなり多いはずである。
より多くの点が必要とされることが決定される場合、プロセスは、14502に戻り、他のピクセル点に対するデータを収集する。14512において、十分な点が収集されたと決定する場合、ピクセルおよび/または表示される種々の値は、収集されたデータに基づいて、調節されてもよい(14514)。
(トランザクション補助構成)
本主題のARシステムは、理想的には、ARシステムが、ユーザの視線を識別、位置特定、認証、およびさらに決定するために非常に好適であるため、金銭的およびそれ以外にかかわらず、種々のタイプのトランザクションに関してユーザを補助するために好適である。
本主題のARシステムは、理想的には、ARシステムが、ユーザの視線を識別、位置特定、認証、およびさらに決定するために非常に好適であるため、金銭的およびそれ以外にかかわらず、種々のタイプのトランザクションに関してユーザを補助するために好適である。
1つ以上の実施形態では、ユーザは、眼追跡に基づいて識別されてもよい。本主題のARシステムは、概して、ユーザの視線および焦点に関する知識を有する。前述のように、種々の実施形態では、頭部搭載式ARシステムは、ユーザの眼に関連する画像情報を捕捉するように配向される、1つ以上のカメラを特徴とする。図137に描写されるもの等のある構成では、各ユーザの眼は、上記に詳細に説明されるように、眼に合焦されるカメラ13702とともに、閃光を眼の表面に誘発させるためのカメラまでの既知のオフセット距離を伴う、3つまたはそれを上回るLED(一実施形態では、示されるように眼の直下に)を有してもよい。
3つのLEDが、三角測量によって、カメラから各閃光点までの3D距離を推測することができるため、既知のオフセットとともに使用される。少なくとも3点および眼の近似球状モデルを用いることで、眼の曲率が、推測される。3Dオフセットおよび眼に対する既知の配向を用いることで、虹彩または網膜の正確(画像)もしくは抽象的(勾配または他の特徴)テンプレート(他の実施形態では、網膜および眼内またはそれにわたる静脈のパターン)を形成することができる。これは、ユーザの精密な識別を可能にする。
1つ以上の実施形態では、虹彩識別は、ユーザを識別するために使用されてもよい。眼の虹彩内の筋線維のパターンは、人物毎に安定かつ一意のパターンを形成する。本情報は、有利には、多くの異なる方法において、識別コードとして使用されてもよい。目標は、眼からの十分に豊富なテクスチャを抽出することである。ARシステムのカメラは、下方または側面から眼に向いているため、コードが、回転不変量である必要はない。
図138は、参照のためだけの虹彩からの例示的コード13800を示す。下方のカメラおよび3D深度情報を提供する多くの他のLEDが、存在してもよい。これは、テンプレートコードを形成し、瞳孔直径およびその3D位置に関して正規化されるために使用されてもよい。そのようなコードは、ユーザがデバイスに登録する際(例えば、設定時間等の間)、いくつかの異なるビューから経時的に捕捉されてもよい。
前述のように、一実施形態では、HMDは、操向可能光ファイバケーブルによって操向されるレーザスキャナによって駆動される、回折ディスプレイを備えている。本ケーブルはまた、眼を覗き込み、同様に、桿体視細胞、錐体視細胞(視覚受容体)、および血管の一意のパターンである、網膜自体を視認するために利用されてもよい。これらはまた、各個人に一意のパターンを形成し、したがって、各人物を一意に識別するために使用されることができる。
ここで図139を参照すると、網膜13900の画像が、図示される。前述の実施形態と同様に、網膜の画像はまた、任意の数の従来の手段を使用して、パターンに変換されてもよい。例えば、暗いおよび明るい血液小胞のパターンは、各ユーザに一意であり得る。これは、勾配演算子を画像上で起動し、網膜の中心に置かれた標準化グリッド内の高/低遷移を計数する等、標準的技法によって、「暗明」コードに変換されてもよい。
本明細書に説明される種々のARシステムは、持続的に装着されるように設計されるため、また、ユーザの眼の任意のゆっくりとした変化(例えば、白内障の発症等)を監視するために利用されてもよい。さらに、虹彩および網膜の可視化はまた、その兆候が、多くの場合、最初に、眼内に現れる、鬱血性心不全、アテローム性動脈硬化症、およびコレステロール等の他の健康変化をユーザにアラートするために利用されてもよい。
したがって、本主題のシステムは、少なくとも以下の理由から、向上した正確度を伴って、ユーザを識別および補助するために利用されてもよい。第1に、システムは、眼が、人々の間で類似するが、全く同一サイズではないため、ユーザの識別を補助する、眼の曲率/サイズを決定することができる。第2に、システムは、時間的情報の知識を有する。すなわち、システムは、ユーザの眼が水膜を生成する場合、眼が寄り、ともに合焦する場合、呼吸パターン、瞬き率、または脈管内の血液拍動ステータスが正常である場合等、ユーザの正常心拍数を決定することができる。次に、システムはまた、相関情報を使用することができる。すなわち、例えば、システムは、環境の画像と予期される眼移動パターンを相関させることができ、また、ユーザが、その場所に位置すると思われるものと同一の予期される場面を見ていることをチェックすることができる(例えば、環境のGPS、Wi-Fi信号、およびマップ等から導出されるように)。例えば、ユーザが、推定上、家に居る場合、システムは、既知の家の内側の予期される姿勢の正しい場面を見ているはずである。最後に、システムは、ハイパースペクトルおよび皮膚/筋肉コンダクタンスを使用して、同様に、ユーザを識別することができる。
前述は全て、有利には、非常にセキュアな形態のユーザ識別を開発するために使用され得る。言い換えると、システムは、比較的に高度の正確度を伴って、ユーザの識別を決定するために利用されてもよい。システムは、非常に確実性を伴って、持続的ベースで(時間的情報)、ユーザについて把握するために利用されることができるため、また、マイクロトランザクションを可能にするために利用されることができる。
パスワードまたはサインアップコードは、排除されてもよい。本主題のシステムは、高確実性を伴って、ユーザの識別を決定してもよい。本情報を用いることで、ユーザは、そのサイトの諸条件についての単純通知(例えば、フローティング式仮想ボックス)後、任意のウェブサイトにアクセスすることが許可され得る。
一実施形態では、システムは、ユーザがそのサイトに関する条件を瞬時に把握するように、いくつかの標準的諸条件を作成してもよい。1つ以上のウェブサイトは、公正な条件の集合に準拠しない場合、ARシステムは、その特定のウェブサイト上でのアクセスまたはマイクロトランザクションが自動的に許可されなくてもよい(以下に説明されるように)。
所与のウェブサイト上において、ARシステムは、ユーザがあるコンテンツを視認または使用することを確実にし得るだけではなく、ARシステムはまた、コンテンツが使用された時間の長さを決定してもよい(例えば、クイックブラウズは、無料であり得るが、より多い使用量について課金されてもよい)。
1つ以上の実施形態では、前述のように、マイクロトランザクションは、そのようなシステムを通して容易に行われ得る。例えば、異なる製品またはサービスは、1ペニーの何分の1かで値段が付けられ得る(例えば、ニュース記事は、1セントの1/3かかり得、書籍は、1ページ1ペニーで課金され得、音楽は、1回の視聴で10セント等となる)。現在の通貨パラダイム内では、ユーザ間でそのようなアクティビティの追跡を保つことはより困難であり得るため、マイクロトランザクションを利用することは実践的ではない。しかしながら、ARシステムを用いることで、ARシステムは、ユーザアクティビティを容易に決定し、それを追跡し得る。
1つ以上の実施形態では、ARシステムは、トランザクションのわずかなパーセンテージ(例えば、1%トランザクション料金等)を受領してもよい。一実施形態では、システムは、マイクロトランザクションの集合が集約される、ユーザによって制御可能なアカウントを作成するために利用されてもよい。本集合は、ユーザが、その金額が閾値を超えると、ウェブサイトまたはエンティティに支払い得るように集約されてもよい。または、別の実施形態では、金額は、単に、閾値に到達する場合、ルーチンベースで清算されてもよい。
別の実施形態では、親は、その子供のアカウントへの類似アクセスを有してもよい。例えば、ポリシーは、あるパーセンテージを上回る買物を許可しない、または消費限界を作成するように設定されてもよい。種々の実施形態は、以下の実施形態を使用して説明されるように、促進されてもよい。商品は、ARテレプレゼンス概念に起因して、ユーザが物理的に存在しない場合でも、ユーザの好ましい場所に送達されてもよい。すなわち、ARテレプレゼンスを用いることで、ユーザは、オフィスの場所に居てもよいが、配達員をその家に持って行かせる、または別様にアバタテレプレゼンスによって配達員に見えるようにしてもよい。
システムは、眼を追跡するために利用されてもよいため、また、「一瞥」による買物を可能にすることができる。すなわち、ユーザは、単に、オブジェクトを見て(例えば、あるホテル内のローブ)、「私のアカウントが$3000ドルを超えて戻ったら、これが欲しい」等の規定を作成してもよい。ユーザが特定の着目オブジェクトを視認するとき、類似製品もまた、仮想上、ユーザに表示されてもよい。
1つ以上の実施形態では、ARシステムは、バーコードを読み取ってもよい。これはまた、トランザクションを行う際にユーザを促進し得る。1つ以上の実施形態では、中古市場が、可能な限り多くの製品および製品カテゴリのためにレンダリングされてもよい。中古アイテムは、常時、新しいものと対比されてもよい。
多くのアイテムのために、ARシステムは、3Dオブジェクトをレンダリングするために利用され得るため、ユーザは、単に、3Dオブジェクトの周囲を歩き回り、それをあらゆる側面から吟味してもよい。経時的に、大部分のアイテムは、オブジェクトの迅速な走査によって更新され得る、3Dモデルに対応してもよいことが想定される。実際、携帯電話またはスマートフォン等の多くのアイテムは、ユーザが、従来のハードウェアを購入または携行する必要なく、同一機能性を得るように、仮想化されてもよい。
1つ以上の実施形態では、ARシステムのユーザは、常時、オブジェクトのカタログへのアクセスを有することによって、所有を管理してもよく、それぞれ、提案またはユーザ設定可能料金で、市場に瞬時に売り出され得る。1つ以上の実施形態では、ARシステムは、ユーザに対してあるコストで商品を保管するためにローカル企業と取り決めを有し、コストを1つ以上のウェブサイトと分割してもよい。
1つ以上の実施形態では、ARシステムは、仮想市場を提供してもよい。言い換えると、ARシステムは、全体的に仮想(サーバを介して)または全体的に現実であり得る、市場場所をホストしてもよい。1つ以上の実施形態では、ARシステムは、一意の通貨システムを開発してもよい。通貨システムは、本主題の技術を使用して、各人物の非常に信頼性のある識別にインデックス化されてもよい。そのような場合、全ての当事者がセキュアに把握されるとき、窃盗は生じ得ない。
そのような通貨は、ユーザの数が増加すると、経時的に成長してもよい。すなわち、システムに参加する全てのユーザは、システム内の総額を増大させ得る。同様に、アイテムが購入される度に、通貨は、ユーザが多額の貨幣を保とうとする意志を持たないように、ある点を超えると暴騰し得る。これは、経済における貨幣の自由な移動を促す。通貨は、最大相互作用/最大経済成長をシミュレートするようにモデル化されてもよい。
新しい貨幣は、既存の貨幣の富と反比例して配布されてもよい。新しいユーザは、より多くを受領してもよく、裕福な人々は、より少なく受領してもよい。閾値限界を超えて貨幣供給が縮小する場合、反対も当てはまり得る。
ヒト介入を受けるのではなく、本通貨システムは、最良の既知の経済実践を使用して、適応数学的モデルで稼働してもよい。すなわち、不景気の間、通貨のインフレ要因は、貨幣がシステムに流れ込み始めるように、より大きくなり得る。経済が好景気であるとき、貨幣はさらに、市場変動を抑制するように縮小し得る。1つ以上の実施形態では、モデルパラメータは、公的にブロードキャストされ、通貨は、他の通貨に基づいて変動するであろう。
一実施形態では、網膜シグネチャセキュア化データアクセスが、利用されてもよい。そのような実施形態では、本主題のシステムは、テキスト、画像、およびコンテンツが、信頼のあるセキュアなハードウェアデバイスにのみ選択的に伝送可能および表示可能となることを可能にしてもよく、これは、ユーザが1つ以上の動的に測定される網膜シグネチャに基づいて認証されることができると、アクセスを可能にする。ディスプレイデバイスは、直接、ユーザの網膜上に投影するため、意図される受信者(網膜シグネチャによって識別された)のみ、保護されたコンテンツを視認可能となり得る。さらに、視認デバイスは、ユーザの網膜を能動的に監視するため、動的に読み取られた網膜シグネチャは、コンテンツが実際にユーザの眼に提示された証拠として記録されてもよい(例えば、可能性として、要求される眼移動のシーケンスの実行等、認証アクションを伴う、デジタル受信の形態で)。
なりすまし検出は、予期される自然変動のモデルに基づいて、網膜画像、静的または2D網膜画像、生成画像等の以前の録画の使用の試みを排除し得る。一意の起点/透かしが、生成され、網膜上に投影され、監査目的のために、一意の網膜シグネチャを生成してもよい。
本発明の種々の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広くて適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物が置換されてもよい。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、もしくは範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散構成要素および特徴を有する。全てのそのような修正は、本開示に関連付けられる請求項の範囲内にあることを目的としている。
本発明は、主題デバイスを使用して行われ得る方法を含む。方法は、そのような好適なデバイスを提供するという行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すれば、「提供する」行為は、単に、エンドユーザが、主題方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順番で、ならびに事象の記載された順番で実行されてもよい。
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関しては、これらは、上記で参照された特許および出版物と関連して理解されるとともに、概して、当業者によって公知または理解され得る。一般的または論理的に採用されるような付加的な行為の観点から、本発明の方法ベースの側面に関して、同じことが当てはまり得る。
加えて、本発明は、種々の特徴を随意的に組み込むいくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるような説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物(本明細書に記載されようと、いくらか簡単にするために含まれていなかろうと)が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることを理解されたい。
また、説明される本発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか1つ以上のものと組み合わせて、記載および請求されてもよいことが考慮される。単数形のアイテムへの参照は、複数形の同一のアイテムが存在するという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる請求項で使用されるように、「1つの(「a」、「an」)」、「該(said)」、および「前記(the)」という単数形は、特に規定がない限り、複数形の指示主題を含む。換言すれば、冠詞の使用は、上記の説明ならびに本開示に関連付けられる請求項において、主題アイテムの「少なくとも1つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項の要素の記載と関連して、「単に」、「のみ」、および同等物等の排他的用語の使用、または「否定的」制限の使用のために、先行詞としての機能を果たすことを目的としている。
そのような排他的用語を使用することなく、本開示に関連付けられる請求項での「備えている」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の追加の要素を含むことを可能にするものとする。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるものである。
本発明の範疇は、提供される実施例および/または主題の明細書に限定されるものではなく、むしろ、本開示に関連付けられる請求項の言葉の範囲のみによって限定されるものである。
Claims (18)
- 仮想世界を更新する方法であって、
第1の入力を第1のユーザの第1のデバイスから受信することであって、前記第1の入力は、前記第1のユーザの物理環境に対応する、ことと、
前記受信された第1の入力に基づいて、仮想世界モデルを更新することであって、前記仮想世界モデルは、前記第1のユーザの前記物理環境に対応する、ことと、
前記仮想世界モデルの第1の部分に対応する第1の更新された情報を第2のユーザに伝送することと、
複数の入力を複数の他のユーザのそれぞれの第1のデバイスから受信することであって、前記複数の入力は、前記第1のユーザの物理環境に対応する、ことと、
前記受信された複数の入力に基づいて、前記仮想世界モデルを更新することと、
前記仮想世界モデルのそれぞれの追加の部分に対応する追加の更新された情報を前記第2のユーザに伝送することと
を含み、
前記第1の更新された情報は、前記第1の更新された情報の任意の部分が前記第2のユーザに表示される必要があるかどうかを示し、
前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記第2のユーザに表示される必要があるかどうかを示す、方法。 - 前記仮想世界モデルは、ネットワーク化されたメモリ上に常駐する、請求項1に記載の方法。
- 前記第1のユーザおよび前記第2のユーザは、それぞれの異なる場所に位置する、請求項1に記載の方法。
- 前記第1のユーザの前記第1のデバイスは、FOVカメラ、他のカメラ、センサ、眼追跡用の第1のデバイス、およびオーディオ用の第1のデバイスから成る群から選択される、請求項1に記載の方法。
- 前記仮想世界モデルの前記第1の部分に対応する前記第1の更新された情報を前記第1のユーザに伝送することをさらに含み、
前記第1の更新された情報は、前記第1の更新された情報の任意の部分が前記第1のユーザに表示される必要があるかどうかを示す、請求項1に記載の方法。 - 前記仮想世界モデルの前記第1の部分に対応する前記第1の更新された情報を複数の他のユーザに伝送することをさらに含み、
前記第1の更新された情報は、前記第1の更新された情報の任意の部分が前記複数の他のユーザの各々に表示される必要があるかどうかを示す、請求項1に記載の方法。 - 前記仮想世界モデルの前記部分に対応する前記追加の更新された情報を前記第1のユーザに伝送することをさらに含み、
前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記第1のユーザに表示される必要があるかどうかを示す、請求項1に記載の方法。 - 前記仮想世界モデルのそれぞれの追加の部分に対応する前記追加の更新された情報を前記複数の他のユーザに伝送することをさらに含み、
前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記複数の他のユーザの各々に表示される必要があるかどうかを示す、請求項1に記載の方法。 - 第2の入力を前記第2のユーザの第2のデバイスから受信することであって、前記第2の入力は、前記第2のユーザの物理環境に対応する、ことと、
前記受信された前記第2の入力に基づいて、前記仮想世界モデルを更新することであって、前記仮想世界モデルは、前記第1のユーザの前記物理環境に対応する、ことと、
前記仮想世界モデルの第2の部分に対応する第2の更新された情報を前記第1のユーザに伝送することと
をさらに含み、
前記第2の更新された情報は、前記第2の更新された情報の任意の部分が前記第1のユーザに表示される必要があるかどうかを示す、請求項1に記載の方法。 - 前記第2の更新された情報は、前記仮想世界モデルの前記第2の部分内の前記第2のユーザのアバタの移動に対応する、請求項9に記載の方法。
- 拡張現実ディスプレイシステムであって、
第1のユーザの物理環境に対応する第1の入力を捕捉するための前記拡張現実ディスプレイシステムの画像捕捉デバイスであって、前記画像捕捉デバイスは、1つ以上の画像捕捉センサを備える、画像捕捉デバイスと、
前記画像捕捉デバイスに結合されたプロセッサと
を備え、
前記プロセッサは、
前記第1の入力を前記画像捕捉デバイスから受信することと、
前記受信された第1の入力に基づいて、仮想世界モデルを更新することであって、前記仮想世界モデルは、前記第1のユーザの前記物理環境に対応する、ことと、
前記仮想世界モデルの第1の部分に対応する第1の更新された情報を第2のユーザに伝送することと、
複数の入力を複数の他のユーザのそれぞれの拡張現実デバイスから受信することであって、前記複数の入力は、前記第1のユーザの物理環境に対応する、ことと、
前記受信された複数の入力に基づいて、前記仮想世界モデルを更新することと、
前記仮想世界モデルのそれぞれの追加の部分に対応する追加の更新された情報を前記第2のユーザに伝送することと
を実行するように構成され、
前記第1の更新された情報は、前記第1の更新された情報の任意の部分が前記第2のユーザに表示される必要があるかどうかを示し、
前記第1の更新された情報は、前記第1の更新された情報の任意の部分が前記複数の他のユーザの各々に表示される必要があるかどうかを示す、拡張現実ディスプレイシステム。 - ネットワーク化されたメモリをさらに備え、前記仮想世界モデルは、前記ネットワーク化されたメモリ上に常駐する、請求項11に記載のシステム。
- 前記第1のユーザおよび前記第2のユーザは、それぞれの異なる場所に位置する、請求項11に記載のシステム。
- 前記画像捕捉デバイスは、FOVカメラ、他のカメラ、センサ、眼追跡用の第1のデバイス、およびオーディオ用の第1のデバイスから成る群から選択される、請求項11に記載のシステム。
- 前記プロセッサはまた、
前記仮想世界モデルの前記第1の部分に対応する前記第1の更新された情報を前記第1のユーザに伝送するように構成され、
前記第1の更新された情報は、前記第1の更新された情報の任意の部分が前記第1のユーザに表示される必要があるかどうかを示す、請求項11に記載のシステム。 - 前記プロセッサはまた、
前記仮想世界モデルの前記第1の部分に対応する前記第1の更新された情報を複数の他のユーザに伝送するように構成され、
前記第1の更新された情報は、前記第1の更新された情報の任意の部分が前記複数の他のユーザの各々に表示される必要があるかどうかを示す、請求項11に記載のシステム。 - 前記プロセッサはまた、
前記仮想世界モデルの前記部分に対応する前記追加の更新された情報を前記第1のユーザに伝送するように構成され、
前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記第1のユーザに表示される必要があるかどうかを示す、請求項11に記載のシステム。 - 前記プロセッサはまた、
前記仮想世界モデルのそれぞれの追加の部分に対応する前記追加の更新された情報を前記複数の他のユーザに伝送するように構成され、
前記追加の更新された情報は、前記追加の更新された情報の任意の部分が前記複数の他のユーザの各々に表示される必要があるかどうかを示す、請求項11に記載のシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462012273P | 2014-06-14 | 2014-06-14 | |
US62/012,273 | 2014-06-14 | ||
JP2020002609A JP7110252B2 (ja) | 2014-06-14 | 2020-01-10 | 仮想および拡張現実を作成する方法およびシステム |
JP2022083729A JP2022113713A (ja) | 2014-06-14 | 2022-05-23 | 仮想および拡張現実を作成する方法およびシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022083729A Division JP2022113713A (ja) | 2014-06-14 | 2022-05-23 | 仮想および拡張現実を作成する方法およびシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023181188A true JP2023181188A (ja) | 2023-12-21 |
Family
ID=54834480
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017518040A Active JP6646659B2 (ja) | 2014-06-14 | 2015-06-13 | 仮想および拡張現実を作成する方法およびシステム |
JP2020002609A Active JP7110252B2 (ja) | 2014-06-14 | 2020-01-10 | 仮想および拡張現実を作成する方法およびシステム |
JP2022083729A Withdrawn JP2022113713A (ja) | 2014-06-14 | 2022-05-23 | 仮想および拡張現実を作成する方法およびシステム |
JP2023171946A Pending JP2023181188A (ja) | 2014-06-14 | 2023-10-03 | 仮想および拡張現実を作成する方法およびシステム |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017518040A Active JP6646659B2 (ja) | 2014-06-14 | 2015-06-13 | 仮想および拡張現実を作成する方法およびシステム |
JP2020002609A Active JP7110252B2 (ja) | 2014-06-14 | 2020-01-10 | 仮想および拡張現実を作成する方法およびシステム |
JP2022083729A Withdrawn JP2022113713A (ja) | 2014-06-14 | 2022-05-23 | 仮想および拡張現実を作成する方法およびシステム |
Country Status (8)
Country | Link |
---|---|
EP (3) | EP3699736B1 (ja) |
JP (4) | JP6646659B2 (ja) |
KR (1) | KR102204919B1 (ja) |
CN (3) | CN106937531B (ja) |
AU (1) | AU2015274283B2 (ja) |
CA (1) | CA2953335C (ja) |
IL (2) | IL249371B (ja) |
WO (1) | WO2015192117A1 (ja) |
Families Citing this family (565)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010023754A1 (ja) * | 2008-08-29 | 2010-03-04 | 株式会社コトブキ | 収納式観覧席 |
US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
US10188309B2 (en) | 2013-11-27 | 2019-01-29 | North Inc. | Systems, articles, and methods for electromyography sensors |
US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
US10475113B2 (en) | 2014-12-23 | 2019-11-12 | Ebay Inc. | Method system and medium for generating virtual contexts from three dimensional models |
US10217189B2 (en) * | 2015-09-16 | 2019-02-26 | Google Llc | General spherical capture methods |
US10614614B2 (en) | 2015-09-29 | 2020-04-07 | Adshir Ltd. | Path tracing system employing distributed accelerating structures |
US10186026B2 (en) * | 2015-11-17 | 2019-01-22 | Kla-Tencor Corp. | Single image detection |
US10565776B2 (en) | 2015-12-12 | 2020-02-18 | Adshir Ltd. | Method for fast generation of path traced reflections on a semi-reflective surface |
CN108431669A (zh) * | 2016-01-07 | 2018-08-21 | 奇跃公司 | 动态菲涅尔投影仪 |
JP6362631B2 (ja) * | 2016-01-15 | 2018-07-25 | 株式会社meleap | 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ |
US10345914B2 (en) * | 2016-01-26 | 2019-07-09 | Infinity Augmented Reality Israel Ltd. | Method and system for generating a synthetic database of postures and gestures |
US12008704B2 (en) | 2016-01-28 | 2024-06-11 | Snap Inc. | System for photo-realistic reflections in augmented reality |
US10614612B2 (en) | 2018-06-09 | 2020-04-07 | Adshir Ltd. | Fast path traced reflections for augmented reality |
EP3206121A1 (en) | 2016-02-09 | 2017-08-16 | Nokia Technologies Oy | Methods and apparatuses relating to the handling of visual virtual reality content |
EP3206122A1 (en) | 2016-02-10 | 2017-08-16 | Nokia Technologies Oy | An apparatus and associated methods |
CN105610868B (zh) * | 2016-03-03 | 2019-08-06 | 腾讯科技(深圳)有限公司 | 一种信息交互的方法、设备及系统 |
WO2017156622A1 (en) * | 2016-03-13 | 2017-09-21 | Rising Sun Productions Limited | Head-mounted audiovisual capture device |
EP3878391A1 (en) * | 2016-03-14 | 2021-09-15 | Mohamed R. Mahfouz | A surgical navigation system |
CN107199888A (zh) * | 2016-03-18 | 2017-09-26 | 松下知识产权经营株式会社 | 姿势输入系统和姿势输入方法 |
US10815145B2 (en) | 2016-03-31 | 2020-10-27 | Corning Incorporated | High index glass and devices incorporating such |
US10979843B2 (en) * | 2016-04-08 | 2021-04-13 | Qualcomm Incorporated | Spatialized audio output based on predicted position data |
KR20240070723A (ko) | 2016-04-21 | 2024-05-21 | 매직 립, 인코포레이티드 | 시야 주위의 시각적 아우라 |
CN105788390A (zh) * | 2016-04-29 | 2016-07-20 | 吉林医药学院 | 基于增强现实的医学解剖辅助教学系统 |
US11062383B2 (en) | 2016-05-10 | 2021-07-13 | Lowe's Companies, Inc. | Systems and methods for displaying a simulated room and portions thereof |
JP6429829B2 (ja) * | 2016-05-25 | 2018-11-28 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
GB2550620B (en) * | 2016-05-26 | 2020-07-29 | Michael Child John | A camera apparatus |
JP7015104B2 (ja) * | 2016-07-04 | 2022-02-15 | エドワード・パクチャン | Memsディスプレイ |
JP6953116B2 (ja) * | 2016-07-04 | 2021-10-27 | エドワード・パクチャン | Memsディスプレイ |
EP3270208B1 (fr) * | 2016-07-12 | 2024-03-06 | Essilor International | Procédé de fourniture d'un dispositif d'affichage pour dispositif électronique informatif |
US20190235624A1 (en) * | 2016-07-19 | 2019-08-01 | Supereye, Inc. | Systems and methods for predictive visual rendering |
WO2020112986A1 (en) | 2018-11-27 | 2020-06-04 | Facebook Technologies, Inc. | Methods and apparatus for autocalibration of a wearable electrode sensor system |
US20190121306A1 (en) | 2017-10-19 | 2019-04-25 | Ctrl-Labs Corporation | Systems and methods for identifying biological structures associated with neuromuscular source signals |
US9858637B1 (en) | 2016-07-29 | 2018-01-02 | Qualcomm Incorporated | Systems and methods for reducing motion-to-photon latency and memory bandwidth in a virtual reality system |
AU2017305249B2 (en) * | 2016-08-01 | 2021-07-22 | Magic Leap, Inc. | Mixed reality system with spatialized audio |
US10482621B2 (en) * | 2016-08-01 | 2019-11-19 | Cognex Corporation | System and method for improved scoring of 3D poses and spurious point removal in 3D image data |
US10398514B2 (en) | 2016-08-16 | 2019-09-03 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
US20180049622A1 (en) | 2016-08-16 | 2018-02-22 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
US11071596B2 (en) | 2016-08-16 | 2021-07-27 | Insight Medical Systems, Inc. | Systems and methods for sensory augmentation in medical procedures |
WO2018039269A1 (en) * | 2016-08-22 | 2018-03-01 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
US11102467B2 (en) * | 2016-08-25 | 2021-08-24 | Facebook Technologies, Llc | Array detector for depth mapping |
KR20210060676A (ko) | 2016-09-13 | 2021-05-26 | 매직 립, 인코포레이티드 | 감각 안경류 |
EP3513374A4 (en) * | 2016-09-16 | 2020-05-27 | Christopher Ghaleb | GROUND PLAN VISUALIZATION SYSTEM |
US10380950B2 (en) * | 2016-09-23 | 2019-08-13 | Novatek Microelectronics Corp. | Method for reducing motion blur and head mounted display apparatus |
CN114356098A (zh) | 2016-09-28 | 2022-04-15 | 奇跃公司 | 由可穿戴设备进行面部模型捕获 |
US10067565B2 (en) | 2016-09-29 | 2018-09-04 | Intel Corporation | Methods and apparatus for identifying potentially seizure-inducing virtual reality content |
CN106651500B (zh) * | 2016-10-12 | 2021-03-30 | 大连知行天下网络科技有限公司 | 基于空间反馈特征的视频图像识别技术和虚拟现实技术的网上购物系统 |
US20190244391A1 (en) * | 2016-10-20 | 2019-08-08 | Spookfish Innovations Pty Ltd | An aerial camera boresight calibration system |
US10748450B1 (en) | 2016-11-29 | 2020-08-18 | Sproutel, Inc. | System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education |
US11056022B1 (en) | 2016-11-29 | 2021-07-06 | Sproutel, Inc. | System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education |
CN110214339A (zh) * | 2016-11-30 | 2019-09-06 | 诺瓦赛特有限公司 | 用于显示具有改变的视场的图像的方法和设备 |
CN108205813B (zh) | 2016-12-16 | 2022-06-03 | 微软技术许可有限责任公司 | 基于学习网络的图像风格化 |
US10783799B1 (en) | 2016-12-17 | 2020-09-22 | Sproutel, Inc. | System, apparatus, and method for educating and reducing stress for patients with illness or trauma using an interactive location-aware toy and a distributed sensor network |
US10371896B2 (en) * | 2016-12-22 | 2019-08-06 | Magic Leap, Inc. | Color separation in planar waveguides using dichroic filters |
US10489979B2 (en) | 2016-12-30 | 2019-11-26 | Facebook, Inc. | Systems and methods for providing nested content items associated with virtual content items |
US10088911B2 (en) | 2016-12-30 | 2018-10-02 | Manuel Saez | Programmable electronic helmet |
US10515474B2 (en) | 2017-01-19 | 2019-12-24 | Mindmaze Holding Sa | System, method and apparatus for detecting facial expression in a virtual reality system |
EP3571627A2 (en) | 2017-01-19 | 2019-11-27 | Mindmaze Holding S.A. | Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system |
US10943100B2 (en) | 2017-01-19 | 2021-03-09 | Mindmaze Holding Sa | Systems, methods, devices and apparatuses for detecting facial expression |
CN110770758B (zh) * | 2017-01-23 | 2024-06-04 | 牛津大学创新有限公司 | 确定可移动的设备的位置 |
CN108346432B (zh) * | 2017-01-25 | 2022-09-09 | 北京三星通信技术研究有限公司 | 虚拟现实vr音频的处理方法及相应设备 |
CN110892408A (zh) | 2017-02-07 | 2020-03-17 | 迈恩德玛泽控股股份有限公司 | 用于立体视觉和跟踪的系统、方法和装置 |
US10438399B2 (en) * | 2017-02-10 | 2019-10-08 | Sony Interactive Entertainment LLC | Paired local and global user interfaces for an improved augmented reality experience |
US10416769B2 (en) | 2017-02-14 | 2019-09-17 | Microsoft Technology Licensing, Llc | Physical haptic feedback system with spatial warping |
KR102671512B1 (ko) * | 2017-02-20 | 2024-06-04 | 이현세 | 화상 정보를 이용한 햅틱 효과 출력 시스템 및 방법 |
CN106951153B (zh) * | 2017-02-21 | 2020-11-20 | 联想(北京)有限公司 | 一种显示方法及电子设备 |
CN110419061B (zh) * | 2017-03-17 | 2023-09-29 | 奇跃公司 | 混合现实系统及使用该系统生成虚拟内容的方法 |
KR101963244B1 (ko) * | 2017-03-20 | 2019-03-28 | ㈜라이커스게임 | 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램 |
US10969874B2 (en) | 2017-03-21 | 2021-04-06 | Pcms Holdings, Inc. | Method and system for the detection and augmentation of tactile interactions in augmented reality |
US10453172B2 (en) | 2017-04-04 | 2019-10-22 | International Business Machines Corporation | Sparse-data generative model for pseudo-puppet memory recast |
KR101894455B1 (ko) * | 2017-04-05 | 2018-09-04 | 부산가톨릭대학교 산학협력단 | 영상의학용 일반촬영 검사 가상현실 컨텐츠 제작-운용방법 |
KR20190132507A (ko) * | 2017-04-06 | 2019-11-27 | 콘스탄틴 로가츠 | 증강 현실(ar) 안경 및 적어도 하나의 안경 렌즈를 통해 안경의 착용자가 볼 수 있는 이미지에 가상 이미지들을 혼합하기 위한 방법 |
US10740613B1 (en) | 2017-04-20 | 2020-08-11 | Digimarc Corporation | Hybrid feature point/watermark-based augmented reality |
CA3060617C (en) | 2017-04-20 | 2022-10-04 | The Cleveland Clinic Foundation | System and method for holographic image-guided non-vascular percutaneous procedures |
WO2018201150A1 (en) * | 2017-04-28 | 2018-11-01 | Mira Labs, Inc. | Control system for a three dimensional environment |
US11077360B2 (en) | 2017-04-28 | 2021-08-03 | Sony Interactive Entertainment Inc. | Information processing device, control method of information processing device, and program |
KR20230108352A (ko) | 2017-05-01 | 2023-07-18 | 매직 립, 인코포레이티드 | 콘텐츠를 공간 3d 환경에 매칭 |
CN107194163A (zh) * | 2017-05-15 | 2017-09-22 | 上海联影医疗科技有限公司 | 一种显示方法和系统 |
FR3066672B1 (fr) * | 2017-05-19 | 2020-05-22 | Sagemcom Broadband Sas | Procede de communication d'une video immersive |
US10582172B2 (en) | 2017-05-22 | 2020-03-03 | Microsoft Technology Licensing, Llc | Optical system steering via Bragg grating shear |
US10679428B1 (en) | 2017-05-26 | 2020-06-09 | Snap Inc. | Neural network-based image stream modification |
KR102670987B1 (ko) | 2017-05-31 | 2024-05-30 | 매직 립, 인코포레이티드 | 눈 추적 교정 기술들 |
US11120264B2 (en) | 2017-06-02 | 2021-09-14 | Apple Inc. | Augmented reality interface for facilitating identification of arriving vehicle |
US10678338B2 (en) | 2017-06-09 | 2020-06-09 | At&T Intellectual Property I, L.P. | Determining and evaluating data representing an action to be performed by a robot |
WO2018236499A1 (en) | 2017-06-19 | 2018-12-27 | Apple Inc. | AUGMENTED REALITY INTERFACE FOR INTERACTING WITH DISPLAYED CARDS |
US10573061B2 (en) | 2017-07-07 | 2020-02-25 | Nvidia Corporation | Saccadic redirection for virtual reality locomotion |
US10573071B2 (en) | 2017-07-07 | 2020-02-25 | Nvidia Corporation | Path planning for virtual reality locomotion |
US20190014362A1 (en) * | 2017-07-10 | 2019-01-10 | Qualcomm Incorporated | Enhanced region-wise packing and viewport independent hevc media profile |
CN109241810B (zh) * | 2017-07-10 | 2022-01-28 | 腾讯科技(深圳)有限公司 | 虚拟角色图像的构建方法及装置、存储介质 |
JP7222968B2 (ja) * | 2017-07-13 | 2023-02-15 | シーリアル テクノロジーズ ソシエテ アノニム | 視野を拡大するためのディスプレイデバイス |
US11228829B2 (en) | 2017-07-14 | 2022-01-18 | Hewlett-Packard Development Company, L.P. | Regulating environmental conditions inside cups of headphones |
AU2018301461A1 (en) * | 2017-07-14 | 2020-01-30 | Cappasity Inc. | Systems and methods for creating and displaying interactive 3D representations of real objects |
WO2019013820A1 (en) | 2017-07-14 | 2019-01-17 | Hewlett-Packard Development Company, L.P. | USER ALERT CONCERNING EVENTS |
EP3435670A1 (en) * | 2017-07-25 | 2019-01-30 | Koninklijke Philips N.V. | Apparatus and method for generating a tiled three-dimensional image representation of a scene |
CN107689796B (zh) * | 2017-07-28 | 2021-03-26 | 同济大学 | 一种基于先验信息的无损压缩文件容错解压方法 |
US11432877B2 (en) | 2017-08-02 | 2022-09-06 | Medtech S.A. | Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking |
CN107368820B (zh) * | 2017-08-03 | 2023-04-18 | 中国科学院深圳先进技术研究院 | 一种精细化手势识别方法、装置及设备 |
CN107609220B (zh) * | 2017-08-11 | 2021-11-05 | 中国电力科学研究院 | 一种负荷低电压释放特性参数的确定方法和装置 |
EP3445049B1 (en) * | 2017-08-14 | 2021-01-27 | Facebook Technologies, LLC | Camera assembly with programmable diffractive optical element for depth sensing |
US10551614B2 (en) * | 2017-08-14 | 2020-02-04 | Facebook Technologies, Llc | Camera assembly with programmable diffractive optical element for depth sensing |
WO2019036006A1 (en) * | 2017-08-16 | 2019-02-21 | Covidien Lp | SYNTHESIS OF SPACE-SENSITIVE TRANSITIONS BETWEEN MULTIPLE VIEWPOINTS OF VIEWING DEVICES DURING MINI-INVASIVE SURGERY |
CN107561549B (zh) * | 2017-08-17 | 2020-07-24 | 广州视源电子科技股份有限公司 | 终端位置的重定位方法、装置、终端及存储介质 |
KR102360412B1 (ko) | 2017-08-25 | 2022-02-09 | 엘지디스플레이 주식회사 | 영상 생성 방법과 이를 이용한 표시장치 |
CN111295633B (zh) * | 2017-08-29 | 2024-02-20 | 新加坡商欧之遥控有限公司 | 精细的用户识别 |
CN109426783A (zh) * | 2017-08-29 | 2019-03-05 | 深圳市掌网科技股份有限公司 | 基于增强现实的手势识别方法及系统 |
US10586342B2 (en) | 2017-08-31 | 2020-03-10 | Facebook Technologies, Llc | Shifting diffractive optical element for adjustable depth sensing resolution |
DK180470B1 (en) | 2017-08-31 | 2021-05-06 | Apple Inc | Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments |
EP3451288A1 (en) * | 2017-09-04 | 2019-03-06 | Universität Zürich | Visual-inertial odometry with an event camera |
CN107538492A (zh) * | 2017-09-07 | 2018-01-05 | 福物(上海)机器人科技有限公司 | 移动机器人的智能操控系统、方法及智能学习方法 |
US10762691B2 (en) * | 2017-09-08 | 2020-09-01 | Microsoft Technology Licensing, Llc | Techniques for compensating variable display device latency in image display |
US10607082B2 (en) * | 2017-09-09 | 2020-03-31 | Google Llc | Systems, methods, and apparatus for image-responsive automated assistants |
CN109511004B (zh) * | 2017-09-14 | 2023-09-01 | 中兴通讯股份有限公司 | 一种视频处理方法及装置 |
CN107578078B (zh) * | 2017-09-14 | 2020-05-12 | 哈尔滨工业大学 | 用于单目视觉定位的非镜像对称二维码标志图形校验及布局方法 |
KR20200055704A (ko) * | 2017-09-20 | 2020-05-21 | 매직 립, 인코포레이티드 | 눈 추적을 위한 개인화된 뉴럴 네트워크 |
CN111448568B (zh) * | 2017-09-29 | 2023-11-14 | 苹果公司 | 基于环境的应用演示 |
CN111052045B (zh) | 2017-09-29 | 2022-07-15 | 苹果公司 | 计算机生成的现实平台 |
US10777007B2 (en) | 2017-09-29 | 2020-09-15 | Apple Inc. | Cooperative augmented reality map interface |
CN107704681B (zh) * | 2017-09-30 | 2021-06-04 | 江西洪都航空工业集团有限责任公司 | 一种飞机地面视野范围的计算方法 |
CN107564110A (zh) * | 2017-09-30 | 2018-01-09 | 四川长虹电器股份有限公司 | 一种基于ar的工厂设计系统 |
US20200275988A1 (en) * | 2017-10-02 | 2020-09-03 | The Johns Hopkins University | Image to world registration for medical augmented reality applications using a world spatial map |
CN107741886B (zh) * | 2017-10-11 | 2020-12-15 | 江苏电力信息技术有限公司 | 一种基于增强现实技术多人互动的方法 |
CN107680105B (zh) * | 2017-10-12 | 2021-05-25 | 北京奇虎科技有限公司 | 基于虚拟世界的视频数据实时处理方法及装置、计算设备 |
CN107680170A (zh) * | 2017-10-12 | 2018-02-09 | 北京奇虎科技有限公司 | 基于虚拟世界的图像实时处理方法及装置、计算设备 |
CN107766206B (zh) * | 2017-10-12 | 2020-09-01 | 武汉秀宝软件有限公司 | 一种基于增强现实的多主机测试方法及系统 |
US10403046B2 (en) * | 2017-10-20 | 2019-09-03 | Raytheon Company | Field of view (FOV) and key code limited augmented reality to enforce data capture and transmission compliance |
KR102004048B1 (ko) * | 2017-10-25 | 2019-07-25 | 광운대학교 산학협력단 | 가상 현실을 위한 공간 재구성 방법 및 가상 로드맵 결정 방법 및 이를 수행하는 공간 재구성 장치 |
US10796185B2 (en) * | 2017-11-03 | 2020-10-06 | Facebook, Inc. | Dynamic graceful degradation of augmented-reality effects |
CN107742512B (zh) * | 2017-11-07 | 2020-09-01 | 北京京东方光电科技有限公司 | 一种显示驱动电路、其驱动方法及显示装置 |
CN107765953B (zh) * | 2017-11-08 | 2023-08-22 | 网易(杭州)网络有限公司 | 信息的展示方法、装置、处理器及头戴式显示设备 |
WO2019094047A1 (en) * | 2017-11-13 | 2019-05-16 | Boger Yuval S | Head-mounted display for public use |
CN107657589B (zh) * | 2017-11-16 | 2021-05-14 | 上海麦界信息技术有限公司 | 基于三基准点标定的手机ar定位坐标轴同步方法 |
CN107860315A (zh) * | 2017-11-17 | 2018-03-30 | 浙江大学城市学院 | 一种结构光全向光场视觉系统组合结构 |
WO2019100319A1 (en) * | 2017-11-24 | 2019-05-31 | Microsoft Technology Licensing, Llc | Providing a response in a session |
CN107945283B (zh) * | 2017-12-06 | 2021-05-14 | 河南省水利勘测设计研究有限公司 | 基于移动增强现实技术和bim的工程展示方法 |
EP3496417A3 (en) * | 2017-12-06 | 2019-08-07 | Oticon A/s | Hearing system adapted for navigation and method therefor |
CN108089701A (zh) * | 2017-12-07 | 2018-05-29 | 北京奇虎科技有限公司 | 一种虚拟现实vr场景的展示方法和装置 |
CN109920283A (zh) * | 2017-12-12 | 2019-06-21 | 王子南 | 一种仿真沙盘系统 |
CN107992896A (zh) * | 2017-12-13 | 2018-05-04 | 东南大学 | 一种基于眼动追踪技术的科学概念评测方法 |
US10192115B1 (en) | 2017-12-13 | 2019-01-29 | Lowe's Companies, Inc. | Virtualizing objects using object models and object position data |
KR101932007B1 (ko) * | 2017-12-15 | 2019-03-15 | 네이버랩스 주식회사 | 공간 메시징과 컨텐츠 공유를 위한 방법 및 그 시스템 |
WO2019117655A1 (ko) * | 2017-12-15 | 2019-06-20 | 네이버랩스 주식회사 | 3d 지도를 이용한 원격 위치 기반 ar 저작 방법 및 시스템 |
WO2019124851A1 (ko) | 2017-12-18 | 2019-06-27 | 네이버랩스 주식회사 | 지오펜싱 기반의 컨텐츠를 클라우드소싱하는 방법 및 그 시스템 |
KR102556889B1 (ko) | 2017-12-22 | 2023-07-17 | 매직 립, 인코포레이티드 | 혼합 현실 시스템에서 가상 콘텐츠를 관리하고 디스플레이하기 위한 방법들 및 시스템 |
JP7169358B2 (ja) * | 2017-12-22 | 2022-11-10 | マジック リープ, インコーポレイテッド | 高速立体再構成のための視点依存ブリック選択 |
CA3084670A1 (en) | 2017-12-22 | 2019-06-27 | Magic Leap, Inc. | Methods and system for generating and displaying 3d videos in a virtual, augmented, or mixed reality environment |
CN108053262B (zh) * | 2017-12-28 | 2020-10-13 | 北京星选科技有限公司 | 数据推送方法及装置 |
CN108182719A (zh) * | 2017-12-28 | 2018-06-19 | 北京聚力维度科技有限公司 | 人工智能自适应障碍地形的行进动画生成方法和装置 |
WO2019133505A1 (en) | 2017-12-29 | 2019-07-04 | Pcms Holdings, Inc. | Method and system for maintaining color calibration using common objects |
US11328533B1 (en) | 2018-01-09 | 2022-05-10 | Mindmaze Holding Sa | System, method and apparatus for detecting facial expression for motion capture |
KR102523433B1 (ko) | 2018-01-10 | 2023-04-19 | 삼성전자주식회사 | 깊이 정보를 결정하는 방법 및 광학 시스템 |
CN108417217B (zh) * | 2018-01-11 | 2021-07-13 | 思必驰科技股份有限公司 | 说话人识别网络模型训练方法、说话人识别方法及系统 |
CN108282228A (zh) * | 2018-01-12 | 2018-07-13 | 西安电子科技大学 | 基于室内可见光通信的多区域双控制器分层网络架构 |
US11262756B2 (en) * | 2018-01-15 | 2022-03-01 | Uatc, Llc | Discrete decision architecture for motion planning system of an autonomous vehicle |
US10460431B2 (en) | 2018-01-15 | 2019-10-29 | Otis Elevator Company | Part recognition and damage characterization using deep learning |
CN110049303B (zh) * | 2018-01-15 | 2021-08-13 | 微软技术许可有限责任公司 | 立体图像的视觉风格化 |
CN108256060B (zh) * | 2018-01-16 | 2021-02-09 | 广州视源电子科技股份有限公司 | 一种闭环检测方法、装置、终端及存储介质 |
WO2019143688A1 (en) | 2018-01-19 | 2019-07-25 | Pcms Holdings, Inc. | Multi-focal planes with varying positions |
KR102519653B1 (ko) * | 2018-01-20 | 2023-04-07 | 삼성전자주식회사 | 포인트 클라우드 압축 방법 및 장치 |
WO2019143886A1 (en) * | 2018-01-22 | 2019-07-25 | Dakiana Research Llc | Objective-effectuators in synthesized reality settings |
US20200364568A1 (en) * | 2018-01-22 | 2020-11-19 | Apple Inc. | Generating objectives for objective-effectuators in synthesized reality settings |
CN108172051A (zh) * | 2018-01-24 | 2018-06-15 | 山东科技大学 | 一种体育课教学方法和装置 |
US10225360B1 (en) * | 2018-01-24 | 2019-03-05 | Veeva Systems Inc. | System and method for distributing AR content |
DK201870349A1 (en) | 2018-01-24 | 2019-10-23 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models |
US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
US11014242B2 (en) | 2018-01-26 | 2021-05-25 | Microsoft Technology Licensing, Llc | Puppeteering in augmented reality |
US10976982B2 (en) * | 2018-02-02 | 2021-04-13 | Samsung Electronics Co., Ltd. | Guided view mode for virtual reality |
CN110120229A (zh) * | 2018-02-05 | 2019-08-13 | 北京三星通信技术研究有限公司 | 虚拟现实vr音频信号的处理方法及相应设备 |
CN108366250B (zh) * | 2018-02-06 | 2020-03-17 | 深圳市鹰硕技术有限公司 | 影像显示系统、方法以及数字眼镜 |
US10964030B2 (en) | 2018-02-12 | 2021-03-30 | Samsung Electronics Co., Ltd. | Device and method with pose estimator based on current predicted motion state array |
KR102549822B1 (ko) * | 2018-02-19 | 2023-06-30 | 애플 인크. | 조건부 의존적 합성 현실 콘텐츠 스레드들을 제시하고 조작하기 위한 방법 및 디바이스들 |
KR20200121357A (ko) | 2018-02-22 | 2020-10-23 | 매직 립, 인코포레이티드 | 물리적 조작을 사용한 오브젝트 생성 |
AU2019225989A1 (en) | 2018-02-22 | 2020-08-13 | Magic Leap, Inc. | Browser for mixed reality systems |
KR20190101620A (ko) | 2018-02-23 | 2019-09-02 | 주식회사 로로아트플랜 | 증강현실 기술을 이용한 무빙 트릭아트 구현 방법 |
TWI648556B (zh) * | 2018-03-06 | 2019-01-21 | 仁寶電腦工業股份有限公司 | 同步定位與地圖建構及手勢辨識方法 |
CN108470047B (zh) * | 2018-03-07 | 2023-09-26 | 谭亮 | 基于物联网的远程平台监测系统 |
CA3139648A1 (en) | 2018-03-07 | 2019-09-12 | Magic Leap, Inc. | Visual tracking of peripheral devices |
US11716548B2 (en) * | 2018-03-13 | 2023-08-01 | Meta Platforms Technologies, Llc | Timing of multiplexed sensor phase measurements in a depth camera assembly for depth determination using fringe interferometry |
US10572002B2 (en) * | 2018-03-13 | 2020-02-25 | Facebook Technologies, Llc | Distributed artificial reality system with contextualized hand tracking |
EP3766028A1 (en) * | 2018-03-14 | 2021-01-20 | Snap Inc. | Generating collectible items based on location information |
JP7027987B2 (ja) | 2018-03-16 | 2022-03-02 | 株式会社リコー | 頭部装着型表示装置および表示システム |
JP7235146B2 (ja) | 2018-03-16 | 2023-03-08 | 株式会社リコー | 頭部装着型表示装置および表示システム |
US11244439B2 (en) | 2018-03-20 | 2022-02-08 | 3M Innovative Properties Company | Vision system for status detection of wrapped packages |
US11462319B2 (en) | 2018-03-20 | 2022-10-04 | 3M Innovative Properties Company | Sterilization process management |
US10874759B2 (en) | 2018-03-20 | 2020-12-29 | 3M Innovative Properties Company | Sterilization process management |
US11126047B2 (en) * | 2018-03-22 | 2021-09-21 | Liqxtal Technology Inc. | Ocular optical system |
CN108492352B (zh) * | 2018-03-22 | 2021-10-22 | 腾讯科技(深圳)有限公司 | 增强现实的实现方法、装置、系统、计算机设备及存储介质 |
EP3714367A4 (en) * | 2018-03-22 | 2021-01-20 | Snowflake Inc. | INCREMENTAL DEVELOPMENT OF FUNCTION AND CAPTURE OF WORKLOAD IN DATABASE SYSTEMS |
WO2019183211A1 (en) * | 2018-03-23 | 2019-09-26 | Pcms Holdings, Inc. | Multifocal plane based method to produce stereoscopic viewpoints in a dibr system (mfp-dibr) |
CN108514421A (zh) * | 2018-03-30 | 2018-09-11 | 福建幸福家园投资管理有限公司 | 提升混合现实与日常健康监测的方法 |
JP6878346B2 (ja) * | 2018-04-02 | 2021-05-26 | 株式会社コロプラ | 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
US11093103B2 (en) | 2018-04-09 | 2021-08-17 | Spatial Systems Inc. | Augmented reality computing environments-collaborative workspaces |
WO2019199569A1 (en) * | 2018-04-09 | 2019-10-17 | Spatial Inc. | Augmented reality computing environments |
CN208156846U (zh) * | 2018-04-10 | 2018-11-27 | 深圳市大疆创新科技有限公司 | 云台控制装置及云台系统 |
US11087136B2 (en) * | 2018-04-13 | 2021-08-10 | Apple Inc. | Scene classification |
CN109325156B (zh) * | 2018-04-25 | 2021-12-17 | 厦门大学 | 基于扩展线段的农村道路网匹配方法 |
CN108596964B (zh) * | 2018-05-02 | 2020-07-03 | 厦门美图之家科技有限公司 | 深度数据获取方法、装置及可读存储介质 |
EP3788464B1 (en) * | 2018-05-02 | 2023-08-16 | Apple Inc. | Moving about a computer simulated reality setting |
US10504290B2 (en) * | 2018-05-04 | 2019-12-10 | Facebook Technologies, Llc | User interface security in a virtual reality environment |
CN108648223A (zh) * | 2018-05-17 | 2018-10-12 | 苏州科技大学 | 基于中央眼的场景重构方法及重构系统 |
US10721510B2 (en) | 2018-05-17 | 2020-07-21 | At&T Intellectual Property I, L.P. | Directing user focus in 360 video consumption |
JP7123041B2 (ja) * | 2018-05-21 | 2022-08-22 | アドシル リミテッド | 現実世界環境における仮想オブジェクトの光線追跡反射の高速生成 |
CN108931795B (zh) * | 2018-05-21 | 2022-05-13 | 千寻位置网络有限公司 | 定位设备轨迹优化和边界提取方法及装置 |
US10482653B1 (en) | 2018-05-22 | 2019-11-19 | At&T Intellectual Property I, L.P. | System for active-focus prediction in 360 video |
WO2019226001A1 (en) | 2018-05-23 | 2019-11-28 | Samsung Electronics Co., Ltd. | Method and apparatus for managing content in augmented reality system |
KR102113393B1 (ko) * | 2018-05-24 | 2020-05-20 | 이기헌 | 번역용 헤드키트 |
US11307968B2 (en) * | 2018-05-24 | 2022-04-19 | The Calany Holding S. À R.L. | System and method for developing, testing and deploying digital reality applications into the real world via a virtual world |
TWI671711B (zh) * | 2018-05-29 | 2019-09-11 | 崑山科技大學 | 模擬畫作於環境空間中的光線分佈之裝置及方法 |
CN108805886B (zh) * | 2018-05-30 | 2021-09-03 | 中北大学 | 一种多融合物理签名的持久性聚类分割方法 |
CN108765270B (zh) * | 2018-05-30 | 2020-01-14 | 贝壳找房(北京)科技有限公司 | 一种虚拟三维空间标签绑定方法及装置 |
US11494158B2 (en) | 2018-05-31 | 2022-11-08 | Shure Acquisition Holdings, Inc. | Augmented reality microphone pick-up pattern visualization |
US10827225B2 (en) | 2018-06-01 | 2020-11-03 | AT&T Intellectual Propety I, L.P. | Navigation for 360-degree video streaming |
JP7136931B2 (ja) * | 2018-06-05 | 2022-09-13 | マジック リープ, インコーポレイテッド | 空間3d環境へのコンテンツのマッチング |
CN110569006B (zh) * | 2018-06-05 | 2023-12-19 | 广东虚拟现实科技有限公司 | 显示方法、装置、终端设备及存储介质 |
EP3579219B1 (en) * | 2018-06-05 | 2022-03-16 | IMEC vzw | Data distribution for holographic projection |
JP7168969B2 (ja) * | 2018-06-06 | 2022-11-10 | 株式会社アルファコード | ヒートマップ提示装置およびヒートマップ提示用プログラム |
CN109118594B (zh) * | 2018-06-06 | 2019-11-19 | 贝壳找房(北京)科技有限公司 | 一种删除房源虚拟三维模型中细小虚像的方法及系统 |
CN109063538A (zh) * | 2018-06-06 | 2018-12-21 | 中国电建集团华东勘测设计研究院有限公司 | 一种基于ar与bim的工程图纸读图装置 |
US10699468B2 (en) | 2018-06-09 | 2020-06-30 | Adshir Ltd. | Method for non-planar specular reflections in hybrid ray tracing |
TWI691932B (zh) * | 2018-06-12 | 2020-04-21 | 大陸商光寶電子(廣州)有限公司 | 影像處理系統及影像處理方法 |
CN110599432B (zh) | 2018-06-12 | 2023-02-24 | 光宝电子(广州)有限公司 | 影像处理系统及影像处理方法 |
WO2019239226A1 (en) * | 2018-06-12 | 2019-12-19 | King Abdullah University Of Science And Technology | Single-camera particle tracking system and method |
CN112292690A (zh) * | 2018-06-14 | 2021-01-29 | 奇跃公司 | 增强现实深度手势网络 |
KR102107225B1 (ko) * | 2018-06-19 | 2020-05-06 | 이성진 | 전통 시장을 기반으로 하는 가상 현실 시스템 |
JP6931138B1 (ja) * | 2018-06-27 | 2021-09-01 | ナイアンティック, インコーポレイテッドNiantic,Inc. | デバイスローカリゼーションのためのマルチシンクアンサンブルモデル |
TWI663423B (zh) * | 2018-06-29 | 2019-06-21 | 揚明光學股份有限公司 | 成像位移裝置及其製造方法 |
US11500477B2 (en) * | 2018-07-02 | 2022-11-15 | Google Llc | Systems and methods for interacting and interfacing with an artificial intelligence system |
US10951875B2 (en) * | 2018-07-03 | 2021-03-16 | Raxium, Inc. | Display processing circuitry |
WO2020014074A1 (en) | 2018-07-07 | 2020-01-16 | Acucela Inc. | Device to prevent retinal hypoxia |
CN109035338B (zh) * | 2018-07-16 | 2020-11-10 | 深圳辰视智能科技有限公司 | 一种基于单尺度特征的点云与图片融合方法、装置及其设备 |
EP3827301A4 (en) * | 2018-07-23 | 2021-08-04 | Magic Leap, Inc. | MAPPING SYSTEM AND METHOD |
US10921596B2 (en) * | 2018-07-24 | 2021-02-16 | Disney Enterprises, Inc. | Adaptive luminance/color correction for displays |
JP2021533403A (ja) | 2018-07-30 | 2021-12-02 | アキュセラ インコーポレイテッド | 近視の進行を減少させるための電子コンタクトレンズの光学設計 |
CN109271853B (zh) * | 2018-08-07 | 2022-05-06 | 信利光电股份有限公司 | 一种提高支付安全的识别方法及装置 |
US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
CN112805750A (zh) * | 2018-08-13 | 2021-05-14 | 奇跃公司 | 跨现实系统 |
CN109107161B (zh) * | 2018-08-17 | 2019-12-27 | 深圳市腾讯网络信息技术有限公司 | 一种游戏对象的控制方法、装置、介质以及设备 |
AU2019330119B2 (en) * | 2018-08-26 | 2023-08-24 | Lumus Ltd. | Reflection suppression in near eye displays |
CN110148220B (zh) * | 2018-08-30 | 2023-09-19 | 杭州维聚科技有限公司 | 室内空间大物件的三维重建方法 |
CN109129523B (zh) * | 2018-08-30 | 2021-07-06 | 燕山大学 | 基于人机交互的移动机器人实时远程控制系统 |
US10997760B2 (en) | 2018-08-31 | 2021-05-04 | Snap Inc. | Augmented reality anthropomorphization system |
US11157739B1 (en) | 2018-08-31 | 2021-10-26 | Apple Inc. | Multi-user computer generated reality platform |
GB2567553B (en) * | 2018-09-06 | 2021-04-07 | Sony Interactive Entertainment Inc | Foveated rendering system and method |
US11155259B2 (en) * | 2018-09-13 | 2021-10-26 | Honda Motor Co., Ltd. | System and method for egocentric-vision based future vehicle localization |
CN112639687B (zh) * | 2018-09-17 | 2024-05-24 | 元平台技术有限公司 | 使用反向偏置发光二极管器件的眼睛跟踪 |
WO2020061451A1 (en) | 2018-09-20 | 2020-03-26 | Ctrl-Labs Corporation | Neuromuscular text entry, writing and drawing in augmented reality systems |
CN109189228A (zh) * | 2018-09-25 | 2019-01-11 | 信阳百德实业有限公司 | 一种利用ar和图像识别技术对标牌进行图案识别方法 |
CN109272050B (zh) * | 2018-09-30 | 2019-11-22 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
US11934944B2 (en) | 2018-10-04 | 2024-03-19 | International Business Machines Corporation | Neural networks using intra-loop data augmentation during network training |
WO2020072915A1 (en) * | 2018-10-05 | 2020-04-09 | Ctrl-Labs Corporation | Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment |
EP3861387A4 (en) * | 2018-10-05 | 2022-05-25 | Magic Leap, Inc. | RENDERING LOCATION-SPECIFIC VIRTUAL CONTENT IN ANY LOCATION |
US11803664B2 (en) | 2018-10-09 | 2023-10-31 | Ebay Inc. | Distributed application architectures using blockchain and distributed file systems |
CN113039508A (zh) * | 2018-10-10 | 2021-06-25 | 普鲁托虚拟现实科技公司 | 评估虚拟环境的输入和输出的对准 |
US10838488B2 (en) | 2018-10-10 | 2020-11-17 | Plutovr | Evaluating alignment of inputs and outputs for virtual environments |
CN109492208B (zh) * | 2018-10-12 | 2023-06-23 | 天津字节跳动科技有限公司 | 文档编辑方法及其装置、设备、存储介质 |
US20200128233A1 (en) * | 2018-10-17 | 2020-04-23 | Red Technologies, LLC | Mobile device |
CN111079481B (zh) * | 2018-10-22 | 2023-09-26 | 西安邮电大学 | 一种基于二维骨架信息的攻击性行为识别方法 |
CN111089579B (zh) * | 2018-10-22 | 2022-02-01 | 北京地平线机器人技术研发有限公司 | 异构双目slam方法、装置及电子设备 |
CN112956160B (zh) * | 2018-10-29 | 2022-08-02 | 昕诺飞控股有限公司 | 用于在网络中提供节点序列的系统 |
KR102236534B1 (ko) * | 2018-11-02 | 2021-04-06 | 주식회사 엘지화학 | 편광자의 제조 방법 |
US10691767B2 (en) | 2018-11-07 | 2020-06-23 | Samsung Electronics Co., Ltd. | System and method for coded pattern communication |
CN109086755B (zh) * | 2018-11-07 | 2022-07-08 | 上海电气集团股份有限公司 | 基于图像分割的康复机器人的虚拟现实显示方法及系统 |
US10761611B2 (en) * | 2018-11-13 | 2020-09-01 | Google Llc | Radar-image shaper for radar-based applications |
CA3119609A1 (en) * | 2018-11-15 | 2020-05-22 | Edx Technologies, Inc. | Augmented reality (ar) imprinting methods and systems |
EP3886031A4 (en) * | 2018-11-21 | 2022-06-29 | Il Inc. | Product customizing method via terminal |
KR20200059854A (ko) | 2018-11-22 | 2020-05-29 | 한국기술교육대학교 산학협력단 | 증강현실을 제공하는 시스템의 동작 방법 |
TWI707249B (zh) * | 2018-11-27 | 2020-10-11 | 美律實業股份有限公司 | 產生標籤資料的系統及方法 |
CN109270515B (zh) * | 2018-11-29 | 2020-06-16 | 北京理工大学 | 可变扫描区域同轴收发扫描激光雷达 |
WO2020112560A1 (en) | 2018-11-30 | 2020-06-04 | Pcms Holdings, Inc. | Method and apparatus to estimate scene illuminant based on skin reflectance database |
CN109597492B (zh) * | 2018-12-05 | 2022-03-04 | 谷东科技有限公司 | 激光虚拟键盘与ar眼镜交互系统 |
CN113395945A (zh) * | 2018-12-11 | 2021-09-14 | 项目莫里股份有限公司 | 用于机器人导管和其他用途的用户界面和模拟系统的混合维增强现实和/或配准 |
EP3671410B1 (en) * | 2018-12-19 | 2022-08-24 | Siemens Healthcare GmbH | Method and device to control a virtual reality display unit |
KR20200076325A (ko) * | 2018-12-19 | 2020-06-29 | 삼성전자주식회사 | 외부 객체를 컨트롤러로 이용하기 위한 웨어러블 장치 및 방법 |
US11321768B2 (en) * | 2018-12-21 | 2022-05-03 | Shopify Inc. | Methods and systems for an e-commerce platform with augmented reality application for display of virtual objects |
US10991117B2 (en) | 2018-12-23 | 2021-04-27 | Samsung Electronics Co., Ltd. | Performing a loop closure detection |
TWI683330B (zh) * | 2018-12-25 | 2020-01-21 | 世洋科技股份有限公司 | 薄膜結構製造方法 |
US10699123B1 (en) * | 2018-12-26 | 2020-06-30 | Snap Inc. | Dynamic contextual media filter |
CN109443350B (zh) * | 2018-12-27 | 2023-09-01 | 仝人智能科技(江苏)有限公司 | 基于神经网络的蓝牙/光电/ins组合导航装置及方法 |
WO2020141468A1 (en) * | 2019-01-03 | 2020-07-09 | Ehe Innovations Private Limited | Method and system for detecting position of a target area in a target subject |
CN109814112A (zh) * | 2019-01-15 | 2019-05-28 | 北京百度网讯科技有限公司 | 一种超声波雷达与激光雷达信息融合方法和系统 |
CN110163377B (zh) * | 2019-01-21 | 2021-03-16 | 腾讯科技(深圳)有限公司 | 交互数据处理方法、装置、计算机可读存储介质和计算机设备 |
CN109801379B (zh) * | 2019-01-21 | 2023-02-17 | 视辰信息科技(上海)有限公司 | 通用的增强现实眼镜及其标定方法 |
US11972529B2 (en) | 2019-02-01 | 2024-04-30 | Snap Inc. | Augmented reality system |
US10984575B2 (en) * | 2019-02-06 | 2021-04-20 | Snap Inc. | Body pose estimation |
KR20200098034A (ko) * | 2019-02-11 | 2020-08-20 | 삼성전자주식회사 | 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
US10852906B2 (en) | 2019-02-15 | 2020-12-01 | Microsoft Technology Licensing, Llc | System and method for identifying locations for virtual items within a physical environment |
CN113412510A (zh) | 2019-02-15 | 2021-09-17 | Jvc建伍株式会社 | 图像调整系统、图像调整装置以及图像调整方法 |
US11137520B2 (en) | 2019-02-22 | 2021-10-05 | Microsoft Technology Licensing, Llc | Integrated depth sensor window lens and method |
CN109947242B (zh) * | 2019-02-26 | 2022-06-24 | 贵州翰凯斯智能技术有限公司 | 一种基于信息融合的工厂虚拟应用系统及使用方法 |
KR20200105136A (ko) * | 2019-02-28 | 2020-09-07 | (주)유인케어 | 가상현실환경을 이용한 이야기 속 역할 수행을 통한 인지재활훈련 및 평가 방법 |
CN109857415B (zh) * | 2019-03-01 | 2022-10-04 | 广东盈科电子有限公司 | 一种烧录装置及其参数自动选择烧录方法 |
CN111766939A (zh) * | 2019-03-15 | 2020-10-13 | 苹果公司 | 在光学透传显示器上的注意力方向 |
EP4235381A3 (en) * | 2019-03-18 | 2023-11-01 | Apple Inc. | Virtual paper |
EP3712852B1 (en) * | 2019-03-19 | 2021-12-15 | Carrier Corporation | Refrigerated sales cabinet |
US20200304933A1 (en) * | 2019-03-19 | 2020-09-24 | Htc Corporation | Sound processing system of ambisonic format and sound processing method of ambisonic format |
CN109847350A (zh) * | 2019-03-25 | 2019-06-07 | 深圳初影科技有限公司 | 基于ar技术的游戏实现方法、游戏系统、及存储介质 |
JP7323315B2 (ja) | 2019-03-27 | 2023-08-08 | 株式会社コーエーテクモゲームス | 情報処理装置、情報処理方法及びプログラム |
CA3130160A1 (en) * | 2019-04-04 | 2020-10-08 | Centerline Biomedical, Inc. | Registration of spatial tracking system with augmented reality display |
US10936057B2 (en) | 2019-04-09 | 2021-03-02 | Samsung Electronics Co., Ltd. | System and method for natural three-dimensional calibration for robust eye tracking |
JP7196744B2 (ja) * | 2019-04-10 | 2022-12-27 | 株式会社デンソー | レーダ装置 |
US10957108B2 (en) * | 2019-04-15 | 2021-03-23 | Shutterstock, Inc. | Augmented reality image retrieval systems and methods |
US11460576B2 (en) * | 2019-04-18 | 2022-10-04 | Beijing Voyager Technology Co., Ltd. | Transmitter having beam shifter for light detection and ranging (LIDAR) |
JP2022529367A (ja) | 2019-04-24 | 2022-06-21 | マジック リープ, インコーポレイテッド | 姿勢付き単眼ビデオからの周囲推定 |
US11554322B2 (en) * | 2019-04-26 | 2023-01-17 | Sony Interactive Entertainment LLC | Game controller with touchpad input |
CN110101455B (zh) * | 2019-04-30 | 2021-01-01 | 微创(上海)医疗机器人有限公司 | 显示装置及手术机器人 |
CN111897411A (zh) * | 2019-05-05 | 2020-11-06 | Oppo广东移动通信有限公司 | 基于大气光通信的交互方法、装置和穿戴设备 |
CN110095767B (zh) * | 2019-05-08 | 2022-05-20 | 哈尔滨工业大学 | 一种空间目标成像仿真面元消隐方法 |
CN110109229B (zh) * | 2019-05-08 | 2021-07-27 | 中国科学院合肥物质科学研究院 | 一种野外自动化点光源靶标装置 |
CA3139516A1 (en) * | 2019-05-10 | 2020-11-19 | BadVR, Inc. | Novel systems and methods for collecting, locating and visualizing sensor signals in extended reality |
CN110189405B (zh) * | 2019-05-31 | 2023-05-23 | 重庆市勘测院 | 一种顾及建筑物密度的实景三维建模方法 |
CN110210415B (zh) * | 2019-06-05 | 2022-09-30 | 福州大学 | 基于图结构的车载激光点云道路标线识别方法 |
US20200387286A1 (en) * | 2019-06-07 | 2020-12-10 | Facebook Technologies, Llc | Arm gaze-driven user interface element gating for artificial reality systems |
US10890983B2 (en) * | 2019-06-07 | 2021-01-12 | Facebook Technologies, Llc | Artificial reality system having a sliding menu |
US11043192B2 (en) * | 2019-06-07 | 2021-06-22 | Facebook Technologies, Llc | Corner-identifiying gesture-driven user interface element gating for artificial reality systems |
CN110232664A (zh) * | 2019-06-13 | 2019-09-13 | 大连民族大学 | 一种基于增强现实的傩面具修复方法 |
JP7311643B2 (ja) * | 2019-06-21 | 2023-07-19 | マジック リープ, インコーポレイテッド | モード式ウィンドウを介したセキュアな認可 |
CN112130321B (zh) * | 2019-06-24 | 2023-06-27 | 成都理想境界科技有限公司 | 一种波导模组及基于波导的近眼显示模组及设备 |
KR102361038B1 (ko) * | 2019-06-29 | 2022-02-09 | 주식회사 큐버 | 적응형 다중 생체정보를 이용한 고수준 상황인지 기반의 스마트미러 챗봇 시스템 |
KR102606964B1 (ko) * | 2019-07-03 | 2023-11-29 | 삼성에스디에스 주식회사 | 다층 구조 내 경로 라우팅을 위한 원형 프레임 생성 방법 및 컴퓨팅 장치 |
US10901689B1 (en) | 2019-07-11 | 2021-01-26 | International Business Machines Corporation | Dynamic augmented reality interface creation |
US11941762B2 (en) | 2019-07-15 | 2024-03-26 | Samsung Electronics Co., Ltd. | System and method for augmented reality scenes |
CN110442817A (zh) * | 2019-07-18 | 2019-11-12 | 塔普翊海(上海)智能科技有限公司 | 一种基于网页的混合现实的开发系统及制作方法 |
WO2021022193A1 (en) | 2019-07-31 | 2021-02-04 | Acucela Inc. | Device for projecting images on the retina |
US11048356B2 (en) | 2019-07-31 | 2021-06-29 | Sony Interactive Entertainment LLC | Microphone on controller with touchpad to take in audio swipe feature data |
US11645772B2 (en) | 2019-08-07 | 2023-05-09 | Size Stream Llc | Mobile 3D crowd scanning methods and apparatus |
CN110490131B (zh) * | 2019-08-16 | 2021-08-24 | 北京达佳互联信息技术有限公司 | 一种拍摄设备的定位方法、装置、电子设备及存储介质 |
US20210056391A1 (en) * | 2019-08-20 | 2021-02-25 | Mind Machine Learning, Inc. | Systems and Methods for Simulating Sense Data and Creating Perceptions |
US11462000B2 (en) * | 2019-08-26 | 2022-10-04 | Apple Inc. | Image-based detection of surfaces that provide specular reflections and reflection modification |
CN110826389B (zh) * | 2019-09-02 | 2022-05-27 | 东华大学 | 基于注意力3d频率卷积神经网络的步态识别方法 |
KR102269207B1 (ko) * | 2019-09-10 | 2021-06-25 | 한국과학기술정보연구원 | 초고속 통신 기반의 데이터 분석 가시화 방법 및 그 장치 |
WO2021056018A1 (en) | 2019-09-16 | 2021-03-25 | Acucela Inc. | Assembly process for an electronic soft contact lens designed to inhibit progression of myopia |
JP7315422B2 (ja) * | 2019-09-18 | 2023-07-26 | 五洋建設株式会社 | 状況把握支援システム |
CN110688007A (zh) * | 2019-09-24 | 2020-01-14 | 北京轻威科技有限责任公司 | 一种基于平行轨道结构的多通道大通量多人引导防护系统 |
KR102659324B1 (ko) * | 2019-09-25 | 2024-04-22 | 누들 테크놀로지 인코포레이티드 | 무선 라디오들을 이용하여 신호들을 캡처하는 것에 의한 현실 증강 |
TWI708102B (zh) * | 2019-09-27 | 2020-10-21 | 群光電能科技股份有限公司 | 背光模組 |
US11934584B2 (en) * | 2019-09-27 | 2024-03-19 | Apple Inc. | Finger orientation touch detection |
CN110702139B (zh) * | 2019-09-29 | 2021-08-27 | 百度在线网络技术(北京)有限公司 | 一种时延标定方法、装置、电子设备和介质 |
US11275453B1 (en) | 2019-09-30 | 2022-03-15 | Snap Inc. | Smart ring for manipulating virtual objects displayed by a wearable device |
KR102183115B1 (ko) * | 2019-10-01 | 2020-11-25 | 주식회사 코탁스 | 증강현실 기술을 활용한 클라우드 기반의, 실 공간 가상화를 통한 오브젝트 오버래핑 시스템 |
CN110568449B (zh) * | 2019-10-14 | 2021-04-16 | 自然资源部第二海洋研究所 | 一种风生粗糙海面激光反射、透射矩阵计算方法 |
WO2021076754A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system with localization service |
WO2021076757A1 (en) | 2019-10-15 | 2021-04-22 | Magic Leap, Inc. | Cross reality system supporting multiple device types |
EP4046401A4 (en) | 2019-10-15 | 2023-11-01 | Magic Leap, Inc. | CROSS-REALLY SYSTEM WITH WIRELESS FINGERPRINTS |
KR102292420B1 (ko) * | 2019-10-21 | 2021-08-23 | 이혁락 | Vr 컨텐츠 제작 장치, 시스템 및 그 방법 |
KR102060286B1 (ko) * | 2019-10-29 | 2019-12-27 | 주식회사 코드42 | 이미지 정보를 활용한 레이더 오브젝트 검출 임계값 결정 방법 및 이를 이용한 레이더 오브젝트 정보 생성 장치 |
CN110852332B (zh) * | 2019-10-29 | 2020-12-01 | 腾讯科技(深圳)有限公司 | 训练样本的生成方法、装置、存储介质及电子设备 |
CN117872592A (zh) * | 2019-11-01 | 2024-04-12 | 株式会社籁天那 | 增强现实用光学装置 |
CN110782738A (zh) * | 2019-11-06 | 2020-02-11 | 北京千种幻影科技有限公司 | 一种模拟驾驶训练装置 |
JP2023504775A (ja) | 2019-11-12 | 2023-02-07 | マジック リープ, インコーポレイテッド | 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム |
CN114945947A (zh) | 2019-11-18 | 2022-08-26 | 奇跃公司 | 可通行世界的映射和定位 |
CN110866109B (zh) * | 2019-11-26 | 2022-07-12 | 上海连尚网络科技有限公司 | 一种用于收藏书籍的方法与设备 |
KR102291740B1 (ko) * | 2019-11-26 | 2021-08-23 | 주식회사 딥파인 | 영상처리 시스템 |
FR3103593B1 (fr) * | 2019-11-27 | 2022-09-23 | Safran | Procédé de vision virtuelle, depuis un habitacle d’un aéronef, d’un objet situé à l’extérieur de l’habitacle |
CN111078005B (zh) * | 2019-11-29 | 2024-02-20 | 恒信东方文化股份有限公司 | 一种虚拟伙伴创建方法及虚拟伙伴系统 |
CN110942040B (zh) * | 2019-11-29 | 2023-04-18 | 四川大学 | 一种基于环境光的手势识别系统和方法 |
US11158108B2 (en) * | 2019-12-04 | 2021-10-26 | Microsoft Technology Licensing, Llc | Systems and methods for providing a mixed-reality pass-through experience |
USD940189S1 (en) | 2019-12-09 | 2022-01-04 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
USD941307S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with graphical user interface for guiding graphics |
USD940749S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
USD941353S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
WO2021118962A1 (en) | 2019-12-09 | 2021-06-17 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
USD952673S1 (en) | 2019-12-09 | 2022-05-24 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
USD940748S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
US11847792B2 (en) | 2019-12-20 | 2023-12-19 | Niantic, Inc. | Location determination and mapping with 3D line junctions |
CN115175747A (zh) * | 2019-12-20 | 2022-10-11 | 奈安蒂克公司 | 具有可预测查询响应时间的地理定位数据的分片存储 |
CN113110731B (zh) * | 2019-12-25 | 2023-07-14 | 华为技术有限公司 | 媒体内容生成的方法和装置 |
CN111158015B (zh) * | 2019-12-31 | 2020-11-24 | 飞燕航空遥感技术有限公司 | 机载激光雷达点云数据误分地面点的检测方法和系统 |
SG10202000067YA (en) * | 2020-01-06 | 2021-08-30 | Dharmatilleke Medha | Pop-out & Sink-in Holographic Augmented Reality and Virtual Reality Device for use without 3D glasses for simultaneous viewing by multiple persons |
WO2021142017A1 (en) * | 2020-01-06 | 2021-07-15 | Misapplied Sciences, Inc. | Transportation hub information system |
KR102300873B1 (ko) * | 2020-01-15 | 2021-09-13 | 주식회사 와이닷츠 | 피지컬 실체화 가능한 사이버 로봇 |
CN111222486B (zh) * | 2020-01-15 | 2022-11-04 | 腾讯科技(深圳)有限公司 | 手部姿态识别模型的训练方法、装置、设备及存储介质 |
CN113160396B (zh) * | 2020-01-23 | 2024-03-29 | 宝马股份公司 | 建立地图模型的方法、生成实时地图的方法和地图系统 |
KR102307463B1 (ko) | 2020-02-05 | 2021-09-29 | 이근호 | 사파리 투어 시스템 및 그 시스템의 구동방법 |
CN111249573A (zh) * | 2020-02-12 | 2020-06-09 | 迈德微创(天津)医疗器械有限责任公司 | 一种智能的可远程控制的输液装置和系统 |
US11830149B2 (en) | 2020-02-13 | 2023-11-28 | Magic Leap, Inc. | Cross reality system with prioritization of geolocation information for localization |
JP2023514208A (ja) | 2020-02-13 | 2023-04-05 | マジック リープ, インコーポレイテッド | マルチ分解能フレーム記述子を使用したマップ処理を伴うクロスリアリティシステム |
WO2021163306A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with accurate shared maps |
US11777340B2 (en) | 2020-02-21 | 2023-10-03 | Acucela Inc. | Charging case for electronic contact lens |
CN111460223B (zh) * | 2020-02-25 | 2023-04-18 | 天津大学 | 基于深度网络的多模态特征融合的短视频单标签分类方法 |
JP2023515524A (ja) | 2020-02-26 | 2023-04-13 | マジック リープ, インコーポレイテッド | 高速位置特定を伴うクロスリアリティシステム |
US11277358B2 (en) | 2020-02-28 | 2022-03-15 | International Business Machines Corporation | Chatbot enhanced augmented reality device guidance |
EP3882857A1 (en) | 2020-03-19 | 2021-09-22 | Sony Group Corporation | Extrinsic calibration of multi-camera system |
CN111311741B (zh) * | 2020-03-23 | 2023-07-07 | 重庆忽米网络科技有限公司 | 一种基于5g通信的交互式室内空间构建装置及方法 |
EP3885818A1 (de) * | 2020-03-25 | 2021-09-29 | Siemens Aktiengesellschaft | Vorrichtung und verfahren zur spektroskopischen oberflächenanalyse |
US11106915B1 (en) | 2020-03-26 | 2021-08-31 | International Business Machines Corporation | Generating in a gaze tracking device augmented reality representations for objects in a user line-of-sight |
CN113440862A (zh) * | 2020-03-27 | 2021-09-28 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及计算机存储介质 |
CN111459592B (zh) * | 2020-03-31 | 2021-10-22 | 华为技术有限公司 | 分布式处理ux元素的方法及装置 |
US11277597B1 (en) | 2020-03-31 | 2022-03-15 | Snap Inc. | Marker-based guided AR experience |
US11348300B2 (en) * | 2020-04-03 | 2022-05-31 | Magic Leap, Inc. | Avatar customization for optimal gaze discrimination |
US11385464B2 (en) * | 2020-04-09 | 2022-07-12 | Nvidia Corporation | Wide angle augmented reality display |
US11481965B2 (en) | 2020-04-10 | 2022-10-25 | Samsung Electronics Co., Ltd. | Electronic device for communicating in augmented reality and method thereof |
US11875527B1 (en) | 2020-04-13 | 2024-01-16 | Apple Inc. | Descriptor generation and point cloud fusion |
US11688073B2 (en) | 2020-04-14 | 2023-06-27 | Samsung Electronics Co., Ltd. | Method and system for depth map reconstruction |
CN111627368A (zh) * | 2020-04-15 | 2020-09-04 | 硅谷数模(苏州)半导体有限公司 | 显示屏的控制方法、装置、存储介质、处理器和电子设备 |
CN115803788A (zh) | 2020-04-29 | 2023-03-14 | 奇跃公司 | 用于大规模环境的交叉现实系统 |
US11798429B1 (en) | 2020-05-04 | 2023-10-24 | Snap Inc. | Virtual tutorials for musical instruments with finger tracking in augmented reality |
US11320674B2 (en) | 2020-05-13 | 2022-05-03 | Acucela Inc. | Electro-switchable spectacles for myopia treatment |
US11325043B2 (en) | 2020-05-15 | 2022-05-10 | Microsoft Technology Licensing, Llc | Utilizing multiple input sources for generating gameplay locations |
CN113066122B (zh) * | 2020-05-15 | 2022-05-13 | 支付宝(杭州)信息技术有限公司 | 图像处理方法以及装置 |
US11651473B2 (en) * | 2020-05-22 | 2023-05-16 | Meta Platforms, Inc. | Outputting warped images from captured video data |
US11520399B2 (en) | 2020-05-26 | 2022-12-06 | Snap Inc. | Interactive augmented reality experiences using positional tracking |
BR112022023671A2 (pt) * | 2020-06-01 | 2022-12-20 | Qualcomm Inc | Métodos e aparelhos para técnicas de manipulação de oclusão |
US11436828B1 (en) * | 2020-06-02 | 2022-09-06 | State Farm Mutual Automobile Insurance Company | Insurance inventory and claim generation |
CN111752386A (zh) * | 2020-06-05 | 2020-10-09 | 深圳市欢创科技有限公司 | 一种空间定位方法、系统及头戴式设备 |
CN111672112B (zh) * | 2020-06-05 | 2023-03-24 | 腾讯科技(深圳)有限公司 | 虚拟环境的显示方法、装置、设备及存储介质 |
EP4161636A4 (en) | 2020-06-08 | 2024-06-26 | Acucela Inc | PROJECTION OF DEFOCUSED IMAGES ON THE PERIPHERAL RETINA TO TREAT REFRACTIVE ERRORS |
AU2021287803A1 (en) | 2020-06-08 | 2022-10-27 | Acucela Inc. | Stick on devices using peripheral defocus to treat progressive refractive error |
CN111667585B (zh) * | 2020-06-09 | 2023-06-20 | 福州市极化律网络科技有限公司 | 多用户的虚拟世界同步探索方法及存储介质 |
US11281022B2 (en) | 2020-06-10 | 2022-03-22 | Acucela Inc. | Apparatus and methods for the treatment of refractive error using active stimulation |
CN111860251B (zh) * | 2020-07-09 | 2023-09-15 | 迈克医疗电子有限公司 | 数据处理方法及装置 |
JP7074373B2 (ja) * | 2020-07-20 | 2022-05-24 | 株式会社mediVR | リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム |
CN114052777A (zh) * | 2020-08-03 | 2022-02-18 | 通用电气精准医疗有限责任公司 | 图像显示方法以及超声成像系统 |
CN112035154B (zh) * | 2020-08-13 | 2023-12-01 | 上海帆一尚行科技有限公司 | 一种修复车载终端内核的方法、装置和电子设备 |
US20220047109A1 (en) * | 2020-08-14 | 2022-02-17 | June Life, Inc. | System and method for targeted heating element control |
JP7446943B2 (ja) | 2020-08-18 | 2024-03-11 | 株式会社日立製作所 | 情報表現作成支援装置、情報表現作成支援方法およびコンピュータプログラム |
CN112148120A (zh) * | 2020-08-18 | 2020-12-29 | 华为技术有限公司 | 一种显示虚拟界面的方法、设备以及存储介质 |
CN111967526B (zh) * | 2020-08-20 | 2023-09-22 | 东北大学秦皇岛分校 | 基于边缘映射和深度学习的遥感图像变化检测方法及系统 |
CN112181135B (zh) * | 2020-08-31 | 2023-05-09 | 南京信息工程大学 | 一种基于增强现实的6-dof视触觉交互方法 |
US11176755B1 (en) | 2020-08-31 | 2021-11-16 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
CN112053449A (zh) | 2020-09-09 | 2020-12-08 | 脸萌有限公司 | 基于增强现实的显示方法、设备及存储介质 |
US11861137B2 (en) | 2020-09-09 | 2024-01-02 | State Farm Mutual Automobile Insurance Company | Vehicular incident reenactment using three-dimensional (3D) representations |
US11925863B2 (en) | 2020-09-18 | 2024-03-12 | Snap Inc. | Tracking hand gestures for interactive game control in augmented reality |
US11836287B1 (en) | 2020-09-22 | 2023-12-05 | Apple Inc. | Light pattern-based alignment for retinal eye tracking |
US11546505B2 (en) | 2020-09-28 | 2023-01-03 | Snap Inc. | Touchless photo capture in response to detected hand gestures |
KR102389686B1 (ko) * | 2020-09-29 | 2022-04-25 | 주식회사 고담 | 혼합 현실(mixed reality, MR) 컨텐츠 상호 간의 전환을 위한 장치 및 방법 |
EP4221565A1 (en) | 2020-09-30 | 2023-08-09 | Acucela Inc. | Myopia prediction, diagnosis, planning, and monitoring device |
WO2022084736A1 (en) * | 2020-10-19 | 2022-04-28 | Anna Marie Events, Llc | System and method for virtual events platform |
CN112621487B (zh) * | 2020-11-16 | 2022-02-18 | 中南大学 | 一种基于脑机控制的爬壁打磨装置及其控制方法 |
CN112101327B (zh) * | 2020-11-18 | 2021-01-29 | 北京达佳互联信息技术有限公司 | 动作矫正模型的训练方法、动作矫正方法及装置 |
WO2022107294A1 (ja) * | 2020-11-19 | 2022-05-27 | 株式会社ハシラス | Vr映像空間生成システム |
CN112330255B (zh) * | 2020-11-20 | 2023-09-15 | 重庆电子工程职业学院 | 仓库管理系统 |
CN112509670B (zh) * | 2020-11-27 | 2023-04-07 | 重庆电子工程职业学院 | 用于糖尿病的智能健康管理系统 |
EP4009143A1 (en) * | 2020-12-03 | 2022-06-08 | XRSpace CO., LTD. | Operating method by gestures in extended reality and head-mounted display system |
CN112586951B (zh) * | 2020-12-08 | 2022-06-10 | 深圳市亚讯威视数字技术有限公司 | 一种产品展览用针对计算机旋转式展示台 |
CN112417188B (zh) * | 2020-12-10 | 2022-05-24 | 桂林电子科技大学 | 一种基于图模型的高光谱图像分类方法 |
US20220198603A1 (en) * | 2020-12-22 | 2022-06-23 | Snap Inc. | Recentering ar/vr content on an eyewear device |
US11782577B2 (en) | 2020-12-22 | 2023-10-10 | Snap Inc. | Media content player on an eyewear device |
US11797162B2 (en) | 2020-12-22 | 2023-10-24 | Snap Inc. | 3D painting on an eyewear device |
US11409405B1 (en) * | 2020-12-22 | 2022-08-09 | Facebook Technologies, Llc | Augment orchestration in an artificial reality environment |
EP4020133A1 (en) | 2020-12-22 | 2022-06-29 | Nokia Technologies Oy | Multi-participant extended reality |
CN112648547B (zh) * | 2020-12-26 | 2022-05-24 | 山东科技职业学院 | 一种带声源追踪头灯的控制系统 |
KR102299943B1 (ko) * | 2020-12-29 | 2021-09-09 | 주식회사 버넥트 | 속성정보 적용 기반의 증강현실 콘텐츠 제작 방법 및 시스템 |
WO2022146729A1 (en) * | 2020-12-29 | 2022-07-07 | Snap Inc. | Body ui for augmented reality components |
KR20220096242A (ko) | 2020-12-30 | 2022-07-07 | (주)모아지오 | 자율주행 차량 기반의 증강현실 콘텐츠 제공 시스템 및 그 증강현실 콘텐츠 제공 방법과 이를 위한 컴퓨터 프로그램 |
US11740313B2 (en) | 2020-12-30 | 2023-08-29 | Snap Inc. | Augmented reality precision tracking and display |
CN112732088B (zh) * | 2021-01-18 | 2023-01-20 | 海信视像科技股份有限公司 | 一种虚拟现实设备及单目截屏方法 |
WO2022158890A1 (en) * | 2021-01-21 | 2022-07-28 | Samsung Electronics Co., Ltd. | Systems and methods for reconstruction of dense depth maps |
US11615594B2 (en) | 2021-01-21 | 2023-03-28 | Samsung Electronics Co., Ltd. | Systems and methods for reconstruction of dense depth maps |
JP2022113031A (ja) * | 2021-01-22 | 2022-08-03 | ソフトバンク株式会社 | 制御装置、プログラム、システム及び制御方法 |
CN112882569B (zh) * | 2021-01-28 | 2024-02-23 | 咪咕文化科技有限公司 | Ar交互方法、终端设备及云端地图管理系统 |
KR102593043B1 (ko) | 2021-02-09 | 2023-10-24 | 베이징 지티아오 네트워크 테크놀로지 컴퍼니, 리미티드 | 증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품 |
US11995230B2 (en) | 2021-02-11 | 2024-05-28 | Apple Inc. | Methods for presenting and sharing content in an environment |
CN113012690B (zh) * | 2021-02-20 | 2023-10-10 | 苏州协同创新智能制造装备有限公司 | 一种支持领域定制语言模型的解码方法及装置 |
US11531402B1 (en) | 2021-02-25 | 2022-12-20 | Snap Inc. | Bimanual gestures for controlling virtual and graphical elements |
US12013985B1 (en) | 2021-02-25 | 2024-06-18 | Snap Inc. | Single-handed gestures for reviewing virtual content |
WO2022191373A1 (en) * | 2021-03-11 | 2022-09-15 | Samsung Electronics Co., Ltd. | Electronic device and controlling method of electronic device |
WO2022192067A1 (en) * | 2021-03-11 | 2022-09-15 | Quintar, Inc. | Augmented reality system for viewing an event with mode based on crowd sourced images |
US11645819B2 (en) | 2021-03-11 | 2023-05-09 | Quintar, Inc. | Augmented reality system for viewing an event with mode based on crowd sourced images |
US20220295040A1 (en) * | 2021-03-11 | 2022-09-15 | Quintar, Inc. | Augmented reality system with remote presentation including 3d graphics extending beyond frame |
CN116964543A (zh) * | 2021-03-11 | 2023-10-27 | 瑞典爱立信有限公司 | 扩展现实中的移动媒体 |
US11527047B2 (en) | 2021-03-11 | 2022-12-13 | Quintar, Inc. | Augmented reality system for viewing an event with distributed computing |
US12003806B2 (en) * | 2021-03-11 | 2024-06-04 | Quintar, Inc. | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model |
US11657578B2 (en) * | 2021-03-11 | 2023-05-23 | Quintar, Inc. | Registration for augmented reality system for viewing an event |
US11481871B2 (en) | 2021-03-12 | 2022-10-25 | Samsung Electronics Co., Ltd. | Image-guided depth propagation for space-warping images |
WO2022204622A1 (en) | 2021-03-24 | 2022-09-29 | Acucela Inc. | Axial length measurement monitor |
CN113240816B (zh) * | 2021-03-29 | 2022-01-25 | 泰瑞数创科技(北京)有限公司 | 基于ar和语义模型的城市精确导航方法及其装置 |
US11209672B1 (en) | 2021-04-06 | 2021-12-28 | Acucela Inc. | Supporting pillars for encapsulating a flexible PCB within a soft hydrogel contact lens |
WO2022216082A1 (ko) * | 2021-04-07 | 2022-10-13 | 한국과학기술원 | 가상 공간 내 메모 객체를 제어하는 전자 시스템 및 그 동작 방법 |
US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
CN117120962A (zh) * | 2021-04-08 | 2023-11-24 | 斯纳普公司 | 用于控制虚拟和图形元素的映射手部区域之间的双手交互 |
EP4320594A1 (en) * | 2021-04-09 | 2024-02-14 | The Trustees of Indiana University | Avatar-based behavior changing system and method |
CN112990105B (zh) * | 2021-04-19 | 2021-09-21 | 北京优幕科技有限责任公司 | 对用户评价的方法、装置、电子设备和存储介质 |
CN117178247A (zh) | 2021-04-19 | 2023-12-05 | 斯纳普公司 | 用于动画化及控制虚拟和图形元素的手势 |
CN115248655A (zh) * | 2021-04-28 | 2022-10-28 | 闪耀现实(无锡)科技有限公司 | 用于显示信息的方法和装置 |
GB2606173A (en) * | 2021-04-28 | 2022-11-02 | Sony Interactive Entertainment Europe Ltd | Computer-implemented method for controlling a virtual avatar |
US11366341B1 (en) | 2021-05-04 | 2022-06-21 | Acucela Inc. | Electronic case for electronic spectacles |
CN117677918A (zh) * | 2021-05-07 | 2024-03-08 | 斯纳普公司 | 增强现实体验的虚拟品尝和导览 |
SE544895C2 (en) * | 2021-05-10 | 2022-12-20 | Gazelock AB | Data and command transmission system, computer-implemented method of transmitting data and commands, computer program and non-volatile data carrier |
US11587208B2 (en) * | 2021-05-26 | 2023-02-21 | Qualcomm Incorporated | High quality UI elements with frame extrapolation |
KR102463638B1 (ko) * | 2021-05-27 | 2022-11-09 | 주식회사 엔씨소프트 | 페인팅 스타일에 기초하여 컨텐츠를 추천하는 서버 및 이의 동작 방법 |
TWI768932B (zh) * | 2021-05-27 | 2022-06-21 | 倍利科技股份有限公司 | 影像色彩調整方法 |
KR102493258B1 (ko) * | 2021-06-14 | 2023-02-01 | (주)이머시브캐스트 | 어지럼증이 개선된 pc 게임 확장 vr 시스템 |
KR102567805B1 (ko) * | 2021-06-14 | 2023-08-21 | (주)이머시브캐스트 | 컨트롤 입력 기반의 pc 게임 확장 vr 시스템 |
KR102565107B1 (ko) * | 2021-07-01 | 2023-08-09 | 계명대학교 산학협력단 | 가상현실을 이용한 자기수용 감각의 측정 및 훈련 시스템 및 방법 |
CN113345022B (zh) * | 2021-07-05 | 2023-02-17 | 湖南快乐阳光互动娱乐传媒有限公司 | 动态三维广告植入方法、装置、电子设备及存储介质 |
CN113506005B (zh) * | 2021-07-16 | 2022-09-23 | 牡丹江医学院 | 一种ct教学模拟方法、系统、存储介质及电子设备 |
CN113268558B (zh) * | 2021-07-19 | 2021-09-24 | 智广海联(天津)大数据技术有限公司 | 基于二维码与地理空间坐标的公共设施治理系统及方法 |
WO2023009113A1 (en) * | 2021-07-28 | 2023-02-02 | Innopeak Technology, Inc. | Interactive guidance for mapping and relocalization |
KR102539045B1 (ko) * | 2021-08-06 | 2023-06-02 | 주식회사 피앤씨솔루션 | 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법 |
CN113781657A (zh) * | 2021-08-06 | 2021-12-10 | 北京视据科技有限公司 | 一种实现基于方位的虚拟模型与实景叠加方法及装置 |
EP4137869A1 (en) * | 2021-08-16 | 2023-02-22 | BAE SYSTEMS plc | Waveguide |
WO2023021272A1 (en) * | 2021-08-16 | 2023-02-23 | Bae Systems Plc | Waveguide |
US12008806B2 (en) | 2021-08-19 | 2024-06-11 | Meta Platforms Technologies, Llc | Methods and systems to allow three-dimensional map sharing between heterogeneous computing systems, cross-localization, and sharing content in three-dimensional space |
CN113706690B (zh) * | 2021-08-23 | 2024-06-11 | 贵州省玄星科技有限公司 | 一种基于三维模型顶点分区的多载体信息隐藏方法和系统 |
US11585917B1 (en) * | 2021-08-24 | 2023-02-21 | Google Llc | Systems and methods for generating three-dimensional maps of an indoor space |
US11670059B2 (en) | 2021-09-01 | 2023-06-06 | Snap Inc. | Controlling interactive fashion based on body gestures |
US11673054B2 (en) | 2021-09-07 | 2023-06-13 | Snap Inc. | Controlling AR games on fashion items |
US11900506B2 (en) | 2021-09-09 | 2024-02-13 | Snap Inc. | Controlling interactive fashion based on facial expressions |
US11734866B2 (en) | 2021-09-13 | 2023-08-22 | Snap Inc. | Controlling interactive fashion based on voice |
WO2023041150A1 (en) * | 2021-09-15 | 2023-03-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and device for facilitating a privacy-aware representation in a system |
CN113535064B (zh) * | 2021-09-16 | 2022-02-01 | 北京亮亮视野科技有限公司 | 虚拟标签标记方法、装置、电子设备及存储介质 |
KR102586144B1 (ko) * | 2021-09-23 | 2023-10-10 | 주식회사 딥비전 | 딥러닝을 이용한 손 움직임 추적방법 및 장치 |
KR20240065152A (ko) * | 2021-09-23 | 2024-05-14 | 애플 인크. | 콘텐츠 애플리케이션들을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 |
US11636662B2 (en) | 2021-09-30 | 2023-04-25 | Snap Inc. | Body normal network light and rendering control |
US11983826B2 (en) | 2021-09-30 | 2024-05-14 | Snap Inc. | 3D upper garment tracking |
CN113920281A (zh) * | 2021-10-11 | 2022-01-11 | 郭小川 | 一种虚拟现实环境中空间规划方法、系统及应用方法 |
US11651572B2 (en) | 2021-10-11 | 2023-05-16 | Snap Inc. | Light and rendering of garments |
US11792499B2 (en) | 2021-10-21 | 2023-10-17 | Raytheon Company | Time-delay to enforce data capture and transmission compliance in real and near real time video |
US11696011B2 (en) | 2021-10-21 | 2023-07-04 | Raytheon Company | Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video |
US11798247B2 (en) | 2021-10-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
KR102657537B1 (ko) * | 2021-11-23 | 2024-04-17 | 주식회사 바이오브레인 | 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템 |
WO2023095833A1 (ja) * | 2021-11-25 | 2023-06-01 | 株式会社Nttドコモ | 情報処理装置 |
TWI804077B (zh) | 2021-11-30 | 2023-06-01 | 財團法人工業技術研究院 | 製程診斷系統及其操作方法 |
CN114119835B (zh) * | 2021-12-03 | 2022-11-08 | 北京冰封互娱科技有限公司 | 硬表面模型的处理方法、装置及电子设备 |
US11960784B2 (en) | 2021-12-07 | 2024-04-16 | Snap Inc. | Shared augmented reality unboxing experience |
US11748958B2 (en) * | 2021-12-07 | 2023-09-05 | Snap Inc. | Augmented reality unboxing experience |
CN114327705B (zh) * | 2021-12-10 | 2023-07-14 | 重庆长安汽车股份有限公司 | 车载助手虚拟形象自定义方法 |
US20230186570A1 (en) * | 2021-12-10 | 2023-06-15 | Meta Platforms Technologies, Llc | Methods and systems to allow three-dimensional maps sharing and updating |
CN114185437A (zh) * | 2021-12-16 | 2022-03-15 | 浙江小族智能科技有限公司 | 游乐车与现实场景交互方法及装置、存储介质、终端 |
US11928783B2 (en) | 2021-12-30 | 2024-03-12 | Snap Inc. | AR position and orientation along a plane |
US11887260B2 (en) | 2021-12-30 | 2024-01-30 | Snap Inc. | AR position indicator |
US12014465B2 (en) | 2022-01-06 | 2024-06-18 | Htc Corporation | Tracking system and method |
US11954762B2 (en) | 2022-01-19 | 2024-04-09 | Snap Inc. | Object replacement system |
KR102659094B1 (ko) * | 2022-02-10 | 2024-04-19 | 주식회사 이매지니어스 | 대체 불가능 토큰 콘텐츠를 이용한 증강 현실 서비스를 제공하기 위한 방법 |
EP4227749A1 (en) * | 2022-02-14 | 2023-08-16 | Basf Se | An augmented reality-based automation system |
CN114547781B (zh) * | 2022-03-04 | 2023-08-25 | 无锡豪丽坤自控设备有限公司 | 一种基于虚拟现实的船用桅杆性能评价方法及系统 |
US11893699B2 (en) | 2022-03-15 | 2024-02-06 | Zeality Inc | Method and processing unit for providing content in a bandwidth constrained environment |
EP4246184A1 (en) * | 2022-03-16 | 2023-09-20 | Faro Technologies, Inc. | Software camera view lock allowing editing of drawing without any shift in the view |
US20230293008A1 (en) * | 2022-03-21 | 2023-09-21 | Headvantage Corporation | Body worn camera, sensor and content delivery system |
JP2023142255A (ja) * | 2022-03-24 | 2023-10-05 | 株式会社ポケモン | プログラム、方法、情報処理装置、システム |
CN114971764A (zh) * | 2022-04-08 | 2022-08-30 | 浙江赟燊商业信息系统科技有限公司 | 一种基于HoloLens的存储和匹配系统及方法 |
US11700448B1 (en) | 2022-04-29 | 2023-07-11 | Raytheon Company | Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene |
CN114578313B (zh) * | 2022-05-09 | 2022-07-22 | 中国电子科技集团公司信息科学研究院 | 基于质心查找的栅格检测镜像消除方法及装置 |
KR102424123B1 (ko) * | 2022-05-12 | 2022-07-21 | 오성훈 | 사용자의 모션 제스처 및 3d ui 기반의 메타버스 제어 서버, 방법 및 프로그램 |
CN114758042B (zh) * | 2022-06-14 | 2022-09-02 | 深圳智华科技发展有限公司 | 新的虚拟仿真引擎、虚拟仿真方法以及装置 |
WO2023244247A1 (en) * | 2022-06-17 | 2023-12-21 | Hewlett-Packard Development Company, L.P. | Image portion combination signals |
EP4296834A1 (en) | 2022-06-23 | 2023-12-27 | Koninklijke Philips N.V. | Rendering a virtual model |
CN114818093B (zh) * | 2022-06-27 | 2022-09-30 | 深圳小库科技有限公司 | 装配式钢结构模块建筑的柱梁生成方法、装置及设备 |
CN114817077B (zh) * | 2022-06-27 | 2022-09-06 | 云账户技术(天津)有限公司 | 测试质量及规范的判断方法、系统和网络设备 |
US20240054696A1 (en) * | 2022-08-15 | 2024-02-15 | Disney Enterprises, Inc. | Dynamic Scale Augmented Reality Enhancement of Images |
US20240054689A1 (en) * | 2022-08-15 | 2024-02-15 | Disney Enterprises, Inc. | Augmented Reality Enhancement of Moving Images |
WO2024040430A1 (en) * | 2022-08-23 | 2024-02-29 | Qualcomm Incorporated | Method and apparatus to extend field of view of an augmented reality device |
US20240070300A1 (en) * | 2022-08-31 | 2024-02-29 | Youjean Cho | Selective collaborative object access based on timestamp |
US20240070243A1 (en) * | 2022-08-31 | 2024-02-29 | Youjean Cho | Authenticating a selective collaborative object |
TWI799345B (zh) * | 2022-09-01 | 2023-04-11 | 國立清華大學 | 反射掃描式同調光繞射顯影方法及系統 |
US11995780B2 (en) * | 2022-09-09 | 2024-05-28 | Snap Inc. | Shooting interaction using augmented reality content in a messaging system |
CN115375930B (zh) * | 2022-10-26 | 2023-05-05 | 中国航发四川燃气涡轮研究院 | 基于多尺度信息的立体匹配网络及立体匹配方法 |
US11847259B1 (en) | 2022-11-23 | 2023-12-19 | Google Llc | Map-aided inertial odometry with neural network for augmented reality devices |
TWI824859B (zh) * | 2022-11-30 | 2023-12-01 | 國立勤益科技大學 | 虛擬購物手勢操控系統 |
KR102603972B1 (ko) * | 2023-04-13 | 2023-11-21 | 주식회사 크레아코퍼레이션 | Web ar 기반 비즈니스 정보를 제공하는 방법 및 장치 |
US11991222B1 (en) | 2023-05-02 | 2024-05-21 | Meta Platforms Technologies, Llc | Persistent call control user interface element in an artificial reality environment |
CN116481460B (zh) * | 2023-05-26 | 2024-05-07 | 中国矿业大学 | 一种基于三维重构模型的表观坑洞缺陷尺寸检测方法 |
KR102635477B1 (ko) * | 2023-08-01 | 2024-02-08 | 김재하 | 증강현실 기반의 공연 콘텐츠 제공장치 및 방법 |
CN116755587B (zh) * | 2023-08-11 | 2023-12-19 | 之江实验室 | 一种增强现实的方法、装置、存储介质及电子设备 |
CN116824705B (zh) * | 2023-08-24 | 2023-11-10 | 南京亿猫信息技术有限公司 | 智能购物车购物行为判别方法 |
CN117282093B (zh) * | 2023-10-10 | 2024-06-11 | 东莞市三奕电子科技股份有限公司 | 游戏手柄及其控制方法、主控终端和ar游戏组件 |
CN117632330A (zh) * | 2023-10-12 | 2024-03-01 | 浙江大学 | 一种虚拟环境下眼控界面的交互目标布局方法和系统 |
CN117421089B (zh) * | 2023-12-19 | 2024-03-22 | 北京山维科技股份有限公司 | 一种台阶类地理信息要素处理方法和装置 |
US12008451B1 (en) * | 2023-12-21 | 2024-06-11 | Ishita Agrawal | AI-assisted remote guidance using augmented reality |
CN117591385B (zh) * | 2024-01-19 | 2024-04-16 | 深圳清华大学研究院 | 一种用于vr投影的控制系统 |
CN117891352B (zh) * | 2024-03-14 | 2024-05-31 | 南京市文化投资控股集团有限责任公司 | 一种基于元宇宙的文旅内容推荐系统及方法 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6020892A (en) * | 1995-04-17 | 2000-02-01 | Dillon; Kelly | Process for producing and controlling animated facial representations |
US6028664A (en) * | 1997-01-29 | 2000-02-22 | Inspex, Inc. | Method and system for establishing a common reference point on a semiconductor wafer inspected by two or more scanning mechanisms |
US7630752B2 (en) * | 2002-08-06 | 2009-12-08 | Stereotaxis, Inc. | Remote control of medical devices using a virtual device interface |
US7203669B2 (en) * | 2003-03-17 | 2007-04-10 | Intel Corporation | Detector tree of boosted classifiers for real-time object detection and tracking |
JP4630647B2 (ja) * | 2004-11-19 | 2011-02-09 | キヤノン株式会社 | 画像提示方法及び情報処理装置 |
US20060285330A1 (en) * | 2005-06-20 | 2006-12-21 | Ingvar Sundell | Automatic darkening filter with automatic power management |
US7606392B2 (en) * | 2005-08-26 | 2009-10-20 | Sony Corporation | Capturing and processing facial motion data |
US20070080967A1 (en) * | 2005-10-11 | 2007-04-12 | Animetrics Inc. | Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects |
US7856125B2 (en) * | 2006-01-31 | 2010-12-21 | University Of Southern California | 3D face reconstruction from 2D images |
WO2007116662A1 (ja) * | 2006-03-27 | 2007-10-18 | Pioneer Corporation | 電子装置及びその操作方法 |
JP4318056B1 (ja) * | 2008-06-03 | 2009-08-19 | 島根県 | 画像認識装置および操作判定方法 |
EP2157545A1 (en) * | 2008-08-19 | 2010-02-24 | Sony Computer Entertainment Europe Limited | Entertainment device, system and method |
JP4679661B1 (ja) | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
KR101114750B1 (ko) * | 2010-01-29 | 2012-03-05 | 주식회사 팬택 | 다차원 영상을 이용한 사용자 인터페이스 장치 |
JP2013521576A (ja) | 2010-02-28 | 2013-06-10 | オスターハウト グループ インコーポレイテッド | 対話式ヘッド取付け型アイピース上での地域広告コンテンツ |
US8913056B2 (en) * | 2010-08-04 | 2014-12-16 | Apple Inc. | Three dimensional user interface effects on a display by using properties of motion |
WO2012031038A2 (en) * | 2010-09-01 | 2012-03-08 | Google Inc. | Methods and apparatus for transforming user data and generating user lists |
US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
US8718380B2 (en) * | 2011-02-14 | 2014-05-06 | Mitsubishi Electric Research Laboratories, Inc. | Representing object shapes using radial basis function support vector machine classification |
JP5799521B2 (ja) * | 2011-02-15 | 2015-10-28 | ソニー株式会社 | 情報処理装置、オーサリング方法及びプログラム |
US9329469B2 (en) * | 2011-02-17 | 2016-05-03 | Microsoft Technology Licensing, Llc | Providing an interactive experience using a 3D depth camera and a 3D projector |
EP2689396A4 (en) * | 2011-03-21 | 2015-06-03 | Intel Corp | PROCESS FOR ADVANCED CHANGES WITH 3D FACE MODELING AND MARKING ALIGNMENT |
US8767305B2 (en) * | 2011-08-02 | 2014-07-01 | Google Inc. | Method and apparatus for a near-to-eye display |
US20130063560A1 (en) * | 2011-09-12 | 2013-03-14 | Palo Alto Research Center Incorporated | Combined stereo camera and stereo display interaction |
US8805116B2 (en) * | 2011-09-17 | 2014-08-12 | Adobe Systems Incorporated | Methods and apparatus for visual search |
US8941560B2 (en) | 2011-09-21 | 2015-01-27 | Google Inc. | Wearable computer with superimposed controls and instructions for external device |
KR20140066258A (ko) * | 2011-09-26 | 2014-05-30 | 마이크로소프트 코포레이션 | 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정 |
EP3258671B1 (en) * | 2011-10-28 | 2018-09-05 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US9497501B2 (en) | 2011-12-06 | 2016-11-15 | Microsoft Technology Licensing, Llc | Augmented reality virtual monitor |
JP6044079B2 (ja) * | 2012-02-06 | 2016-12-14 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2013172432A (ja) | 2012-02-23 | 2013-09-02 | Panasonic Corp | 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路 |
KR101978957B1 (ko) * | 2012-05-09 | 2019-05-16 | 엘지전자 주식회사 | 디스플레이 장치 및 애플리케이션 실행 및 설치 방법 |
US9111135B2 (en) * | 2012-06-25 | 2015-08-18 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera |
US9292085B2 (en) | 2012-06-29 | 2016-03-22 | Microsoft Technology Licensing, Llc | Configuring an interaction zone within an augmented reality environment |
KR20140017735A (ko) * | 2012-07-31 | 2014-02-12 | 인텔렉추얼디스커버리 주식회사 | 착용형 전자 장치 및 그의 제어 방법 |
US9030446B2 (en) * | 2012-11-20 | 2015-05-12 | Samsung Electronics Co., Ltd. | Placement of optical sensor on wearable electronic device |
CN103581443A (zh) * | 2013-11-14 | 2014-02-12 | 惠州Tcl移动通信有限公司 | 一种基于传感器的智能终端自动唤醒方法及系统 |
CN103810353A (zh) * | 2014-03-09 | 2014-05-21 | 杨智 | 一种虚拟现实中的现实场景映射系统和方法 |
CN114356098A (zh) * | 2016-09-28 | 2022-04-15 | 奇跃公司 | 由可穿戴设备进行面部模型捕获 |
-
2015
- 2015-06-13 WO PCT/US2015/035718 patent/WO2015192117A1/en active Application Filing
- 2015-06-13 CA CA2953335A patent/CA2953335C/en active Active
- 2015-06-13 CN CN201580043458.8A patent/CN106937531B/zh active Active
- 2015-06-13 CN CN202011106449.8A patent/CN112651288B/zh active Active
- 2015-06-13 KR KR1020177001117A patent/KR102204919B1/ko active IP Right Grant
- 2015-06-13 EP EP20168878.5A patent/EP3699736B1/en active Active
- 2015-06-13 AU AU2015274283A patent/AU2015274283B2/en active Active
- 2015-06-13 EP EP15807476.5A patent/EP3155560B1/en active Active
- 2015-06-13 JP JP2017518040A patent/JP6646659B2/ja active Active
- 2015-06-13 CN CN202211020246.6A patent/CN115359567A/zh active Pending
- 2015-06-13 EP EP23156726.4A patent/EP4206870A1/en active Pending
-
2016
- 2016-12-04 IL IL249371A patent/IL249371B/en unknown
-
2020
- 2020-01-10 JP JP2020002609A patent/JP7110252B2/ja active Active
- 2020-03-18 IL IL273415A patent/IL273415B/en active IP Right Grant
-
2022
- 2022-05-23 JP JP2022083729A patent/JP2022113713A/ja not_active Withdrawn
-
2023
- 2023-10-03 JP JP2023171946A patent/JP2023181188A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
NZ727637A (en) | 2020-10-30 |
KR20170018930A (ko) | 2017-02-20 |
IL249371A0 (en) | 2017-02-28 |
IL273415B (en) | 2020-11-30 |
EP3155560A1 (en) | 2017-04-19 |
JP2022113713A (ja) | 2022-08-04 |
JP7110252B2 (ja) | 2022-08-01 |
CN106937531A (zh) | 2017-07-07 |
CA2953335A1 (en) | 2015-12-17 |
CN112651288B (zh) | 2022-09-20 |
CN106937531B (zh) | 2020-11-06 |
JP2017529635A (ja) | 2017-10-05 |
AU2015274283B2 (en) | 2020-09-10 |
IL273415A (en) | 2020-05-31 |
CN112651288A (zh) | 2021-04-13 |
JP2020061187A (ja) | 2020-04-16 |
EP4206870A1 (en) | 2023-07-05 |
KR102204919B1 (ko) | 2021-01-18 |
EP3155560B1 (en) | 2020-05-20 |
WO2015192117A1 (en) | 2015-12-17 |
EP3155560A4 (en) | 2018-01-10 |
AU2015274283A1 (en) | 2017-01-12 |
CN115359567A (zh) | 2022-11-18 |
CA2953335C (en) | 2021-01-05 |
JP6646659B2 (ja) | 2020-02-14 |
IL249371B (en) | 2021-07-29 |
EP3699736B1 (en) | 2023-03-29 |
EP3699736A1 (en) | 2020-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7110252B2 (ja) | 仮想および拡張現実を作成する方法およびシステム | |
US11995244B2 (en) | Methods and systems for creating virtual and augmented reality | |
US11656677B2 (en) | Planar waveguide apparatus with diffraction element(s) and system employing same | |
US10203762B2 (en) | Methods and systems for creating virtual and augmented reality | |
US9612403B2 (en) | Planar waveguide apparatus with diffraction element(s) and system employing same | |
NZ727637B2 (en) | Methods and systems for creating virtual and augmented reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231003 |