CN108351685A - 用于与真实和虚拟对象交互的基于生物力学的眼睛信号的系统和方法 - Google Patents
用于与真实和虚拟对象交互的基于生物力学的眼睛信号的系统和方法 Download PDFInfo
- Publication number
- CN108351685A CN108351685A CN201680031080.4A CN201680031080A CN108351685A CN 108351685 A CN108351685 A CN 108351685A CN 201680031080 A CN201680031080 A CN 201680031080A CN 108351685 A CN108351685 A CN 108351685A
- Authority
- CN
- China
- Prior art keywords
- user
- eyes
- display
- detector
- pan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 373
- 210000001508 eye Anatomy 0.000 claims abstract description 943
- 230000033001 locomotion Effects 0.000 claims abstract description 494
- 230000009471 action Effects 0.000 claims abstract description 144
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 230000004913 activation Effects 0.000 claims description 175
- 230000006870 function Effects 0.000 claims description 161
- 230000000007 visual effect Effects 0.000 claims description 123
- 230000008859 change Effects 0.000 claims description 58
- 230000004438 eyesight Effects 0.000 claims description 57
- 230000005540 biological transmission Effects 0.000 claims description 50
- 238000005259 measurement Methods 0.000 claims description 42
- 230000008901 benefit Effects 0.000 claims description 38
- 238000012937 correction Methods 0.000 claims description 34
- 210000003128 head Anatomy 0.000 claims description 34
- 230000000694 effects Effects 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 33
- 210000005252 bulbus oculi Anatomy 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 26
- 230000008447 perception Effects 0.000 claims description 26
- 238000003860 storage Methods 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 25
- 230000001965 increasing effect Effects 0.000 claims description 23
- 230000004886 head movement Effects 0.000 claims description 22
- 230000003190 augmentative effect Effects 0.000 claims description 21
- 238000012986 modification Methods 0.000 claims description 21
- 230000004048 modification Effects 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 19
- 238000011049 filling Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 201000004569 Blindness Diseases 0.000 claims description 16
- 230000003213 activating effect Effects 0.000 claims description 16
- 230000006854 communication Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 14
- 210000001747 pupil Anatomy 0.000 claims description 14
- 230000006399 behavior Effects 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 12
- 230000003321 amplification Effects 0.000 claims description 11
- 230000004424 eye movement Effects 0.000 claims description 11
- 230000006998 cognitive state Effects 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 10
- 238000012790 confirmation Methods 0.000 claims description 9
- 238000007689 inspection Methods 0.000 claims description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 5
- 230000004397 blinking Effects 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims description 3
- 238000001429 visible spectrum Methods 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 239000003814 drug Substances 0.000 claims description 2
- 229940079593 drug Drugs 0.000 claims description 2
- 230000004962 physiological condition Effects 0.000 claims description 2
- 230000004434 saccadic eye movement Effects 0.000 claims description 2
- 230000005855 radiation Effects 0.000 claims 2
- 240000007594 Oryza sativa Species 0.000 claims 1
- 235000007164 Oryza sativa Nutrition 0.000 claims 1
- 238000009434 installation Methods 0.000 claims 1
- 229940071462 oralone Drugs 0.000 claims 1
- 235000009566 rice Nutrition 0.000 claims 1
- HOZOZZFCZRXYEK-HNHWXVNLSA-M scopolamine butylbromide Chemical compound [Br-].C1([C@@H](CO)C(=O)OC2C[C@@H]3[N+]([C@H](C2)[C@@H]2[C@H]3O2)(C)CCCC)=CC=CC=C1 HOZOZZFCZRXYEK-HNHWXVNLSA-M 0.000 claims 1
- 210000002784 stomach Anatomy 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 abstract description 4
- 238000001994 activation Methods 0.000 description 132
- 230000008569 process Effects 0.000 description 78
- 210000003811 finger Anatomy 0.000 description 34
- 238000005516 engineering process Methods 0.000 description 27
- 238000010408 sweeping Methods 0.000 description 23
- 230000003993 interaction Effects 0.000 description 22
- 230000002829 reductive effect Effects 0.000 description 21
- 230000019771 cognition Effects 0.000 description 19
- 210000004027 cell Anatomy 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 18
- 230000002093 peripheral effect Effects 0.000 description 18
- 230000001711 saccadic effect Effects 0.000 description 16
- 230000011664 signaling Effects 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 15
- 210000001525 retina Anatomy 0.000 description 12
- 238000009826 distribution Methods 0.000 description 11
- 230000001149 cognitive effect Effects 0.000 description 10
- 230000002452 interceptive effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000013479 data entry Methods 0.000 description 8
- 210000000744 eyelid Anatomy 0.000 description 8
- 230000010355 oscillation Effects 0.000 description 8
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 7
- 238000013459 approach Methods 0.000 description 7
- 230000005764 inhibitory process Effects 0.000 description 7
- 230000035479 physiological effects, processes and functions Effects 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000009977 dual effect Effects 0.000 description 6
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 238000005096 rolling process Methods 0.000 description 6
- 230000013707 sensory perception of sound Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000002401 inhibitory effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 208000003443 Unconsciousness Diseases 0.000 description 4
- 238000012152 algorithmic method Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000001976 improved effect Effects 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 210000005036 nerve Anatomy 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 230000004461 rapid eye movement Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 241000288673 Chiroptera Species 0.000 description 3
- 241000406668 Loxodonta cyclotis Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000005021 gait Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000007480 spreading Effects 0.000 description 3
- 238000003892 spreading Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000000739 chaotic effect Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 210000000695 crystalline len Anatomy 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 210000000720 eyelash Anatomy 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 210000001232 limbus corneae Anatomy 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 210000004279 orbit Anatomy 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- RDEIXVOBVLKYNT-VQBXQJRRSA-N (2r,3r,4r,5r)-2-[(1s,2s,3r,4s,6r)-4,6-diamino-3-[(2r,3r,6s)-3-amino-6-(1-aminoethyl)oxan-2-yl]oxy-2-hydroxycyclohexyl]oxy-5-methyl-4-(methylamino)oxane-3,5-diol;(2r,3r,4r,5r)-2-[(1s,2s,3r,4s,6r)-4,6-diamino-3-[(2r,3r,6s)-3-amino-6-(aminomethyl)oxan-2-yl]o Chemical compound OS(O)(=O)=O.O1C[C@@](O)(C)[C@H](NC)[C@@H](O)[C@H]1O[C@@H]1[C@@H](O)[C@H](O[C@@H]2[C@@H](CC[C@@H](CN)O2)N)[C@@H](N)C[C@H]1N.O1C[C@@](O)(C)[C@H](NC)[C@@H](O)[C@H]1O[C@@H]1[C@@H](O)[C@H](O[C@@H]2[C@@H](CC[C@H](O2)C(C)N)N)[C@@H](N)C[C@H]1N.O1[C@H](C(C)NC)CC[C@@H](N)[C@H]1O[C@H]1[C@H](O)[C@@H](O[C@@H]2[C@@H]([C@@H](NC)[C@@](C)(O)CO2)O)[C@H](N)C[C@@H]1N RDEIXVOBVLKYNT-VQBXQJRRSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 206010072269 Egocentrism Diseases 0.000 description 1
- 208000027534 Emotional disease Diseases 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 241000914520 Staurastromyces oculus Species 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000002929 anti-fatigue Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 238000005119 centrifugation Methods 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000004567 concrete Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 230000004384 eye physiology Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 206010022437 insomnia Diseases 0.000 description 1
- 230000004301 light adaptation Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 210000002189 macula lutea Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000037230 mobility Effects 0.000 description 1
- 230000002969 morbid Effects 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 210000005112 optic tract Anatomy 0.000 description 1
- 230000004421 optic tracts Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 239000013641 positive control Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009017 pursuit movement Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000009257 reactivity Effects 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000007727 signaling mechanism Effects 0.000 description 1
- 230000006886 spatial memory Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000001720 vestibular Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
- G06F3/0236—Character input methods using selection techniques to select from displayed items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
- G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G1/00—Means for the representation of music
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Optics & Photonics (AREA)
- Ophthalmology & Optometry (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
提供主要基于眼睛的运动来辨别设备佩戴者的意图的系统和方法。该系统可以被包括在执行眼睛跟踪和控制屏幕显示的不显眼的头饰内。该系统还可以利用远程眼睛跟踪相机、远程显示器和/或其他辅助输入。优化屏幕布局，以便于快速眼睛信号的形成和可靠检测。检测眼睛信号是基于跟踪在设备佩戴者的自主控制下的眼睛的生理运动。检测眼睛信号导致与可佩戴计算和广泛的显示装置兼容的动作。
Description
相关申请数据
本申请要求2015年8月15日提交的No.62/025,707、2015年11月6日提交的No.62/252,347和2016年4月7日提交的No.62/319,751的共同未决临时申请的优先权，并且是2015年5月9日提交的No.14/708,234、14/708,241和14/708,229的共同未决申请的继续申请，其要求2014年5月9日提交的No.61/991,435、2014年7月13日提交的No.62/023,940,、2014年7月22日提交的No.62/027,774、2014年7月22日提交的No.62/027,777、2014年8月19日提交的No.62/038,984、2014年8月19日提交的No.62/039,001、2014年9月4日提交的No.62/046,072、2014年11月4日提交的No.62/074,920、以及2014年11月4日提交的No.62/074,927的优先权，其全部内容在此引入以供参考。
版权声明
本文包含受版权保护的材料。版权所有者不反对任何专利文献或专利公开和任何人的传真复制，就象在美国专利商标局专利文件或记录中，但以其他方式保留版权的所有权利。下述声明适用于下文和附图中所述的软件、屏幕截图和数据，并且保留所有权利。
技术领域
本发明通常涉及用于辨别用户的意图(DIU)，并且随后主要使用眼睛和可选辅助输入支持来控制计算和其他设备并与之交互的系统和方法。该系统利用人机界面(HMI)、可佩戴计算、人体生理学、图像处理和深度学习领域的技术。该系统可以在可选地与头戴式显示器(HMD)、远程显示器和/或其他可佩戴传感器或致动器相关联的不引人注目的眼睛跟踪头戴和/或远程眼睛跟踪硬件内实现。该系统可以为用户提供易于使用、直观和灵活的输入机制来控制本地或远程计算设备并与之交互。
背景技术
计算机鼠标、操纵杆和其他手动跟踪设备是用于在人机交互期间指定位置信息的普遍存在的工具。随着可佩戴式计算的出现，例如通常需要固定表面以适当操作的这种庞大和突兀的装置与被设计为佩戴在身上的装置的便携性不相容。
可以使用眼睛跟踪来观看显示器，并且有目的地指定相对于显示器上的虚拟对象或设备用户的环境内的实体对象的位置信息。然而，在正常人类活动期间，也广泛使用眼睛。因此，当将眼睛位置用作用于交互和控制的输入数据流时的挑战是基于眼睛运动来辨别用户的意图(DIU)。本文的系统和方法的目的之一是区分与正常日常活动相关联的眼睛的运动和旨在交互和控制设备的有意识或自主运动，本文称为“眼睛信号”。
需要新的范例来辨别眼睛运动的意图，同时保留个人可视化和与其环境交互的能力。
发明内容
鉴于上文，本文提供用于基本上基于一只或多只眼睛的有目的的运动，基本上连续地辨别一个或多个用户的各种意图或操作目的的系统和方法。
根据一个实施方式，提供一种方法，用于提供图形用户界面以使用检测器，至少部分地基于用户的一只或两只眼睛的运动，确定用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时眨眼；通过检测器，确认在眨眼之后的预定眨眼后眨眼持续时间内，用户的一只或两只眼睛的眼睛运动开始；通过检测器，基于用户的一只或两只眼睛的扫视速度超过预定的眨眼后扫视阈值速度，分类眼睛运动为扫视；以及执行与扫视眼睛运动相关联的动作。
根据另一实施例，提供一种方法，用于提供图形用户界面以使用检测器和显示器至少部分地基于用户的一只或两只眼睛的运动来传达用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向对象；通过检测器识别用户的一只或两只眼睛从对象朝向显示器上的目标位置扫视；至少部分地基于识别扫视，在扫视期间，在显示器上移动在显示器上的目标位置周围的预定区域内的一个或多个显示的对象的位置；通过检测器确认扫视在距目标位置的预定距离内完成；通过检测器，确定跟随显示对象中的一个的一个或多个眼睛注视运动，从而识别跟随对象；以及执行与目标位置和跟随对象中的一个或多个相关的动作。
根据另一实施例，提供一种方法，用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来传达用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向第一键盘上的第一键；通过检测器识别用户的一只或两只眼睛从第一键朝向第二键盘上的第二键的第一扫视；通过检测器确认第一扫视在距第二键的位置的预定距离内完成；以及执行与第一键和第二键中的一个或两者相关联的动作，无需等待用户感知第二键。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来传达用户的意图，包括：提供包括具有多个键的第一区域的第一键盘和包括具有多个键的第二区域的第二键盘；通过检测器，识别用户的一只或两只眼睛何时指向第一键盘的第一区域；通过检测器识别用户的一只或两只眼睛何时指向第一键盘上的第一键；通过检测器识别用户的一只或两只眼睛从第一键朝第二键盘的第二区域的第一扫视；通过检测器确认在第二键盘的第二区域内完成第一扫视；以及执行与第一键相关联的动作，无需等待用户感知第二键盘的第二区域。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来传达所述用户的意图，包括：在显示器上呈现包括具有多个图标的第一区域的第一视区和包括具有多个图标的第二区域的第二视区；通过检测器识别用户的一只或两只眼睛何时指向所述第一视区的第一区域；通过检测器识别用户的一只或两只眼睛何时指向所述第一视区中的第一图标；通过检测器识别用户的一只或两只眼睛从第一图标朝向第二视区的第二区域的第一扫视；通过检测器确认在第二视区的第二区域内完成所述第一扫视；以及在确认完成从第一图标到第二区域的第一扫视时，执行与第一图标相关联的动作，无需等待用户感知第二区域。
根据另一实施例，提供一种方法，用于提供图形用户界面以使用键盘和检测器至少部分地基于用户的一只或两只眼睛的运动来传达用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向键盘上的第一键；通过检测器识别用户的一只或两只眼睛从第一键朝向键盘上的第二键的第一扫视；通过检测器确认在距第二键的位置预定距离内完成扫视；以及执行与第一键和第二键中的一个或两者相关联的动作，无需等待用户感知第二键。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用键盘和检测器至少部分地基于用户的一只或两只眼睛的运动来传达用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向键盘上的第一键；通过检测器识别用户的一只或两只眼睛从第一键朝向键盘上的第二键的第一扫视；通过检测器识别用户的一只或两只眼睛进一步指向键盘上的第二键的一个或多个矫正扫视；通过检测器确认在距第二键的位置预定距离内完成一个或多个矫正扫视中的至少一个；以及执行与第一键和第二键中的一个或两者相关联的动作，无需等待用户感知第二键。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用键盘和检测器至少部分地基于用户的一只或两只眼睛的运动来传达用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向距键盘上的第一键的位置预定距离内；通过检测器识别用户的一只或两只眼睛从第一键朝向键盘上的第二键的第一扫视；通过检测器确认在距第二键的位置预定距离内完成扫视；以及执行与第一键和第二键中的一个或两者相关联的动作，而不改变显示器，以便不引起用户的注意。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用键盘、显示器和检测器至少部分地基于用户的一只或两只眼睛的运动来传达用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向键盘上的第一位置；通过检测器识别用户的一只或两只眼睛从第一位置朝向显示器上的自动填充激活目标位置处的自动填充激活目标的第一扫视；在显示器上的自动填充激活目标位置周围的预定区域内，示出数据集中的一个或多个完成元素；执行选择眼睛动作以指示选择一个或多个完成元素中的一个，从而识别所选择的完成元素；以及将所选择的完成元素附接到数据集。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用键盘和检测器至少部分地基于用户的一只或两只眼睛的运动来传达用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向距键盘上的第一键的位置预定距离内；通过检测器识别用户的一只或两只眼睛从第一键朝向键盘上的第二键的第一扫视；通过检测器识别用户的一只或两只眼睛朝向键盘上的一个或多个附加键的一个或多个附加扫视；通过第一扫视和一个或多个附加扫视识别眼睛运动的图案；将眼睛运动的图案用作神经网络的输入，分类一个或多个字母数字字符；以及执行与一个或多个字母数字字符相关的动作。
根据另一实施例，提供一种方法，用于提供图形用户界面以使用检测器和显示器至少部分地基于用户的一只或两只眼睛的运动来传达用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向第一位置；通过检测器识别用户的一只或两只眼睛从第一位置朝向显示器上的第一激活目标位置处的第一激活目标的第一扫视；从所述显示器移除第一激活目标，并且在与第一激活目标位置相比不同的第二激活目标位置处，在所述显示器上呈现第二激活目标；通过检测器识别用户的一只或两只眼睛从第一激活目标位置朝向显示器上的第二位置的第二扫视；通过检测器确认在距第二位置的预定距离内完成第二扫视；通过检测器识别用户的一只或两只眼睛从第二位置朝向显示器上的第二激活目标位置的第三扫视；以及执行与第一位置、第一激活目标、第二位置和第二激活目标中的一个或多个相关的动作。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来传达用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向标度内的观看位置；通过检测器识别用户的一只或两只眼睛从标度内的观看位置朝向激活目标位置处的激活目标的扫视；通过检测器确认在距激活目标位置的预定距离内完成扫视；以及执行与相对于标度的位置在标度内的观看位置以及激活目标中的一个或两者相关的动作。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来辨别用户的意图，包括：通过检测器识别所述用户的一只或两只眼睛何时指向距对象位置处的对象预定距离内；通过检测器识别用户的一只或两只眼睛从对象朝向对象位置处的目标的扫视；通过检测器确认在距目标位置预定距离内完成扫视；以及在感知目标前，执行与对象、对象位置、目标和目标位置中的一个或多个相关联的动作，其中，动作包括提供被设计为不引起用户的视觉注意的用户反馈。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用检测器和观看设备至少部分地基于用户的一只或两只眼睛的运动来确定用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向对象位置处的对象；通过检测器识别用户的一只或两只眼睛从对象位置朝向第一目标位置处的第一目标的第一扫视；在第一扫视期间，通过观看设备改变第一目标的用户视野，由此产生间隙效应；通过检测器识别用户的一只或两只眼睛从第一目标位置朝向第二目标位置处的第二目标的第二扫视；通过检测器确认在距第二目标位置的预定距离内完成所述第二扫视；以及执行与对象、对象位置、第一目标、第一目标位置、第二目标和第二目标位置中的一个或多个相关的动作。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用显示器和检测器至少部分地基于用户的一只或两只眼睛的运动来确定用户的意图，包括：通过远离用户的场景相机识别位于用户的环境内的对象；通过对象模板的数据库，确定位于用户的环境内的一个或多个对象是否是高重要性对象；使用电信设备接收预定显示在显示器上的呼入数据集；以及仅当确定无高重要性对象存在于用户的环境中时，才在显示器上显示呼入数据集。
根据另一实施例，提供一种方法，用于使用场景相机和检测器至少部分地基于用户的一只或两只眼睛的运动来确定两个(2个)可佩戴设备用户的意图，包括：通过可操作地耦接到与第一可佩戴设备用户相关联的第一可佩戴设备的场景相机识别包括第二可佩戴设备用户的一只或两只眼睛的一个或多个场景相机图像内的区域；使用图像识别，识别第二可佩戴设备用户的一只或两只眼睛在预定角度范围内何时朝向第一可佩戴设备用户；确认第二可佩戴设备用户的一只或两只眼睛在预定时间内，指向第一可佩戴设备用户；以及允许与第一可佩戴设备用户相关联的第一可佩戴设备和与第二可佩戴设备用户相关联的第二可佩戴设备之间的电子通信。
根据另一实施例，提供一种方法，用于提供图形用户界面以使用显示器、一个或多个场景相机和检测器至少部分地基于用户的一只或两只眼睛的运动来确定用户的意图，包括：通过指向用户的环境的一个或多个场景相机来识别用户的环境中的观看对象；使用电信设备接收预定在显示器上示出的一个或多个呼入数据集；以及基于一个或多个预定用户偏好，确定在显示器上向用户示出的数据集的选择和定时。
根据又一实施例，提供一种方法，用于使用与可佩戴设备用户相关联的可佩戴设备的场景相机和检测器至少部分地基于用户的一只或两只眼睛的运动来确定可佩戴设备用户的意图，包括：通过可佩戴设备的场景相机识别包括被观看个人的一只或两只眼睛的一个或多个场景相机图像内的区域；使用检测器和场景相机来识别可佩戴设备用户的注视在预定角度范围内朝向被观看个人的一只或两只眼睛；使用图像识别，识别被观看个人的一只或两只眼睛在预定角度范围内何时朝向可佩戴设备用户；以及通过可佩戴设备执行动作。
根据另一实施例，提供一种方法，用于使用场景相机和一个或多个信标至少部分地基于用户的一只或两只眼睛的运动来确定两个(2个)可佩戴设备用户的意图，包括：通过可操作地耦接到与第一可佩戴设备用户相关联的第一可佩戴设备的场景相机识别在一个或多个场景相机图像内包括来自与第二可佩戴设备用户相关联的第二可佩戴设备的一个或多个信标的区域；通过场景相机识别由与第二可佩戴设备用户相关联的第二可佩戴设备的一个或多个信标广播的码；通过访问码的数据库，确认由信标广播的码允许访问关于第二可佩戴设备用户的信息的数据库；以及允许与第一用户相关联的第一可佩戴设备和包含关于第二可佩戴设备用户的信息的数据库之间的电子通信。
根据又一实施例，提供一种方法，用于使用检测器至少部分地基于用户的一只或两只眼睛的运动来确定用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时以确定为有目的的眼睛运动的方式运动；使用眼睛运动模板的数据库识别与有目的的眼睛信号相关联的眼睛动作；基本上同时识别由不与用户的一只或两只眼睛相关联的输入设备产生的用户输入；识别与由输入设备产生的用户输入相关联的设备动作；以及基于输入层次的数据库，执行与有目的的眼睛信号相关联的眼睛动作和与用户输入相关联的设备动作中的一个。
根据又一实施例，提供一种方法，用于使用检测器和指示设备至少部分地基于用户的一只或两只眼睛的运动来移动一个或多个显示器上的指针，包括：识别指针的源显示器上的源位置，其中，至少部分地由指示设备控制指针的位置；通过检测器识别用户的一只或两只眼睛何时指向目标显示器上的目标位置；通过指示设备，确认相对于源显示器上的源位置，在朝向目标显示器上的目标位置的方向中，在预定方向范围内的指示设备的移动；以及在远离目标位置预定距离内的目标显示器上的新指针位置处显示指针。
根据另一实施例，提供一种方法，用于提供图形用户界面以使用显示器和检测器至少部分地基于用户的一只或两只眼睛的运动来确定用户的意图，包括：在显示器上显示乐谱的一部分；通过检测器识别用户的一只或两只眼睛何时指向乐谱的显示部分内的观看位置；通过包括乐谱的数据库识别乐谱中的一个或多个断点位置；通过检测器确认观看位置在距乐谱内的至少一个断点位置的预定距离内；以及显示乐谱的新部分。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用检测器、场景相机和显示器至少部分地基于用户的一只或两只眼睛的运动来传达控制交通工具时的用户的意图，包括：在可操作地耦接到所述场景相机的显示器上显示交通工具的环境的视频图像；通过检测器识别用户的一只或两只眼睛何时指向显示器上的交通工具的环境的视频图像内的目标位置；通过检测器识别用户的一只或两只眼睛从显示器上的目标位置朝向显示器上的激活目标的第一扫视；通过检测器确认在距激活目标的位置预定距离内完成扫视；以及使得交通工具移向由显示器上的目标位置表示的交通工具的环境中的目的地位置。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来传达驾驶交通工具时的用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向对象位置处的对象；通过检测器识别用户的一只或两只眼睛从对象位置朝向显示器上的目标位置处的激活目标的第一扫视；通过检测器确认在距目标位置预定距离内完成扫视；通过检测器确认用户的一只或两只眼睛在预定时间内、在预定的方向范围内，指向交通工具的移动方向；以及执行与对象和激活目标中的一个或多个相关的动作。
根据另一实施例，提供一种方法，用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来增强用户的存储器，包括：通过检测器识别用户的一只或两只眼睛何时指向距存储对象的位置的预定距离内；通过检测器识别用户的一只或两只眼睛从存储对象位置到目标位置处的存储激活目标的第一扫视；通过检测器确认在距目标位置预定距离内完成扫视；以及通过存储器设备执行存储功能，存储功能包括将与存储对象相关联的数据集存储到对应于存储数据集索引的多个数据集内的位置，并且使存储数据集索引递增一(1)。
根据另一实施例，提供一种方法，用于提供图形用户界面以使用检测器和显示器至少部分地基于用户的一只或两只眼睛的运动来增强用户的存储器，包括：通过检测器识别用户的一只或两只眼睛何时指向显示器上的检索对象位置处的检索对象；通过检测器识别用户的一只或两只眼睛从显示器上的检索对象位置朝向目标位置处的检索激活目标的第一扫视；通过检测器确认在距目标位置的预定距离内完成扫视；以及通过存储器设备执行检索功能，检索功能包括从对应于多个数据集内的检索数据集索引的位置检索所检索的数据集。
根据另一实施例，提供一种方法，用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来增强用户的存储器，包括：当使用检测器识别从对象到距存储激活目标的位置的预定距离内的扫视时，执行多个数据集内与对应于存储数据集索引的位置处的对象相关联的数据集的存储功能，并且使存储数据集索引递增一(1)；当使用检测器识别从对象到距检索激活目标的位置的预定距离内的扫视时，执行与多个数据集内对应于检索数据集索引的位置处的对象相关联的数据集的检索功能；当使用检测器识别对向上激活目标的扫视时，通过使检索数据集索引递增一(1)来选择检索数据集索引；当使用检测器识别到向下激活目标的扫视时，通过使检索数据集索引递减一(1)来选择检索数据集索引；以及当使用检测器识别从对象到距删除激活目标的位置的预定距离内的扫视时，执行删除功能，删除功能包括以下的一个或多个，删除在多个数据集内对应于检索数据集索引的位置处的对象，并且使存储数据集索引减一(1)。
根据又一实施例，提供一种方法，用于提供用户界面以使用指向用户的一只或两只眼睛的一只或多只眼睛相机，和指向用户的环境的场景相机，至少部分地基于用户的一只或两只眼睛的方向，增强文档安全，包括：使用一只或多只眼睛相机获取用户的一只或两只眼睛的一个或多个图像；通过将用户的一只或两只眼睛的一个或多个图像与已知标识眼睛模板的数据库比较来确定用户的标识；使用场景相机识别由用户的一只或两只眼睛观看的文档；使用一只或多只眼睛相机确认用户的一只或两只眼睛朝向文档；以及电子地确认文档以指示所识别的用户观看过文档。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用显示器、头部运动检测器和眼睛位置检测器至少部分地基于用户的一只或两只眼睛的运动来确定用户的意图，包括：在显示器上显示多个显示对象；通过眼睛位置检测器识别用户的一只或两只眼睛何时指向多个显示对象中的一个，从而识别所观看的对象；通过头部运动检测器识别用户在第一方向上的头部运动；通过眼睛运动检测器确认用户的一只或两只眼睛的眼睛运动；基于眼睛运动是否使得用户在头部运动期间继续观看所观看的对象，分类眼睛运动是否是眼前庭；以及确定眼睛运动不是眼前庭，因此，在第一方向上，移动显示器上的多个显示对象。
根据又一实施例，提供一种方法，用于提供用户界面以使用检测器和场景相机至少部分地基于用户的一只或两只眼睛的运动来传达用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向用户的环境内的第一观看位置；通过场景相机识别用户的环境内的第一观看位置处的第一观看对象；使用对象模板的数据库来识别第一观看对象，从而创建第一识别的对象目标；通过检测器识别用户的一只或两只眼睛何时执行朝向用户的环境内的第二观看位置的眼睛运动；通过场景相机识别用户的环境内的第二观看位置处的第二观看对象；使用对象模板的数据库来识别所述第二观看对象，从而创建第二识别的观看对象；使用可激活对象的数据库确认第二识别的观看对象对应于激活目标；以及执行与第一识别的观看对象、第一观看位置、第二识别的观看对象和第二观看位置的一个或多个相关的动作。
根据又一实施例，提供一种方法，用于提供用户界面以使用检测器、场景相机和显示器至少部分地基于用户的一只或两只眼睛的运动来传达用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向用户的环境内的观看位置；通过场景相机识别用户的环境内的观看位置处的观看对象；使用对象模板的数据库来识别观看对象，从而创建所识别的观看对象；通过检测器识别用户的一只或两只眼睛何时执行从所识别的观看对象朝向所述显示器上的一个或多个激活目标中的一个的一个或多个眼睛运动；通过检测器确认在距一个或多个激活目标中的一个的预定距离内完成一个或多个眼睛运动，从而创建所选择的激活目标；以及执行与第一识别的观看对象和所选择的激活目标中的一个或多个相关的动作。
根据另一实施例，提供一种方法，用于使用检测器至少部分地基于用户的认知状态、生理状态或眼睛运动历史，调整在由电子显示器组成的图形用户界面内，用信号告知用户的意图的识别，包括：观察用户的认知状态、神经状态、生理条件和眼睛运动历史的至少一个；使用检测器识别由眼睛运动指示的至少一个已知眼睛信号，以传达可由用户的一只或两只眼睛的预定运动执行的用户意图；以及基于至少一个已知信号之前或期间的用户的认知状态、生理状况或眼睛运动行为中的一个或多个来调整用于至少一个已知信号的识别的容错度。
根据又一实施例，提供一种方法，用于使用检测器至少部分地基于用户的认知状态、生理状况或眼睛运动历史，调整对识别由电子显示器组成的图形用户界面内的用户的意图的信令的响应，包括：观察用户的认知状态、神经状态、生理状态和眼睛运动历史中的至少一个；识别至少一个已知眼睛信号以传达用户意图，眼睛信号包括用户的一只或两只眼睛的预定运动、用户的一只或两只眼睛的瞳孔扩展和用户的一只或两只眼睛的瞳孔收缩的一个或多个；基于在至少一个已知信号之前或期间的用户的认知状态、生理状况或眼睛运动行为中的至少一个，识别至少一个已知眼睛信号；以及通过改变响应的定时、选择将被呈现为响应的一部分的图形、示出为响应的一部分的图形元素的转变、响应的任何部分的定时和视作响应的一部分的动作中的至少一个，来调整对至少一个已知眼睛信号的响应。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用头戴设备和检测器至少部分地基于用户的一只或两只眼睛的运动来确定用户的意图，包括：通过头戴设备确定用户的头部的区域中的运动；基于用户的头部的运动的幅度和频率中的一个或多个来确定眼睛运动严格性范围；通过检测器确认用户的一只或两只眼睛的一个或多个眼睛运动匹配眼睛运动严格性范围内的眼睛信号运动的模板中的一个或多个；以及执行与一个或多个眼睛运动相关的动作。
根据另一实施例，提供一种方法，用于提供图形用户界面以使用头戴设备至少部分地基于用户的一只或两只眼睛的运动来确定用户的意图，包括：通过头戴设备确定用户的头部的区域中的环境照明；基于环境照明的幅度和变化中的一个或多个来确定眼睛运动严格性范围；通过安装在头戴设备上的眼睛运动检测器，确认用户的一只或两只眼睛的一个或多个眼睛运动匹配眼睛运动严格性范围内的眼睛信号运动的模板中的一个或多个；以及执行与一个或多个眼睛运动相关的动作。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用检测器和显示器至少部分地基于所述用户的一只或两只眼睛的运动来确定用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向初始观看的对象位置处在显示器上的初始观看对象；使用用于在显示器上显示的对象的优选放大中心的数据库，确定用于显示器上距最初观看对象位置预定距离内的所有对象的放大的中心的在显示器上的优选位置；通过检测器识别在放大显示器上距初始观看对象位置的预定距离内的所有对象期间，用户的一只或两只眼睛何时跟随跟踪对象；通过检测器确认在放大了预定距离和预定时间的一个期间，跟随跟踪的对象，由此识别所选择的对象；以及执行与所选择的对象相关的动作。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用检测器和显示器至少部分地基于用户的一只或两只眼睛的运动来确定用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向初始观看的对象位置处在显示器上的初始观看对象；使用用于在显示器上显示的对象的优选放大中心的数据库，确定用于显示器上距最初观看对象位置预定距离内的所有对象的放大的中心的在显示器上的优选位置；通过检测器识别在放大显示器上距所述初始观看对象位置的预定距离内的所有对象期间，用户的一只或两只眼睛何时跟随跟踪对象；通过检测器确认在放大了预定距离和预定时间的一个期间，跟随跟踪的对象，由此识别所选择的对象；以及执行与所选择的对象相关的动作。
根据另一实施例，提供一种方法，用于提供图形用户界面以使用检测器、显示器和键盘至少部分地基于用户的一只或两只眼睛的运动来确定用户的意图，包括：通过所述检测器识别用户的一只或两只眼睛何时指向显示器上包含多个可选目标的区域；在显示器上叠加多个键盘符号，其中，每个键盘符号与一个或多个可选目标相关联；通过键盘确认用户选择键盘上对应于与一个或多个可选目标相关联的键盘符号中的一个的键，由此识别一个或多个所选择的目标；以及执行与一个或多个所选择的目标有关的动作。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用检测器、显示器和麦克风至少部分地基于用户的一只或两只眼睛的运动来确定用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向显示器上包含多个可选目标的区域；在显示器上叠加多个符号，其中，每个符号与一个或多个可选目标相关联；通过麦克风和声音模板的数据库，确认用户产生对应于与一个或多个可选目标相关联的符号中的一个的声音，从而识别一个或多个所选择的目标；以及执行与一个或多个所选择的目标有关的动作。
根据又一实施例，提供一种方法，用于使用检测器和显示器确定注视方向以传达用户的意图，包括：通过检测器识别当用户观看在对象位置处在显示器上的目标对象时的用户右眼注视位置；通过检测器识别当用户观看显示器上的目标对象时的用户左眼注视位置；确定左眼注视位置和右眼注视位置中的哪一个更接近目标对象位置；以及基于哪一眼睛注视方向更接近目标对象的位置，分配在目标对象位置周围的预定范围内的位置范围的眼睛优势。
根据另一实施例，提供一种方法，用于使用检测器和显示器，至少部分地基于用户眼睛的运动来确定注视方向以传达用户的意图，包括：通过检测器识别用户的眼睛何时指向出现在第一对象距离处的第一对象；通过检测器识别用户的眼睛何时指向出现在不同于第一对象距离的第二对象距离处的在显示器上的第二目标；使用显示器修改显示器上的第二目标的位置和大小中的一个或多个；确认当由用户的眼睛观看时，第一目标和第二目标看起来最大程度地重叠；以及基于第一目标的位置和第二目标的位置来确定用户的眼睛的视轴。
根据又一实施例，提供一种方法，用于使用检测器和显示器，至少部分地基于设备用户的一只或两只眼睛的注视位置，在传输带宽内，在显示器上显示图像，包括：通过检测器识别用户的一只或两只眼睛何时指向显示器上的注视位置；基于注视位置，识别用户的视野内的显示器上的中心窝观看区域；基于可视对象的数据库，识别作为与设备用户高度相关的对象的显示对象；以及使用显示器，与用户视野内的其余目标相比，以更高的分辨率，渲染作为中心窝视野和高相关性对象中的一个或多个的对象。
根据又一实施例，提供一种方法，用于使用检测器和显示器，至少部分地基于设备用户的一只或两只眼睛的注视位置，在传输带宽内，在显示器上显示图像，包括：通过检测器识别用户的一只或两只眼睛何时指向显示器上的注视位置；基于注视位置识别在注视位置周围的预定区域内在显示器上的中心窝观看区域；基于中心窝观看区域外的用户的视场，识别显示器上的非中心窝观看区域；以及使用显示器以减少的颜色内容渲染非中心窝区域中的对象。
根据又一实施例，提供一种方法，用于使用注视检测器和显示器，至少部分地至少用户的一只或两只眼睛的注视位置，在预定传输带宽内，在显示器上显示图像，包括：通过注视检测器识别用户的一只或两只眼睛何时指向显示器上的注视位置；基于注视位置识别用户的视场内的显示器上的高分辨率观看区域；使用显示器，与在高分辨率观看区域外的用户的视场内的显示器上的其余对象相比，以更高的分辨率，渲染显示器上的高分辨率观看区域中的对象；以及基于到达用户的一只或两只眼睛的光量，修改显示器上的高分辨率观看区域的大小和形状中的一个。
根据另一实施例，提供一种方法，用于使用检测器，至少部分地基于用户的一只或两只眼睛的运动来测量眼睛注视以确定用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向相对于对象的参考位置的第一观看位置；使用与对象相关联的显著性图，基于相对于对象的参考位置的第一观看位置，确定第一加权因子；通过检测器识别用户的一只或两只眼睛何时指向相对于对象的参考位置的第二观看位置；使用与对象相关联的显著性图，基于相对于对象的参考位置的第二观看位置来确定第二加权因子；以及基于乘以第一加权因子的第一观看位置和乘以第二加权因子的第二观看位置，确定加权平均观看位置。
根据又一实施例，提供一种方法，用于提供图形用户界面以使用检测器和显示器至少部分地基于用户的一只或两只眼睛的运动来传达用户的意图，包括：通过检测器识别用户的一只或两只眼睛何时指向显示器上的第一位置；通过检测器确认在距区域选择目标的位置的预定距离内，完成用户的一只或两只眼睛从第一位置朝向区域选择目标的第一扫视；通过检测器识别用户的一只或两只眼睛何时指向显示器上的第二位置；通过检测器确认在距激活目标的位置的预定距离内，完成用户的一只或两只眼睛从第二位置朝向激活目标的第二扫视；基于投影到显示器上的对象，识别由具有在第一位置和第二位置处的角部的矩形区域界定的所有对象；以及在由具有在第一位置和第二位置处的角部的矩形区域界定的在显示器上的所有目标上执行与激活目标相关的动作。
本发明的其他方面和特征从结合附图的下述描述将变得显而易见。
附图说明
通过参考结合下述示意图考虑的详细描述，得到对本发明的更完整的理解。在附图中，相同的附图标记表示所有附图中的相同元件或动作。在附图中示出本示例性实施例，其中：
图1A是经由从8个位置的每一个选择4个项目中的1个来允许眼睛信号数据输入的示例性显示。
图1B示出使用4乘3选择网格进行词“boy”的眼睛信号输入。
图2A是经由从9个位置的每一个选择3个项目中的1个来允许英文字母输入的示例性显示。
图2B示出使用4乘3选择网格进行单词“cat”的眼睛信号输入。
图3是允许经由从6个位置的每一个选择6个项目中的1个来输入英文字母和特殊字符的示例性显示。
图4A是允许经由从9个位置的每一个选择6个项目中的1个来输入英文字母、数字和18个特殊字符/功能的示例性显示。
图4B是与图4A相比的替代显示，其中，英文字母和数字以更典型阅读顺序，从左到右和从上到下排列。
图5是允许经由从12个位置的每一个选择4个项目中的1个的眼睛信号输入的典型的QWERTY键盘的序列的示例性显示。
图6是通过扫视显示区域的4个角中的1个来选择4个字符/功能中的1个的替代显示布局。
图7是通过扫视远离显示区域的4个目标中的1个选择4个字符/功能中的一个的另一示例性显示布局。
图8是示出通过扫视到8个显示器外目标区域中的1个来选择12个字符和功能矩阵位置的示例性显示布局。
图9A是允许经由每一扫视产生一个选择的一系列扫视眼睛运动输入日期的月和日的示例性显示。
图9B是垂直尺寸减小到3行的替代日期输入布局(与图9A相比)。
图10A示出具有8列的限定水平尺寸的另一日期输入布局(与图9A相比)。
图10B是垂直尺寸被限制为3行的另一日期输入布局(与图9A相比)。
图11A是允许使用每一数位单一扫视眼睛运动输入数字的电话式键盘布局。
图11B是具有减小的垂直尺寸的数字数据输入的替代布局(与图11A相比)。
图12A是允许使用每一数位单一眼睛运动输入数字的数字小键盘和简单的计算器布局。
图12B示出通过改变在“按需”基础上显示的选择的计算器功能的动态控制。
图13示出包含每次选择的单个扫视的一系列扫视眼睛运动的科学计算器和实例计算的显示布局。
图14是允许经由每个字符/函数的单一眼睛运动“键入”的普通QWERTY键盘的示例性显示。
图15A是用于使用每一数位单一扫视眼睛运动输入简单数字序列的示例性4行3列显示布局。
图15B是使用每一数位的单一眼睛运动，用于简单数字序列的输入的3行×4列组成的替代显示布局(与图15A相比)。
图16A示出激活目标位于所选数字序列的显示内的数字序列内的第一数字的输入。
图16B示出在输入每一数位时，激活目标移动的数字序列内的后续数字的输入(与图16A相比)。
图17A示出在从连续标尺的用户选择期间的示例性眼睛运动。
图17B示出指示使用眼睛运动，从连续标尺进行的选择的视觉反馈。
图18A示出可佩戴装置的鼻梁上的单个状态信标的示例性位置。
图18B示出沿头戴式可佩戴装置的左右两侧的两(2)个状态信标的示例性位置。
图19A是示出通过不同步的相机或检测器，广播状态信标和图像采集之间的可能时间关系的时序图。
图19B是编码在广播状态信标的信号内的连接信息的“微突发”的示例。
图20A示出使用眼睛快速移动或者“传送”显示器上的指针、光标或选定位置的设置。
图20B示出使用眼睛快速移动或者“传送”显示器上的指针、光标或选定位置的结果。
图21A示出在单独的显示设备上传送指针和相关的文本功能。
图21B示出在传送文本功能后的智能手表的显示。
图22A示出使用眼睛传送和多模输入的“剪切和粘贴”操作期间的文本的示例。
图22B示出包括指针的眼睛引导传送的“剪切和粘贴”操作的文本的示例。
图23示出基于眼睛信号的乐谱的控制显示。
图24示出将乐谱显示为眼睛信号控制单条的示例。
图25A示出测量演奏位置和观看位置之间的差异的乐谱。
图25B示出在反馈和/或训练之后扩展演奏位置和观看位置之间的差异的乐谱。
图26是与用于信息传输的眼睛信号控制的便笺相关联的图形的示例。
图27示出使用眼睛信号的虚拟显示“墙”的控制。
图28示出键盘和设备用户的手的相机图像的采集。
图29示出将键盘和设备用户的手的相机图像投影到可由设备用户观看的显示器上。
图30A示出用于选择电子表格内的特定单元格的示例性眼睛信号处理。
图30B示出用于选择电子表格内的单个单元格的图30A所示的追踪过程期间的单个帧
图31A示出基于显示器的区域内的眼睛注视的对象选择的不确定性的示例。
图31B示出经由重叠的数字位，选择显示器的区域内的对象的示例。
图31C示出经由重叠的方向箭头，选择显示器的区域内的对象的示例。
图32示出校准期间的焦点的连续跟踪。
图33示出形成优势眼空间图的过程。
图34示出确定用户的视轴的过程。
图35示出用于以等腰三角形的形状的对象的预期显著性图。
图36A示出从显示的元素的区域内选择多个元素(即，名称)的一对扫视眼睛运动。
图36B示出将附加元素(即名称)附接到先前选择的元素的附加扫视眼睛运动。
图36C示出在所有所选元素上附接名称并且执行动作的扫视眼睛运动。
具体实施方式
眼睛信令期间的时序考虑
为了解释眼睛运动以辨别用户意图，算法过滤器必须考虑眼睛的神经肌肉控制的生理约束(例如，运动范围、最大速度、水平和垂直轴的运动差异)以及快速眼睛运动和眨眼引起的视觉信息的认知处理的中断。视野的认知处理的这些中断是在眨眼期间的扫视或停止期间(即，短暂的黑暗期)，无普遍的运动模糊地观看我们的环境的必要组成部分。人类通过抑制扫视和眨眼期间的视网膜信号的视觉处理，避免了这种中断。这些神经过程分别被称为扫视抑制和眨眼抑制。
扫视抑制(也称为扫视掩蔽)实际上在启动扫视运动前开始。该观察被用作中枢神经系统调解扫视抑制的至少一部分的证据。扫视抑制防止在快速眼睛运动(包括扫视)期间会出现的运动模糊的意识。扫视抑制的简单示范(以及在1898年，由Erdmann和Dodge首次科学观察到该现象)是进行眼睛运动的个人在镜子中不能观察到快速的眼睛运动，而观看该个人(或镜子)的其他观察者可以清楚地看到这些运动的事实。
扫视抑制通常持续100-150毫秒，当快速眼睛运动停止时则迅速终止(即，在几毫秒内)。扫视抑制通常在扫视结束时、或者在人工条件下，当投射到眼睛上的图像显示无进一步运动时停止。在视觉场景的移动期间快速终止抑制的示范是通过将场景移动的速率与(扫视)眼睛运动简单匹配，当在快速移动的交通工具内向外看时，个人观看对象的能力。甚至视网膜上的数毫秒的静止图像投影也允许感知这种快速移动的场景。这些观察结果表明，在扫视抑制的控制或维持中，包含视网膜级的神经处理(即不同于中枢神经系统)。
在目标位置处的扫视着眼后约50-60毫秒的短暂时间内，包括瞳孔、晶状体和角膜缘的眼睛内的结构继续以衰减振荡的形式移动。如果由大脑处理，则特别是晶状体的运动在到达视网膜时将继续导致基于运动的图像模糊。为了避免这种运动模糊，扫视抑制持续到该衰减眼睛内结构的振荡运动的时期。
眨眼抑制禁止意识到当上眼睑覆盖瞳孔时的时间期间的“黑暗”、防止大多数光到达视网膜。眨眼抑制发生，无论眨眼是自主的还是非自主(即自发或反射式)，并且通常双眼同时发生。即使通过绕过眼睑的遮光功能使光人为引入视网膜中，也会发生眨眼抑制。
眨眼抑制在眨眼之前开始并且持续200-250毫秒，在上眼睑停止覆盖瞳孔后结束。最大上眼睑速度不同，由方向而定；在向下方向上达到700°/秒，向上方向达到2000°/秒。诸如瞌睡的因素会影响最大眼睑速度和眼睑保持闭合的持续时间。
在人类中，眨眼平均每分钟发生15-20。使用刚才所述的眨眼抑制持续时间的范围，由于约5-8％的该时间眨眼，导致个人功能上“失明”。按照类似的推理方式，在典型的条件下，个人每分钟执行约40次扫视运动。使用刚才所述的扫视抑制持续时间的范围，由于该时间的约7-10％的扫视抑制，导致个人功能上“失明”。这些抑制的总体效果导致典型个人在该时间的约15％为功能上“失明”。该值可以根据包括个人、认知负担、所谓的“白日梦”、疲劳、注意力、压力、药物、照明以及正在执行的任务(例如阅读、谈话)的多个因素而改变。在一些应用中，特别相关的是观看显示设备时眨眼速率的显著减小(高达5倍)。
在人类中，还存在眨眼和扫视之间的交互。如果眨眼紧跟(例如，最多200毫秒)在扫视之后，则扫视的加速度、峰值速度和减速度减小。另一方面，如果眨眼之后是扫视，则对眨眼动态没有显著影响。最大影响由在扫视前约100毫秒的眨眼产生。最终结果是延长的扫视持续时间，比基于行进的扫视距离计算的持续时间长了约1/3。因此，用于将眼睛运动分类为扫视的阈值速度可以从大于30°/秒的典型(即，之后无眨眼)阈值降低到大于20°/秒的眨眼后阈值。
眨眼还会影响随后的聚散运动，尽管该效果的至少一些是由于在聚散期间，对小的扫视运动的影响。用于眨眼对扫视的影响的基础的一种可能性是抑制眨眼期间的共享的前运动神经回路影响启动扫视的过程。这种共享神经回路也会在诱发注视的眨眼中起作用。在人类和其他哺乳动物中，注视的大位移使眨眼的可能性增加到约20％。
在眼睛信令过程期间的示例性实施例内，功能性失明会影响预期的用户反应时间。眼睛动态的这种中断和变化需要考虑眼睛信号选择标准。这是因为眨眼的发生通常不与眼睛信号的形成同步而产生。另外，在一些眼睛信号序列期间，可以散布诸如矫正扫视的快速运动，而其他眼睛信号序列期间不散布。此外，在扫视之前发生眨眼改变扫视动态。因此，为了最佳的眼睛交互性能，当控制用户感知(如果由用户采用的话)、选择过程和/或控制所显示的对象出现或消失的时序时，必须检测和考虑眨眼和其他功能失明的其他时段。
作为具体的示例，如果在包含紧密配对的顺序扫视眼睛运动的激活序列期间，以设计成吸引注意力的方式，在扫视结束时立即引入对象，则对象引入的时序必须考虑存在的任何眨眼。如果眨眼正好发生在扫视之前，则附加扫视持续时间(即，超过对由扫视行进的距离计算的持续时间)迫使需要延迟显示新引入的对象。同样重要的是，例如，不会将眨眼后的扫视运动的增加的持续时间错误地解释为可以是不同激活序列的组成部分的某种形式的平滑追踪、眼前庭运动或固定。
一般来说，基于事件时序的控制或测量的眼睛信号必须考虑到在扫视和眨眼抑制期间缺少视觉处理。这些包括简要显示菜单选择、用户决定的时间、反应时间的测量、提供激励或避免潜意识眼睛运动的刺激、消除产生间隙效应的目标的时序、引入或改变受益于变化视盲的图像的时序、实现支持说书者利用视觉抑制来改变场景中的元素的工具等。
与扫视运动相关的另一考虑涉及图像位移的扫视抑制和/或所谓的“空白效应”。图像位移的扫视抑制是允许在扫视的目标位置处的一定量的移动不被视觉系统感知的认知过程。未检测的情况下移动对象的区域可达2°，大致为典型的中心窝视野的大小。过程被认为涉及视觉短期记忆和/或跨扫视记忆。
值得注意的是，通过在重新引入对象之前插入50-300毫秒的“空白”视区(无目标对象)来增加检测对象运动的能力。认为允许扫视后的对象的检测位置中的小的“倾斜”量避免了由预期和实际目标位置之间的任何差异导致的运动的持续感知。
在示例性实施例中，在眼睛信令期间，可以使用空白效应来产生(在需要时)在扫视期间平移目标区域中的一个或多个对象的位置而不引起注意的优点。相反，可以使用插入简短的空白视区来帮助将用户的眼睛“引导”到目标位置处的移动对象。例如，这种移动对象可以是显示一个或多个(即，N个，“N”是通常大于零(0)的正整数)对象的初始阶段，以产生由基于平滑追踪的、有目的的跟随由用户选择的对象检测的N中之一的选择。
扫视可变性
短距离扫视易于过冲(overshoot)，而较长的扫视(大于约5°)易于未达(undershoot)目标。长距离扫视通常覆盖目标距离的90％，然后是10％的矫正扫视。向心扫视往往比离心扫视更准确。在未达或过冲之后的校正可能具有长或短的延迟。矫正扫视可以被快速地执行(即，动态未达或过冲)或需要几百毫秒(即，滑降未达或过冲)。目标属性，主要是亮度，会影响矫正扫视的延迟。当亮度低于中心窝阈值时，延迟会显著地增加。
当指向非视觉目标，或者存在某些病态时，扫视在黑暗中往往会变慢。扫视持续时间还会受目标以外的视觉刺激和其他扫视顺序影响。
总之，在示例性实施例内，用于检测定向的扫视移动的存在的算法滤波器必须考虑这种延迟和可变性。此外，可以控制亮度以优化扫视(包括矫正扫视)和其他形式的眼睛运动的速率。在整体亮度可能不受控制的情况下，算法滤波器可以在识别扫视序列时考虑提高或降低亮度的一般效应。
在下文参考例如“双重”或“单一”扫视运动的描述内，在存在其他眼睛运动，包括其他形式的扫视的情况下，必须识别和区分这种有目的的扫视。这些中间眼睛运动包括一个或多个(通常是短距离)矫正扫视、眨眼、微振动、漂移等。
另外，如上所述，瞳孔和(通常在稍微较小程度上)角膜缘会呈现出随着扫视眼睛运动到达其目标目的地而表示为阻尼振荡的位移。这些运动的主要振荡频率通常为约20赫兹(即50毫秒的周期)。通常可以检测到约50-60毫秒的阻尼振荡。这导致观察到1-3个这种阻尼振荡的能力。在这时段期间，扫视抑制持续。否则，运动模糊将会出现在观察场景内。
无感知的扫视序列
在扫射抑制期间，包括在扫视着眼期间发生的阻尼振荡期间，不会有感知。因此，在示例性实施例内，在被设计成传达意图的扫视序列期间，其中，感知的目标对象不是传达意图的必要成分，发生阻尼振荡的时间也不是传达意图的必要组成部分。换句话说，如果需要感知，那么用户功能失明期间的感知时间(200-250毫秒)以及在扫视着眼期间的阻尼振荡时间(50-60毫秒)将限制用于传达意图的有目的的眼睛运动的速率。不需要感知消除了对这两个时段的需要。
在眼睛信号语言内的示例性实施例中，经验丰富的用户可以执行被设计成传达意图的多个扫视，完全无需感知作为扫描序列的目标的每个或任一对象。如果在用户体验的帮助下，不执行感知，则可以大大减小扫视间的间隔，并且可以更快地传达一个或多个用户意图。
经验丰富的用户通常会越来越依赖记忆引导的扫视来传达意图。尽管对记忆引导的扫视仍然要求视觉目标，但不需要完全检查目标对象(即，要求完全感知)。此外，选择目标经常位于副中心窝或周边视野中。如在下文名为“高分辨率渲染高相关对象”章节中所述，尽管在这些观点内，通常不能良好地感知对象细节，但仍然强烈意识到对象位置。
在示例性实施例中，可以在未完全感知对象的情况下扫视至第一对象。然后，可以在任何时候未完全感知第一对象的情况下，对第二对象执行动作和/或后续的扫视。只要基于扫视眼睛运动的弹道分布确定扫视着眼位置，就可以执行与移向第一对象相关联的动作。因此，可以在有意识知晓下一“有目的”(即，传达意图)眼睛运动(或传送意图的其他形式)前，可以执行一个或多个动作。
甚至可以在感知之前移除第一对象的显示，从而产生所谓的“间隙效应”。如本文其他地方所述，间隙效应具有从观看(或完全感知)第一对象“释放”眼睛，进一步促使朝另一对象的快速扫视转变的效果。
多选项(例如键盘)的双重扫视选择序列(DSSS)
如前所述，在眼睛信号语言内，可以使用平滑追踪眼睛运动来通过视觉跟随所选择的追踪对象，实现N中之一的选择。这种机制有助于在形成眼睛信号期间，当通过有限次选择(通常为2至8)执行相对较少数量的顺序选择序列(通常为1，本文仍称为“序列”，但可多达几个)时特别有效的眼睛运动的某种“流动”。这些序列和/或选择数量的最大值并不意味着限制使用基于平滑追踪的机制；相反，它们是基于舒适有效的使用的建议。
当选择次数N变大时，使用快速的眼睛运动进行选择变得更加生理有效(即花费更少的时间和精力)。较大的N选择过程的标志性和特别有用的示例是打字。在英文中，这需要从26个字母、10个数字和/或多个其他“特殊”字符(例如“$”、“@”、“#”等)、标点符号(例如“，”、“.”、“？”等)和功能/命令(例如，大小写、移位和控制键，结束打字等)中进行选择。
在下文的描述中，对“键盘”的引用可以包括通常用于打字的标准(例如，所谓的QWERTY)键盘、替代的打字布局键盘、通常用于数字输入的小键盘，或者可以包括例如字母数字(即字母和/或数字)字符、标点符号、方向箭头、所谓的特殊字符、图像、功能键、绘图功能、文本编辑功能、快捷方式(即功能集合)等的任何其他选择矩阵。键盘可以适应可能选择的特定集合，诸如周几、月份、具有预定增量(例如，每隔15分钟)的时刻、一国的州或省、颜色，字体选择和/或尺寸、联系人、软件应用、机器控制功能等。键盘或选择矩阵可以是实体(即，物理对象)或虚拟(即，投影为显示器的一部分)，或实体和虚拟键的组合(投影在中央显示设备上的键以及位于在显示区外的另外的物理键)。
此外，“键盘”(即，选择矩阵)内的各个键可以表示较高级想法和/或概念。键盘选择可以表示单词、短语甚至完整的句子。键可以包括诸如与中文符号/含义相关联的图形肖像图片或图表。键还可以包括不与任何个人或特定语言相关联的媒体字形，包括诸如通用的那些静态或动态(即，动画)。由于先前输入的键、识别的用户、时刻、仅当被观看时和/或其他场境元素，符号、图像和/或字形可以随时间改变。
当使用眼睛打字时最重要的约束是在快速眼睛运动期间能确定注视矢量的精度(例如，不使用统计方法，诸如长时间停顿时段的平均值或“放大”注视区域花费的时间)。系统的注视精度(包括存在微振动、微扫视、漂移和其他生物学方面)限制了使用扫视眼睛运动在选择过程期间能够指向的不同地区或区域的数量。克服对高受限显示区域的限制的一种方法是使用多次扫视眼睛运动来进行一系列选择内的每个选择。这可以被认为是“选择树”，其中，较小的分支允许从整体选择组的较小子集进行选择。
可以级联三(3)个或更多顺序扫视眼睛运动来指定选择，特别是使用取决于初始扫视选择动态地改变的策略；然而，这通常仅对于非常大的N(例如>50)才需要。因此，双重扫视选择序列(DSSS)更易于使用，并且在下文详细地描述。通过三(3)或更多扫视使用相同的一般原理来进行每个选择。
对于所有可能的选择，也不必使用相同数量的层(或具有选择树结构的“分支”)。通常使用的和/或“重要的”选择可以被设置为要求激活更少的扫视。如下面更详细所述，图6是布局270的示例，其中，使用双重扫视序列进行大多数选择，但是使用单一扫视眼睛运动来执行与选择所谓的“回车键”273相关联的功能。
当开发眼睛信号组成部分时必须考虑的第二约束是允许用户搜索并找到“目标”位置。在一些情况下(即通常涉及少量的选择)，经验丰富的用户能够基于这些记住的位置，知道公共选择序列的位置并执行记忆引导的扫视。然而，在大多数情况下，必须允许用户在执行选择之前搜索潜在的目标选择。测量和检索通常涉及扫视眼睛运动。因此，眼睛信号组成部分必须1)允许任意多个搜索眼睛运动，以及2)能够区分执行选择过程的有目的的扫视运动。
此外，当扫视到目标位置时，无论是指示“有目的”眼睛运动还是简单地在视觉上探索环境，可能会发生一个或多个矫正扫视和/或其他形式的眼睛运动(例如微振动、振荡)。这些通常是不自主的眼睛运动，其可以发生在扫视和/或其他形式的自主运动(例如，平滑追踪、眼前庭、聚散)之间。设计成确定注视目标位置(以及眼睛运动的时间和其他特性)的算法必须允许这些形式的中间运动。
例如，当扫视到目标位置时，(预测或测量的)初始扫视眼睛运动可能未落在离目标的预定阈值距离内。然而，一个或多个矫正扫视会使得用户的注视逐渐接近目标。如果由于一个或多个矫正扫视，确定注视在离目标的预定阈值距离内，则认为目标被选择并且可以启动相关联的动作。
图1A是限制为4(水平)×3(垂直)眼睛注视选择网格200的DSSS英文字母键盘的示例。每个网格位置包含4个字符/功能或选择规格(203a、203b、203c、203d)，其识别字符/功能网格位置内的四(4)个字符/功能中的一(1)个。表示字符/功能或选择过程的图标通常位于网格位置的中心区域，提供中心焦点(即，远离可能溢出到相邻网格位置的边缘)，用于精确跟踪网格位置内的眼睛运动。
通过首先移动(通常使用扫视眼睛运动)到包含期望字符/功能(以及三(3)个其他字符/功能)的网格位置，然后扫视到对应于字符/功能网格位置内的字符的位置的选择网格位置(203a、203b、203c、203d)，指定任何字符201。然后，可以通过回扫视到包含下一个字符/功能的网格位置并随后扫视到对应于网格位置内的字符的位置的选择位置(203a、203b、203c、203d)来选择下一个字符。对任意多个字符或功能，可以重复这些配对的眼睛运动。
作为说明性示例，图1B描绘了使用眼睛信号和图1A所示的键盘布局来键入单词“boy”的眼睛运动序列。扫视眼睛运动用虚线(例如205)表示。眼睛运动序列通过选择包含字母“b”的网格位置204a开始。然后，通过扫视205至对应于右上象限的选择网格位置203b来识别“b”，因为“b”位于字符网格位置204a的右上象限内。接下来，通过扫视至包含该字母的网格位置204b，然后回扫视到识别“o”所处网格位置204b内的左下象限的选择网格位置203c来指定字母“o”。然后，通过扫视206至包含该字母的网格位置，然后扫视至识别左上象限的网格位置203a来选择字符“y”。
单词的结尾可以由“空格”207或一些形式的标点符号(例如“，”、“.”、“？”等)指定。可选地，通过选择类似于在智能电话和其他设备上发现的特征的“自动填充”特征，可以增加部分单词的完成和/或标点符号的完成。可以预留特殊字符/功能(例如，通常与回车符208相关联的“←”)以执行该功能。可以由为该特征预留的另一特殊字符(如图1A所示的“^”202)触发对其他功能和替代键盘布局的访问。该路径例如可以提供对数字、符号、大小写和其他特征的访问。
图2A和2B示出使用眼睛信号语言打字的键盘布局210的另一示例。在这种情况下，在每个眼睛可选网格位置内，按列排列三(3)个字符(例如211)。一旦观看初始字符/功能网格位置，可以通过分别扫视至上213a、中213b或下213c选择位置来选择网格位置中的上、中或下字符。在该示例中，选择网格位置213a、213b、213c被放置到整个显示器的最右侧。
图2A中所示的布局支持通常具有更大的生理动态范围和控制的优先水平眼睛运动。另外，该布局相对简单且直观，特别适合于初级用户的简单字输入。该布局包括所有二十六(26)个英文字符和例如可以被用来表示录入结束和/或切换到不同键盘布局的期望的“^”功能字符。
图2B示出眼睛运动的另一示例性序列，在这种情况下，使用图2A所示的键盘布局来输入单词“cat”。如图1B中，扫视眼睛运动用虚线(例如215)表示。眼睛运动序列通过选择包含字母“c”的网格位置214开始。然后，特别地通过扫视215至对应于下字符选择的激活网格位置213c识别“c”，因为“c”是网格位置214内的下字符。接下来，通过扫视回网格位置214，因为“a”位于同一网格位置内，然后扫视到识别上字符/功能的选择网格位置213a来指定字母“a”，因为“a”是网格位置214的上字符。然后，通过扫视至包含字母“t”的网格位置，并且最终扫视216至识别位于网格位置中间的字符的网格位置213b来选择字符“t”。
在这些键盘布局中，可能的字符/功能选择的最大数量是字符/功能网格位置的数量与选择位置和数量的乘积。例如，在图1A中，有八(8)个字符/功能网格位置和四(4)个选择位置，总共多达8x4＝32个字符/功能选择。在图2A中，有九(9)个字符/功能位置和三(3)个选择位置，最多可能9x3＝27个选择。
更常见地，对于给定数量的可选网格键盘位置，当字符/功能位置和选择位置的数量最接近于相等时，可以获得最大数量的选择。例如，图3示出3行×4列网格布局220的示例，具有六(6)个字符/功能和六(6)个选择位置，导致总共三十六(36)个可能选择。这允许从英文字母和十(10)个其他特殊字符或功能的所有字母的基于眼睛的选择。六(6)个选择位置被排列为左列223a和右列223b；以及上行224a，中间行224b和下行224c。
在图3中，每个选择网格位置的中心区域中的图标对应于字符/功能选择位置内的相对位置(即，左对右和上、中、下位置)。因此，使用相对位置来选择特定的字符/功能。更常见地，其他机制或视觉指示可以单独地或组合地使用来关联字符/功能选择。这些包括匹配字符/符号颜色、字体、亮度或大小；背景颜色；边界特性和/或其他视觉线索。
当在显示/注视跟踪区域中受到限定时，即使用于基于眼睛的选择的单个附加的列或行的可用性也能大大地扩展单个屏幕内的选择的全部项目。图4A示出5列乘以3行选择网格的示例性布局250。如图3所示，六(6)个选择位置被排列成上254a、中254b和下254c行内的左列253a和右列253b。字符/功能251选自在三(3)个最左列252a、252b、252c中指定的那些。使用此布局，可以经由单个DSSS进行总共9x6＝54个字符或功能选择。这足以同时表示26个字母的英文字母、十(10)个数字、四(4)个导航键(即左、右、上、下)和十四(14)个特殊字符或功能。这种增加的选择在眼睛信号语言中提供了更大的效率和灵活性，以执行诸如大小写、数字输入、屏幕导航、标点符号、更正、访问其他屏幕布局或功能的功能。
即使在相同的眼睛网格格式中，不同的键盘布局也是可能的，因为虚拟地显示字符/功能，并且切换布局只需要切换显示的符号集。例如，图4B是用于5列乘3行选择网格的替代示例性布局。在该示例中，字母字符255、数字256以及特殊字符和功能257被分组在显示器的更加不同的区域内。存在基本上无限多种可能的键盘布局，例如，可以为散文创作、数字录入(例如，数字可以被排列以最小化来回选择位置的眼睛运动)、网页导航和输入、特定的任务(例如，清单输入)、绘图和/或简单的个人偏好而优化。
图5是眼睛信号“虚拟键盘”布局260的另一示例。在这种情况下，排列为4列乘4行眼睛选择网格，以紧密匹配普遍用于手动人机界面(HMI)输入的熟知的“QWERTY”键盘。在该示例性情况下，字符261以与标准“QWERTY”英文键盘的布局类似的顺序排列。由于该布局最初被设计为沿上面的行放置最常用字符，所以沿虚拟键盘的最上行266放置选择位置，以便最小化当选择这些最常用的字符时的眼睛运动距离。
四(4)个选择网格位置266对应于十二(12)个字符/功能网格位置的每一个内的四(4)个可能的从左到右字符位置(总共四十八(48)个可能字符/功能)。除了字母字符之外，该示例性布局还包含导航键(即，左、右、上和下)集群264a、264b；以大写字母“A”表示的首字母大写功能265；单个块262内的空格和标点符号功能；使用类似于在大多数标准键盘上发现的布局的最右列263中的数字小键盘；导致附加的菜单选择的其他特殊字符和功能键202，。
可以使用类似的策略来构建任何大小和形状的眼睛信号键盘布局。不必使用所有可能的DSSS组合(即，一些位置可能是空白的)。选择位置不需要位于任何特定侧上，或者甚至在邻近区域内(例如，它们可以被拆分在最左和最右边界中)。键盘也可以并入更多面的显示系统中，其可以例如包括正在键入的文本和/或最满足用于正进行的键盘输入的搜索标准的项目的字母数字表示和图像。这些文本和图像可以位于键盘周围(即，沿着任何或所有侧)，或者甚至位于键盘布局本身的中心区域内。
图6是限制到四(4)个(水平)乘三(3)个(垂直)网格的DSSS英文字母键盘的示例性布局270，示出具有非连续选择区域的替代选择布局。类似于图1A，最初从显示器270的更中心区域272选择四(4)个字符或功能的集群。然后，通过对显示区域271a、271b、271c、27dd的四(4)个角中的一个的扫视运动，执行四(4)个字符/功能中的一个的选择。四个角中的一个的选择过程有助于直观、不同(即不同的方向)和算法上可辨别的扫视眼睛运动。
图6中的布局270还示出选择树的情况，其中，并非所有选择均在同一选择模式中进行。使用双重扫视序列实现布局270内的大多数选择。可以在选择(即，通过单个扫视)时立即执行与显示器中的最右侧的所谓的“回车”字符273相关联的任何功能。
在使用眼睛信号打字时或在任何其他选择过程期间的反馈不限于视觉显示。可以以音频格式(即，使用合成或说出的语音)提供字符、单词、短语(例如，当设备“猜测”用户意图时)或其他指示。还包含诸如设备振动的短暂时段(例如当用户输入“mistake”时)的触觉反馈。可以单独或组合使用所有反馈模态。在不同的应用中可以使用不同的模态。
显示器外目标
在2015年5月9日提交的申请序列号14/708,234“Systems and Methods forBiomechanically-based Eye Signals for Interacting with Real and VirtualObjects”中描述了通过包括显示边缘附近的目标位置来最大化显示区域内的可选目标的数量的方法，其全部内容在此引入以供参考。可以通过包括全部或至少部分在任何显示区域外的目标位置来扩展该一般方法。
为了向用户提供可视的显示器外目标(即，给予用户“看向某事”)，目标位置可以包括通常在设备用户的视野内的指示(例如，图标、图像、字母数字、符号、显示区域的可视边缘)。这些指示符还可以包括动态组件(独立于主显示器)，诸如一个或多个发光二极管(LED)、可以在设备控制下被接通、关闭或调制的辅助显示器或投射光。
目标(例如，图标、符号、LED)可以被固定在可视表面上。投射的目标或目标的一部分可以包括一个或多个远程光源，其包括一个或多个表面的反射、使用所谓的波导的转向投影、使用一个或多个光纤导向的光、折射光学设备、快门和/或其他光控机构。
显示器外目标也不限于特定显示器的图像平面。例如，显示器外目标可以出现在显示器的图像平面前或后。这允许在确定到显示器外目标的眼睛运动是否是故意的激活序列时考虑聚散(以及在年轻用户的眼睛内的晶状体形状的可能变化)。如果显示器外目标以不同深度呈现，则在用于特定目标的选择标准内可以使用聚散度(即深度感知)。
显示器外目标也可以是用户移动时(相对于整个环境)移动的用户的部位(例如，拇指、手指、手)。另外，显示器外目标可以由用户携带(例如，手套、戒指、服装的一部分)。虚拟显示器外目标可以显示在诸如附近手机或平板计算机的单独的显示设备上。
如果机械上可用，则当选择时，显示器外目标可以(可选地)提供某种形式的用户反馈(例如，打开或关闭LED、光色改变)。在显示器外目标不可更改时(例如，粘贴在表面上的“贴纸”图标或图像)，反馈可以在显示器的其他地方提供，包括在副中心窝或周边视野中。
在许多情况下，特别是对于有经验的用户，不需要特定的显示外反馈。双重扫视选择序列(DSSS)是通常不需要显示器外目标反馈的扫视眼睛信号语言组成部分的示例。如果在DSSS期间，显示器外目标的扫视用于激活，则所得到的动作(例如，显示所选择的字符或图像、语音生成字符或词)通常足以通知用户激活选择已发生。
图7是具有在显示区域的四(4)个角外的四(4)个附加目标位置281a、281b、281c、28Id的4列280a乘3行280b显示选择矩阵的示例。在图7中，用虚线示出用于显示器外目标281a、281b、281c、281d的空间区域。可以使用所显示的选择和显示器外目标281a、281b、281c、281d的组合来例如使用DSSS，从整个英文字母表选择数字和多个特定字符(包括被预留以指示序列282终止的特定字符)。当与图6比较时，可以看出，在四(4)个角281a、281b、281c、281d处的显示器外目标允许在4列280a乘以3行280b选择矩阵内的16个附加可能的选择(即，四(4)个附加显示的矩阵位置的每一个内的四(4)个选择)。
图8示出采用八(8)个显示器外目标位置291a、291b、291c、291d、292a、292b、292c、292d的另一示例性布局。类似于图7，显示的目标包括4列乘3行选择矩阵，以及显示器外目标位置291a、291b、291c、291d、292a、292b、292c、292d以虚线示出。显示的可选项目包括英文字母的所有字母、十(10)个数字，以及特殊字符和功能，包括通常被用来表示输入完成的所谓“返回”(或“回车”)295键。
使用图8中的布局，数据输入包括首先指定在中央显示的4列乘以3行矩阵内的一组多达四(4)个可能选择，然后扫视到移动到四(4)个角显示器外目标291a、291b、291c、291d中的一个以指示四个之一的选择。类似于图7所示的过程，这足以识别所显示的选择矩阵内的任何字符或功能。
然后，用户可以可选地通过随后扫视到显示器外“修改键”目标292a、292b、292c、292d中的一个来修改选择。类似于典型的键盘，这些修改键目标可以执行补充功能，例如“SHIFT”(通常显示为向上箭头并经常用于大写)292a、“控制”(缩写为Ctrl)292b、替换(缩写为Alt)292c或通常与数字相关联的“功能键”(缩写“F”)292d。类似于标准键盘，可以在显示的选择矩阵内指示经由修改而可用的可能选择，诸如与SHIFT数字位键294相关联的可能选择以辅助初学用户。
由在中央显示的选择矩阵内的任何地方的返回扫视完成选择。如果用户扫视到选择矩阵而不扫视到修改键目标位置292a、292b、292c、292d，则不对初始字符/功能选择进行修改。对修饰键目标的顺序扫视可用于指定多个修饰键(例如Ctrl和SHIFT)。如果需要，修改键目标292a、292b、292c、292d可以在位置目标291a、291b、291c、291d之前(或之后)等效地选择。
图8中所示的方案允许使用眼睛信号来选择标准键盘上可用的字符和特殊功能的几乎每种可能的组合。在标准QWERTY键盘的右侧可用的特殊字符可用在显示的选择矩阵的右下角区域293内。这种灵活性允许使用眼睛信号方便地替代标准键盘输入(例如，当在网页内浏览和响应时)。
显示器上和显示器外目标位置的组合可以显著地增加可能选择的数量，特别是在占用相对较小部分视野的佩戴式显示器内。例如，使用图8所示的具有四(4)个角中的一个的四(4)个显示器外目标和四(4)个显示器外修改键的目标4列×3行显示选择矩阵，当被限于单个(可选)修改键时，共有12x4x4＝192个可能的选择可用。第二(即4个中的一个)可选修改键的可用性进一步使可能选择的数量增加到768个。
因此，当从大量可能性进行选择时，这种一般策略特别有用。这可能发生在打字(如图7和图8所示的一次一个字符)、选择单词或短语、输入字母数字数据、从大量图像或数据集(特别是可以以选择树结构排列或呈现)中选择、从项目列表选择等时。
更常见地，显示器外目标的数量可以与单个可选择区域一样小，使得可以在设备佩戴者的视野内可靠地解析尽可能多目标。显示器外目标可能与显示器的外围区域重叠、与显示区域相邻或远离一个或多个显示区域。目标区域的大小可以变化，例如包括扫视显示区域的一侧以外的任何地方。显示器上和显示器外目标区域的形状也可以变化，包括例如以下任何形式的任何一种：正方形、矩形、六边形和圆形。
激活目标的周边和/或显示器外位置的另一显著优点是避免显示区域内的意外激活。当选择特定的字符或功能时，用户可以采用与所需一样多的搜索眼睛运动来找到所需的选择。由于“激活”仅作为朝周边(即远离显示区域)的眼睛运动的结果而发生，所以在搜索时几乎没有激活机会。一旦激活发生在外围，仅通过返回到中央区域才启动新选择。这在空间上和方向上将搜索和初始选择过程与激活任务分开，显著降低了无意识激活的可能性。
如果用户倾向于产生过多的无意识激活(例如，作为由于遮挡引起的不良眼睛跟踪的结果)，则激活291a、291b、291c、291d和修改键目标292a、292b、292c、292d可以被放置到更远离显示区域。例如，随着用户获得经验并减少无意识激活的次数，可以使这些目标更接近显示区域，减少眼睛行进的距离，从而减少选择次数和眼睛疲劳。
多选项的单一扫视选择序列(SSSS)
当扩展的视野可用于显示和眼睛信令时，可以以每次选择仅需要一(1)个眼睛运动(即单次扫视)的方式排列N选1。通过远离选择扫视到可以执行后续选择的新集群，SSSS利用以集群排列的选择集，使得：
·能够选择具有集群的特定项，以及
·指示选择行为。
图9A是显示布局300的示例，用于选择通过单个扫视，执行每个选择(即，月、日)的日期。最左集群301被用来指定月。中间集群302被用来指定月内的天。最右边集群303指定动作。可以通过在远离中间集群302内的天的扫视后，远离左集群301内的月扫视向最右侧的集群303内的动作指定任何日期。
在图9A中，示出眼睛运动的示例性序列以输入日期“6月4日”。扫视眼睛运动显示为虚线。离开月份“六月”的扫视选择月份。离开数字“4”的后续扫视选择天。朝向动作“ENTER”(“输入”)305b的扫视允许将选择的日期应用于应用的数据输入序列，其中，应用可以例如改变显示以允许输入附加信息。
在图9A中，可以选择的替代动作项包括回到数据输入序列的“BACK”(“后退”)305a，允许例如重新输入先前问题的答案。在该示例中，在任何时候向“SKIP”(“跳过”)305c位置扫视强制应用在无日期输入的情况下继续。由于仅在离开集群的扫视时做选择，可以易于在集群内进行任意多个探索性眼睛运动来选定所需的选择。可以通过简单地扫视回日期集群来执行修改未正确选择的月份。数字集群306内的“←”符号可以被预留用于例如特殊功能，诸如请求不同的键盘布局。
图9B示出用于输入日期的另一键盘布局307。当垂直眼睛运动更受限时(例如，为了便于沿着护目镜的顶部或底部区域显示)和/或如果期望具有表示根据单位数字排列的天的数字输入(对一些用户来说稍微更直观)，可以使用该布局。图9B中的眼睛运动的示例性SSSS指定日期5月8日。
图10A示出例如当眼睛运动的水平范围受限时可以使用的又一键盘布局310。在这种情况下，需要一(1)个额外的扫视来选择将日指定为两(2)个独立数位312、313的日期。从左到右，集群允许选择月311、日312的十位数、日313的个位数和动作314。示例性眼睛运动序列315表示使用SSSS选择日期“12月25日”。
图10B是类似于图10A所示的键盘的变型布局316，除了垂直运动范围更受限(即，仅三(3)行)外。在该布局316中，由于简单地绕过十位集群312会被解释为隐含的前导零，因此，在用于选择日的十位数中，不包括“0”。指定“12月7日”的所示的眼睛运动SSSS317是这种情形的示例。
通过显示选择集的一部分或全部的重复集合来处理选择集重复相同的SSSS(例如，字母、数字、功能)。通过在集群之间前后交替或在集群之间转换来选择任何长度的序列。
图11A示出可以被用来例如拨打电话号码的并排标准数字小键盘布局320。图11A中示出的键盘321、322的布局如在典型的电话上找到。替选地，将包含“789”的行与包含“123”的行交换使布局转换为典型的计算机键盘和计算器的布局。
通过在小键盘之间来回扫视指定任何长度的数字。任一小键盘可以用作数字输入的起始点。当为特定应用(例如，电话号码、密码)输入足够数量的数字时，或者当输入特殊字符(例如“*”或“#”)时，输入会停止。图11A所示的SSSS眼睛运动路径323是输入数字“148766”的示例。
图11B示出用于数字输入的替代布局324。该布局324既简单又直观。通过在数字和特殊的“←”字符/功能的两个线性行325a、325b之间来回扫视输入数字。受限的垂直尺寸允许策略性地放置该布局324以减少遮挡，例如沿着显示器的上下边缘。图11B中的SSSS眼睛运动路径326是输入与图11A中相同的数字(即，“148766”)的示例。
图12A示出用于计算器的SSSS布局330。在该示例中，重复的计算器布局331a、331b并排放置。可以通过在复制显示331a、331b之间来回地交替眼睛运动来选择数字和功能。虚线332示出用来计算乘法34和85的结果的眼睛运动。在最后扫视到“＝”符号333后，立即显示339该计算的结果(即，2890)。
图12B示出显示器的动态控制可以帮助用户输入过程的简单情况。使用与图12相同的计算器布局330，左侧331a和右侧331b计算器显示最初可以不存在用于“/”、“*”、“+”、“-”和“＝”的符号(如图331a所示)。这是因为这些符号不能被用于执行缺少数值的功能。当选择第一数值(例如，在面板331a中的“2”)时，在对侧面板331b中(例如，在扫视眼睛运动334期间)立即显示335算术运算符。此时，由于在提供算术运算和附加数字信息之前不能执行其功能，因此尚未显示336等号(即“＝”)。
即使当顺序输入为相同的形式时，SSSS显示也不必相同。图13示出为快速输入数字而优化的科学计算器的示例性布局。在垂直方向中，上341a和下341b显示器内的网格位置的内容是彼此的镜像。经常使用的数字彼此靠近，占据上341a和下341b显示器的中心内行342c、343c。常用函数填充中间行342b，343b。较少使用的函数和其他运算位于远离中央显示区域的行342a、242b。这种构成支持更短、更快速的眼睛运动以做出更常见的选择(特别是在垂直方向中)。外排中不常使用的特征通常需要更长的眼睛运动。
使用图13所示的眼睛信号345的示例性计算349计算：sin(30°)/4。除了通常在科学计算器上常见的算术函数和其他运算(例如，清除显示，清除输入)外，可以通过眼睛发信号至适当的位置344来建立标志和其他设置条件，诸如三角函数将度或弧度假定为单位。
图13也是对手动(或一些其他形式的)输入优化的布局对于眼睛信令不一定最佳的概念的示例。因此，基于眼睛信号产生的速率、使用的容易性和/或眼睛疲劳，基于一个或多个手指的运动(例如，数字小键盘)的设计布局对于眼睛信令不是最佳的。
图14示出用于QWERTY键盘的SSSS布局350的示例。在该示例中，总体布局350的顶部351a和底部351b部分在垂直方向上是彼此的镜像。这允许沿着标准QWERTY键盘的顶部找到的经常使用的字符的重复行352c、253a位于离彼此最近。标准键盘的中间行被放在重复键盘的上351a和下351b部的中间352b、353b。通常较少使用的字符的行位于离得最远的行352a、353c中。图14中的眼睛信号345示出输入单词“HELLO”后输入空格字符(即“_”)以准备下一单词。
经验丰富的设备用户可以知道布局内的选择位置(即，基于记忆)。在这种情况下，可以使用空间记忆来通过消除搜索眼睛运动并且简单地扫过一系列选择，进一步加速选择。可以在算法上识别在较大的选择性扫视结束时发生的小的矫正扫视(例如，行进小于阈值距离的扫视运动)并且不被认为是不同的选择。这些记忆引导的选择序列对于较短的、熟知的系列，诸如电话号码、密码、常用名称等特别有用的。
图15A是数字小键盘布局360的4行×3列的示例，其可以被用来通过每一数位单次(通常记忆引导的)眼睛运动来输入数字序列。由于眼睛信号语言通常不依赖于暂停(例如，执行“重复”操作)，所以当要求重复输入(例如，重复数位)时问题发生。这可以通过提供“重复”选择362来解决。重复的值或功能的输入可以通过从输入扫视到重复选择362位置来执行。如果值或功能需要进一步重复，则可以使扫视回到输入或功能的初始位置。对于长时间的重复，可以重复这种来回过程任意次数。
在替代实施例中，在“重复”功能362的位置处显示的图像可以是可以重复的数位(或其他字符/功能)。这是动态控制显示的示例，其中可能选择取决于先前的输入而改变。一旦进行选择，重复位置362显示选择的重复图像，使得其选择导致重复输入。可以以“不可见”方式进行重复位置362的动态改变(例如，如本文别处所述)，以便不引起关注和相关的非自主眼睛运动。
图15A示出以虚线361所示的输入数字“15664”的示例性眼睛运动顺序。该示例包括输入使用“重复”位置362输入的重复数位(即，“6”)。可以使用指定位置363(在许多操作系统中通常指定为“返回”)来结束数字输入。例如通过简单地终止363并重新进入序列来处理在这些短序列期间的错误输入。在指定诸如电话号码的已知多个选择(使用国家/地区代码识别确定数位的数量)时，“返回”位置363可被用来启动拨号或者替代地终止任何序列而不拨打输入的号码以避免误拨。在后一种情况下，拨号会在输入最后数位时自动进行。
图15B是用于通过每一数位单次扫视(通常由记忆引导的)眼睛运动来输入数字序列的数字小键盘的替代的3行×4列显示布局365。例如，可以使用该布局来利用可用于测量水平(相对于垂直)眼睛运动的通常更大的精度和范围。
可以使用便于记忆引导的眼睛运动的简单的显示布局来从数字位、字母数字字符的子集、可以表示功能的图标、普通菜单序列、允许选择个人组的人的面部或其他图形表示等进行选择。
交互式显示器可以没有背景(例如，在增强现实显示器的情况下)、具有不同的背景，或(例如通过控制透明度、亮度、颜色等)覆盖在其他图像或视频上。例如，显示组件可以被位于用户的视野内的中心或完全外围，仅在需要时使用。
显示器也可以是静态或动态的。动态显示可以加速和帮助用户输入。例如，如上所述，当使用计算器(如果正常序列是输入数字然后是运算)时，可以暂停用于运算的符号(例如，_、-、*、/)，直到输入至少一个数字为止，并且可以暂停结果符号/选择(例如等号)，直到有足够的信息以计算结果为止。当输入电话号码时，当打算输入最后一个数位时时，显示屏会改变(颜色、亮度等)，并且在输入后自动进行电话连接。在数据输入过程期间的不同阶段，可以以一种或多种方式突出显示最常用和/或重要的选择(例如，控制亮度、颜色、透明度、背景、边框等)以引起注意。
多个和/或可移动激活目标
在另外的示例性实施例中，期望将激活目标远离其通常(即通常由记忆引导的扫视选择)位置移动到显示器上的另一位置，以指示有关所做的选择的一些特征或特性。附加或替代地，在选择(两个或以上中)特定目标不仅指示激活而且还指示N选1的情况下，可以显示多个激活目标。
图16A和16B示出可移动激活目标，其中，目标激活位置373a、373b指示在选定数字的面板372内插入各个数字位的位置。所选数字序列272例如能被用来指定电话号码、个人识别号码、信用卡号码等。从包含十(10)个十进制数位371，以及被用来进行校正的“退格”字符375以及可以被用来表示数值输入序列结束的“回车”字符376的数字小键盘370，在眼睛信号语言内选择数字。
在图16A中，从选择第一数位(即本例中的“3”)开始输入一系列数字。通过执行从数字370的选择阵列中的“3”到数字显示区域372内的激活位置373a的扫视眼睛运动374，将“3”记录为第一数位。此时，如图16B所示，激活位置373b向右移动一个数位的宽度，并显示刚刚输入的“3”。这向用户提供该数位已被记录，并且系统已准备好显示器上的该位置处的下一数位，以及由新激活目标373b指示的数字面板372内的位置的视觉反馈。
图16B中所示的示例性序列中待输入的下一数位是“5”。设备用户可以任意多个眼睛运动，在数值小键盘区域探索下一数位、浏览数值小键盘外的环境或直接扫视377到所需的数位。当存在从期望数位回到新激活目标位置373b的扫视眼睛运动时，下一数位的激活发生。
对任意长度的数值输入，可以重复接受输入并且相应地平移激活目标的位置的过程。可以从输入预定多个输入或输入特定序列(例如，“回车符”字符376)来确定序列的结尾。可以使用相同的策略来输入字母数字数据、多个选择(例如，检查)问题的答案、一系列词或短语、来自符号或图像集的选择等。
包括图1至8在内是有多个激活目标的情形的示例。在这些示例中，进行N选1以指定在激活时要选择一组字符内的哪个字符。当从字符组中选择音节、单词、短语、数字、图像、文件名、数据集、符号、图标、字形、机器功能、菜单选择、所应用的参数或特性、软件应用等，可以实现类似的策略(即、从N个可能性中选择一个并激活)。此外，组可以被集群以便于找到初始选择和/或激活目标的方向以使HMI更直观。例如，当从国家内指定州或省份时，根据其在国内的地理位置，在选择矩阵内空间上排列选择(例如，相对于字母顺序)。作为另一个示例，当从一系列软件应用中选择时，涉及显示视频的应用都可以被定位，使得使用向下方向中到激活目标(即，在显示器的下部)的扫视信令来选择它们。
指定激活或“(GO)”对象
在最通常的情况下，眼睛信号语言可以使用跟踪眼睛运动来通过现实世界对象和一个或多个显示器上的虚拟对象的任意组合来辨别用户的意图。包括一个或多个显示器上的虚拟对象的位置的特性对于设备或设备作为其一部分的系统是已知的，如在经由网络连接的远程处理器、服务器或存储设备的操作中。因此，设备易于指定针对一个或多个虚拟对象的眼睛运动的含义。
然而，设备佩戴者的环境中的现实世界对象的特征(包括位置)通常不受设备控制。例如，在会议室设置内的设备用户观看的对象与驾驶汽车时所看到的对象显著不同。因此，眼睛信号语言必须能够适应这种现实世界的变化。这包括适应不使用设备控制显示来辨别用户意图的情况。
如上所述，可以提供听觉或其他反馈来识别可能的选择或何时进行现实世界对象的特定选择。在这种情况下包括的重要的方面是做出或激活所选择的动作的识别的眼睛运动。换句话说，没有显示器，什么起到激活或“go”图标的作用？
在示例性实施例中，这导致一个或多个可分配的“go”对象的概念。换句话说，现实环境中的一个或多个对象可以永久或临时地被用作一个或多个“go”图标。当使用显示器时，向识别的现实世界对象分配功能方便地适合于眼睛信号语言的语法，该语法包括用户观看具有或不具有视觉增强、信号、激活或显示生成的转换图形的现实世界对象。
在示例性实施例中，可以通过首先观看对象、扫视到显示器上的“揭示”图标，然后扫视到执行将现实世界对象耦合到“go”或激活功能的动作的新显示的“分配”图标，对现实世界对象分配“go”功能。耦合眼睛运动的其它示例性序列包括从对象扫视到显示的“go”或其他可用的激活点，或将该对象与显示的对象甚至其它现实世界对象结合的一系列的扫视和/或追踪。如由场景相机观察的现实世界运动对象的跟踪运动，以及用户移动的眼睛跟踪的对象，例如跟踪指向对象的用户的手指的眼睛，或跟随移动对象的手指还增加了可用于分配功能和/或选择或激活对象的语言。
该实施例的一个示例是跟踪指向诸如实际、虚拟或基于屏幕的书本中的书写的单词、图像或页面的对象的手指，以便：
1)在触摸或点击时调用该词或其相关句子、段落或页面；
2)基于触摸或指向任何对象，调用待播放的声音或待发生的其他动作。例如，当用户注视、指向和/或触摸书中的图像或图片时，可以播放声音，或者动画人物可以在注视、触摸或注视-触摸组合时响应；或者
3)向对象分配功能，使得后续交互(例如，触摸、挤压或其他交互、指向、反馈、注视)导致动作，诸如声音、运动或对象的其他改变。
在示例性实施例中，在没有显示的情况下，可以使用眼睛运动，分配“go”或激活功能。这涉及观看期望的现实世界对象，并随后进行可识别的、独特的眼睛运动。作为示例，可以以围绕现实世界对象的大致圆形图案进行多个眼睛运动(例如，具有规定的最小数量的运动)，或者用户可以执行所谓的交叉眼睛信号来分配激活功能。
替选地，并且作为另外的示例性实施例，用户可以将注视位置与自主控制下的身体运动组合以分配激活控制。如果用户从现实世界的对象扫视到特定身体部位(例如，手指、拇指、手、脚)，则可以使用这些身体部位的观看和/或预定的运动来表示用户期望现实世界对象是激活或“go”目标。替选地，如果用户被看作指向(例如，用特定的手指或指示设备)对象，则指向对象可以随后被分配为激活目标。按照类似的方式，如果用户拾取对象并且在预定时间和内/或在运动图案期间观看它，则所持的对象(放置在任何地方)可以被认为是激活或“go”目标。
现实世界激活或go对象可以是环境中的任何东西，包括例如墙上的标记、标志、数字、单词、门、灯等。对象也可以是印刷物品\玩具或其他对象，其可能是无生命的或者以某种方式启用。激活或“go”可以与现实世界对象的一部分，例如电视的边缘、窗框的角部、门把手等耦合。功能可以被分配给唯一可识别的特定对象(即，具有一个或多个可识别的区别特性)，或者分配给使用本领域熟知的对象识别算法分类的诸如光开关、电插座、笔、书籍、鞋等的一般对象。
一旦一个或多个现实世界对象被分配了“go”或激活功能，则随后可以使用眼睛信号语言的其他组成部分。例如，想要切换远程控制的光开关打开或关闭的用户可以首先看开关，然后扫视“go”对象。通常，由于现实世界激活目标在激活时不能显示(现实世界)选择菜单，所以对一个或多个观看的现实世界对象的场境(包括标识)有更大的依赖性。例如，开关可以导致灯被切换，而看门会导致门打开(假定用户被授权以打开特定的门)。场境还可以包括诸如时刻的其他因素(例如，仅在夜间可以打开灯)、活动历史(仅能打开用户先前关闭的灯)、环境是亮还是暗、在环境中存在声音或可识别的语音等。
多个激活或“GO”对象
眼睛信号语言并不局限于单一的“go”或激活位置。在另外的实施例中，可以为不同位置处的多个“go”图标或激活对象分配不同的动作。基本上，这允许用户除了在扫视到“go”位置时的激活之外，还可以快速进行N选1，其中N是激活对象的数量。
如上所述，现实世界环境中的多个对象可以与相同或不同的功能(考虑到场境)耦合。由于现实世界在环境中具有不同的对象，因此用户可以通过将功能分配给大量这些对象来增加信令效率。在稳定的、熟知的环境，例如办公室或家庭房中尤其如此。
即使在用户显示器的更受限的环境中，对于一些应用来说，采用多个激活位置可能更有效。该一般概念的示例在包括图1至8在内示出，其中使用多个激活目标来进一步从一组可能的字符选择指定数字和其他功能。将四个激活目标放在四个角中，或者沿显示器的四个侧面放置是特别有效且易于使用。在明确定义的方向上的激活目标的宽空间分离使得更直观地区分用户部位的选择并且避免设备的无意激活(由于空间上分离的目标)。
使用扫视以从连续范围中选择
如前所述，可以使用平滑追踪眼睛运动在用户可选择的时间和/或距离上跟随对象，以便基于“连续”输入范围(例如，以控制扬声器音量)来指定用户输入。在另外的示例性实施例中，可以使用扫视眼睛运动从连续范围或“标度”中进行选择。标度是任何形式的图形表示，其允许用户基于相对于所显示的标度的全部范围，使用眼睛注视指定特定位置(从任意多个或无限多个可能位置)来指定输入。特别地，可以相对于显示的标度的最低值和最高值的位置来确定观看位置以指定选择。
当使用扫视眼睛运动来从连续范围选择的关键挑战源于扫视眼睛运动本质上是不连续的，从一个目标位置跳到另一个目标位置的事实。因此，当使用扫视运动进行连续选择时的关键考虑是在针对特定目标的扫视运动集群内过滤出测量的位置(通常使用某种形式的时间和空间平均)。
如前所述，生理上难以在“没有可看”的区域内进行扫视眼睛运动。因此，即使当使用扫视进行连续选择地，将离散的焦点位置提供为扫视运动的目标也很重要。图17A示出具有可以被用来基于扫视眼睛运动进行连续选择的焦点(即，扫视目标)位置的图形或标度380的示例。
使用穿过中心轴385的均匀间隔的刻度线381a、381b，类似于标尺，形成焦点位置。轴385与刻度线381a、381b的交点产生焦点。为了打破刻度线的重复性质，在较小的刻度线381a之间，以规则的间隔散布较长的刻度线381b，非常像卷尺的标记。还可以使用连续选择的其他图形表示，例如刻度盘、机械(即，填充液体)温度计的示意性表示、针指示器等；以及沿使用诸如标记、点、箭头、颜色变化等指示产生的相应标度的焦点。可以在任何方向(包括水平、垂直、径向和/或旋转)上进行扫视眼睛运动以指示选择。
示例性测量扫视位置被表示为图17A中的实心圆382。如图17B所示，基于这些测量位置382的运行平均值，向用户提供相对于由标度380表示的整体选择范围的选择的初始图形表示383。在这一点上，用户可以对左侧384a或右侧384b的焦点位置进行扫视眼睛运动以分别减小或增加所选择的值。可选地，选择跟随眼睛的左或右扫视移动的速率可以基于用户相对地远离初始选择向左或右看了多远。一旦用户对选择满意，就可以使扫视眼睛运动从标度区域移动开，或移动到激活目标，指示选择过程完成。
多模反馈
在另外的示例性实施例中，可以使用除了与所显示的标度或其他标度表示相关联的模态之外的模态来进行用户选择期间的反馈。例如，当调整音频音量时，可以在选择过程期间发声(即，以指定级别)以帮助音量选择。作为另外的示例，可以以对在选择过程期间用户所做的选择成比例、成反比或以非线性耦合的方式来改变所显示的图像的亮度、颜色、色调、透明度、对比度、尺寸、细节水平和/或形状。
还可以在远离用户设备(但与之通信)的设备上提供反馈。远程模态的示例包括改变远程显示屏幕和照明、包括移动设备产生的声音的远程声音生成、环境温度的控制、诸如数字读数的指示器等。
使用其他的、基于非显示的模态也可以通过避免改变吸引用户眼睛的显示器来有助于减少选择过程期间的无意的眼睛运动。在另外的示例性实施例中，可以使用以一种形式的多模反馈来表示改变到另一个。例如，图像的放大率或“缩放”可以被表示为听觉信号，其中，音高(即，声音振荡的频率)可以被用来指示缩放度。以类似的方法并且作为另一示例，在选择与任何种类的速率，诸如显示视频期间的帧速率、显示静态图像期间的“页面转换”速率等相关联的控制选择，可以增加和/或减少点击(或任何其他)声音的重复率。
在另外的示例性实施例中，可以以“不可见-可见”的方式实现对代表性图像的微妙改变。换句话说，当用户认知地意识到可以在用户的副中心窝或周边视野中从他们当前的注视点被感测或看到的一些视觉元素的存在时，可以看到对象，但当用户未认知地意识到视觉元素的可能存在时，则“不可见”或未感测。这可以被执行，以便不使用户的注视吸引到受控状态改变的目标、图标或指示。
作为反馈，这些策略避免对显示器的显著变化，例如在进行扫视选择时，必须动态地缩放易于产生无意的眼睛运动的图像(即产生分心)。用户可以快速地了解某个(即，记住的)音调或点击频率表示一定缩放度或一定的重复率。类似的策略可以被应用于其他连续的输入选择。
当进行涉及现实世界的对象的选择时，特别是听觉反馈很有用。例如，如果用户观看诸如由设备识别的灯开关的对象(例如，使用场景相机结合注视位置)，则可以由听觉提示(例如，呯、叮、铃声、点击、钟声)指示对象已被识别并且可用于动作的指示。随后从对象扫视到激活图标或“go”会导致诸如开灯的动作。
在另外的实施例中，也可以调谐听觉和/或其他(例如，振动、嗅觉、触觉)反馈以指示现实世界对象的一些方面。例如，如果对象是脸部并且从面部数据库中识别该脸部(使用对象识别算法)，则可以提供一种形式的听觉提示(例如，第二音调频率增加的双音调)。另一方面，如果脸部被识别为未被识别为在面部数据库内的脸部，则可以将不同的听觉调制、幅度和/或提示(例如，第二音调频率下降的双音调)提供为用户的反馈。在任一情况下，用户可以执行激活扫视；然而，由激活导致的动作可以不同，取决于基于设备的识别和/或对象的识别。
在这些实例中还可以提供触觉反馈，或者响应任何眼睛相关交换，包括振动、温度、电压、压力，或可以对应于信息的期望传送而改变的任何一个或其组合。这种触觉反馈可以通过各种耦合的可佩戴设备(包括手套、戒指、手镯、项链、头饰、内衣等)来传送。
在另外的实施例中，双耳性质和/或声音定位声源的能力提供用于用户反馈的另一机会。这可以通常使用两个或以上扬声器来实现，但是使用一对耳塞或耳机作为用户设备反馈系统的组件是特别有效。从根本上讲，感知声源的方向的感知主要是由于每个耳朵之间听到的声音的相位差。距离的感知还考虑到每个耳朵内听到的振幅差异。这种常见现象在本领域中称为头部相关传递函数(HRTF)。
可以单独使用或同时使用感知1)方向和2)距离来向用户提供反馈。方向和/或距离的改变可以用在离散事件模式(例如，单独的点击或其他声音)或连续模式(例如，连续警报)中。声音方向可以以某种方式耦合到正在执行的动作(例如，在显示器上向左轻推对象产生似乎源于左边的声音)，或者可能完全与动作无关(例如，源自右边的声音表示“是”，源自左的声音表示“否”)。
类似地，感知距离可以以某种方式与正在执行的动作相关联(例如，当放大图像时使声音看起来更接近，当用户接近正确答案时声音感觉更接近，或者感知的距离声音表示已经在远程设备上进行了设置)，或者可以完全不相关的(例如，使声音出现在用户附近，表示消息的紧急性)。
应用于物理对象的间隙效应
间隙效应被用作加速眼睛信号语言内的用户交互的基础工具。如前所述，打算视作眼睛运动的结果的对象可以从视野中被移除，“释放”用户的视觉注意以更快速地移动(与保持在用户的视野内的对象相比较)观看另一对象。在适当的时间移除显示器上的虚拟对象会产生间隙效应。
当观看物理或现实世界对象时，通常在扫视期间不可能从用户的视野中移除实际对象。然而，使用增强现实(AR)或混合现实(MR)设备，可以移除这些对象的视野。在该示例性实施例中，通过使该设备的一个或多个区域基本上是透明的，初始通过AR或MR设备观看现实世界对象。如果用户扫视到激活对象，则可以通过在朝向现实世界激活对象的方向中，减少或消除AR或MR设备的透明度来从用户视野中移除对象。
如果需要，部分或完全不透明区域可以填充不会引起用户关注的中性区域。这可以基于对象周围的可视区域，例如由固体颜色、颜色的空间梯度、伪随机噪声、熟悉的图像或激活对象后面的背景的估计组成。为了进一步减少注意力，降低透明度区域的边缘周围的区域可以从不太透明(即，遮挡用户的对象的视野)逐渐过渡到完全透明(即，远离被遮挡观看的对象)。这降低了用户检测和/或观看降低透明度区域的边缘的可能性。
使用AR技术在扫视期间和/或之后完全或部分遮挡目标对象的视野可以使用现实世界激活目标产生间隙效应。然后，可以使用设计为不吸引用户注意力的先前描述的技术回到AR设备内的透明度以重新显示对象。例如，如果有足够的时间可用，则可以缓慢地，或者当用户在功能上“失明”时(例如，在扫视和/或眨眼期间)，返回到该透明度。
礼貌考虑
礼貌是所有交互式和/或所谓“智能”设备的共同关注点。在许多情况下，例如，在商业和社交环境中，用户可能希望通过暂时关闭除紧急通信之外的所有来电或数据流来限制来电或数据流。然而，在处理日常活动的同时进入这种情况之前，很容易忘记将设备置于“礼貌”或“静音”模式。当这些情况结束时，同样容易忘记将设备返回正常操作。
基于预定义的偏好集合，当设备识别到要求“礼貌模式”的情况(例如，高相关对象和/或个人)时，头戴设备和/或显示器可以临时地“过滤”呼入通知和信息。例如，设备可以识别设备佩戴者参与对话。这种情况可以从识别使用麦克风录制的佩戴者的声音和/或使用观看环境的场景相机记录的设备佩戴者的方向说话的人的图像来确定。可以特别注意场景相机图像中的人的眼睛的方向(例如，指向设备佩戴者或足够靠近设备佩戴者以建议不应中断的亲密或个人联系)以及周围的个人的嘴是否正在运动。可以被用来自动地确定是否应当调用“礼貌模式”的其他信息包括时刻、周几(例如工作日与周末)、地理位置、室内和室外环境以及其他图案。
当识别特定的人、环境或位置时，也可以调用礼貌模式。例如，当与特定的人(例如老板、神职人员)交谈时，中断是不合适的。当识别出飞机的内部时，可以调用礼貌模式(甚至是“无传送”模式)。学校、医院、电影院或剧场以及其他设施内的区域可以基于使用场景相机的地理位置和/或标识，被识别为“礼貌模式”区。可以识别汽车的内部(基于汽车内部的模板的数据库)以及要求优先用户关注的任何控件(即，汽车或任何其他机器)。
在最普遍的意义上，可以使用“礼貌模式”功能来管理不允许佩戴者分心或者能由另一人或实体感知分心的任何场境。基于经过训练以识别“礼貌”或不可中断情形的神经网络的图像分析可被用来实现一种或多种礼貌模式。
可以基于用户偏好来预置不同级别的数据过滤。作为示例性场景，在一些情况下，可以允许文本和警报，同时阻止电子邮件和其他通知。信息的显示或保留(即在稍后的时间显示)可以取决于信息的来源和/或当前活动。例如，可以在骑自行车或徒步旅行时显示生理监测(例如，心率、呼吸频率)和导航信息，但一旦活动完成，则不进一步显示。在其他情况下，所有的传输可以被阻止或缓冲(即，被收集但不显示)，除了被宣布为紧急的那些。
按照类似的方式，可能会根据情况修改通知模式。在不同的礼貌模式情况下，通常包含可听见的声音的通知可以被转换成简单地显示屏幕消息和/或听不见的振动的“静音”模式。
在其他示例性实施例中，通知可以被延迟，直到礼貌模式结束。延迟可能只是几秒钟或几分钟，以免中断对话。延迟也可以延长一些，持续数小时，以避免例如中断重要的会议。“礼貌模式”状态的指示可以视觉地、听觉地或通过其他刺激(例如通过触觉机构)呈现给用户。礼貌模式的控制和/或确认也可以用眼睛、声音、手、头、脑电图或其他输入方法进行。
紧急通知期间吸引用户注意
在一些情况下，无论其他活动如何，都有必要将用户的注意力集中在特定的信息或事件上。例如，如果存在对设备用户或其他人的直接潜在危害(例如，用户环境中的所谓的“主动射手”情况、特定于建筑物的火警等)，则存在迫切需要提醒设备用户。设备用户的注视的知识有助于吸引用户的注意力并提供与情况相关的信息的过程。
在示例性实施例中，在接收到被视为紧急的信息之后，在用户注视的大体方向上，使指示置于视野内(例如，在增强现实，虚拟现实或混合现实头戴设备内)。该指示可以明确地置于用户的中心窝注视区域、副中心窝区域或外围区域内。可选地，系统可以动态地跟踪用户的注视，直到用户确认通知，和/或采取行动为止。该视觉指示可以以图标、符号、单词、与情况相关的缩略图、图像的一部分等的形式。视觉指示以被设计为吸引注意力的方式呈现(例如，不是在用户失明期间快速地引入，包括扫视抑制或眨眼抑制，具有高对比度等)。视觉指示可能伴随着其他提醒机制，例如听觉或触觉刺激。
一旦进行了初始通知，视觉指示可以以使其能够被设备佩戴者视觉地跟随的方式移动或“扫过”。这允许设备佩戴者跟踪并随后记住到特定区域，并且在一些情况下，到区域内的特定子集的信息或事件的符号表示的空间路径。例如，可以到检索文本消息的区域扫描紧急呼入文本消息。在检索文本消息的区域内，扫描可以在视觉上指示与紧急文本消息的特定发送者相关联的位置。类似地，可以示出紧急电子邮件以扫描到为检索电子邮件预留的区域内的特定发送者。紧急图像或到视频的链接可能被扫描到可以检索这些内容的位置。各种形式的紧急内容也可以被扫描到用于这些信息(即，与格式无关)的专用区域和/或复制到其他区域。
可以在该扫描期间监视用户的注视行为，以验证用户使用平滑追踪或扫视眼睛信号来跟随刺激。如果用户在预定时间内未执行该信号，则以确保用户注意被捕获并且通知被确认和/或执行的方式重复该扫描。系统跟踪用户注视的能力提供在关键情况下的用户注意力的引导的有力手段。
在视觉上跟随扫描指示后，用户随后可以立即(使用眼睛信号语言)激活该指示以检索关于紧急通知的进一步细节。替选地，用户可以简单地“记住”通知的空间位置，使得可以在稍后时间检索信息。该整体方案确保用户被提醒紧急通知，而在长时间内(例如驾驶交通工具或操作其他机器时)不会分散注意力或迫使用户执行不想要的视觉活动。
在另外的实施例中，由设备处理紧急通知也可以是场境敏感的。用户可以预先确定哪些通知是足够紧急的以加速视觉警报过程。预先确定可以基于信息的来源、通知的形式(例如，文本、图像)，与紧急性有关的分类、历史频率、时刻、位置、用户活动、其他人的接近度、用户历史、用户过去是否曾经忽视或对这种通知采取过动作、以及其他因素。是否执行视觉警报过程还可以取决于设备用户正在执行的外在活动。例如，在驾驶交通工具时仅呈现最高优先级通知，而在相对不活动的时段期间可以呈现较不紧急的通知(例如，文本消息)。
在线移动状态和隐私控制
当通过可佩戴的计算设备进行初始连接(即，没有任何先前的识别或知识)时，在将所观看的人和可佩戴硬件与相关的网络地址(例如，URL[统一记录定位符]、MAC[媒体访问控制]地址、IP[网际协议]地址)或用于电子通信的一些其他形式和/或协议链接时问题发生。如果可以通过诸如面部识别的方法识别被观看的人，则可以从数据库检索个人的相关设备或“地址”(如果允许的话，基于隐私设置)。然而，没有任何形式的用户或硬件识别，没有自动的方式来发起彼此接近的用户设备之间的确定性连接或链接。
如果非常接近，则一个设备用户上的附加标识(例如，条形码、Q-R码)可被另一设备用户看到并被解释以获得对网络地址的访问。然而，这在超过一定距离时很困难，并且当外部联系人不是期望的时，还禁止用户进入“隐私模式”的能力(不物理地移除识别码)。
能够将设备和设备的佩戴者与另一设备(和设备佩戴者)相关联的简单且节能的方式是使用固定到可由其他设备佩戴者的场景相机看到的设备的一个或多个的电磁辐射源(即，信标)。脉冲(例如，闪光灯开关)、红外LED信标是用于该应用的方便的示例性实施例。可以选择近红外波长(例如，800-1300nm)，其对于用户是不可见的和不分心的，但是可以由其他设备佩戴者的(例如，使用互补金属氧化物半导体[CMOS]或电荷耦合器件[CCD]传感器技术的)场景相机检测。
具有广角投影(接近180度)的红外LED最有用，例如安装在鼻梁上方的鼻梁上。图18A示出头戴设备490和安装在鼻梁491内的单个信标的位置的示例。能够看到具有这种信标的设备佩戴者的面部的任何设备佩戴者通常应该能够检测信标广播(除非信号由于某些原因被阻挡)。
安装在设备侧面的两个(或以上)LED能够提供从各个角度检测的更宽泛的能力，尽管以额外的功耗为代价。图18B示出在耳朵支架的铰链区域中的双信标492a、492b设置的示例。在替代实施例中，在具有头部的上部的支架的头盔或头饰的情况下，可以在头部的顶部附近放置广角投影信标。放置在头部周围的多个信标可以确保从所有视角检测的能力。
脉冲信标不仅可以用于设备及其用户的初始检测(使用图像处理)，还可用于指示设备佩戴者的状态。例如，联系人状态的指示可以类似于通常电话会议情况中使用的状态指示，其中示例性状态可以是：“可用”、“暂时离线”、“可用组”、“仅联系人”或“不可用”。这为设备佩戴者提供隐私控制，并且可以由用户实时地和/或由设备自动地改变。自动状态变化可以基于位置、设备佩戴者的观看环境(例如，是否参与对话)、时刻、电子日历、眼睛信号活动等。
使另一头戴设备和识别信标位于设备佩戴者的环境中的方便方法包括：信标打开(即，广播活动信号)对比信标关闭，减去了空间对准图像。两个(或更多个)这些图像之间的差异主要在信标的区域中产生，并且这些“差异图像”被用来隔离信标的位置，并且有助于确保(例如，通过测量信标频率特性)信标的来源是另一设备。
如果信标的脉冲与观测相机的帧速率不同步，则出现确定调制信标开关的最大频率同时确保在最大和最小亮度级期间相机图像包含至少一帧(通过减去连续的图像，易于跟踪/识别信标)的问题。在连续图像中，如果帧速率是脉冲信标的调制速率的至少四倍，则由非同步相机收集的图像被确保包含具有最大和最小亮度级的帧(假设具有相等“开”和“关”次数的信标辐射)。最大和最小亮度级别可以被用作参考，以确定脉冲宽度或幅度调制是否发生以对信息进行编码，如下所述。例如，如果相机的采集速率为(60)帧/秒，则以15赫兹(15Hz)调制信标确保在相机图像内检测的最大和最小信标水平。
图19A是示出脉冲信标500与不同步相机501a、501b的帧速率之间的关系的时序图，其中，相机的帧速率是信标的周期速率的四(4)倍。信标503a的“接通”状态由时序图500中的高电平表示。相反，信标“关闭”状态由低状态503b表示。全信标周期502包括开502a和关503b状态。在图19A中，虚线506被示为在信标的每个周期的低到高转变期间的参考时间。
相机时序501a、501b由每个图像帧获取周期结束时的垂直笔画表示，其也是新帧获取被启动的时间。在上相机时序图501a中，在信标500为“开”时的时间期间获取全帧504a。当信标500关闭时，获取另一帧504b。如果平移相机时序501b，则仍然保持当信标为“开”505a时获得至少一个全帧，而当信标为“关”505b时获得至少另一个全帧。全开和全关图像可用，无论相机与信标同步如何。
虽然当今的电信标准缓慢，但设备(和相关联的个人)的状态可以在这样的信标内被编码。信标特性会被动态地更改以反映此信息。该编码的示例包括脉冲宽度调制(即，控制开关相位的持续时间)、相移或振幅调制，类似于在串行通信期间使用的异步通信标准(例如，RS-232协议)等。通过有限多个状态选项(通常被编码为数值)，即使以较慢的相机帧速率下，状态信息也可以例如在小于一(1)秒内广播和确定。
如果设备佩戴者设置为允许外部连接，则必须交换网络“地址”或其他链接信息以启用连接。如果在本地区域中只有一个设备佩戴者，那么这可以通过设备“发现”过程执行，其中简单而不受限制地广播(例如，使用蓝牙或Wi-Fi)和交换地址。然而，为了更安全地交换地址和证书，特别是当在周围存在一个以上其他设备用户的可能性时，需要隔离到特定设备(即，被观看)的信令过程。
如果联系人或“连接”是潜在的，则可以将观看相机短暂地切换到信标源周围的非常小的感兴趣区域，并且获取速率增加到每秒几百甚至几千帧的范围。信标内的编码信息的微突发可以包括网络位置信息，诸如可以在中央数据库内的查找表中使用的URL、IP地址、MAC标识或其他指针。编码可以使用与在低帧速率状态确定期间使用的技术相同或不同的技术。例如，可以使用通用的串行协议(例如，RS-232)。关键的区别在于，通过较高的帧速率启用的信息交换速率的增加、允许指定更复杂的信息，诸如URL。
图19B是示出在信标脉冲的一个周期期间编码网络位置信息的微突发508的时序图。每当设备用户可用于连接时，这种微突发可以在信标507的正常循环期间周期性散布。
类比地，信标电子地执行QR码或条形码的识别功能，但是可以1)在较大距离上操作，和2)由头戴设备佩戴者控制。特定被观看的个人的证书的交换可以不经意地执行，通常在不到一秒钟内，同时只要需要则保持隐私。
高帧率相机的替代实施例包括基本上同时使用多个广播信标来编码和传输更多信息。信息编码可以包括两个或以上这些信标之间的相位差。代替在切换到一个或多个相机内的高帧速率，可以在接收设备内使用一个或多个单像素检测器(例如光电二极管)。然后可以以高速率对这些检测器进行采样以解码例如编码“联系人途径”的微突发。这种信息的传输在功能上类似于通常用于与电视机、扬声器系统等通信的IR遥控设备。这种检测器将需要在方向上敏感，以避免拥挤情况下的串扰。
相互注视的识别与应用
个人之间的面对面对话是日常生活中普遍存在的组成部分。相互注视在发起和维持对话方面的沟通中起着至关重要的作用，以及识别和记录“谁说了什么”。
在示例性实施例中，可以使用与场景相机图像的注视跟踪(即，叠加到环境上的设备用户注视)来识别设备佩戴者正在观看的个人。如果另一个设备佩戴者正在回头看该个人(即经由相同的方法识别)，则两个设备用户可以交换证书，并且任何交换信息和对话可以被记录为在两个人之间，只要保持相互注视状态。证书的交换可以包括经由设备信标的初始识别，例如，如上所述。
基于预定的用户偏好，系统可选地允许注视的交换发生在不同的时间。例如，如果第一人在一段时间内观看第二人然后转而离开，在用户选择的预定时段内，如果第二人回视，则系统可以允许交换证书，即使第一人已经转身离去。作为另一个示例，两人可能希望在以后的时间重新连接，只要这两个人在会议或其他会见期间的某个时间彼此相互观察。
如果参与谈话的人中的一个没有戴设备，则仍然可以使用设备佩戴者的场景相机来识别相互注视的存在。基于设备佩戴者的场景相机视频，可以使用图像识别来确定环境中的个人是否回头看向设备佩戴者。关于某人是否正在寻找特定方向的识别在本领域中被称为“注视锁定”。可以基于面部方向、面部表情和/或眼睛方向来识别指向设备佩戴者的注视锁定。在一些实施例中，算法方法可以包括基于相机图像的机器学习(神经网络)方法。大多数个人可以自然地识别注视锁定(即，当他们正在被观看时)，达到当某人正在看着他们时通常不可避免地注意到的程度。
注视锁定的识别也可以在虚拟世界中还被应用于化身。在诸如电话会议、模拟和玩游戏的情况下，化身可以被启用以看着特定个人，例如，以实现更真实的对话。注视锁定可以通过化身直接传达(通常通过电信链路)或基于化身的场景相机图像来检测。
不管相互注视是基于1)来自两个单独的设备佩戴者的图像，2)单个设备佩戴者的注视跟踪以及场景相机图像中的注视锁定的检测，还是3)化身的注视锁定，都可以以多种方式利用相互注视的存在：
1.如果个人从未相遇，则(假定考虑到在本文其他地方所述的隐私考虑)可能会向设备佩戴者显示有关其他人的信息，从而实现连接。
2.如果个人以前遇到过，则可以显示重新连接所必需的信息(例如姓名、上次联系的时间等)，以便启动重新连接。
3.如果在相互注视期间交换对话或其他信息，则可以将有关交换存储的任何信息(例如，音频、图像、文本)标记为在相互注视期间发生。这可以帮助在信息检索期间提供场境。
4.在与多个人的对话或交互中，相互注视可以被记录和/或被用来标记整个交互中的信息(例如，音频、图像、文本)。这些数据可以帮助解决数据集中的“谁说了什么”，以及辨别个人感兴趣的话题以及个人群体感兴趣的话题的问题。
包括可佩戴设备的多模控制
虽然眼睛信号是人机界面(HMI)交互的强有力形式，特别是在佩戴式和/或移动计算情况下，它们的效用可以在与HMI交互的一个或多个其他形式相结合时被大大扩展。例如，将眼睛信号与语音命令和/或补充方法，诸如例如点头，以信号告知和/或强调有目的的眼睛运动会感觉“很舒适”。有目的的眼睛运动可以包括扫视、一系列的扫视、聚散运动、眼前庭运动或平滑追踪。
在这种多模控制下出现的问题是解决在任何给定的时间，对哪种形式的输入进行总体控制。如果来自不同来源的两个激活序列在大致相同的时间(例如，首先执行哪个序列？)被接收和/或如果接收到两个或以上逻辑上不一致的序列(例如，同时请求显示图像的全屏显示和电子邮件的全屏显示)，则可能会出现歧义。
这些输入的优先级可以取决于具体的应用和/或可以每时每刻改变。例如，当需要包括字母、数字、单词、短语或句子的规范时，更容易和更快地说出所需的输入。在示例性实施例中，应用可以特别注意在这些时间“收听”音频输入。可以进一步改进音频输入，例如，以将语音输入识别为对于专门于该设备佩戴者。
许多形式的HMI输入使用能是日常活动的一部分的变化或运动而与设备控制无关。不同的输入具有不同的敏感度来解释变化对于HMI交互(即，信号的分量)是否是“有目的的”或者不与这种控制相关联。这可以在确定不同输入的优先级方面发挥作用。在该范围的一端，移动计算机鼠标并单击其中一个按钮总是旨在表示机器控制。在该范围的另一端，眼睛运动是日常活动的重要部分，其中专门设计眼睛信号语言以便于和区分有目的眼睛运动以及探索性和其他形式的眼睛运动。
表1示出许多示例性输入源以及状态变化是有目的的(即针对HMI交互)的初始或固有置信度。该表的约上半部分包括与设备的有意的交互接触(或接近感测的情况下的近接触)的输入模态。在表1的中间列中，增加的星号表示最初检测的状态变化(无后续分析)是有目的的增加的置信。
表1.不同输入模态的特性
鼠标或键盘按钮几乎无一例外地与有意识的HMI意图相关联。触摸开关、屏幕、垫或其他接近敏感设备通常也是有目的的，但偶尔会发生偶然的触摸、敲击或滑动。许多设备具有可以检测移动的嵌入式加速度计，因此在移动或摇动时发生反应。特别是佩戴式装置处于不断的运动状态。因此，必须考虑移动的特性(例如振幅、主频和/或持续时间)以确定移动是否是有目的的。
表1的下部包括通常更间接地感测的输入模态。点头、手势和由其他身体部位所做的动作通常要求将特定的图案和/或运动顺序解释为HMI信号。否则运动可以与其他活动相关联。除非失眠或静音，否则语音和眼睛运动是日常活动的普遍组成部分。因此，必须仔细评估这些潜在输入的“目的性”程度。
固有的置信度和“目的性得分”在确定给定输入的优先级方面发挥作用。可以基于特定运动、手势或眼睛信号与选择或激活序列的图案匹配的程度来计算“目的性得分”。越良好匹配的图案对设备用户的部位越有目的性。模态的固有置信度、“目的性评分”和特定应用程序的场境(例如，是否一种或多种模态对于特定的输入模态是预期或方便的)可以被全部用来过滤和按优先级排列输入。。
表1的最右列列出了用于示例性应用的示例性“层次”或优先级列表。不是所有的输入模态通常都可以随时使用，即使可用，在一些应用期间，也不使用一些模态。例如，如果在与移动电话设备的交互期间使用眼睛信号，则可以使用与移动设备相关联的输入模态以及由用于跟踪眼睛运动(包括麦克风)的头饰所感测到的模态来传达意图。对于这种交互形式，输入模态的优先级是(如表1所列)：
1.使用移动设备的屏幕的触摸控是基于自主的动作并且一般是有目的的。因此，立即执行所有触摸命令。
2.移动设备的摇动是无意的或故意的。因此可以高度严格地确定设备摇动，并且如果超过阈值(例如，幅度、频率、持续时间、方向)，则检测被用作输入的形式。
3.按照类似的方式，头部运动通常是普遍存在的。然而，如果大幅度头部运动匹配预定义的图案(例如，摇头“是”或“否”)，则可以立即执行这些输入。
4.接下来优先考虑的是可以独立于较高优先级模态选择和执行，或者完全散布的眼睛信号，其中，例如可以使用眼睛信号进行选择，并且可以使用移动设备的触摸控制来指定动作或激活。
5.在该示例中，最低优先级模态是音频输入。在这种情况下，仅当通过眼睛信号或其他较高优先级交互激活时才使用语音识别。以这种方式，将语音录音或将文本到文本的转录可以例如限于由其他模态信号告知的时间(例如，在撰写文本消息或编写电子邮件的时间期间)。
在刚刚描述的示例中，可以使不同模态优先级是动态的。例如，如果检测到关键字或短语，则可以提高语音控制优先级以取代眼睛信号和/或其他模态。在这种情况下，只要存在音频流，就执行语音命令。当考虑到更方便的数据输入形式和/或当经由一个或多个所识别的关键词或短语或通过其他指示来优先地关闭或减少语音控制时，可以在静音期间散布眼睛信号。
当基本上同时感测到一个以上输入模态时，层次较低的、与该模态相关联的动作被延迟或完全不执行。是否最终执行较低优先级的动作还取决于如上“目的性得分”或设备用户预期输入的测量的置信度。例如，该分数可以取决于眼睛运动朝向或跟随激活目标有多接近。
使用多模HMI时的另一个考虑因素是眼睛信号与其他模态指定的位置的精度差异。虽然眼睛运动非常快，但是角度分辨率存在基于瞳孔入口和中心窝的尺寸以及其他光学考虑，从眼睛跟踪确定注视位置的基础限制。这与例如计算机鼠标的受控运动形成对比，尽管在大的距离上移动手臂、手和鼠标需要一些时间，手的精细的运动技能(以及鼠标与光标移动的适当标度)可被用来精确地指定显示器上或虚拟场景或现实场景的视野的位置。
眼睛信号增强多模控制(“传送”)
认识到精度和控制方面的这种差异，眼睛信号用户界面通过允许眼睛“做自己最擅长的事”并考虑到其他方式的能力，来利用多模输入。例如，包含覆盖大面积显示器的眼睛运动的场景探索最好由眼睛完成。如果随后由眼睛运动发出信号，或者如果在较高精度的装置(例如，计算机鼠标、轨迹球、数字笔)上检测到运动，则可以控制来自较高精度装置的输入。
事实上，由于长距离运动和搜索最好由眼睛执行，所以多模装置的运动灵敏度可以设置为高精度(对比范围)。甚至可以动态地改变这些装置的运动灵敏度，以便最大化通过某人的眼睛，将注意力“传送”到特定区域的精度。
包括眼睛信号与其他多模控制形式的优点包括：
1.速度，其中，眼睛可以比手指、手、手臂或其他身体部位更快地穿过较大的弧距；
2.简单性，其中，观看或集中于包含在规定设备佩戴者的意图中的对象是大多数过程的自然部分；
3.对抗疲劳，其中，与涉及运动手指关节、手腕、肘部或其他身体部位的生物力学相比，眼睛的运动基本上是不疲倦的；以及
4.特殊功能，诸如当观看反馈是执行操作的基本组件(例如，驱动模拟器、高分辨率移动渲染等)和/或将由眼睛观看的二维(或如果包括聚散，3维)位置与来自其他设备的多维数据组合。
作为体现这些优点的具体示例，可以考虑在广泛的典型应用期间的显示器的观看，例如阅读、浏览、引导信息的移动、编辑、观看图像或视频、绘图、编写等等。可以使用眼睛的有目的的移动来将指针或其他指示符(例如光标)快速地“传送”到感兴趣的区域。
除了容易和快速之外，该过程的另一个优点是不需要“查找”(即，可视地搜索)指针或光标的当前位置的需要。在当今的应用中，视觉上“查找”光标耗时且分散注意力，特别是当隐藏在大量文本或图像中时。然而，当使用例如计算机鼠标时，需要查找光标以便确定应当执行何方向运动以转向目标位置。
在示例性实施例中，可以在启动朝向设备佩戴者正在观看的目标位置的总体方向(即，在预定的方向范围内)的指针的运动时，传送指针。可以使用诸如光标、操纵杆、轨迹球、数字笔等的指示设备来执行该初始移动。一旦启动，将指针传送到新位置(即，由用户注视指示的目标位置)可以快速地(例如，在中间位置快速显示视频帧)或瞬时(例如，没有中间的视频帧)发生。替选地或附加地，经由朝向或远离目标位置的有目的的扫视眼睛运动，可以在眼睛信号语言内启动目标位置。
可以向设备佩戴者提供指示新焦点区域的反馈(如果需要)。这可以以可见光标、指针、区域内的可选择对象的突出显示、背景改变、添加边框等的形式。可选地，视觉反馈还可以包含在接近快速传送后的目标位置时，显示对象“减速”。
在“传送”至焦点区域后，另一HMI设备可以无缝地(即，没有任何特定的命令序列)被用于控制和激活选择。诸如触摸板、计算机鼠标、游戏杆等的设备提供更大精度(与眼睛信号相比)。该精度可被用来在直到设备佩戴者的视力的空间范围内选择。事实上，由于不再需要这些装置覆盖较大的范围，所以这种装置的灵敏度可以调整到有利于小的精确运动。此调整是静态或动态和自适应。例如，在将指针放置在期望目标附近的眼睛信号驱动的传输(例如，扫视)结束时，指示装置的灵敏度暂时降低(需要较大的物理移动以较短距离地移动指针)。
“传送”涉及广泛的显示器，包括虚拟现实、增强现实、平板计算机、手机、智能设备、投影图像、显示器显示器、标牌等。“传送”可以在单个显示器内或两个或以上显示设备之间。这些显示器可以由一个或多个处理装置控制。支持指针的“传送”的眼睛跟踪还可以由一只或多只眼睛跟踪机构来实现，眼睛跟踪机构被定位以支持相邻或不相邻的显示器使能的对象上的一个或多个显示器。显示器甚至可以是空间中对象的3D或3D全息投影形式的“虚拟”。视场内的传输不限于在相同显示模式下工作的设备。例如，指针或其他指示的传送可以在智能电话的屏幕到全息投影或智能手表、TV、医疗设备屏幕和/或其他屏幕无缝地显示。
当使用眼睛与另一输入(例如，计算机鼠标、触摸板、数字笔等)相结合来可视化和控制3维空间内的3维虚拟对象时，通过同时视觉反馈(即，上述第四点的一部分)执行功能的能力是特别有用。在大多数常见的计算机输入设备(例如，鼠标、轨迹球等)中发现的二维控制提供不足的自由度来控制空间中的三维对象的观看透视图和其它控制方面。这通常导致将各种控制维度分成特定的控制，诸如水平平扫、垂直平扫、缩放，水平旋转、垂直旋转和轴向旋转。
通过使用眼睛来观看对象表面上的位置或空间中的三维位置(通过包括聚散)，然后将观看点作为关键参考操纵场景更为自然(即直观和快速)。例如，当观看关键点并使用触摸板时，被观看对象可以水平旋转(通过向左或向右扫)、垂直旋转(通过向上或向下扫手指)或轴向旋转(通过2个手指的圆周运动)。目的性和随后的激活可以通过诸如鼠标点击、屏幕触摸等自主动作来明确地表示。由于眼睛是控制机构的中心部分(象征性地和字面上地)，所以对眼睛的兴趣区域内的反馈是即时的。
不仅可以更自然地在三维世界中观看对象，而且如果将眼睛包括为输入，也可以更自然、快速和直观地“编辑”对象。如果组件被添加、减去或修改属性(例如组成该区域的颜色、表面纹理、材料)，那么简单地观看该区域并使用其他输入模态同时进行更改会很舒适。再次地，可以瞬时和无需转移目光地(例如，使用其他可视化提示、屏幕或透视图)可视化该区域的尺寸、形状或性质的变化。
这些多模策略会克服通常被称为“Fitts法则”的人体工程学和HMI限制。该原则表明，移动到目标区域所需的时间是与目标的距离和目标的大小之间的比例的函数，其中目标的大小由目标选择过程的精度决定。眼睛运动可以快速覆盖很大的距离。具有较高空间分辨率的多模输入允许更小(和更多)目标。因此，可以通过包括眼睛信号的多模输入来增加选择的速率(即，通常在每秒的比特方面，在信息理论中描述)。
演示在眼睛信号语言内的多模输入的功率的示例是绘制(即绘画)对象或场景的过程。在这种情况下，可以使用眼睛运动来指定将作用的对象的位置。这些对象甚至正移动或者只是短暂地出现。可以使用不同对象中的快速扫视来将类似的动作应用于一系列对象。语音命令可用于指定诸如“复制”、“粘贴”、“擦除”或“填充颜色”的操作。头部运动可用于“轻推”虚拟对象的位置和/或旋转。具有显示的调色板的触摸屏或虚拟屏幕(例如，当使用增强现实设备时)可以与手势一起使用以选择颜色。
可以在不同的时间以不同的方式应用不同的输入模式。多模输入组合允许更复杂的功能，诸如完全使用可佩戴和/或移动设备执行的绘图。
眼睛信号调制多模控制
在上述实施例中，通过基于例如感知到的目的性，在两个或以上输入机构之间进行切换，将眼睛信号与其他形式的机器控制结合使用。在另外的实施例中，通过允许眼睛信号“调制”或增强其他输入的功能，多模控制可以以令人愉快、感性和直观的方式大大地扩展。以这种方式，可以同时利用不同形式的多模控制的优点。
图20A和20B示出包括在光标、指针或其它跟踪位置511a(为简单起见，本文称为“指针”)的多节点移动的基于眼睛信号的调制的特别有用的示例中的步骤的基于信号的调制中的步骤。指针(光标、跟踪位置等)可以包括可移动的符号表示(箭头、十字线、图标、圆等)，有时不可见，或以其他方式提供视觉反馈，诸如突出显示、背景变化、边框外观、颜色差异、对象尺寸变化等。在图20A中，用户看向描绘为实心圆510的显示器上的位置512。由于注视测量的不确定性，可以在所观看的对象周围的区域513内确定注视位置。光标或指针511a可以位于显示器上的其他位置。
可以使用鼠标、轨迹球、操纵杆或其他控制装置来控制光标511a的位置。然而，在调制多模控制期间，当指针大致沿着注视513的方向移动时，在达到连续运动内的阈值距离之后，使光标51a基本上瞬间移动或者“跳转”515到注视的区域。图20B所示的指针或其他跟踪位置的这种快速重定位515节省了大量时间，并且抵抗鼠标、轨迹球、操纵杆或其他控制设备的重复手动操作的疲劳和/或其他后果。在一些情况下，需要多次手动移动，包括抬起手或设备才能移过这么大的距离。
指针的调制的多模控制本文被称为指针的“传送”。如图20B所示，在瞬时传送之后，指针51lb通常落在用户的中心窝视野内。在一个实施例中，指针可以再次表现为沿着从指针的初始位置移向用户的注视点的一般矢量移动，其中，指示设备的移动控制指针在再现时的移动。如前所述，指针设备的灵敏度会在重新出现指针时减小(以便更容易控制)，直到用户指示指针到达所需位置，然后通过点击或激活指点设备来操作为止。因此，眼睛很少或没有移动，用户看到随后可以使用一个或多个控制设备高精度地操纵的指针。最终的结果是对移动并且可以在控制方向上大致观看的指针的精确控制，但是以看似最小的努力跳过显示器510内的大区域。
该方案同时利用眼睛快速移动的能力，同时接受来自具有更高精度的其他控制装置的命令输入。考虑到相对于指针的眼睛注视方向和/或控制装置的移动速度，当已经穿过阈值距离时，发生传送。替选地，用户可以通过期望朝向注视位置的快速移动的控制装置“做手势”。手势可以包括快速移动(即，超过阈值速度)、摇动装置(例如来回地)、一个或多个运动图案(例如圆形，沿固定方向的运动等)等。替选地，可以使用按钮按压(或其他一些开关机构，包括接近度感测、声音或语音识别、摇头、眨眼等)来指示期望朝向注视位置的指针的快速移动。
设备用户可以建立偏好集以确定哪些模式(例如，手势、移动、声音激活等)、阈值(例如，方向的范围、行进距离等)和其他变量(例如，说出的特定词、眨眼持续时间等)将导致执行传送过程。另外，如果指针在眼睛注视周围(即，在指针和注视位置之间的预定间隔内)，则传传送通常是不利的，并且可以自动禁用。
指针位置中的一个或多个瞬时跳转的替代方案包括改变控制装置的灵敏度或空间“增益”。“增益”是指控制装置上的移动或信号与指针所覆盖的(一般是比例)距离之间的关系。例如，控制装置的“增益”可以与光标位置和注视位置之间的间隔成比例。较高的增益(即给定的控制移动或其他输入的光标移动的更大速度)允许更快地穿过显示器内的较大距离。还可以成形或建档指针的快速移动。例如，指针移动可以在期间的高速的每次快速移动结束时具有加速和减速阶段。这些方案平滑指针运动，减少传送期间分心的机会。
传送不限于单个显示器或甚至是显示器的类型。例如，指针可以从虚拟现实头戴设备上的位置“传送”到智能电话上的显示器。跨平台传输在使用可佩戴式计算的应用中特别有用。例如，显示区域在一个设备上受限制，但在另一个设备上可用。传送允许快速转换到另一个设备，或者甚至在设备之间来回地转换。由于“传送”迅速跳过空间区域，所以存在将一个设备与另一个设备分开的物理间隙的事实不会影响到“传送”过程。事实上，跨这些间隙的传输感觉直观。
跨平台传送可以包括增强现实或虚拟现实显示器、智能手机、手表、平板计算机表面、手提显示器、显示监视器、显示监视器阵列、标牌等。这些显示器可以是固定的或可移动的。指针控制使用设备内的处理器平台和诸如蓝牙、Wi-Fi和/或其他形式的移动通信之类的跨设备通信协议执行。高速电信对于促进设备之间的无缝(即，没有显著的延迟)传送是必不可少的。
分配给一个或多个指针的关联也可以用指针传送。例如，如果指针关联或“依附”到文本的图像或部分，则与该图像或文本相关联的信息可以被传送到附加设备的显示和处理能力。可以传送的关联的示例包括图像、视频、文本、数字、文件、应用、特定功能(即，由应用执行的)等。这种形式的传送是眼睛信号语言中许多功能的基础。
图21A和21B示出包括相关功能的“传输”的跨平台眼信令的过程。图21A示出诸如智能电话或平板计算机的移动设备的显示区域520。显示区域520包含表示各种可执行功能的图标523以及可以被选择为眼睛信号语言的一部分的激活图标的列524。可以使用触摸、眼睛信号、语音命令等的任意组合来操纵显示器520，以执行期望的动作。
例如，如果用户希望在智能手表525上获取文本消息，则可以通过将表示文本消息521的图标“传送”到手表525的区域来启动该过程。导致传送操作的任何设置通过眼睛信号、触摸屏、语音或其他输入模式的任意组合来执行。传送由一个或多个穿过设备之间的空间间隙的眼睛运动522(通常是扫视)执行。如果需要，接收设备(即在这种情况下的手表525)上的图形反馈可以包括传送过程的图像或动画序列。例如，这可以是沿着眼睛运动方向朝向装置525显示器、缩略图或其他图形显示器的中心扫过的图标。
如图21B所示，一旦功能被“传送”，眼睛信号和/或包括触摸和语音在内的任何其它控制机制可被用于进一步执行所需动作。例如，可以将现有显示器(即，在图21A的情况下的易于读取的时钟526a)最小化为526b。眼睛信号和/或其他多模输入也可用于操纵传送功能。例如，如图21B所示，可以读取文本消息。
跨平台传送允许利用每个设备的优势。在图21A和图21B所示的情况下，平板计算机520可以具有更大的选择阵列(即，由于显示空间)可供选择。智能手表在旅途中是一种更方便的阅读设备。在跨大的显示器阵列(例如，排列为“墙”的5×5显示器的网格)的多平台传送的情况下，传送过程甚至可以仅用于确定指针的位置。
图22A和22B进一步说明了使用多模技术“传送”指针以指定文档中的文本子集，并且随后将指定的子集“剪切并粘贴”到文档内的不同位置的优点。如上所述，在一些应用中，所选择的文本可以被粘贴到不同设备的显示器上。图22A示出包含文本531的主体的显示器530。在这种情况下，用户希望在文档531中进一步向下移动文本532a的第一句以被包括作为全字母短句的列表的一部分。
使用眼睛信号和多模(例如，鼠标、轨迹板)输入的任意组合，首先将指针533a移动到指定所选文本的开头的句子的开始处(例如，通过使用鼠标的按钮按压)。接下来看着句子535的结尾周围的区域，并且继续使用多模(例如，鼠标、跟踪板)控制的过程，指针的位置被“传送”534到句子的结尾。朝向注视方向的移动(即，句子535的结尾)可以是瞬时的或高速度。
指针(可选地)可以在其接近注视位置时显示为减慢。这产生了指针在动态地改变其响应特性的同时无缝地响应于输入控件的舒适感。最终效果是能够在快速地穿过屏幕的大部分的同时精确地指定句子的结尾(即，剪切和粘贴区域的结束)，从而节省了大量的时间和精力的能力。
一旦指定所选择的文本535的结尾，则用户可以将扫视536到文本将被移动的区域，如图22B所示。再次，操作的“粘贴”部分可以受益于“传送”过程。具有多模输入的扫视使得指针快速地被传送到目视区域，在该区域中，可以使用多模控制来更准确地引导指针，以指定要插入句子532b的位置533b。按下鼠标或轨迹球上的按钮或其他一些用户指示(例如，语音命令)完成操作。
在示例性实施例中，实现传送机构的眼睛信号的获取可以经由位于远程或可佩戴对象或设备(包括头戴式装置)上或周围的检测器，或者可以使用一个或多个用户的眼睛可见的一个或多个场景相机来实现。
多模控制期间的眼睛信号反馈
当向设备用户提供可视选择和/或反馈时，多模控制需要特别考虑。随时提供所有的多模选择会产生混乱的用户界面体验。
克服这种混乱的示例性方法包括中心窝突出。在该实施例中，当注视指向区域时，可以向用户指示该区域内(即，一般在中心窝视野内)的可选项目。指示可以是以颜色或强度突出显示、前景颜色变化、不同背景的形式，包括晕圈、概述区域、修改字体、改变一些其他形式信令的对象大小。中心窝视野内的可选项目的动态指示可避免显示画面与大量选择项混乱的情况。还向用户提供关于正在观看的区域和(对新手用户)哪些项目是可选择的反馈。
仔细地控制和排列移除选择指示的顺序也很重要。对于终端选择(即，不需要进一步选择来执行动作的终端)，可以立即移除未选择的项目的突出显示(或其他指示)，以便继续所选择的动作。
使用多模控制，可以将诸如鼠标或轨迹球的固有目的的输入(见表1)的初始移动视作眼睛信号不被用于特定选择的信号，允许撤消眼睛信号菜单。在算法上，方便地实现包括和撤消眼睛信号显示部件的一种方法涉及使图像“层”致力于控制该层的透明度的这些组件上。当需要时，可以使显示尺寸的层(或层内的区域)变得不透明(即，更不透明)以显示眼睛信号元素。可选地，眼睛信号元素的显示可以逐渐执行为“淡入”，以减少吸引注意力的倾向。当不需要时，可以通过使该层内的一个或多个区域更透明来去除眼睛信号层的一个或多个区域。
基于眼睛信号的阅读音乐
眼睛信号语言的具体应用涉及音乐的阅读、演奏和/或观看。在物理或触摸屏世界中，音乐家必须在音乐页面末尾停止演奏短暂的时间来翻页，无论是物理转动还是屏幕滑动。这会导致在演奏期间的不必要的停顿，破坏音乐的连续性和流动性。
一个实施例集成眼睛信令和跟踪信息以确定音乐家在音乐中的位置，并且实现智能滚动音乐以避免这些中断。通过，包括单页的多行的音乐的整个页面，一旦音乐家到达页面的末尾，就会执行翻页，可选地包括基于眼睛速度的逐渐过渡，以确保音乐家能够完全地完成该页并且移到下一页。
图23示出显示器570内的乐谱571的示例。当音乐家的注视(不一定是演奏位置)到达页面572上的最终音符的区域时，发生翻页。基于用户偏好，翻页功能可以是“连续”行滚动模式、更传统的翻页模式，或者通过滚动或翻转页面或显示器的某些部分或全部。
后一种方法的优点包括现有的乐谱可以简单地被扫描并且容易地输出到包括眼睛跟踪的方法的事实。现在的音乐家也熟悉这种格式。使用这种方法，重要的是控制滚动的时间，以确保在演奏期间没有信息丢失。
包含乐谱的数据库可以包含其中显示中的修改可能发生的优选的断点(即，在乐谱内优选显示改变的位置)。替选或附加地，可以在距所显示的乐谱的末尾(或任何其他参考位置)的预定距离内分配一个或多个断点。
在替代的滚动方法中，乐谱被格式化成连接成单个水平“条”的线。图24示出乐谱条580的一部分的示例，其中，向音乐家显示片段或“窗口”581。当用户的注视位置582靠近乐谱的显示区域的结尾时，在观看窗口内将乐谱提前583(即从左到右)。然后，音乐家可以通过用户的注视确定的滚动速度，可能于片段的节奏，眼睛信号和/或听觉反馈的附加反馈，在屏幕上的单行上不间断地滚动整个片段。尽管需要重新格式化现有的乐谱扫描，但是这种方法可能受某些人喜欢，特别是在需要小型显示器(包括虚拟、混合或增强现实显示器)的情况下。对于一些用户来说，单行的连续调节滚动更舒适和/或直观。
智能页面滚动也取决于眼睛的行为，通常反映了音乐家的技能水平。音乐家的眼睛通常会在演奏音符之前扫描一些拍子。这由技能水平改变，新手音乐家只能看着要立即演奏的音符，而专家音乐家作为提前准备的形式，可以在阅读要演奏的内容前的若干拍子。这也与音乐家的所谓的“视力阅读”的技能水平有关，即，在任何实践的情况下首次阅读来准确地演奏能力。专家音乐家能够阅读之前的许多拍，给予足够的时间来处理即将发生的事情，并以正确的节奏移动嘴唇、手臂、手指、胸部和/或其他身体部位，以准确演奏音乐。
在示例性实施例中，基于眼睛信号的乐谱显示控制可用于对音乐家进行分级和/或训练，以基于音频和注视位置来视奏越来越复杂的音乐。如图25A和25B所示，分级和反馈比较正在演奏的音符和音乐家正在阅读的音符之间的差异。
图25A示出测量演奏位置591a和注视位置592a(早于演奏位置)之间的差异的乐谱590。演奏位置可以基于在乐器本身上演奏的感测音符或通过音频识别由使用麦克风感测的乐器产生的声音。图25B显示在训练和/或反馈之后，与图25相同的乐谱，其中演奏位置591b和注视位置592b之间的间隔被延长。
在表演期间，一般的眼睛信号语言也可以用于控制各种功能，包括(例如，从不同乐谱库)选择乐谱，设置用户偏好，与其他音乐家或指挥家无声地沟通，响应来自他人的请求或指示(即实时)需要重新录制的演奏部分。在电子控制的乐器的情况下，可以使用眼睛信号来部分地(例如，设置参数)或完全控制一个或多个乐器。可以使用眼睛信号语言的一般结构和选择序列离散地执行这些动作。
眼睛信号语言便笺
在许多计算设备操作系统中使用的普遍存在的功能或任务是将信息块从一个位置或应用传输到另一位置或应用。信息形式可以包括字符、单词或单词组、数字或数字组、图片、图形、音频文件、视频、表示功能或应用的图标、信息集群的文件夹或其他信息等。能够使眼睛信号语言引导和传输这些信息的示例性方法是使用“便笺”。“便笺”在眼睛信号传送过程中提供多种功能。便笺：
1.允许汇编数据以传输或存储，
2.允许隔离数据子集，
3.如果需要，将数据从一种形式转换为另一种(例如，语音到文本)，
4.操作为档案库以存储和检索存储的数据集，以及
5.用作指示和激活转移过程的中心位置。
信息源可以包括由诸如文字处理器、电子表格、图片和视频观看者、文本接收器、邮件接收器、网络浏览器等的应用产生的数据。源还可以包括诸如相机、麦克风、GPS、时钟、加速度计、传感器等设备的输出。信息的目的地可以包括文字处理器、电子表格元素、图片和视频编辑器、文本发送者、邮件服务器、网页中的选择和/或响应等。
图26是眼睛信号便笺控制区域的示例性显示布局600。该区域包括：
1.使用眼睛信号601，将信息存入便笺中的区域，
2.使用眼睛信号602，从便笺中取出信息的区域，
3.“向上滚动”以隔离便笺603中先前存储的条目的区域，以及
4.向下滚动(即向前转到更新的条目)以隔离在便笺604内的先前存储的条目的区域。
将信息存入便笺的过程包括观看对象并随后从对象605的区域扫视到显示器601的“存储对象”区域。如上所述，所存储的信息可以包括许多不同的形式。此外，可以从虚拟显示器600或现实世界中提取对象，其中可以使用对象识别来注册对象的标识和/或可以存储对象的图像。
新存储的对象的缩略图被放置在便笺的“输入”区域601以及“输出”区域602中。“输入”区域601中的项目的存储仅仅是提醒设备用户最近已经存储的信息，因为内容不能从“输入”区域直接提取。使用“输出”区域602执行信息的检索。
从便笺检索信息的过程包括以下步骤：
1.用户可以可选地向上滚动603和/或向下滚动604以隔离存储的信息的归档表示(例如缩略图)。滚动包括执行从“输出”区域602到“向上滚动”区域603或“向下滚动”区域604的扫视运动，然后返回到“输出”区域602。如果用户停顿在“向上”603或“向下”604区域，则重复滚动发生，因为相邻的“输出”区域在中心窝视野内，并且可被用户看到。
2.为方便起见，从便笺中隔离并且不再需要的项目可以从便笺中删除。这可以例如通过从“向上”滚动区域603到“向下”滚动区域604的扫视眼睛运动或反之亦然，绕过“输出”区域602来执行。一旦被删除，在“输出”区域中显示的项目可以是便笺列表中的下一个项目“向上”或“向下”，取决于从哪个区域603、604启动删除操作。
3.一旦从便笺隔离了期望的检索项目，那么，用户可以探究浏览要插入该项目的显示区域。例如，这可以是字处理器或文本消息内的位置、电子表格内的单元格、网页内的位置等。从期望的插入位置606到“输出”区域602的扫视完成检索。
替选地，除了上文所述的隔离便笺项目以便传输的“滚动”方法之外，便笺可以被“搜索”。使用语音输入特别有效；然而，在显示器上隔离的文本或图像或由设备捕获的图像/音频可以用作搜索比较的来源。如果需要，可以执行转换以使能便笺内的搜索。例如，可以执行语音到文本(或其他表示)(即，除非在便笺内直接比较音频记录)以实现多模搜索。按照类似的方法，对象识别和/或语音识别可用于识别便笺内的项目以便于搜索。便笺内的项目的最接近的匹配可以被放置在“输出”区域602中并准备传输。
用眼睛暂停在“向上滚动”区域603上可以被用来提醒设备例如用于搜索的语音输入。还可以使用在“向上滚动”603的停顿来表示在当前“输出”区域602内的信息之前(即，早于存入便笺中)，搜索便笺信息的子集。相反，“向下滚动”区域604上的停顿可以提醒设备的语音输入并且表示在当前显示在“输出”区域602中的项目之后存入的存储项目的子集内的搜索。可以使用在“输出”区域602上的停顿来表示搜索便笺的全部内容。这是眼睛信号语言中内的少数几个实例中的一个，其中，用户眼睛的“停顿”操作是适当的，以便可以感知便笺内的搜索结果。
在图26中，便笺存储器601和检索602区域中示出的图标是当便笺为空时的情形期间的示例性占位符。一旦“输入”601或“输出”便笺中存在内容，则便笺内容的缩略图显示在相应的区域中。
无人机和其他远程交通工具的眼睛信号控制
眼睛信号语言在需要快速和/或重复地指定位置和/或方向的情况下和/或当希望减少或消除使用其他身体部位形成的控制，诸如手控操纵杆或计算机鼠标的情况下特别有用。具有一个或多个车载相机和/或遥测的无人机(即，无人驾驶飞行器)或其他遥控交通工具(例如，船、潜艇)的航行是这种示例。
驾驶这种交通工具的主要功能是指定“往哪儿飞”(在陆地、海洋或水下交通工具的情况下，“去哪儿”)。在大多数情况下，以连续或周期的方式执行，以克服障碍、避开“禁飞”地区、考虑风，潮流和其他环境条件以及其他因素。
指定三维飞行方向的特别直观和有用的方法是从无人机或交通工具的角度“看”目标位置/方向。可以在AR、VR、混合现实头戴设备、平板计算机、智能手机、智能手表、手提计算机或台式计算机显示器上观看来自安装在无人机或交通工具上的一个或多个相机的实时遥测和视图。用于眼睛信号控制的各种选择可以叠加在实时视频图像上或周围。使用可选择地由其他(例如，手动、语音)控制辅助的眼睛信号语言发出交通工具控制。
与眼睛信号语言的其他组成部分一样，重要的是区分无处不在地使用的探索性眼睛运动来检查环境，从有意识的眼睛运动中传达控制无人机或交通工具的意图。通过从目标到显示器内的激活位置或位置序列的有目的的扫视眼睛运动，可以指定目标方向(和距离，使用其他仪器，诸如GPS)。这些目的地目标可以是静止的或运动的(并且随后被交通工具跟踪)。一个或多个目标会在不同的时间点被隐藏。
为了获得部分或完全的免提控制，眼睛信号也可用于控制交通工具运动的其它方面。这可以包括例如前进速度、节气门、控制表面的尺寸和方向、螺旋桨桨距等。眼睛信号语言也可以用于启动诸如“回家”、下降有效载荷、悬停静止、启动警告或信息信号等其他任务。眼睛信号也可用于经由菜单来查询状态指示符，以指定或修改飞行计划、观看和标记路线点等。
驾驶交通工具时的注视跟踪和眼睛信号
在另外的示例性实施例中，在驾驶交通工具时使用时，必须特别考虑注视控制和眼睛信号语言的元素。交通工具可以包括汽车、卡车、重型机械、船、雪车、全地形交通工具等。出于特殊考虑，因为除了眼睛信号之外，必须使用驾驶员的眼睛来仅通过简单地中断考察驾驶环境，以避开潜在的危及生命的情况。
参与驾驶员安全的机构建议，在适当的条件下，任何时间远离前方的车道不超过1.6至2.0秒(各机构之间的建议有所不同)。大多数司机实际上都会感觉到，在看了约两(2)秒之后，感觉不舒服。作为基准，调整传统(例如，不与平视显示器关联)无线电的平均时间为1.6秒。然而，报道了这种时间的广泛变化。
在驾驶过程中，驾驶员看到的地方会为舒适和安全带来许多好处：1)驾驶员信息的显示和其他形式可以根据驾驶员是否看到前方的道路以及看了多久修改。显示设备动态地适应驾驶条件(例如，高速公路与停车场)和驾驶者的行为，以避免在不适当的时间引起注意和/或减少认知负担。2)眼睛信号控制和显示反馈的定时可以被设计成鼓励驾驶员在预定的时间之后看回到前面的路径。3)如果交通工具感测到紧急情况(例如触发自动制动)，并且驾驶员没有朝着该情况的方向观看，则可以采取步骤来引导驾驶员的注视。
可以利用眼睛信号语言内的选择和激活的快速性，以促进使用虚拟(例如，控制台显示器、增强现实眼镜、平视显示器等)的安全驾驶，特别是具有较大格式的那些。如前所述，眼睛产生的扫视是人体中最快速的动作。在执行选择和/或激活的一个或多个扫视后的到控制台显示器上的位置的扫视(经常由记忆引导)通常可以与例如在触敏屏幕或按钮上的位置执行手势或激活以实现相同功能的手动运动相比以更少的时间执行。使用眼睛信号，甚至可以执行所有的驾驶控制，而不用从方向盘移开手。
在驾驶的特定情况下，可以采用场境相关和简化的菜单选择以进一步减少与远离驱动过程的观看相关联的时间。作为前者的示例，用于控制无线电功能的虚拟“按钮”在用于导航的地图的显示期间不可用。作为后者的示例，功能选择和激活都可以使用到诸如显示器的四(4)角中的一个的激活位置的单个扫视发生。
相比之下，在非驾驶应用中，与图像或地图的交互涉及从诸如放大、缩小、平移、选择对象、识别对象、剪切、粘贴等的多个操作选择。在眼睛信号语言中，从这些多个操作的选择通常将需要至少两次(2)扫视眼睛运动(例如，所谓的“揭示”操作)，即，一次扫视产生菜单和一次扫视从该菜单中选择动作。
然而，在观看地图时的驾驶应用中，可以将选择限制到，例如，朝向屏幕的四(4)个角中的一个的扫视眼睛运动。与四个角相关联的动作是：
1.放大(以地图上观看的位置为中心)，
2.缩小，
3.平移(在地图上刚刚看到的方向)，和
4.从地图显示中退出(例如，返回到更高级菜单)。
快速选择和激活场境敏感的，受限制的潜在功能集减少了远离驾驶过程的扫视时间以及与驾驶无直接关联的过程的认知负担。还以迫使驾驶员在继续行驶之前观看前方的路线的方式限制选择，从而导致离开行车道路简短匆匆一看的策略。当观看前面的路径时，如前所述，以避免引起注意的方式来改变显示的策略(例如，在扫视和/或眨眼失明期间，逐渐改变亮度和/或颜色[利用变化失明]等)可进一步提高驾驶员的安全性。驾驶员视线方向的知识也可用于改变呈现给驾驶员的信息的时间和内容，以进一步促进安全驾驶行为。
在驾驶过程中，驾驶员可以短暂地从驾驶过程移开到可选对象。可选择对象可以是诸如在投影到交通工具内部的控制台或平视显示器上的地图上显示的位置的虚拟对象，或者诸如控制照明的旋钮的物理对象。在用于在显示器上使用眼睛信号的激活的替代实施例中，一旦可选对象被识别为被驾驶员观看，驾驶员注视就可以重新关注驾驶过程。那时，驾驶员可以激活与刚刚看到的注视位置相关联的功能。激活可以以包括语音命令(即，经由一个或多个关键词的语音识别确定)、开关(例如，位于方向盘上)、点头或类似指示的多种方式来执行。不同的驾驶员喜欢不同的激活模式。不同的激活模式也可以在不同的时间使用。
可以使用不同的激活模式(对一个或多个激活位置的眼睛运动、手动按钮按压、语音等)来激活不同的控制。驾驶员控制的示例包括照明的变亮或调暗(通过注视照明旋钮)、窗户的升高或降低(通过观看窗户切换控制)、选择无线电台(通过观看无线电)、推进播放列表中的歌曲或播客(通过观看音频播放器)、提高或降低音频音量(通过简单地注视音量控制旋钮)和其他音频特性、调整气流的方向和大小(通过观看适当的旋钮和/或指示器)、控制区域温度(通过观看指示器)、调整反光镜位置(通过观看反光镜位置控制)、改变座椅控制(通过观看适当的按钮)、调整雨刮器速度(通过观看雨刮器控制)等。在大多数情况下，眼睛信号和手动(传统)控制都可以提供给司机。
通过减少与非驾驶功能相关的时间，鼓励驾驶员注意前方的道路来促进安全驾驶。激活可以随驾驶员的短期或工作视觉记忆内的时间发生，进一步减少与交通工具引导不直接相关的过程的认知负担。诸如在地图上查找和指定目的地位置的复杂操作可以作为远离驾驶过程的一系列短暂匆匆一看来执行，其中，当在每次匆匆一看后，注意力返回到驾驶的过程时，激活都会发生。这样一系列短暂匆匆一看被认为是驾驶安全的最佳选择。另外，如果作为激活的结果(例如，在地图上执行的平移或缩放功能)改变显示器，则可以在驾驶员不直接观看显示器的同时执行对显示器的改变，进一步减少与观看动态改变的显示器相关联的视觉处理。
当不同的显示和交互式设备可用时，可以向驾驶员提供不同的策略。例如，如果AR显示和控制台显示均可用，则短时间内会在AR设备上显示有限的信息。然而，当执行更复杂的操作(例如导航)时，使用由眼睛信号辅助的控制台显示更安全。通信可以直接发生在AR设备和控制台的处理器之间。替选或附加地，可以使用AR设备上的场景相机来观看在控制台上显示的选项，并且经由眼睛交互来帮助指导用户选择。
观看驾驶员的正面的控制的能力也可以促进一致和安全的驾驶行为。以最少的驾驶体验，通过对车内的已知位置(大角度容错度)的记忆引导的头部和眼睛运动管理匆匆一看。相比之下，如果将大量信息投影到诸如小型平视显示器的小空间上，则在这些受限空间内定位和识别特定控制变得更加困难。如果显示器在不同时间投影不同的信息集，则这种情况会变得更糟。驾驶员需要等待或执行其他查找操作才能与所需的显示菜单进行交互。
相关识别的文档和设备用户
基于虹膜识别和其他措施来识别设备佩戴者的方法在2015年5月9日提交的、申请序列号为14/708,241的“Systems and Methods for Discerning Eye Signals andContinuous Biometric Identification”中描述过，其全部内容在此引入以供参考。许多安全应用需要文档、表单、协议或其他数据集以及识别的设备佩戴者之间的关联。这些应用程序涵盖范围广泛的领域，包括法律、财务、许可、安全、知情同意、医疗等。
在示例性实施例中，现实(即，物理)或虚拟(即，在显示器上观看)文档可以由设备佩戴者观看，其中文档的标识可以使用观看设备佩戴者的环境的一个或多个场景相机来验证。文档识别可以基于内容、嵌入的QR码、嵌入的条形码、签名的识别、或其他安全特征的位置和标识。签名的识别可以使用图像识别技术和/或机器学习技术来执行，包括按所谓的深度学习神经网络的分类。
一旦文档被识别，它可以被电子标记为由基于虹膜识别(例如，虹膜识别)和/或其他措施来识别的设备佩戴者观看。可选地，可以使用眼睛信号语言或其他方法(诸如使用键盘或语音识别)对这些文档的电子表示进行修改。修改可以包括基于设备佩戴者的确认标识插入“签名”。该签名可以是通常与手写文档相关联的形式(例如，叠加的图像)，或与个人唯一相关联的“电子签名”(即，数字码)。替选或附加地，条形码或QR码可以被附加到文档上以指示已经由所识别的用户观看过。
最终，签名可以包括描述用户的注视数据的子集或全集的元数据，其可以包括当用户视觉上读取或扫描文档时产生的眼睛信令、时间戳的注视持续时间、注视序列映射、瞳孔扩张以及其它生物测定信号中的一个或多个。这些信息对于知情同意确认是有价值的，也是不仅验证信息的细读，而且提供理解和/或甚至同意合同语言的指示的一种方法。
这些“签名”和/或修改的文档可以以等同于文档的物理交换的方式进行交换。(例如，从全球定位系统确定的)签名的时间、日期和位置也可以嵌入文档内。
虚拟显示“墙”
虚拟现实、增强现实、混合现实和其他头戴式显示系统提供了一种观看虚拟显示“墙”或扩展桌面的机制。这些墙或有效表面包括大的虚拟显示区域，其中“墙”的一个区域被投影以便在任何时间被设备佩戴者观看。然而，可以完全围绕设备用户的虚拟显示器的所有区域以编程方式保持观看和交互。虚拟墙或表面可以是任何尺寸、与设备佩戴者的感知距离、形状或曲率。应用包括增强的工作站环境、交互式显示和娱乐。
虚拟显示墙非常适合注视交互和眼睛信号语言，其中，用户可以根据用户偏好和/或特定应用从不同的交互模式中选择。可以基于头部运动、设备佩戴者的注视方向和/或眼睛信号命令来控制投射到设备佩戴者的视野中的区域。
图27示出与典型的虚拟墙或显示器610的设备用户611的交互。在设备用户611的视场(由虚线表示)612中，整个虚拟墙610的区域613被投影到显示设备(例如，增强现实或虚拟现实头戴设备)用于观看。该投影区域613可以是虚拟显示区域610内的任何尺寸和位置，其中，根据特定应用，在一些情况下，尺寸可以自动改变。
在本领域内(例如，由美国Oculus VR制造的装置)，通常基于头部运动来执行整个虚拟空间610的可视区域613的控制。例如，头部运动使得所显示的图像沿着使虚拟环境中的静止对象看起来静止的弧距离的移动方向滚动。然而，在示例性实施例中，通过还考虑注视动态，可以实现对可视区域的改进的控制。例如，当检测到眼前庭运动时，其中，眼睛在头部运动时继续观看位置，可视区域可以保持静止。这避免了当有感兴趣对象时设备用户过度的显示移动。
另一方面，在示例性实施例中，当存在与非眼前庭运动相关联的头部运动时，设备用户通常有目的地改变缩放点对象。在这种情况下，预期场景移动。移动场景的一种非常令人愉快和“自然”方法是在扫视抑制期间执行显示改变(如上所述)。以这种方式，当设备用户功能失明时，场景被改变，减少与场景移动相关联的分心。由于眨眼抑制的主要生理目的是减少持续的感知运动，所以在扫视抑制期间执行的场景运动被归类为“生物启发”技术。
在眼睛信号语言中，存在如何定位和显示显示器的眼睛可选择区域的选择。在第一示例中，称为“屏幕锁定”，可选区域位于虚拟显示区域610内的固定位置。为了方便起见，可以在各个位置重复特定的可选区域。这在图27中示出，其中，沿着虚拟显示区域610的上部重复三(3)个相同的激活目标616a、616b、616c。在一些情况下，可选区域可以仅应用于虚拟显示器的一个区域。在这种情况下，可选择区域可以基于场境，仅在一个位置中可用作“屏幕锁定”图标或该区域内的其他符号。
在替代实施例中，在眼睛信号语言中，眼睛可选择区域(例如，激活目标)可以被定位在设备佩戴者的视野内的固定位置处。在该方案中，将用户的眼睛引导到可选择区域的称为“头部锁定”图标或其他符号被叠加在虚拟显示器上，并且随着可观看区域613在虚拟显示区610内移动(即，通过用户头部的移动)而移动。
如上所述，对象的头部控制的定位可以可选地仅由被确定为不是眼前庭的那些头部运动来控制。换句话说，可以在眼睛信号期间移动头部，而不通过看特定对象并移动头部(即，产生眼前庭运动)来移动投影/显示对象的位置。
在另外的实施例中，可以同时将“屏幕锁定”和“头部锁定”方案用于眼睛交互。例如，可以与虚拟显示器610的内容相关联的可选区域(例如，与编辑文本相关联的选择)可以被定位在文本内容周围的“屏幕锁定”模式中。同时，在“头部锁定”模式中，可以使例如与更常见的导航和控制功能(例如，运动新的应用)相关联的可选区域总是可用。这使得更常见的导航功能更容易找到(即，促进记忆引导的扫视)。
可以通过控制图标和/或符号的透明度来实现与“屏幕锁定”或“头部锁定”模式相关联的图标或其他符号的显示。模糊图标允许检查显示的内容，而不会过度杂乱。例如，随着增加先前激活的时间和/或设备用户的经验水平，如由场境保证的，可以增加不透明度(即，透明度下降)。
增强键盘输入
当使用键盘与头饰(例如，虚拟现实、增强现实或平视显示器)结合使用时，头戴设备设备和/或任何附件可以物理地限制或阻碍观看键盘的能力。例如，虚拟现实设备完全阻止了现实世界的所有视图。这通常会破坏键盘的使用，因为许多键盘用户必须看他们的手，例如，当他们们打字或按下与其他功能相关联的键时。即使是那些所谓的“触摸打字员”，通常在按键的过程之前一般都要确保手被适当地定位(即相对于键)。
在示例性实施例中，佩戴式头戴设备和(可佩戴或远程)显示器提供了一种通过使用相机观看键盘的区域并覆盖显示器的可观看区域内的相机图像(即，包括手指和键位置)来克服键盘和手的任何遮挡视图的方法。以这种方式，可以确定相对于键的手指位置，而不必一直向下看(或者在任何其他方向)实际的键盘。键盘观看相机可以安装在任何形式的头饰上、颈部或胸部上，或任何其他支撑件(例如，不在身体上)，诸如支柱或作为从显示器监视器的顶部向下看的设备。
当与眼睛信号结合时，手指和键的位置的重叠显示特别有效。已构建视觉信号语言来根据眼睛运动覆盖的距离和传达意图所需的时间，利用“有效”的眼睛运动。实体键盘的向下看会分散语言组件，消耗大量的时间并造成眼睛的疲劳(即由于长时间向键盘的扫视)。此外，将用户视野返回到显示器内的区域的过程通常需要长距离扫视、一个或多个矫正扫视，并且经常地，搜索扫视以返回到显示器上的期望的观看位置。
用户手和键盘的视图的实时投影可以显著减少在键盘输入期间与观看手相关联的眼睛(和头部)运动。在大多数情况下，手和键盘的虚拟或投影图像可以被定位成使得它在执行任务期间在外围、副中心窝或甚至中心窝视图中。这允许设备用户在显示器上的一个或多个感兴趣区域之间来回交替视图，以及在键盘输入期间手指和键的视野，而不会丢失在显示器上的空间参考和/或其他信息。
图28示出头饰650的视图，其包括键盘观看相机651，其被定向成使得键盘652和设备佩戴者的手653a、653b均位于键盘相机651的视场654内。在一些实施例中，设备用户不能看到键652和手653a、653b的位置。
图29示出与图28相同的头饰650，具有键盘662和设备用户的手663a、663b的投影，因为它们被键盘相机651记录并且在显示器660上实时观看。显示器660可以是头饰650的一部分(例如，增强的现实、虚拟现实或头顶显示器)或远程定位(例如，平板计算机、智能设备、膝上型计算机、计算机监视器)，只要显示器在设备佩戴者的视场661a，661b内(由虚线表示)。
图29所示的示例性任务包括由设备用户打字。字符和单词被附加在相对于文本主体664的位置665处。根据需要，用户可以向下扫视到键盘662和手663a、663b的投影图像，以确定在打字过程期间的相对位置。当与观看实际键盘652和手653a、653b相比时，这涉及更少的眼睛运动和相关的认知处理。
键盘662和手663a、663b的投影图像可以被定位在显示器660上的任何地方以适合设备用户。投影图像也可以被制成任何尺寸或任何透明度(即，完全阻挡其他显示的项目到仅仅几乎不可见的叠加投影)。半透明投影甚至位于正在发生打字或其他观看活动的地区(最小化眼睛运动)。透明度可由用户控制或自动调整。例如，当出现打字错误时，投影会变得不透明(即更明显)。
在其他示例性实施例中，物理和/或投影键盘可以被优化以用在增强模式中。实体键盘可以包括机械引导件或参考位置(即，通过感觉可识别)，以帮助在没有被直接看到的情况下定位手和手指。一个或多个这些引导柱或表面以及可以被触觉地识别的参考表面可以被定位在整个键盘区域的任何地方。
可以开发投影键盘以适应几乎任何键盘布局。使用本领域公知的图像识别技术，可以在视频图像中识别投影的键顶部。在这些图像中，可以将任何符号或字符集叠加在投影键的顶部上。通过这种方式，完全由用户选择的键盘是可能的。这可以用于考虑在不同语言中使用的字符和符号、适应身体残疾的情况、适应特定应用(例如，主要是电子表格中的数字输入)和/或自定义布局以优化包括眼睛信号语言的不同设置中的性能。
后者的一个特别有用的示例包括使用键盘来指定眼睛运动是否“有目的”的能力。可以使用任何快速运动(例如拇指按压)来快速指示眼睛信号被解释为有目的的并且执行所得到的激活。这些键盘“按钮”可以以类似于计算机鼠标上的按钮按下或按压在触摸感应板上的方式使用。以这种方式，不用从键盘上移开手，光标和/或其它指针的移动可以通过小的手移动和快速的眼睛运动来控制。
替选或附加地，键盘可以包括使用嵌入式触敏表面、方向按钮、微型操纵杆或推杆、小轨迹球或类似机构的位置控制。这些可以用在需要比使用眼睛信号可用的更精确的位置控制的情况中。通过消除需要定位和随后使用计算机鼠标或远程触摸板或操纵杆来保持手相对静止，进一步增强(即通过增加输入速率和/或降低认知负担和相关联的疲劳)大多数形式的键盘输入。
在替代或附加的实施例中，可以使用可补充上述相机图像的各种技术来感测特别是手指(一般是手)的位置。可以通过本领域已知的接近感测技术来估计手指与键的接近度。例如，一些接近感测技术依赖于大部分充满水的手指的介电性质对比空气的介电行为(即，当手指不存在时)的差异。因此，通过测量键周围的电容(即取决于介电特性)，可以确定手指的存在与否。其他技术包括测量从手指(当存在时)反弹的光的存在与否。
手指在特定键周围的存在与否的指示可以在上述键盘的基于相机的图像上或在单独的虚拟键盘上指示。手指的存在的这些指示可以包括小灯的图像、键的表面上的字符或符号的变化、虚拟手指的叠加的轮廓或图像，或者在每个键上的手指的存在的一些其他表示。
在另外的实施例中，可以基于以下来进一步区分每个手指的存在：
1.可以使用上述的接近敏感技术感测手指的接近度。
2.可以使用触敏技术来确定手指与键的接触。
3.键的实际按压可以通过键的按钮开关操作来测量。
这些区别中的每一个可以在上述虚拟键盘上进一步指示，或者叠加在设备佩戴者使用的实际键盘的相机图像上。然后可以使用区别来修改键盘输入。例如，可以通过简单地触摸键来键入小写字符；而大写和/或其他特殊符号可以通过完全按压键来访问。这可以避免多键输入或替代键盘布局，和/或减少移动手和手腕以产生不同的输入排列的需要。手指通常保持静止，除了键上的向下行程。
综合起来，这些方法可以设计成在数据输入期间最小化眼睛运动和手指移动，增加人机界面(HMI)速率和/或减少导致疲劳的认知负担。因此，这些方法可以允许手指和眼睛做自己最擅长的事。
无破坏性眼睛运动的扫视眼睛打字
在示例性实施例中，“眼睛打字”涉及通过(用户的一只或两只眼睛)观看键盘或其他选择矩阵来输入字符和/或其他符号。键盘或选择矩阵可以是实体的(即，物理对象)或虚拟的(即，投影为显示器的一部分)。眼睛打字的基础方面是字符和任何其他符号的输入，其可以尽快地传达用户的意图，同时最小化认知负担。
例如，可以使用安装在头饰上的、指向一只或两只眼睛的一个或多个检测器来监视眼睛运动。头饰还可以包括增强现实、混合现实或虚拟现实显示。替选地或附加，可以使用在诸如电话、平板计算机手提计算机或类似设备的移动设备内指向一只或两只眼睛的一个或多个检测器来远程监视眼睛运动。还可以使用位于台式计算机、与中央处理单元通信的外围设备(即所谓的“外围设备”)、壁挂式显示器、专用阅读显示器、标牌或类似设备内，指向一只或两只眼睛的检测器来监视眼睛运动。
许多商业上的眼睛打字系统的一个方面是使用暂停(即，超过预定时间的一只或多只眼睛固定)、眨眼或面部肌肉运动来指示字符或符号的选择。这些指示符中的每一个需要大量的时间来表示选择，特别是当与用于最初将眼睛指向特定字符或符号位置的快速扫视运动相比时。取消这样的选择指示符可以显著地增加眼睛打字的速率(即，每单位时间输入的字符数、符号或内容的数量)。
本文的示例性实施方案的一个方面是用户通过通常不会被暂停、眨眼或非眼睛肌肉运动而中断的连续一系列的眼睛运动的生成。用户可以经由一连串的扫视轻易地将他/她的眼睛从一个选定的字符移动到下一个字符，基本上没有延迟。基于眼睛运动的一个或多个视频流，从一个选择的字符到下一个字符的有目的的视线被系统以顺序的非中断方式识别。
本文的实施例的另一方面是眼睛打字时通常缺乏视觉反馈。如果显示反馈(例如，突出显示所选择的字符、显示单词或句子中新输入的字符、修改键盘布局)，则显示此类反馈的动作通常强制“感知”打字员部位的反馈。这种视觉感觉需要最短的时间(包括完全感知每个字符或符号的200-250毫秒)，限制打字过程的最大速率。事实上，反馈的感知通常需要比大多数眼睛运动更多的时间(即使另外涉及至少一个矫正扫视)。
在人类中，对视觉系统来说认知上难以忽视视野内(包括非中心窝区域内)的快速变化。因此，快速眼睛打字的一个关键是维持变化不大(如果有的话)的视野。在当今眼睛打字系统中常见的选择字符或显示句子的突出显示具有通过吸引注意力(即涉及额外的眼睛运动)和随后的认知/感知，显著降低最大可获得的打字率的效果。
提高打字率也可以通过消除打字过程本身的瓶颈来改善认知流程。通常很容易以比大多数人能够打字(手动或使用眼睛)更快的速度形成想法。通过简化和加速眼睛打字过程，变得更容易将思路连接在一起。
在另外的实施例中，可以向用户提供非视觉反馈，以便不分散与眼睛分类相关联的认知视觉处理和控制。在示例性实施例中，可以以眼睛运动选择的听觉指示的形式提供反馈。单独的字符、单词或短语可以作为视觉选择以音频形式广播。替选或附加地，可以向用户提供触觉反馈。包括听觉和触觉反馈的一个示例包括每个单词被系统识别时的发声和确定每个句子的结尾时的简短的触觉刺激。
没有了由视觉反馈触发的停顿(和大多数其他形式的固定)和感知，使得扫视眼睛运动能够快速地选择字符和/或其他符号并减少认知视觉处理，因为眼睛打字员的中心窝视野由静态和简化的视觉键盘构成。打字时缺乏反馈也降低了矫正错误的倾向。在这些系统中，通常更多地依赖于基于机器的纠错。通常，在打字过程中逃避初始校正的大多数错误在整个文档审查时由打字员更正。
在另外的实施例中，神经网络(NN)可用于“学习”与特定字符和/或字符序列的选择相关联的眼睛运动。NN训练的常见形式(例如，使用反向传播)和实施(包括部署中央处理单元、图形处理单元和基于硬件的加速)是本领域的机器学习领域中众所周知的。
可以训练神经网络以识别与选择单个字符、音节、单词、字符序列和/或其他符号相关联的用户的眼睛运动序列。NN的输入可以包括：1)眼睛运动期间的一只或两只眼睛的视频序列，或2)相对于真实或显示的虚拟键盘或选择矩阵的一只或两只眼睛的注视跟踪坐标。在前一种配置的情况下，除了识别与字符或其他符号相关联的特定眼睛运动外，NN还执行跟踪视频图像内的一只或两只眼睛的位置的功能。在后一种情况下，NN的输入包括一系列注视坐标以及键盘或选择矩阵的相对位置。
眼睛打字NN的训练可以是1)全局(即，基于来自眼睛打字员的数据)，2)个人(即，基于用户生成的训练数据)，或3)两种方法的组合，其中，可以将全局NN用作后续个人NN训练的起始框架的。可以通过系统已知的眼睛打字字符序列来执行训练。由于字符、字符配对或集合、音节和单词的许多不同组合应该理想地被用来训练神经NN。眼睛打字包含这种组合的简短书或文章通常是足够的。
个人执行扫视以将眼睛引导到不同的字符和符号的方式可能不同。例如，个人可能不会将眼睛运动一直延伸到位于选择矩阵的外围周围的字符或符号的中心。然而，只要用户保持类似的眼睛运动来选择这些字符或符号，NN可以将运动识别为选择位于外围周围的对象的字符，符号或集合。
根据用户的解剖学、眼睛肌肉的生理学和认知处理，在特定位置的眼睛运动中涉及的路径和速度曲线在不同的用户中可以是显著地不同。通过类比，不同的人通常以独特的运动步态行走，并以不同的手臂运动图案抛出棒球。不同的用户可以在眼睛打字不同的字符和字序列时表现出不同的“眼睛步态”图案。与简单地探索用户的环境的扫视眼睛运动相比，在有目的的扫视序列期间，不同的用户表达不同的“眼睛步态”。针对目标位置的眼睛运动的距离和方向(即全图案)可以以用户特定的方式影响着眼简档。可以通过NN和/或其他算法方法来考虑这样的差异，以确定何时进行选择和/或特定眼睛运动的“目的性”程度。对个人进行训练或校准的神经网络或算法方法通常比基于人口平均数的方法更稳健。
生成和识别的眼睛运动序列的能力(即，不限于逐个字符或逐个按键选择)是快速眼睛打字的基础。快速手工打字员使用所谓的肌肉记忆(通常认为是起源于小脑)来控制手指移动，以便将一系列的字符连接在一起。这种打字是在减少有意识的努力下进行的(在很多重复后)。
按照类似的方式，使用记忆引导的扫视可以用于在眼睛打字期间将常见的字符序列连接在一起。例如，单词“the”涉及不会精确地落在构成单词的三个字符上的一系列眼睛运动。然而，只要与形成“the”相关联的眼睛运动一致，则可以被识别并且随后导致与单词“the”相关联。类似的策略可用于分类耦合在一起形成句子的音节、单词、短语、句子或甚至概念。
神经网络可以被训练以识别与单个字符、字符组、音节、单词、短语和/或句子相关联的眼睛运动。然后可以将这些识别的单个字符、字符组、音节、单词、短语和/或句子连接(即附接)到先前识别和/或存储的字符序列。然后，这些序列可以形成类型文档的一部分和/或作为其他形式的动作的组件或输入。
在另外的实施例中，使用一个人的眼睛的打字可以可选地省略插入通常放置在单词之间的空格、标点符号(例如逗号、句点、分号、问号)和/或用于形成短语和句子的其他元素(例如引号、括号、括号)。其他打字系统中的这些元件通常占用选择菜单(例如，键盘)的重要部分并且通过在不同的选择菜单和/或布局之间来回切换来/或中断打字过程的流程(即，增加认知负担)。
在示例性实施例中，可以包括算法来插入这些字间距、标点符号和其他语法元素。这些算法类似于现代所谓的“拼写检查器”和“语法检查器”，尽管可以开发眼睛打字算法以特别考虑到空格通常不是最初放置在单词之间，和/或标点符号不存在的事实。一旦将特征插入专用于快速眼睛打字过程的文本中，系统可以随后执行类似于更常见的拼写和语法检查的操作。
在示例性实施例中，眼睛打字序列的基于机器的校正可以考虑眼睛打字过程的特定特性。这包括与单个或一组扫视眼睛运动相关联的“置信因子”。这些置信因子表示键入特定字符或字符序列的保证的评估，并且可以包括对“目的性”水平的评估。这些评估可以基于在输入已知字符序列时与历史或记录的眼睛运动相比较的监视的眼睛运动的相似度。
眼睛打字还可以基于相对于键盘(或其他选择矩阵)布局的测量的眼睛运动来提供具有替代字符或字符集的基于机器的校正算法。例如，如果眼睛运动主要针对字母“t”；然而，眼睛注视稍微指向字母“t”的目标位置的左侧(在标准QWERTY键盘布局上)，则导致设备用户实际意图字母“r”的可能性。通过提供不仅具有眼睛键入字符的“最佳估计”，而且具有基于测量的眼睛运动的一个或多个替代字符或字符序列和/或置信因子的校正算法，错误校正可以考虑一个或多个更多的替代字符。
在另外的实施例中，使用一个人的眼睛打字可以可选地避免包含大小写。字母大写可占用选择菜单的显著部分和/或在不同字符集之间来回切换时，打断打字过程的流程。可以包括算法以在适当的位置插入大小写(例如，句子的开始、专有名称、已标识的首字母缩略词)。
在一些情况下，可以使用类似于数字小键盘的菜单来选择输入数字。例如，当使用计算器或电子表格时，这种方法会更有效率，以将长串数输入为数字。类似地，通过显示可切换的菜单选择，可以更有效地从元素的有限列表(例如州、城市、国家、地址、月份、年份、颜色、字体的列表)中选择一个或多个元素。
然而，在文本的快速和更广泛的打字过程中，不必提供数字小键盘，而是在需要的时候“键入”(即拼出)偶尔的数字更有效。可以包括打字后算法来检查这些数字，并在适当时将其转换为数字。例如，可以使序列“176”或“17706”在最后键入的文档中呈现为“1776”。
在示例性实施例中，可以由打字员使用的另一可选组件是在每个单词或句子的末尾插入简短的“暂停”的能力。暂停的效用不是对任何特定的功能特征的感知或停顿。相反，暂停可以充当信号机制来指示单词、短语或句子的结束；而以及作为当眼睛打字员收集他/她的想法以继续下一句话时的短暂时间。经验表明，这是调整眼睛打字过程步调的一种自然和舒适的方法。
总而言之，与现代语法和拼写检查算法相比，基于机器的识别眼睛类型字符序列的意图被设计为更主动。辨别意图通常可以假设以自动方式插入空格、大小写和标点符号。眼睛类型内容的格式化包括自动插入标题和段落，以及转换数字和其他符号以匹配书写风格。如果单词或短语显示不正确，则除了基于标准语法规则和字典的更正之外，还可以考虑基于特定字符和字符序列的置信水平以及键盘布局的替代组合。
在另外的实施例中，使用一个人的眼睛打字可以可选地包括任意多个“快捷方式”。快捷键可以包括表示更长序列的字符、单词、句子或图像的眼睛打字特殊字符或字符序列。快捷键还可以包括特定的、可识别的眼睛运动(例如，斜视动作、在特定方向上从显示器移开、与字符选择无相关的快速扫视序列)或眼睛周围的区域的移动(例如，一个或两个眼睑的运动、眯眼、部分或全眼闭合)。
这些快捷方式可以用于快速插入常见的单词或短语(例如，一个人的姓名、致意、常问问题的答案)、常见问题的答案，诸如检查清单上的那些，和/或被包括在一部分对话的图像。快捷方式(即，特殊符号的眼睛选择)也可用于切换键盘布局。这些菜单切换可以应用于例如使用数字小键盘的数字输入、使用来自有限多个的元素的选择序列输入日期(例如，年、月、日)的情形以及类似的数据输入情形。然而，如上所述，切换菜单的过程通常比其他不间断的眼睛打字功能更慢。因此，可以避免菜单的频繁切换以保持最佳的眼睛打字速率。
在进一步的相关实施例中，用户可以可选地包括所谓的“自动填充”或自动完成单词、音节、短语、句子、图像和/或任何预定符号或功能序列(或类似类型的数据输入)以有助于提高数据和/或概念输入的速度。然而，与现在的自动填充实现不同，眼睛信号显示和一个或多个自动填充可能性的随后的选择仅在用户将他/她的注视移动到显示器上的一个或多个自动填充激活位置时才发生。只有在将注视移动到这些位置之后，才会显示选择。这避免了在打字过程期间观看许多字符完成可能性——这是当今自动填充实现的一个共同特征(不由注视引导)——所需的许多分散(即搜索，检查)眼睛运动。
此外，一个或多个显示的选择可能性可以局限于用户的中心窝视野(即，考虑用户当前的注视方向)。以这种方式，不需要进一步的搜索眼睛运动来观看的选择。将显示的选择限制到用户的中心窝视野的结果是限制所显示的表示的大小和/或选择性的数量。选择可以通过跟随选择可能性的扩展表示(在本文别处描述)，或者可选地，通过从选择扫视到激活目标进行。
此外，当特别是对于常见的单词、短语和/或数据输入元素，期望的选择很有可能是可用和明确的时，有经验的用户可以学习最佳时间来调用自动填充机制。此外，选择可以包括完整的短语、完整的名称、致意、公共数据输入元素等。这些策略的组合大大增加眼睛打字的速度。
使用递归神经网络来辨别意图
包括深层神经网络在内的机器学习技术特别有助于识别眼睛信号和其他眼睛运动的意图，以及预测或计划(提前)眼睛运动过程。用于投影和辨别设备佩戴者意图的方法在2015年5月9日提交的，申请序列号为14/708,234的“Systems and Methods forBiomechanically-based Eye Signals for Interacting with Real and VirtualObjects”中描述过，其全部内容在此引入以供参考。公开了近来的眼睛运动过程被放置在缓冲器(例如先入先出)中并用作神经网络的输入的方法。
替代实施例包括使用递归神经网络。递归网络是形成互连(有时被描述为处于“后向”方向)，使得在连接内存在递归循环的神经网络类。这些互连允许将最新的“记忆”形式并入网络本身。这些结构可以消除对提供给输入节点(先前描述)的眼睛运动的显式历史的需要。相反，每个眼睛运动被测量并顺序地馈送到网络，其中最近的运动历史的交互和加权由网络学习过程确定。
眼睛运动的最近历史在辨别刚刚描述的眼睛打字过程内的意图时特别有用。辨别快速眼睛打字序列期间的意图不仅涉及逐个字符形式的输入，而且可以包括当输入内容时的两个或多个字符的组合、整个单词和/或甚至完整短语相关联的可辨别的眼睛运动序列。另外，可以辨别与音节、单词之间的间隙、通常标点出现的位置，包括与逗号相关联的位置以及句子的结尾相关联的运动(包括可选地，眼睛运动中的轻微暂停)。因此，在示例性实施例中，用于辨别眼睛打字时的意图的神经网络架构可以包括足够的历史以包含扩展短语和任何短暂的暂停(即，最多约二十(20)秒)。
在设备佩戴者的环境内的按钮和控制
在另外的示例性实施例中，可以观看“虚拟按钮”或物理按钮以及在设备佩戴者的视野内的任何可识别的表面上“虚拟地按压”或激活。“虚拟按钮”可以执行与标准键盘、数字小键盘、墙壁开关等上相同的功能；或者它们可以用于执行附加功能，诸如与眼睛信号语言内的目标图标相关联的功能。此外，输入可以是连续可变的，例如用作例如选择扬声器音量的输入的“滑块”。虚拟按钮和/或控件的关键要素包括使控制表面移动或设备用户移动(包括相对于控制表面)的能力。使用控制表面的图像识别和/或虚拟按钮和其他控件的位置可以相对于这些表面保持固定。
控制表面可以由场景相机以及相对于参考表面位置(例如，边缘、颜色变化、斑点、图案)定位的虚拟按钮、物理按钮和连续控制来识别。仅在按钮的区域被设备用户观看并且通过虚拟地“推动”或“滑动”表面上的虚拟按钮/控件时才执行激活。使用图像处理技术通过识别何时一个或多个手指推动(即，二元控制)或沿着表面滑动(即连续控制)来确定激活。
方便的“虚拟控制表面”的示例是设备用户手臂上的皮肤表面。手臂和手肘两侧提供参考位置，用于手指在相对的手臂上进行触摸和滑动。作为这种控制的示例，最靠近设备用户的手腕的虚拟按钮例如可以用于启动和停止(以触发器的方式)由设备发出的最近文本消息(即，使用文本到语音软件)。臂的中部的虚拟滑块控制可以用于控制语音音量。靠近肘部的虚拟按钮被用于在文本消息序列内“跳过”或“返回”。即使包括虚拟按钮的臂移动、设备佩戴者移动，和/或设备佩戴者的头部和眼睛(例如，前庭-眼反射)，也可以执行这些动作。
“控制表面”(即，将虚拟控件与物理对象或表面组合在一起)的另一示例是接收通常在会议室和剧院中发现的投影图像的白板或表面。使用场景相机识别控制表面(例如，白板、投影屏幕)，其中，参考位置(例如，白板的边缘)被确定。通过观看的使用一个或多个手指来触摸或沿着控制表面滑动，可以辨别输入以控制应用并执行其他动作。
在另外的实施例中，对象或符号(例如，图画、字符、图形)可以包括在控制或“激活”表面内。例如，任何符号可以绘制在白板或其他表面上，然后使用眼睛信号语言或任何其它输入装置分配“含义”或相关联的动作。例如，可以在表面上绘制字母“W”，并且每当激活“W”(例如，看着并按压任何手指)时，执行一系列命令来显示当天“天气”。替选地，可以对可识别的绘制形状(例如，“W”)或物理对象预先分配动作(例如，显示当前天气)。
作为另一示例，可以使用例如背面有光胶的纸或塑料(即“贴纸”)，将彩色点、符号或剪贴画(下文统称为图标符号)附贴或粘贴(例如，临时地)到诸如设备用户的手臂的表面上。可以分配不同的图标符号来执行不同的任务，并且图标符号可以被放置在设备佩戴者的视野内的任何地方。这允许设备佩戴者建立和定制富有控制输入的环境。
与如上所述的虚拟控制或(物理)图标符号相关联的动作可以包括在使用期间分配的预先分配的符号和/或相对位置、符号和/或相对位置，或两者的组合。在将动作分配给虚拟或实际控件时也可以考虑场境。例如，在审阅文本消息期间，可以使用滑块来控制如前所述的语音音量；但是，如果观看照片，则会使用滑块(位于控制表面上的相同位置)来快速扫描照片组的缩略图。
在另外的实施例中，可以使用包括远程显示监视器和/或增强现实头戴设备内的显示器的显示器来执行控制或激活。换句话说，一旦与动作相关联的对象被可视地识别，该动作可以由针对显示器上的一个或多个虚拟目标的一个或多个扫视(或其他眼睛运动)发起。可以快速执行与环境中的对象相关联的动作的顺序，特别是使用增强现实头戴设备内的多个不同的激活目标(可以表示不同的动作)。
由通知触发的场境敏感的眼睛信号激活
在佩戴式、便携式和固定位置计算设备中，呼入信息的设备用户通知的常见方法是缩略图、标题、消息的前几个字和/或其他视觉指示的显示内的临时叠加。这些通常呈现在用户熟知的显示设备上的固定位置(例如右上角)。例如，通知可以包括呼入文本消息、电话消息、电子邮件、警告、闹钟通知、日历事件、更新服务、数据流的显著变化(例如，天气、股市报告、GPS位置)等。使用本文的系统和方法，这些设备可以允许关于时间相关的信息以时间相关的方式“共享”显示器上的区域。
这些通知通常导致设备用户快速匆匆一看(即，朝向和远离临时通知的位置的扫视眼睛运动)。匆匆一看会导致希望回应通知。眼睛信号语言提供了通过允许响应于这种临时通知的“激活”来有效地对这些呼入信息作出反应的机会。通过从临时通知的位置扫视到“激活”目标的眼睛运动来执行激活。如果用户从通知位置扫视到非激活目标位置(例如，返回正在处理的原始任务)，或者如果通知在任何显著扫视运动前消失，则不会发生激活。
激活是“场境敏感”。换句话说，根据通知中的数据类型，启动适当的软件工具。例如，激活收到电子邮件的通知导致软件的启动和/或出现以读取和查看电子邮件。呼入文本消息导致软件的启动和/或出现以来查看和回复文本消息。激活日历事件通知导致显示有关事件的详细信息以及发送有关事件参与的响应的能力。
选择严格性的动态控制
存在影响用户精确地产生眼睛信号(例如，扫视、平滑追踪)语言组件的能力的许多条件。类似地，存在可以影响设备精确地测量和识别眼睛运动的能力的许多条件。在一些情况下，用户和设备性能都会受到影响，例如在颠簸的道路上行驶、乘公共汽车或骑自行车、操作船只、滑雪、跑步，甚至是简单的步行时。
在这些条件下影响语言成分识别的准确性的主要原因是产生加速度和合成力，其可以移动由可压缩表面压缩支撑或者以至少一定自由度自由移动的任何对象(其中，使用牛顿定律，力与对象质量成比例)。在加速度应用于一只眼睛或两只眼睛的情况下，所有这三种机制都有可能以超出用户的眼动运动系统施加的生理(包括有目的的)控制的方式移动眼睛。用户头部区域的加速度可以压缩眼睛(特别是流体填充的区域)、将眼睛推入或插入其眼窝中和/或使眼睛在其眼窝内(垂直和/或水平)旋转。虽然这些运动通常是轻微的，但是因为注视估计的几何参数，它们可能对准确跟踪目标眼睛运动的能力产生明显的影响。
按照类似的方式，应用于头饰或其他设备的加速度导致设备本身的部分弯曲、在设备接触用户(例如，鼻子、耳朵的上部)的任何或所有点处压缩，或者该设备甚至倾斜，改变感测眼睛位置的检测器(例如，一个或多个相机)的相对位置。如果用于感测眼睛的检测器被固定到移动电话或平板计算机和/或由用户手持的情况通常会变得更糟。设备的质量以及保持包含一个或多个检测器的设备所涉及的作用力可以增加力和设备相对于一只眼睛或两只眼睛的随后的运动。
执行眼睛信号语言分量时可能影响精度的其他条件包括环境照明(例如室内与室外)、瞳孔大小和睫毛和/或其他障碍物的反应性、瞬间位置以及眼睑的一般位置也可能随着日常活动的变化而变化(例如，醒来时、在明亮的环境中的中午、深夜)。
在示例性实施例中，可以以取决于预期的眼睛跟踪精度的动态方式来改变进行眼睛信号语言的选择和其他分量的严格性。除了由设备监控的外部施加的条件之外，严格性还可以以取决于用户在使用设备的经验、用户的历史精确度(例如，由用户执行的“返回”或其他矫正操作确定)、一天中的时间(也可以基于遍及整天的精确度的历史估计)以及用户指定的任何偏好(例如，使用眼睛信号语言选择)的方式来改变。
当佩戴头饰时，可以使用包括嵌入在头饰内的一个或多个加速度计、在观看眼睛的一个或多个相机中检测到的瞳孔和眼睛的急剧横向运动和/或通过一个或多个向外的场景相机拍摄的图像内的环境的整体运动的多种方法，估计应用于头部区域的加速度的幅度和频率。
后一种方法包括比较在一段时间内从一个或多个场景相机获得的图像，以确定图像内的背景是否以与头部移动一致的方式平移地移动(允许图像内的少量旋转运动)。场景相机(固定在设备用户的头部)角速度与从一个相机图像到下一个相机图像的背景的平移运动程度大致成比例(即，每单位时间)。使用图像识别技术，图像内的背景的移动可以与相对于设备用户移动的各个对象的运动分离。
环境照明(及其对跟踪精度的影响)可以从跟踪眼睛的检测器或嵌入在设备内的一个或多个环境光检测器(例如，光电二极管)的总体亮度水平估计。也可以基于从一个或多个场景相机获取的图像估计环境照明。
在示例性实施例中，当进行选择时，许多策略可用于改变严格性。这些可以单独使用或组合使用。它们可以全局应用于眼睛信号菜单选择的子集或个人选择。
调节选择严格性的相对简单的方法涉及控制进行选择的空间目标范围。在大多数情况下，精心设计的目标对象包括中心焦点(例如，具有不同的对比度、亮度、颜色)，以将用户的眼睛引导到目标对象内的最佳(通常中心的)位置。当眼睛运动在特定选择的空间目标范围内时，算法可以考虑运动是否是眼睛信号语言的有目的的组成部分。
空间目标范围可以是包括圆形、椭圆形、正方形或矩形的任何形状。严格性可以通过控制空间目标范围的大小和/或形状来控制。通常，减小目标范围的大小增加目标选择的严格性，从而在确定精确注视位置时存在增加的不确定性时减少无意激活的次数。相反，在更理想的眼睛运动记录条件下，增加目标范围的大小可以允许用户更快地产生眼睛信号运动的序列并减少认知负担，同时减少对精确的眼睛运动的需要。
也可以通过控制检测到的眼睛运动的时间范围来调节严格性。例如，在条件看起来对于准确的眼睛跟踪更为最佳的时候，可以更快地实现弹道扫视的预测的着眼位置以及扫视将落在激活目标区域内的确定。这允许可以更快地进行对眼睛信号语言元素的后续更改。因此，目标位置处的图标或对象被改变或移除，产生间隙效应。附加的菜单选择，诸如在“揭示”选择过程中显示的菜单选项可以稍后或没有延迟地呈现。此外，当更准确的眼睛跟踪可用时(即，通过更准确的眼睛跟踪促进)的时间期间，在屏幕上保持可用的“揭示”菜单的长度会减少。
通常，当测量中存在不确定性时，可以通过进行多次测量并且例如对这些测量进行平均(只要在测量时间内所测量的项目相对静止)，来提高精度。这种统计方法可以考虑所谓的“严格性映射”，下面将更详细地描述。在不太理想的记录条件下，需要更多测量的眼睛位置(即，由检测器收集的图像帧)，以便例如确定地识别由用户观看的现实世界或虚拟对象(或对象的部分)。这种策略特别适用于存在两个或以上紧密间隔的目标对象的情况。
在另外的示例性实施例中，在高严格性情况下，可以在眼睛信号选择和激活过程期间考虑更多的测量。相反，低严格性条件可以允许更少的测量以获得预定置信水平，从而允许更快地执行顺序的眼睛信号。除了可用于计算严格性的上述条件之外，可以使用眼睛位置预期基本上静止时的测量的变化程度来估计测量中的“噪声”程度。当增加噪声时，会增加严格性以补偿空间测量中确定性的降低。
避免不必要的激活(IA)
虽然眼睛信号语言的大多数描述集中在选择和执行各种动作的过程上，但也必须考虑避免所谓的无意识激活(IA)。IA由导致在设备佩戴者部位意外地执行的动作一个或多个眼睛运动产生。例如，IA是由于观看与选择序列重叠并被解释为选择序列的现实世界对象所涉及的眼睛运动产生。另一示例涉及在使用者注意产生模仿有目的的眼睛选择和/或激活序列的特征的分散眼睛运动的用户处显示“喊叫”的对象。
在一些情况下(例如，玩游戏)，IA可能被认为是恼人的，但在一些使用情况中，IA可能会产生真正的危险，需要规避必要的需求，例如，可以在增强现实的区域中的信息的投影显示可能遮挡观看现实世界的IA。这具有干扰活动的可能，或甚至被认为是危险的，例如在操作机器时。按照类似的方式，IA导致意外的声音的产生，使设备佩戴者震惊。
在示例性实施例中，可以将避免IA的策略描述为对执行选择和激活的过程添加“摩擦”。如上所述，不同的使用情况对结果IA构成不同的风险和失效，因此需要不同程度的摩擦。增加或减少摩擦力的策略可单独使用或组合使用以产生宽范围的摩擦水平。可以针对个人选择和/或激活序列预先设定摩擦水平，或者它们可以是动态的，基于诸如眼睛信号语言环境、用户体验、最近的IA记录、最近的眼睛运动的速度等。
如上所述，控制眼睛信号摩擦的最简单方法中的一个是控制眼睛运动的目标区域的大小和形状。通常，减小目标区域的尺寸会增加摩擦，减少IA的数量。由于眼睛运动“丢失”一个或多个目标，因此可以牺牲未成功完成的一些选择或激活序列来降低目标大小。反过来这会减慢眼睛信号语言序列(并令人讨厌)。因此，除了影响物理跟踪精度的环境条件(上文描述)之外，严格性可以基于错过的目标尝试次数和随后的重试次数(即，在相同的目标的常见方向中的重复的成功或不成功的扫视运动)动态地改变。
在另外的实施例中，应用以避免IA的摩擦取决于对眼睛运动的精确分析。在某个位置有目的地观看特定对象通常伴随着所谓的矫正扫视。这种扫视允许观察者的注视方向更准确地瞄准对象的观看。矫正扫视表示观看对象的意图，因此被解释为“有目的性”。它们的存在可用于减少区域内对象选择的摩擦。
按照类似的方式，覆盖较大距离的眼睛运动经常会未达其目标，需要在相同方向中的矫正扫视以在目标位置上“归零”。眼睛信号语言可以通过外推长距离扫视的轨迹来识别这种倾向。如果长距离扫视看起来指向目标选择对象，但未达(通常在最多20％的范围内)，则眼睛信号语言可以考虑该目标被选择(即减少摩擦)，并继续执行与选择相关联的动作。可选地，系统还可以确认在初始扫视的着眼位置和预计目标之间没有的目标，以确认初始扫视之后是到投影目标的一个或多个矫正扫视。
相反，较短的扫视具有过冲预期的着眼位置的倾向。类似于长距离扫视的考虑，眼睛信号语言会考虑到这种倾向。当检测到短距离扫视并且选择目标在缩短的目标路径内(减少高达约20％)时，可以通过考虑该目标被选择来减少摩擦并且继续执行与选择相关联的动作。
在被设计成传送意图的有目的的运动期间，诸如指向激活目标的扫视(例如“go”或“揭示”目标)，基于扫视期间行进的距离，认识到未达或过冲目标的倾向特别有用。此外，如前所述，扫视本质上是“弹道式的”，允许预测行进距离和着眼位置。因此，任何到未达的更长扫视和到过冲的较短扫视的任何倾向也被预测为更快速辨别用户意图的组成部分。
在另外的实施例中，有目的的扫视的预期目标位置可以基于所测量的(包括预测的)扫视着眼位置以及扫视是否行进延长的距离(例如>10°)来计算。如果扫视行进(或计划行进)延长的角距离，则处于与所测量的扫视相同方向(在预定的方向范围内)中但超出了扫视着眼位置(高达约20％)的选择目标可以被认为是“选中”。这种选择可以在随后接近目标任何矫正扫视之前(即，节省时间)，或者即使用户的注视方向从未实际到达预期目标(即，选择性地控制严格性)发生。
按照类似的方式，如果扫视行进(或被投影以行进)一个短的角距离(例如<5°)，那么处于与测量的扫视相同方向(在预定的方向范围内)中但是被扫视眼睛运动所绕过(高达约20％)的选择目标可以被认为是“选中”。如上所述，这些选择可以在接近目标的任何矫正扫视之前(即，节省时间)，或者即使注视方向从未实际到达预期目标(即，选择性地控制严格性)发生。
这些策略可以基于有目的的眼睛运动，帮助更准确和快速地辨别设备用户的意图。
通过寻求扩展特征的选择
经常使用视觉分辨率作为在屏幕(例如，监视器、HMD、平板计算机)上确定显示对象(例如，电子表格中的文本、符号、单元格)的特征尺寸的指南。注视分辨率(即，基于眼睛观看方向指定位置的能力)通常小于视觉分辨率，通常小至少一个数量级。这导致必须从被调整大小以在用户的视觉分辨率内的特征或对象进行一只或多只眼睛信号位置选择但小于用户的注视分辨率的情况下，需要眼睛信号语言内的特定的策略。例如，在电子表格中编辑单元格、在一维列表或二维图标数组中插入对象，或替换文本字符串中的单词时，这种情况会发生。
在当与诸如涉及使用键盘或麦克风的其它输入模式组合时的这些示例性情况下，眼睛运动的检测和使用特别有效。例如，当将值输入到电子表格或列表中时，通过允许在从符合模态(例如，打字或语音)提取数据输入的同时，眼睛指定电子表格或列表中的位置，可以大大增强数据输入的效率。
在示例性实施例中，在可选特征小于注视分辨率的情况下允许眼睛信号选择的方法涉及在所观看的区域上扩展或逐渐地“放大”。扩展包括在视频序列内执行的放大率的逐渐增加，以这种方式，以在个人使用平滑追踪眼睛运动、一系列短暂的跟踪眼睛运动，或两者的组合跟随特定区域或扩展区域的能力内的速率，扩展被观看区域中的区域和对象。换句话说，区域的扩展速率的视频显示被限制，使得该区域中的对象或点以可以容易地跟随眼睛运动的径向速度移动。作为一般的指导，这将扩展区域内的对象的运动限制在小于约30°/秒的速度。
在执行区域的扩展或放大的时间期间，区域内的对象可以由用户跟踪以指示对象的选择。一旦对象被跟踪了预定的时间或距离，就进行选择，或者在执行由用户产生的诸如开关、键盘按压或可听信号(例如，关键字、短语、点击)的意图的其他指示时发生选择。
图30A和30B示出在扩展期间，使用追踪来选择电子表格700内的特定“单元格”的过程。如图30A所示，示例性电子表格700由(在这种情况下)包含美元值的大量元素或“单元格”701组成。电子表格700内的单个单元格的尺寸小于在实际的时间量(例如，<1秒)内可以测量用户的注视的分辨率。眼睛注视位置(由球形盘702a表示)的估计大致在电子表格703的左上角下方的两个(2)单元格和左侧的两个(2)单元格的区域中。此时不可能识别用于编辑(或其他用途)的特定单元格。
随后以允许追踪各个对象的速率扩展估计的眼睛注视702a位置周围的区域。图30B示出在扩展过程期间的单帧。放大区域704包含原始电子表格700的一部分内的元素和对象。在该图示中，用箭头705指示追踪电子表格内的特定单元格的眼睛运动的大致方向。用户眼睛的追踪允许识别电子表格706a内的特定单元格，例如，包含价值$5.98。一旦确定，随后可以根据用户的需要对单元格进行修改(例如，删除、编辑、复制、粘贴)。
随着逐渐扩展的区域中的对象和特征从扩展中心移开，它们开始覆盖超过用于追踪的最大速度的在显示器上的距离。为了管理这种情况，扩展速率或“缩放”可以随着时间的变化，可选地以及其他因素，例如区域内的特征尺寸和相对位置以及用户体验和/或偏好而变化。例如，通过在放大过程中稍后减小扩展速率，可以将放大区域周围周围的对象的速度限制在基于平滑追踪和/或短扫视序列的眼睛跟踪的生理极限内。
在另外的示例性实施例中，不同方向上的扩展率也可以变化。例如，对于大多数用户而言，水平轴上的眼睛运动的范围大于在垂直方向上的眼睛运动。因此，与垂直方向相比，水平轴的区域的扩展更大。当扩展显示区域的边缘或角部周围的区域或用户的中心窝视野的区域时，可以应用类似的策略。例如，与其他方向相比，边缘或角部周围的侧面或区域可以更慢地扩展，导致在对象离开可显示区域之前选择待进行的对象的用户选择的显示时间增加。
除了扩展的速率和径向分布外，管理扩展过程的另一关键变量是扩展的中心位置。在示例性实施例中，中心可以是：
·目前的注视位置，
·最近注视位置的运行平均(或其他统计方法)，或
·先前指定的区域，诸如在所谓“揭示”操作期间识别的位置。
替选地，可以使用眼睛信号语言元素(例如，“揭示”或其他菜单选择)来将眼睛运动放置在连续扩展模式中。在这种模式中，显示器的区域在它们被看到时被扩展。如果跟随扩展对象，则基于跟随对象进行选择。否则，当屏幕的不同区域被观看时，启动扩展(通常首先缓慢)，直到进行选择或扩展模式被关闭为止。
不管用于指示上述用于扩展的区域的方法如何，显示器上的对象的场境也可以用于调整或“微调”用于扩展的中心的位置。可以进行这些调整以使得完整的对象(相对于在扩展中心伸展的对象的部分)被显示为从使用者的初始注视方向向外的不同方向径向扩展。
也可以进行扩展中心的调整，以允许通过径向向外的眼睛运动使任何一个扩展的对象被跟随(同样良好)。调整可以避免特定对象由于不移动(即，它在中心)、聚集在多个周围的可选对象之间，或者最初远离用户的注视方向而更可能或难以选择的情况。
可以在选择单元格的电子表格内的特定单元格的过程期间容易地说明扩展中心的调整。通过将扩展中心在水平和垂直上(相对于单个单元的区域内)调整到电子表格单元之间，可选择的单元可以从用户的近似注视位置径向扩展。作为示例，可以将用户的注视位置702a的扩展中心的调整设置为如图30A所示的电子表格700内的水平和垂直小区边界702b的周围交点。如图30B所示，可以在扩展过程中跟随并因此选择在该交叉点702b上触摸的任何单元706a、706b、706c、706d(以及其它更远的单元)。
通过在扩展区域内追踪对象来指定选择的能力是眼睛信号语言的基本要素。即使在不被设计为与眼睛信号语言特别兼容的情况下也可以使用该策略。例如，当浏览网页上的页面(被设计为不考虑眼睛信号)时，用户可能遇到特定区域内的扩展和/或选择的需求，该区域可以包含一个或多个选择，超链接和/或数据输入点。通过使用眼睛运动来在扩展过程中追踪期望的元素，随后可以激活期望的选择，超链接或数据输入点。
一旦从扩展区域进行了选择，就可以使用多个可能反馈模式(取决于场境)来进行用户交互：
·可以将显示器立即返回到其预扩展形式，并且可以可选地包括指示(例如，字体、颜色、亮度的改变)以指定所选择的元素。
·扩展区域可能会保持扩展，直到输入(例如，电子表格中的单元格、文本)完成为止。
·可以在允许进一步的选择(即所谓的子菜单选择)的扩展区域内引入附加的移动、扩展和/或可选对象。
·屏幕内容由于选择而切换到单独的显示。
由叠加标记增强的眼睛选择
在另外的示例性实施例中，为了解决精致的视觉分辨率和相对较低的眼睛注视跟踪分辨率之间的差异的问题，叠加的标记和辅助输入可以与测量的注视位置耦合以有效地执行用户选择和/或激活。辅助输入可以是能够指定N选1的任何设备的形式，例如键盘、小键盘，计算机鼠标、轨迹球、使用语音识别识别的一组关键词中的一个、开关、点头、手指或手势等。
可以使用注视来指定用户在显示器内的感兴趣区域的常见位置。使用眼睛运动来指定这些区域的能力利用眼睛的能力来快速地(即，以高达900°/秒的角速度)指示具有最小认知负担的该常见位置位置。如果常见位置仅包含单个可选项目，则可以使用眼睛信号语言内的典型激活序列(例如所谓的“go”或“揭示”序列)来进行激活。然而，如果在眼睛注视区域内可能有超过或接近注视跟踪分辨率的多个选择，则用户必须采取附加步骤来指示特定选择。出现这种情况的示例包括电子表格中的一个或多个单元格、文本主体内的位置(例如、删除或插入)、缩略图或图标的网格、单词选择的列表、检查清单或其他系列的项目、弹出式菜单等。
包含多个可能选择的显示器上的注视的常见区域可以被称为“候选固定区域”(CFA)。一旦用户简单地固定在该CFA上，标记会叠加在CFA内的所有可能的选择上。为方便起见，标记被称为“叠加”；然而，标记也可以被制成部分透明的、叠加在背景上、由与CFA内的对象形成鲜明对比的颜色或亮度级别(仅在轮廓中示出)和/或类似的方法来显示标记而不完全遮挡CFA内的对象。
替选地，可以使用由用户产生的任何信号来启动叠加过程。这种信号的示例包括按压键盘上的任何键(例如，空格键)、发出关键字、按下开关等。
CFA叠加标记的示例包括数字、字符、特殊功能(在大多数键盘上表示)、方向箭头、符号、不同颜色的贴片、表示声音的对象等。通过根据覆盖所需元素的叠加标记来指定选择，执行选择CFA内的特定元素，可选地与结果事件的激活组合。例如，如果叠加的标记包括数字，则键入覆盖期望选择的数位(例如，在键盘或数字小键盘上)表示选择过程是期望的以及哪个元素(即，叠加数位下)是期望的。
替选或附加地，可以通过键入与叠加的字符或颜色对应的键，或者通过发出与叠加的符号或单词相对应的声音来进行选择。在符号表示方向(例如左、右、左上等)的情况下，可以使用特定键(例如所谓的“箭头”键)，或者可以使用多个键中的任何一个以指示给定的方向。作为后一种情况的示例，如果叠加的符号表示右上方向，则可用于指示右上选择的键可以是标准的所谓“QWERTY”键盘上的“P”或“O”键(即位于右上区域)。
图31A示出可以用于例如在形成文本文档期间控制字体特征和剪切和粘贴流程的九个单词选择中的3×3网格750的示例。在该示例性情况下，九个选择的CFA网格750可以粗略地用在显示器的小的、不显眼的区域中。所测量的眼睛注视的位置的不确定性，如圆形“云”752所示，超过该网格750内的单个选择元素(例如，751a)的大小。因此，不能基于单个眼睛运动的测量进行选择。
图31B示出叠加在图31A所示的CFA网格750上的九个可选择数位(例如，753a、753b)。标记数位(例如，753a、753b)以与典型数字小键盘相同的布局布置。在小键盘或键盘不可用的替代示例性实施例中，可以使用本领域公知的语音识别方法来说出并随后识别该数位。选择九位数位中的一个数位会导致与叠加数位下面的单词相关联的操作。例如，使用图31所示的表，如果“7”指示753b，则切换用于后续文本输入的“粗体”属性754b。类似地，如果“1”指示753a，则系统将在文本输入期间“删除”754a字符或单词。
图31C示出叠加在图31A所示的3×3选择的CFA网格750上的替选的一组符号。在这种情况下，方向箭头(例如，755a)叠加在可能的选择上。随后可以通过按与箭头方向相关联的单个键或通过按压与箭头方向相对于键盘或其他数据输入设备上的某个参考点的任何键来进行单独选择。例如，如果使用标准QWERTY键盘的中心作为参考，则可以使用字符“A”或“S”中的任何一个来指示与图31C中所示的CFA网格内所示的“删除线(strike through)”756功能相关联的最左边的选择。。
一旦进行选择，可以使叠加的标记消失，和/或使用相同的键盘或辅助设备的附加条目可以作为输入提供给所选择的元件。例如，字母数字字符可以作为数据输入过程的一部分输入到电子表格内的所选单元格中。叠加的标记也可以在显示预定的时间段之后(即，如果没有选择过程被启动)或者如果用户朝着显示器上的不同区域注视，则被去除。
在另外的实施例中，每个叠加的符号可以通过在显示器上的多个位置处重复符号或者在多个可选项目上叠加(大的)符号来与多个选择相关联。在这种情况下，可以执行多个动作(例如，如果可选择的项目表示动作)，或者动作可以应用于多个项目。由叠加的标记增加的眼睛选择也可随后重复任意次数。
用于包含提供眼睛优势的眼睛注视校准
校准的关键组成部分是形成将一个或两只眼睛的一个或多个特征(例如，瞳孔、角膜缘)的位置转换成显示器(例如，HMD、移动设备、远程监视器)或设备用户的真实环境内的注视位置的映射方案(例如，一个或多个数学函数、查找表、插值策略)。校准方案可以除基于位于头饰或其他地方的照明源、参考对象位置和/或相机的已知或测量的相对位置外，还基于一个或两只眼睛的解剖模型。这种解剖模型中的参数可以基于种群平均值分配，基于设备用户的已知特性(例如，年龄、种族来源)、设备佩戴者的测量特性(例如，在校准过程中)的估计，或这些方案的组合。
在示例性实施例中，当跟踪两只眼睛时，在大多数记录情况下，可以考虑校准和注视跟踪方案中的眼睛优势。眼睛优势是利用一只眼睛的视觉输入有利于另一只眼睛的倾向。约70％的人口是右眼优势，其中，眼睛与优势手之间存在相关性。在一些情况下(例如，用于投掷或击中棒球的斜视眼与优势手)，可以使用眼罩或光漫射器修改个人的眼睛优势。约30％的人口是左眼优势。少数人表现出无眼睛优势。
当以极端角度看时，眼睛优势的最极端形式发生，其中鼻梁可能物理上遮挡眼睛远离观看区域的视野。然而，在大多数个人中，眼睛优势在达到这些角度之前会很好地转移。在正常右眼优势个人的情况下，当看向视野中心的左侧时，优势转移到左眼。类似地，通常左眼优势个人转向在视野中心右侧的区域中的右眼观看。平均来说，从正常优势向对侧眼睛的切换在相对于视野中心约15°发生，尽管个人之间存在很大差异。
如果不考虑眼睛优势，则当基于来自非优势眼睛的矢量或从双眼之间或周围的某个位置确定注视方向时，用户认知选择的对象被错误识别。这些考虑对于用于注视追踪的可佩戴设备中的近眼显示、照明器和检测器特别重要。目前可用的眼睛跟踪系统可以使用(在一些情况下加权)左右眼测量的平均度量。这些系统没有考虑到眼睛优势的空间依赖(特别是水平轴)。因此，校准和随后的注视位置的确定必须将眼睛优势视为注视位置的函数，并且为了准确的(例如，<2°)注视确定，考虑到个人之间的广泛变化。
在示例性实施例中，关于图案移动对象的连续跟踪可以用于：1)确定在校准期间采用的映射方案(如上所述)的参数，以及2)确定其中优势从一只眼转向另一只眼睛的任何过渡区的位置。随着其关于诸如圆形、矩形、一系列线段、多边形或具有圆形边缘的多边形之类的宽范围的图案中的一个或多个移动的焦点跟随可被使用。
图32示出在“无穷大符号”(也被称为“双纽线”或有些称为“横向8”)的图案中的焦点的跟踪。由图32中的虚线720表示的双纽线的路径通过在显示器721的水平远端放置更多的点，利用在水平方向上可用的通常更宽范围的眼睛运动。在该示例中，指示设备佩戴者跟随移动盘723的中心区域包括高对比度焦点。焦点有助于将用户的注意力集中在移动盘723的正中央。在图案的一个或多个重复中，设备佩戴者跟随(由箭头724表示)双纽线720。焦点的移动速度可以是预定常数，或者可以随着时间和/或位置的变化而变化，例如允许在显示器721的远端更慢的眼睛运动。
可以使用曲线拟合来确定将测量的眼睛位置(例如，瞳孔中心或角膜缘)变换到显示器上的位置的映射函数之间的“最佳拟合”参数。例如，映射函数可以是具有限制的旋转范围的线性表达式、多项式表达式等。使用诸如梯度下降的技术的曲线拟合在本领域中是公知的。
在校准期间，眼睛跟踪作为时间的函数进行，其中显示的图案的坐标(x，y)可以表示为：
(x,y)＝f(t)
其中f(t)是定义跟踪图案(例如，双纽线、圆、矩形)的表达式。与上述扩展区域内的对象的跟踪非常相似，目标的速度受到限制，使得使用平滑追踪眼睛运动、一系列短跟踪扫视眼睛运动或两者的组合跟踪目标。
不管跟踪图案和速度如何，在显示跟踪目标(图32中的723)的时间与设备用户的视觉响应可以被注册的时间之间存在延迟。这种延迟Δt不仅包括从图像中获取眼睛位置坐标(xi,yi)的任何硬件和软件延迟，还包括通过视神经将视网膜上检测到的信号传输到视觉皮层的“生物”延迟、设备佩戴者处理视觉信息的认知时间、将运动信号发送到移动眼睛的肌肉的时间，以及肌肉产生力并产生可随后被检测到的眼睛运动的时间。目标眼位置坐标(xt,yt)可表示为：
(xt,yt)＝f(t-Δt)
因此，除了用于将眼睛位置测量值映射到注视位置的最佳拟合参数之外，系统延迟(Δt)最初是未知的。在示例性实施例中，为了执行初始曲线拟合，Δt可以分配基于系统平均值的初始值(例如，30毫秒)。这允许在获取的眼睛位置坐标(xi,yi)和初始目标坐(xt,yt)之间执行曲线拟合。如果需要，映射的眼睛位置坐标(xi,yi)可以叠加在跟踪图案显示上，如图32所示，其中示例性映射坐标的位置由X 722表示。
通过计算显示的目标图案(x,y)和对应的映射坐标之间的互协方差，可以从互协方差中的(平均，如果需要)峰值来测量系统延迟Δt。在这一点上，可以丢弃异常值映射的注视位置(例如，大于所显示目标的所有测量的标准偏差的两倍)。该消除过程考虑了时间(即，f(t-Δt))以及目标和映射注视坐标之间的距离二者。重新确定最佳拟合参数并重新建立丢弃的离群值的系统延迟的过程可以重复任意次数，以进一步消除例如可能由于眨眼引起的外部测量、眼睛跟踪测量不准确和/或设备佩戴者的不注意力。
在示例性实施例中，可以针对左眼和右眼单独执行刚刚描述的过程。为了确保仅使用左眼或右眼，目标的显示可以一次投射到一只眼睛上，或者可以遮挡非目标眼睛的可见性。最终结果是一组校准参数(和Δt)，以分别将左眼和右眼映射到显示坐标。
为了确保准确的校准，跟踪图案可以重复任意次数以获取附加数据点进行曲线拟合。目标图案的重复可以取决于曲线拟合的精度(例如，通过相关系数测量)和/或丢弃的异常值的数量。
在另外的示例性实施例中，目标可以随后同时投影到两只眼睛上。执行这些操作时，可以确定眼睛的眼睛位置和眼睛的校准，眼睛位置以及右眼的校准(也考虑到Δt)是否更好地对应于所显示的目标图案。基于这些比较，可以构建在显示器的不同区域内显示眼睛优势的视觉“映射”。
图33示出视觉优势图的示例，其中与目标图案730内的对应位置最佳匹配的左眼的注视投影的位置由“L”732a表示。用“R”732b表示与显示器731上的对应目标位置730最佳匹配的右眼的每个注视投影。在图33中，有三(3)个不同的区域，其中：
1.左眼测量和校准更精确地映射目标位置734a，
2.右眼测量和校准更准确地映射目标位置734c，以及
3.眼睛优势混合的“过渡区”734b。
这种眼睛优势区域的识别允许映射操作依赖于眼睛位置。如果位置映射到左眼区域，则可以使用左眼校准。如果位置映射到右眼区域，则可以使用右眼校准。尽管图33中未示出，当确定不同的区域时也可以考虑垂直眼睛位置。此外，还有一些经验证据表明观看对象的特征(例如，大小，亮度)会影响眼睛优势。在显示器内这些已知(例如，当被控制时)的情况下，当确定是否应当使用左眼校正或右眼校准时，也可以考虑这些显示特性。当设计和显示本文其他地方所述的激活目标时，这些考虑尤其重要。
如图33所示，在过渡区域中，左眼或右眼校准过程的选择不会立即显现。在示例性实施例中，可以在任何过渡区域内使用多种策略：
1.如图33所示，可以计算最小化线的右侧的“L”表示733a和该线的左侧的“R”表示733b的总数的水平位置(即，垂直线735)。该位置用作分离左眼与右眼优势的阈值。
2.如果左眼和右眼选择目标在过渡区域内，则可以计算左眼和右眼的映射。如果其中任何一个导致选择，则可以执行所选择的动作。这种方案导致意外激活的轻微增加。
3.可以基于左眼和右眼的校准可以使用平均位置。
4.可以使用加权平均值，其中左对准校准位置的权重取决于在左眼和右眼映射指向的区域中的校准期间的“L”和“R”位置的分布。
包含用户视轴的眼睛大小校准
所谓的“光轴”与“视轴”不同，是本领域众所周知的。光轴是光穿过角膜，瞳孔和晶状体的中心的线，以到达没有弯曲的视网膜的眼睛的后壁。因为视力(和随后的认知)居中的黄斑和中心窝从该光轴上平均偏移5°，因此必须将视轴与个人的光轴区分开，以便精确注视跟踪。
用于确定视轴的传统方法包括对准一个杆(其中相同的原理可以通过简单地使用保持在手臂长度上的铅笔来展现)在一只眼睛的视野中对准，使得杆的后端因为它被杆的前表面遮蔽(径向对称)而不能被观看到。当以这种方向有目的地定位时，杆的中心轴沿观察者的视轴指向。该过程可以在任意多个方向上重复。
在示例性实施例中，使用与传统的刚刚描述的用于确定视轴的基于杆的技术相同的原理的基于显示器的方法涉及将区域中的近场和远场盘(或任何其他形状)的视野对准。指示设备佩戴者对准对象，使得远场对象被近场对象最大程度地遮挡。虽然不是这种技术的重要组成部分，但近场和远场对象可以被分配不同的颜色。然后可以指示设备佩戴者能够使用近场对象均匀地“隐藏”或遮挡(以径向对称的方式)尽可能多的远场对象的颜色。
在增强现实(AR)情况下，近场对象可以是投射到AR显示器上的基本上不透明的盘或其他形状。远场对象可以是显示在屏幕(例如，移动设备、平板计算机、监视器)或现实世界对象上的虚拟对象。在显示器上的远场虚拟对象的情况下，可以在对准过程期间移动近场AR对象或远场虚拟对象。然后可以在不同的位置(即，观看方向)重复该过程以产生用于视轴的多个度量的附加比对。
在远场现实世界对象的情况下，可以将对象有意地添加到设备佩戴者的环境中以进行校准，或者对象可以是可以在环境中识别的自然形状或对象的部分设备佩戴者。前者的实例包括唯一的彩色纸盘或由利用粘合剂固定到显示监视器的角部的一个或多个LED光源产生的图案。后者的一个示例是大多数显示设备的四(4)个角部的“L形”(边框)区域，其中可以基于使用向外或所谓的“场景”相机的图像来确定形状，或这种形状的模板的数据库。
图34示出使用诸如移动电话或平板计算机741的显示设备的现实世界四(4)角748a、748b、748c、748d作为视轴对准工具的示例。显示设备741的角740的结构可以从以下方式确定：1)基于这种设备的机械设计的模板数据库，2)使用场景相机746和光学器件747获取的图像以使设备佩戴者的环境可视化，或3)两个源的组合，其中数据库可以提供在场景相机图像内识别的对象(或对象的部分)的精确尺寸。
一旦确定了对准对象或对象部分740的形状，则该形状被重新构造为增强现实显示743内的虚拟对象742。然后，指示设备佩戴者将显示器741或他/她的眼睛的位置移动到虚拟对象742对准的位置，以最大程度地遮挡远场对象744。在该头/眼位置744处(即，相对于远场对象740)，近距离的边缘视野742和远场740在沿着眼睛的视轴744观看的情况下完全对准745a、745b。远场对象740的中心及其在近场对象742中的对应中心位置限定在三维空间中穿过设备佩戴者眼睛744内的视轴的中心的线749。
在另外的实施例中，可以指示设备佩戴者进一步移动到远场对象740和/或远离远场对象740，以使近场对象742恰好覆盖(即，看起来与该远场对象740的尺寸完全相同)。如果远场对象740的尺寸是已知的(例如，基于对象的数据库)，则由于近场对象742的尺寸被设备控制(因此已知)，所以可以使用三角法来计算远场对象740与眼睛的视觉中心(即，745a、745b和749的交点)之间的距离。该距离允许将沿着光轴749的线的单个点分配给所选择的眼睛的视野的中心。
在另外的实施例中，可以使用四个角部748a、748b、748c、748d(其中头戴设备内的虚拟参考的显示旋转90°、180°和270°)或任意多个其他远场参考位置。由这些测量中的每一个定义的视轴的交点可用于识别(例如，如果刚才描述的用于确定到视野中心的距离的方法未被利用)或进一步(例如，更精确地)定义位置的视轴和/或视觉中心。
在另外的实施例中，可以相对于新确定的中心位置来确定设备佩戴者眼睛上的一个或多个可识别点(例如，瞳孔中心、角膜中心、巩膜上的可识别血管)的位置视轴。视轴和这些可识别点之间的差异可以随后被认为是“视轴偏移”。这允许设备随后基于眼睛上的一个或多个可识别点的测量来随后计算设备佩戴者的视轴线(即，设备佩戴者“看”哪儿)。
在另外的实施例中，远场对象可以是显示在屏幕上的虚拟对象(例如，盘、多边形)。在这种情况下，可以在AR或MR(即混合现实)头饰与远场显示设备之间使用通信来控制远场虚拟对象的显示特性(例如，大小、位置)。与图34所示的相同的策略可以用于确定个人的视轴和中心。在该校准过程期间，可以控制虚拟远场对象的尺寸、位置、取向和其他特性，以在设备佩戴者的对准过程期间进一步帮助。
在另外的实施例中，可以通过打开最初闭合的眼睛并闭合已打开的眼睛，通过重复上述过程来确定每个眼睛的视觉中心。在将视频流分别投影到每只眼睛上的设置中，在使用另一只眼睛进行评估时，可以将一只眼睛的视频流关闭或保持静止。在注视计算中包括双眼视轴的测量会增加注视精确度，特别是那些涉及聚散的准确度。
可以进一步在双眼打开时重复测量视轴的过程。在这种情况下，在一些观看方向和某些观看距离处，如上所述(个体之间存在差异)，可以将测量值分配给优势眼睛。在其他观看方向(通常看起来很直)和距离(通常远离头部)，可以确定所谓的“中心”。自我中心是一个参考位置，通常位于双眼之间，当观看观察者的环境时距离和方向从该参考位置被认知地感知。在一些应用(例如，第一人称射击游戏和其他形式的游戏、驾驶模拟、婴儿教育)中，知识和自我中心的使用有助于使虚拟环境变得更加现实。距离和方向的测量和/或显示可以随后相对于设备用户的中心进行。这些措施可以更准确地表示和/或量化由设备佩戴者感知所涉及的认知过程。
在虚拟现实(VR)头戴设备和AR头戴设备的情况下，近场和远场对准对象都包含在单个显示器内，必须进行另外的考虑，这取决于图像投影的确切模式以利用方法刚刚描述以确定设备佩戴者的视轴。
在仅能够一次投影到一个平面或“深度”的VR或AR头戴设备的情况下，可以通过切换交替(或任何一系列)投影图像帧中的感知深度来执行视轴对准过程。快速连续显示不同的图像类似于例如用于传统/传统电视机中的“隔行扫描”技术。对准，类似于图34所示，用在一个平面中显示的近场对象和在单独的(隔行扫描的)帧中显示的远场对象执行。
在使用所谓的“光场”的VR和AR头戴设备中，将光作为从空间中的点的矢量，近场和远场对象都可以投射在同一帧内。在这种设置中，对准可以包括移动近场或远场对象，使得远端对象最大程度地(并且径向均匀地)被遮挡。
在另外的实施例中，当近场和远场对象都是虚拟对象时，在对准过程期间，可以使用多个方法中的任何一个来移动一个对象或另一个对象(如果需要的话)。这可以以各种方式中的任何一种来执行：
·如果设备佩戴者靠近键盘，则可以重复按方向箭头(或任何其他键)来指示向左、向右、向上或向下移动。
·可以为眼镜或头饰设备(或任何其他触摸敏感的表面，如平板计算机或手机)的触摸感应区域分配移动功能(即左、右、上、下)。
·设备佩戴者可以使用头部运动(即旋转、倾斜或两者)来“轻推”一个对象。如果需要，移动程度可以与头部运动程度(例如，使用加速度计或场景相机运动测量)成比例。
·可以使用音频命令，例如发出“左”、“右”、“上”或“下”，以对准近场和/或远场对象。
在另外的实施例中，为了加速对准过程，可以动态地调整由每个命令(即左、右、上或下)产生的虚拟移动。初始命令导致近场或远场对象的粗略移动。相同方向的重复移动(例如“右”、“右”)不影响移动的大小。然而，在相反方向上的任何移动都会导致移动的大小(即所谓的“增量”)减小(例如，减半)。随着设备佩戴者朝向最佳对准方向收敛，逐渐减小的增量允许更精确的控制。该技术与模数转换的“逐次逼近”方法具有相似之处。增量的大小可以在水平和垂直轴的校准过程中单独跟踪和调整。
高相关对象(HRO)的高分辨率渲染
结合注视跟踪和投影在由观察者观看的中央显示区域中的最高分辨率图像的技术在本领域中是众所周知的。通过允许将较低分辨率的图像投影到不被观察者直接观看的区域中，可以减少用于生成整体用户显示的带宽。在大多数实现中，周边视野内的区域以较低的空间分辨率和/或显示对象内精细细节的缩小投影显示。在一些实现中，在高分辨率中央观看区域和场景的较低分辨率外围区域之间存在中间分辨率过渡区域。已经实现带宽节省高达80％。
该技术通常被称为本领域中的“中心化渲染”、“中心化图像”或“中心化图形”。由于至少在一些方面，生成的图像与人类视觉系统的生理学对准，所以产生术语“中心化”。生物学上，中心窝是视网膜的一个小区域，视力最高。虽然中心窝只负责从整个视野的约2°的区域内检测图像，但将信息传递给大脑的视神经束中约一半的神经纤维携带来自中心窝的信息。
在许多情况下，在观察者的周边视野内的一些对象的低空间分辨率渲染可能损害观察者的视觉体验和决策能力。在示例性实施例中，使用高空间分辨率显示技术来呈现高相关性对象(HRO)是有利的，特别是当它们在副中心窝之内时，甚至当它们在观察者的周边视野内时。通过与HRO相关联的一个或多个这些区域的选择性高分辨率渲染，可以继续实现大部分总体带宽节省，但不能以有效地与这些对象交互为代价。
虽然中心窝和周边的视觉系统在图像处理的某些方面(例如，辨别细节、颜色辨别)较弱，但确定对象的空间位置(包括运动)或眨眼的能力特别强。确定副中心窝和周边视野中的位置的能力得到了很好的证明，例如在诸如玩杂耍和避免入射的射弹等活动中。
在人机交互期间，尤其是HRO的位置很重要时，存在许多条件(例如，在虚拟现实、增强现实、混合现实或远程显示系统之内)。例如，在眼睛信令期间，激活图标的一般区域可能被设备用户记住。然后可以使用副中心窝或周边视野(通常不存在精细细节的感觉)来检测确切的位置。在大多数情况下，至少部分地基于空间记忆(其中位置可以继而与特定功能相关联)，在副中心窝或周边视野内直接对这些对象或激活目标进行扫视眼睛运动感到“舒适”特定功能。朝向这些目标扫视是眼睛信号语言的基础元素。
在示例性实施例中，这些HRO可以以高分辨率显示。如果最初以较低的分辨率显示，则向这种HRO进行转移，然后转向更高的分辨率(例如，由于在新的中心窝视野内)导致HRO的外观迅速变化，自然吸引一个或多个探索或“惊吓”的眼睛运动，会破坏与眼睛信号语言相关的有目的的动作。维持高分辨率的人机交互显示避免了这种情况。
新显示的附加可选图标(或其他HRO)的后续显示可以在新的周边视野内使用高分辨率显示。这些新图标的空间位置可以用扫视运动来识别，以直接观看它们中的每一个。重复相同的策略，经验丰富的设备用户特别感到舒适地直接向直视中心窝或周边视野内的新显示目标的特定(即由用户有目的地选择)。如果需要，这些一个或多个观看眼睛运动可以在用户的眼睛的中心窝区域内没有完全感知的情况下执行任意次数。
在另外的实施例中，可以使用一种或多种技术来引入新的潜在目标对象，以引入一个或多个对象而不引起用户的注意(即，使对象“不可见-可见”)。如前所述，这可以通过在用户在功能上失明(例如在眨眼期间和/或一次或多次扫视)期间的一个或多个周期期间引入对象来执行。引入一个或多个“不可见-可见”对象的其他策略(单独使用或组合使用)包括与背景相比逐渐改变对象分辨率、细节、颜色内容、亮度、大小、透明度和/或对比度。这些方法的某些方面使用与“改变失明”相关的原则，其中对象或背景的外观的缓慢变化不被观察者注意到。
在另外的实施例中，潜在的对象可以小心地移动而不会引起用户的无意的注意。如前所述，在一次眼底失明的时期之后，可以容忍大量(例如高达2°)的对象移动。这被称为“空白效应”，当扫视不完全落在其预期目标位置时，被认为抑制了对运动感知的潜力。一个或多个潜在的目标对象的进一步运动可以以被设计成不惊吓或吸引探索性用户眼睛运动的方式引入。这种移动可以是缓慢的(使用“改变失明”的组件)和/或被设计成不会由于一个或多个对象而在特定方向上引起注意，这些对象可以是特别高分辨率、明亮、大的、包含详细的功能、不透明、对比的颜色或类似的视觉属性。沿着类似的线路，可以通过确保对象移动的时间或视觉属性的变化是均匀的，使得一个或多个对象不被突出(即，在相似之前发生的一个或多个对象中的变化或其他对象的相应变化)可以避免探索性或惊吓的眼睛运动。
HRO的其他示例包括例如第一人称射击游戏中的朋友或敌人目标，讲故事或谈话期间讨论的对象以及符号或图像(例如数学运算、流程图、组成部分、电路图、关键事实)，这些代表高层决策时的概念。用户了解这些对象(以及这些对象表示什么)的存在是有帮助的，而不必同时维护中心窝视野中的所有符号和/或图像，或者需要重复扫描中心窝中的这些对象，以确保它们在短期或工作记忆中被考虑。
在另外的示例性实施例中，HRO的高分辨率渲染不仅有助于这种非中心窝对象的识别、心理关联和空间定位，而且如果存在(或其他形式的头部或眼睛)向HRO的扫视运动，那么正如刚才所述，新焦点的中心区域的渲染属性基本上保持不变。这避免了与引入新的视觉信息(即，使用之前描述的“熟悉”的认知原理)相关联的任何惊吓或探索性反射(与引入新的视觉特征相关联)和/或认知处理。相反，如果采取时间来感知对象，那么该对象被感知为相对于基于记忆和在扫视之前观察者的副中心窝或周边视野(以及任何数量的随后的校正扫视)的期望未改变。
在执行HRO的高分辨率渲染方面有一定的灵活性。甚至在同一图像内也可以使用一个或多个方案。例如：1)表示对象形式的任意形状的区域可以以高分辨率呈现，叠加在较低分辨率的背景上。2)可以以高分辨率呈现包括一个或多个HRO的总体视野的矩形区域。3)一个或多个对象周围的圆形区域可以以高分辨率呈现。在这些情况的每一种情况下，高分辨率渲染的程度可以(可选地)是与观察者的当前(即中心窝)视图的距离的函数。
在一些情况下，可能期望改变显示器的高分辨率或所谓“中心窝”区域的尺寸。通常在1°至3°的范围内，个人中心窝大小的生物学变化可用于分配中央高分辨率显示区域的大小。在某些应用或眼睛相互作用的形式中调整高分辨率区域的尺寸也是有利的。例如，在需要考虑个人的工作记忆中的许多不同元素的认知过程(例如，高级别决策)期间，可以将这些元素(或表示这些元素的符号)显示在扩展的“中心窝”或高分辨率视图。相比之下，在涉及从不同方向到达的快速运动和/或“威胁”对象的游戏应用中，“中心窝”或高分辨率视图的尺寸可以减小以允许更大的时间分辨率(即，更高的显示帧速率)和/或特定对象(例如，HRO)的更高分辨率渲染。
如上所述，诸如“中心化渲染”的术语在本领域中通常用于描述显示分辨率的变化。虽然中心窝是具有不同解剖特征的视网膜内的结构，但是从人机界面(HMI)的角度来看，中心窝区域的生理(即功能)区域实际上在视觉和随后的HMI期间是最相关的。在本领域中已经使用术语“感知场大小”(PFS)来描述在感知期间使用的中心窝及其周围的区域。
光强度会改变个人的PFS。因此，在示例性实施例中，所观看的高分辨率(即所谓的“中心化”)渲染区域的大小可以随着到达视网膜的光量的函数而变化。该光强度可以通过在更高度控制的视觉环境(例如VR显示器)中显示的内容的知识来确定。替选或附加地，可以使用一个或多个光电二极管、光电晶体管或其他光传感器来测量眼睛周围的光，特别是当使用AR或MR设备时。可以使用一个或多个光学滤光器来选择波长的特定范围(见下文)。
更具体地说，随着到达视网膜的光量减少，PFS增加。因此，可以增加高分辨率渲染区域的尺寸以适应这种变化。相反，随着光强度的增加，PFS减小，允许降低高分辨率渲染区域的尺寸。在生理上，这种变化与下述概念一致，当有丰富的光时，在中心窝的更多中心区域内以高集中度使用视锥(相对较少的光敏感但是编码颜色信息)的视觉中存在到更加光敏感的视杆的移位，更加光敏感的视杆在远离中心窝的中心区域移动时以增加的密度表示。
甚至更具体地，可见光谱的蓝色和绿色部分波长(即，波长在约400至550纳米的范围内)的光调制感知场的大小；而红光对尺寸影响较小或没有影响。因此，在示例性实施例中，可以基于特定于可见光谱的蓝-绿部分中的光的存在/不存在来控制显示器的中心观看区域内的高分辨率渲染。
在另外的实施例中，中央显示区域(即，基于PFS)的呈现的改变也可以考虑眼睛适应新的照明条件所需的时间。视锥的适应开始很快，但需要长达几分钟才能完全适应。视杆的反应更长，需要长达20-30分钟才能完全适应。因此，在示例性实施例中，可以逐渐地(即，与显示器的高帧速率相比较)并且逐步地(例如，匹配光适应与时间曲线的大致指数形式)执行适应于不同照明条件的转换，以对应于时间过程和视觉适应的大小。
如本文其他地方更详细所述，较短的扫视(例如，<5°)倾向于未达预期的目标位置，并且较长的扫视(例如，<10°)倾向于未达预期的目标位置。在另外的实施例中，这些趋势以及跟踪误差的估计可以用于构造在眼睛运动期间在预期目标位置周围的显示器上以更高分辨率呈现的(所谓的“中心窝”)区域的尺寸和形状。
例如，除了预期的扫视目标着眼位置周围的区域之外，当检测到长扫视时，可以以与扫视方向相同的方向延伸超出目标区域的附加区域以高分辨率呈现。这种延伸可以预期通常发生一个或多个校正扫视以弥补长扫视的(通常约20°)的未达。一旦检测到长扫视，就以高分辨率渲染这些区域，允许用户在着眼时和随后的矫正扫视期间观看高分辨率(所谓的“中心窝”)图像。这样就可以避免(突然，分散注意力)该区域的分辨率变化，同时用户逐渐在目标位置上深入(honein)。
沿着类似的路线，短的扫视倾向于超过过冲的目标位置。因此，在示例性实施例中，除了以高分辨率渲染目标着眼区域之外，在启动和着眼位置(与着眼区域相邻)之间的附加区域可以以高分辨率呈现，其考虑到过冲较短的扫视的趋势。以这种方式，在一个或多个矫正扫视通常将注视位置引导回到预期着眼位置(在原始扫射发射位置的大体方向)的区域中，重新渲染一个或多个区域被最小化。
在另外的实施例中，基于眼睛运动目标位置的高分辨率区域的尺寸和/或形状可以包括考虑在确定注视位置或预测和/或测量的着眼位置时预期误差的程度。可以基于许多因素来估计注视位置的度量中的错误程度(或相反地，置信度的指示)，包括：
·特定用户和/或最近使用期间(特别是当确定用户正在观看已知对象位置时)的注视位置方差的总体度量，
·存在于头戴设备和/或用户头部区域内的振动和其他机械加速度(如前所述)
·照明的均匀性和/或强度，
·视频图像内的随机(例如所谓的“拍摄”)噪声程度，
·隐藏眼睛跟踪测量的障碍物(例如眼睫毛)的存在，
·存在额外的动作，例如眼睛颤抖和/或振荡，
·发生眨眼，
·在识别眼睛的结构时(例如，与模板的匹配程度)，由一种或多种算法方法确定的多个因素。
此外，当预测或投影到着眼位置时，可以考虑基于速度的(空间和时间)误差以及眼睛运动的非弹道速度分布(在个人之间变化)的任何趋势。
在示例性实施例中，可以基于目标测量值和/或预测(即，基于速度)着眼位置的预期误差程度的估计来动态地调整以高分辨率呈现的显示区域的大小和/或形状。通常，如果误差估计增加，则可以增加更高分辨率的区域的大小以适应增加的注视位置的不确定性。以这种方式，用户实际上可以看到显示器的高分辨率渲染更有保证。
沿着相似的路线，基于近期移动的速度和/或在优先方向(例如，在显示器的边缘周围)注视测量中的任何疑似噪声，区域的形状可以基于方向明显的运动，运动的大小，和/或噪音的程度和分布来呗调整。例如，如果通常在显示器边缘周围增加噪声测量和/或不确定性，则可以在朝向显示器边缘的方向上扩大高分辨率区域的形状以适应增加的噪声/不确定性。
在另外的示例性实施例中，减少所选显示区域(例如，不是HRO和/或中心窝视野内)的带宽的替代或附加方法涉及降低这些区域的颜色内容。图像的颜色外观经常以许多不同的方式描述，包括涉及使用诸如色相、色调、色彩、色度、饱和度和亮度之类的术语的那些方法；除了红色，绿色和蓝色(即RGB)强度的基础显示之外。降低颜色内容涉及降低一个或多个可显示颜色的总体范围(即，从最暗到最亮)和/或降低分辨率(即减少特定颜色的可选择强度的数量)。或者，在计算(并发送)与其他颜色相比的一种颜色的比率或相对强度的方案中，可以减小这种相对强度的范围和/或分辨率。通过减少颜色范围和/或分辨率，减少了表示每种颜色(像素或像素组内)所需的比特数，从而减少传输这种图像所需的带宽。
在许多方面，涉及减少非中心窝显示区域的颜色内容的实施例是仿生性的。如上所述，视觉系统通常在识别周边视野内的对象细节和对象颜色方面较差。因此，通过减少副中心窝和/或周边区域内的颜色内容和/或细节来减少带宽的方案与人类视觉系统处理这些图像的能力相一致。
在另外的实施例中，可以以多种方式确定对象的相关性：1)在典型的软件应用的情况下，应用开发者可以在任何显示的屏幕内为不同对象分配相关性。与眼睛信号相关联的菜单选择、故事描述中的关键人物的图像、文本主体内的标题和页码、超链接和呼入文本是被赋予高相关性的对象的示例。2)基于由真实对象和虚拟对象的任意组合构成的场景，可以基于使用本领域中公知的图像识别技术的对象识别，在算法上确定场景内的特定对象的相关性。例如，可以使用高分辨率显示所有面部或特定面部。类似地，可以以高分辨率显示“警报”(即视觉上呼出或喊叫)用户的图标，以期至少吸引视觉目光。3)由一个或多个对象执行的特定活动的基于机器的识别触发高相关性状态。例如，如果环境中的脸部被识别为生气或与通话过程相关联，则其相关性会增加。4)可以使用神经网络和其他形式的机器学习方法来确定对特定用户通常很重要的(例如通过重复选择)的对象。例如，如果用户通常在一天中的特定时间评论棒球分数，则机器学习方法导致这些分数在更新时以高分辨率显示。
在另外的实施例中，相关性可以通过被分配给特定对象的任意多个条件来调制。例如，体育比分在首次宣布时是相关的，但随着时间的推移相关性的降低。关于特定运动的图像在一年的某些时间被赋予高度的相关性。公共交通时间表和/或公告可能在一天的某些时间和/或一周中的某些日子被分配增加的相关性。日历事件可能与预定事件之前的选定时间相关。
显示为靠近和/或向用户移动的对象被分配增加的相关性。与瞬时注视位置相比，特定方向内的对象可被赋予更高的相关性。例如，当使用通常从左到右和从上到下(例如英语，法语，德语)排列字母/符号的语言阅读时，在预期注视指向文本和/或对象被观看的顺序时，位于注视位置的右侧和/或下方的字母和单词可以以增加的分辨率被显示。
在一些情况下，绝对位置(即相对于显示器)可以是相关性的一个决定因素。有目的的、记忆引导的扫视眼睛运动的潜在目标在这一类别中特别有用。例如，在眼睛信号语言中，一个或多个激活目标和/或可选择的对象可以出现在给定应用或者遍及大多数应用中的相同位置。作为潜在的目标，可以用增强的空间和/或颜色分辨率显示这种潜在的HRO目标。
对象的相关性可以被分级(即，在连续光谱内分配得分)。如果要同时显示大量具有高相关性的对象，则具有较低相关性分数(但仍在高相关性括号内)的那些对象可以至少临时以降低的分辨率显示，以便保持在可用带宽内。
带宽减小可以与其他策略协同地使用，以减少一个或多个处理单元和/或传输设备的总体处理需求，以及所得到的功耗控制。这些策略可以额外减少不必要的加热并延长移动应用期间的电池寿命。
在不需要显示的时间期间，例如当用户在功能上失明(例如，在眨眼抑制或扫视抑制期间)期间(本文别处描述)，显示(暂时)不被更新和/或一些显示/处理组件甚至可以电子地关闭。在这些时间期间，传输可以暂停，或者替代地，显示信息的传输可以在用户从功能失明状态返回到全视觉时的需要的期望中继续发生。例如，高分辨率中央(中心窝)视图的显示可以暂时停止，而在功能失明的这种时间期间，可以更新显示区域的一般静态(例如，背景)和/或外围区域。这些方案可以最大限度地利用可用的时间和带宽。
包含对象显著性以确定用户注意力焦点
在生理上，在人类视觉信息的处理中的第一步骤中的一个发生在视网膜内神经节细胞的水平上。这些细胞被布置在所谓的“中心环绕感受场”图案中，当中心区域内的光感受器与光环周围区域之间存在差异时，神经元发光。这种布置的最终结果是检测随后发送到大脑的边缘的位置(即，超过预定水平的空间梯度)。
大脑主要使用边缘来识别对象的事实是证明在观看对象的整个身体内的不同区域受到不同程度的视觉注意。亮度和/或颜色变化对比度高的区域通常会得到最直观的关注。因此，观察者的焦点通常集中在不一定是对象的几何中心的高对比度区域。这导致构建和使用所谓的“显著性图”，其经验地识别观察者相对于一个或多个对象特征或参考位置(例如，对象中心)最常观看到的位置。
对象(或对象的一部分)的“显著性”不仅仅由对象的物理特征决定。显著性取决于观察者的兴趣(在一些情况下随时间变化)。例如，在几乎任何面部形式(人类或其他动物)内的眼睛区域经常被视为高显著性区域。在一些情况下，观察者有可能“学习”影响对象或对象的部分的显著性。例如，反复观看最初可能使个人惊吓(或产生某种其他情绪反应)的对象导致观看者最终学会降低整体显著性，因为对象及其特征变得更加熟悉。
作为显著性的结果，对象中的某些特征比其他特征更频繁地被观看。作为其结果，任何形式的“平均”或其他统计手段来确定基于一个或多个测量的目视焦点和/或对象必须考虑到这些优选的观看方向/位置。通常，对一系列空间测量进行平均假定相对于一些参考位置的某些形式的误差的径向对称(例如，高斯)分布。然而，如果在一个或多个对象内存在优选的观看位置，则通常不能满足该假设(即，径向对称)，导致所谓的“概率密度函数”(PDF)的概念用于统计处理多次测量。
在示例性实施例中，可以使用假设(例如，基于对象的高对比度区域)或经验测量的显著性图来确定与特定显示对象相关联的PDF。一旦确定了预测或测量的PDF，可以以考虑到与每个对象相关联的单独的PDF的方式组合多个注视位置测量(例如，使用加权平均)。加权因子是基于PDF的空间分布计算的。
注视位置的组合(例如，加权平均)度量通常在与各个注视测量值相比较的用户关注度估计中提供更高的置信度和空间精度。随着现代眼睛跟踪系统中的相机帧速率(即，对应于每单位时间可获取的最大注视测量数量)增加，这些措施正在增加可行和有价值。当使用它们来确定用户的注意力(例如，扫视着眼)是否位于距离特定对象的中心(或任何其他参考位置)的预定距离内时，组合的注视估计是特别有价值的，从而指示选择和/或启动与所选对象相关的动作(和/或其他参数)。使用考虑显著性和结果PDF的综合措施可以更准确地确定在眼睛信号语言(或相反，减少意外激活)中观看和/或选择的对象的准确性和一致性。
图35示出对象760的期望显著性图的示例。示例性对象由简单的等腰三角形760组成。显著性被认为是最高的焦点位于三角形760侧面相交处，其中显著性映射如图35所示，显著度由灰度等级761a、761b，761c(暗代表最高显著区域)表示。对象(即，等腰三角形)760的几何中心由十字准线762表示。
显著性图761a、761b、761c在通过对象中心762的虚线绘制的垂直轴线763b的左右两侧包含相等的区域。因此，当确定组合水平注视位置时，在水平轴上的注视测量可以被相等地加权。然而，与上述761a相比，下面的显著特征761b、761c的数量增加，通过对象中心762作为虚线绘制的水平轴763a。因此，可以预期，与上述相比，将在在对象762的几何中心的下方进行更多观察者的注视度的测量。
在图35所示的简单情况下，与轴线763a相比，中心横轴762a下方的突出区域的数量是两倍。观察者观看对象可能将是两倍，以最初针对对象的几何中心762下方，和/或随后观察水平中心线763a下方的对象特征(包括在微扫视、微振动等期间)。因此，可以预期，水平轴线763a之上的每个测量值应该被加权，相比于763a轴线下方，在763a轴线上方观察两倍那么多。利用这种加权并假设所有其它误差源是随机的，大量注视测量的合成加权平均值收敛到对象762的真实几何中心。
眼睛信号选择区域和集群
在许多UMI(人机界面)系统中发现的一个基本组件涉及到指定和与集群或对象组交互的能力。这些对象的示例包括数据文件、应用、图像、表示功能的图标、名称、地址、电话号码、文本内的单词、超链接、视频、音频记录、表面等的集合。在现今的系统中，典型的基于屏幕的GUI(图形用户界面)通过允许用户在屏幕上指定(例如，使用触摸屏或计算机鼠标)一个或多个大体上矩形的区域来处理集群的分组，该区域包括表示集群内的所需对象。然后，可以同时对集群内的所有对象或功能执行操作。
在眼睛信令过程中的一个挑战是由于快速的眼睛运动的固有“点对点”性质，以及需要在每个运动期间为眼睛提供可视物品(即目标)用于着眼的事实。这使得在没有考虑到眼睛运动的生理学的GUI策略的情况下用户的眼睛运动难以识别特定且任意大小的区域。
在示例性实施例中，可以通过考虑扫视眼睛运动的可识别序列来选择显示器上的对象集群。由扫视序列指定的区域内的所有对象都被包含作为选择的一部分。可以顺序地选择/附加多个区域以包含任何大小或形状区域内的任意多个对象。
在眼睛信号语言中，可以通过从角部的位置到“区域选择”目标的扫视眼睛运动来指定可选区域的角部。通常，要选择的区域是矩形的；然而，其他选择形状是可能的，例如当从基本上1维的元素列表中选择多个元素时。“区域选择”目标与选择区域的一个边界以外的任何特定功能不相关。
存在用于指定区域的特定的眼睛运动序列的变体；然而，这种眼睛运动序列的基本要素包括：1)使用两次眼睛运动来指定矩形区域的两个(非相邻)角部的能力，2)以附加的眼睛运动对可选地向附加区域添加集群的能力，3)矫正或“忘记”一个或多个区域的无意选择的能力，以及4)随后对一个或多个选择的区域内的对象(包括由对象表示的功能)执行可选动作的能力。
显示“区域选择”目标的动作可以被嵌入在所谓的“go”选择序列内(以最小化激活区域的数量)。然而，在许多应用中，使“区域选择”目标全部(或至少大多数)可用，更加用户友好和高效。此外，在存在少量对象，可能有大面积的显示器的情况下，可以有助于在背景中叠加或包括图形提示，例如线网格或点阵矩阵，以提供视觉“休息区域”，其中在没有其他可见对象的情况下注视可以着眼。
图36A-36C示出从显示器770上列出的潜在文本消息或电子邮件收件人771的阵列中选择多个人的眼睛运动773a、773b。如图36A所示，在显示器770上的区域775a内的一组接收者(Peter、Mary、Dave、C.J.)可以通过首先执行从所选择的区域775a的角772a到“区域选择”目标图标(在这种情况下，利用中央焦斑774a由虚线形成的方形)的扫视眼睛运动(包含表示运动方向的箭头的实线773a来表示)来选择。然后，用户可以执行任意多个附加眼睛运动(只要不执行对激活目标774b的扫视)，以便寻找包含期望的元素的区域775a的第二角部772b。一旦用户找到，从区域775a的第二角部772b到区域选择目标774a的扫视773b以所选名称定义区域775a。
此时，从区域选择目标774a到激活目标774b的扫视将基于第一选择区域775a中的四(4)个名称发起动作(即向收件人发送电子邮件)。然而，如图1所示。如图36B所示，如果动作中包含收件人姓名的另一区域，则可以通过从所选角部772c到区域选择目标774a的示意图773c来指定第二选区775b的初始角部772c。与所选择的第一区域775a类似，用户可以执行任意多个探索性眼睛运动(只要不执行对激活目标774b的扫视)，以便寻找包含所选元素的第二区域775b的第二角部772d。一旦用户找到，从区域775b的第二角部772d到区域选择目标774a的扫视773d用附加的选定名称(即Art，Kris)定义区域775b。或者，选择角部元素772a，772b的顺序可以颠倒。
如果没有进一步的名字被添加到列表中，则用户可以直接从所选择的区域775b的第二角部772b到激活目标774b进行扫视眼睛运动(用箭头示出的虚线777)，从而将第二组名称附加到电子邮件收件人列表中并执行激活序列内的功能(例如，发送电子邮件)。或者(尽管从整体眼睛运动的角度来看效率较低)，在从773d扫视到区域选择目标774a之后，直接对激活目标774b的后续扫视将类似地将选定的功能应用于组合的第一775a和第二775b接收者组。
图36C示出可以用于将一个附加名称(Phil，776)附加到电子邮件接收者列表的一系列额外的眼睛运动。可以从区域选择目标773c进行扫视773e以探索这些附加收件人771。一旦找到，直接从单个选择(Phil，776)到激活目标774b的扫视773f将单个元素附加到累积列表，并启动所选动作。在这种情况下，不需要在显示器770上定义区域，因为仅选择了单个元素；然而，如果使用区域选择目标774a，之后是直接从区域选择目标774a到激活目标774b的扫视，选择了包含单个元素的区域，则可以获得等同的结果。
应当理解，根据实施例的预期用途，具体实施例中描述的各种组件和特征可以被添加、删除和/或替代其他实施例。
此外，在描述代表性实施例中，说明书可以将方法和/或过程呈现为特定的步骤顺序。然而，在该方法或过程不依赖于本文所阐述的步骤的特定顺序的程度上，该方法或过程不应限于所描述的特定步骤顺序。如本领域普通技术人员将理解的，其他步骤序列是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。
虽然本发明易于进行各种修改和替代形式，但是其具体示例已在附图中示出，并且在此详细描述。应当理解，本发明不限于所公开的特定形式或方法，而是相反，本发明将覆盖落入所附权利要求的范围内的所有修改、等同物和替代方案。
Claims (171)
1.一种用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来确定所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时眨眼；
通过所述检测器确认在所述眨眼之后的预定眨眼后眨眼持续时间内所述用户的一只或两只眼睛的眼睛运动开始；
通过所述检测器基于所述用户的一只或两只眼睛的扫视速度超过预定的眨眼后扫视阈值速度来分类所述眼睛运动为扫视；以及
执行与所述扫视眼睛运动相关联的动作。
2.如权利要求1所述的方法，其中，所述眨眼之后的所述眨眼后持续时间长达200毫秒。
3.如权利要求1所述的方法，其中，所述眨眼后扫视阈值速度为20°/秒。
4.如权利要求1所述的方法，其中，执行动作包括：当解释所述扫视眼睛运动的意图时，包括预定的延迟。
5.如权利要求1所述的方法，其中，执行动作包括：当基于所述扫视眼睛运动执行动作时，包括预定的延迟。
6.如权利要求1所述的方法，其中，执行动作包括：使在显示器上引入虚拟对象延迟预定时间。
7.一种用于提供图形用户界面以使用检测器和显示器至少部分地基于用户的一只或两只眼睛的运动来传达所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向对象；
通过所述检测器识别所述用户的一只或两只眼睛从所述对象朝向所述显示器上的目标位置扫视；
至少部分地基于识别所述扫视，在所述扫视期间在所述显示器上移动在所述显示器上的所述目标位置周围的预定区域内的一个或多个所显示的对象的位置；
通过所述检测器确认所述扫视在距所述目标位置的预定距离内完成；
通过所述检测器确定跟随所显示的对象中的一个对象的一个或多个眼睛注视运动，从而识别所跟随的对象；以及
执行与所述目标位置和所跟随的对象中的一个或多个相关的动作。
8.如权利要求7所述的方法，其中，移动一个或多个所显示的对象的位置产生所述用户未感知所述运动的空白效应。
9.如权利要求7所述的方法，其中，所述一个或多个眼睛注视运动包括以下中的一个：平滑追踪、扫视、聚散运动以及包括一个或多个平滑追踪、扫视或聚散运动的两只眼睛注视运动的组合。
10.一种用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来传达所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向第一键盘上的第一键；
通过所述检测器识别所述用户的一只或两只眼睛从所述第一键朝向第二键盘上的第二键的第一扫视；
通过所述检测器确认所述第一扫视在距所述第二键的位置的预定距离内完成；以及
执行与所述第一键和所述第二键中的一个或两者相关联的动作，无需等待所述用户感知所述第二键。
11.如权利要求10所述的方法，其中，所述第一键盘是投影到显示器上的虚拟键盘和实体键盘中的一个。
12.如权利要求10所述的方法，其中，所述第二键盘是投影到显示器上的虚拟键盘和实体键盘中的一个。
13.如权利要求10所述的方法，其中，所述动作包括将与所述第一键相关联的字母数字字符连接到一系列字母数字字符。
14.如权利要求13所述的方法，其中，连接与所述第一键相关联的字母数字字符形成词和数字中的一个。
15.如权利要求10所述的方法，其中，所述第一键盘和所述第二键盘是彼此相邻地呈现在显示器上的虚拟键盘。
16.如权利要求10所述的方法，其中，所述第一键盘和所述第二键盘包括多个字母数字键，所述字母数字键包括一个或多个数字、字母或特殊字符。
17.如权利要求10所述的方法，其中，所述第一键盘和所述第二键盘具有相同的布局。
18.如权利要求10所述的方法，其中，所述第一键盘和所述第二键盘具有彼此不同的布局。
19.如权利要求10所述的方法，其中，所述动作包括将分配给所述第一键的字母数字符号添加到显示器上的视区。
20.一种用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来传达所述用户的意图的方法，包括：
提供包括具有多个键的第一区域的第一键盘和包括具有多个键的第二区域的第二键盘；
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述第一键盘的所述第一区域；
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述第一键盘上的第一键；
通过所述检测器识别所述用户的一只或两只眼睛从所述第一键朝所述第二键盘的所述第二区域的第一扫视；
通过所述检测器确认在所述第二键盘的所述第二区域内完成所述第一扫视；以及
执行与所述第一键相关联的动作，无需等待所述用户感知所述第二键盘的所述第二区域。
21.如权利要求20所述的方法，进一步包括：
通过所述检测器识别所述用户的一只或两只眼睛是否指向所述第二键盘上的第二键；
通过所述检测器识别所述用户的一只或两只眼睛从所述第二键朝向所述第一键盘的所述第一区域的第二扫视；
通过所述检测器确认在所述第一键盘的所述第一区域内完成所述第二扫视；以及
执行与所述第二键相关联的动作，无需等待所述用户感知所述第一键盘的所述第一区域。
22.如权利要求21所述的方法，其中，所述动作包括至少部分地基于所述第一键来修改在所述第二键盘的键上呈现的符号。
23.如权利要求22所述的方法，其中，修改在所述第二键盘的键上呈现的符号包括从所述第二键盘的键删除不能与所述第一键上呈现的符号相关联的符号。
24.一种用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来传达所述用户的意图的方法，包括：
在显示器上呈现包括具有多个图标的第一区域的第一视区和包括具有多个图标的第二区域的第二视区；
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述第一视区的所述第一区域；
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述第一视区中的第一图标；
通过所述检测器识别所述用户的一只或两只眼睛从所述第一图标朝向所述第二视区的所述第二区域的第一扫视；
通过所述检测器确认在所述第二视区的所述第二区域内完成所述第一扫视；以及
在确认完成从所述第一图标到所述第二区域的所述第一扫视时，执行与所述第一图标相关联的动作，无需等待所述用户感知所述第二区域。
25.如权利要求24所述的方法，其中，在确认完成从所述第一图标到所述第二区域的所述第一扫视后，立即执行所述动作，与所述用户的任何进一步动作无关。
26.如权利要求24所述的方法，进一步包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向第二视区中的第二图标；
通过所述检测器识别所述用户的一只或两只眼睛从所述第二图标朝向所述第一视区的所述第一区域的第二扫视；
通过所述检测器确认在所述第一视区的所述第一区域内完成所述第二扫视；以及
执行与所述第二图标相关联的动作，无需等待所述用户感知所述第一区域。
27.如权利要求24所述的方法，进一步包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述第二视区中的第二图标；
通过所述检测器识别所述用户的一只或两只眼睛从所述第二图标朝向在所述显示器上呈现的第三视区的第三区域的第二扫视；
通过所述检测器确认在所述第三视区的所述第三区域内完成所述第二扫视；以及
执行与所述第二图标相关联的动作，无需等待所述用户感知所述第三区域。
28.如权利要求24所述的方法，其中，所述多个图标包括多个键，每个键包括字母数字符号。
29.一种用于提供图形用户界面以使用键盘和检测器至少部分地基于用户的一只或两只眼睛的运动来传达所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述键盘上的第一键；
通过所述检测器识别所述用户的一只或两只眼睛从所述第一键朝向所述键盘上的第二键的第一扫视；
通过所述检测器确认在距所述第二键的位置的预定距离内完成所述扫视；以及
执行与所述第一键和所述第二键中的一个或两者相关联的动作，无需等待所述用户感知所述第二键。
30.如权利要求29所述的方法，其中，所述键盘是投影到显示器的虚拟键盘和实体键盘中的一个。
31.如权利要求29所述的方法，其中，所述第二键是激活目标。
32.如权利要求29所述的方法，其中，所述动作包括将与所述第一键相关联的字母数字字符连接到一系列字母数字字符。
33.如权利要求32所述的方法，其中，连接与所述第一键相关联的字母数字字符形成词和数字中的一个。
34.如权利要求29所述的方法，其中，所述扫视是记忆引导扫视。
35.如权利要求29所述的方法，其中，所述第二键位于所述用户的副中心窝视野和周边视野中的一个内。
36.如权利要求29所述的方法，其中，所述第一键位于显示器上的虚拟键盘内，并且所述第二键位于所述用户的视场内，而不在所述显示器上。
37.如权利要求29所述的方法，其中，在确认完成从所述第一键到距所述第二键的所述位置的预定距离内的所述第一扫视时，立即执行所述动作，与所述用户的任何进一步动作无关。
38.一种用于提供图形用户界面以使用键盘和检测器至少部分地基于用户的一只或两只眼睛的运动来传达所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述键盘上的第一键；
通过所述检测器识别所述用户的一只或两只眼睛从所述第一键朝向所述键盘上的第二键的第一扫视；
通过所述检测器识别所述用户的一只或两只眼睛进一步指向所述键盘上的所述第二键的一个或多个矫正扫视；
通过所述检测器确认在距所述第二键的位置的预定距离内完成所述一个或多个矫正扫视中的至少一个；以及
执行与所述第一键和所述第二键中的一个或两者相关联的动作，无需等待所述用户感知所述第二键。
39.如权利要求38所述的方法，其中，在确认完成从所述第一键到距所述第二键的位置的预定距离内的所述第一扫视时，立即执行所述动作，与所述用户的任何进一步动作无关。
40.一种用于提供图形用户界面以使用键盘和检测器至少部分地基于用户的一只或两只眼睛的运动来传达用户的意图的方法，包括：
通过检测器识别所述用户的一只或两只眼睛何时指向距所述键盘上的第一键的位置的预定距离内；
通过所述检测器识别所述用户的一只或两只眼睛从所述第一键朝向所述键盘上的第二键的第一扫视；
通过所述检测器确认在距所述第二键的位置的预定距离内完成所述扫视；以及
执行与所述第一键和所述第二键中的一个或两者相关联的动作，而不改变显示器，以便不引起所述用户的注意。
41.如权利要求40所述的方法，其中，执行所述动作，无需等待所述用户感知所述第二键。
42.如权利要求40所述的方法，其中，所述动作包括将与所述第一键相关联的字母数字字符连接到所存储的一系列字母数字字符。
43.如权利要求42所述的方法，其中，连接与所述第一键相关联的字母数字字符形成词和数字中的一个。
44.如权利要求40所述的方法，其中，所述键盘被投影到所述显示器上。
45.一种用于提供图形用户界面以使用键盘、显示器和检测器至少部分地基于用户的一只或两只眼睛的运动来传达所述用户的意图方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向键盘上的第一位置；
通过所述检测器识别所述用户的一只或两只眼睛从所述第一位置朝向所述显示器上的自动填充激活目标位置处的自动填充激活目标的第一扫视；
在所述显示器上的所述自动填充激活目标位置周围的预定区域内显示数据集中的一个或多个完成元素；
执行选择眼睛动作以指示选择所述一个或多个完成元素中的一个，从而识别所选择的完成元素；以及
将所选择的完成元素附接到所述数据集。
46.如权利要求45所述的方法，其中，所述完成元素是词的一部分、短语的一部分、句子的一部分、数字序列的组成部分、图像的一部分和字母数字字符或函数的预定序列中的一个。
47.如权利要求45所述的方法，其中，所述自动填充激活目标周围的所述预定区域在所述用户的中心窝视野内。
48.如权利要求47所述的方法，其中，所述用户的中心窝视野在所述用户的注视方向的1°至3°内。
49.如权利要求45所述的方法，其中，在所述自动填充激活目标位置周围的预定区域内显示一个或多个完成元素不产生所述用户的一只或两只眼睛的搜索运动。
50.如权利要求45所述的方法，其中，所述数据集是词的一部分、句子的一部分、数字序列的组成部分、图像的一部分和字母数字字符或函数的预定序列。
51.如权利要求45所述的方法，其中，所述选择眼睛运动是从所述自动填充激活目标位置朝向选择激活目标的扫视以及所述用户的一只或两只眼睛跟随所述一个或多个完成元素中的一个的运动中的一个。
52.如权利要求45所述的方法，其中，所述键盘被投影到所述显示器上。
53.一种用于提供图形用户界面以使用键盘和检测器至少部分地基于用户的一只或两只眼睛的运动来传达所述用户的意图的方法，包括：
通过检测器识别所述用户的一只或两只眼睛何时指向距所述键盘上的第一键的位置的预定距离内；
通过所述检测器识别所述用户的一只或两只眼睛从所述第一键朝向所述键盘上的第二键的第一扫视；
通过所述检测器识别所述用户的一只或两只眼睛朝向所述键盘上的一个或多个附加键的一个或多个附加扫视；
通过所述第一扫视和所述一个或多个附加扫视识别眼睛运动的图案；
将所述眼睛运动的图案用作神经网络的输入，来分类一个或多个字母数字字符；以及
执行与所述一个或多个字母数字字符相关的动作。
54.如权利要求53所述的方法，其中，执行动作包括将所述一个或多个字母数字字符连接到所存储的一系列字母数字字符。
55.如权利要求54所述的方法，进一步包括执行与连接到所存储的一系列字母数字字符的所述一个或多个字母数字字符有关的动作。
56.如权利要求53所述的方法，其中，执行所述动作而不改变显示器，以便不引起所述用户的注意。
57.如权利要求53所述的方法，其中，执行动作包括向所述用户提供听觉反馈和触觉反馈中的一个。
58.一种用于提供图形用户界面以使用检测器和显示器至少部分地基于用户的一只或两只眼睛的运动来传达所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向第一位置；
通过所述检测器识别所述用户的一只或两只眼睛从所述第一位置朝向所述显示器上的第一激活目标位置处的第一激活目标的第一扫视；
从所述显示器移除所述第一激活目标，并且在所述显示器上在与所述第一激活目标位置相比不同的第二激活目标位置处呈现第二激活目标；
通过所述检测器识别所述用户的一只或两只眼睛从所述第一激活目标位置朝向所述显示器上的第二位置的第二扫视；
通过所述检测器确认到在距所述第二位置的预定距离内完成所述第二扫视；
通过所述检测器识别所述用户的一只或两只眼睛从所述第二位置朝向所述显示器上的所述第二激活目标位置的第三扫视；以及
执行与所述第一位置、所述第一激活目标、所述第二位置和所述第二激活目标中的一个或多个相关的动作。
59.如权利要求58所述的方法，进一步包括：
通过所述显示器移除在显示器上显示的一个或多个激活目标；以及
通过所述显示器在所述显示器上在与被移除的一个或多个激活目标的位置相比不同的位置处显示一个或多个附加激活目标。
60.一种用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来传达所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向标度内的观看位置；
通过所述检测器识别所述用户的一只或两只眼睛从所述标度内的所述观看位置朝向激活目标位置处的激活目标的扫视；
通过所述检测器确认在距所述激活目标位置的预定距离内完成所述扫视；以及
执行与相对于所述标度的位置在所述标尺内的所述观看位置和所述激活目标中的一个或两者相关的动作。
61.如权利要求60所述的方法，其中，执行所述动作，而不等待所述用户感知所述激活目标。
62.如权利要求60所述的方法，其中，所述标度是标尺、刻度盘、温度计和指针指示器中的一个的图形表示。
63.一种用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来辨别所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向距对象位置处的对象的预定距离内；
通过所述检测器识别所述用户的一只或两只眼睛从所述对象朝向对象位置处的目标的扫视；
通过所述检测器确认在距所述目标位置的预定距离内完成所述扫视；以及
在感知目标前，执行与所述对象、所述对象位置、所述目标和所述目标位置中的一个或多个相关联的动作，其中所述动作包括提供被设计为不引起所述用户的视觉注意的用户反馈。
64.如权利要求63所述的方法，其中，被设计为不引起所述用户的视觉注意的用户反馈是听觉信号、温度、嗅觉信号和触觉信号中的一个或多个。
65.如权利要求63所述的方法，其中，所述动作的特性控制所述听觉信号的频率、幅度、感知距离、感知声音方向和调制中的一个。
66.一种用于提供图形用户界面以使用检测器和观看设备至少部分地基于用户的一只或两只眼睛的运动来确定所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向对象位置处的对象；
通过所述检测器识别所述用户的一只或两只眼睛从所述对象位置朝向第一目标位置处的第一目标的第一扫视；
在所述第一扫视期间，通过所述观看设备改变所述第一目标的用户视野，由此产生间隙效应；
通过所述检测器识别所述用户的一只或两只眼睛从所述第一目标位置朝向第二目标位置处的第二目标的第二扫视；
通过所述检测器确认在距所述第二目标位置的预定距离内完成所述第二扫视；以及
执行与所述对象、所述对象位置、所述第一目标、所述第一目标位置、所述第二目标和所述第二目标位置中的一个或多个相关的动作。
67.如权利要求66所述的方法，其中，所述第一目标是物理对象。
68.如权利要求66所述的方法，其中，改变所述用户的视野包括遮挡所述第一目标的所述用户的视图。
69.如权利要求68所述的方法，其中，遮挡所述第一目标包括以与所述第一目标周围的图像类似或作为其延续的图像替换所述第一目标。
70.一种用于提供图形用户界面以使用显示器和检测器至少部分地基于用户的一只或两只眼睛的运动来确定所述用户的意图的方法，包括：
通过指向远离所述用户的场景相机识别位于所述用户的环境内的对象；
通过对象模板的数据库确定位于所述用户的环境内的一个或多个对象是否是高重要性对象；
使用电信设备接收预定示出在所述显示器上的呼入数据集；以及
仅当确定无高重要性对象存在于所述用户的环境中时，才在所述显示器上示出所述呼入数据集。
71.如权利要求70所述的方法，其中，确定高重要性对象进一步包括：
通过场景相机获取所述用户的环境的一个或多个图像；以及
通过对象模板的数据库将场景相机图像内的高重要性对象识别为人、被识别的人、被识别为说话的人、飞机的内部视图、学校的内部视图、汽车的内部、要求用户优先关注的一个或多个控件的视图和剧院的内部视图中的一个或多个。
72.如权利要求71所述的方法，进一步包括使用全球定位系统基于所述用户的位置来识别一个或多个高重要性对象。
73.如权利要求70所述的方法，其中，当所述呼入数据集是认为紧急、作为用户偏好的结果允许、以及在紧急情况期间接收的一个时，示出所述呼入数据集，与是否存在高重要性对象无关。
74.如权利要求70所述的方法，其中，所述呼入数据集包括一系列文本、一系列图像、一系列数字、以及文本、图像和数字的组合中的一个或多个。
75.一种用于提供图形用户界面以使用显示器、一个或多个场景相机和检测器至少部分地基于用户的一只或两只眼睛的运动来确定所述用户的意图的方法，包括：
通过指向所述用户的环境的所述一个或多个场景相机来识别所述用户的环境中的观看对象；
使用电信设备接收预定在显示器上示出的一个或多个呼入数据集；以及
基于一个或多个预定用户偏好来确定在所述显示器上向所述用户示出的数据集的选择和定时。
76.一种用于使用场景相机和检测器至少部分地基于用户的一只或两只眼睛的运动来确定两(2)个可佩戴设备用户的意图的方法，包括：
通过可操作地耦接到与第一可佩戴设备用户相关联的第一可佩戴设备的场景相机识别包括第二可佩戴设备用户的一只或两只眼睛的一个或多个场景相机图像内的区域；
使用图像识别来识别所述第二可佩戴设备用户的一只或两只眼睛在预定角度范围内何时朝向所述第一可佩戴设备用户；
确认所述第二可佩戴设备用户的一只或两只眼睛在预定时间内指向所述第一可佩戴设备用户；以及
允许与所述第一可佩戴设备用户相关联的第一可佩戴设备和与所述第二可佩戴设备用户相关联的第二可佩戴设备之间的电子通信。
77.如权利要求76所述的方法，其中，仅当所述第一可佩戴设备用户的一只或两只眼睛朝向所述第二可佩戴设备用户的一只或两只眼睛的区域时才允许电子通信。
78.如权利要求76所述的方法，其中，所述预定时间在0.5至10秒之间。
79.一种用于使用与可佩戴设备用户相关联的可佩戴设备的场景相机和检测器至少部分地基于用户的一只或两只眼睛的运动来确定所述可佩戴设备用户的意图的方法，包括：
通过所述可佩戴设备的场景相机识别包括被观看个人的一只或两只眼睛的一个或多个场景相机图像内的区域；
使用所述检测器和场景相机来识别所述可佩戴设备用户的注视在预定角度范围内朝向所述被观看个人的一只或两只眼睛；
使用图像识别来识别所述被观看个人的一只或两只眼睛在预定角度范围内何时朝向所述可佩戴设备用户；以及
通过所述可佩戴设备执行动作。
80.如权利要求79所述的方法，其中，所述动作包括：
通过个人模板的数据库基于一个或多个场景相机图像来确定所述被观看个人的标识；以及
通过个人信息的数据库来显示关于所述被观看个人的信息。
81.一种用于使用场景相机和一个或多个信标至少部分地基于用户的一只或两只眼睛的运动来确定两(2)个可佩戴设备用户的意图的方法，包括：
通过可操作地耦接到与第一可佩戴设备用户相关联的第一可佩戴设备的场景相机识别包括在一个或多个场景相机图像内包括来自与第二可佩戴设备用户相关联的第二可佩戴设备的一个或多个信标的区域；
通过所述场景相机识别由与所述第二可佩戴设备用户相关联的所述第二可佩戴设备的所述一个或多个信标广播的码；
通过访问码的数据库来确认由所述信标广播的码允许访问关于所述第二可佩戴设备用户的信息的数据库；以及
允许与所述第一用户相关联的所述第一可佩戴设备和包含关于所述第二可佩戴设备用户的信息的数据库之间的电子通信。
82.如权利要求81所述的方法，其中，包含关于所述第二可佩戴设备用户的信息的所述数据库位于与所述第二可佩戴设备用户相关联的第二可佩戴设备内。
83.如权利要求81所述的方法，进一步包括允许与所述第二用户相关联的所述第二可佩戴设备和包含关于所述第一可佩戴设备用户的信息的附加数据库之间的电子通信。
84.一种用于使用检测器至少部分地基于用户的一只或两只眼睛的运动来确定用户的意图的方法，包括：
通过所述检测器来识别所述用户的一只或两只眼睛何时以被确定为有目的的眼睛运动的方式运动；
使用眼睛运动模板的数据库识别与所述有目的的眼睛信号相关联的眼睛动作；
基本上同时识别由不与所述用户的一只或两只眼睛相关联的输入设备产生的用户输入；
识别与由所述输入设备产生的用户输入相关联的设备动作；以及
基于输入层次的数据库来执行与所述有目的的眼睛信号相关联的眼睛动作和与所述用户输入相关联的设备动作中的一个。
85.如权利要求84所述的方法，其中，所述有目的的眼睛信号包括扫视、一系列扫视、聚散运动、眼前庭运动和平滑追踪中的一个。
86.如权利要求84所述的方法，其中，所述输入装置是计算机鼠标、操纵杆、笔、键盘、触摸屏、加速度计、开关、麦克风以及检测用户的手、头、手指、腿和手臂中的一个或多个的运动的相机中的一个。
87.如权利要求84所述的方法，其中，在执行所述眼睛动作和所述设备动作中的一个后，延迟或从不执行所述眼睛动作和所述设备动作中的另一个。
88.如权利要求87所述的方法，进一步包括仅当目的性得分超过预定阈值时，执行最初不执行的动作。
89.一种用于使用检测器和指示设备至少部分地基于用户的一只或两只眼睛的运动来移动一个或多个显示器上的指针的方法，包括：
识别指针的源显示器上的源位置，其中至少部分地由指示设备控制所述指针的位置；
通过所述检测器识别所述用户的一只或两只眼睛何时指向目标显示器上的目标位置；
通过所述指示设备来确认相对于所述源显示器上的所述源位置在朝向所述目标显示器上的所述目标位置的方向中在预定方向范围内的所述指示设备的移动；以及
在远离所述目标位置预定距离内在所述目标显示器上的新指针位置处显示所述指针。
90.如权利要求89所述的方法，其中，所述指示设备是鼠标、操纵杆、轨迹球和数字笔中的一个。
91.如权利要求89所述的方法，进一步包括使用所述指示设备来使所述指针从所述新指针位置引导为更接近所述目标位置。
92.如权利要求89所述的方法，其中，所述源显示器和所述目标显示器是相同设备和不同设备中的一个。
93.如权利要求89所述的方法，其中，所述指针是可见光标、高亮对象、背景变化和边框中的一个。
94.如权利要求89所述的方法，其中，所述新指针位置在所述指针的所述源位置和所述目标位置之间的方向中。
95.如权利要求89所述的方法，其中，在接近所述新指针位置时，使所述指针显示为变慢。
96.一种用于提供图形用户界面以使用显示器和检测器至少部分地基于用户的一只或两只眼睛的运动来确定用户的意图的方法，包括：
在所述显示器上显示乐谱的一部分；
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述乐谱的显示部分内的观看位置；
通过包括所述乐谱的数据库识别所述乐谱中的一个或多个断点位置；
通过所述检测器确认所述观看位置在距所述乐谱内的至少一个断点位置的预定距离内；以及
显示所述乐谱的新部分。
97.如权利要求96所述的方法，其中，所述乐谱的显示部分是单行乐曲、多行乐曲和一页乐曲中的一个。
98.如权利要求96所述的方法，其中，所述预定距离取决于演奏所述乐谱的速率。
99.一种用于提供图形用户界面以使用检测器、场景相机和显示器至少部分地基于用户的一只或两只眼睛的运动来传达控制交通工具时的用户的意图的方法，包括：
在可操作地耦接到到所述场景相机的显示器上显示所述交通工具的环境的视频图像；
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述显示器上的所述交通工具的环境的视频图像内的目标位置；
通过所述检测器识别所述用户的一只或两只眼睛从所述显示器上的所述目标位置朝向所述显示器上的激活目标的第一扫视；
通过所述检测器确认在距所述激活目标的位置的预定距离内完成所述扫视；以及
使得交通工具移向由所述显示器上的所述目标位置表示的所述交通工具的环境中的目的地位置。
100.如权利要求99所述的方法，其中，所述交通工具是无人机和汽车中的一个。
101.如权利要求99所述的方法，其中，所述显示器是增强现实头戴设备、虚拟现实头戴设备、混合现实头戴设备、平板计算机、智能电话、智能手表、手提计算机和台式计算机中的一个的组件。
102.一种用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来传达驾驶交通工具时的用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向对象位置处的对象；
通过所述检测器识别所述用户的一只或两只眼睛从所述对象位置朝向显示器上的目标位置处的激活目标的第一扫视；
通过所述检测器确认在距所述目标位置的预定距离内完成所述扫视；
通过所述检测器确认所述用户的一只或两只眼睛在预定时间内、在预定的方向范围内指向所述交通工具的移动方向；以及
执行与所述对象和所述激活目标中的一个或多个相关的动作。
103.如权利要求102所述的方法，其中，所述预定时间在1至3秒的范围中。
104.如权利要求102所述的方法，其中，所述显示器是控制台显示器、平视显示器和增强现实显示器中的一个。
105.一种用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来增强所述用户的存储器的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向距存储对象的位置的预定距离内；
通过所述检测器识别所述用户的一只或两只眼睛从所述存储对象位置到目标位置处的存储激活目标的第一扫视；
通过所述检测器确认在距所述目标位置的预定距离内完成所述扫视；以及
通过存储器设备执行存储功能，所述存储功能包括将与所述存储对象相关联的数据集存储到对应于存储数据集索引的多个数据集内的位置，并且使所述存储数据集索引递增一(1)。
106.一种用于提供图形用户界面以使用检测器和显示器至少部分地基于用户的一只或两只眼睛的运动来增强用户的存储器的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向显示器上的检索对象位置处的检索对象；
通过所述检测器识别所述用户的一只或两只眼睛从所述显示器上的所述检索对象位置朝向目标位置处的检索激活目标的第一扫视；
通过所述检测器确认在距所述目标位置的预定距离内完成所述扫视；以及
通过存储器设备执行检索功能，所述检索功能包括从对应于多个数据集内的检索数据集索引的位置检索所检索的数据集。
107.如权利要求106所述的方法，其中，所述检索功能进一步包括下述的一个或多个：
在所述显示器上的所述检索对象位置处显示所检索的数据集的一个或多个方面；以及
执行与所检索的数据集相关联的动作。
108.一种用于提供图形用户界面以使用检测器至少部分地基于用户的一只或两只眼睛的运动来增强用户的存储器的方法，包括：
当使用所述检测器识别从对象到距存储激活目标的位置的预定距离内的扫视时，执行在多个数据集内与对应于存储数据集索引的位置处的对象相关联的数据集的存储功能，并且使所述存储数据集索引递增一(1)；
当使用所述检测器识别从对象到距检索激活目标的位置的预定距离内的扫视时，执行与在多个数据集内对应于检索数据集索引的位置处的对象相关联的数据集的检索功能；
当使用所述检测器识别到向上激活目标的扫视时，通过使检索数据集索引递增一(1)，来选择所述检索数据集索引；
当使用所述检测器识别到向下激活目标的扫视时，通过使检索数据集索引递减一(1)，来选择所述检索数据集索引；以及
当使用所述检测器识别从对象到距删除激活目标的位置的预定距离内的扫视时，执行删除功能，所述删除功能包括以下中的一个或多个：删除在多个数据集内对应于检索数据集索引的位置处的对象；以及使所述存储数据集索引减一(1)。
109.一种用于提供用户界面以使用指向用户的一只或两只眼睛的一个或多个眼睛相机和指向所述用户的环境的场景相机至少部分地基于所述用户的一只或两只眼睛的方向来增强文档安全的方法，包括：
使用所述一个或多个眼睛相机获取所述用户的一只或两只眼睛的一个或多个图像；
通过将所述用户的一只或两只眼睛的一个或多个图像与已知标识眼睛模板的数据库比较来确定用户的标识；
使用所述场景相机识别由所述用户的一只或两只眼睛观看的文档；
使用所述一个或多个眼睛相机确认所述用户的一只或两只眼睛朝向所述文档；以及
电子地确认所述文档以指示所识别的用户观看过所述文档。
110.如权利要求109所述的方法，其中，已知标识眼睛模板的所述数据库包括已知虹膜。
111.如权利要求109所述的方法，进一步包括：
使用所述场景相机获取所述文档的一个或多个标识特征；
通过将所述文档的一个或多个标识特征与已知文档特征模板的数据库比较来确定所识别的文档；以及
基于所识别的用户和所识别的文档中的一个或多个来执行动作。
112.如权利要求111所述的方法，其中，已知文档特征模板包括所述文档的内容、条形码、QR码和确认签名中的一个或多个。
113.如权利要求109所述的方法，其中，电子确认所述文档包括添加所识别的用户的签名的图像、条形码、QR码、电子标签和电子签名中的一个或多个。
114.如权利要求109所述的方法，进一步包括将观看的时间、观看的日期以及观看的地理位置中的一个或多个附接到所述文档。
115.一种用于提供图形用户界面以使用显示器、头部运动检测器和眼睛位置检测器至少部分地基于用户的一只或两只眼睛的运动来确定用户的意图的方法，包括：
在所述显示器上显示多个显示对象；
通过所述眼睛位置检测器识别所述用户的一只或两只眼睛何时指向所述多个显示对象中的一个，从而识别所观看的对象；
通过所述头部运动检测器识别所述用户在第一方向上的头部运动；
通过所述眼睛运动检测器确认所述用户的一只或两只眼睛的眼睛运动；
基于所述眼睛运动是否使得所述用户在所述头部运动期间继续观看所观看的对象来分类所述眼睛运动是否是眼前庭；以及
确定所述眼睛运动不是眼前庭，因此，在所述第一方向上移动所述显示器上的所述多个显示对象。
116.如权利要求115所述的方法，其中，在所述用户在功能上失明的时段期间，执行移动所述显示器上的所述多个显示对象。
117.如权利要求116所述的方法，其中，在扫视抑制和眨眼抑制中的一个的时段期间，所述用户在功能上失明。
118.如权利要求116所述的方法，进一步包括识别所述用户的一只或两只眼睛的扫视或眨眼，并且其中，仅在所识别的扫视或眨眼期间，在所述显示器上移动所述多个显示对象。
119.如权利要求115所述的方法，其中，通过所述头部运动检测器识别所述用户在第一方向上的头部运动包括识别在所述第一方向上的头部运动的第一速度，并且其中，在所述显示器上在所述第一方向中基本上以第一速度移动所述多个显示对象。
120.一种用于提供用户界面以使用检测器和场景相机至少部分地基于用户的一只或两只眼睛的运动来传达所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述用户的环境内的第一观看位置；
通过所述场景相机识别所述用户的环境内的所述第一观看位置处的第一观看对象；
使用对象模板的数据库来识别所述第一观看对象，从而创建第一识别的对象目标；
通过所述检测器识别所述用户的一只或两只眼睛何时执行朝向所述用户的环境内的第二观看位置的眼睛运动；
通过所述场景相机识别所述用户的环境内的所述第二观看位置处的第二观看对象；
使用对象模板的数据库来识别所述第二观看对象，从而创建第二识别的观看对象；
使用可激活对象的数据库确认所述第二识别的观看对象对应于激活目标；以及
执行与所述第一识别的观看对象、所述第一观看位置、所述第二识别的观看对象和所述第二观看位置中的一个或多个相关的动作。
121.如权利要求120所述的方法，其中，朝向第二观看位置的眼睛运动是扫视、平滑追踪以及扫视和平滑追踪的组合中的一个。
122.如权利要求120所述的方法，其中，所述第二观看对象与所述第一观看对象相同，位移了某个距离。
123.一种用于提供用户界面以使用检测器、场景相机和显示器至少部分地基于用户的一只或两只眼睛的运动来传达所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述用户的环境内的观看位置；
通过所述场景相机识别所述用户的环境内的所述观看位置处的观看对象；
使用对象模板的数据库来识别所述观看对象，从而创建所识别的观看对象；
通过所述检测器识别所述用户的一只或两只眼睛何时执行从所识别的观看对象朝向所述显示器上的一个或多个激活目标中的一个的一个或多个眼睛运动；
通过所述检测器确认在距所述一个或多个激活目标中的一个的预定距离内完成所述一个或多个眼睛运动，从而创建选择的激活目标；以及
执行与所述第一识别的观看对象和所述选择的激活目标中的一个或多个相关的动作。
124.如权利要求123所述的方法，其中，所述显示器是增强现实显示器、混合现实显示器和显示监视器中的一个。
125.如权利要求123所述的方法，其中，朝向选择的激活目标的所述一个或多个眼睛运动是扫视、平滑追踪以及扫视和平滑追踪的组合中的一个。
126.一种用于使用检测器至少部分地基于用户的认知状态、生理状态或眼睛运动历史来调整在包括电子显示器的图形用户界面内用信号告知用户的意图的识别的方法，包括：
观察用户的认知状态、神经状态、生理条件和眼睛运动历史中的至少一个；
使用所述检测器识别由眼睛运动指示的至少一个已知眼睛信号，以传达能由所述用户的一只或两只眼睛的预定运动执行的用户意图；以及
基于所述至少一个已知信号之前或期间的所述用户的认知状态、生理状况或眼睛运动行为中的一个或多个来调整用于所述至少一个已知信号的识别的容错度。
127.如权利要求126所述的方法，其中，所述生理状态指示所述用户的疲劳、注意力提高或下降、压力增加和药物存在中的至少一个。
128.如权利要求127所述的方法，其中，所述生理状态由所述用户的眼睛运动、心率、心率变异性、脑电图和皮肤电反应中的一个或多个来确定。
129.如权利要求126所述的方法，其中，基于用户的环境中的环境照明和应用用信号告知意图的任务类型中的至少一个来修改调整用于所述信号的识别的容错度。
130.如权利要求126所述的方法，其中，基于自所述用户的一只或两只眼睛眨眼以来的时间、自所述用户的一只或两只眼睛的扫视以来的时间、自所述用户的一只或两只眼睛的矫正扫视以来的时间和自包括所述用户的功能失明的眼睛动态以来的时间中的至少一个，修改调整用于所述信号的识别的容错度。
131.如权利要求126所述的方法，其中，所述眼睛信号是所述用户的一只或两只眼睛的眨眼、扫视、微扫视、矫正扫视、反扫视、微振动、漂移和平滑追踪中的至少一个。
132.如权利要求126所述的方法，其中，所述用户的意图包括选择菜单项、作决定和启动动作中的至少一个。
133.如权利要求126所述的方法，其中，调整识别信号的容错度是基于所述用户的一只或两只眼睛的扫视的预期或测量的幅度。
134.如权利要求133所述的方法，其中，调整所述容错度适应未达或过冲静态或运动目标。
135.如权利要求126所述的方法，其中，调整用于识别信号的容错度是基于所述用户的一只或两只眼睛跟随运动对象的追踪的预期或测量的跟踪。
136.一种用于使用检测器至少部分地基于用户的认知状态、生理状况或眼睛运动历史来调整对识别包括电子显示器的图形用户界面内的用户的意图的信号通知的响应的方法，包括：
观察用户的认知状态、神经状态、生理状态和眼睛运动历史中的至少一个；
识别至少一个已知眼睛信号以传达用户意图，所述眼睛信号包括所述用户的一只或两只眼睛的预定运动、所述用户的一只或两只眼睛的瞳孔扩展和所述用户的一只或两只眼睛的瞳孔收缩中的一个或多个；
基于在所述至少一个已知信号之前或期间的所述用户的认知状态、生理状况或眼睛运动行为中的至少一个来识别所述至少一个已知眼睛信号；以及
通过改变响应的定时、选择将被呈现为响应的一部分的图形、示出为所述响应的一部分的图形元素的转变、所述响应的任何部分的定时和视作所述响应的一部分的动作中的至少一个来调整对所述至少一个已知眼睛信号的响应。
137.如权利要求136所述的方法，其中，指示功能失明的眼睛信号产生响应，所述响应调整呈现为所述响应的一部分的图形图像的位置、定时和动态的一个或多个。
138.一种用于提供图形用户界面以使用头戴设备和检测器至少部分地基于所述用户的一只或两只眼睛的运动来确定所述用户的意图的方法，包括：
通过所述头戴设备确定所述用户的头部的区域中的运动；
基于所述用户的头部的运动的幅度和频率中的一个或多个来确定眼睛运动严格性范围；
通过所述检测器确认所述用户的一只或两只眼睛的一个或多个眼睛运动匹配眼睛运动严格性范围内的眼睛信号运动的模板中的一个或多个；以及
执行与所述一个或多个眼睛运动相关的动作。
139.如权利要求138所述的方法，其中，使用来自所述头戴设备上携带的加速度计的输出、从安装在所述头戴设备上的场景相机中获取的图像内的背景的变化、以及从安装在所述头戴设备上的眼睛运动检测器获得的图像内的所述用户的一只或两只眼睛的位置的变化中的一个或多个来确定所述用户的头部的运动。
140.一种用于提供图形用户界面以使用头戴设备至少部分地基于所述用户的一只或两只眼睛的运动来确定用户的意图的方法，包括：
通过所述头戴设备确定所述用户的头部的区域中的环境照明；
基于环境照明的幅度和变化中的一个或多个来确定眼睛运动严格性范围；
通过安装在所述头戴设备上的眼睛运动检测器来确认所述用户的一只或两只眼睛的一个或多个眼睛运动匹配眼睛运动严格性范围内的眼睛信号运动的模板中的一个或多个；以及
执行与所述一个或多个眼睛运动相关的动作。
141.如权利要求140所述的方法，其中，基于所述头戴设备上携带的光传感器、从安装在所述头戴设备上的场景相机获得的图像内的亮度级的变化、以及从安装在所述头戴设备上的所述眼睛运动检测器获得的图像内的亮度级的变化中的一个或多个来确定环境照明。
142.一种用于提供图形用户界面以使用检测器和显示器至少部分地基于所述用户的一只或两只眼睛的运动来确定所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向在初始观看的对象位置处在所述显示器上的初始观看对象；
使用用于在所述显示器上示出的对象的优选放大中心的数据库来确定用于所述显示器上在距所述最初观看对象位置的预定距离内的所有对象的放大的中心的在所述显示器上的优选位置；
通过所述检测器识别在放大所述显示器上在距所述初始观看对象位置的预定距离内的所有对象期间所述用户的一只或两只眼睛何时跟随跟踪对象；
通过所述检测器确认在放大期间跟随所述跟踪对象达预定距离和预定时间中的一个，由此识别选择的对象；以及
执行与所述选择的对象相关的动作。
143.如权利要求142所述的方法，其中，使用所述用户的一只或两只眼睛的平滑追踪、所述用户的一只或两只眼睛的一系列扫视、以及所述用户的一只或两只眼睛的平滑追踪和扫视的组合中的一个或多个来执行跟随所述跟踪对象。
144.一种用于提供图形用户界面以使用检测器、显示器和键盘至少部分地基于用户的一只或两只眼睛的运动来确定所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述显示器上包含多个可选目标的区域；
在所述显示器上叠加多个键盘符号，其中所述键盘符号中的每一个与一个或多个可选目标相关联；
通过所述键盘确认所述用户选择所述键盘上对应于与一个或多个可选目标相关联的键盘符号中的一个的键，由此识别一个或多个所选择的目标；以及
执行与所述一个或多个所选择的目标有关的动作。
145.如权利要求144所述的方法，其中，所述动作进一步包括从所述显示器移除多个叠加的键盘符号。
146.一种用于提供图形用户界面以使用检测器、显示器和麦克风至少部分地基于用户的一只或两只眼睛的运动来确定所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述显示器上包含多个可选目标的区域；
在所述显示器上叠加多个符号，其中所述符号中的每一个与一个或多个可选目标相关联；
通过所述麦克风和声音模板的数据库来确认所述用户产生对应于与一个或多个可选目标相关联的符号中的一个的声音，从而识别一个或多个所选择的目标；以及
执行与所述一个或多个所选择的目标有关的动作。
147.一种用于使用检测器和显示器来确定注视方向以传达用户的意图的方法，包括：
通过所述检测器识别当观看在对象位置处在所述显示器上的目标对象时所述用户的右眼注视位置；
通过所述检测器识别当观看所述显示器上的所述目标对象时所述用户的左眼注视位置；
确定所述左眼注视位置和所述右眼注视位置中的哪一个更接近所述目标对象位置；以及
基于哪一个眼睛注视方向更接近所述目标对象的位置来分配用于所述目标对象位置周围的预定范围内的位置范围的眼睛优势。
148.如权利要求147所述的方法，进一步包括：使用所述显示器上的不同位置处的多个目标对象的序列来重复所述识别、确定和分配步骤，以及至少部分地基于用于所述显示器上的不同位置的眼睛优势分配的主导来分配用于所述显示器的区域的空间眼睛优势图。
149.一种用于使用检测器和显示器至少部分地基于用户眼睛的运动来确定注视方向以传达所述用户的意图的方法，包括：
通过所述检测器识别所述用户的眼睛何时指向出现在第一对象距离处的第一对象；
通过所述检测器识别所述用户的眼睛何时指向出现在不同于所述第一对象距离的第二对象距离处的在所述显示器上的第二目标；
使用所述显示器修改所述显示器上的所述第二目标的位置和大小中的一个或多个；
确认当由所述用户的眼睛观看时所述第一目标和所述第二目标看起来最大程度地重叠；以及
基于所述第一目标的位置和所述第二目标的位置来确定所述用户的眼睛的视轴。
150.如权利要求149所述的方法，其中，所述第一目标是所述显示器上的虚拟目标和物理目标中的一个。
151.如权利要求149所述的方法，其中，所述显示器是增强现实显示器、虚拟现实显示顺和混合现实显示器中的一个。
152.如权利要求149所述的方法，其中，对所述用户的左眼和右眼中的一者或两者计算所述视轴。
153.如权利要求149所述的方法，其中，使用所述用户的键盘、触摸屏、头部运动和口头命令中的一个或多个来执行修改所述显示器上的所述第二目标的位置和大小中的一个或多个。
154.一种用于使用检测器和显示器至少部分地基于设备用户的一只或两只眼睛的注视位置来在传输带宽内在显示器上显示图像的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述显示器上的注视位置；
基于所述注视位置来识别所述用户的视野内在所述显示器上的中心窝观看区域；
基于可视对象的数据库来识别作为与所述设备用户高度相关的对象的显示对象；以及
所述使用显示器来与所述用户的视野内的其余目标相比以高分辨率渲染作为所述中心窝视野和高相关性对象中的一个或多个的对象。
155.如权利要求154所述的方法，进一步包括：使用所述显示器相对于以高分辨率渲染的对象以低分辨率渲染在所述中心窝视野外和低相关性对象的对象，以节省在所述显示器上渲染对象的一个或多个处理器的带宽。
156.一种用于使用检测器和显示器至少部分地基于设备用户的一只或两只眼睛的注视位置在传输带宽内在显示器上显示图像是方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述显示器上的注视位置；
基于所述注视位置识别在所述注视位置周围的预定区域内在所述显示器上的中心窝观看区域；
基于所述中心窝观看区域外的所述用户的视场来识别所述显示器上的非中心窝观看区域；以及
使用所述显示器来以减少的颜色内容渲染所述非中心窝区域中的对象。
157.如权利要求156所述的方法，其中，以降低的分辨率渲染所述非中心窝区域中的对象。
158.如权利要求156所述的方法，其中，以减少的颜色内容渲染所述非中心窝区域中的对象，以节省在所述显示器上渲染所述对象的一个或多个处理器的带宽。
159.一种用于使用注视检测器和显示器至少部分地基于用户的一只或两只眼睛的注视位置在预定传输带宽内在显示器上显示图像的方法，包括：
通过所述注视检测器识别所述用户的一只或两只眼睛何时指向所述显示器上的注视位置；
基于所述注视位置识别所述用户的视场内的所述显示器上的高分辨率观看区域；
使用所述显示器来与在高分辨率观看区域外的所述用户的视场内的所述显示器上的其余对象相比以更高的分辨率渲染所述显示器上的高分辨率观看区域中的对象；以及
基于到达所述用户的一只或两只眼睛的光量来修改所述显示器上的所述高分辨率观看区域的大小和形状中的一个。
160.如权利要求159所述的方法，其中，使用光检测器测量到达所述用户的一只或两只眼睛的光量。
161.如权利要求160所述的方法，其中，所述光检测器是光电二极管和光电晶体管中的一个。
162.如权利要求160所述的方法，其中，到达所述用户的一只或两只眼睛的光量被限定在可见光谱的蓝-绿部分。
163.权利要求162的方法，其中，可见光谱的蓝-绿部分在400至550纳米的范围内。
164.如权利要求159所述的方法，其中，从所述显示器辐射的光量确定到达所述用户的一只或两只眼睛的光量。
165.如权利要求164所述的方法，其中，由所述显示器辐射的光量被限定到400至550纳米的波长范围。
166.如权利要求159所述的方法，其中，当到达所述用户的一只或两只眼睛的光量增加时，减小所述显示器上的所述高分辨率观看区域的大小。
167.一种用于使用检测器至少部分地基于用户的一只或两只眼睛的运动来测量眼睛注视以确定所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向相对于对象的参考位置的第一观看位置；
使用与所述对象相关联的显著性图基于相对于所述对象的参考位置的所述第一观看位置来确定第一加权因子；
通过所述检测器识别所述用户的一只或两只眼睛何时指向相对于所述对象的参考位置的第二观看位置；
使用与所述对象相关联的显著性图基于相对于所述对象的参考位置的所述第二观看位置来确定第二加权因子；以及
基于所述第一观看位置乘以所述第一加权因子和所述第二观看位置乘以所述第二加权因子来确定加权平均观看位置。
168.如权利要求167所述的方法，进一步包括：通过包括相对于所述对象的参考位置的一个或多个附加观看位置和相关联的加权因子来重新确定加权平均观看位置。
169.一种用于提供图形用户界面以使用检测器和显示器至少部分地基于用户的一只或两只眼睛的运动来传达所述用户的意图的方法，包括：
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述显示器上的第一位置；
通过所述检测器确认在距区域选择目标的位置的预定距离内完成所述用户的一只或两只眼睛从所述第一位置朝向所述区域选择目标的第一扫视；
通过所述检测器识别所述用户的一只或两只眼睛何时指向所述显示器上的第二位置；
通过所述检测器确认在距激活目标的位置的预定距离内完成所述用户的一只或两只眼睛从所述第二位置朝向激活目标的第二扫视；
基于投影到所述显示器上的对象来识别由具有在所述第一位置和所述第二位置处的角部的矩形区域界定的所有对象；以及
在由具有在所述第一位置和所述第二位置处的角部的矩形区域界定的在所述显示器上的所有目标上执行与所述激活目标相关的动作。
170.一种系统，包括用于执行前述方法中的任何一个的处理单元。
171.如权利要求170所述的系统，进一步包括检测器和显示器中的一个或两者，所述检测器和所述显示器可操作地耦接到所述处理单元以执行前述方法中的任何一个。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562205707P | 2015-08-15 | 2015-08-15 | |
| US62/205,707 | 2015-08-15 | ||
| US201562252347P | 2015-11-06 | 2015-11-06 | |
| US62/252,347 | 2015-11-06 | ||
| US201662319751P | 2016-04-07 | 2016-04-07 | |
| US62/319,751 | 2016-04-07 | ||
| PCT/US2016/047105 WO2017031089A1 (en) | 2015-08-15 | 2016-08-15 | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108351685A true CN108351685A (zh) | 2018-07-31 |
| CN108351685B CN108351685B (zh) | 2022-07-08 |
Family
ID=58051236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680031080.4A Active CN108351685B (zh) | 2015-08-15 | 2016-08-15 | 用于与真实和虚拟对象交互的基于生物力学的眼睛信号的系统和方法 |
Country Status (7)
| Country | Link |
|---|---|
| EP (1) | EP3335096B1 (zh) |
| JP (1) | JP6865175B2 (zh) |
| KR (1) | KR102196975B1 (zh) |
| CN (1) | CN108351685B (zh) |
| DE (1) | DE112016003719T5 (zh) |
| GB (1) | GB2561455B (zh) |
| WO (1) | WO2017031089A1 (zh) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109324417A (zh) * | 2018-12-13 | 2019-02-12 | 宜视智能科技（苏州）有限公司 | 助视器及其控制方法、计算机存储介质 |
| CN109799838A (zh) * | 2018-12-21 | 2019-05-24 | 金季春 | 一种训练方法和系统 |
| CN109917914A (zh) * | 2019-03-05 | 2019-06-21 | 河海大学常州校区 | 基于视野位置的交互界面分析与优化方法 |
| CN110399930A (zh) * | 2019-07-29 | 2019-11-01 | 北京七鑫易维信息技术有限公司 | 一种数据处理方法及系统 |
| CN110889872A (zh) * | 2018-09-11 | 2020-03-17 | 三星电子株式会社 | 在增强现实中显示虚拟对象的定位方法和装置 |
| CN111281762A (zh) * | 2018-12-07 | 2020-06-16 | 广州幻境科技有限公司 | 一种视力康复训练方法及系统 |
| CN111696113A (zh) * | 2019-03-14 | 2020-09-22 | 西门子医疗有限公司 | 用于监视生物过程的方法和系统 |
| CN111766939A (zh) * | 2019-03-15 | 2020-10-13 | 苹果公司 | 在光学透传显示器上的注意力方向 |
| CN111861900A (zh) * | 2020-06-05 | 2020-10-30 | 北京迈格威科技有限公司 | 视频抠像降噪方法和装置 |
| CN111930234A (zh) * | 2020-08-05 | 2020-11-13 | 西安闻泰电子科技有限公司 | 基于眼睛控制的输入方法、装置、电子设备及存储介质 |
| CN112005296A (zh) * | 2018-10-09 | 2020-11-27 | 惠普发展公司，有限责任合伙企业 | 利用机器学习来选择显示器 |
| CN112470467A (zh) * | 2018-08-20 | 2021-03-09 | 戴尔产品有限公司 | 头戴式设备(HMD)发现在并置虚拟、增强和混合现实(xR)中的应用 |
| CN112789578A (zh) * | 2018-09-28 | 2021-05-11 | 美国斯耐普公司 | 用于可穿戴或移动设备上的姿势、穿戴、活动或携带检测的神经网络系统 |
| CN112868068A (zh) * | 2018-10-17 | 2021-05-28 | 谷歌有限责任公司 | 使用利用其它模式训练的机器学习模型处理眼底相机图像 |
| CN112906346A (zh) * | 2021-02-09 | 2021-06-04 | 江苏徐工工程机械研究院有限公司 | 一种工程机械显示器字符大小设计系统及方法 |
| CN112952838A (zh) * | 2021-01-29 | 2021-06-11 | 中国电力科学研究院有限公司 | 一种基于眼动设备的潮流智能分析方法及装置 |
| CN113268044A (zh) * | 2020-02-14 | 2021-08-17 | 罗克韦尔自动化技术公司 | 增强现实人机接口的仿真系统和测试方法及介质 |
| CN113891674A (zh) * | 2019-05-31 | 2022-01-04 | 依视路国际公司 | 双眼验光仪器、一组测试图像、双眼验光方法及其相关联的计算机程序 |
| CN113924520A (zh) * | 2019-05-30 | 2022-01-11 | 京瓷株式会社 | 平视显示器系统以及移动体 |
| CN114115230A (zh) * | 2021-10-25 | 2022-03-01 | 武汉理工大学 | 人机协同的船舶远程驾驶控制方法、系统、装置及介质 |
| CN114265543A (zh) * | 2021-12-29 | 2022-04-01 | 神思电子技术股份有限公司 | 一种虚拟数字人视线追随交互方法 |
| CN114420131A (zh) * | 2022-03-16 | 2022-04-29 | 云天智能信息(深圳)有限公司 | 低弱视力智能语音辅助识别系统 |
| CN114556270A (zh) * | 2019-10-17 | 2022-05-27 | 微软技术许可有限责任公司 | 放大用户界面的眼睛注视控制 |
| CN114930112A (zh) * | 2019-12-17 | 2022-08-19 | 约翰考克利尔防御股份公司 | 用于控制战斗车辆炮塔功能的智能系统 |
| CN115686292A (zh) * | 2023-01-03 | 2023-02-03 | 京东方艺云(杭州)科技有限公司 | 一种信息显示的方法、装置、电子设备及存储介质 |
| US12061845B2 (en) | 2019-11-11 | 2024-08-13 | Rockwell Automation Technologies, Inc. | Creation of a digital twin from a mechanical model |
Families Citing this family (64)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10895917B2 (en) | 2011-03-12 | 2021-01-19 | Uday Parshionikar | Multipurpose controllers and methods |
| US10884493B2 (en) | 2013-06-20 | 2021-01-05 | Uday Parshionikar | Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions |
| US10489577B2 (en) * | 2016-08-11 | 2019-11-26 | Onenigma LLC | Identifying one or more users based on typing pattern and/or behavior |
| US10627900B2 (en) | 2017-03-23 | 2020-04-21 | Google Llc | Eye-signal augmented control |
| US10216260B2 (en) * | 2017-03-27 | 2019-02-26 | Microsoft Technology Licensing, Llc | Selective rendering of sparse peripheral displays based on element saliency |
| GB2561852A (en) * | 2017-04-25 | 2018-10-31 | Bae Systems Plc | Watercraft |
| US11312458B2 (en) | 2017-04-25 | 2022-04-26 | Bae Systems Plc | Watercraft |
| GB2561882A (en) * | 2017-04-27 | 2018-10-31 | Nokia Technologies Oy | Virtual reality viewport adaption |
| EP3631567B1 (en) | 2017-05-31 | 2022-09-21 | Magic Leap, Inc. | Eye tracking calibration techniques |
| GB2563276B (en) | 2017-06-09 | 2021-12-01 | Advanced Risc Mach Ltd | Virtual reality systems |
| EP3660636A4 (en) * | 2017-07-27 | 2020-07-08 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
| WO2019040665A1 (en) | 2017-08-23 | 2019-02-28 | Neurable Inc. | BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS |
| EP4325278A3 (en) | 2017-09-29 | 2024-05-15 | Apple Inc. | Gaze-based user interactions |
| CN109697000B (zh) * | 2017-10-24 | 2022-09-16 | 阿里巴巴集团控股有限公司 | 资源分配方法及相关设备、显示方法及相关设备 |
| US10484530B2 (en) | 2017-11-07 | 2019-11-19 | Google Llc | Sensor based component activation |
| EP3710915A4 (en) | 2017-11-13 | 2021-08-11 | Neurable Inc. | BRAIN-COMPUTER INTERFACE WITH ADAPTATIONS FOR HIGH-SPEED, ACCURATE AND INTUITIVE USER INTERACTIONS |
| US20190150727A1 (en) * | 2017-11-14 | 2019-05-23 | Vivid Vision, Inc. | Systems and methods for vision assessment |
| EP3716220B1 (en) * | 2017-11-20 | 2024-02-21 | Rakuten Group, Inc. | Information processing device, information processing method, and information processing program |
| IL311263A (en) | 2017-12-14 | 2024-05-01 | Magic Leap Inc | Context-based processing of virtual characters |
| CN111712192B (zh) | 2018-01-18 | 2024-07-02 | 神经股份有限公司 | 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口 |
| WO2019144196A1 (en) * | 2018-01-25 | 2019-08-01 | Psykinetic Pty Ltd | Eye-typing method, system and computer readable medium |
| FR3077900B1 (fr) | 2018-02-12 | 2020-01-17 | Thales | Vision peripherique dans une interface homme-machine |
| WO2019217081A1 (en) | 2018-05-09 | 2019-11-14 | Apple Inc. | Selecting a text input field using eye gaze |
| US11604661B2 (en) * | 2018-06-03 | 2023-03-14 | Apple Inc. | Determining relevant information based on third party information and user interactions |
| CN112005282A (zh) * | 2018-06-20 | 2020-11-27 | 惠普发展公司，有限责任合伙企业 | 混合现实设备的警报 |
| WO2019245543A1 (en) | 2018-06-20 | 2019-12-26 | Hewlett-Packard Development Company, L.P. | Alerts of mixed reality devices |
| DE102018210824B4 (de) * | 2018-07-02 | 2023-02-09 | Audi Ag | Verfahren und System zur Ausleuchtung eines Bereichs in einer Umgebung eines Fahrzeugs |
| US10616565B2 (en) * | 2018-08-21 | 2020-04-07 | The Boeing Company | System and method for foveated simulation |
| US10664050B2 (en) * | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
| US11514602B2 (en) | 2018-12-25 | 2022-11-29 | Samsung Electronics Co., Ltd. | Method and apparatus for gaze estimation |
| KR102237659B1 (ko) * | 2019-02-21 | 2021-04-08 | 한국과학기술원 | 입력 방법 및 이를 수행하는 장치들 |
| JP7215246B2 (ja) | 2019-03-08 | 2023-01-31 | 株式会社Ｊｖｃケンウッド | 表示装置、表示方法、及び表示プログラム |
| WO2020209171A1 (ja) * | 2019-04-09 | 2020-10-15 | オムロン株式会社 | 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム |
| JP2020173787A (ja) * | 2019-04-09 | 2020-10-22 | オムロン株式会社 | 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム |
| US11228810B1 (en) | 2019-04-22 | 2022-01-18 | Matan Arazi | System, method, and program product for interactively prompting user decisions |
| US10997773B2 (en) * | 2019-06-13 | 2021-05-04 | Facebook Technologies, Llc | Dynamic tiling for foveated rendering |
| US10976816B2 (en) | 2019-06-25 | 2021-04-13 | Microsoft Technology Licensing, Llc | Using eye tracking to hide virtual reality scene changes in plain sight |
| US10901502B2 (en) * | 2019-06-27 | 2021-01-26 | Facebook, Inc. | Reducing head mounted display power consumption and heat generation through predictive rendering of content |
| KR102313622B1 (ko) | 2019-08-21 | 2021-10-19 | 한국과학기술연구원 | 생체신호 기반 아바타 제어시스템 및 방법 |
| CN110703916B (zh) * | 2019-09-30 | 2023-05-09 | 恒信东方文化股份有限公司 | 一种三维建模方法及其系统 |
| CA3058447A1 (en) * | 2019-10-10 | 2021-04-10 | Spacecard Inc. | A system for generating and displaying interactive mixed-reality video on mobile devices |
| KR102128894B1 (ko) * | 2019-10-10 | 2020-07-01 | 주식회사 메디씽큐 | 스마트 안경의 시선 트래킹 시스템 및 그 방법 |
| CN110956082B (zh) * | 2019-10-17 | 2023-03-24 | 江苏科技大学 | 基于深度学习的人脸关键点检测方法和检测系统 |
| TWI734259B (zh) * | 2019-11-14 | 2021-07-21 | 雲想科技股份有限公司 | 電子簽章認證裝置及其方法 |
| US11176637B2 (en) | 2019-12-03 | 2021-11-16 | Facebook Technologies, Llc | Foveated rendering using eye motion |
| KR102668753B1 (ko) * | 2019-12-31 | 2024-05-23 | 엘지전자 주식회사 | Xr 컨텐트 제공 방법 및 xr 컨텐트 제공 디바이스 |
| CN111443796B (zh) * | 2020-03-10 | 2023-04-28 | 维沃移动通信有限公司 | 一种信息处理方法及装置 |
| WO2021194487A1 (en) * | 2020-03-25 | 2021-09-30 | Hewlett-Packard Development Company, L.P. | Head-related transfer functions with antropometric measurements |
| DE102020210173A1 (de) | 2020-08-11 | 2022-02-17 | Volkswagen Aktiengesellschaft | Verfahren sowie System zur Unterstützung eines Fahrers eines Fahrzeuges bei Engstellen in einem Fahrweg des Fahrzeuges |
| KR102495213B1 (ko) * | 2020-11-05 | 2023-02-07 | 한국전자통신연구원 | 증강 현실 기반의 스크린 스포츠 체험 장치 및 방법 |
| WO2022132151A1 (en) * | 2020-12-17 | 2022-06-23 | Google Llc | Automatically enhancing streaming media using content transformation |
| CA3206042A1 (en) | 2021-01-22 | 2022-07-28 | Sarah Nancy STAAB | Visual data management system and method |
| US11769134B2 (en) * | 2021-03-22 | 2023-09-26 | International Business Machines Corporation | Multi-user interactive ad shopping using wearable device gestures |
| US20240362796A1 (en) * | 2021-06-18 | 2024-10-31 | Hewlett-Packard Development Company, L.P. | Image analysis to switch audio devices |
| US20230030433A1 (en) * | 2021-07-27 | 2023-02-02 | App-Pop-Up Inc. | System and method for adding and simultaneously displaying auxiliary content to main content displayed via a graphical user interface (gui) |
| KR102655829B1 (ko) * | 2021-11-08 | 2024-04-08 | 엄태경 | 자세 교정용 모니터 및 이의 조절 방법 |
| EP4445241A1 (en) * | 2021-12-07 | 2024-10-16 | Ericsson | Rendering of virtual keyboards in virtual environments |
| CN114265501B (zh) * | 2021-12-22 | 2024-01-26 | 南京紫金体育产业股份有限公司 | 一种运动场景动态识别系统 |
| JP2023115808A (ja) | 2022-02-08 | 2023-08-21 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、および記録媒体 |
| US11620000B1 (en) * | 2022-03-31 | 2023-04-04 | Microsoft Technology Licensing, Llc | Controlled invocation of a precision input mode |
| EP4258085A1 (de) * | 2022-04-04 | 2023-10-11 | Deutsche Telekom AG | Steuerung eines cursors bei der nutzung virtueller bildschirme |
| WO2024110779A1 (en) * | 2022-11-24 | 2024-05-30 | Viewpointsystem Gmbh | Method for triggering actions in the metaverse or virtual worlds |
| EP4421614A1 (en) * | 2023-02-27 | 2024-08-28 | Bayerische Motoren Werke Aktiengesellschaft | Data processing device and method for providing a video to a passenger of a vehicle |
| CN117632330B (zh) * | 2023-10-12 | 2024-07-16 | 浙江大学 | 一种虚拟环境下眼控界面的交互目标布局方法和系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5844544A (en) * | 1994-06-17 | 1998-12-01 | H. K. Eyecan Ltd. | Visual communications apparatus employing eye-position monitoring |
| CN101466305A (zh) * | 2006-06-11 | 2009-06-24 | 沃尔沃技术公司 | 用于确定和分析视觉兴趣位置的方法与装置 |
| CN101690165A (zh) * | 2007-02-02 | 2010-03-31 | 百诺克公司 | 尤其用于拍照的基于无意识的眼睛信号的控制方法 |
| CN102981601A (zh) * | 2011-05-26 | 2013-03-20 | 通用汽车有限责任公司 | 基于超过眼睛扫视指导线的可能性的人机界面（hmi）自动引导 |
| CN103631365A (zh) * | 2012-08-22 | 2014-03-12 | 中国移动通信集团公司 | 一种终端输入控制方法及装置 |
| CN103988149A (zh) * | 2011-12-14 | 2014-08-13 | 英特尔公司 | 注视激活的内容传输系统 |
| US20140380230A1 (en) * | 2013-06-25 | 2014-12-25 | Morgan Kolya Venable | Selecting user interface elements via position signal |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4737040A (en) * | 1985-02-15 | 1988-04-12 | Moon Tag Y | Keyboard device and method for entering Japanese language text utilizing Romaji character notation |
| US7438414B2 (en) * | 2005-07-28 | 2008-10-21 | Outland Research, Llc | Gaze discriminating electronic control apparatus, system, method and computer program product |
| US8120577B2 (en) * | 2005-10-28 | 2012-02-21 | Tobii Technology Ab | Eye tracker with visual feedback |
| JP4411387B2 (ja) * | 2007-08-07 | 2010-02-10 | 学校法人 大阪電気通信大学 | 動体検出装置、動体検出方法、ポインティングデバイス、コンピュータプログラム及び記憶媒体 |
| US20120105486A1 (en) * | 2009-04-09 | 2012-05-03 | Dynavox Systems Llc | Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods |
| US9213405B2 (en) * | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
| US8885877B2 (en) * | 2011-05-20 | 2014-11-11 | Eyefluence, Inc. | Systems and methods for identifying gaze tracking scene reference locations |
| KR101850035B1 (ko) * | 2012-05-02 | 2018-04-20 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| EP2847648A4 (en) * | 2012-05-09 | 2016-03-02 | Intel Corp | EYE PERSONALIZED SELECTIVE STRESSING OF PARTS OF AN INDICATION |
| US8917238B2 (en) * | 2012-06-28 | 2014-12-23 | Microsoft Corporation | Eye-typing term recognition |
| US9176581B2 (en) * | 2012-09-28 | 2015-11-03 | Intel Corporation | System and method for inferring user intent based on eye movement during observation of a display screen |
| KR20140073730A (ko) * | 2012-12-06 | 2014-06-17 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기 제어방법 |
| WO2014098798A1 (en) * | 2012-12-17 | 2014-06-26 | Empire Technology Development, Llc | Progressively triggered auto-fill |
| EP2962175B1 (en) * | 2013-03-01 | 2019-05-01 | Tobii AB | Delay warp gaze interaction |
| EP3057508B1 (en) * | 2013-10-17 | 2020-11-04 | Children's Healthcare Of Atlanta, Inc. | Methods for assessing infant and child development via eye tracking |
| KR20160109443A (ko) * | 2015-03-11 | 2016-09-21 | 주식회사 비주얼캠프 | 시선 추적을 이용한 디스플레이 장치 및 방법 |
| KR101857466B1 (ko) * | 2017-06-16 | 2018-05-15 | 주식회사 비주얼캠프 | 헤드 마운트 디스플레이 및 그 캘리브레이션 방법 |
-
2016
- 2016-08-15 GB GB1803620.2A patent/GB2561455B/en active Active
- 2016-08-15 EP EP16837677.0A patent/EP3335096B1/en active Active
- 2016-08-15 KR KR1020177031497A patent/KR102196975B1/ko active IP Right Grant
- 2016-08-15 WO PCT/US2016/047105 patent/WO2017031089A1/en active Application Filing
- 2016-08-15 CN CN201680031080.4A patent/CN108351685B/zh active Active
- 2016-08-15 JP JP2017556858A patent/JP6865175B2/ja active Active
- 2016-08-15 DE DE112016003719.8T patent/DE112016003719T5/de not_active Ceased
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5844544A (en) * | 1994-06-17 | 1998-12-01 | H. K. Eyecan Ltd. | Visual communications apparatus employing eye-position monitoring |
| CN101466305A (zh) * | 2006-06-11 | 2009-06-24 | 沃尔沃技术公司 | 用于确定和分析视觉兴趣位置的方法与装置 |
| CN101690165A (zh) * | 2007-02-02 | 2010-03-31 | 百诺克公司 | 尤其用于拍照的基于无意识的眼睛信号的控制方法 |
| CN102981601A (zh) * | 2011-05-26 | 2013-03-20 | 通用汽车有限责任公司 | 基于超过眼睛扫视指导线的可能性的人机界面（hmi）自动引导 |
| CN103988149A (zh) * | 2011-12-14 | 2014-08-13 | 英特尔公司 | 注视激活的内容传输系统 |
| CN103631365A (zh) * | 2012-08-22 | 2014-03-12 | 中国移动通信集团公司 | 一种终端输入控制方法及装置 |
| US20140380230A1 (en) * | 2013-06-25 | 2014-12-25 | Morgan Kolya Venable | Selecting user interface elements via position signal |
Cited By (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112470467B (zh) * | 2018-08-20 | 2023-02-24 | 戴尔产品有限公司 | 头戴式设备(HMD)发现在并置虚拟、增强和混合现实(xR)中的应用 |
| CN112470467A (zh) * | 2018-08-20 | 2021-03-09 | 戴尔产品有限公司 | 头戴式设备(HMD)发现在并置虚拟、增强和混合现实(xR)中的应用 |
| CN110889872A (zh) * | 2018-09-11 | 2020-03-17 | 三星电子株式会社 | 在增强现实中显示虚拟对象的定位方法和装置 |
| CN112789578A (zh) * | 2018-09-28 | 2021-05-11 | 美国斯耐普公司 | 用于可穿戴或移动设备上的姿势、穿戴、活动或携带检测的神经网络系统 |
| US11989475B2 (en) | 2018-10-09 | 2024-05-21 | Hewlett-Packard Development Company, L.P. | Selecting a display with machine learning |
| CN112005296A (zh) * | 2018-10-09 | 2020-11-27 | 惠普发展公司，有限责任合伙企业 | 利用机器学习来选择显示器 |
| CN112868068B (zh) * | 2018-10-17 | 2024-05-10 | 谷歌有限责任公司 | 使用利用其它模式训练的机器学习模型处理眼底相机图像 |
| CN112868068A (zh) * | 2018-10-17 | 2021-05-28 | 谷歌有限责任公司 | 使用利用其它模式训练的机器学习模型处理眼底相机图像 |
| US11894125B2 (en) | 2018-10-17 | 2024-02-06 | Google Llc | Processing fundus camera images using machine learning models trained using other modalities |
| CN111281762A (zh) * | 2018-12-07 | 2020-06-16 | 广州幻境科技有限公司 | 一种视力康复训练方法及系统 |
| CN109324417A (zh) * | 2018-12-13 | 2019-02-12 | 宜视智能科技（苏州）有限公司 | 助视器及其控制方法、计算机存储介质 |
| CN109799838A (zh) * | 2018-12-21 | 2019-05-24 | 金季春 | 一种训练方法和系统 |
| CN109917914A (zh) * | 2019-03-05 | 2019-06-21 | 河海大学常州校区 | 基于视野位置的交互界面分析与优化方法 |
| CN111696113B (zh) * | 2019-03-14 | 2023-11-21 | 西门子医疗有限公司 | 用于监视生物过程的方法和系统 |
| CN111696113A (zh) * | 2019-03-14 | 2020-09-22 | 西门子医疗有限公司 | 用于监视生物过程的方法和系统 |
| CN111766939A (zh) * | 2019-03-15 | 2020-10-13 | 苹果公司 | 在光学透传显示器上的注意力方向 |
| CN113924520A (zh) * | 2019-05-30 | 2022-01-11 | 京瓷株式会社 | 平视显示器系统以及移动体 |
| CN113891674A (zh) * | 2019-05-31 | 2022-01-04 | 依视路国际公司 | 双眼验光仪器、一组测试图像、双眼验光方法及其相关联的计算机程序 |
| CN110399930B (zh) * | 2019-07-29 | 2021-09-03 | 北京七鑫易维信息技术有限公司 | 一种数据处理方法及系统 |
| CN110399930A (zh) * | 2019-07-29 | 2019-11-01 | 北京七鑫易维信息技术有限公司 | 一种数据处理方法及系统 |
| CN114556270A (zh) * | 2019-10-17 | 2022-05-27 | 微软技术许可有限责任公司 | 放大用户界面的眼睛注视控制 |
| CN114556270B (zh) * | 2019-10-17 | 2024-05-24 | 微软技术许可有限责任公司 | 放大用户界面的眼睛注视控制 |
| US12061845B2 (en) | 2019-11-11 | 2024-08-13 | Rockwell Automation Technologies, Inc. | Creation of a digital twin from a mechanical model |
| CN114930112A (zh) * | 2019-12-17 | 2022-08-19 | 约翰考克利尔防御股份公司 | 用于控制战斗车辆炮塔功能的智能系统 |
| CN114930112B (zh) * | 2019-12-17 | 2024-05-28 | 约翰考克利尔防御股份公司 | 用于控制战斗车辆炮塔功能的智能系统 |
| CN113268044A (zh) * | 2020-02-14 | 2021-08-17 | 罗克韦尔自动化技术公司 | 增强现实人机接口的仿真系统和测试方法及介质 |
| CN113268044B (zh) * | 2020-02-14 | 2024-01-16 | 罗克韦尔自动化技术公司 | 增强现实人机接口的仿真系统和测试方法及介质 |
| CN111861900A (zh) * | 2020-06-05 | 2020-10-30 | 北京迈格威科技有限公司 | 视频抠像降噪方法和装置 |
| CN111930234A (zh) * | 2020-08-05 | 2020-11-13 | 西安闻泰电子科技有限公司 | 基于眼睛控制的输入方法、装置、电子设备及存储介质 |
| CN112952838B (zh) * | 2021-01-29 | 2023-08-11 | 中国电力科学研究院有限公司 | 一种基于眼动设备的潮流智能分析方法及装置 |
| CN112952838A (zh) * | 2021-01-29 | 2021-06-11 | 中国电力科学研究院有限公司 | 一种基于眼动设备的潮流智能分析方法及装置 |
| CN112906346B (zh) * | 2021-02-09 | 2023-07-04 | 江苏徐工工程机械研究院有限公司 | 一种工程机械显示器字符大小设计系统及方法 |
| CN112906346A (zh) * | 2021-02-09 | 2021-06-04 | 江苏徐工工程机械研究院有限公司 | 一种工程机械显示器字符大小设计系统及方法 |
| CN114115230B (zh) * | 2021-10-25 | 2023-10-03 | 武汉理工大学 | 人机协同的船舶远程驾驶控制方法、系统、装置及介质 |
| CN114115230A (zh) * | 2021-10-25 | 2022-03-01 | 武汉理工大学 | 人机协同的船舶远程驾驶控制方法、系统、装置及介质 |
| CN114265543A (zh) * | 2021-12-29 | 2022-04-01 | 神思电子技术股份有限公司 | 一种虚拟数字人视线追随交互方法 |
| CN114265543B (zh) * | 2021-12-29 | 2024-08-02 | 神思电子技术股份有限公司 | 一种虚拟数字人视线追随交互方法 |
| CN114420131B (zh) * | 2022-03-16 | 2022-05-31 | 云天智能信息(深圳)有限公司 | 低弱视力智能语音辅助识别系统 |
| CN114420131A (zh) * | 2022-03-16 | 2022-04-29 | 云天智能信息(深圳)有限公司 | 低弱视力智能语音辅助识别系统 |
| CN115686292B (zh) * | 2023-01-03 | 2023-07-25 | 京东方艺云(杭州)科技有限公司 | 一种信息显示的方法、装置、电子设备及存储介质 |
| CN115686292A (zh) * | 2023-01-03 | 2023-02-03 | 京东方艺云(杭州)科技有限公司 | 一种信息显示的方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108351685B (zh) | 2022-07-08 |
| KR20180083252A (ko) | 2018-07-20 |
| EP3335096A4 (en) | 2019-03-06 |
| GB2561455A (en) | 2018-10-17 |
| EP3335096A1 (en) | 2018-06-20 |
| WO2017031089A1 (en) | 2017-02-23 |
| GB201803620D0 (en) | 2018-04-18 |
| DE112016003719T5 (de) | 2018-05-09 |
| JP2018530798A (ja) | 2018-10-18 |
| EP3335096B1 (en) | 2022-10-05 |
| KR102196975B1 (ko) | 2020-12-30 |
| JP6865175B2 (ja) | 2021-04-28 |
| GB2561455B (en) | 2022-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108351685B (zh) | 用于与真实和虚拟对象交互的基于生物力学的眼睛信号的系统和方法 | |
| US10564714B2 (en) | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects | |
| CN112507799B (zh) | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 | |
| US11410392B2 (en) | Information display in augmented reality systems | |
| US10620700B2 (en) | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects | |
| US20230145049A1 (en) | Virtual sharing of physical notebook | |
| US11768909B2 (en) | Systems and methods for providing accessible search results | |
| TWI570622B (zh) | 用個人化虛擬資料更新列印內容的方法、系統與處理器可讀非暫態儲存裝置 | |
| CN103064512A (zh) | 用虚拟数据使静态打印内容成为动态 | |
| US20240061547A1 (en) | Devices, Methods, and Graphical User Interfaces for Improving Accessibility of Interactions with Three-Dimensional Environments | |
| US20240220009A1 (en) | Gazed based interactions with three-dimensional environments | |
| US20240152256A1 (en) | Devices, Methods, and Graphical User Interfaces for Tabbed Browsing in Three-Dimensional Environments | |
| US20240103676A1 (en) | Methods for interacting with user interfaces based on attention | |
| May et al. | Using film cutting techniques in interface design | |
| US20230259265A1 (en) | Devices, methods, and graphical user interfaces for navigating and inputting or revising content | |
| Schubert et al. | Intuitive User Interfaces for Real-Time Magnification in Augmented Reality | |
| Derby | Designing Tomorrow's Reality: The Development and Validation of an Augmented and Mixed Reality Heuristic Checklist | |
| Ma | Design of Mobile App Interactive Interface Based on 3D Image Vision | |
| Ding | User-generated vocabularies on Assistive/Access Technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |