KR102173699B1 - 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 - Google Patents
안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 Download PDFInfo
- Publication number
- KR102173699B1 KR102173699B1 KR1020167034652A KR20167034652A KR102173699B1 KR 102173699 B1 KR102173699 B1 KR 102173699B1 KR 1020167034652 A KR1020167034652 A KR 1020167034652A KR 20167034652 A KR20167034652 A KR 20167034652A KR 102173699 B1 KR102173699 B1 KR 102173699B1
- Authority
- KR
- South Korea
- Prior art keywords
- delete delete
- iris
- user
- images
- eye
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 156
- 210000001508 eye Anatomy 0.000 claims abstract description 150
- 230000009471 action Effects 0.000 claims description 37
- 239000002131 composite material Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 40
- 238000005259 measurement Methods 0.000 abstract description 14
- 230000006870 function Effects 0.000 abstract description 13
- 238000012795 verification Methods 0.000 abstract description 13
- 230000003542 behavioural effect Effects 0.000 abstract description 10
- 238000012937 correction Methods 0.000 abstract description 4
- 210000000554 iris Anatomy 0.000 description 158
- 230000008569 process Effects 0.000 description 50
- 238000004891 communication Methods 0.000 description 28
- 238000012360 testing method Methods 0.000 description 23
- 230000005540 biological transmission Effects 0.000 description 21
- 210000001747 pupil Anatomy 0.000 description 19
- 210000000744 eyelid Anatomy 0.000 description 17
- 230000001815 facial effect Effects 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 14
- 230000003993 interaction Effects 0.000 description 14
- 230000004044 response Effects 0.000 description 13
- 210000003786 sclera Anatomy 0.000 description 12
- 230000002996 emotional effect Effects 0.000 description 11
- 210000000720 eyelash Anatomy 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 230000006399 behavior Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 210000005252 bulbus oculi Anatomy 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000004424 eye movement Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 238000005286 illumination Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 230000001149 cognitive effect Effects 0.000 description 7
- 230000008451 emotion Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 6
- 210000000887 face Anatomy 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000002085 persistent effect Effects 0.000 description 6
- 230000011664 signaling Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 230000008602 contraction Effects 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000000977 initiatory effect Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000012384 transportation and delivery Methods 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000013475 authorization Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000010339 dilation Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000001973 epigenetic effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000001711 saccadic effect Effects 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 230000002269 spontaneous effect Effects 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 208000013715 atelosteogenesis type I Diseases 0.000 description 2
- 239000011449 brick Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000002565 electrocardiography Methods 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 238000002567 electromyography Methods 0.000 description 2
- 230000006397 emotional response Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000012010 growth Effects 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 208000016339 iris pattern Diseases 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004459 microsaccades Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004570 mortar (masonry) Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000006461 physiological response Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000003491 skin Anatomy 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 210000005166 vasculature Anatomy 0.000 description 2
- 201000009487 Amblyopia Diseases 0.000 description 1
- 208000002177 Cataract Diseases 0.000 description 1
- 206010012335 Dependence Diseases 0.000 description 1
- 208000032538 Depersonalisation Diseases 0.000 description 1
- 208000027534 Emotional disease Diseases 0.000 description 1
- 208000001692 Esotropia Diseases 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 201000002154 Pterygium Diseases 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000006998 cognitive state Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 210000000795 conjunctiva Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- 238000012553 document review Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000004446 light reflex Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 238000000968 medical method and process Methods 0.000 description 1
- 230000006993 memory improvement Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000002159 nanocrystal Substances 0.000 description 1
- 230000003472 neutralizing effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 208000019899 phobic disease Diseases 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 230000019612 pigmentation Effects 0.000 description 1
- 201000004768 pinguecula Diseases 0.000 description 1
- 208000028173 post-traumatic stress disease Diseases 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000002106 pulse oximetry Methods 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000009131 signaling function Effects 0.000 description 1
- 230000005586 smoking cessation Effects 0.000 description 1
- 238000012358 sourcing Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 210000005070 sphincter Anatomy 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
- 230000004580 weight loss Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G06K9/00597—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/06—Authentication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/06—Authentication
- H04W12/065—Continuous authentication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/30—Security of mobile devices; Security of mobile applications
- H04W12/33—Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Graphics (AREA)
- Bioethics (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
- Eye Examination Apparatus (AREA)
- Image Input (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
Abstract
안구 신호를 실시간으로 이용하여 개인에 대한 실질적으로 지속적인 생체 인증(substantially continuous biometric identification: CBID)을 제공하기 위한 장치들, 시스템들 및 방법들이 제공된다. 상기 장치는 착용가능한 컴퓨팅 디바이스 내에 포함되며, 여기서 하나의 눈 또는 2개의 눈들을 향해 지향된 하나 이상의 카메라들을 이용한 홍채 인식에 기초하여 및/또는 다른 생리학적, 해부학적 및/또는 거동적 측정들에 기초하여, 디바이스 착용자의 신원확인이 수행된다. 디바이스 사용자 신원의 검증은 보안 정보의 디스플레이를 가능 혹은 불가능하게 하는데 이용될 수 있다. 또한, 신원 검증은 원격 프로세싱 유닛들에 의한 적절한 보안 측정들을 판별하기 위하여 디바이스로부터 전송되는 정보 내에 포함될 수 있다. 상기 장치는 시야 보정, 헤드-마운트된 디스플레이, 장면 카메라(들)을 이용하여 주변 환경을 보기, 마이크로폰을 통한 오디오 데이터 녹음 및/또는 다른 감지 장비를 포함하는 다른 기능들을 수행하는 착용가능한 컴퓨팅 디바이스에 통합될 수 있다.
Description
일반적으로, 본 발명은 실질적으로 지속적인 생체 인증(continuous biometric identification: CBID), 안구 추적(eye-tracking), 및 개인에 의한 실시간 안구-신호 제어(eye-signal control)를 위한 시스템들 및 방법들에 관한 발명이다. CBID는 생체측정-기반의 인증, 암호화, 및 사이버 보안 분야에 속한 기술들을 이용하며, 그리고 눈에 띄지 않는(unobtrusive) 프로세서(들) 내에서 구현되는데, 눈에 띄지 않는 프로세서(들)은 머리-장착 디스플레이(head-mounted display), 원격 디스플레이, 안구 추적 카메라들, 디바이스 착용자의 주변환경을 보여주는 장면 카메라(scene camera), 및/또는 다른 웨어러블 센서들에 관련될 수 있다. CBID는, 시스템 오브 시스템(SoS) 아키텍처 내에서 홍채 코드 판별 단계, 다른 생체 피처들의 식별 단계, 그리고 네트워크 디바이스들과의 보안 인터페이스들을 이용하여, 디바이스 사용자의 신원을 고의적으로 왜곡하는 시도들 및 부주의한 신원 도난과 관련된 보안 문제점들을 해결할 수 있다.
인터넷 및 컴퓨팅/통신 디바이스들의 광범위한 사용은 정보의 전자적인 보급에 있어서 폭발적인 성장을 가져왔다. 하지만, 보안 정보의 수신인(들)에 대한 검증가능한 제어는, 사이버 보안 분야에서 중대한 문제점을 남기고 있다. 또한, 정보의 수신인들은 민감한 정보의 소스들이 또한 될 수 있는데, 여기서는 이러한 소스의 신원에 대한 실시간 지식이 중요한 보안 이슈가 될 수 있다. 이러한 상황의 일례는, 온라인 구매를 수행하는 프로세스 동안, 신용카드 정보(또는 계좌 정보)를 입력하는 개인의 신원에 대한 지식이다. 보안 정보의 수신인들 혹은 소스들을 원격으로 식별하는데 통상적으로 이용되는 오늘날의 기술들은 속임수(deception)에 매우 취약하다. 미국에서, 신원 도용은 매년 대략 1500만 명의 개인에게 영향을 미치며, 추정되는 금융 충격은 500억불에 달한다.
인터넷으로부터 정보를 수신하는 컴퓨터 또는 텔레커뮤니케이션 디바이스는 소위 IP(즉, 인터넷 프로토콜) 어드레스 및/또는 중앙 처리 유닛들(CPU) 또는 펌웨어 내에 통상적으로 내장되는 식별 코드들에 의해서 식별되는 것이 일반적이다. 비록, IP 어드레스들 및/또는 내장된 디바이스 신원이, 정보를 수신 혹은 전송하는 장치를 식별하는데 이용될 수 있지만, IP 어드레스는 디바이스의 사용자(들)을 검증가능하게 식별하지 못한다.
디바이스를 개인 사용자와 관련시키고자 하는 체계들은 통상적으로, 패스워드들, 보안 질문들, 및/또는 이력 레코드("트랙커" 또는 "쿠키" 등의 용어들에 의해서 참조됨)를 채용한다. 하지만, 이러한 체계들은 예컨, 사용자가 일단 "로그인" 했으면, 용이하게 회피될 수 있다. 이것은, 디바이스가 분실 혹은 도난되는 경우 또는 정보의 의도된 수신인 이외의 다른 사람에 의해서 디바이스에 대한 액세스가 획득되는 경우에는, 매우 중요한 문제가 될 수 있다. 또한, 체계들은 진정한 신원 및/또는 특정한 머신의 IP 및/또는 하드웨어 내장된 어드레스를 마스킹 혹은 숨기도록 존재한다.
사용자의 신원을 검증하고자 하는 가장 통상적인 사이버 보안 방법들은 패스워드들 및/또는 보안 질문들을 채용한다. 일단, 패스워드가 입력되거나 및/또는 보안 질문들이 답변되면, 사용자들을 바꾸는 것이 가능하며, 이는 보안 체계의 역할을 무력화시킨다. 또한, 패스워드들을 부정하게 획득하거나 및/또는 보안 질문들에 부정하게 답변하는데 채용될 수 있는 매우 많은 수의 방법들이 존재한다. 이들 부정한 방법들은, 패스워드 입력 동안에 키스트로크들을 가로채거나; 가족 이름들, 장소들, 애완동물들, 또는 간단한 문자숫자 배열, 등의 인자들에 기초하여 패스워드를 추측하거나(guess); 패킷들이 인터넷을 통해 전송될 때 패킷들 내에 포함된 정보를 해독하거나(퍼블릭, 무선 전송은 특히나 취약한 액세스 포인트이다); 통상적으로 사용되는 일련의 패스워드들을 이용한 자동화된 시퀀싱(automated sequencing); 내포된 악성코드(malware)를 통한 패스워드의 획득; 패스워드 입력을 요구하는 합법적인 웹 사이트인 척하는 것(posing); 그리고 소위 피싱사기(phishing)의 다른 형태들을 포함할 수 있다.
사용자 인증을 위한 생체측정 체계들(biometric schemes)은, 개인을 고유하게 식별할 수 있는 머신-기반의 방법으로서 점점 더 보편화되고 있다. 생체 인증(biometric identification)은 개인마다 고유한 신체적, 유전적, 생리학적(physiological), 및/또는 행동적(behavioral) 속성들을 감지하는 것을 포함한다. 실질적으로 지속적인(substantially continuous), 실시간 생체 인증은, 고속의, 비-침입적(non-intrusive), 및 비-침투적(non-invasive)인 기법을 요구한다.
생체 인증 기술의 일례로서, 미국등록특허 US 8,432,252호는, 개인을 식별하기 위하여 손가락을 시각적으로 스캔하고 그리고 지문의 인식에 기초하여 보안 통신을 가능케하거나 중단시키는 디바이스를 기술한다. 손가락 스캔에 기초하는 인증 기술들을 이용하는 많은 특허들이 미국등록특허 US 8,432,252호의 출원인에게 허여되었다. 자동 안면 인식, 음성 인식, 및 서명 인식은 또 다른 생체 인식 방법들의 기초이다. 하지만, 일반적으로 이들 기법들은 눈에 띄지 않는(unobtrusive) 방식으로 실질적으로 지속적인 사용자 인증을 제공하지 않으며 그리고 보안 피처들을 무력화시키는 상대적으로 간단한 방법들에 취약하다.
예를 들어, 대부분의 경우에 있어서, 이러한 생체측정 디바이스들은 스캔할 때에 개인을 긍정적으로(positively) 식별할 수 있다. 하지만, 이에 후속하여 별도의 개인이 보안 정보를 수신하거나 또는 보안 정보의 소스가 되는 것이 가능하다. 심지어, 스캔 시에도, 보안 정보를 디스플레이 및/또는 입력하는데 이용되는 디바이스들은 사용자 인증을 위한 사용자들에게 직접 접속되지 않는 것이 일반적이다. 예를 들어, 별개의 개인이 키보드 입력들을 수행하고 있는 동안에, 자동 안면 인식이 행해질 수 있다. 사용자의 진정한 신원을 무력화시키는 이들 상대적으로 간단한 방법들은, 그 또는 그녀의 신원을 고의적으로 숨기거나 혹은 전송하기 위하여 생체측정적으로 인증되었던 개인에게 잠재적인 이득이 있는 경우에 특히 문제가 된다.
정보의 수신인이 진정한 신원을 고의적으로 위장하기를 원할 수 있는 상황의 일례는, 온라인 학업 시험들(online scholastic examinations)의 원격 관리이다. 이 경우, 시험 성적의 최종적인 수신인이 모든 보안 과제들을 해결하고, 반면에 별도의 개인이 실제 시험 문제들을 풀 수도 있다. 대학원 입학시험(Graduate Record Examination: GRE), 경영대학원 입학시험(Graduate Management Admissions Test: GMAT), 의과대학원 입학시험(Medical College Admissions Test: MCAT), 및 다른 전문적인 승진 시험들의 관리 동안에, 복잡한 신원 스와핑 제도들(sophisticated identity swapping schemes)이 정기적으로 보고된다. 학업 및 다른 형태들의 시험의 원격 관리와 관련된 보안 문제들은, 점점 더 중요해질 것이라 예측되는데, 이는 교육 및 다른 지식-기반 서비스 제공자들이 온라인 공개 수업(Massive Open Online Course: MOOC), 원격 교육(distance-learning), 및 평가 포맷(assessment formats)을 사용하는 쪽으로 점점 더 많이 이동하고 있기 때문이다.
홍채 인식은 현재 가장 안전한 생체 인증 기술들 중 하나로 간주된다. 홍채는 후생적 형질 피처(epigenetic phenotypic feature)인 미세한 구조를 보여주며, 이는 배아 임신(embryonic gestation) 동안에 랜덤 요소로 성장된다. 따라서, DNA 지문과 달리, 유전적으로 똑같은 쌍둥이(인구의 대략 1% 임)일지라도, 완전하게 고유한 홍채 색소들(iris pigments) 및 구조들을 갖는다. 홍채의 후생적 성질의 또 다른 증거는, 비록 사람의 우측 및 좌측(유전적으로 동일함) 눈들이 유사한 구조 및 색상을 갖고 있는 것처럼 보이지만, 개인의 좌우측 눈의 세부 조직(textural detail)은 명확히 구별된다라는 점이다.
비록, 홍채가 비-침투적(non-invasively)으로 보여질 수 있지만, 이것은 양호하게 보호되는 기관(즉, 안구) 내에 존재하며, 지문과 달리, 일반적으로 손상 및 마모로부터 보호된다. 안구 내의 미세 구조 및 색소를 바꿀 수 있는 몇몇 의료 방법들이 존재하기는 하지만, 홍채 조직은 일반적으로 수 십년의 시간이 지나도 놀랍만큼 안정적으로 남아있는다(예컨대, 얼굴 피처들과는 달리).
존 더그먼(John Daugman)은 캠브리지 대학에 있었을 때 홍채 인식 알고리즘을 처음 개발하였다. 오늘날 이용되고 있는 상업적으로 개발된 대부분의 홍채 인식 시스템들은, 더그먼의 알고리즘을 이용한다(예컨대, 미국 등록특허 US 5,291,560)에 개시된 바와 같이). 상업적으로 이용가능한 홍채 인식 시스템들(예컨대, Iris ID Systems Inc., BI2 Technologies, IrisGuard Inc., Eyelock Corp.)은 일반적으로 휴대용 또는 받침대에 장착된 디바이스들을 이용하며 그리고 홍채와 카메라 사이에서 10cm 에서 최대 수 미터까지의 거리에서 작동한다.
더그만은, 실시간 비디오 조건들을 이용하여 수집된 홍채 이미지들에 기초하는 2 차원 가버 웨이블릿(Gabor wavelet)(즉, 짧게 샘플링된 프리에 변환의 특별한 케이스) 계수들을 개발 및 적용하였다. 데카르트 좌표(Cartesian coordinates) 기반의 이미지들을 극 좌표로 변환하고 그리고 2-D 가버 필터들(Gabor filters)을 작은 영역들에 적용함으로써, 복소수 내적(complex dot product)이 계산되는데, 이는 주로 위상 각도를 반영한다. 전체 광 진폭에 대한 민감도 부족(즉, 이미지 휘도, 콘트라스트, 등등)은 비디오 레코딩 조건들을의 변동들을 무시하는데 도움을 준다.
서로 다른 영역들로부터의 내적들의 최상위 비트들(most significant bits)은 소위 홍채의 코드로 조합되는바, 이하에서는 "홍채코드(irisCode)"로 지칭한다. 대부분의 통상적으로 구현되는 홍채코드는 각각의 영역으로부터 2 비트를 사용하여 2048 비트(즉, 256 바이트) 값을 생성하는데, 이는 수 백만명들 중에서 고유한 개인을 식별할 수 있다. 홍채코드들을 계산하는 알고리즘들은 CPU-기반 디바이스들 내의 소프트웨어 및 하드웨어 내장된 펌웨어 둘다로서 코딩된다.
오늘날, 홍채 패턴에 기초한 식별을 위해 170개 나라의 6천만명 이상의 개인이 등록되어 있다. 인도 정부는, 10억명 이상인 전체 인구의 홍채 스캔 및 지문을 현재 기록하고 있다. 이러한 기술들을 활용하고 있는 회사들 및 정부 기구들은, IBM, 파나소닉, LG, 사노프(Sarnoff), 런던 히드로 공항(버밍험 공항, 개트윅 공항, 맨체스터 공항도), IrisAccess(대한민국), IrisPass (일본), CanPass (캐나다 넥서스 시스템), 아프간 송환 프로그램(Afghan repatriation program), 및 미국 국방부의 억류자 관리 프로그램(United States Department of Defense detainee population management program)을 포함한다.
홍채는, 2개의 대향하는 근육들(괄약근 돌기 및 확장근 돌기)의 수축에 의해서만 변경되는 잘-정의된 기하학적 형상을 가지며, 상기 2개의 근육들은 동공의 지름을 제어한다. 따라서, 이러한 균일성 및 안정성은, 통상적인 이미지 품질을 이용하고, 그리고 머리 기울기 및 움직임에 대한 대비를 포함하여, 109.6 분의 1 (즉, 40억 분의 1) 이라는 전례없이 낮은 오류 매치율(false match rate)을 보여준다.
비록, 본 발명에 대한 최상의 이해는 본 명세서를 숙독함으로써 얻어질 것이지만, 본 요약은 본 발명에 따른 시스템들 및 방법들의 몇몇 신규하고 유용한 피처들을 독자들이 숙지할 수 있게하기 위한 것이다. 물론, 본 요약은 본 명세서의 시스템들 및 방법들의 모든 피처들의 완벽한 설명이 될 것으로 의도된 것이 아닐 뿐만 아니라, 본 출원의 발명의 상세한 설명 말미에 제시되는 청구범위를 임의의 방식으로 제한하고자 의도된 것도 아니다.
일실시예에 따르면, 적어도 하나의 이미저(imager)에 연결된 적어도 하나의 프로세서를 포함하는 헤드 마운트된 디바이스를 위한 장치들, 시스템들, 및 방법들이 제공되는바, 여기서 하나 이상의 이미저들은 사용자의 눈의 향해 지향되고, 프로세서는 실질적으로, 지속적으로, 동시적으로, 및/또는 주기적으로 눈 시선 평가를 결정하도록 구성되며, 상기 이미저는 눈의 하나 이상의 특징있는 피처들을 검출하고; 사용자의 안면 피처들, 음성 혹은 홍채 데이터를 포함하는 사용자의 생체측정 데이터를 판별하며, 여기서 생체측정 데이터는 적어도 헤드 마운트된 디바이스, 연결된 디바이스, 무선 디바이스 및 원격 서버의 액세스 및 제어를 위하여 사용자의 식별 및 인증을 위해 이용된다.
다른 실시예에 따르면, 디바이스 사용자의 실질적으로 지속적인 생체 인증(CBID)을 위한 장치들, 시스템들 및 방법들이 제공된다. 상기 장치는 실질적으로 눈에 띄지않게 헤드기어 상에 마운트될 수 있으며, 상기 장치는 통상적인 안경 프레임들 내에 내장 혹은 부착되거나 또는 소위 구글 글래스(구글의 등록상표)로 알려진 것들과 같은 웨어러블 컴퓨팅 디바이스 내에 배치된다. 보다 상세하게는, 예시적인 실시예는 디바이스 착용자의 하나 이상의 홍채들을 조명할 수 있는(바람직하다면) 하나 이상의 조명 소스들, 디바이스 착용자의 하나 이상의 안구들을 보도록 직접 지향된 하나 이상의 마이크로-카메라들, 광 투과 매커니즘 혹은 반사 시스템, 및 프로세싱 유닛을 포함하며, 프로세싱 유닛은 1) 디바이스 착용자의 신원을 판별하도록 눈의 이미지들을 분석하고; 및/또는 2) 눈의 이미지들을 디바이스 착용자의 신원을 판별하는 다른 프로세싱 유닛으로 전송한다.
본 명세서에서, 컴퓨팅 디바이스와 상호작용하도록 의도되는 자발적인 눈의 움직임들은 "안구 신호(eye signals)"라 지칭된다.
또한, 생체 인증 정보(예컨대, 홍채코드) 및 CBID와 관련된 모든 정보는 보안성을 갖도록 전송되어야만 하며, 통신 단계들은 헤드셋 디바이스와의 무선 통신들을 포함할 수 있다. CBID 기반의 통신들은 2015년 5월 9일자로 출원되고 발명의 명칭이 "Systems and Methods for Using Eye Signals with Secure Mobile Communications" 인 미국 출원(출원번호 14/708,229)에 개시된 방식으로 보안성있게 수행된다.
제 1 실시예에 따르면, 실질적으로, 지속적으로, 주기적으로, 및/또는 요청에 따라 웨어러블 디바이스를 이용하여 홍채 인식을 수행하는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 헤드 마운트된 디바이스를 착용한 사용자의 진정한 신원을 확립할 수 있는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 거동적 생체측정을 통해 사용자의 진정한 신원을 확립할 수 있는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 장치들, 시스템들 및 방법들이 제공되는바, 이는 토큰이 필요없는 보안을 위한 용이하고, 간단하고, 및/또는 직관적인 방법들 및 시스템들을 사용자에게 제공하는데, 토큰은 적어도 하나의 패스워드 및 물리적 디바이스를 포함하고, 물리적 디바이스는 크레디트 카드, 키 폽(key fob), 혹은 다른 물리적 토큰을 포함한다.
다른 실시예에 따르면, 디바이스 착용자의 검증된 생체 인증이 있는 경우에만 안구 신호들이 수행되는 것을 허용하는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 사용자 신원 사기 및 신원 절도를 방지할 수 있는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 장치들, 시스템들 및 방법들이 제공되는바, 이는 단일 사용자, 다수의 사용자들, 및 웨어러블 디바이스의 모든 사용자들에 의한 무제한 액세스 중 적어도 하나를 위해 디바이스 보안의 다중 레벨들을 확립하는 필터들을 이용한다.
다른 실시예에 따르면, 장치들, 시스템들 및 방법들이 제공되는바, 이는 교육적 목적, 법적 목적, 라이센싱 목적, 및 서비스들의 배달 목적 중 적어도 하나를 위해 사용자들을 인증하도록 헤드 마운트된 디바이스를 사용한다.
다른 실시예에 따르면, 장치들, 시스템들 및 방법들이 제공되는바, 이는 보안 룸, 제한 구역, 자동차, 비행기, 및 선박 중 적어도 하나에 대한 액세스를 허용하기 위해 사용자들을 인증하도록 헤드 마운트된 디바이스를 이용한다
다른 실시예에 따르면, 장치들, 시스템들 및 방법들이 제공되는바, 여기서는 디바이스 착용자에 의해서 보여지고 인지되는 실제 및 가상 객체 둘다의 이미지들이, 후속 참조를 위해, 퍼스널 증가 메모리(personal augmented memory: PAM) 형태로서 저장 혹은 태그될 수 있다.
다른 실시예에 따르면, 문서 혹은 데이터의 소스를 검증될 수 있게 주석첨가하도록(verifiably annotate) 헤드 마운트된 디바이스를 사용하는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 문서들 혹은 데이터가 식별된 개인에 의해서 검사되었음 또는 핸들링되었음을 검증될 수 있게 주석첨가하도록 헤드 마운트된 디바이스를 사용하는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 실제 혹은 가상 객체가 식별된 개인에 의해서 검사되었음 또는 핸들링되었음을 검증될 수 있게 주석첨가하도록 헤드 마운트된 디바이스를 사용하는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 쓰기(wiriting), 시그니처, 또는 다른 손으로 쓴 정보가 식별된 개인에 의해서 생성, 수정, 혹은 리뷰되었음을 검증될 수 있게 주석첨가하도록 헤드 마운트된 디바이스를 사용하는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 식별된 개인이 말하였음 또는 청각 정보를 청취했음을 검증될 수 있게 주석첨가하도록 헤드 마운트된 디바이스를 사용하는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 객체에 대한 응시 및 헤드 마운트된 디바이스에 의해서 인지가능한 일부 물리적 액션들을 포함하는 행위를 식별된 개인이 수행하였음을 검증될 수 있게 주석첨가하도록 헤드 마운트된 디바이스를 사용하는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 감금된, 가석방된(parole), 보호관찰된(probation), 금지 명령(restraining order)을 받은, 또는 법원에 의해서 거동이 부과된, 식별된 개인의 행위들, 거동, 수행, 혹은 생체측정을 검증될 수 있게 모니터링, 제한, 제어, 혹은 임팩팅하기 위한 목적으로 헤드 마운트된 디바이스를 사용하는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 그 당시에 혹은 일정 기간 동안 알콜, 마약, 혹은 다른 물질의 영향을 받은 의심받는 개인의 중독 상태를 검증가능하게 평가할 목적으로 헤드 마운트된 디바이스를 사용하는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 테스팅, 처치, 또는 약 혹은 다른 처방의 연구를 위한 감독되는 의료 행위에 참가한 식별된 개인의 생체측정 반응 혹은 다른 측정들을 검증가능하게 주석첨가하도록 헤드 마운트된 디바이스를 사용하는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 구매의 인증을 위한 목적으로 헤드 마운트된 디바이스를 사용하는 장치들, 시스템들 및 방법들이 제공되는바, 여기서 인증된 구매는 온-라인 구매 보안을 위한 것 및 오프-라인 구매 보안을 위한 것이며, 여기서 오프-라인은 소매점(retail establishment) 또는 객체가 구입되기를 원하는 임의의 위치를 포함한다.
다른 실시예에 따르면, 식별된 개인 이외의 다른 그 어떤 개인에게는 데이터를 보는 것이 허용되지 않도록 헤드 마운트된 디바이스를 사용하는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 장치들, 시스템들 및 방법들이 제공되는바, 이는 외부로 지향된 프로세서에 연결된 제 2 이미저를 포함하는 헤드 마운트된 디바이스를 사용하며, 상기 제 2 이미저는 프로세서에 의해서 디코딩될 수 있는 코드를 검출하고, 상기 코드는 바코드 및 QR 코드 중 하나이며, 프로세서는 제품에 관한 정보를 나타내는 데이터를 디코딩한다.
다른 실시예에 따르면, 장치들, 시스템들 및 방법들이 제공되는바, 이는 외부로 지향된 프로세서에 연결된 제 2 이미저를 포함하는 헤드 마운트된 디바이스를 사용하며, 상기 제 2 이미저는 이미지 인식을 이용하여 상기 프로세서에 의해서 식별될 수 있는 객체를 검출하고, 그리고 상기 프로세서는 제품에 대한 정보를 제시한다.
다른 실시예에 따르면, 장치들, 시스템들 및 방법들이 제공되는바, 이는 인증된 사용자가 제품을 보안성있게 구매하는 것을 허용하도록 제품에 관한 정보를 이용한다.
다른 실시예에 따르면, 장치들, 시스템들 및 방법들이 제공되는바, 여기서 식별된 디바이스 착용자에 의해서 실제로 보여지는 모니터의 영역 내의 정보는 (실시간으로) 높은 공간적 해상도로 디스플레이되거나 높은 시간적 빈도들(temporal frequencies) 업데이트될 수 있는 반면에, 주변 영역들(즉, 디바이스 착용자에 의해서 보여지지 않는 영역들)은 낮은 공간적 해상도로 디스플레이되고 그리고 낮은 빈도로 업데이트될 수 있다.
다른 실시예에 따르면, 장치들, 시스템들 및 방법들이 제공되는바, 여기서 식별된 디바이스 착용자에 의해서 실제로 보여지는 모니터의 영역 내의 정보가 (실시간으로) 더 높은 공간적 해상도로 디스플레이되고 및/또는 낮은 공간적 해상도에서 디스플레이되고 및/또는 낮은 빈도로 업데이트되는 주변 영역들(즉, 디바이스 착용자에 의해서 보여지지 않는) 보다 더 높은 시간적 빈도들로 업데이트 될 때, 낮은 해상도 영역들 내의 특정 영역 혹은 영역들 또는 특정 객체 혹은 객체들은 낮은 공간적 해상도 영역들 보다 더 높은 공간적 해상도로 디스플레이되거나 및/또는 더 높은 빈도들로 업데이트될 수 있다. 예를 들어, 눈과 같은 안면 피처들은, 고-해상도의 포베이트 렌더링(foveated rendering) 동안에 포빌 영역(foveal area) 외부로 렌더링될 때, 더 높은 해상도로 표시될 수 있다.
다른 실시예에 따르면, 상호 응시에 의해서 일 엔티티가 다른 엔티티와 보안 통신 채널을 시작할 수 있게 하는 장치들, 시스템들 및 방법들이 제공되는바, 여기서 통신 채널의 보안성은 통신 이전에 확립될 수 있으며 그리고 통신 동안에 지속적으로 혹은 간헐적으로 재검증될 수 있다.
다른 실시예에 따르면, 액션이 일어나게 야기하도록 당사자들 간의 조화를 위한 보안 프로토콜들을 가능케하는 장치들, 시스템들 및 방법들이 제공되는바, 이에 따라 각 당사자는 그들의 신원들이 CBID로 지속적으로 검증되고 있는 시간 동안에 소정 액션을 수행한다.
다른 실시예에 따르면, 선택된 정보를 상호 응시에 기초하여 교환하고자 하는 하나 이상의 식별된 개인들의 바램에 대하여 개인에게 경보하는 장치들, 시스템들 및 방법들이 제공된다.
다른 실시예에 따르면, 장치들, 시스템들 및 방법들이 제공되는바, 이는 장면 카메라 데이터 및/또는 오디오 데이터와 일시적으로 결부된 응시 데이터의 프라이버시를 유지하는 보안 수단을 가능케한다.
본 명세서에 제공된 장치들, 시스템들 및 방법들의 양상들 및 어플리케이션들은 다음의 도면들 및 예시적인 실시예들의 상세한 설명에서 서술된다.
본 발명에 대한 보다 완벽한 이해는 다음의 예시적인 도면들과 함께 고려될 때 발명의 상세한 설명을 참조함에 의해서 얻어질 수 있다. 도면들에서, 유사한 참조 번호들은 유사한 구성요소들 혹은 행위들을 나타낸다. 현재 예시적인 실시예들은 도면들을 참조하여 설명된다.
도1은 디바이스의 착용자를 식별하기 위한 시스템의 예시적인 실시예의 기초 요소들에 대한 도면이다.
도2는 디바이스 착용자의 신원을 판별하는데 이용되는 예시적인 단계들을 보여준다.
도3은 디바이스 착용자 식별 상태를 실질적으로 지속적으로 유도하는데 이용되는 예시적인 논리를 보여주는 순서도이다.
도4는 디바이스 착용자 신원에 기초하여 보안 정보를 뷰잉 및 생성을 제어하기 위한 회로의 일실시예에 대한 도면이다.
도5는 단일 홍채에서 다수의 조명 소스들 및 다수의 카메라 포인팅의 위치들의 일례를 예시한 투시도이다.
도6은 멀티-카메라 이미징 시스템의 일실시예를 도시한다.
도7은 네트워크와 헤드웨어(headwear) 통신하는 일례를 도시한다.
도8은 온라인, 보안 구매를 수행하기 위한 예시적인 단계들의 순서도이다.
도9a 및 도9b는 헤드 장착형 디스플레이를 예시하며, 여기서 도9b는 시야 방패(sight shield)를 예시하며, 이는 디바이스 착용자 이외의 누군가가 디스플레이의 내용을 보는 것을 방지한다.
도1은 디바이스의 착용자를 식별하기 위한 시스템의 예시적인 실시예의 기초 요소들에 대한 도면이다.
도2는 디바이스 착용자의 신원을 판별하는데 이용되는 예시적인 단계들을 보여준다.
도3은 디바이스 착용자 식별 상태를 실질적으로 지속적으로 유도하는데 이용되는 예시적인 논리를 보여주는 순서도이다.
도4는 디바이스 착용자 신원에 기초하여 보안 정보를 뷰잉 및 생성을 제어하기 위한 회로의 일실시예에 대한 도면이다.
도5는 단일 홍채에서 다수의 조명 소스들 및 다수의 카메라 포인팅의 위치들의 일례를 예시한 투시도이다.
도6은 멀티-카메라 이미징 시스템의 일실시예를 도시한다.
도7은 네트워크와 헤드웨어(headwear) 통신하는 일례를 도시한다.
도8은 온라인, 보안 구매를 수행하기 위한 예시적인 단계들의 순서도이다.
도9a 및 도9b는 헤드 장착형 디스플레이를 예시하며, 여기서 도9b는 시야 방패(sight shield)를 예시하며, 이는 디바이스 착용자 이외의 누군가가 디스플레이의 내용을 보는 것을 방지한다.
다음의 상세한 설명에서는, 설명을 위한 목적으로, 많은 세부 내용들이 서술되는데, 이는 예시적인 실시예들의 다양한 양상들의 대한 철저한 이해를 제공하기 위한 것이다. 하지만, 해당 기술분야의 당업자라면, 상기 장치들, 시스템들, 및 방법들은 이들 특정 세부 내용들이 없이도 실시될 수도 있음을 이해할 것이다. 또한, 다른 실시예들도 이용될 수 있으며 그리고 본 명세서의 장치들, 시스템들, 및 방법들의 범위를 벗어남이 없이도 구조적인 및 기능적인 변경들이 가해질 수도 있다. 다른 일례들에서는, 예시적인 실시예들을 애매하게 만드는 것을 회피하기 위하여, 공지된 구조들 및 디바이스들이 보다 일반적으로 도시 또는 논의된다. 많은 경우들에 있어서, 동작 설명은 당업자가 다양한 형태들을 구현할 수 있을 정도로 충분하며, 특히 동작이 소프트웨어에서 구현되는 경우에 그러하다. 다음을 유의해야 하는 바, 개시된 실시예들이 적용될 수 있는 수 많은 서로 다른 및 대안적인 구성들, 디바이스들 및 기술들이 존재한다. 실시예들의 전체 범위는 다음에 서술되는 일례들만으로 한정되지 않는다.
예시된 실시예들의 다음의 일례들에서, 명세서의 일부를 구성하는 첨부된 도면들이 참조되며, 본 명세서에서는 다양한 실시예들이 일례로서 예시된다.
홍채 인식 시스템(Iris Recognition System)
오늘날 대부분의 홍채 인식 시스템은 홍채와 카메라 사이에서 10cm 에서 20cm까지의 거리 범위에서 동작한다(3 내지 10미터까지의 먼 거리를 목표로 연구들이 진행되고 있음). 본 발명의 시스템은 눈에 띄지 않는(unobtrusive) 헤드웨어와 관련된 대략 20 내지 30 밀리미터(20-30 mm)의 상대적으로 짧은 거리에서 홍채 인식을 실질적으로 지속적으로 수행할 수 있다.
이러한 짧은 거리들에 대해, 일반적인 이미지 해상도는 적절한 조명이 있다면 현재의 상업적인 홍채 인식 디바이스들에 의해서 이용되는 거리들에서 기록된 이미지 품질과 대등하거나 또는 이들 뛰어넘을 수 있다. 하지만, 실질적인 스큐(skew)를 포함하는 공간 수차(spatial aberrations)가, 마이크로-렌즈 및/또는 홍채-추적 마이크로-카메라들에 부착된 다른 광학기기들에 의해서 생성될 수 있다. 공간 수차는, 홍채 및 안구 영역 내의 다른 구조들의 이미지들을 왜곡할 수 있다.
공간 수차는 "타겟"(즉, 의도된 수신인에 속한다라는 확인)과 디바이스-사용자 인증 홍채코드 둘다를 계산하는 짧은 초점거리 플랫폼(short focal distance platform)을 사용함으로써, 홍채 인식 알고리즘 내에서 처리될 수 있다. 이것은, 이들이 비교될 때 홍채코드들 사이에서 일관성을 유지한다.
홍채 인식은 또한, 홍채의 축 상의 이미지들(on-axis images of iris)(즉, 안구 표면에 수직하게 보여지며 그리고 홍채 및/또는 동공에 중점을 둔 이미지)을 획득할 수 있는 능력에 의존한다. 여러 각도들(즉, 오프-축:off-axis)에서 보았을 때, 홍채의 피처들은 왜곡될 수 있으며 따라서 정보의 손실을 야기할 수 있다. 이것은 카메라가 눈에 띄지 않게(unobtrusive) 배치되며 그리고 헤드웨어 내에서 안구에 매우 가깝게 배치되는 둘다인 경우, 특히 문제가 될 수 있다. 안구의 정상적인 움직임 동안, 홍채는 눈에 띄지 않는(unobtrusive) 카메라의 시야 각도에 관하여 축을 벗어나(off-axis) 이동할 수 있으며, 이는 홍채코드들을 생성할 수 있는 능력의 손실을 야기할 수 있는데, 홍채코드들은 타겟 홍채코드와 매우 엄격한 기준으로 비교될 수 있다.
이러한 상황을 취급하기 위한 예시적인 실시예들에서, 시스템은 덜 엄격한 홍채 인식과 결합된 온-축 모드(on-axis mode)에서 홍채가 보여질 수 있는 경우 높은 엄격성(high stringency)의 홍채 인식을 사용할 수 있으며 및/또는 카메라에 의해 보여지는 방향에 대하여 홍채가 오프-축으로 포인팅되는 경우 상기 영역 내의 안구의 다른 구조들의 피처 인식을 사용할 수 있다.
오프-축 기간들 동안에 추적되는 피처들은 다음에 보다 상세히 서술되지만, 공막(sclera)의 형상, 공막 내의 혈관들의 패턴들 및 위치들, 눈꺼풀의 형상들 및/또는 속눈썹들의 위치들을 포함할 수 있다. 홍채와 달리, 이들 피처들은 일생 동안에 변할 수 있다. 하지만, 이러한 피처들은 디바이스를 착용하는 하나의 세션의 시간 경과에 대해서는 심각하게 변하지 않는다.
따라서, 정상 동작 동안, 디바이스를 초기에 착용하고 그리고 그 이후에 적어도 주기적으로 고-엄격성의 홍채코드를 등록하도록 사용자는 카메라쪽으로 곧바로 직시할 수 있다. 원하는 보안 레벨에 따라, 정확도 및 가버(Gabor) 계수들 뿐만 아니라 차이점 혹은 해밍 거리의 측정(즉, 동일한 거리인 2개의 벡터들 0s 및 1s 사이의 차이에 대한 측정)이 넓은 범위의 엄격함들로 조절될 수 있다. 고-엄격성 홍채코드들을 이용한 등록들 사이의 시간들에서, 실질적으로 지속적인 사용자 신원을 보장하기 위하여, 안구 영역 내의 및 주위의 피처들이 추적된다. 이와 유사하게, 디바이스의 착용자의 신원을 알고 있을 때의 이미지들과 비교되는, 안구 주위의 기록된 피처들의 이미지들 내에서의 매치 정도를 위한 임계값이, 원하는 보안 레벨에 따라 조절될 수 있다.
예를 들어 국가에 입국할 때 개인을 식별(또는 추방)하기 위해 이용되는 상업적으로 이용가능한 시스템들과 비교하여, 본 발명의 시스템은 다음의 의문을 해결할 수 있다: 임의의 소정 시간에서, 헤드웨어를 착용한 개인의 홍채의 특징들이, 하나의(즉, 타겟) 개인의 홍채에 대한 가버 계수-기반의 묘사와 매칭되는가? 기술적으로는, 이것은, 수 백만개의 홍채 패턴들을 보유한 데이터 베이스 내에서 홍채 이미지가 매칭하는지 혹은 매치를 제공하지 않는지를 증명하는 것보다 훨씬 덜 어려울 수 있다.
CBID 시스템은 헤드웨어 내에서 구현될 수 있는데, 헤드웨어는 머리-장착형 디스플레이, 안구-추적, 및/또는 디바이스의 착용자의 환경을 보여주는 하나 이상의 장면 카메라들을 포함한다. 장면(scene) 카메라들은 "장면" 정보를 캡춰하는 센서들을 포함할 수 있으며, 장면 정보는 가령, RF 또는 IR 파장에서의 에너지와 같이, 그렇지 않으면 착용자에 의해서 알아볼 수 없을 것이다. 헤드웨어는 또한 다른 센서들 가령, 마이크로폰, 가속도계, 터치 패드, 주변 빛 검출기, 갈바닉 피부 센서, 써모미터(thermometer), 펄스 산소농도계(pulse oximeter), 뇌파 검사장치(electroencephalograph: EEG), 근전도 검사장치(electromyograph: EMG)), 심전도 검사장치(electrocardiography: EKG), 심박 변화율 감지 로컬 헤드웨어 포지셔닝 시스템(heart rate variability (HRV) sensing local headwear positioning system), 글로벌 포지셔닝 시스템(GPS), 및/또는 구조적인 완전성(structural integrity) 및/또는 헤드웨어 디바이스의 성능을 측정하는 전자 부품들을 포함할 수 있다. 이러한 착용가능한 센서들로부터 실질적으로 지속적으로 획득된 데이터는 사용자 식별 코드들로 태그될 수 있는데, 이는 정보 소스의 긍정적인 식별을 보장하기 위한 것이다.
지속적인 생체 인증(Continuous Biometric Identification: CBID)
도1은 CBID 시스템(100)의 요소들의 예시적인 실시예를 보여주며, 이는 홍채 조명 소스들(130, 135, 140), 홍채(115) 및/또는 안구의 다른 피처들을 보도록 지향된 카메라(125), 및 프로세싱 유닛(165)을 포함한다. 해부학적으로, 홍채(115)는 동공(145)을 둘러싸며, 그리고 그 자신은 공막(150)(sclera) 또는 혈관들 및 다른 식별가능한 마커들을 포함하는 안구의 백색 영역에 의해 둘러싸인다. 주기적으로, 눈꺼풀들(105, 110)은 눈 깜박임 동안 또는 자발적인 눈 감음 동안에 홍채(115) 및 공막(150)의 시야를 방해한다.
프로세싱 유닛(165)은 홍채코드들 및/또는 안구의 이미지들을 생성할 수 있으며 그리고 통신 링크(155)를 통해 보안 정보의 소스 및/또는 수신기인(또는 기능적으로 연결된) 원격 프로세싱 유닛(160)으로 전송할 수 있다. 헤드웨어 디바이스(600)(도5) 상에 마운트된 프로세싱 유닛(165)과 원격 프로세싱 유닛(160) 사이의 통신 링크(155)를 통한 전송들은 암호화될 수 있으며 그리고 유선 및 무선 전송 방법들(155) 둘다의 조합을 채용할 수 있다. 실질적으로 지속적인 긍정적인(positive) 식별의 존재 혹은 부존재에 따라, 원격 프로세싱 유닛(160)은 보안 정보의 프로세싱 및/또는 전송을 허용하거나 숨기기 위한 단계들을 수행할 수 있다.
조명 소스들(130, 135, 140)은 적외선 또는 근적외선 LED 또는 유기 LED(OLED)일 수 있다. 조명 소스들(130, 135, 140)의 강도는, US 8,890,946에 개시된 바와 같이, 카메라(125)의 시야 내에서 감지되는 타겟 휘도 레벨들에 기초하여 제어될 있다.
마이크로-카메라(125)는 전하결합소자(CCD) 또는 상보적 금속 산화물 반도체(CMOS) 기술들에 기초하여 전자기 방사의 감지를 포함할 수 있는바, 이하에서는 이미저(imager)라 지칭한다. 마이크로-렌즈(120)는 안구의 영역으로부터의 전자기 방사를 카메라(125)의 감지 영역 상에 포커싱한다.
프로세싱 유닛(165)은 필드-프로그램어블 게이트 어레이(FPGA), 마이크로컴퓨터, 마이크로콘트롤러, 주문형 반도체(ASIC) 또는 다른 컴퓨팅 디바이스가 될 수 있다. 프로세싱 유닛(165)은 단일 디바이스가 될 수 있으며 또는 프로세싱 기능들은 개별 물리적 디바이스들의 조립체에 의해서 수행될 수도 있다.
도2는 디바이스 사용자를 식별하는 단계들의 예시적인 실시예를 도시한다. 홍채(115)의 영역을 포함하는 이미지(200)는, 해당 기술분야에 공지된 소위 "프레임 그래빙(frame grabbing)" 기법들을 이용하여 디지털화된다(프로세스 205). 디지털화된 이미지(200) 내의 가장 큰 검은 영역의 위치에 기초하여 및/또는 동공(145)과 홍채(115) 사이의 경계(250)에 대한 수학적인 표현들의 중심을 식별함으로써, 동공(145)의 중심이 판별된다(프로세스 210). 동공(145)의 검은 영역과 홍채의 덜 검은, 대리석 색깔(marbled) 영역 사이의 천이에 기초하여, 홍채의 내부 에지(250)가 판별될 수 있다(프로세스 215). 홍채(115)는 대략적으로 원형이라는 해부학적 지식과 함께, 홍채(115)의 대리석 색깔 또는 구조화된 영역과 공막(sclera)(150)의 흰색 영역 사이에서의 천이에 기초하여, 홍채의 외부 에지(즉, 각막윤부:limbus)(245)가 판별된다(프로세스 215). 일반적으로, 홍채(115)의 내부 에지(250) 및 외부 에지(245)는, 동공(145)의 중심에서 안구의 표면에 수직이 아닌 각도들로부터 보여질 때, 카메라 이미지들(200)에서 타원형으로 보일 수 있다. 따라서, 홍채(115)의 내부 및 외부 에지(250, 245)에 대해서 추적된 일반적인 형상들은 대략적으로 타원형이다. 홍채코드들의 상세한 구성은, 홍채(115)의 원 모양으로부터의 전형적인 편차들을 해결해야만 한다(특히, 홍채와 공막(245) 사이의 경계).
다음으로, 홍채(115)의 내부 에지(250)와 외부 에지(245) 사이에 위치한 상기 이미지(200) 내의 픽셀들에게 가버 변환 계산(Gabor transformation calculation )(프로세스 220)이 적용된다. 다음으로, 가버 변환의 계수들은 소위 "홍채코드"로 조립되는바(프로세스 225), 여기서 가장 통상적으로 이용되는 2048-비트 홍채코드는, 홍채(115)의 각 영역에서의 가버 변환 계산들의 2개의 최상위 비트들로부터 조립된다. 몇몇 경우에 있어서, 홍채(115)의 영역은, 부분적인 눈꺼풀(105, 110) 닫힘, 그림자(240) 또는 속눈썹(235)로 인하여 모호해질 수도 있다. 이러한 누락 또는 불명확한 정보를 해결하고자, 엄격한 기준이 홍채코드에 연관될 수 있다(프로세스 230).
홍채코드를 통해 디바이스 착용자의 신원이 판별되면, 홍채(115)를 둘러싼 영역의 이미지가 디바이스 착용자에 속한 것으로서, 저장 및 등록된다. 상기 이미지는 안구가 돌아다님에 따라 홍채코드가 더 이상 계산될 수 없는 조건들 하에서 비교 기준으로서 후속으로 이용될 수 있다. 홍채(115)의 이미지는 그림자들(240), 눈꺼풀(105, 110) 또는 속눈썹(235)으로 인한 차단 때문에, 또는 홍채(115)가 카메라(125)의 중앙 시야에 비하여 충분하게 축을 이탈했기 때문에, 모호해질 수 있다. 이러한 조건들이 발생하면, 기준 이미지 내의 구별되는 피처들이, 디바이스 착용자의 신원을 실질적으로 지속적으로 판별하는데 이용될 수 있다. 이들 피처들은 공막(150), 공막(150) 내의 혈관들의 위치들 및 패턴들, 눈꺼풀(105, 110)의 형상, 속눈썹(235)의 위치 및 형상, 뿐만 아니라 보충적인 생체 측정들(즉, 생리학적인 및 해부학적인 측정들)을 포함할 수 있는바, 이에 대해서는 후술될 것이다.
도3은 소정 시간에서 디바이스의 착용자가 긍정적으로 식별되는지의 여부를 판별하기 위한 실질적으로 지속적인 결정 프로세스를 예시한 순서도이다. 이러한 결정 프로세스는 홍채-추적 카메라(125)로부터 이미지를 획득함으로서 개시되고(프로세스 300) 그리고 홍채코드에 대한 계산을 시도한다. 카메라 이미지들을 디지털화하기 위한 방법들 및 홍채코드들의 계산은 도2에 보다 상세히 서술되며, 그리고 예를 들어, US 5,291, 560에 개시된 바와 같이 당업계에 공지되어 있다. 다음 단계(프로세스 305)는 실행가능한(viable) 홍채코드가 결정되었는지의 여부를 판별하는 것이다. 실행불가능한(non-viable) 홍채코드의 이유들은, 부분적으로 감겨진 눈꺼풀, 완전히 감겨진 눈꺼풀(즉, 자발적인 눈 감음 혹은 비자발적인 눈 깜박임), 홍채(115)를 모호하게 하는 그림자(240), 대략 믹대(rod) 형상의 영역들을 모호하게 하는 속눈썹, 및/또는 카메라(125)의 시야의 중앙으로부터 충분히 떨어지도록 회전된 홍채(115)를 포함한다.
만일, 실행가능한 홍채코드가 계산될 수 있다면, 이것은 의도된 또는 타겟 디바이스 사용자의 기결정된 홍채코드와 비교된다(프로세스 310). 이러한 비교의 엄격성은, 디바이스 사용자 보안의 원하는 레벨에 따라 조절될 수 있다. 만일, 착용자의 신원과의 긍정적인(positive) 매치가 있다면, 상기 긍정적인 매치의 시간은 프리-러닝 클럭(free-running clock)(335)으로부터 획득되는 현재 시간으로 설정되며(프로세스 315), 눈 주위의 영역 내의 피처들은 타겟 디바이스 사용자의 것으로 저장 및 등록되며(프로세스 320), 긍정적인 식별 상태의 불린(Boolean) 표시자는 "참(true)"으로 설정된다(프로세스 345).
만일, 홍채코드가 계산될 수 없다면(프로세스 305), 홍채코드가 연장된 기간에 대하여 이용불가능했는지를 판별하기 위해 체크가 수행된다(프로세스 325). 만일, 홍채코드가 최근에 판별되었다면, 눈 주위의 영역의 이미지 내의 피처들이 긍정적인 식별(프로세스 345)의 시간들에서 저장된 이미지들과 비교된다. 만일, 이들 피처들의 충분한 매치가 있다면, 긍정적인 식별의 불린(Boolean) 표시자는 "참(true)" 상태를 유지하며 그리고 새로운 이미지가 획득된다.
만일, 새롭게 판별된 홍채코드가 의도된 디바이스 착용자의 그것과 매치하지 않는다면(프로세스 325), 또는 홍채코드가 소정 시간 동안 계산되지 않았고(프로세스 330) 그리고 눈 주위의 피처들의 불충분한 매치가 있다면(프로세스 340); 프리-러닝 클럭에 의해서 등록된 현재 시간(프로세스 330)과 긍정적인 식별의 가장 최근 시간 사이의 차이값이 계산된다. 만일, 이러한 차이값이 기결정된 임계 시간보다 크다라고 판별되면, 긍정적인 식별 상태의 불린(Boolean) 표시자는 "거짓(false)"으로 설정된다(프로세스 340).
기결정된 임계 시간은, 가령, 디바이스 착용자의 "정상적인" 눈깜박임 동안에 사용자를 긍정적으로 식별하도록, 짧은 기간들의 불능(inability)을 허용하는 값으로 조절된다. 따라서, 본 명세서에서 사용되는 바와 같은, "지속적으로" 및 "실질적으로 지속적으로" 라는 판단은, 사용자를 긍정적으로 식별하기 위하여, 이러한 짧은 기간들의 불능을 포함할 수 있다. 일반적으로, 임계 시간은 0.1초(즉, 빠른 눈깜박거림의 지속기간)에서 10초 사이의 값으로 설정되며, 여기서 후자의 값은 최소 보안이며, 이는디바이스 착용자가 헤드웨어로부터 벗어나 곳을 짧은 기간들 동안 볼수 있게 한다. 전형적인 임계값은 0.3초이다,
신규 이미지가 획득되면(프로세스 300), 전체적인 결정 프로세스가 반복되어, 실질적으로 지속적인 식별을 제공한다. 사용자 식별 상태는 시스템과 관련된 모든 전송들에 첨부될 수 있다(프로세스 345). 대안적으로, 홍채(115)의 이미지들은 외부 프로세싱 유닛으로 전송될 수 있으며 그리고 디바이스 착용자가 긍정적으로 식별되는지의 여부를 판별하기 위한 결정 프로세스는 원격으로 실행될 수 있다.
도4는 디스플레이(710) 및/또는 외부 디바이스를 통한 보안 정보(155)의 전송을 제어하는 어플리케이션들 동안의 예시적인 실시예이다. 홍채 및/또는 안구의 영역 내의 피처들의 이미지들은 카메라(125)에 의해서 실질적으로 지속적으로 획득되며 그리고 이들 이미지들 내에서의 매치의 정도에 기초하여, 실질적으로 지속적인 디바이스 착용자 식별 상태가 프로세싱 유닛(165)에 의해서 판별된다. 디바이스 착용자 식별 상태는 통신 링크(155)를 통해 외부 프로세싱 유닛으로 전송된다. 이후, 임의 개수의 다른 프로세싱 유닛들(400)은 실질적으로 지속적으로 검증된 개인에 의해서 보안 정보가 디스플레이(710) 및 시청되게 할 수 있다.
생체 인증은 하나 이상의 시간들(즉, 세션들) 동안에 발생할 수 있거나, 또는 사용자 검증을 요구하는 안구-신호 제어 프로세스 이전, 동안, 또는 이후인 시간들의 임의의 조합에서 발생할 수 있다. 예를 들어, 시험을 치르는 개인은 시험 기간 이전 및 이후 둘다에서, 생체 인증을 야기하는 안구 신호 커맨드 시퀀스를 실행할 것을 요구받을 수 있다. 온라인 구매는, 거래를 야기하는 안구-신호 시퀀스와 동시에 뿐만 아니라, 거래가 수행되기 전에(예컨대, 거래의 총 비용에 대한 사전-인증 단계가 발생할 수도 있는 시간 동안에) 인증을 요구할 수 있다. 안구-신호 제어들, 그리고 가능하면 다른 제어들을 이용하여 보안 법적 문서를 판독하는 것은, 반복된 생체 인증을 요구할 수 있는데, 이는 판독 프로세스 동안에 이용되는 모든 안구 신호들에 동기화된다.
보충적인 생체 측정들(Supplementary Biometric Measures)
또 다른 실시예는 개인의 신원 및 기능적 상태(functional state) 둘다를 실질적으로 지속적으로 더 모니터링하기 위하여 해부학적인 및 생리학적인 피처들의 사용을 포함한다. 안구 신호들의 정확한 추적을 위하여, 눈의 해부학적 피처들의 형상들, 치수들, 및/또는 상대적인 공간적 위치들이 헤드웨어 디바이스에게 알려져야만 한다. 따라서, 정상 동작 동안, 이들 피처들은 일반적으로 디바이스에게 이용가능한바, 왜냐하면 이들은 정확한 안구 추적을 생성하는데 이용되는 조정 계수들 중 많은 것을 위한 설립 기초를 형성하기 때문이다. 이와 함께, 이들은 또한, 디바이스 착용자의 신원을 검증(실질적으로 지속적으로)하는데도 사용될 수 있다. 이것은 가령, 눈 깜박임 동안, 홍채가 속눈썹들 또는 다른 구조물들에 의해서 모호해질 때, 및/또는 하나 또는 2개의 눈들을 바라보는 카메라(들)로부터 떨어진 곳을 홍채가 포인팅할 때 등과 같이 홍채코드들이 지속적으로 이용가능하지 않은 기간들 동안에 특히나 유용하다. 사용자 신원의 구성요소들이 될 수 있는 이러한 해부학적 피처들의 일례들은 다음을 포함한다.
● 각막 반경(corneal radius)(형상이 타원체가 될 수 있으므로 2차(second-order) 파라미터들을 포함함)
● 동공 깊이
● 안구 지름
● 각막윤부 지름(limbus radius)
● 광 축 및 시각적 축 사이의 오프셋
● 인조 렌즈 파라미터(synthetic lens parameter)(수정체를 인조 렌즈로 대체하기 위한 백내장 수술은 미국에서 1 년에 270만번 수행된다).
● 결막황반(pinguecula)(눈의 햐안(공막) 부분의 결막을 두껍게 하는 황반), 익상편(pterygium)(웨지-형상의 성장), 사시(strabismus)(crossed eyes), 약시(amblyopia)(lazy eye) 등의 다양한 질환들
● 일반적인 눈꺼풀 위치
● 속눈썹 두께, 밀도, 색상, 범위, 길이
● 안구 열극 형상 및 측정치(eye fissure shape and measurements )
● 카메라의 시야에 따른 눈썹 헤어, 구조, 위치, 색상,
● 카메라의 시야에 따른 눈꺼풀의 피부 구성(skin composition) 및 주변 조직
또 다른 해부학적 팩터들 가령, 코의 사이즈 및 형상(일반적으로 디바이스가 머리 상에 어떻게 놓여있는지에 영향을 받으며 따라서 눈에 대한 카메라들 및 조명 소스들의 위치들에 영향을 미친다)이 존재하는데 이들은, 사용자 식별 목적으로는 덜 유용하다.
하지만, 카메라들과 눈의 피처들 사이의 거리들의 측정치들(다시한번 말하면, 디바이스가 코 위에 어떻게 놓여있는지에 크게 영향을 받음)은, 예를 들어, 디바이스가 머리로부터 제거되었는지의 여부를 판별하는데 이용될 수 있다. 만일, 디바이스가 머리로부터 제거되었다면, 디바이스가 헤드 상에 다시 놓여지고 그리고 고-엄격성(예컨대, 매칭된 홍채코드)의 인증 절차가 실행될 때까지, 고 보안성의 행위들 및 거래들을 디바이스가 행하는 것을 금지하는 표시자가 설정될 수 있다.
또한, 디바이스에 의해서 측정되는 생리학적인 응답들은, 개인의 신분증명(identification) 또는 "시그너처(signature)" 내의 고유 식별자들의 성분들이 될 수 있다. 디바이스에 의해서 측정되며, 따라서 사용자 신원의 성분들이 될 수 있는 생리학적 피처들의 일례들은 다음을 포함한다.
● 빛의 변화들에 응답하는(이는 디바이스 착용자의 연령에 매우 의존함) 또는 특정한 자극(빛, 감정적 응답, 인지 부하(cognitive load))에 응답하는 동공의 수축 또는 확장의 정도
● 빛의 변화에 응답하는 동공 수축 혹은 확장의 속도(rate)
● 동공이 수축 또는 확장할 때의 동공의 수평 및 수직 변위들
● 자발적인 단속성 운동들(voluntary saccadic movements)의 범위 및 속도
● 마이크로 단속운동(micro-saccade)의 범위, 빈도, 및 속도
● 안구 떨림(tremors), 드리프트들, 및 다른 안구 운동들의 정도, 존재, 범위, 빈도, 및 패턴
● 이향운동 안구 움직임들(vergence eye movements) 사이의 상관 정도(2 개의 눈들이 모니터링될 때)
● 디바이스 착용자가 새로운 타겟을 식별 및 추적하는 속도
● 주파수, 속도, 지속기간, 발생 등의 깜박임 거동
● 사용자가 안구 신호들을 수행하는 방식, 이는 안구-제어를 위한 문법 또는 상호작용 모델의 일부일 수 있음
● 시각적 자극, 생체측정 데이터, 및 위치, 시간, 활동성(activity), 신체 또는 인지 상태 및 의지(physical or cognitive state and intent)를 포함하는 다른 데이터 관점에서의 안구 신호들
● 눈꺼풀 및 주변 피부 조직의 움직임, 안면 근육 활동 부호화 체계(Facial Actions Coding System: FACS) 내에 카탈로그화된 보여질수 있는 피부, 근육 및 움직임들에 아마 기초할 수도 있음
● 디바이스 착용자의 "경험"에 관련된 다양한 파라미터들(초보 사용자와 비교하여)
상기 리스트의 후단 피처들, 디바이스 착용자 경험은, "생리학적" 측정으로 엄격하게 분류되지 않을 수도 있다. 경험은 디바이스에 의해서 유지되는 계수들의 클러스터 내에서 반영되는바, 이는 디바이스와 함께 소모된 시간, 주시 시간들(fixation times), 반응 시간들의 히스토리, 다양한 데이터 타입들의 맥락화(contextualization) 및 디바이스 착용자에 의한 의도하지않은 선택들(즉, 나중에 보정된)의 빈도에 주로 기초하여 사용자의 "경험"을 반영한다. 디바이스에 의해서 이용되는 이러한 데이터들의 하나의 일례는, 안구 신호들의 부드러운 추격 동안에, 소위 "아이무버(eyemovers)"(즉, N개 중 1을 선택하도록(make a 1 of N selection), 사용자에게 그들의 눈(들)을 움직이도록 촉구하는 타겟들)의 속도를 조절하는 것이다.
사용자 경험은, 물체를 측량하거나 또는 문자를 읽는 것 등의 행동들을 수행할 때에 측정될 수 있는 다수의 거동적 특징들의 일례이다. 이들 거동적 생체측정들(behavioral biometrics) 또는 행위들을 수행하는 "스타일"은 과거 경험, 익숙함(familiarity), 흥미(interest), 기타 등등의 팩터들에 기초할 수 있다. 일부 거동적 특징들은 해부학적 및 생리학적 영향들(influences)을 포함할 수 있다. 비유로서, 개인의 걸음걸이(gait)는 이러한 행위의 큰 규모의 일례이다. 안구 신호들의 경우에 있어서, 정확한 부착점들(exact attachment points) 및 각각의 눈을 콘트롤하는 6개의 근육들의 수축력은 안구 운동의 거동적 생체측정(behavioral biometrics)에 영향을 미칠 수 있다.
실제 및 가상 객체들과 상호작용하기 위한 생체역학-기반의 안구 신호들을 위한 시스템들 및 방법들(Systems and Methods for Biomechanically-Based Eye Signals for Interacting with Real and Virtual Objects)에 서술된 바와 같이, 안구 신호들을 분류하는 방법 중 하나는 개인의 안구 운동 특징들을 알아차리도록 훈련된 신경 네트워크들의 적용이다. 특정한 운동 특징들 뿐만 아니라 사용자 경험도, 개인을 식별하는데 이용될 수 있다(즉, 유추에 의한, 개인의 "눈-걸음걸이(eye-gait)").
가령, 일란성 쌍생아를 구별하는 것과 같은 일부 경우들에서, 일부 해부학적 피처들의 독특한 변이들은 생체 인증에 실제로 이용되기에는 너무 미세할 수도 있지만, 이들 해부학적, 생리학적, 및/또는 거동적 피처들은 개인들에게 고유하다.
이러한 단점들을 감안하면, 이것은 구별력을 제공하는 독립 피처들의 조합이다.
만일, 각막윤부(limbus)의 지름에 대한 측정이 개인들을 10개의 그룹들 중 하나로 일관되게(즉, 반복적으로) 분류할 수 있는 분해능을 가지며 그리고 대규모 단속성 운동들(large saccadic movements) 동안에 획득된 최대 속도(각막 윤부 지름에 종속되는 것은 아니라고 가정하자)가 개인들을 15개의 그룹들 중 하나로 더 분류할 수 있다면, 개인을 식별함에 있어서, 이들 2개의 독립적인 측정들의 조합된 파워는 150(10*15)개 중 하나이다. 독립적인 및 구별되는 피처들의 곱셈 성질(multiplicative nature)은 개인들을 구별하는데 상당한 파워를 제공한다.
특히, 홍채 인증이 이용될 수 없는 시간들 동안에(예컨대, 눈꺼풀, 속눈썹에 의해서 홍채가 모호해지거나, 또는 초점을 벗어난 경우), 해부학적인, 생리학적인, 및 거동적 파라미터들이 사용자 인증의 지속성을 유지하는데 이용될 수 있다. 또한, 많은 어플리케이션들에서, 디바이스는 착용자의 특징들이, 한명의, 신원확인된 개인의 특징들과 매칭하는지 또는 적은 숫자의 알려진 개인들의 멤버인지를 판별할 것을 요구받는다. 이것은 예를 들어, 많은 수의 개인들 중 한 사람이 디바이스 착용으로부터 배제될 수 있는지의 여부를 식별하는 것보다, 훨씬 간단한 분류 프로세스이다. 하나 이상의 해부학적, 생리학적, 또는 거동적 측정값들에서의 편차는, 디바이스 사용자가 바뀌었음을 나타낼 수 있다.
이러한 신원확인 특징들은 또한, 다른 보안 토큰들, 가령, 정보 토큰들(패스워드), 물리적 토큰들(키), 생성된 토큰들(스피치, 제스처, 글씨쓰기), 다른 생체측정 토큰들(지문, 음문), 기타 등등과 조합될 수 있다.
본 명세서의 시스템들 및 방법들의 또 다른 예시적인 실시예는 개인 사용자와 관련된 보정 파라미터(calibration parameter)들을 찾아내고 검색하도록 홍채 인식을 이용하는 것을 포함한다. 모르는 또는 새로운 디바이스 사용자가 디바이스를 그/그녀의 머리에 착용할 때, 보정 파라미터들을 알지 못하는 것이 일반적이다. 눈을 바라보는 카메라의 일반적인 방향으로 응시하도록 사용자에게 지시하거나 또는 정상적인 안구 운동들 동안 하나 이상의 카메라들이 홍채를 바라보게 하는 프로세스를 통해, 초기 홍채코드가 생성될 수 있다.
다수 카메라 구성들(Multiple Camera Configurations)
안구의 정상 움직임 동안 홍채의 일부분들이 모호해질 수도 있는 경우, 하나의 카메라에 의해서 서로 다른 시간들에서 찍은 홍채 이미지들의 부분들 및/또는 다수의 카메라들을 이용하여 서로 다른 방향들로부터 본 홍채 이미지들을 "함께 스티치(stitch together)" 하는 것이 유용할 수 있다. 눈을 보기 위하여 다수의 카메라들을 이용하는 것이 도5 및 도6에 예시된다.
대안적으로, 홍채코드들 자신들은(즉, 세그멘테이션 프로세스 다음으로 계산된), 홍채의 서로 다른 이미지들로부터 "함께 스티치"될 수도 있다. 다시 한번 설명하면, 이들 이미지들은 서로 다른 시간들에서 취해질 수도 있으며, 또는 서로 다른 카메라들에 의해서 또는 서로 다른 시간들 및 카메라 각도들의 조합들로 취해질 수 있다. 이러한 접근법의 구성요소로서, 다수의 이미지들 내에서 성공적으로 보여지는 홍채의 일부분들은 평균화될 수 있는바(홍채코드를 계산하기 이전에 또는 이후에), 이는 신뢰성(reliability)을 향상시키고 및/또는 이미지 잡음의 영향들 방지하기 위한 것이다.
눈에 띄지 않는(unobtrusive) CBID에 관련된 문제점들 중 하나는, 눈을 지향하도록 된 카메라(들)이 일반적으로 눈의 시각적 혹은 광학적 축 중 어느 하나와 비교하여 오프-축(off-axis)이라는 사실과 관련이 있다. 이것은 홍채의 "오프-축" 뷰(view)를 야기한다. 또한, 정상적인 안구-신호 기능들 동안에 안구가 움직이기 때문에, 홍채가 "오프-축" 되는 정도가 변한다. 만일, 사용자가 소정 방향을 보고 있는 중일 때 홍채 템플릿(iris template)이 등록된다면, 홍채 템플릿이 등록되었던 방향으로부터 눈이 회전하기 때문에, 동일한 홍채를 식별하는 것이 점점 더 어려워질 것이다.
"오프-축" 에 대한 하나의 해결책은 서로 다른 시야 각도들에서 눈을 관찰하는 다수의 카메라들을 이용하는 것이다. 임의의 소정 시간에서, 온-축(on-axis)에 가장 가까운 카메라로부터 이미지들이 선택될 수 있는데, 온-축은 예를 들어, 가장 원형인(매우 타원형인 것에 비하여) 내부 및 외부 홍채 경계들에 기초하여 파악될 수 있다. 정상 동작들 동안에 안구가 움직이기 때문에 가장 "온-축"인 카메라는 변할 수 있다.
이러한 문제점에 대한 또 다른 해결책은 서로 다른 시야 각도들(viewing angles)에서 수집된, 개인에 대한 다수의 홍채 템플릿들을 저장하는 것이다.
안구 추적의 결과로서, 사용자의 시야 방향은 알고 있기 때문에, 다음과 같은 것이 가능하다; 1) 다수의, 알고 있는 시야 방향들에서의 홍채코드들을 저장하고 그리고 2) 이에 후속하여, 알려진 시야 방향들에서 임의의 시간에 수집된 홍채코드들을, 동일한 혹은 가장 가까운 시야 방향에서 수집 및 등록된 홍채코드들과 비교한다.
오프-축 뷰잉(off-axis viewing)의 정도는, 다수의 카메라들 및/또는 다수의 홍채코드들을 사용하여 감소될 수 있다. 온-축에 가장 가까운 카메라로부터 이미지들을 선택함으로써, 홍채의 모스트 다이렉트 뷰(most direct view)가 획득될 수 있다. 알려진 개인들로부터 홍채코드들을 등록하고 개인의 신원을 실시간으로 등록하는 것 둘다는, 가장 온-축인 카메라의 이미지들에 기초할 수 있는데, 이는 신원확인 강건성(identification robustness)을 개선하기 위한 것이다.
이와 유사하게, 이들 체계들 모두는, 템플릿을 등록하거나 신원확인을 위해 홍채코드를 실시간으로 계산하기 전에, 온-축이 되도록 홍채의 이미지를 수치적으로(numerically) "회전" 시키는 것과 일치한다. 많은 안구-추적 체계들에서, 광 축과 뷰잉 카메라의 방향 사이의 각도는, 시선 방향(gaze direction)을 계산하기 위하여 알려져야만 한다. 이것은 회전 변환을 적용하기 위한 키 계수들(key coefficients)을 제공하며, 이는 동공(혹은 각막윤부)의 중심에 수직인 축을 따라 보여지는 것처럼, 눈의 이미지가 보여지게 한다.
이들 홍채코드들은 원하는 뷰들을 수용하는 통상적인 렌즈들 또는 홀로그램(holographic) 렌즈들을 이용하여 수집될 수 있다. 또한, 홍채코드들이 수집될 수 있는데, 눈의 이미지들은 하나 이상의 반사 표면들에서 반사된다. 이러한 표면들은 하나의, 대형 반사 표면 또는 다수의 반사 표면들(즉, 다수의 마이크로-미러들) 주위에 설계될 수 있다. 이들 미러-기반 시스템들은, 통상적인 반사 표면들의 형태이거나 또는 광 시스템의 물리적 특징들(예컨대, 무게, 사이즈)을 최소화하도록 설계된 소위(so-called) 자유-형태 광 경로(free-form optical pathway) 내에 있을 수도 있다. 또한, 이들은 가시 파장들의 빛에서 뷰들을 방해함이 없이 CBID를 가능케하도록, 선택된 파장들의 빛을 반사시킬 수 있다(예컨대, 소위 "핫 미러"). 자유-형태 옵틱스 설계는, 광 축 또는 광 축 부근에서 눈을 볼수 있는 능력을 유지하면서도, 안경류(eyewear)의 에지를 따라 카메라들이 눈에 띄지 않게(unobtrusively) 배치될 수 있게 한다. 눈(들)의 이미지들은 하나 이상의 검출기들(예컨대, 포토다이오드)에 의해서 대안적으로 수집될 수 있는바, 여기서 공간적인 선택 및 해상도는, 스위처블 브래그 그레이팅-기반(switchable Bragg gratings-based: SBG)의 디바이스에서 찾아볼 수 있는 것들과 같은 스위칭가능한 표면들에 의해서 제어된다.
도5는 예시적인 시스템(600)을 도시하는바, 이는 다수의 조명 소스들(130, 135, 140) 및 다수의 카메라들(125)을 위한 배치 장소들을 예시한다. 이들 조명 소스들(130, 135, 140) 및 카메라들(125) 둘다는, 홍채(115), 중앙 동공(145) 및 주변의 공막(150)을 포함하는 하나의 눈의 영역을 향해 지향된다. 하나의 광 소스(400)와 비교하여, 다수의 조명 소스들(130, 135, 140)의 사용은, 디바이스 착용자에 의한 더 넓은 범위의 안구 운동들에 대해서 보다 양호하게 조명되는 홍채(115)를 보장하며, 그림자(240)를 만드는 경향들을 감소시킨다. 다수의 카메라들(125)의 사용은, 디바이스 착용자에 의한 더 넓은 범위의 시야 각도들에 대해서 온-축(on-axis) 홍채를 촬영할 능력을 향상시키며, 그리고 보다 예각인 각도들(more acute angles)에서 카메라-기반의 촬영으로부터 야기되는 홍채 이미지들의 왜곡을 감소시킨다.
카메라들은 또한, 눈들의 뷰들(views of eyes), 안구 피처들, 눈꺼풀, 속눈썹, 눈썹, 주변 피부, 및 안면 근육들을 캡춰하도록 구성될 수 있는바, 따라서 관심있는 영역들은, 장면들의 접경하지 않은(non-contiguous) 모음으로서 또는 함께 스티치된 인접 영역들로서, 개별적으로, 인접하게(adjacently) 보여질 수 있다. 다수의 카메라들은 카메라들에 의해서 보여지는 영역들을 조명하도록 구성된 다수의 LED들 또는 조명 소스들에 의해서 지원될 수 있다. 눈들, 동공들, 피처들, 눈꺼풀들, 눈썹들, 및 피부에 대한 캡춰는, 온-스크린 디스플레이로부터의 자극 또는 사용자의 환경 내에서의 자극에 대한 감정적 응답(emotional response)을 측정하는데 이용될 수 있다. 이것은 예를 들어, 개인간의 통신(interpersonal communication)을 위해, 시선 방향과 관련된 감정적 반응에 대한 연구들을 위해, 그리고 게임들에서의 감정-기반의 상호작용을 위해 이용될 수 있다. 카메라들에 의해 측정되는 플레이어의 시선 방향들 사이의 관련성은, 다른 안면 정보와 결합되어, 사용자의 감정 상태를 정의하도록 해석될 수 있다. 게임 또는 엔터테인먼트 체험(entertainment experience)의 배우들은, 사용자 눈, 안면, 머리, 손, 몸, 및 생체측정 거동과 동기화되어, 행위 및 사용자로부터 멀어지는 또는 사용자로 향하는 시선 방향과 함께 반응할 수 있는바, 이는 렌더링된 안면 피처들, 몸, 및 안구-거동을 통해 감정을 소통하며, 캐릭터/사용자의 감정적 교감들 및 상호작용들의 변동성이 있는, 그리고 동적인 레벨을 자극한다. 이들 배우들은 인공 지능형 캐릭터들일 수 있으며 또는 이들은 원격 인간 캐릭터들에 대한 아바타들일 수도 있으며, 그리고 사용자는 원격 아바타에 의해서 또한 표현될 수도 있다.
도5에 예시된 시스템(600)의 경우, 구성요소들은 한 쌍의 안경(eyeglass) 프레임들 내에 마운트된다. 도5는 좌측 눈을 향해 지향되는 안경의 좌측 반쪽만이 도시되는데, 이는 간략함을 위한 것이다.
안경 프레임들은 노즈 피스(nose piece)(510)와 이어 스템(ear stem)(515)을 활용하여 머리에 착용된다. 본 일례에서, 온-보드 프로세싱 유닛(165)은 좌측 이어 스템(515) 내에 배치된다. 비록, 본 도면에는 도시되어 있지 않지만, 디바이스에 전원을 공급하는 배터리 팩은 예를 들어 우측 이어 스템에 마운트될 수 있다. 비록, 본 도면에는 잘 보이지 않지만, 옵션적으로는, 프레임 상의 장면 카메라가 디바이스 착용자의 환경을 보는데 이용될 수 있다. 비록, 본 도면에는 도시되어 있지 않지만, 선택적으로는, 사용자의 눈(들)에 대한 하나 이상의 디스플레이 제공 모노쿨라 또는 스테레오(monocular or stereo) 이미저리(imagery)가 상기 프레임에 마운트될 수도 있다. 상기 프레임은 사용자의 실제 세계에 대한 뷰를 증강시키는 이미지, 오프 축에서 제공되거나 혹은 사용자의 다이렉트 시선에 있지 않은 이미지, 또는 가상의 실제감을 생성하는 몰입형 이미지(immersive imagery creating virtual reality)를 제공하는 디스플레이(들)을 포함할 수 있다.
다수 카메라들의 예시적인 구성이 도6에 예시된다. 다수의 카메라들(2000a-f)은, 상부 눈꺼풀(105), 하부 눈꺼풀(110), 및 임의의 차단 속눈썹들(236)을 포함하는 방해물들을 눈의 다수의 뷰들을 통해 회피할 수 있다. 서로 다른 각도들에서 보여질 때(즉, 서로 다른 카메라들에 의해서 관찰되면), 특정 방해물(예컨대, 도6의 속눈썹 236)에 의해서 차단되는 영역들이 다르다. 이러한 조건들하에서, 눈의 표면의 전체 표현들(full representations)은, 서로 다른 카메라들로부터의 이미지들을 이용하여 수집된 이미지들로부터 정보를 추출 혹은 함께 스티칭함으로써, 재건설될 수 있다. 눈의 다른 뷰들을 갖는 서로 다른 카메라들은 중첩되는 또는 중첩되지 않는 시야를 가질 수 있다. 또한, 서로 다른 카메라들은 서로 다른 렌즈들, 광학 필터들, 프레임 레이트들, 또는 해상도를 가질 수 있다. 또한 2D 혹은 3D 이미지 카메라들의 믹스가 존재할 수 있다. 카메라 혹은 카메라들(2000a-f)의 임의의 조합은 언제나 가능할 수 있다(예컨대, 파워 온 및 기능 동안). 샘플링 조건들의 범위 하에서 수집된 이미지들에 대한 액세스는, 홍채 인식, 동공 인식, 피처 인식, 및 안구-신호 인식의 강건성(robustness)을 향상시킨다.
또한, 다수 카메라들의 사용은, 안구의 3-차원 뷰들을 형성하는데 이용될 수 있다. 안구 내의 3 차원 구조들을 보기위한 대안적인 방법은, 공간 위상 이미징(spatial phased imaging)이다. 안구 내의 구조들의 형상들, 사이즈들, 및 위치들을 판별하는 방법들에 상관없이, 이들의 3 차원 형태학(morphology)에 대한 지식은, 시선 추적의 해상도, 편의성(convenience)(예컨대, 조정을 위한 요건들이 감소함), 및 강건성을 증가시킬 수 있다.
양 눈을 향해 지향된 다수-카메라들(즉, 각각의 눈은 다수의 카메라들에 의해서 보여짐)은, 양안전도(vergence) 측정의 정확도를 더욱 증가시킨다. 양안전도는 문자그대로 안구-신호 제어에 추가적인 디멘젼을 부가한다. 예를 들어, 양안전도를 사용함으로써, 선택 패널들의 서로 다른 층들에 있는 아이콘들이 디바이스 착용자에 의해서 특정될 수 있다.
넓은 각도 범위에서 실질적으로 동시에 눈을 보는 다수의 카메라들은 또한, 눈꺼풀, 피부, 눈썹, 및 심지어 안면 근육들의 일부분을 포함하는 주변 피처들의 움직임을 관찰하는데 이용될 수 있다. 이들 피처들에서의 움직임들은 감정 상태를 포함하는 또 다른 사용자 컨디션들을 추출하는데 이용될 수 있다. 예시적인 실시예에서, 감정 상태들을 나타내는 다른 안구 측정들은 동공 확장, 렌즈 형상 및 심박수를 포함한다. 추가적인 실시예들에서는, 하나 이상의 카메라들을 이용하여, 눈의 혈관구조(vasculature) 특히, 공막 내의 혈관구조의 이미지들에서 작은 팽창들 및 수축들의 비율을 판별함으로써, 사용자의 심박수를 판별하는 것이 가능하다.
감정 상태를 포함하는 사용자 컨디션의 판별
디바이스 사용자 컨디션들 및 감정 상태들을 판별하기 위하여 추가적인 센서들을 헤드웨어에 부가할 수 있다. 실질적으로 지속적으로 모니터링된 데이터의 일례들은, 맥박산소측정(pulse oximetry), 전기 피부 저항(galvanic skin resistance), EEG, ECG, 및 온도 센서를 포함한다.
사용자 감정에 대한 디바이스 지식은, 신원확인을 위해 이용될 수 있을 뿐만 아니라 넓은 범위의 어플리케이션들을 조절(regulate)하는데 이용될 수 있다. 감정은 게이밍에 대한 특히, 파워풀한 부속 입력(powerful adjunctive input)이 될 수 있다. 예를 들어, 사용자에 의한 공포 혹은 스트레스에 대한 게임의 응답은 게이밍 프로세스에 연관된 태스크들을 용이하게 할 수 있다. 다른 한편으로, 다중-사용자 게임 내에서 표현된 스트레스는 패배(defeat)를 트리거하는데 이용될 있다. "실제" 사람의 감정들의 반영들은 아바타에 접속될 수 있으며, 여기서 아바터의 액션들 및 응답들은 감정 상태에 의해서 영향을 받는다.
사용자 감정에 대한 지식이 가치있을 수 있는 다른 영역은, 합성 안면 표현들(synthetic facial expressions)의 생성을 수반하는 회의(conferencing) 분야이다. 텔레콘퍼런싱 동안에 비디오 스트리밍을 전송하는 것에 비하여, 하나 이상의 합성 얼굴을 생성하고 보여주는 것은 회의 장소들 간에서 요구되는 대역폭을 크게 감소시킬 수 있다. 합성 얼굴들을 보는 것과 관련되어 발생되는 문제점은 적절한 안면 표현들의 부재이다. 이것은 시청자들(viewers)의 일부에 "불편한" 감정을 생성하는 경향이 있다. 회의 콘텐트의 소스인 개인의 감정 상태(및 진정한 신원)에 대한 지식은, 보다 적절하고 그리고 동적인 합성 열굴 표현들이 생성될 수 있게 한다. 감정 상태들은(원하는 대로) 임의 개수의 수신인들 혹은 수신인들의 서브세트에 제한되거나 또는 폭넓게 브로드캐스트될 수 있다.
합성 얼굴들 혹은 아바타들을 통해 재연되는 대인 상호작용들(interpersonal interactions)에서, 상호작용들을 한 쌍의 개인들 혹은 작은 그룹으로 분리하는 것이 또한 가능하다(심지어, 다른 아바타들의 "가상의" 존재 내에서). 이것은 특히 게이밍 및 텔레컨퍼런싱 어플리케이션들 둘다에서 유용하다. 방안에서의 개인들 간의 실제 대화와 유사하게, 동시에 발생하는 다수의 가상 대화들이 일어날 수 있는바, 예를들어, 실제 참가자들의 신원 또는 지리적 위치들에 제한됨이 없이, "가상의 눈 맞춤(virtual eye-to-eye contact)"을 포함하여, 다수의 가상 대화들이 일어날 수 있다.
인지 부하(cognitive load)는 많은 감정 상태들에 대한 주요 기여자이다. 소정의 조명 조건들 하에서, 동공 지름은 인지 부하를 매우 반영한다. 따라서, 조명 조건들을 알고 있다면(조명 조건들은 장면 카메라 이미지들에서 관찰되는 전체적인 강도 레벨으로부터 평가될 수 있음), 동공 지름에서의 변화들을 관찰함으로써, 실질적으로 지속적으로 인지 부하를 평가하는 것이 가능하다. 감정 상태에 대한 지식과 유사하게, 입력으로서 인지 부하를 포함시키는 것은, 게임, 콘퍼런싱, 문서 리뷰의 속도(pace), 시험 문제들의 난이도의 비율 및/또는 레벨, 광고 유효성에 대한 평가, 외상후 스트레스 장애(post-traumatic stress disorder)를 포함하는 의학적 평가들, 이미지들을 보았을 때의 심리학적인 평가들(psychological assessments), 기타 등등을 포함하는 넓은 범위의 응용예들을 갖는다.
눈을 보기 위한 다수의 카메라들과 결합되어 하나 이상의 장면 카메라들을 사용하는 것(즉, 사용자의 주변환경을 보는 것)은, 몰입형 환경(immersive environment)을 위한 보다 큰 가능성을 제공할 수 있다. 예를 들어, 게임 조작들에 있어서, 디바이스 착용자의 주변환경은, 아바타들의 주변환경(들) 내에 또는 게임 공간 내의 플레이어들의 다른 표현들 내에 투영될 수 있다. "실제 세계"에서의 머리의 움직임들 및/또는 객체들을 보는 것은, 가상 환경 으로 변환(translate)될 수 있다. 실제 및 가상 환경들의 변환은 3차원 "동굴(cave)" 투영 시스템 내의 디바이스 착용자에게 특히 효과적이지만, 대형의 디스플레이 스크린 혹은 다수의 디스플레이 스크린들을 이용하여 유사한 효과들이 획득될 수 있다.
다수의 장면 카메라들을 이용한 "주변환경적 콘텍스트(environmental context)"의 생성은 증가된 사용자 만족, 안전, 성능 향상, 기타 등등을 제공할 수 있다. 예를 들면, 관찰 중인 장소들을 하나 이상의 선택된 회의 참가자들에 의해서 실시간으로 보기 위하여, 회의 동안 이미지들의 방향을 조절하는 것이 가능하다. 개인(특히, 회의 참가자)이 무엇에 초점을 맞추고 있느니를 아는 것은, 상기 개인이 뭘 전달하고자 하는지를 해석하는데 큰 도움이 된다. 이와 반대로, 하나 이상의 청중 멤버들이 제공 중인 컨텐츠에 관심이 있는 것처럼 보이지 않음이 명백하다면, 이것은 컨텐츠를 변경할 단서가 된다.
CBID-기반의 안구-신호 디바이스 설정
어플리케이션(들)에 따라, CBID-기반의 안구-신호 디바이스의 기능들이 수 많은 설정들에서 구현될 수 있다. 프로세싱 및/또는 인증은 자체-포함될 수 있거나 및/또는 원격으로 수행될 수도 있다. 인증이 아웃고잉 데이터에 적용될 수 있으며 및/또는 인커밍 데이터의 흐름을 제한할 수 있다. 디바이스 동작은 한명의 사람 또는 사람들의 그룹에 제한될 수 있으며 또는 제한이 없을 수도 있다. 디바이스 동작은 소정의 동작 조건들 하에서만 태스크들을 수행하도록 더 제한될 수 있다. 정보의 디스플레이는 디바이스 사용자 이외의 모든 사람들에게 숨겨질 수 있으며 또는 모든 사람들이 볼 수도 있다. 인증은 사용자 요청인 경우에만 적용될 수도 있으며 또는 일부 혹은 모든 데이터에 자동으로 적용될 수 있다. 다른 디바이스들의 안구 신호 제어는 개인에게, 개인들의 그룹에 국한될 수 있는 또는 제한이 없을 수도 있다.
다음의 테이블은 설정들의 분류들의 일부 및 각각의 일례들을 열거한다. 안구 신호 디바이스 설정들을 설명하는데 이용되는 정의들 및 약어들은 다음과 같다.
IC - 홍채코드(irisCode): 생체 인증을 위해 홍채 내의 후생적 패턴들을 비교가능한 비트-패턴들로 수량화하도록 패턴 인식 기술들을 눈의 이미지들에 적용한 결과물.
EIC - 암호화된(encrypted IC): 홍채의 오리지널 이미지 또는 임의의 다른 홍채-기반의 파생 파라미터로 역설계될 수 없도록 암호화된 홍채코드
TEIC - 타겟 EIC: 식별된 EIC, 여기서 눈의 이미지로부터 계산된 IC와의 매칭은 관련성을 나타내며 따라서 우호적인 생체 인증을 나타낸다.
CBID - 지속적인 생체 인증: 생체 인증의 반복되는 프로세스, 이는 헤드셋 디바이스 상에서 수행될 수 있거나 또는 EIC들 혹은 하나 또는 양 눈의 이미지들을 원격 프로세서로 전송함으로서 원격으로 수행될 수 있다. CBID는 고정된 속도로(예컨대, 초당 30번) 또는 비동기화 속도(예컨대, 디바이스가 이동되고 그리고 재-마운트될 때만다)로 발생할 수 있다.
UUID - 범용 고유 식별자(universally unique identifier): 헤드셋 디바이스들을 포함하는 임의의 프로세싱 디바이스를 위한 펌웨어-인코딩된 고유 식별자(예컨대, 숫자 코드).
GPS - 글로벌 포지셔닝 시스템: 지구의 표면 인근의 임의의 곳에 있는 디바이스의 위치를 판별할 수 있는 위성-기반의 네비게이션 시스템.
| 분류(Class) | 설명 | 사례 |
| 독립형(stand-alone), 1 of 1 | 하나의 TEIC가 헤드셋 내에 저장되며 CBID를 위해서 오프-헤드셋 통신이 요구되지 않는다 | 그렇지 않으면 동작하지 않는 디바이스의 단독 소유자/사용자를 승인하는 것 |
| 독립형(stand-alone), 1 of N | "N" 개의 TEIC들이 헤드셋 내에 저장되며 CBID를 위해서 오프-헤드셋 통신이 요구되지 않는다 | 가족의 개인 구성원을 승인하는 것, 가족 모두는 디바이스 사용이 허용됨(예컨대, 각각의 사용자와 관련된 교정 계수들(calibration factors)이 동적으로 로딩됨 |
| 원격 TEIC, 1 of 1 | 하나의 TEIC가 원격 사이트로부터 디바이스로 전송된다 | 헤드셋의 페이-퍼-뷰 렌탈(pay-per-view rental) |
| 원격 TEIC들, 1 of 1 | 다수의 "허용가능한" TEIC들이 원격 사이트로부터 디바이스로 전송된다 | 범용 헤드셋들의 클러스터가 사업체 내의 일부 또는 모든 종업원들에게 이용가능해지게 함 |
| 헤드셋 전송 EIC | 지속적으로 또는 주기적으로, 헤드셋은 EIC를 사용자 ID가 판별되는 원격 사이트로 전송한다(종종 대형 데이터베이스로부터) | 구매에 사용되는 디바이스에 대한 제한없이 사용자가 등록되어 있는 온라인 "스토어"로부터의 온라인 구매 |
| 헤드셋 전송 EIC 및 UUID | 지속적으로 또는 주기적으로, 헤드셋은 EIC 및 UUID를 사용자 및 헤드셋 ID가 판별되는 원격 사이트로 전송한다(종종 대형 데이터베이스로부터) | 사용자 및 특정 디바이스 둘다가 등록되어 있는 온라인 "스토어"로부터의 온라인 구매 |
| 배제 TEICs | 사용자가 이용 혹은 다른 액세스로부터 배제되어야하는지를 판별하기 위해 CBID를 이용하는 것, 여기서 비교는 헤드셋 또는 원격으로 가능함 | 사용자가 비행금지 명단(no-fly list)에 있는지를 판별함 |
| 데이터를 단일 개인과 연관시키는 것 | 한 사람의 CBID 하에서 오직 해독될 있는 데이터 파일(들)의 검색 혹은 생성 | 전통적인 패스워드들의 비밀 리스트 |
| 단일 개인에 의한 "보기만 할것(eyes-only" viewing)" |
제자리에서 시야 차단기와 함께 HUD와 결헙돤 CBID; 우호적인 CBID가 있는 경우에만 데이터가 전송되며; 그렇지 않으면 더미 데이터가 전송될 수도 있음 | 대규모 온라인 코스에서 시험을 보는 것 |
| 그룹 정보 릴리즈 | 개인들의 그룹의 멤버 한 명의 CBID 하에서만 해독될 수 있는 데이터 파일(들) | 주치의, 전문가 및 환자가 이용할 수 있는 의료 기록들 |
| 구조화된 정보 릴리즈 | 보는 사람의 신원에 대해서 알려진 것에 기초하여 변동될 수 있는 데이터 콘텐트 | 식별된 뷰어의 인구통계(demographic)에 기초하는 구조화된 광고 |
| HUD 상에 디스플레이된 데이터 세트 | 데이터 세트(예컨대, 텍스트 본문)가 특정한 CBID 사용자에게 전송되었는지에 대한 확인, 사용자는 데이터 세트의 아무것도, 전부 또는 일부를 볼수 있다 | 사용자에게 전송된 디바이스 라이센스 동의 |
| HUD 상에 보여지는 데이터 세트 | 전체 데이터 세트(예컨대, 텍스트, 픽처, 그래픽들)를 각각의 데이터 세트 항목을 따라 CBID와 함께 안구 추적을 이용하여 특정 사용자가 실제로 봤는지에 대한 확인 | 법률 문서의 모든 컴포넌트들이 보여졌는지에 대한 확인 |
| 디스플레이 디바이스 상에 제공된 데이터 세트 | 데이터 세트(예컨대, 텍스트)가 장면 카메라에 의해 확인된 바와 같이 특정한 CBID 사용자의 디스플레이(예컨대, 모니터, 폰, 테블릿)에 전송되었는지에 대한 확인, 사용자는 데이터 세트의 아무것도, 전부 또는 일부를 볼수 있다 |
항목들 및 조건들의 변경 통지가 사용자에게 전송되었는지에 대한 확인 |
| 디스플레이 디바이스 상에서 보여지는 데이터 세트 | 전체 데이터 세트(예컨대, 텍스트, 픽처, 그래픽들)를 외부 디스플레이 디바이스에 지향된 안구 추적을 이용하여 특정 CBID 사용자가 실제로 봤는지에 대한 확인, 장면 카메라는 콘텐트의 수신을 확인할 수 있다(예컨대, 내장된 QR 코드를 이용하여) | 법적 문서들에 관련된 통지된 동의(consent)에 대한 확인 |
| 체크리스트 검증 | 안구 추적 및 CBID와 결합된 장면 카메라를 이용하여, 식별된 개인이 체크리스트에 있는 각 항목을 보았는지를 검증함 | 조종사에 의한 비행 전 검사 |
| "블랙 박스" 레코더 | 소정 기간(몇시간, 몇일, 등) 동안 디바이스의 비휘발성 메모리에 저장된 CBID(및 다른 데이터). 데이터 세트는 안구 추적 및/또는 이미지들을 포함할 수 있다(예컨대, 응급 상황 이전에 무엇이 보였는지를 판별하도록) | 차량 운전자의 식별 및 사고 전에 운전자의 집중을 방해하는 것을 식별할 수도 있음 |
| 사용자-의존 어플리케이션들 | CBID에 기초하여, 개별적으로 선택된 어플리케이션들의 세트 및 데이터 세트들에 대한 액세스를 제공 | 사용자 식별에 기초하여 이메일 검색, 다른 사용자에게도 별도의 이메일 및 어플리케이션 액세스가 제공됨 |
| 사용자-태그 데이터 | 임의의 전송 데이터 세트에 사용자가 자동적으로 그/그녀의 신원을 부가할 수 있게 함 | 아웃고잉 텍스트 및 이메일은 CBID 사용자가 저자임을 나타내도록 태그될 수 있음 |
| 전자 서명 | CBID를 포함하는 일련의 간단한 단계들이 "전자 서명"되게하며 그리고 데이터 세트를 타임 스탬프한다 | 법적 문서들에 전자적으로 "서명" 한다 |
| 상호 식별 | 다수의 CBID-인증된 개인들(2 이상의 개인들에게 적용됨)의 존재하에서만 전송되는 데이터 세트(들) | 학생 및 감독자 양자의 존재에서 개최되어야만 하는 시험의 감독 |
| 명백한 사용자 허가를 이용한 상호 식별 | 모든 개인들에 의한 CBID-인증 및 명시적인 허가의 존재하에서만 전송되는 데이터 세트(들) | 방금 만난 사람들 사이에서의 개인 정보의 교환 |
| 장면 이미지들 내의 객체 인지 | 바코드, QR 코드 또는 CBID-식별된 개인에 의해서 보여지는 임의의 방향으로부터 관찰되는 객체/콘테이너를 인지하는데 이용되는 장면 카메라 | 금전 등록기 혹은 계산대를 필요로 하지 않는 물리적 가게(Brick and mortar store)에서 수행되는 구매행위 |
| 알려진 위치에서의 특정 개체 인지 | 인증을 위해 프로세서로 전송된 EIC 및 GPS 위치 | 허가된 개인만에 대한 도어 개방의 원격 제어 |
| 위치-민감형 사용자 식별 | 인증을 위해 프로세서로 전송된 EIC 및 GPS 위치 | 사용자 식별에 기초하여 빌딩에 대한 액세스를 허용하거나 제한함 |
| 지리적 한정 | 개인의 위치를 추적하도록 GPS와 결합된 CBID | 가택 연금된 개인이 소정 리소스들에 액세스하는 것을 추적 및 허용함 |
| 상호작용 한정 | 개인의 주변환경을 식별하도록 장면 카메라 이미지들 내에서의 이미지 식별과 결합되는 CBID | 카지노 입장 또는 다른 개인과의 상호작이 금지된 개인에 대한 추적 |
| 시간-민감형 사용자 식별 | CBID 및 현재 날짜/시간에 기초하여 정보 및/또는 사용자 제어를 해제함 | 술 혹은 다른 연령 제한 물품들에 대한 적법한 구매를 개인에게 보장함 |
| 다른 생체측정 센서들 | 펄스 산소농도계(예컨대, 불규칙한 맥박), EEG(예컨대, 간질), 및/또는 예민한 상황들의 장기간 모니터링 및/또는 식별을 위해 CBID와 결합된 다른 감지 디바이스들로부터의 데이터 | 사용자 신원(병원 이력에 링크될 수 있음), "바이탈(vitals)" 및 지리적 위치에 대한 자동화된 911 전화 |
| 다른 디바이스들의 잠금해제/액세스 |
우호적인 CBID가 존재하면, 소정 형태의 사용자 검증을 요구하는 다른 프로세서와 상호작용하도록, 액세스 코드의 라이브러리, 토큰들, 패스워드들 기타 등등에 대한 온-디바이스 액세스를 허용한다 | CBID에 기초하여, 자동화된 텔러 머신과 상호작용함 |
| 고도로 높은 보안성의 어플리케이션들 | 유발된 동공 반응들, 심박수(예컨대, 혈관을 시각화함으로써), 헤드셋 탬퍼링, 등등을 모니터링하는 것을 포함하는 기만방지 수단들(antispoof measures)과 통합된 헤드셋 | 고도로 보안된 군사 사이트에 대한 액세스를 획득하는 것 |
| 이력 레코드(historical record) | 이력 레코드의 유지를 위해 다른 데이터 스트림(비디오, 오디오, 생체측정, GPS, 기타)과 함께 획득된 타임-스탬프를 갖는 CBID | 조사 중인 개인의 과거 행위들을 입증함 |
| 개인 프라이버시 | 레코딩이 만들어졌을 당시의 실제 디바이스 착용자에 대한 액세스를 제한하도록 데이터 세트들의 취득을 자동으로 암호화함(레코딩 헤드셋 내에서) | 사적인 대화의 오디오/비디오에 대한 액세스를 제한함 |
| 그룹 프라이버시 | 레코딩이 만들어졌을 당시에 존재한 임의의 CBID-가능한 디바이스 착용자에 대해서, 이력적으로 레코딩된 데이터 세트들에 대한 액세스를 자동으로 제한함 | 참가자들에 대해서, 회의의 오디오/비디오에 대한 액세스를 제한함 |
| 연장된 개인 메모리(extended personal memory) | 개인적 사용을 위해 다른 데이터 스트림(비디오, 오디오, 생체측정, GPS, 기타)과 함께 획득된 타임-스탬프를 갖는 CBID | 다른 이벤트와 관련된 이벤트에 대한 기록들을 찾음 |
| 상호 식별을 구비한 연장된 개인 메모리 |
암호화를 이용하여, 이력적으로 레코딩된 데이터 세트를 보는 것은 상호작용 내의 상호식별된(특히 레코딩 당시에서 보았을 때) 참가자들로 제한될 수 있음 | CBID 참가자들에 대하여 사적인 대화의 데이터 세트의 액세스를 제한함 |
| 인덱스화된 연장된 개인 메모리 | 레코드된 데이터 세트 내에서, CBID의 검색가능한 로그 그리고 오디오/비디오 데이터 스트림들 내의 객체들 및/또는 단어들의 인식과 함께인 타임-스탬프들, GPS 위치들, 및 데이터 스트림들 내의 다른 구성요소들을 포함함 | 질문에 대한 해답: 내가 자동차 키를 마지막으로 본게 어디인지/언제인지? |
| 사용자-특정 데이터 회수(retrieval) | 데이터 피드들 및 검색들이 CBID 개인의 관심들에 맞게 조정될 수 있음 | 하키(농구 또는 다른 스포츠보다) 스코어를 먼저 열겨함 |
| 로컬 디바이스 제어 |
로컬 디바이스의 무선 제어(인터넷이 필요없음) | 식별된 성인(즉, 아이가 아니라)에 의해서 가정의 난방기를 제어한다 |
| 원격 디바이스 제어 | 인터넷을 이용한 원격 디바이스 제어 | 가정의 현관등을 원격으로 점등한다 |
전술한 테이블은 EICs의 전송 및 비교를 언급하고 있지만, 몇몇 경우들에 있어서 눈들의 이미지들을 ICs 로 그리고 후속으로는 EICs 로 변환하는 것이 알고리즘적으로 가능하다. 따라서, CBID는 홍채들의 이미지들, ICs, EICs, 또는 다른 유도된 파라미터들을 포함하는 정보의 비교들 및/또는 교환을 등가적으로 포함할 수 있다. 이와 유사하게, 생체측정 비교들을 위해 이용되는 데이터베이스들은 동등하게(식별을 위해서), ICs, EICs, 눈들의 이미지들, 얼굴(눈 포함)들의 이미지들, 홍채들의 이미지들, 눈의 해부학적 피처들, 소위 "언-폴디드(unfolded)"(즉, 극 좌표계로 표현된) 홍채 이미지들, 공막 내의 혈관들, 각막윤부, 또는 또 다른 캡춰된 혹은 유도된 파라미터들을 포함하는 눈의 다른 피처들의 이미지들을 포함한다. 따라서, EICs를 교환 혹은 비교하는 것은, 생체 인증을 위하여 임의의 다른 유도된 데이터 세트들을 교환 혹은 비교하는 것을 또한 지칭한다.
홍채코드가 계산되면, 이것은 공지된 홍채코드들 및/또는 보충적인 생체측정들의 데이터베이스 내에서의 검색에 이용될 수 있다. 홍채코드(및 다른 측정들)의 매칭이 발견되면, 관련된 보정 팩터들(calibration factors) 및 다른 정보(사용자 이름, 나이, 성별, 등등)가 안구 추적 및 다른 동작들 동안에 이용되기 위해 헤드셋 디바이스로 다시 전송될 수 있다. 이러한 검색은 다수의 서로 다른 플랫폼 설정들에서 수행될 수 있다.
● 예를 들어, 헤드셋은 복수의(일반적으로는 적은 수의) 홍채코드들 및 보정 세트들(calibration sets)을 자체적으로 포함할 수 있는바, 따라서 가족의 임의의 멤버가 헤드셋을 이용할 수 있다. 홍채코드 생성, 검색, 및 매칭은 전적으로 헤드셋 상에서 수행된다.
● 홍채코드 또는 홍채 이미지는 식별 및 매칭을 위해 특정한 원격 프로세서로 전송될 수 있다. 상기 프로세서는 예를 들어, 가정, 사업체, 학교, 극장 혹은 지리적 위치에서 헤드웨어 디바이스들의 세트를 서비스할 수 있다.
● 홍채코드 또는 홍채 이미지는 식별 및 매칭을 위해 클라우드로 전송될 수 있다. 식별된 사람의 데이터 세트들에 대한 클라우드-기반의 검색은, 개인과 관련된 보정 및 다른 데이터가 어디에서 언제든지 이용되는 임의의 헤드셋 디바이스를 위해 이용될 수 있게 한다. 보정 및 다른 데이터의 도움을 받지않는 검색(unaided retrieval)은, 사용자에게 임의의 웨어러블 디바이스의 "인스턴트 온(instant on)" 피처처럼 보일 것이다. 이러한 설정에 대한 전체적인 데이터 흐름이 도7에 도시된다.
사용자 식별이 일단 확립되면, 하나의 디바이스 폼 팩터 상에서 수집된 보정 세트(calibration set)를 다른 디바이스 폼 팩터에 적용하는 것도 또한 가능하다. 예를 들어, 디바이스의 설계가 업그레이드되고 그리고 헤드셋 내의 카메라(들) 및 조명 소스(들)의 위치 및/또는 방위가 상기 업그레이드에 의해 영향을 받는다면, 오래된 및 업그레이드된 디바이스들 간의 알려진 변위들(displacements)이 보정 세트들에 부가될 수 있다. 이것은 동일하거나 또는 다른 폼 팩터들을 가질 수도 있는 다수의 웨어러블 디바이스들 사이에서 사용자가 하나의 보정 세트를 활용할 수 있게 한다.
추가적인 실시예들에서, CBID는, Systems and Methods for Biomechanically-based Eye Signals for Interacting with Real and Virtual Objects 에 서술된 "안구 신호들" 또는 안구-신호 제어들을 가능 혹은 불가능하게 하는데 이용될 수 있다. 모든 안구 신호들 또는 안구 신호들의 서브세트의 성능은 CBID의 존재에 따라 만들어질 수 있다. 이러한 안구 신호들은 디바이스 착용자의 하나의 눈 혹은 2개의 눈들만으로 만들어진 안구 신호들 뿐마 아니라 실제 세계 혹은 다른 가상 객체들과의 상호작용이 있는 경우의 안구 신호들을 포함할 수 있다. 예를 들어, 안구 신호들은 디바이스 착용자의 손가락에 의해서 만들어진 제스처를 디바이스 사용자에 의해서 보는 것을(외부로 지향된 장면 카메라들을 이용하여) 포함할 수 있다. 이러한 제스처들은 CBID 조건들 하에서 배타적으로 유효해질 수 있다(즉, 행동을 초래한다).
또 다른 실시예에서, CBID-가능(CBID-enabled)) 액션들은, 식별된 개인(들)이 있는 시간들 또는 다른 식별된 객체들이 하나 이상의 장면 카메라들의 시야 내에 존재하는 시간들로 제한될 수 있다. 안면 인식, 객체 인식, 및/또는 다른 식별 형태들이, 디바이스 착용자 및 하나 이상의 다른, 식별된 개인들을 포함하는 이러한 객체들의 코-로케이션(co-location)을 검증하는데 이용될 수 있다. 액션들은 예를 들어, 이들 개인들의 존재에서만 수행되도록 제한될 수 있다.
대안적으로는, 하나 이상의 다른 개인들의 존재 및/또는 승인이, 개인(들)이 착용한 또 다른 CBID-기반 디바이스에 의해서 수행될 수 있다. 이 경우, 개인(들)은 다른 디바이스-식별된 개인들과 함께 코-로케이트될 수 있으며, 또는 디바이스들 사이에서 직접적으로 전송된 인증(선택적으로는 데이터 전송 디바이스들을 개재시키는 것을 포함하여) 또는 보다 중앙집중화된(예컨대, 클라우드-기반의) 인증 서비스들을 통해 전송된 인증과 함께 원격으로 위치(remotely located)할 수도 있다. 코-로컬라이즈드(co-localized) 개인들의 경우, 인증 자격들(authentication credentials)의 전송은 바람직하게는, 근접장 통신(near field communication: NFC)으로 더 제한될 수 있다(즉 다른 데이터 전송 디바이스들의 사용은 배제한다).
이와 반대로, 디바이스 착용자의 주변환경 내에서의 인증되지 않은 개인의 존재 및/또는 액션의 수행 동안에 존재하지 않도록 특별히 지정된 하나 이상의 식별된 개인들은, 디바이스가 임의의 액션 또는 가능한 액션들의 서브세트를 수행하는 것을 금지할 수 있다. 이러한 금지는 특정 헤드셋 디바이스들(예컨대, 전송 동안에 UUID에 의해서 식별된), 카메라들, 마이크로폰들, 적대적 출현(hostile appearance)(예컨대, 군사적 혹은 치안 유지 상황들에서), 기타 등등을 포함하는 임의의 객체들의 존재를 주변환경에서 배제하도록 확장될 수 있다.
이와 유사하게, 액션의 수행 및/또는 디바이스 착용자의 주변환경 내에서 객체(사람을 포함)의 존재는, 능력을 일시적으로 또는 영구적으로 폐지하는 원인이 될 수 있으며, CBID에 기초한 액션들을 향기롭게 하는 권한을 폐지하는 원인이 될 수 있다. 폐지(revocation)는 또한 원격 소스로부터의 명령들에 기초하여 수행될 수 있는데, 원격 소스는 예를 들어, 사기 행위들(fraudulent activities)이 수행되었는지 또는 수행 중인지를 판별할 수 있다. 인증자격들을 철회하는 것은, 개인, 개인들의 그룹, 디바이스, 특정 기능 또는 기능들의 그룹으로 제한될 수 있다.
CBID-가능한, 보안 구매 거래들(CBID-Enabled, Secure Purchasing Transactions)
보안 쇼핑의 또 다른 일례에서, 디바이스 착용자의 신원에 대한 실시간 지식은, 각각의 물품(item)이 선택 및 구매될 때마다 금융 세부사항들(financial particulars)이 전자적으로 교환될 수 있게 한다. 이것은, 각각의 거래 혹은 거래들의 그룹에 대하여, 패스워드들, 보안 질문들, 혹은 계좌 정보를 반복적으로 입력할 필요를 제거한다. 결과적으로, 이러한 즉각적인 구매 시스템은 소위 온라인 쇼핑 "카트들"에 연관된 프로세스들을 제거하는데, 왜냐하면 계좌 정보를 입력하기 위한 목적으로 물품들을 모을(cluster) 필요가 없기 때문이다(도8 참조). 오직 고객의 편의를 위하여, 온라인 쇼핑 세션 동안에 구매된 물품들의 그룹들이 클러스터로 취급될 수 있으며 또는 구매자에게 요약될 수 있다.
도8은 CBID-인가된 온라인 구매를 수행하는 단계들의 시퀀스를 예시한다(온라인 "카트"에 물품들을 모을 필요가 없음). 구매될 물품이 식별되는 때(2900), 구매하고자 하는 소망을 나타내도록 안구 신호(2910)가 실행될 수 있다. 구매될 물품이 확인되면(2910), CBID-기반의 홍채코드(2930)가 인증된 구매자들에 속하는 홍채코드들의 데이터베이스(2940)와 비교된다(2950). 매칭이 판별된다면(2950)(그리고 충분한 자금, 허가들 등이 이용가능하다면), 구매 거래가 수행된다(2960). 이후, 디바이스 착용자는 추가 물품들(2900)에 대한 쇼핑을 계속할 수 있으며, 구매 프로세스는 임의 횟수만큼 반복될 수 있다.
다른 실시예에 따르면, 보안성을 강화하고 그리고 소위 "브릭 앤 모르타르(brick and mortar)" 소매 아울렛(retail outlets)에서의 간소화된 쇼핑(streamline shopping)을 강화하기 위한 시스템들 및 방법들이 제공된다. 이 경우, 디바이스 착용자의 주변환경을 보도록 헤드웨어 디바이스에 마운트된 카메라가, 구매의 관심 대상이 될 수 있는 객체들을 식별하는데 이용될 수 있다. 이러한 식별은, 구매가능한 물품들에 통상적으로 붙어있는 바코드 또는 quick-response(QR) 코드에 기초할 수 있다. 이러한 객체 식별은 해당 기술분야에 잘 알려진 이미지 프로세싱 방법들을 이용한다.
제안된 구입 가격을 포함하는 물품에 대한 정보는 소매 아울렛에 관련된 프로세싱 유닛에 의해서 생성될 수 있다. 이러한 정보는 인근의 모니터들에 또는 디바이스 착용자와 관련된 헤드-마운트된 디스플레이에 표시될 수 있다. 만일 고객이 소저의 물품을 구매하기를 원한다면, CBID-기반의 거래가 고객에 의해서 개시될 수 있다. 이러한 거래들은 가게 전체에 걸쳐서 반복적으로 일어날 수 있다. 배달된 물품들과 거래 기록 사이에서의 매칭은, 상기 물품들이 고객에 의해서 상점으로부터 검증될 수 있게(verifiably) 제거되게 할 수 있다. CBID-기반의 소매점 구매들은 계산대 혹은 금전출납기가 필요없게 한다. 많은 경우들에 있어서, 구매 프로세스 동안의 자동화된, 실시간 정보의 디스플레이는 또한, 잠재적인 고객들을 도와주기 위한 가게 점원들의 필요성을 감소시킨다.
CBID 접근법의 특정한 예시적인 구현예는 안구-신호 방법들 또는 프로세스들을 이용한 "통로에서 구매(buy at the aisle)" 이며, 이는 "룩 투 바이(look to buy)" 이라고 지칭된다. 이 경우, 구매 프로세스는 물품과 관련된 식별 심볼(예컨대, 바코드, QR 코드) 또는 구매될 물품의 객체 식별자를 응시하고, 그리고 구매 활성화 시퀀스를 실행하는 것으로 구성된다. 식별 심볼들은 물품 또는 그것의 포장에 물리적으로 부착될 수 있으며, 또는 물품과 관련된 사이나지(signage)에 있을 수도 있다(예를 들어, 통 안에 있는 벌크 물품들과 관련하여). 구매 활성화 시퀀스는 다음의 단계들의 임의의 조합을 포함할 수 있다.
● 식별 심볼(들) 또는 객체 인식(object recognition)을 인덱스로 디코딩하며 상기 인덱스는 물품에 대한 정보를 데이터베이스로부터 검색하는데 이용된다.
● 상기 물품에 대한 가격을 포함하는 정보를 (HMD 또는 원격 디스플레이 디바이스 상에) 디스플레이한다.
● 안구 신호들 및/또는 다른 상호작용 수단들을 이용하여, 선택적으로는, 구매자가 원하는 임의의 추가적인 정보(예컨대, 세부사항들, 유사한 물품들의 이용가능성, 품질보증 정보)를 선택 및 공급한다.
● 선택적으로는, 가격을 협상한다.
● 구매가 요청되었음을 안구 신호 시퀀스를 이용하여 표시한다.
● 식별된 디바이스 사용자가 인증되었으며 그리고 구매를 하기에 충분한 자금을 갖고 있음을, CBID를 이용하여 보장한다.
● 보안 텔레커뮤니케이션을 이용하여 구매 프로세스를 실행한다.
● 구매가 완료되었다라는 사용자 피드백을 제공한다.
● 상기 물품을 텔리(tally) 또는 상점으로부터 내보내질 수 있는 물품들의 "가상 카트"에 부가한다.
● 유사한 단계들을 이용하여 추가 구매를 수행한다.
● 실제 물품들 또는 이들의 등가물들이 가까운 미래에 내보내지거나 혹은 배달될 수 있도록, 상점으로부터 물품을 물리적으로 내보내거나 또는 구매된 물품에 가상으로 "태그" 한다.
● 임의의 금전 등록기(cash register) 없이, 가게로부터 내보내질 물품들에 대한 허가가 시각적인 검사에 의해서 혹은 자동적으로(예컨대, RFID 방법을 이용하여) 검증될 수 있으며, 이는 모든 물리적인 물품들이 가상 구매 카트에 있는 물품들과 매칭되는 것을 보장한다.
이러한 "룩 투 바이(look to buy)" 프로세스는 다음과 같은 장점들을 갖는다.
● 물품을 응시하면 이용가능한 상세한 정보가 디스플레이를 통해 제공되므로, 가게 점원들과 상호작용할 필요성이 크게 감소하며, 이는 가게 점원들에 대한 필요성을 감소하거나 일소할 수 있다.
● 구매 정보가 중앙 데이터베이스에서 저장 및 액세스되므로, 가격 등과 같은 중요 요소들이 즉각적으로 조정될 수 있으며, 심지어 물품마다(item-by-item basis) 구매자와 협상될 수도 있다.
● 구매 프로세스를 실행하기 위한 소매 인프라스트럭처(retail infrastructure)(즉, 하드웨어)가 최소화되거나 또는 존재하지 않을 수도 있다(왜냐하면, 구매자가 주요 하드웨어를 공급하기 때문에). 이와 유사하게, 소매 하드웨어 유지관리 또는 업그레이드가 필요없다.
● "룩 투 바이(look to buy)" 구매들의 경우, 금전 등록기 또는 계산대(이들을 운영하는 종업원들을 포함하여)가 필요없다.
● 구매자에 의해서 물품이 특별하게 응시(specifically viewed)될 때에 구매가 이루어지므로, 유사하게 바라보거나 또는 기능할 수도 있는 물품들에 관한 애매모호함이 존재하지 않는다.
● 구매된 모든 물품들이 개별적으로 식별되기 때문에, 인벤토리 제어(inventory control)가 완전 자동화될 수 있다.
● "룩 투 바이" 는 또한, 전통적인 소매 구매 방법과 함께 공존할 수 있다.
"룩 투 바이"의 보다 일반화된 일례는 "세계가 너의 상점(world is your store)" 이다. 이 경우, 객체 인식이 이용되어 구매할 물품들이 식별되며, 이들은 사용자의 주변환경 내에 그냥(simply) 보여진다. 이것은 안구 신호들 및 사용자의 주변환경에서의 시선 추적을 이용하여 특별하게 관찰되는 객체들에 기반될 수 있다. 일례로서, 상점 안의 드레스 또는 다른 사람이 입고 있는 드레스가 관찰된다면, 객체 인식을 이용하여, 상기 드레스를 구매하기 위한 하나 이상의 온라인 소스들이 식별될 수 있으며, 이후 실제 세계에서 이와 같이 보여진 객체, 표지판 상에 묘사된 것, 또는 디스플레이 상에 보여지는 것(예를 들어, 텔레비젼 광고 동안에)에 대한 인식에 주로 기초하여 즉각적인 구매가 이루어질 수 있다.
"세계가 너의 상점(world is your store)" 구매는, 온라인 구매와 유사한 방식으로 진행될 수 있다. 주요한 차이점은, 구매될 객체의 세부사항(specification)이 객체 인식에 기초하여 만들어지는 점이며, 선택적으로는 객체에 부착된 임의의 식별 태그(예컨대, 바코드, QR 코드)를 응시 및 등록함에 의해서 증강될 수 있다. 또한, 이러한 세부사항은 선택적으로는, 디바이스 사용자와의 상호작용에 의해서 도움을 받을 수 있다. 예를 들어, 객체의 중요 부분이 관찰되지 않았다면, 객체의 신원을 보다 완전하게 그리고 고유하게 알아내기 위하여, 사용자는 객체들을 볼 수 있으며 그리고 객체들과 상호작용할 수 있다. 일례로서, 드레스의 구매는, 원래는 전면이 보여졌던 드레스의 후면을 볼 필요가 있을 수 있다. 사용자는 상호작용형 프로세스(interactive process)를 통하여 후면을 보도록 조언을 받을 수 있다. 텍스트, 그래픽 정보, 지시 정보, 혹은 사용자의 시야 내에서 덧대어진 "증강 현실" 정보를 사용자에게 제공하는 상호작용형 대화(interactive dialogue)는, 사용자의 결정 프로세스를 용이하게 할 수 있는바, 이는 물질들, 능력들, 성능들, 품질, 순위들(ratings), 친구들에 의한 사용후기, 가격, 선적 시기, 기타 등등과 관련된 안구 신호들을 통해 정보를 상호작용적으로 제공한다. 또한, 이러한 대화는 사용자 신원, 특정 정보에 관한 사용자 행위들의 블록 트랙킹(block tracking), 기타 등등을 검증하기 위하여, 실질적으로 지속적인 혹은 간헐적인 사용자 인증을 요구받을 수 있다. 또한, 상기 구매는, 신원, 과거 거동들, 성능, 선호사항들, 및 욕구들, 가령 디바이스 사용자의 드레스 사이즈 기타 등등과 관련되는 개인적인 기초 정보의 데이터베이스에 대한 액세스를 포함할 수 있다. 온라인 구매들 동안에서 처럼, 구매(들)을 위한 인증은 CBID에 기초한다. 물건(들)은 사용자와 관련된 주소로 배송될 수 있다.
대안적으로는, 장소들 혹은 개인들에 대한 자동 인식에 기초하여 배송 위치들이 또한 특정될 수도 있다. 예를 들어,디바이스 사용자에 의해서 보여지고 있는 사람과 연관있는 개인 주소로 배송이 이루어질 수 있다. 또한, 디바이스 착용자와 관련된 장소에 대한 인식 혹은 세부사항(예컨대, GPS를 이용한)에 기초하여, 배송이 특정될 수 있다. 장소 인식은 예를 들어, 거리 표지판 혹은 빌딩에 대한 객체 인식에 기초할 수 있다.
다른 CBID-가능한 보안 어플리케이션들(Other CBID-Enabled Secure Applications)
또 다른 실시예에 따르면, 중요한 정보가 원치않는 수신자들에 가는 것을 방지하면서, 디바이스 착용자와 보안 정보의 소스 사이에서 보안 데이터의 교환을 제어하는 장치,시스템 및 방법들이 제공된다. 전송된 데이터에 대한 액세스를 획득하고자 시도하는 최고 레벨들의 전문성에서, 잠재적인 공격 매커니즘은 CBID 시스템과 보안 서버 사이의 양-방향 통신을 모방하기를 시도하는 것이 될 것이다. 이러한 이유로, CBID 시스템과 임이의 원격 컴퓨터 사의 통신들은 암호화된다. 암호 키는 제조된 각각의 헤드웨어 시스템, 타겟 홍채코드에 할당되는 고유 식별 코드를 포함할 수 있으며, 그리고 시간/사용-감지형이 될 수 있다. 전술한 바와 같이, CBID 시스템 내의 암호 및 암호-해독 프로세스들은 또한 하드웨어 요소들를 포함할 수 있는데, 이들 하드웨어 요소들은 액세스하기 어려우며, 전송된 데이터의 보안성을 더욱 증가시킨다.
안구-신호 제어 시퀀스들이 인증(authentication)을 이용하는 행동들의 일례들은 현금 자동 입출금기(ATM)로부터 현금을 인출하는 것, 온라인 구매들을 하는 것, 신원에 의해서 확인 안구-신호 시퀀스를 이용하여 서명될 수 있는 전자 서명들을 필요로 하는 문서들, 온라인, 개인, 그룹, 혹은 또 다른 테스팅 중 임의 형태의 테스팅 동안에 신원 검증 요건들(identity verification requirements)을 준수하는 것, 가령, 전문 운전, 조종(piloting) 또는 다른 운송수단 등과 같은 여러 형태의 고용을 위하여 신원과 결부된 성능 요건들(performance requirements)을 준수하는 것, 구두로 제공되거나 또는 사용자에 의해서 읽혀진 통보받은 동의(consent)에 대한 수신확인(confirming acknowledgement)(이에 따라 판독 동안의 단속성 행동(saccadic activity) 동안에 실질적으로 지속적인 신원 확인이 발생한다), 임의의 법적 구속력이 있는 합의를 수신확인하는 것, 임상 시험(clinical trial) 또는 다른 의학 연구, 처치 혹은 테스트 프로그램을 위해 데이터를 수집하는 동안에 신원 검증 요건들을 준수하는 것, 독서, 체크-인, 수행을 요구하는 임의의 법원-명령된 행위 동안에 또는 가석방(parole), 보호관찰(probation), 혹은 감옥 또는 다른 형태의 수용시설 내의 죄수들에 의한 거동 동안에 신원 검증 요건들을 준수하는 것, 정부에서 모니터링하는 직원들, 에이전트들, 또는 운수보안국(Transportation Security Administration) 훈련 혹은 활동들, 전투 또는 정보 교육 활동들(intelligence training activities), 인구조사 훈련 혹은 활동들(census training or activities)을 포함하는 업무들의 수행 동안에 모니터링 혹은 테스트되는 군인들에 대한 신원 검증 요건들을 준수하는 것, 사용자가 핸드라이팅 프로세스의 캡춰와 연관되는 안구-신호들을 사용하는 사례들을 포함하는 핸드라이팅(handwriting) 동안에 신원을 확인하는 것, 안구-신호 개시 및 상호작용을 포함하는 경쟁적인 혹은 전문적인 비디오 게임 플레이 동안에 신원을 확인하는 것, 체중 감량, 스포츠 훈련, 공포증 극복, 웅변, 금연, 재활 프로그램을 포함하는 개인적인 자기-개발 프로그램 동안에 신원을 확인하는 것, 정보에 대한 안구-신호 구동 캡춰 혹은 레코딩 동안에 신원을 태그하는 것(상기 정보에 대한 개인 신원 확인된 후속 액세스를 위해), 검증될 수 있게 식별가능한(verifiably identifiable) 당사자들이 정보 공유를 선택하는 상호 응시(mutual gaze)의 사례들과 관련된 정보 공유에 참여하도록 신원을 확인하는 것을 포함할 수 있다.
또 다른 실시예에 따르면, 컴퓨팅 디바이스들에 대한 통상적인 패스워드-기반의 액세스를 대체하거나 혹은 증강시키는 장치들, 시스템들, 및 방법들이 제공된다. 이러한 시스템은 패스워드 및/또는 보안 질문들에 비하여, 우수한 보안성을 제공할 수 있다. 이것은, 사용자 신원(즉, 개인별로 완전히 고유함)에 대한 생체측정의 본질로 인한 결과일 뿐만 아니라, 자체 완비된 시스템(self-contained system) 내에서 실질적으로 지속적으로 디바이스 착용자를 완벽하게 모니터링할 수 있는 능력으로 인한 결과이다. 상기 시스템은, 대략 매초 마다, 또는 가능하다면, 안구 신호의 형성들 또는 실제 혹은 가상 환경에서 생물 혹은 무생물 엔티티들 및 행위들을 관찰하는 것을 포함하는 다른 안구-활동들 동안의, 단속 운동들(saccades), 마이크로 단속 운동들(micro-saccades) 동안에 충분히 재-검증할 수 있을 정도로 빠른 샘플링 레이트들을 포함하는 임의의 원하는 빈도로, 디바이스 착용자의 신원을 실질적으로 지속적으로 재-검증하도록 설계된다. 패스워드 입력 다음에 사용자가 (공공연하게, 또는 의도치 않게) 대체될 수도 있는 전통적인 패스워드 입력과 달리, CBID 기반의 컴퓨터 액세스 시스템은 우호적인 디바이스-착용자의 신원이 손실되면 그 즉시 보안 동작들을 중단시킬 수 있다.
또 다른 실시예에 따르면, 소위 "디지털" 혹은 "전자" 서명들의 보안성 및 편의성을 향상시키는 장치들, 시스템들 및 방법들이 제공된다. 전자 서명들은 1) 메시지 혹은 문서의 소스는 알고있는 전송자로부터 온 것이다, 2) 전송자는 메시지 전송을 나중에 부인할 수 없다, 및/또는 3) 메시지는 수송 중에 변경되지 않았다라는 것을 나타내기 위해 다양한 암호화 기술들을 사용한다. CBID-기반의 디지털 서명의 생성은, 메시지의 진정한 소스로서 고유한 개인을 검증할 수 있는 추적가능한(traceable) 방법을 제공한다. 디지털 서명의 일례들은 간단한 생체 인증, 아티팩트(artifact)를 형성하기 위한 가령, 타이핑, 글쓰기(writing), 말하기(speaking) 등의 개인에 대한 임의 형태의 생산적인 창작물(productive creation)을 포함하며, 그 결과 사용자의 시선은 실질적으로 지속적인 생체 인증과 동시에, 생산 행위에 포커싱될 수 있다.
또한, 디바이스의 착용자의 신원을 실질적으로 지속적인 검증하는 것은, 추적가능한 문서들의 연속적인 시리즈가 생성될 수 있게 한다. 만일, 이러한 전자적으로 서명된 문서들이 법적 구속력이 있는 것으로 받아들여진다면, 법적 문서들을 빠르게 교환할 수 있는 능력은, 많은 전문적인 서비스 제공자들이 그들의 서비스들 중 더 많은 것이 온라인에서 안전하게 수행될 수 있게 한다. 이러한 서비스 제공자들의 일례들은, 금융 자문가들, 보험 회사들, 법률가들, 원격 진료 기반의 의료 진단들 및 처방들과 관련된 의사들 및 부동산 세일즈를 포함한다.
통신 링크(155)는 유선 이더넷 또는 가령, IEEE 802.11에 서술된 통신 프로토콜들, 블루투스, 지그비(Zigbee) 등의 무선 기술들 그리고 LTE, GSM, CDMA, 및 GPPRS 등과 같은 모바일 폰 통신 프로토콜들을 포함할 수 있다. 통상적으로는, 다수의 통신 매체들 및 프로토콜들이, 착용자 신원 상태 및 다른 데이터를 원격의 보안 프로세싱 유닛으로 전송하는데 연관될 수 있다. 예를 들어, 헤드웨어 디바이스 및 로컬 라우터 사이에서는 무선 통신(예컨대, IEEE 802.11)이 이용될 수 있으며, 로컬 라우터는 소위 트위스트-페어 유선 시스템(twisted-pair wired system)을 통해 패킷들을 전송하며, 트위스트-페어 유선 시스템은 광 섬유 케이블을 통해 멀리 떨어져 있는 중앙 수신 프로세싱 유닛(예컨대, 서버 시스템)으로 데이터를 전송한다.
일부 어플리케이션들에서는, 외부 프로세싱 유닛으로의 보안(즉, 암호화된) 정보의 단방향 소싱과 결부되어, 디바이스 착용자의 신원에 대한 검증을 요구한다. 온라인 구매를 하기 위하여 신용 카드 혹은 계좌 정보를 입력하는 것은 이러한 모드의 예시적인 어플리케이션이다. 다른 어플리케이션들은 디바이스 착용자의 우호적인 신원확인이 존재하는 때에만 배타적으로 보안 정보를 수신할 것을 요구할 수 있다. 기밀인(classified), 판독-전용 문서들의 디스플레이가 이러한 모드의 예시적인 어플리케이션이다. 다른 어플리케이션들은 디바이스 착용자의 우호적인 신원확인이 존재하는 경우 양 방향에서의 보안 전송을 요구할 수 있다. 질의된 질문들 및 학업 시험에 대한 사용자 응답들 둘다를 보호하고자 하는 것이 이러한 모드의 예시적인 어플리케이션이다.
또 다른 실시예로서, 보안 정보의 수신인들을 한정된 수의 식별된 개인들로 제한하는 시스템들 및 방법들이 제공된다. 예를 들어, 독점적인 사업 문서들이 식별된 개인들의 그룹에 배포되는 것이 바람직할 수 있다(수신인들의 일부에 대해서 상기 문서가 기록 혹은 저장될 가능성들이 없이). 이 경우, 문서들은 암호화된 방식으로 전송되며, 이와 함께 내장 디바이스 및 디바이스 착용자들의 홍채코드들 및/또는 특정한 헤드웨어 시스템들에 링크된 암호-해독 키들이 동봉된다. 우호적인 CBID가 존재하고 그리고 또한 선택적으로는 개별적인 시야 차단기(아래 참조)가 제자리에 있는 경우에, 제한된 개수의 수신 사용자들/시스템들 내에서만 문서 암호-해제가 가능할 것이다.
또 다른 실시예로서, CBID는 식별된 개인(또는 개인들의 그룹)에 의한 행위들의 수행을 검증가능하게 문서화하는데 이용될 수 있다. 이 경우, 특정한 데이터 세트를 읽거나 및/또는 볼 때, 디바이스 착용자의 시야의 일반적인 방향으로 지향된 장면 카메라들에 의해서 캡춰된 비디오 시퀀스들 및/또는 마이크로폰에 의해서 녹음된 오디오 시퀀스들이 기록된다. 이들 데이터에는, 디바이스 착용자에 대한 실질적으로 지속적인 신원확인과 타임-스탬프들이 첨부된다. 이후, 시퀀스들은 행위(예컨대, 읽기, 보기 등등)가 수행되었고 그리고 누가 이를 수행했는가 라는 사실에 대한 문서적 증거로서, 짧은 기간 동안 혹은 연장된 기간 동안(필요에 따라) 원격으로 획득될 수도 또는 헤드웨어 디바이스 내에서 획득될 수도 있다.
이러한 실시예들에 대한 어플리케이션들의 일례들은, 고가의 물질들(가령, 다이아몬드)을 취급하는 것, 조립 라인 검사들을 개선하는 것(예컨대, 결함있는 아이템이 제거되었는지), 훈련 프로세스들(예컨대, 운전자 교육), 의료적 절차들(예컨대, 수술 동안에 수행되는 단계들), 재앙적 이벤트들(catastrophic events)(예컨대, 충돌에 연루된 운전자의 신원), 또는 적절한 개인에 의해서 완벽하게 수행될 것이 요구되는 검사들(예컨대, 조종사에 의한 비행 전 검사), 등등의 행위들 동안에 개인들의 신원들을 검증가능하게 문서화하는 것을 포함한다.
어플리케이션들의 다른 일례들은, 유명인(celebrities), 프로 운동 선수, 프로 비디오 게이머, 획기적인 수술을 집도하는 외과의, 또는 행위를 수행하는 다른 전문가들이 실질적으로 지속적인 또는 간헐적인 인증과 함께, 전문가의 시선이 캡춰됨과 아울러 이와 동시에 장면 카메라 레코딩 혹은 가상 디스플레이 레코딩을 수행하는 것이다. 결과적인 "시선-캐스트(gaze-cast)"(즉, 원형 혹은 관련된 객체들 혹은 영역들에 포커싱되는 형태의 사용자의 시선이 동시에 중첩되는 외부 비디오의 레코딩)는 인증될 수 있으며 그리고 재미, 기술 개발, 혹은 다른 사용을 위해 개인들에게 판매, 라이선스, 혹은 대여될 수 있다.
보안성의 정도(Degrees of Security)
다른 실시예들에서, 시스템들 및 방법들은 극도의 보안이 요구되는 상황을 포함하는 넓은 범위의 보안 레벨들로 조절될 수 있다. 극도의 보안 레벨들은 예를 들어, 고 가치 시설물(예컨대, 핵 비축 시설) 또는 비밀 작전들에 대한 액세스를 획득하기 위하여 군사 어플리케이션들 동안에 적용될 수 있다. 이러한 극도의 보안 케이스들에서, 상기 시스템은 홍채의 이미지 혹은 추출된 안구를 홍채 추적 카메라의 시야 내에 배치하는 것 등의 복잡한 속임수 시도들을 방어해야하만 한다. 이러한 시도들에 대항하는 수단들의 일례로서, 눈의 생리학적인 반응들이 모니터링될 수 있다.
보안 프로토콜들은 잠금해제, 활성화, 또는 이벤트를 인증하기 위하여, 소정 액션 또는 일련의 안구 신호들에 다수의 개인들이 관련될 것을 요구할 수 있다. CBID 및 안구 추적을 구비한 HMDs 를 착용한 개인들은, 이벤트를 개시하기 위해서는, 인증된 병렬, 직렬, 혹은 상호관련된 액션들을 수행하는 것을 포함하는 보안 프로토콜에 따라야 한다.
이러한 높은 보안 레벨을 갖는 실시예들에서, 보안-기반 측정들(security-based measurements)은 주변환경이 안전하다는 하나의 신뢰 측정(single measure of confidence)으로 합병될 수 있다.
복합 보안 인덱스(Composite Security Index: CSI) 같은 것이 이용되어, 보안 정보가 디스플레이될 것인지 및/또는 신뢰할만 것으로 간주될 수 있는지를 평가할 수 있다. 예를 들어, CSI의 감소는 추가적인 보안 질문들 또는 "더미" 정보가 디바이스 사용자 반응들을 추가로 테스트하게 할 수 있다. 만일, CSI가 지속적으로 떨어진다면, 다양한 추가 단계들이 취해질 수 있는데, 여기서 예를 들어 CBID 플랫폼은, 원격의 보안 서버에 의해서, 디바이스 착용자의 주변환경에 관한 비디오 및/또는 오디오를 전송할 것을 요구받을 수 있다. 원하는 보안 레벨에 따라, CSI에 기여하는 성분들이 좁게 혹은 넓게 선택될 수 있다. CSI 성분들은 다음 중 하나 이상을 포함할 수 있다.
a. 실시간 홍채 스캔들과 관련된 식별 계수들의 매칭 정도(엄격성 기준을 포함하여),
b. 높은 엄격성(즉, on-axis) 홍채 인식 이후에 경과된 시간,
c. 오프-축(off-axis) 응시 동안 눈 주위의 영역들과의 패턴 매칭의 신뢰성의 정도,
d. 홍채들의 지오미트리, 포지션, 및 움직임을 포함하는 안구 생체측정(ocular biometrics),
e. 디스플레이와 관련된 방향을 바라보면서 디바이스 착용자가 소비한 시간(및 일관성),
f. 눈 깜박임(즉, 눈꺼풀이 홍채를 커버하는 짧은 기간)들의 존재, 빈도, 및 속도,
g. 헤드웨어 디바이스의 구조적 무결성을 판별하는 센서들의 출력
h. 헤드-업 디스플레이 또는 인근의 디스플레이 모니터 상의 정보(예컨대, 질문들)의 디스플레이 시간과 비교되는, 디바이스 착용자 피드백 응답들에 관련되어 경과된 시간 측정치,
i. 주변 광 조건들의 변화들, 동공 반응들이 이러한 변화들에 대해 정상 범위 내인지를 포함함,
j. 랜덤한 간격으로 헤드웨어 시스템에 의해서 유발되는(조명을 조절함으로써) 동공 대광 반사(pupillary light reflexes)의 타이밍,
k. 장면 카메라에 의해서 보여지는 이미지들이 예측된 환경과 일반적으로 일치하는지의 여부(예컨대, 디스플레이 모니터를 보는 것 대(versus) 헤드웨어를 변경하기 위한 명백한 시도),
l. 마이크로폰에 의해서 모니터링된 사운드들이 예측된 환경과 일반적으로 일치하는지의 여부
m. 장면 카메라에 의해서 후속으로 보여지는 이미지들과 비교하여 보안 정보 소스로부터 기원하고 그리고 인근의 모니터 상에 디스플레이되는 코딩된 비디오 패턴들의 매칭의 정도
n. 디바이스 착용자만이 알고있는 식별 코드들의 입력(그리고 이는 시간-민감형일 수 있음).
전술한 생체측정 항목 f 및 j 를 사용하는 일례는, 눈을 향하고 있는 카메라가, CBID 시스템을 속이려는 시도로서 사기꾼 사진(imposter photograph), 콘택트 렌즈, 또는 심지어 소유자로부터 외과수술적으로 제거된 눈(섬뜩함) 형태인 눈의 복제물 대신에, 인증받고자 하는 사용자의 살아있는 진짜 눈을 정말로 보고 있는 것인지를 보장하기 위한 것이 될 수 있다.
추가적인 실시예에서, 안구 신호 판별 및 인증은, 시스템 아키텍처의 최하위 레벨들 내에서 로직 및 기능이 유지되게 식별 및 인증 방법들을 실리콘 내에 건설함으로써 공격자들을 방해하도록 설계된 커스텀 빌트 실리콘(custom-built silicon)(주문형 반도체 ASIC을 포함함) 내에서 수행된다. 이것은, 디바이스의 프로그램가능한 소프트웨어를 변경하는 것에 기반하는 보안 공격들을 방어하는데 도움을 준다. 또한, 방법들은 이러한 저-레벨 시스템 아키텍처 내에 펌웨어 혹은 하드웨어 인코딩된 명령들을 암호화하는데 이용가능하다.
식별된 개인에 의한 "눈으로만" 보기("Eyes Only" Viewing by an Identified Individual)
또 다른 실시예에 따르면, 누구든지 다른 사람에게 보여주기 위하여 보안 콘텐트를 기록 혹은 저장할 가능성이 없이, 보안 정보의 수신을, 한명의 실질적으로 지속적으로 식별되는 개인만으로 한정하기 위한 시스템들 및 방법들이 제공된다. 예를 들어, 온-라인 시험들의 원격 관리 동안, 시험받는 사람이 시험 문제들을 읽어야 할 필요가 있다. 하지만, 만일, 다른 개인 혹은 레코딩 디바이스(예컨대, 도1의 카메라 125)가 시험 문제를 다른 사람들에게 누설할 의도를 가지고 시험 문제들을 저장 혹은 옮겨적기 위하여 시험 문제를 볼 수 있는 방법이 있었던 경우, 동일한(혹은 유사한) 시험에 대한 시험 관리의 무결성은, 다음에 시험 보는 다른 사람들에 대해서는 훼손될 수 있다.
이러한 어플리케이션들을 위하여, CBID 시스템은 헤드-마운트된 디스플레이와 함께 구현될 수 있다. 하나 이상의 시야 차단기들이 디스플레이 주위에 배치되는데, 이는 디스플레이가 디바이스 착용자에게만 보이도록 능력을 제한하기 위한 것이다. 이러한 구성의 키 양상은, 실질적으로 지속적인 사용자 식별 및 보안 정보의 디스플레이 둘다가 동일한 디바이스 내에서 수행된다라는 사실이다. 보안 정보는 우호적인 CBID가 확립된 때에만 디스플레이되며, 이는 다른 개인이 보안 콘텐트를 보는 것을 불가능하게 만든다. 헤드 마운트된 디스플레이와 디바이스 착용자의 눈 사이의 광 경로 상에 배치된 임의의 객체는 CBID를 파괴한다.
추가적인 실시예들에서는, 시야 차단기들이 제자리에 있는지를 보장하고 그리고 CBID 시스템의 구성요소들이 조작(temper with)되지 않았음을 보장하는 센서들을 추가함으로써, 추가적인 보안 레벨들이 확립될 수 있다. 이를 구현하는 상대적으로 간단한 방법은, 상기 시스템의 모든 구조적 및 전자적 요소들을 통해 직렬로 연장되는 전도성 경로들을 부가하는 것이다. 조작되거나 또는 임의의 시스템 요소가 제거되면, 전기적 연속성이 깨어지며, 따라서 이는 시스템에 의해서 감지될 수 있다. 이러한 정보누출의 결과, 우호적인 CBID가 디스에이블될 것이며 및/또는 정보누출에 대한 표시가 보안 정보 서버로 전송될 것이다.
또한, 헤드 마운트된 디스플레이를 둘러싸는 시야 차단기의 구조적 무결성은 가령, 콘택트 스위치, 푸시 버튼 스위치, 홀 효과(hall effect) 스위치, 반사형 광전지(reflective photocells), 및/또는 용량성 센서들 등의 넓은 범위의 전자 부품들에 의해서 감지될 수 있다. 시야 차단기는 이중-사용(dual-use)을 위해 제작될 수 있는바, 예컨대 이것은 비-보안 어플리케이션들 동안에는 눈에 띄지 않으며(unobtrusive), 따라서 헤드 마운트 디스플레이가 씨 쓰루 모드(see through mode)(즉, 차단기가 제거된 상태) 또는 높은 보안성을 갖는 "개인 뷰어(individual viewer)" 모드(즉, 시야 차단기가 부착된) 둘다에서 사용될 수 있게 한다.
극도의 보안성이 요구되는 다른 실시예에서, 헤드 마운트된 디스플레이는 영구적으로 제자리에 배치되는 고도의 조작-방지용 시야 차단기를 구비하도록 제작될 수 있다. 극도의 보안성이 요구되는 또 다른 실시예에서, 헤드 마운트된 디스플레이는 부가된 혹은 통합된 전기변색(electrochromic) 물질층을 포함할 수 있는데, 상기 전기변색 물질층의 투명도는 전자적으로 제어될 수 있다.
또한, 도7을 참조하면, 원격 프로세싱 유닛(160)과 정보를 디스플레이하는데 이용되는 디바이스(400)는, 서로 소정 거리만큼 떨어져 있으며 그리고 보안(예컨대, 암호화된) 통신 링크(155)를 필요로 하는 별도의 디바이스들이 될 수 있다. 대안적으로, 상기 원격 프로세싱 유닛(160)과 디스플레이 디바이스(400)는 단일 패키지 내에 통합될 수 있다. 프로세싱 및 디스플레이 능력들이 통합된 이러한 디바이스들의 일례들은, 우호적인 사용자 식별이 있는 경우에만 보안 데이터를 암호해제하도록 소프트웨어가 코딩될 수 있는 랩탑 컴퓨터, 테블릿, 및 모바일 폰이다.
도9a 및 도9b는 예시적인 시스템이 아이웨어(eyewear) 디바이스(500) 내에 통합된 것을 도시하며, 아이웨어 디바이스(500)는 헤드-마운트 디스플레이(505)(헤드-업 디스플레이, HUD, 레티날 디스플레이, 가상 현실 안경, 증강 현실 안경, 또는 스마트 안경 등의 다른 다양한 이름들로 지칭되기도 함)를 포함한다. 도9a에 도시된 바와 같이, 상기 시스템은 가시 혹은 근적외선 광 소스(400)를 포함하는데, 이는 홍채(115)의 영역을 조명한다. 홍채(115) 및 눈의 영역 내의 피처들의 이미지들을 수집하기 위해 카메라(125)가 이용된다. 상기 디스플레이는 구조화된 빛(즉, 디스플레이 이미지를 구성하는)이 망막(52) 상에 반사 혹은 투영되도록 구성된다. 상기 아이웨어 디바이스는 노즈 피스(nose piece)(510)와 이어 스템(ear stem)(515)을 포함하는데, 이는 상기 시스템이 통상적인 안경과 유사한 방식으로 착용될 수 있게 한다. CBID 시스템(100)은 아이웨어 디바이스 내에 통합될 수 있으며 또는 웨어러블 컴퓨팅 혹은 아이웨어 디바이스에 대한 액세서리로 제작될 수도 있다.
도9a의 경우, 디스플레이(505)는 주변환경들을 보기 위하여 디바이스 착용자가 투영된 이미지를 지나쳐서 볼 수 있도록 구성된다. 도9b에서는, 디바이스 착용자를 제외한 그 어떤 개인(또는 비디오 시스템)도 웨어러블 디스플레이(505)의 콘텐트를 볼수 없도록, 시야 차단기(520)가 전략적으로 배치된다. 그 결과, 디바이스 착용자는 디스플레이(505)를 보는데 사용되는 동일한 눈으로는, 주변환경을 볼 수 없다. 이러한 구성은 디스플레이(505)의 콘텐트가 옮겨적어지거나 또는 기록되는 것을 방지한다. 시야 차단기(520)가 제 자리에 있는지의 여부 및/또는 시야 차단기(520)의 은폐(concealment) 기능을 무력화시키기 위한 시도들이 있었는지의 여부를 검출하기 위하여, 스위치(525) 및/또는 다른 감지 요소들이 이용될 수 있다.
전술한 바와 같은 "기계적인" 시야 차단기에 대한 대안으로서, 다른 예시적인 실시예는 콘텐트가 디스플레이되는 곳(즉, 눈을 향하는 곳)과 외부 환경 사이의 영역에서 헤드 업 디스플레이(혹은, 눈 인근의 다른 디스플레이 디바이스)의 투명도를 전자적으로 제어하는 것을 이용한다. 이것은 마치 "전자 셔터" 처럼 작용하며, 외부 환경에 있는 임의의 사람 혹은 레코딩 디바이스가 디스플레이의 콘텐트를 볼 수 있는지 없는지를 제어할 수 있다. 광 투명도 혹은 전자변색에 대한 전자적 제어는 수 많은 매커니즘들에 의해서 구현될 수 있는데, 이러한 매커니즘들은 액정(즉, LCD 디바이스들에서 이용되는 동일한 원리들), 부유 입자 디바이스들(suspended particle devices: SPDs), 나노크리스탈(nanocrystals) 및 소위 "스마트 안경"에서 종종 이용되는 다른 매커니즘들을 포함할 수 있다.
방금 설명된 착탈가능한 기계적인 차단기와 유사하게, HUD 주위의 물질(들)의 불투명도를 조절하는 것은, 디바이스 착용자(도9b 참조) 이외의 그 누구에 의해서도 디스플레이의 콘텐트가 보여지는 것을 방지한다. 이러한 전자 제어의 주요한 장점은, 불투명도를 제어하는 디바이스 자체의 능력인바, 예를 들어, 보안 정보가 디스플레이되는 중임을 상기 디바이스가 알 때에만 광 투과를 차단할 수 있다. 보안 모드에 있지 않은 경우, HUD는 정상 디스플레이 모드에서 동작할 수 있는바, 정상 디스플레이 모드에서 사용자는 디스플레이 "너머로(beyond)" 실제 주변환경을 볼 수 있다. 보안 모드인 경우(즉, 불투명한 경우), 사용자는 디스플레이 너머로 외부 세계를 볼 수 없으며 그리고 보다 중요하게는, 외부 환경에 있는 그 누구도 디스플레이의 콘텐트를 볼 수 없다. 디스플레이 기능을 수행하는 구성요소들과 차단 기능을 수행하는 구성요소들이 결합되어 하나의 구조를 형성하는 경우(상기 하나의 구조는 기능을 파괴함이 없이는 분리시킬 수 없음), 이러한 전략이 특히 유용할 수 있다.
추가적인 동작 모드로서, 광-차단 혹은 불투명 모드는 또한, 외부 세계로부터의 간섭 광을 최소화하는데 이용될 수 있는데, 이는 HUD 내에서 미세 디테일(fine detail)을 보는 것을 향상시키기 위한 것이다. 예를 들어, 미세한, 검은 혹은 낮은 콘트라스트 구조들을 갖는 사진이 디스플레이될 때, 주변환경으로부터의 간섭 광(즉, 소위 "잡음")이 차단되는 경우, 이들 구조들은 디바이스 착용자에 의해서 보다 잘 보여질 수 있다. 불투명도의 전자적 제어는, 이러한 형태의 제어를 자동으로(즉, 디스플레이 콘텐트에 따라) 혹은 사용자 제어 하에서 수행되게 할 수 있다.
본 실시예에 대한 추가적인 개선안으로서, HUD의 특정 영역들(전체 디스플레이 영역이 아니라)의 불투명도를 제어하는 것도 또한 가능하다. 이와 같은 공간적으로 접근가능한 불투명도 제어에서, 디바이스는 특정 보안 정보 주위의 하나 이상의 영역들만을 차단할 수 있다. 예를 들어, 계좌 번호 혹은 사용자 패스워드 주위의 영역은 외부 시선으로부터 차단될 수 있는 반면에, 사용자는 상기 보안 영역들 이외의 영역들에서 외부 세계를 계속해서 볼 수 있다. 불투명도에 대한 접근가능한 공간적인 제어는, 유사한 매커니즘들이 LCD 프로젝션 디바이스들에서 이용되고 있는 LCD 기술들(백라이트가 없는)에 특히 적합하다(그리고 전자 업계에서 잘 개발되어 있다),
보안 개인 증강 메모리(Secure Personal Augmented Memory: PAM)
식별된 디바이스 착용자의 장기(long-term) 메모리로 매체를 전자적으로 향상시키기 위한 구성요소로서 안구 추적을 활용하는 시스템이다. PAM 저장 및 검색은 완벽하게 호환가능한 정보 양상들(completely interchangeable information modalities)(이미지들, 오디오, 비디오, 텍스트, 아이콘, 기타 등등)을 포함할 수 있다. 다음은 PAM을 위한 3개의 전반적인 단계들이다.
1. 개인에게 중요한, 추적가능한(trackable) 객체들을 식별한다.
2. 하나 이상의 식별된 추적가능한 객체들 또는 속성들을 포함하는 데이터 세트들과 결부하여, 다중-양상들의 동적인, 히스토리컬 아카이브(archive)를 유지한다.
3. 추적가능한 객체 사양(들) 또는 속성(들)의 임의의 모드에 기초하여 하나 이상이 데이터 세트들을 식별 및 검색한다.
PAM의 첫번째 단계는, 추적가능한 객체들(식별된 개인에게 "중요한" 것임)의 기록들을 생성하는 것이다. 이들 추적가능한 객체들은, 이미지, 오디오 클립, 비디오 클립, 텍스트, 아이콘, 태그(예컨대, 가격, 제조자), 위치-기반으로 태그된 맵 상의 객체, 기타 등등을 포함하는 다양한 모드들에 있을 수 있다. 추적가능한 각각의 객체와 관련된 서로 다른 저장 모드들 모두를 결합하도록 변환 알고리즘들이 이용될 수 있다. 예를 들어, 이미지 인식은 하나 이상의 이미지들 내에서 객체들을 식별(예컨대, 텍스트로 변환)하는데 이용될 수 있고, 음성 인식은 오디오를 텍스트로 변환하는데 이용될 수 있으며, 텍스트-to-음성 인식은 텍스트를 음성으로 변환하는데 이용될 수 있고, 아이콘은 특정 개체 또는 개체들의 그룹과 연관될 수 있으며, 기타 등등이다. 또한, 시선에 의해서 표상되는 관심영역들은, 장면 프로세싱 요건들을 감소시키고 그리고 관련된 사용자-식별된 객체들만으로 정보를 식별하도록, 관심 영역과 결부되거나, 공존하는 홍채코드-기반의 인증과 결부될 수 있다.
필요한 경우, 정보의 추가적인 변환들이 적용될 수 있다. 예를 들어, 텍스트 또는 오디오는 하나의 언어에서 다른 언어로 변환될 수 있다. 이미지 인식은 특정 객체들을 식별하는 것으로 확장될 수 있다. 예를 들어, 자동차를 식별하는 알고리즘들은, 디바이스 착용자의 특정한 자동차(들)을 더 식별하도록 구성될 수 있다. 객체의 가격 및 물리적인 특징들(물질들, 설계 피처들, 등등)은 보관 알고리즘들(archival algorithms)에서 식별 및 포함될 수 있다.
개별 사용자들은 임의 개수의 개인화된(personalized), 추적가능한 객체들을 생성할 수 있다. 대부분 공통적으로, 시선 추적(gaze tracking)이 이용되어, 한 사람의 환경에서 보여지고 있는 객체들을 식별한다. 또한, 추적가능한 이미지 객체들은, 다운로드된 이미지들 혹은 사진들(예컨대, 도로 표지판, 에펠탑 등등)로부터 식별될 수 있는데, 여기서 관찰 중인 객체들을 식별하는데 다시 한번, 시선 추적이 이용된다. 보여진 객체들은, 예를 들어, 이미지 인식에 기초하여 식별 및 인덱스화될 수 있다. 다른 양상들(예컨대, 음성 구절(voice phrase))도 후속 검색을 위하여 유사하게 분류되고(예컨대, 인식되고) 그리고 인덱스화될 수 있다.
PAM의 두번째 단계는, 이미지, 비디오, 텍스트, 오디오, 기타 등등을 포함할 수 있는 이들의 관련된 양상들에 따라, 보여진 객체들에 대한 인덱스화된, 검색가능한 히스토리컬 아카이브(archive)를 동적으로 부가 및 유지하는 것을 포함한다. 추가적인 객체 "속성들(attributes)"을 정의하도록, 기록 생성 당시에 이용가능한 추가적인 정보도 또한 저장될 수 있다. 이것은 예를 들어, 생성 날짜 및 시간, 데이터 세트를 생성한 사용자 및/또는 디바이스, 지리적 위치, 다른 식별된 개인들의 존재, 기타 등등을 포함할 수 있다.
임의 횟수 반복될 수도 있는 마지막 단계로서, 인덱스화된 객체들 및 이들의 관련 데이터에 대한 검색은, 예를 들어, 상기 객체 혹은 유사한 객체를 보는 것(viewing)에 기초할 수 있다. 정보 검색을 위한 기준은 예를 들어, 음성 인식, 텍스트의 한 부분, 특정 객체와 관련된 아이콘, 또는 객체들의 분류, 기타 등등을 포함할 수 있다. 추가적인 실시예들에서, 초기에 정보를 저장하는데 이용되는 정보 모드는, 데이터 아카이브로부터 정보를 검색하는데 이용되는 모드와 매칭될 필요는 없다.
예를 들어, 지갑의 이미지가 GPS-기반 위치에서 특정 지갑을 식별하는데 이용될 수 있다. 지갑에 대한 데이터 검색은, "내 지갑 어디 있어?" 와 같은 구두 문의(verbal query)에 응답하여 수행될 수 있다. 지갑에 대해서 검색된 후속 정보는, 디바이스 사용자의 현재 위치와 관련하여 지갑의 위치를 보여주는 지향성 맵(directional map)(즉, 다른 데이터 형태임)의 형태를 취할 수 있다.
특정한, 원하는 데이터 세트에 대한 검색은, 객체들의 속성에 기초하여 더 분리될 수 있다. 전술한 바와 같이, 속성들은, 객체에 대하여 저장된 보충적인 정보를 포함한다. 만일, 속성들이 위치, 날짜/시간, 및 가격을 포함한다면, PAM 시스템은 다음과 같은 질문에 응답할 수 있다: "지난 화요일에 백화점에서 내가 본 가장 싼 셔츠가 뭐지?"
만일, 2 이상의 데이터 세트들이 검색 기준과 매칭된다면, 디바이스 사용자는 1) 임의의 모드를 이용한 추가적인 입력에 기초하여 더 분리하던가(예컨대, 객체를 더 가깝게 본다던지, 단어들을 말하던지, 속성들을 특정하던지, 기타 등등) 또는 2) 가능한 원하는 데이터 세트들의 간략한 묘사들(thumbnail sketches)(예를 들면, 역 연대순(reverse chronological order)으로)을 디스플레이할 수 있다.
PAM을 이용하는 또 다른 예시적인 시나리오는, 새롭게 본 객체(가령, 책상 서랍 열쇠들의 세트)에 대한 추적을 지속할 수 있는 능력이다. 디바이스 사용자는 열쇠들을 바라보고 그리고 "내 책상 서랍 열쇠들임" 이라고 말함으로써 시작할 수 있다. 열쇠들이 보여질 때마다, 상기 열쇠들이 보여진 장소 및 시간을 포함하는 데이터 세트가 저장된다. 나중에, "내 책상 열쇠가 어디 있지?" 라고 질문 받는 경우, 상기 디바이스는 열쇠들이 있는 장소 및 열쇠들을 마지막으로 본 시간을 포함하는 이미지와 함께 응답할 수 있다.
PAM 데이터 저장을 트리거링하는 초기 이벤트가 "가상 객체"인, PAM의 또 다른 일례로서, 사용자는 온라인 이미지 혹은 그 사람의 비디오 형태로서 일 개인을 볼 수 있다. 상기 사람은 온라인 정보를 통하여 또는 볼 때에 이름을 언급함으로써(예컨대, "짐 스미스"), 식별될 수 있다. 다음으로 사용자는 임의의 다른 원하는 속성들(나이, 직업 등등)을 언급할 수 있다. 상기 개인을 직접 볼때마다 혹은 가상으로 볼때마다 후속 데이터 세트들이 첨부될 수 있다. 나중에, 사용자는 다음과 같은 질문을 할 수 있다: "내가 짐 스미스를 마지막으로 본게 언제지?" 또한, 상기 디바이스는 그가 장면 카메라에 보여질 때마다 짐 스미스를 식별할 수 있다.
PAM 사용의 다른 일례는 개인의 자동차을 바라보고 그리고 "내 차" 라고 말함으로써 개시된다. 자동차가 주차되면, 자동차가 식별되며 그리고 자동차의 최근의 이미지들 및 위치를 포함하는 데이터 세트가 생성되다. 나중에, 상기 디바이스는 스크린 상의 아이콘에 응답할 수 있는데 상기 아이콘은 다음과 같은 질문에 대한 답을 나타낸다: "내 차가 어디 있지?"
만일, "너무 많은 정보"가 이용가능해지면, 디바이스 사용자는 특정 데이터 세트들 및/또는 타겟 객체들을 "잊어버리도록(forget)" 매커니즘들을 통합할 수도 있다. 예를 들어, 데이터 생성 시간은 가령, 특정 열쇠 꾸러미 혹은 자동차의 과거의 위치들과 같은, 오래된 항목들을 "잊어버리는"데 이용될 수 있다. 서로 다른 기준들이 서로 다른 추적가능한 객체들에 지정될 수 있다.
정보 저장 및 정보 검색 둘다는 CBID에 기초할 수 있다. 데이터 세트들은 웨어러블 디바이스 상에, 원격 프로세서 내에 존재할 수 있으며, 및/또는 클라우드-기반의 시스템들을 통해 분산될 수도 있다. 보관 위치(archival location)에 관계없이, 이러한 데이터의 저장 및 검색 둘다는, PAM의 CBID 소스로 한정될 수 있거나 또는 PAM의 CBID 소스에 의해서 인증된 개인들의 그룹으로 한정될 수 있다. CBID를 이용하면, 정보를 개인으로 분리하는 것은, 하나의 디바이스가 다수의 개인들에 의해서 착용되는 경우라 하여도, 그 개인만으로 한정될 수 있다.
실제 및 가상 객체들과 상호작용하기 위한 생체역학-기반의 안구 신호들을 위한 시스템들 및 방법들(Systems and Methods for Biomechanically-Based Eye Signals for Interacting with Real and Virtual Objects)에 서술된 바와 같이,
안구 신호들(특히, 머신 학습 기법들과 연관된 안구 신호들)은 사용자의 의도(intent)를 파악하는데 이용될 수 있다.
이러한 방법들을 이용하면, PAM-기반의 정보가 검색될 수 있으며 그리도 디바이스 착용자에게 "제안(suggest)"될 수 있다. 이것은 보다 추상적인(abstract) 데이터 검색 방법(특정한 질문들을 해결하는 것에 비하여)이다. 하지만, 디바이스는 주변환경에서 보여지는 객체들, 주어진 질문들, 하루 중 시간, 지리적 위치, 인식된 단어들, 기타 등등에 기초하여 보관된 데이터를 제시할 수 있다. 또한, 미래의 "제안들"은 디바이스 착용자가 "제안들"을 받아들였는지 혹은 거절했는지의 여부에 기초하는 머신 학습 접근법들에 대한 변경들에 기초할 수 있다.
보안 인간 대 인간(들) 통신(아이커넥트)(Secure Human-to-Human(s) Communications (EyeConnect)
하나의 종으로서(as a species), 사업적으로 또는 사회적으로든지 간에 사람을 만나는 경우 공통적인 연관성이 있거나 또는 관심 영역을 공유하게 되면, 우리는 소통에 열중한다. 통신을 할지, 언제, 어떻게, 무엇에 대해 통신을 할지를 결정하는 프로세스는 본질적으로 비효율적이며 그리고 종종 사교적이지 못하다(frequently socially awkward). 또한, 인간의 기억은 불완전하며 그리고 우리는 과거의 만남들에서의 세부 사항들(가령, 이름 또는 지난 번 만남의 주제)을 우리가 잊어버린 개인들을 종종 마주치게 된다. 우리 모두는 이러한 만남들로부터 야기되는 사회적 어색함에 민감하며, 그 정도는 사회적 담론(social discourse)을 방해한다.
"아이커넥트(EyeConnect)"라 지칭되는 프로세스 및 어플리케이션은 웨어러블 컴퓨팅 사용자들을 위한 방법으로서, 명시적으로 선택되고 양호하게 제어되는 보안 및 프라이버시 레벨을 유지하면서도, 서로 다른 레벨들의 인간 관계를 향상시키고 그리고 보다 효율적으로 만들기 위한 방법이다. 아이커넥트는 간단한, 상호간의, 눈 맞춤(eye contact)이 있으면, 서로의 시력(eyesight) 내에 있는 개인들 사이에서 개선된 연결 및 통신을 제공한다. CBID-기반의 아이커넥트는 예를 들어, 보안 및 프라이버시 레벨들이 확립되어 있는 CBID 등록된 개인들 사이에서 연결들을 확립함으로써 개인의 프라이버시를 제공한다.
이러한 어플리케이션을 위한 실시예들의 일례들은 다음을 포함한다.
1. 서로 알고는 있으나 지난 번 만남들의 세부사항을 잊어버린 사람들의 경우, 아이커넥트는 잊어버린 이름을 첫번째 시선 교환 시에 즉시 제공하며 그리고 직접 만남(in-person encounter)을 지원할 수 있는, 전후관계에 맞는 관련 정보를 매끄럽게 제공한다.
2. 사업적, 교육적, 정치적, 사회적 이벤트들에서 또는 다른 장소에서 처음 만난 사람들의 경우; 의미있고, 관련있고, 결실이 있는 연결들은 대부분 운에 맡겨지며 그리고 발전되기에는 시간이 소요된다. 비록, 개인들 사이의 연결들을 자동화하거나 또는 향상시키기 위한 시스템들 및 절차들이 오늘날 존재하고는 있지만, 이들은 비효율적이고, 부정확하고, 애매모호하며, 그리고 때때로는 어색하거나 또는 기존의 소통 흐름 및 사회적 교류에 지장을 줄 수도 있다. 아이커넥트는 이러한 만남들에서 새로운 연결들을 확립함에 있어서 안전한 레벨의 효율성 및 우아함을 가능케한다.
3. 개인(즉, CBID에 등록된 제3자)의 소개를 통해 처음 만난 사람들의 경우, 아이커넥트는 전후관계적으로 관련성 있는 정보의 교환을 촉진하며, 아울러 관련된 공통 연결들, 경험들, 관심사항들, 기타 등등의 개인적 교류를 강화시킨다.
4. 사업 혹은 소셜 교류를 위해 모인 개인들의 그룹의 경우, 아이커넥트는 정보 공유를 목적으로 동적으로 형성된 그룹 내에 개인들을 부가 및 포함시키는 것을 용이하게 한다.
아이커넥트를 따라 교환될 수 있는 정보의 양상의 범위는 또한 아이커넥트의 가치를 확대시킨다. 시각적인 정보가 즉각적으로 및 별개로 디스플레이(예컨대, HUD) 상에 공유될 뿐만 아니라. 멀리에서 시선을 교환한 2명의 개인들 사이에서 확립될 수 있는 즉각적인(instant) "전화통화" 로서 청각적인 정보(aural information)도 교환될 수 있다. 이것은 소정의 보안 어플리케이션들, 소셜 상황들(예컨대, 파티, 바 현장(bar-scene))에서 유용할 수 있으며 그리고 사람들이 서로 자리를 잡으며(spot one another) 그리고 멀리서 대화하기를 원하는 다른 모임들에서 유용할 수 있다.
예시적인 실시예들에서, 아이커넥트는 안면 인식 또는 다른 객체 인식 소프트웨어에 대한 그 어떤 금지도 존중하면서, 이들 기능들을 수행한다. 그렇긴 하지만, 아이커넥트와 관련된 아키텍처는, 웨어러블 카메라들의 시야 내의 있는 사람들에 대한 자동화된 인식의 이러한 최종적인 허용(eventual allowance)을 고려한다. 사실, CBID는, 카메라 이미지들을 획득하는 개인의 신원이 이들 이미지들과 관련이 있음을 보장함으로써 및/또는 이러한 행위들이 발생하는 중임을 촬영당하는 사람에게 통보하는데 상기 신원이 이용됨을 보장함으로써, 프라이버시 문제들을 경감하는데 도움을 줄 수 있다. CBID는, 이미지 취득자의 신원에 기초하여, 개인이 이러한 이미지들을 허용한 경우에만, 카메라 이미지들의 저장 및/또는 전송을 허용 또는 금지할 수 있다. 또한, 취득된 임의의 이미지들과 식별된 디바이스 사용자와의 관련성이, 부적절한 이미지들의 취득을 단념시키는 역할을 해야만 한다. 반복되는 위반자들은, 이미지 및 비디오 파일들에 저장되는 그들의 신원들에 기초하여 식별될 수 있어야 한다.
또한, 아이커넥트 어플리케이션은 지오-로케이션을 지원하며 그리고 밀접한 관계의 개인들(proximity-relevant individuals)의 단방향 혹은 쌍방향 정보 교환을 제공한다. 다른 예시적인 실시예에서, 2명의 아이커넥트 사용자들은, 이들이 연결되어야 하는지 혹은 이미 연결되어 있는지를 결정하도록, 잠시동안 서로를 응시한다. 활성화를 위한 서로의 눈들에서의 이들 상호간의 응시는 동시에 발생하며 그리고 지오-로케이션은 "스파크(Spark)"를 생성한다. 만일, 2명의 사용자들이 이미 아이커넥트된 것이 아니고 그리고 충분한 공통성(commonality)을 갖는다면, 상기 스파크가 점화되며(Ignite), 그리고 사용자들은 개인적인, 입문 대화(personal, introductory conversation)를 지원하도록 전후관계를 고려한 적절한 정보와 함께 즉각적인 "연결 경보(Connect Alert)"를 수신한다.
한 사람의 눈들로, 연결 경보 다음에 디스플레이와 즉각적으로 상호작용함으로써, 연결된 한 쌍의 사용자들은 서로에 대한 선택 정보를 부라우징할 수 있다. 이것은 서로 간의 물리적인 대화에 참여하기 전에, 도중에, 또는 이후에 발생할 수 있다. 또한, 아이커넥트는, 연결 경보를 통해 초기에 공유되는 것을 넘어서, 어느 일 측의 사용자가 제공하기로 결정한, 추가적인 정보의 공유 및 전송을 용이하게 한다.
아이커넥트를 지원하는 2개의 중요한(key) 요소들이 존재한다. 1) 사용자의 "페르소나(Persona)"와 2) 사용자의 "이벤트 프로파일들(Event Profiles)" 이 그것이다. 사용자의 페르소나는 수동으로 입력될 수도 있으며, 페이스북(Facebook) 혹은 링크드인(Linkedln)과 같은 링크된 계정들로부터의 정보로 자동을 채워질 수도 있으며, 및/또는 사용자의 온라인 풋프린트(online footprint)로부터의 다른 정보에 기초할 수도 있다. 페르소나 데이터는 이름, 목표, 관심사항, 직업, 고용주, 가족 구성원, 동료, 전화번호, 취미, 거주지, 좋아하는 스포츠 팀, 좋아하는 음악, 기타 등등과 같은 정보를 포함한다.
사용자의 이벤트 프로파일들은 매칭 및 공유 둘다를 용이하게 하는 정보를 포함한다. 사용자는 사용자의 페르소나로부터의 데이터로 채워지는 필드들을 구비한, 표준화된 이벤트 템플릿들(standardized Event Templates)의 세트에서 시작하여 이벤트 프로파일들을 확립한다. 이벤트 프로파일들은 자동으로 또는 수동으로 채워질 수 있다. "스파크"(즉, 동시발생한, 로컬, 교환된 시선)에 후속하여, 아이커넥트는, "점화(Ignite)"를 할 것인지 그리고 연결 경보를 생성할 것인지를 결정하기 위해, 2명의 사용자들의 액티브 이벤트 프로파일들로부터의 데이터를 비교한다. 선택된 주제들 내에서의 공통성, 연결 이득들(connection interests)에 기초하는 임계값들 및/또는 다른 팩터들이 이용되어 점화가 언제 일어나야하는지를 결정한다. 매칭을 평가하기 위한 정보를 제공하는 것 이외에도, 각각의 이벤트 프로파일들은 또한, 어떤 정보가 연결 경보에서 공유되어야 할지를 정확하게 특정한다. 이와 같이, 이벤트 프로파일들은 점화가 일어나야할지의 여부를 결정하는데 이용될 뿐만 아니라, 어떤 입문 정보(introductory information)가 자동적으로 공유되어야 할지를 결정하는데 사용된다.
표준화된 이벤트 프로파일 템플릿들의 세트는 사업 회의, 파티, 바-현장(bar-scene), 수업, 사무실(office place), 휴가, 거리-현장(street-scene), 스포츠 이벤트, 해변-현장(beach-scene), 교회, 판매 회의, 기타 등등과 같은 이벤트들에서 이용될 수 있다. 각각의 템플릿은 사용자 또는 사용자들의 그룹에 의해서 주문 제작될 수도 있으며, 새로운 이벤트 템플릿들이 아이커넥트 사용자 커뮤니티 내에서 생성 및 공유될 수 있다.
또한, 디바이스 사용자는 넓은 범위의 그날 그날의 조건들(day-to-day conditions)을 충족시키도록, 임의 개수의 커스텀화된 프로파일들을 유지할 수 있다. 예를 들어, 사용자는 다음의 상황들을 커버하기 위한 프로파일들을 유지할 수 있다: 일반적인 사업, 다수의 특정한 사업 회의들 및 다른 이벤트들, 교육적 이벤트들, 취미 모임들, 소셜 상호작용들, 교회, 기타 등등. 서로 다른 상황들에 대해서 서로 다른 프로파일들을 유지함으로써, 정보의 보급이 매우 세밀하게 제어될 수 있으며 그리고 가족, 친구들, 친한 친구들, 사업 동료들, 친한 사업 동료들, 선생님들, 관심사항을 공유하는 개인들, 기타 등등과 같은 그룹에 적합한 방식으로 미리 계획될 수 있다.
하나의 상황에서 다른 하나의 상황으로 넘어가는 것은, 1) 명시적(사용자가 디바이스에게 상황이 바뀌었음을 통보함) 또는 2) 암시적(디바이스가 서로 다른 상황들을 인식함)이 될 수 있다. 상황적 조건들(situational conditions)에 대한 인식은, 여러 팩터들에 대한 고려에 기초할 수 있는바, 이러한 여러 팩터들은, 안면 인식, (친숙한) 객체 인식(예컨대, 집 안에 있는 객체들), 특징적인 행위들에 대한 인식(예컨대, 스포츠 이벤트에서, 골프를 치는 것), 지오-로케이션(예컨대, 공항, 병원), 사이나지(signage), 사용자의 달력에 스케줄링된 이벤트들, 디바이스에 의해서 최근에 수행된 다른 행위들(예컨대, 회의 참석, 호텔 투숙), 음악의 존재(예컨대, 콘서트), 기타 등등을 포함할 수 있다. 몇몇 상황들에서,
2 이상의 프로파일들이 동시에 유효할 수도 있다(예컨대, 취미 및 소셜 행위들이 동시에 취해짐). 이 경우, 교환은, 임의의 적용가능한 프로파일 내에서의 허가들에 기초할 수 있다. 또한, 교환은, 관심사항들 및/또는 특정 조건들(예컨대, 특정 시간대 내에서, 같은 도시에 살았음)의 중첩 정도와 같은 다른 팩터들에 기초하여 "조건적(conditional)"이 될 수도 있다.
상호작용의 모든 레벨들에서, 정보의 교환은, 참가자들의 확립된 신원 및 정보 교환을 위한 이들의 미리-확립된 프라이버시 레벨에 기초한다. 예를 들어, CBID를 이용하여, 침입자가 일시적으로 셋 다운된 디바이스를 맞바꿈하거나 혹은 집어들고, 그리고 개인적인, 디바이스-소유자의 아이커넥트 정보를 제 3 자에게 전송하는 것은 불가능할 것이다.
또 다른 실시예로서, 아이커넥트를 통해 과거에 만난 적이 있는 2명의 사용자들 혹은 아이커넥트의 네트워크 내에서 서로 아는 사람들(acquaintances)로서 서로 연결되었던 2명의 사용자들은 이름을 기억하지 못하는 당황스러움에 두번 다시 직면하지 않을 것이다. 아이커넥트는 "보이지 않는 이름-태그" 및 그 이상을 제공한다. 2명의 이전 지인들은, 이름 기억 및 이전 만남들에 대한 완전한 전후맥락 둘다의 도움으로, 즉시 다시 알게된다(re-acquaint). 이것은 과거의 미팅 이벤트들, 장소들, 시간들, 공유된 정보, 및 심지어 과거의 만남 당시에 혹은 그후에 로그인된 보충 정보의 리마인더들을 포함한다.
또한, 아이커넥트는 전후관계에 맞는 관련 정보(contextually relevant information)의 즉각적인 제시와 함께, 연결된 개인들에 대한 인스턴트 온라인 검색의 결과들을 제공한다. 이러한 만남에서의 사용자들 둘다는, 평지에 있으며(on level ground), 그리고 아이커넥트에서 제공하는 무해하고(innocuous) 풍부한 기억 향상으로 인하여 안심이 된다.
또 다른 실시예에서, 2 이상의 아이커넥트된 개인들 사이에서 중첩되는 관심사항들은 식별 및 디스플레이될 수 있다. 이러한 관심사항들은 에 과거 미팅들의 히스토리컬 콘텍스트 및 식별된 주제들에 대한 정보 교환들에 배치될 수 있다.
예시된 실시예들을 도와주기 위한 시나리오로서, 디바이스 사용자 1(U1)는 사용자 2(U2)를 회의에서 만난다. 이들은 만난 적이 없지만, 둘다 과거에 동일한 회사에서 근무했으며 많은 사람들을 공통으로 알고 있다. 이들은 회의에 참석하기 전에 아이커넥트를 위해 그들의 사업-회의 이벤트 프로파일들을 로딩하였다. 이러한 이벤트 프로파일은 회의에 참석하기 위한 그들 각각의 개인적 목표, 이들의 직업 이력들, 이전 직장들에서 친했던 동료들의 이름들을 포함할 뿐만 아니라, 그들이아이커넥션들을 스파킹하는데 관련이 있다라고 보는 다른 정보를 포함한다. 이들은 또한 각각, 그들의 선호 취미들, 그들의 부인들 및 자식들의 이름들, 자녀가 다니는 학교, 및 보다 개인적인 레벨에서 연결을 생산할 수 있는 다른 개인적인 데이터를 포함하도록, 그들의 사업-회의 이벤트 프로파일을 구성하였다. U1은 그의 직업적 백그라운드(professional background)에 관해서만 정보 공유를 허용하도록 자신의 사업-회의 이벤트 템플릿을 설정하였다. U2의 설정은 모든 매칭 항목들의 공유를 허용한다.
아이커넥트를 활성화시킨 채로, 점심 대기줄에 서 있으면서, 이들이 연결될 것인지를 알아보도록, 이들은 수 초 동안 서로를 응시한다. 그들의 웨어러블 디바이스들 각각은 연결 경보를 디스플레이한다. 이들 둘다는 회사에서 과거에 오버랩됨을 판독하며 그리고 U1은 자신의 자녀와 U2의 자녀가 같은 학교에 다님을 알아낸다. 이들은 또한, 각자가 회의에 무엇때문에 참석했는지를 알게되며 그리고 그들의 프로파일로부터 선택적으로 공유되는 다른 정보를 아이-스크롤(eye-scroll)한다. 이후, 이들은 대화에 참여하고, 공통 관심 영역들을 즉시 공유하며 그리고 회의에 대한 그들의 목적을 열심히 설명한다. 이들은 아이커넥트 어플리케이션을 통해 증명서들(credentials)을 교환하며 그리고 만날 약속을 잡는다. 수 분 동안에 이들은 그들의 초기 연결을 마무리지으며 그리고 다른 참석자들과의 아이커넥트를 위해 자리를 옮긴다.
다른 실시예들을 설명하기 위하여 상기 시나리오를 확장하면, U2 와의 만남 동안에, U1은 또한 사용자 3(U3)과 간략하게 아이커넥트된다. 나중에, U1은 파티에서 U3을 발견하며 그리고 그/그녀가 낯이 익다고 생각한다. U3과 U1은 서로를 응시하며, 스파크를 발생시키고, 그리고 아이커넥트는 U3과 U1이 이미 아이커넥트되었음을 알려준다. 파티 이벤트 프로파일 보다 지인 프로파일(Acquaintance Profile)이 우선시되며, 그리고 아이노우유(EyeKnowU) 경보가 U3과 U1 각각에 대해 생성된다. U1은 U3의 이름, 이들이 만났던 다른 이벤트에 대한 주석, 및 U3가 그 이벤트에서 공유했었던 정보를 알 수 있다. U1은 현재의 파티 이벤트에 대하여, 새로운 매치와 함께, 점화(Ignition)가 있음을 주목하며(note) 그리고 아이-시그널링(eye-signaling)을 통해 상기 파티에 대한 연결 경보를 볼 것을 선택한다. U1은 파티 콘텍스트에 대하여 U3에 의해서 제공되는 몇몇 추가 정보를 보며 그리고 U3도 또한 조종사임에 주목한다. U3도 동일한 것에 주목한다. 이들은 서로 반갑게 만나며, 이들의 과거의 만남을 확인하며(acknowledge), 그리고 비행에 관한 이들의 열정에 관하여 토론하기 시작한다.
아이커넥트 서비스는 안면 인식을 다른 개인들의 이미지들에 선택적으로 적용할 수 있다. 시야 내에 있는 사람들에 대한 정보를 부정하게(surreptitiously) 제공하는 것을 방지하기 위한 단계들이 취해질 수 있는바, 특히, 이러한 기능에 대한 금지가 있는 상황들에서 그러하다. 2명의 사람들이 서로를 동시에 응시할 때, 아이커넥트의 안구 추적 소프트웨어는 웨어러블 장면 카메라와 함께 작동하여, 사용자가 사용을 허용한 정보로부터 얻어진 스파크 이벤트를 정의한다. 예를 들어, 전술한 일례에서, U1의 아이커넥트 어플리케이션 내에 있는 안구 추적 소프트웨어는, U1이 다른 사람의 눈들을 응시하고 있음을 주목한다(note). U2의 아이커넥트 소프트웨어도 U2가 다른 사람의 눈들을 응시하고 있음을 동시에 주목한다. 각각은, 응시되고 있는 사람의 얼굴에 대한 일시적인, 일회용(disposable) 사진을 찍는바, 따라서 U2는 U1의 얼굴을 캡춰하고, U1은 U2의 얼굴을 캡춰한다. 매칭을 위해 각각의 얼굴로부터 안면 피처들이 추출될 수 있으며 그리고 상기 이미지는 사용자 확인을 위해 보관된다.
각각의 이미지는 시간 및 지리적 위치가 스탬프되며, 그리고 스파크-테스팅을 위해 서버로 전송된다. U2의 이미지가 U1의 시간, 얼굴 및 위치(아이커넥트에 등록할 때에 U1에 의해서 아이커넥트에 제공된 U1 얼굴의 미리-저장된 이미지를 이용하여)와 매칭되고, 그리고 U1의 이미지가 U2의 시간, 얼굴 및 위치에 매칭되는 경우, 서버는 U1 및 U2 사이에서 "스파크"를 선언한다. 연결 경보의 일부로서, 이들에게는 각각 오리지널 이미지가 확인을 위해 제공된다. 선택적으로는, 각 사용자의 페르소나 이미지가 또한 요청 사용자(soliciting user)와 공유될 수 있다.
다음으로 서버는 개인들의 프라이버시를 존중하여, 캡춰된 일시적인 이미지들 및 추출된 안면 피처들을 폐기하며 그리고 이들의 이벤트 프로파일 정보를 이용하여 "공통성의 임계값(threshold of commonality)"을 스크린한다. 연결 임계값을 넘어섰다라고 추정되면, 상기 서버는 이들 사이에서 "커넥션"을 선언하며 그리고 상호 연결 경보가 생성되고, 그들의 이벤트 프로파일들에 명시된 바와 같은 정보가 공유된다.
예외적인 핸들링 및 추가 피처들
전력 소모 및 이용가능한 대역폭은 모든 웨어러블 디바이스들에 대한 아주 흔한 이슈들이다. 아이커넥트(EyeConnect)가 가능한 경우, 정의된 사용자 시야(field-of-view: FOV) 내에서 예를 들어, 1초 또는 다른 바람직한 기간들 동안 시선-추적(gaze-tracking)이 수행될 수 있다. 캡춰된 시선들 각각에 대하여, 웨어러블 카메라의 FOV 내의 제한된 관심영역(area-of-interest: AOI) 상에 응시점(gaze point)이 맵핑된다. 아이커넥트 어플리케이션은 이러한 AOI 내에서 얼굴을 찾는다. 만일, 얼굴이 발견되고 그리고 상기 얼굴이 헤드웨어 디바이스를 착용한 것처럼 보인다면, 상기 사용자가 상호 응시(mutual gaze)에 참여하는지의 여부를 판별하기 위해서, 상기 얼굴의 이미지는 아이커넥트 클라우드로 전송될 수 있다. 감소된 전력 소모를 유지하면서도, 수용가능한 디바이스 레이턴시에 대한 많은 최적화 기회들이 존재하는바, 이는 안구-개시 연결 요청들(eye-initiated Connect requests), 다른 액티브 아이커넥트 사용자들의 근접성에 관하여 액티브 아이커넥트 사용자에게 전송되는 푸시 또는 풀 지오-로케이션 데이터(pushed or pulled geo-location data), 헤드웨어 디바이스들을 착용한 얼굴들에 대한 이미지 프로세싱을 최적화하는 방법들을 포함한다.
또 다른 예시적인 실시예로서, 아이커넥트는 웨어러블 컴퓨터 상의 큰 FOV 내에서, 감소된 정확도 또는 신원 및/또는 추적의 손실로부터 야기되는 우아한 성능저하(graceful degradation of performance)와 함께, 낮은-정확도의 허용오차(tolerance)로 동작하도록 설계되며, 또는 심지어 일시적으로 안구-추적이 작동불가일 수도 있다. 시선 추적 기술은 이미지 중에서 하나의 얼굴을 선택하는데 도움을 준다. 또한, 한 쌍의 사용자들에 대한 선택은, 시간 및 지오데이터 스탬핑(time- and geo location- stamping)에 의해서 스크린된다.
앞서 서술한 바와 같이, 아이커넥트는 사용자의 시선에 기초하여 관심영역(AOI)을 추출한다. AOI의 사이즈는 추정된 시선 정확도에 의해서 결정된다. 예를 들어, ±10도의 응시점 정확도(±10 degree gaze point accuracy)는 이미지 분석을 위해 20+ 도 반경의 AOI (20+ degree radius AOI)를 요구할 수 있다. 만일, 시스템이 시선 추적에 대한 전부 손실(total loss)을 경험한다면, AOI는 장면 카메라의 전체 FOV 가 될 것이다. 이러한 것은, 상호-응시형 디바이스-착용 얼굴(mutually-gazing device-wearing face)을 식별하기 위해 더 많은 프로세싱 파워를 요구할 것이다
상호 응시자들(mutual-gazers)의 스크리닝 및 인식은, 디바이스-착용 개인들을 시작적으로 스크린하는 컴퓨터 비전(CV) 방법들을 이용하여 또한 향상될 수 있다. 디바이스들은 가령, 하나 이상의 외부 지향 적외선(IR) LED(들) 및/또는 디바이스 및/또는 사용자들에 부착된 특정한 인식가능한 패턴들(예컨대, 가시광선 혹은 적외선)과 같은, 콘트롤된 시각적 정보를 통해 이러한 CV 방법들을 도울 수 있다. IR LED는 IR-기반의 안구 추적 또는 다른 디바이스들과의 충돌을 회피하도록 또는 특정 개인을 식별하도록(특정한 변조 패턴들을 인코딩함으로써) 모듈화될 수 있다. 다른 형태들의 변조된/구별가능한(modulated/distinguishing) 정보 교환이 또한 포함될 수 있다.
또 다른 예시적인 실시예로서, 비록 드물기는 하지만, 여러 명의 동시성, 함께 위치된(co-located), 아이커넥트 사용자들 사이에서 발생할 수 있는 잠재적인 오류연결들(misconnections)의 문제점들을 고려하자, 디바이스를 착용하고 있으며 아이커넥트가 활성화된 4명의 사용자들을 고려하자. Ul과 U2는 나란히 앉아 있으며 U3와 U4는 서로 옆에 앉아있다(Ul and U2 are sitting side-by-side, and U3 and U4 are sitting next to one another). U1과 U3이 연결을 바라면서 응시에 참여하며, 그리고 U2 및 U4도 또한 서로를 바라본다. 만일, 정확도가 부정확하다면, 시스템은, U1과 U4가 서로 응시한다라고 생각할 수 있으며 그리고 U2와 U3이 서로 응시한다라고 생각할 수 있다. 이 경우, 상기 시스템은 이러한 문제점을 해결하기 위한 여러 매커니즘들을 제공할 수 있다.
1. 아이커넥트는 에러의 가능성을 주목할 수 있으며 그리고 사용자들에게 경보를 발령할 수 있다.
2. 아이커넥트는 최적의 추측을 만들 수 있으며 그리고 이용가능한 용이한 보정과 함께 확인을 요청할 수 있다.
3. 아이커넥트는 잠재적인 타겟 개인들 사이에서 각각의 사용자가 선택할 것을 요청할 수 있다.
다음을 상기해야 하는바, 2명의 사용자들이 서로를 바라보면, 각 사용자의 얼굴을 찍은 스냅샷이 일시적으로 유지되는데, 이는 2명의 사용자들이 실제로 서로를 바라보고 있는지를 검증하기 위한 정보를 제공하기 위한 것이다. 앞서 암시된 바와 같이, 이러한 스냅샷의 이용가능성 및 적절한 시간에서의 제공은 의도된 연결들을 위한 확신을 제공할 수 있다. 상기 스냅샷 혹은 타겟의 페르소나로부터의 기존 이미지가 이러한 목적을 위해 이용될 수 있다.
정확성이 하나의 추가적인 디바이스-착용 아이커넥트 사용자로부터 시선을 더 멀리 유도하는 본 일례의 변형예들은 또한, 사용자 인터페이스 내의 적절한 정보와 결부된 대형 AOI의 더 많은 프로세싱의 조합으로 해결될 수 있다. 거짓-양성(false-positives) 또는 거짓-음성(false-negatives) 여부에 관계없이, 잠재적인 오류 발생률은, 안구 추적 정확도가 감소하고 그리고 아이커넥트 사용자들이 많을수록 증가한다.
다음의 것들은 추가적인 예시적 피처들이며, 이들 중 하나 이상이 아이커넥트 시스템들에 포함될 수 있다:
1. 아이 토크(EyeTalk)- 아이커넥트는 "음성 연결"을 지원한다.
2. 지리적 위치 메타 데이터- 시각적으로 제공되는 빠른 정보, 상기 정보는 a) 근접한 지인들(부근 사람들에게 알려진), b) 근접한, 연결을 개방한 잠재적인 아이커넥트 사용자들(이들을 어디에서 찾아야하는지, 왜 연결되어야 하는지, 기타 등등에 대한 가이던스를 포함하여), 및 c) 이름 리마인더들 및 픽처들의 리스트을 포함하는 용이한 연결들에 관한 것이다.
3. 아이노트들(EyeNotes)- 지인들에 대한 메모들로서, 이는 음성으로 옮길 수 있으며(voice-transcribed), 텍스트로서 부가될 수 있고, 또는 페이스북, 링크드인 등에 스크린된 액세스에 기초한다.
4. 프리-이벤트 연결들(Pre-Event Connections)- 사용자가 이벤트 프로파일들을 로딩하고 그리고 이벤트를 위한 시간 및 장소를 특정하자마자 연결경보들이 또한 허용될 수 있다.
5. 아이-시그널링이 없는 동작- 지리적 위치를 포함하는 임의의 식별 형태에 기초하는 사람들에 대한 일반적인 정보.
6. 유니스파크(UniSpark)- 그들의 페르소나 또는 이벤트 정보에 매칭 및/또는 액세스를 허용하기로 사전 동의한(opted-in) 다른 디바이스 착용 개인들의 안구-신호 선택. 예를 들어, 사용자 1(U1)은, 아이커넥트를 통해 요청 사용자(soliciting user)와의 매칭(단방향 혹은 양방향 공유)을 허용하기로 사전 동의한 다른 디바이스 착용 개인인 사용자 2(U2)를 응시할 수 있다. 매치가 발생하면, U1은 U2에 대한 정보와 함께 연결경보(ConnectionAlert)를 수신한다. U2도 선택적으로는 연결경보를 수신할 수 있다. 아이커넥트가 U2에 대하여 활성이고 그리고 U2가 비-응시 경보들(non-gaze Alerts)를 인에이블했다면, U2는 시선없는 연결 경보(Gazeless Connection Alert)를 인에이블한다. 만일, U2가 아이커넥트를 구동하고 있지 않다면, U2는 요청, 매칭 사용자들로부터의 로그인된 연결 경보 정보와 함께 확립된 임의의 연결들에 대한 후속 리포트를 수신할 수 있다.
7. 애니스팟(AnySpot)- 안면 인식이 허용되는 장소들, 시간들, 및/또는 상황들에서, 디바이스 사용자는 사용자가 웨어러블 컴퓨팅/아이커넥트를 사용하고 있는지의 여부에 관계없이, 정보를 획득하기 위해, 임의의 얼굴을 검색할 수 있다. 안면 인식을 이용하여, 디바이스 사용자는 그들이 바라보는 각각의 개인에 관한 그들 자신의 연락처들을 포함하여, 임의의 소스로부터 임의의 이용가능한 정보를 수신한다. 아이커넥트는 정보의 AR 프리젠테이션을 포함하는, 디스플레이-기반의 정보를 제공하는바, 단방향 정보 액세스(리콜, 노트들, 기타 등등을 포함) 및 양방향 정보 교환을 지원한다.
다음의 내용은 각 설정 내의 특징적인 요소들과 함께, 추가적인 예시적인 연결 설정들의 리스트이다. 모든 구현예들은 CBID-기반이 될 수 있으며 그리고 콘택트 렌즈들, 폰들, 및/또는 외부 카메라들 뿐만 아니라 안구 추적, 및 비-증강 현실/가상 현실, 증강 현실, 및 가상 현실 상황들을 위한 디스플레이를 수용할 수 있다.
선택적으로는 대화에 의해 도움을 받는 시선-도움 객체 인식(Gaze-Assisted Object Identification Optionally Assisted by Dialogue)
정지 화상 또는 빠르게 변하는 일련의 이미지들로부터 객체를 식별하는 컴퓨터 비전(vision) 기술들은 상당한 프로세싱 능력, 논-로컬(non-local) 프로세싱을 위한 고 대역폭의 이미지 데이터 전송, 높은 해상도의 디지털 이미지(imagery), 비-실시간 프로세싱, 및 한정된 프로세싱 능력, 카메라 해상도, 전송 속도, 배터리 파워 및/또는 메모리에 의해서 제약을 받는 웨어러블, 카메라-장비된 컴퓨터 상에서의 유의미한, 범용의, 즉각적인 객체 식별에 도움을 주는 다른 구성요소들의 소정의 조합을 요구하는 것이 일반적이다. 안구 추적 기술 분야에서의 최근의 발전은, 저-전력, 낮은-프로세싱, 자체 완비된(self-contained) 웨어러블 기술의 전개를 가능케하였다. 상기 기술은 효율적이고, 집중되며, 그리고 별개(즉, 프라이빗)이다. 장면 내에서, 빠르게 변하는 일련의 이미지들에 대하여 관심 영역을 특정하기 위하여 인간의 인지 선택(human cognitive selection)을 추가하는 것은, 서로 다른 콘텍스트들에서 객체를 시각적으로 식별하는데 필요한 리소스들을 극적으로 감소시킬 수 있다. 또한, 컴퓨터 비전 검색 동안에 지능형 교환(intelligent interchange)을 가능케하는 시각적 피드백 시스템이 바람직한바, 이는 유동적으로, 직관적으로, 그리고 빠르게 인간의 인지 프로세싱과 머신 프로세싱을 병합하여, 웨어러블 컴퓨터가 한정된 리소스들로 콘텍스트들에 대하여 객체들을 식별할 수 있게 한다.
소프트웨어와 사용자 사이의 "대화(dialogue)"는 객체 식별을 확인하는데 이용될 수 있거나 또는 객체 식별에 기여할 수 있다. 확인이 되면, 객체들은 아이커넥션들 및 정보 공유를 위해 이용될 수 있다.
개인 정보의 구조화된 교환(Structured Exchange of Personal Information)
선택적 정보 공유를 허용 및 용이하게 하기 위한 페르소나-기반의 매칭은 다음을 포함할 수 있다: 디스플레이가 있거나 없는 웨어러블 컴퓨터 시스템의 실시간 이용, 근접성(지리적 위치) 및 특정 공유를 위한 이벤트-기반의 프로파일들. 공유하고자 하는 다른 표시들은 상호 응시, 일방 응시(one way gaze), 악수(hand shake), 및/또는 다른 신호들(예컨대, 보디 랭귀지) 또는 제스처를 포함한다. 시스템들은 로컬 혹은 원격 정보 관리, 스크리닝, 및/또는 사용자-특정 정보의 전송을 포함할 수 있다. 또한, 시스템들은 커뮤니티 공유, 개선(refinement), 및 특정한 스크리닝 기준(screening criteria) 및 공유 기준(sharing criteria)을 포함할 수 있는 이벤트 프로파일 속성들의 평가를 포함할 수 있다.
관련성을 결정하기 위한 이벤트 기반의 정보 선택(Event-Based Selection of Information to Determine Relevance)
개인적/상호작용 관계(personal/interaction relationships)의 관련성을 판별하기 위해 이벤트 필터들이 이용될 수 있다. 이들은 사용자-로딩가능한(user-loadable), 칼렌다-로딩가능한(calendar-loadable), 알고리즘들에 의해서 생성되는 필터들, 상호적으로 또는 협동적으로 선택되는, 및/또는 동적으로 로딩되는 기준을 포함할 수 있다. 동적인 필터들이 이벤트 전에, 중간에, 후에 로딩될 수 있다.
동시 응시를 통한 참여된 당사자들의 개인적 판별(Private Determination of Engaged Parties through Simultaneous Gaze)
시스템은 웨어러블 디바이스를 이용하여 서로를 응시하는 개인들의 이미지들을 비교할 수 있다. 시스템은 이벤트 프로파일들, 타임 스탬프들, 및/또는 지리적 위치를 이용할 수 있으며; 그리고 안면 인식 소프트웨어를 회피할 수 있다(일시적인 또는 선험적(priori) 이미지들을 제외하고). 상기 시스템은 다른 스크리닝 방법으로서, "디바이스들을 착용한" 사용자들의 식별(identification)을 포함할 수 있다. 이를 위한 방법들은: 웨어러블 디바이스들을 구분하는 컴퓨터 비전, 상호 응시를 추구/참가하는 사용자, IR, 및/또는 다른 디바이스가 아이커넥트 액티브로 보일 때의 디바이스들 간의 다른 시그널링 프로토콜들을 포함할 수 있다.
이벤트 개시를 위한 상호 응시-기반의 프로토콜(Mutual Gaze-Based Protocol for Event Initiation)
다수의 서로 다른 기준들 및 경험칙(heuristics)이 이용될 수 있다. 응시-기반 이벤트들을 시작 및 확장(또는 반대로, 프라이버시를 유지함)하는데 이용될 수 있다. 이들 중 중요한 것은, 이벤트를 개시하기 위한 동시 아이 콘택을 검출하는 것이다. 다른 기준은 웨어러블 시스템, 카메라 기반의 회의 시스템, 1:1 응시, 1:n 응시, n:m 응시(정보 공유를 위한 이벤트의 그룹 개시), 큰 그룹 내에서의 1:1 프라이빗 공유, 참가자들의 더 큰 그룹 내에서의 1:n 프라이빗 공유, 및/또는 아이-콘택을 정의하기 위한 임계 시간의 존재를 포함한다. 또한, 기준들은 다른 액션들이 수반되는지의 여부에 의존할 수 있는바, 상기 다른 액션들은 이벤트 자격을 얻기 위한 추가적인 스크리닝, 이벤트가 소정 유형의 콘트롤을 야기할 수 있는지(예컨대, 이벤트 등록, 정보의 변경), 이벤트가 정보의 일 당사자로부터 다른 당사자로의 일 방향 전송 또는 당사자들 간의 양 방향 전송을 야기할 수 있는지, 및/또는 액션이 실시간인지 혹은 지연되는지를 포함한다.
동시 로케이션 및 맵핑을 위한 데이터의 공통 응시 기여(Common Gaze Contribution of Data for Simultaneous Location and Mapping)
사용자 응시는 안내를 통해 사용자들 사이에서 조화 및 지향될 수 있으며 그리고 웨어러블 디스플레이들로부터 피드백될 수 있다. 디스플레이들은 디바이스에 인-라인(in-line)될 수 있거나 또는 페리페럴(peripheral)될 수 있다. 예를 들어, 다수의 사용자들의 응시는 운동장 스크린을 향할 수 있다. 특정 방향에서 포커싱되는 확인 및/또는 분석은 다수의 지리적 위치에 있는 사용자들로부터 결정될 수 있다.
다수 모드 정보 교환의 공통 시선 개시(Common Gaze Initiation of Multi-Modal Information Exchange)
아이커넥션들은 정보 교환의 다른 양상들을 포함할 수 있는바, 시각적 정보 교환(예컨대, 비디오 혹은 이미지들) 또는 실시간 음성 정보 교환이 그것이다.
편의를 위해, 동작들은 다양한 상호연결된 기능 블록들 또는 별개의 소프트웨어 모듈들로 설명된다. 하지만, 반드시 이럴 필요는 없으며, 그리고 이들 기능 블록들 혹은 모듈들이 하나의 논리 디바이스, 프로그램 혹은 불분명한 바운더리들을 갖는 동작으로 동등하게 취합되는 경우들이 있을 수 있다. 임의의 경우에 있어서, 기능 블록들 및 소프트웨어 모듈들 혹은 서술된 피처들은 자체적으로, 또는 하드웨어 혹은 소프트웨어적으로 다른 동작들과 조합되어 구현될 수 있다.
예시적인 실시예들의 전술한 내용 설명 및 서술을 위한 목적으로 제공되었다. 개시된 바로 그 형태만으로 본 발명을 한정하고자 의도된 것이 아니다. 본 명세서에 서술된 실시예들의 많은 변형예들 및 수정예들이 앞선 내용을 참조하면 해당 기술분야의 당업자에게 자명할 것이다.
또한, 대표적인 실시예들을 서술함에 있어서, 본 명세서는 특정한 단계들의 시퀀스로서 방법 및/또는 프로세스를 표현할 수도 있다. 하지만, 상기 방법 혹은 프로세스가 본원에 서술된 단계들의 특정 순서에 의존하지 않는 한, 상기 방법 혹은 프로세스는 서술된 단계들의 특정 시퀀스로 제한되지 않아야 한다. 해당 기술분야의 당업자에게 이해되는 바와 같이, 단계들의 다른 시퀀스들도 또한 가능하다. 따라서, 본 명세서에 서술된 단계들의 특정한 순서는 청구범위에 대한 제한들로서 해석되지 않아야 한다.
임의의 실시예에서 개시된 요소들 또는 구성요소들은 특정 실시예에 대한 예시일 뿐이며 다른 실시예들과 조합되어 사용될 수도 있음을 유의해야 한다.
본 발명의 원리들이 예시적인 실시예에서 서술 및 예시되었으며, 이러한 원리들을 벗어남이 없이도 본 발명이 구성 및 세부사항에 있어서 수정될 수 있음은 자명할 것이다. 청구범위는 이들 모든 수정예들 및 변형예들을 포괄하도록 의도된다.
Claims (50)
- 사용자에 대한 실질적으로 지속적인 생체 인증을 제공하는 방법으로서,
서로 다른 각도들로부터 상기 사용자의 눈을 향해 지향된 복수의 카메라들을 포함하는 헤드기어를 제공하는 단계;
상기 눈의 홍채를 식별하도록 상기 카메라들로부터의 하나 이상의 이미지들을 분석하는 단계;
상기 복수의 카메라들 중 상기 홍채의 원하는 뷰(view)들을 제공하는 여러 카메라들로부터의 이미지들을 선택하는 단계;
상기 선택된 이미지들로부터 복합 홍채코드(composite irisCode)를 생성하는 단계;
상기 복합 홍채코드에 적어도 일부 기초하여 상기 사용자를 식별하는 단계; 및
상기 사용자의 신원이 확인되면 상기 사용자가 하나 이상의 액션들을 수행하는 것을 허가하는 단계
를 포함하고,
상기 사용자를 식별하는데 필요한 최소 엄격성 임계값(minimum stringency threshold)을 충족하도록, 상기 홍채의 충분히 큰 부분이 상기 이미지들로부터 식별될 수 있기 때문에, 상기 여러 카메라들이 선택되며,
상기 선택된 이미지들은 여러 각도들로부터 상기 홍채의 이미지들을 제공하고, 그리고 상기 복합 홍채코드를 생성하는 단계는, 상기 선택된 이미지들로부터 홍채의 일부분들을 선택하고 그리고 상기 홍채의 일부분들을 상기 홍채에 대한 복합 이미지로 조합하는 단계를 포함하고,
상기 방법은, 상기 사용자가 하나 이상의 액션들을 수행하는 것을 허가한 이후에,
a) 상기 홍채의 피처들을 식별하도록 상기 여러 카메라들로부터의 다른 세트의 이미지들을 분석하는 단계; 및
b) 상기 다른 세트의 이미지들로부터의 홍채의 피처들에 적어도 일부 기초하여 상기 사용자의 신원을 확인하는 단계를 더 포함하고,
수행되기 전에 신원 확인을 요구하는 기결정된 행위가 상기 사용자에 의해서 선택되는 때에 상기 단계 a) 및 단계 b)가 반복되는 것을 특징으로 하는 생체 인증을 제공하는 방법. - 제1항에 있어서,
제 1 카메라로부터의 이미지들에서 식별된 홍채의 형상에 적어도 일부 기초하여, 상기 제 1 카메라가 선택되는 것을 특징으로 하는 생체 인증을 제공하는 방법. - 제2항에 있어서,
상기 제 1 카메라는, 상기 제 1 카메라로부터의 이미지들에서 식별된 홍채의 상기 형상이 다른 카메라들로부터의 이미지들에서 식별된 홍채의 형상 보다 실질적으로 원형에 더 가깝다는 것에 적어도 일부 기초하여 선택되는 것을 특징으로 하는 생체 인증을 제공하는 방법. - 제1항에 있어서,
상기 여러 카메라들은 상기 여러 카메라들로부터의 이미지들에서의 조명 콘트라스트(lighting contrast)에 적어도 일부 기초하여 선택되는 것을 특징으로 하는 생체 인증을 제공하는 방법. - 제1항에 있어서,
상기 단계 a) 및 b)는 실질적으로 지속적으로 반복되는 것을 특징으로 하는 생체 인증을 제공하는 방법. - 제1항에 있어서,
상기 단계 a) 및 b)는 주기적으로 반복되는 것을 특징으로 하는 생체 인증을 제공하는 방법. - 제1항에 있어서,
상기 복합 홍채코드를 생성하는 단계는, 상기 홍채의 일부분들을 조합하기 전에, 상기 선택된 이미지들 내의 홍채의 이미지들을 공통 축(common axis)에 정렬시키도록, 상기 선택된 이미지들 중 하나 이상을 회전시키는 단계를 더 포함하는 것을 특징으로 하는 생체 인증을 제공하는 방법. - 제1항에 있어서,
상기 사용자가 하나 이상의 액션들을 수행하는 것을 허가하는 단계 이후에,
상기 카메라들로부터 추가 이미지들을 분석하는 단계;
상기 추가 이미지들로부터 새로운 복합 홍채코드(new composite irisCode)를 생성하는 단계; 및
상기 새로운 복합 홍채코드에 적어도 일부 기초하여 상기 사용자의 신원을 확인하는 단계를 더 포함하는 것을 특징으로 하는 생체 인증을 제공하는 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (19)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201461991435P | 2014-05-09 | 2014-05-09 | |
| US61/991,435 | 2014-05-09 | ||
| US201462023940P | 2014-07-13 | 2014-07-13 | |
| US62/023,940 | 2014-07-13 | ||
| US201462027774P | 2014-07-22 | 2014-07-22 | |
| US201462027777P | 2014-07-22 | 2014-07-22 | |
| US62/027,777 | 2014-07-22 | ||
| US62/027,774 | 2014-07-22 | ||
| US201462038984P | 2014-08-19 | 2014-08-19 | |
| US201462039001P | 2014-08-19 | 2014-08-19 | |
| US62/039,001 | 2014-08-19 | ||
| US62/038,984 | 2014-08-19 | ||
| US201462046072P | 2014-09-04 | 2014-09-04 | |
| US62/046,072 | 2014-09-04 | ||
| US201462074920P | 2014-11-04 | 2014-11-04 | |
| US201462074927P | 2014-11-04 | 2014-11-04 | |
| US62/074,920 | 2014-11-04 | ||
| US62/074,927 | 2014-11-04 | ||
| PCT/US2015/030052 WO2016018488A2 (en) | 2014-05-09 | 2015-05-09 | Systems and methods for discerning eye signals and continuous biometric identification |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207030953A Division KR20200127267A (ko) | 2014-05-09 | 2015-05-09 | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170047195A KR20170047195A (ko) | 2017-05-04 |
| KR102173699B1 true KR102173699B1 (ko) | 2020-11-03 |
Family
ID=54368077
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167034652A KR102173699B1 (ko) | 2014-05-09 | 2015-05-09 | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
| KR1020167034649A KR102230172B1 (ko) | 2014-05-09 | 2015-05-09 | 실제 및 가상의 객체와 인터페이싱하기 위한 생체기계학-기반의 안구 신호를 위한 시스템 및 방법 |
| KR1020167034651A KR20170046108A (ko) | 2014-05-09 | 2015-05-09 | 보안 모바일 통신들과 함께 안구 신호들을 이용하는 시스템들 및 방법들 |
| KR1020207030953A KR20200127267A (ko) | 2014-05-09 | 2015-05-09 | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167034649A KR102230172B1 (ko) | 2014-05-09 | 2015-05-09 | 실제 및 가상의 객체와 인터페이싱하기 위한 생체기계학-기반의 안구 신호를 위한 시스템 및 방법 |
| KR1020167034651A KR20170046108A (ko) | 2014-05-09 | 2015-05-09 | 보안 모바일 통신들과 함께 안구 신호들을 이용하는 시스템들 및 방법들 |
| KR1020207030953A KR20200127267A (ko) | 2014-05-09 | 2015-05-09 | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
Country Status (7)
| Country | Link |
|---|---|
| US (7) | US9600069B2 (ko) |
| EP (3) | EP3140779A4 (ko) |
| JP (3) | JP6550460B2 (ko) |
| KR (4) | KR102173699B1 (ko) |
| CN (3) | CN107087431B (ko) |
| AU (3) | AU2015297036B2 (ko) |
| WO (3) | WO2016018488A2 (ko) |
Families Citing this family (862)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9823737B2 (en) * | 2008-04-07 | 2017-11-21 | Mohammad A Mazed | Augmented reality personal assistant apparatus |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
| TWI439960B (zh) | 2010-04-07 | 2014-06-01 | Apple Inc | 虛擬使用者編輯環境 |
| US10463248B2 (en) * | 2011-03-02 | 2019-11-05 | Brien Holden Vision Institute Limited | Systems, methods, and devices for measuring eye movement and pupil response |
| US9642522B2 (en) | 2012-03-26 | 2017-05-09 | New York University | Methods and kits for assessing central nervous system integrity |
| US11504051B2 (en) | 2013-01-25 | 2022-11-22 | Wesley W. O. Krueger | Systems and methods for observing eye and head information to measure ocular parameters and determine human health status |
| US11389059B2 (en) | 2013-01-25 | 2022-07-19 | Wesley W. O. Krueger | Ocular-performance-based head impact measurement using a faceguard |
| US10231614B2 (en) | 2014-07-08 | 2019-03-19 | Wesley W. O. Krueger | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance |
| US11490809B2 (en) | 2013-01-25 | 2022-11-08 | Wesley W. O. Krueger | Ocular parameter-based head impact measurement using a face shield |
| US10602927B2 (en) | 2013-01-25 | 2020-03-31 | Wesley W. O. Krueger | Ocular-performance-based head impact measurement using a faceguard |
| US10716469B2 (en) | 2013-01-25 | 2020-07-21 | Wesley W. O. Krueger | Ocular-performance-based head impact measurement applied to rotationally-centered impact mitigation systems and methods |
| US9788714B2 (en) | 2014-07-08 | 2017-10-17 | Iarmourholdings, Inc. | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
| US10199051B2 (en) | 2013-02-07 | 2019-02-05 | Apple Inc. | Voice trigger for a digital assistant |
| US9665171B1 (en) | 2013-03-04 | 2017-05-30 | Tobii Ab | Gaze and saccade based graphical manipulation |
| US10895908B2 (en) | 2013-03-04 | 2021-01-19 | Tobii Ab | Targeting saccade landing prediction using visual history |
| US9898081B2 (en) | 2013-03-04 | 2018-02-20 | Tobii Ab | Gaze and saccade based graphical manipulation |
| US10082870B2 (en) * | 2013-03-04 | 2018-09-25 | Tobii Ab | Gaze and saccade based graphical manipulation |
| US11714487B2 (en) | 2013-03-04 | 2023-08-01 | Tobii Ab | Gaze and smooth pursuit based continuous foveal adjustment |
| WO2014204904A1 (en) | 2013-06-17 | 2014-12-24 | New York University | Methods and kits for assessing neurological and ophthalmic function and localizing neurological lesions |
| US10884493B2 (en) | 2013-06-20 | 2021-01-05 | Uday Parshionikar | Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions |
| US10277787B2 (en) | 2013-09-03 | 2019-04-30 | Tobii Ab | Portable eye tracking device |
| US10310597B2 (en) * | 2013-09-03 | 2019-06-04 | Tobii Ab | Portable eye tracking device |
| US10686972B2 (en) | 2013-09-03 | 2020-06-16 | Tobii Ab | Gaze assisted field of view control |
| US9958939B2 (en) * | 2013-10-31 | 2018-05-01 | Sync-Think, Inc. | System and method for dynamic content delivery based on gaze analytics |
| JP2015114865A (ja) * | 2013-12-12 | 2015-06-22 | ソニー株式会社 | 情報処理装置、中継コンピュータ、情報処理システム、および情報処理プログラム |
| EP3090322A4 (en) * | 2013-12-31 | 2017-07-19 | Eyefluence, Inc. | Systems and methods for gaze-based media selection and editing |
| US20150228119A1 (en) | 2014-02-11 | 2015-08-13 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US20160019715A1 (en) * | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
| US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
| US9852545B2 (en) | 2014-02-11 | 2017-12-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US11138793B2 (en) | 2014-03-14 | 2021-10-05 | Magic Leap, Inc. | Multi-depth plane display system with reduced switching between depth planes |
| US10430985B2 (en) | 2014-03-14 | 2019-10-01 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
| US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
| US10424103B2 (en) * | 2014-04-29 | 2019-09-24 | Microsoft Technology Licensing, Llc | Display device viewer gaze attraction |
| US10564714B2 (en) * | 2014-05-09 | 2020-02-18 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| AU2015297036B2 (en) | 2014-05-09 | 2017-09-28 | Google Llc | Systems and methods for discerning eye signals and continuous biometric identification |
| US9706910B1 (en) * | 2014-05-29 | 2017-07-18 | Vivid Vision, Inc. | Interactive system for vision assessment and correction |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US9880401B2 (en) * | 2014-06-13 | 2018-01-30 | Verily Life Sciences Llc | Method, device and system for accessing an eye-mountable device with a user interface |
| US11429700B2 (en) * | 2014-06-19 | 2022-08-30 | Nec Corporation | Authentication device, authentication system, and authentication method |
| KR102266195B1 (ko) * | 2014-06-20 | 2021-06-17 | 삼성전자주식회사 | 객체와 관련된 정보를 제공하는 방법 및 장치 |
| DE102014211823A1 (de) * | 2014-06-20 | 2015-12-24 | Robert Bosch Gmbh | Verfahren zur Personenidentifizierung |
| US9269328B2 (en) * | 2014-06-24 | 2016-02-23 | Google Inc. | Efficient frame rendering |
| US9817959B2 (en) * | 2014-06-27 | 2017-11-14 | Intel Corporation | Wearable electronic devices |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9961307B1 (en) * | 2014-06-30 | 2018-05-01 | Lee S. Weinblatt | Eyeglass recorder with multiple scene cameras and saccadic motion detection |
| CA2954512C (en) * | 2014-07-07 | 2022-08-23 | 3M Innovative Properties Company | Self-administered tamper-evident drug detection |
| KR101645087B1 (ko) * | 2014-07-10 | 2016-08-02 | 아이리텍 잉크 | 홍채인식용 착용 감지 기능을 가진 손 부착형 웨어러블 장치를 이용한 보안강화세트 및 그 제어방법 |
| US10540907B2 (en) * | 2014-07-31 | 2020-01-21 | Intelligent Technologies International, Inc. | Biometric identification headpiece system for test taking |
| JP2017529891A (ja) | 2014-08-04 | 2017-10-12 | ニューヨーク ユニバーシティ | 薬物使用、薬物乱用および昏睡、核間性眼筋麻痺、注意欠陥多動性障害（ａｄｈｄ）、慢性外傷性脳症、統合失調症スペクトラム障害、およびアルコール摂取を診断、評価、または定量化するための方法およびキット |
| US9829708B1 (en) * | 2014-08-19 | 2017-11-28 | Boston Incubator Center, LLC | Method and apparatus of wearable eye pointing system |
| HK1203120A2 (en) * | 2014-08-26 | 2015-10-16 | 高平 | A gait monitor and a method of monitoring the gait of a person |
| US10425814B2 (en) | 2014-09-24 | 2019-09-24 | Princeton Identity, Inc. | Control of wireless communication device capability in a mobile device with a biometric key |
| WO2016054092A1 (en) | 2014-09-29 | 2016-04-07 | Magic Leap, Inc. | Architectures and methods for outputting different wavelength light out of waveguides |
| US9898868B2 (en) * | 2014-11-06 | 2018-02-20 | Seiko Epson Corporation | Display device, method of controlling the same, and program |
| GB2532438B (en) * | 2014-11-18 | 2019-05-08 | Eshare Ltd | Apparatus, method and system for determining a viewed status of a document |
| JP2018506872A (ja) | 2014-12-03 | 2018-03-08 | プリンストン・アイデンティティー・インコーポレーテッド | モバイルデバイス生体アドオンのためのシステムおよび方法 |
| WO2016088415A1 (ja) * | 2014-12-05 | 2016-06-09 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| KR102139795B1 (ko) * | 2014-12-15 | 2020-07-31 | 삼성전자주식회사 | 생채 특징 패턴을 업데이트하는 방법 및 이를 위한 전자 장치 |
| US10607095B1 (en) * | 2015-01-13 | 2020-03-31 | State Farm Mutual Automobile Insurance Company | Apparatuses, systems and methods for classifying digital images |
| US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
| US10878775B2 (en) | 2015-02-17 | 2020-12-29 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9652035B2 (en) * | 2015-02-23 | 2017-05-16 | International Business Machines Corporation | Interfacing via heads-up display using eye contact |
| EP3062142B1 (en) | 2015-02-26 | 2018-10-03 | Nokia Technologies OY | Apparatus for a near-eye display |
| USD779556S1 (en) * | 2015-02-27 | 2017-02-21 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with an icon |
| US9836663B2 (en) * | 2015-03-05 | 2017-12-05 | Samsung Electronics Co., Ltd. | User authenticating method and head mounted device supporting the same |
| US10921896B2 (en) * | 2015-03-16 | 2021-02-16 | Facebook Technologies, Llc | Device interaction in augmented reality |
| NZ773815A (en) | 2015-03-16 | 2022-07-01 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
| IN2015CH01313A (ko) * | 2015-03-17 | 2015-04-10 | Wipro Ltd | |
| KR101648017B1 (ko) * | 2015-03-23 | 2016-08-12 | 현대자동차주식회사 | 디스플레이 장치, 차량 및 디스플레이 방법 |
| CN106155288B (zh) * | 2015-04-10 | 2019-02-12 | 北京智谷睿拓技术服务有限公司 | 信息获取方法、信息获取装置及用户设备 |
| US10305895B2 (en) * | 2015-04-14 | 2019-05-28 | Blubox Security, Inc. | Multi-factor and multi-mode biometric physical access control device |
| US10275902B2 (en) * | 2015-05-11 | 2019-04-30 | Magic Leap, Inc. | Devices, methods and systems for biometric user recognition utilizing neural networks |
| US10254544B1 (en) * | 2015-05-13 | 2019-04-09 | Rockwell Collins, Inc. | Head tracking accuracy and reducing latency in dynamic environments |
| US9860452B2 (en) * | 2015-05-13 | 2018-01-02 | Lenovo (Singapore) Pte. Ltd. | Usage of first camera to determine parameter for action associated with second camera |
| US20160358181A1 (en) * | 2015-05-14 | 2016-12-08 | Magic Leap, Inc. | Augmented reality systems and methods for tracking biometric data |
| US20200321107A1 (en) * | 2015-05-19 | 2020-10-08 | Iryou Jyouhou Gijyutu Kenkyusyo Corporation | Integrated multi-facility electronic medical record system |
| CN108027509A (zh) * | 2015-05-20 | 2018-05-11 | 奇跃公司 | 倾斜偏移虹膜成像 |
| US9716834B2 (en) * | 2015-05-20 | 2017-07-25 | Panasonic Intellectual Property Management Co., Ltd. | Image display device and image processing device |
| WO2016200150A1 (en) * | 2015-06-08 | 2016-12-15 | Samsung Electronics Co., Ltd. | Method and apparatus for providing content |
| IN2015CH02866A (ko) * | 2015-06-09 | 2015-07-17 | Wipro Ltd | |
| RU2601169C1 (ru) * | 2015-06-11 | 2016-10-27 | Виталий Витальевич Аверьянов | Способ и устройство для взаимодействия с виртуальными объектами |
| US20160366317A1 (en) * | 2015-06-12 | 2016-12-15 | Delta ID Inc. | Apparatuses and methods for image based biometric recognition |
| JP6553418B2 (ja) * | 2015-06-12 | 2019-07-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 表示制御方法、表示制御装置及び制御プログラム |
| US9867546B2 (en) | 2015-06-14 | 2018-01-16 | Facense Ltd. | Wearable device for taking symmetric thermal measurements |
| US10045726B2 (en) | 2015-06-14 | 2018-08-14 | Facense Ltd. | Selecting a stressor based on thermal measurements of the face |
| US10085685B2 (en) | 2015-06-14 | 2018-10-02 | Facense Ltd. | Selecting triggers of an allergic reaction based on nasal temperatures |
| US10216981B2 (en) | 2015-06-14 | 2019-02-26 | Facense Ltd. | Eyeglasses that measure facial skin color changes |
| US10076250B2 (en) | 2015-06-14 | 2018-09-18 | Facense Ltd. | Detecting physiological responses based on multispectral data from head-mounted cameras |
| US10045737B2 (en) | 2015-06-14 | 2018-08-14 | Facense Ltd. | Clip-on device with inward-facing cameras |
| US10080861B2 (en) | 2015-06-14 | 2018-09-25 | Facense Ltd. | Breathing biofeedback eyeglasses |
| US10136852B2 (en) | 2015-06-14 | 2018-11-27 | Facense Ltd. | Detecting an allergic reaction from nasal temperatures |
| US10130261B2 (en) | 2015-06-14 | 2018-11-20 | Facense Ltd. | Detecting physiological responses while taking into account consumption of confounding substances |
| US10076270B2 (en) | 2015-06-14 | 2018-09-18 | Facense Ltd. | Detecting physiological responses while accounting for touching the face |
| US10299717B2 (en) | 2015-06-14 | 2019-05-28 | Facense Ltd. | Detecting stress based on thermal measurements of the face |
| US9968264B2 (en) | 2015-06-14 | 2018-05-15 | Facense Ltd. | Detecting physiological responses based on thermal asymmetry of the face |
| US10136856B2 (en) | 2016-06-27 | 2018-11-27 | Facense Ltd. | Wearable respiration measurements system |
| US10523852B2 (en) | 2015-06-14 | 2019-12-31 | Facense Ltd. | Wearable inward-facing camera utilizing the Scheimpflug principle |
| US10154810B2 (en) | 2015-06-14 | 2018-12-18 | Facense Ltd. | Security system that detects atypical behavior |
| US10064559B2 (en) | 2015-06-14 | 2018-09-04 | Facense Ltd. | Identification of the dominant nostril using thermal measurements |
| US10151636B2 (en) | 2015-06-14 | 2018-12-11 | Facense Ltd. | Eyeglasses having inward-facing and outward-facing thermal cameras |
| US10092232B2 (en) | 2015-06-14 | 2018-10-09 | Facense Ltd. | User state selection based on the shape of the exhale stream |
| US10130299B2 (en) | 2015-06-14 | 2018-11-20 | Facense Ltd. | Neurofeedback eyeglasses |
| US10130308B2 (en) | 2015-06-14 | 2018-11-20 | Facense Ltd. | Calculating respiratory parameters from thermal measurements |
| US10113913B2 (en) | 2015-10-03 | 2018-10-30 | Facense Ltd. | Systems for collecting thermal measurements of the face |
| US10045699B2 (en) | 2015-06-14 | 2018-08-14 | Facense Ltd. | Determining a state of a user based on thermal measurements of the forehead |
| US10159411B2 (en) | 2015-06-14 | 2018-12-25 | Facense Ltd. | Detecting irregular physiological responses during exposure to sensitive data |
| CN107924085B (zh) | 2015-06-15 | 2022-09-02 | 奇跃公司 | 虚拟和增强现实系统以及方法 |
| US10554758B2 (en) | 2015-06-15 | 2020-02-04 | Blub0X Security, Inc. | Web-cloud hosted unified physical security system |
| US10043487B2 (en) * | 2015-06-24 | 2018-08-07 | Samsung Electronics Co., Ltd. | Apparatus and method for split screen display on mobile device |
| US10685488B1 (en) * | 2015-07-17 | 2020-06-16 | Naveen Kumar | Systems and methods for computer assisted operation |
| CN104966359B (zh) * | 2015-07-20 | 2018-01-30 | 京东方科技集团股份有限公司 | 防盗报警系统和方法 |
| TWI570638B (zh) * | 2015-07-29 | 2017-02-11 | 財團法人資訊工業策進會 | 凝視分析方法與裝置 |
| KR20170130582A (ko) * | 2015-08-04 | 2017-11-28 | 구글 엘엘씨 | 가상현실에서 시선 인터렉션을 위한 호버 행동 |
| US10178150B2 (en) * | 2015-08-07 | 2019-01-08 | International Business Machines Corporation | Eye contact-based information transfer |
| CA2995978A1 (en) | 2015-08-18 | 2017-02-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10146997B2 (en) | 2015-08-21 | 2018-12-04 | Magic Leap, Inc. | Eyelid shape estimation using eye pose measurement |
| CN105184246B (zh) * | 2015-08-28 | 2020-05-19 | 北京旷视科技有限公司 | 活体检测方法和活体检测系统 |
| US10223160B2 (en) * | 2015-08-31 | 2019-03-05 | Ayla Networks, Inc. | Compact schedules for resource-constrained devices |
| US9857871B2 (en) * | 2015-09-04 | 2018-01-02 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
| AU2015261614A1 (en) * | 2015-09-04 | 2017-03-23 | Musigma Business Solutions Pvt. Ltd. | Analytics system and method |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US20170200316A1 (en) * | 2015-09-10 | 2017-07-13 | Sphere Optics Company, Llc | Advertising system for virtual reality environments |
| KR102389807B1 (ko) | 2015-09-16 | 2022-04-21 | 매직 립, 인코포레이티드 | 오디오 파일들의 헤드 포즈 혼합 |
| JP6684559B2 (ja) * | 2015-09-16 | 2020-04-22 | 株式会社バンダイナムコエンターテインメント | プログラムおよび画像生成装置 |
| IN2015DE02924A (ko) * | 2015-09-16 | 2015-10-23 | Hcl Technologies Ltd | |
| US9858706B2 (en) * | 2015-09-22 | 2018-01-02 | Facebook, Inc. | Systems and methods for content streaming |
| US10096130B2 (en) | 2015-09-22 | 2018-10-09 | Facebook, Inc. | Systems and methods for content streaming |
| US10466478B2 (en) | 2015-09-23 | 2019-11-05 | Magic Leap, Inc. | Eye imaging with an off-axis imager |
| CN108762496B (zh) * | 2015-09-24 | 2020-12-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN107710197B (zh) | 2015-09-28 | 2021-08-17 | 谷歌有限责任公司 | 在通信网络上共享图像和图像相册 |
| USD791787S1 (en) * | 2015-09-28 | 2017-07-11 | Google Inc. | Display screen with a transitional graphical user interface for a photo album |
| US20170090588A1 (en) * | 2015-09-29 | 2017-03-30 | Kabushiki Kaisha Toshiba | Electronic device and method |
| US9635167B2 (en) | 2015-09-29 | 2017-04-25 | Paypal, Inc. | Conversation assistance system |
| WO2017059570A1 (zh) * | 2015-10-08 | 2017-04-13 | 华为技术有限公司 | 一种保护隐私信息的方法和终端设备 |
| EP3156880A1 (en) * | 2015-10-14 | 2017-04-19 | Ecole Nationale de l'Aviation Civile | Zoom effect in gaze tracking interface |
| JP6885935B2 (ja) | 2015-10-16 | 2021-06-16 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 眼の特徴を用いる眼ポーズ識別 |
| CN113220116A (zh) | 2015-10-20 | 2021-08-06 | 奇跃公司 | 改变可穿戴设备用户输入模式的系统和方法及可穿戴系统 |
| US10466780B1 (en) * | 2015-10-26 | 2019-11-05 | Pillantas | Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor |
| US10338677B2 (en) * | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
| US10831922B1 (en) * | 2015-10-30 | 2020-11-10 | United Services Automobile Association (Usaa) | System and method for access control |
| KR20240055844A (ko) | 2015-11-04 | 2024-04-29 | 매직 립, 인코포레이티드 | 광 필드 디스플레이 계측 |
| US11231544B2 (en) | 2015-11-06 | 2022-01-25 | Magic Leap, Inc. | Metasurfaces for redirecting light and methods for fabricating |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| EP3363506B1 (en) * | 2015-11-19 | 2022-01-05 | Angel Playing Cards Co., Ltd. | Table management system, game token, and inspection apparatus |
| US10061552B2 (en) * | 2015-11-25 | 2018-08-28 | International Business Machines Corporation | Identifying the positioning in a multiple display grid |
| CN105528577B (zh) * | 2015-12-04 | 2019-02-12 | 深圳大学 | 基于智能眼镜的识别方法 |
| US9703374B1 (en) * | 2015-12-16 | 2017-07-11 | Google, Inc. | In-cell gaze tracking for near-eye display |
| US10097443B2 (en) * | 2015-12-16 | 2018-10-09 | Fluke Corporation | System and method for secure communications between a computer test tool and a cloud-based server |
| CN108369451B (zh) * | 2015-12-18 | 2021-10-29 | 索尼公司 | 信息处理装置、信息处理方法及计算机可读存储介质 |
| US10102358B2 (en) * | 2015-12-29 | 2018-10-16 | Sensory, Incorporated | Face-controlled liveness verification |
| CN105892642A (zh) * | 2015-12-31 | 2016-08-24 | 乐视移动智能信息技术（北京）有限公司 | 一种根据眼部动作对终端进行控制的方法及装置 |
| WO2017113757A1 (zh) * | 2015-12-31 | 2017-07-06 | 北京小鸟看看科技有限公司 | 一种环绕式界面布局方法、三维沉浸式环境下内容切换方法和列表切换方法 |
| CN106940766A (zh) * | 2016-01-04 | 2017-07-11 | 由田新技股份有限公司 | 视线轨迹认证系统及方法 |
| JP6231585B2 (ja) * | 2016-01-05 | 2017-11-15 | 株式会社Ｑｄレーザ | 画像投影装置 |
| KR102466996B1 (ko) * | 2016-01-06 | 2022-11-14 | 삼성전자주식회사 | 눈 위치 예측 방법 및 장치 |
| IL260280B2 (en) | 2016-01-07 | 2023-09-01 | Magic Leap Inc | Virtual and augmented reality systems and methods with an unequal number of color component images spread across depth planes |
| JP2017123050A (ja) * | 2016-01-07 | 2017-07-13 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及びサーバ |
| EP3403217A4 (en) | 2016-01-12 | 2019-08-21 | Princeton Identity, Inc. | SYSTEMS AND METHODS FOR BIOMETRIC ANALYSIS |
| US10831264B2 (en) * | 2016-01-19 | 2020-11-10 | Magic Leap, Inc. | Eye image combination |
| JP6952713B2 (ja) | 2016-01-19 | 2021-10-20 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 反射を利用する拡張現実システムおよび方法 |
| AU2017211032B2 (en) | 2016-01-29 | 2021-11-04 | Magic Leap, Inc. | Display for three-dimensional image |
| US10169560B2 (en) * | 2016-02-04 | 2019-01-01 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Stimuli-based authentication |
| KR101729434B1 (ko) * | 2016-02-16 | 2017-04-24 | 주식회사 시큐브 | 공간분할 세그먼트에 대한 동적이동 추적 기반 수기서명 인증 시스템 및 방법 |
| US10129510B2 (en) | 2016-02-18 | 2018-11-13 | Samsung Electronics Co., Ltd. | Initiating human-machine interaction based on visual attention |
| US10591728B2 (en) | 2016-03-02 | 2020-03-17 | Mentor Acquisition One, Llc | Optical systems for head-worn computers |
| NZ745229A (en) | 2016-02-24 | 2019-12-20 | Magic Leap Inc | Low profile interconnect for light emitter |
| CA3014496A1 (en) | 2016-02-24 | 2017-08-31 | Magic Leap, Inc. | Polarizing beam splitter with low light leakage |
| IL295839A (en) | 2016-02-26 | 2022-10-01 | Magic Leap Inc | A display system with a large number of light pipes for a large number of light emitters |
| WO2017147520A1 (en) | 2016-02-26 | 2017-08-31 | Magic Leap, Inc. | Light output system with reflector and lens for highly spatially uniform light output |
| US10667981B2 (en) | 2016-02-29 | 2020-06-02 | Mentor Acquisition One, Llc | Reading assistance system for visually impaired |
| US10571693B2 (en) | 2016-03-01 | 2020-02-25 | Magic Leap, Inc. | Reflective switching device for inputting different wavelengths of light into waveguides |
| KR20230109789A (ko) * | 2016-03-04 | 2023-07-20 | 매직 립, 인코포레이티드 | Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 |
| CA3016189A1 (en) | 2016-03-07 | 2017-09-14 | Magic Leap, Inc. | Blue light adjustment for biometric security |
| AU2017230184B2 (en) | 2016-03-11 | 2021-10-07 | Magic Leap, Inc. | Structure learning in convolutional neural networks |
| US10115205B2 (en) | 2016-03-11 | 2018-10-30 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
| EP3329316B1 (en) * | 2016-03-11 | 2023-09-20 | Facebook Technologies, LLC | Corneal sphere tracking for generating an eye model |
| US10579708B1 (en) * | 2016-03-22 | 2020-03-03 | Massachusetts Mutual Life Insurance Company | Systems and methods for improving workflow efficiency and for electronic record population utilizing intelligent input systems |
| WO2017165231A1 (en) * | 2016-03-22 | 2017-09-28 | Magic Leap, Inc. | Head mounted display system configured to exchange biometric information |
| US10360254B1 (en) | 2016-03-24 | 2019-07-23 | Massachusetts Mutual Life Insurance Company | Intelligent and context aware reading systems |
| US10306311B1 (en) | 2016-03-24 | 2019-05-28 | Massachusetts Mutual Life Insurance Company | Intelligent and context aware reading systems |
| KR102550587B1 (ko) | 2016-03-25 | 2023-06-30 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
| JP6728863B2 (ja) * | 2016-03-25 | 2020-07-22 | 富士ゼロックス株式会社 | 情報処理システム |
| US10169846B2 (en) | 2016-03-31 | 2019-01-01 | Sony Interactive Entertainment Inc. | Selective peripheral vision filtering in a foveated rendering system |
| US10088898B2 (en) | 2016-03-31 | 2018-10-02 | Verizon Patent And Licensing Inc. | Methods and systems for determining an effectiveness of content in an immersive virtual reality world |
| US10401952B2 (en) | 2016-03-31 | 2019-09-03 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
| US10372205B2 (en) * | 2016-03-31 | 2019-08-06 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
| US10366296B2 (en) | 2016-03-31 | 2019-07-30 | Princeton Identity, Inc. | Biometric enrollment systems and methods |
| KR102551198B1 (ko) | 2016-03-31 | 2023-07-03 | 매직 립, 인코포레이티드 | 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과 상호작용들 |
| US10373008B2 (en) | 2016-03-31 | 2019-08-06 | Princeton Identity, Inc. | Systems and methods of biometric analysis with adaptive trigger |
| US10192528B2 (en) | 2016-03-31 | 2019-01-29 | Sony Interactive Entertainment Inc. | Real-time user adaptive foveated rendering |
| US10733275B1 (en) * | 2016-04-01 | 2020-08-04 | Massachusetts Mutual Life Insurance Company | Access control through head imaging and biometric authentication |
| IL299497B2 (en) | 2016-04-08 | 2024-02-01 | Magic Leap Inc | Augmented reality systems and methods with variable focus lens elements |
| US20170291723A1 (en) * | 2016-04-11 | 2017-10-12 | Honeywell International Inc. | System and method for validating flight checklist items for maintenance and inspection applications |
| KR101904889B1 (ko) * | 2016-04-21 | 2018-10-05 | 주식회사 비주얼캠프 | 표시 장치와 이를 이용한 입력 처리 방법 및 시스템 |
| CA3021079A1 (en) | 2016-04-21 | 2017-10-26 | Magic Leap, Inc. | Visual aura around field of view |
| JP7027336B2 (ja) | 2016-04-26 | 2022-03-01 | マジック リープ， インコーポレイテッド | 拡張現実システムを用いた電磁追跡 |
| CN105897428B (zh) * | 2016-04-28 | 2019-06-25 | 武汉大学 | 一种基于虹膜识别的实时视频安全通讯系统及方法 |
| KR102603675B1 (ko) | 2016-05-06 | 2023-11-16 | 매직 립, 인코포레이티드 | 광을 재지향시키기 위한 비대칭 격자들을 가진 메타표면들 및 제조를 위한 방법들 |
| KR102450362B1 (ko) | 2016-05-09 | 2022-10-04 | 매직 립, 인코포레이티드 | 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들 |
| US10965671B2 (en) | 2016-05-10 | 2021-03-30 | National Ict Australia Limited | Authenticating a user |
| WO2017196999A1 (en) | 2016-05-12 | 2017-11-16 | Magic Leap, Inc. | Wavelength multiplexing in waveguides |
| CN109496331B (zh) | 2016-05-20 | 2022-06-21 | 奇跃公司 | 用户界面菜单的情景感知 |
| US10065658B2 (en) * | 2016-05-23 | 2018-09-04 | International Business Machines Corporation | Bias of physical controllers in a system |
| US20180249941A1 (en) * | 2016-05-24 | 2018-09-06 | neuroFit, Inc. | Oculometric Neurological Examination (ONE) Appliance |
| JP6563596B2 (ja) * | 2016-05-25 | 2019-08-21 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理方法およびプログラム |
| US10037080B2 (en) * | 2016-05-31 | 2018-07-31 | Paypal, Inc. | User physical attribute based device and content management system |
| USD796551S1 (en) * | 2016-06-03 | 2017-09-05 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with icon |
| CA3025936A1 (en) | 2016-06-03 | 2017-12-07 | Magic Leap, Inc. | Augmented reality identity verification |
| US11108708B2 (en) | 2016-06-06 | 2021-08-31 | Global Tel*Link Corporation | Personalized chatbots for inmates |
| CN106056092B (zh) * | 2016-06-08 | 2019-08-20 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
| KR102346068B1 (ko) | 2016-06-10 | 2021-12-30 | 매직 립, 인코포레이티드 | 텍스처 투사 전구용 적분 점광원 |
| US9912860B2 (en) | 2016-06-12 | 2018-03-06 | Apple Inc. | User interface for camera effects |
| US10339659B2 (en) * | 2016-06-13 | 2019-07-02 | International Business Machines Corporation | System, method, and recording medium for workforce performance management |
| US20190179423A1 (en) * | 2016-06-16 | 2019-06-13 | Sensomotoric Instruments Gesellschaft Fur Innovative Sensork MBH | Minimized Bandwidth Requirements for Transmitting Mobile HMD Gaze Data |
| US10565287B2 (en) * | 2016-06-17 | 2020-02-18 | International Business Machines Corporation | Web content layout engine instance sharing across mobile devices |
| KR102355455B1 (ko) | 2016-06-20 | 2022-01-24 | 매직 립, 인코포레이티드 | 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템 |
| CN106200905B (zh) * | 2016-06-27 | 2019-03-29 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| US11354863B2 (en) * | 2016-06-30 | 2022-06-07 | Honeywell International Inc. | Systems and methods for immersive and collaborative video surveillance |
| KR20210107185A (ko) | 2016-06-30 | 2021-08-31 | 매직 립, 인코포레이티드 | 3d 공간에서의 포즈 추정 |
| US10200262B1 (en) | 2016-07-08 | 2019-02-05 | Splunk Inc. | Continuous anomaly detection service |
| US10146609B1 (en) | 2016-07-08 | 2018-12-04 | Splunk Inc. | Configuration of continuous anomaly detection service |
| US10650593B2 (en) | 2016-07-12 | 2020-05-12 | Tyco Fire & Security Gmbh | Holographic technology implemented security solution |
| EP3484343B1 (en) * | 2016-07-14 | 2024-01-10 | Magic Leap, Inc. | Iris boundary estimation using cornea curvature |
| KR102648770B1 (ko) | 2016-07-14 | 2024-03-15 | 매직 립, 인코포레이티드 | 홍채 식별을 위한 딥 뉴럴 네트워크 |
| CN109478308A (zh) | 2016-07-22 | 2019-03-15 | 索尼公司 | 图像传感器和图像处理系统 |
| EP3488284B1 (en) | 2016-07-25 | 2023-06-28 | Magic Leap, Inc. | Light field processor system and method |
| KR20230133940A (ko) | 2016-07-25 | 2023-09-19 | 매직 립, 인코포레이티드 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
| IL280982B (en) | 2016-07-29 | 2022-08-01 | Magic Leap Inc | Secure exchange of cryptographically signed records |
| US11642071B2 (en) | 2016-08-02 | 2023-05-09 | New York University | Methods and kits for assessing neurological function and localizing neurological lesions |
| US9844321B1 (en) * | 2016-08-04 | 2017-12-19 | Novartis Ag | Enhanced ophthalmic surgical experience using a virtual reality head-mounted display |
| US10417495B1 (en) * | 2016-08-08 | 2019-09-17 | Google Llc | Systems and methods for determining biometric information |
| IL292911B2 (en) | 2016-08-11 | 2023-11-01 | Magic Leap Inc | Automatic positioning of a virtual object in three-dimensional space |
| US10607609B2 (en) | 2016-08-12 | 2020-03-31 | Magic Leap, Inc. | Word flow annotation |
| NZ750551A (en) | 2016-08-22 | 2023-05-26 | Magic Leap Inc | Multi-layer diffractive eyepiece |
| KR102439771B1 (ko) * | 2016-08-22 | 2022-09-02 | 매직 립, 인코포레이티드 | 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스 |
| US10835120B2 (en) * | 2016-08-23 | 2020-11-17 | Welch Allyn, Inc. | Extended medical test system |
| CN106899567B (zh) | 2016-08-24 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 用户核身方法、装置及系统 |
| CN109643165A (zh) * | 2016-09-01 | 2019-04-16 | 三菱电机株式会社 | 手势判定装置、手势操作装置和手势判定方法 |
| DE102016116770A1 (de) * | 2016-09-07 | 2018-03-08 | Bundesdruckerei Gmbh | Datenbrille zum kryptographischen Signieren von Bilddaten |
| US10650621B1 (en) | 2016-09-13 | 2020-05-12 | Iocurrents, Inc. | Interfacing with a vehicular controller area network |
| KR102576135B1 (ko) | 2016-09-13 | 2023-09-06 | 매직 립, 인코포레이티드 | 감각 안경류 |
| US10230719B2 (en) * | 2016-09-19 | 2019-03-12 | Intel Corporation | Head mounted secure display system |
| IL265443B (en) | 2016-09-21 | 2022-07-01 | Magic Leap Inc | Systems and methods for optical systems with a dilator port |
| US10210320B2 (en) * | 2016-09-21 | 2019-02-19 | Lextron Systems, Inc. | System and method for secure 5-D user identification |
| CN116649967A (zh) | 2016-09-22 | 2023-08-29 | 奇跃公司 | 可穿戴光谱检查系统 |
| JP2019530928A (ja) | 2016-09-22 | 2019-10-24 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | グラフィカルユーザインタフェースに影響する情報の状態変化の不注意状態期間までの延期 |
| EP3516485A4 (en) | 2016-09-26 | 2020-06-03 | Magic Leap, Inc. | CALIBRATION OF MAGNETIC AND OPTICAL SENSORS IN A DISPLAY SYSTEM WITH VIRTUAL REALITY OR ADVANCED REALITY |
| US10750560B2 (en) | 2016-09-27 | 2020-08-18 | Extreme Networks, Inc. | IoT device management using multi-protocol infrastructure network devices |
| EP3519878B1 (en) | 2016-09-28 | 2023-04-19 | Magic Leap, Inc. | Face model capture by a wearable device |
| RU2016138608A (ru) | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
| US10430042B2 (en) * | 2016-09-30 | 2019-10-01 | Sony Interactive Entertainment Inc. | Interaction context-based virtual reality |
| US10863902B2 (en) | 2016-10-03 | 2020-12-15 | Oculogica Inc. | Method for detecting glaucoma |
| AU2017338783B2 (en) | 2016-10-04 | 2022-02-10 | Magic Leap, Inc. | Efficient data layouts for convolutional neural networks |
| KR102269065B1 (ko) | 2016-10-05 | 2021-06-24 | 매직 립, 인코포레이티드 | 혼합 현실 교정을 위한 안구주위 테스트 |
| CN107018121B (zh) * | 2016-10-13 | 2021-07-20 | 创新先进技术有限公司 | 用户身份验证的方法及装置 |
| CN106997239A (zh) | 2016-10-13 | 2017-08-01 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的业务实现方法及装置 |
| US10925479B2 (en) * | 2016-10-13 | 2021-02-23 | Ronald Michael Kurtz | Networked system of mobile communication platforms for nonpharmacologic constriction of a pupil |
| US9769166B1 (en) * | 2016-10-19 | 2017-09-19 | International Business Machines Corporation | Wearable sensor based system for person identification |
| US10201274B2 (en) * | 2016-10-20 | 2019-02-12 | Oculogica Inc | Eye tracking system with biometric identification |
| IL311451A (en) | 2016-10-21 | 2024-05-01 | Magic Leap Inc | System and method for displaying image content on multiple depth planes by providing multiple intrapupillary parallax fields of view |
| US20180125405A1 (en) * | 2016-11-08 | 2018-05-10 | International Business Machines Corporation | Mental state estimation using feature of eye movement |
| US10660517B2 (en) | 2016-11-08 | 2020-05-26 | International Business Machines Corporation | Age estimation using feature of eye movement |
| US11074325B1 (en) * | 2016-11-09 | 2021-07-27 | Wells Fargo Bank, N.A. | Systems and methods for dynamic bio-behavioral authentication |
| IL296031A (en) | 2016-11-11 | 2022-10-01 | Magic Leap Inc | Peripheral assembly and audio of a full facial image |
| EP3321833B1 (en) * | 2016-11-14 | 2022-12-21 | Mastercard International Incorporated | Method for biometric based signing of document |
| EP3533504B1 (en) * | 2016-11-14 | 2023-04-26 | Huawei Technologies Co., Ltd. | Image rendering method and vr device |
| JP6854344B2 (ja) * | 2016-11-15 | 2021-04-07 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 直方体検出のための深層機械学習システム |
| AU2017361245B2 (en) * | 2016-11-16 | 2023-06-22 | Magic Leap, Inc. | Mixed reality system with reduced power rendering |
| EP3933547B1 (en) | 2016-11-16 | 2023-12-27 | Magic Leap, Inc. | Thermal management systems for wearable components |
| US10867445B1 (en) * | 2016-11-16 | 2020-12-15 | Amazon Technologies, Inc. | Content segmentation and navigation |
| US11067860B2 (en) | 2016-11-18 | 2021-07-20 | Magic Leap, Inc. | Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same |
| US20180144554A1 (en) | 2016-11-18 | 2018-05-24 | Eyedaptic, LLC | Systems for augmented reality visual aids and tools |
| AU2017363081B2 (en) | 2016-11-18 | 2022-01-13 | Magic Leap, Inc. | Multilayer liquid crystal diffractive gratings for redirecting light of wide incident angle ranges |
| EP3542215B1 (en) | 2016-11-18 | 2022-11-02 | Magic Leap, Inc. | Spatially variable liquid crystal diffraction gratings |
| WO2018094285A1 (en) * | 2016-11-18 | 2018-05-24 | Eyedaptic, LLC | Improved systems for augmented reality visual aids and tools |
| CN110199220B (zh) | 2016-11-18 | 2022-11-01 | 奇跃公司 | 使用交叉光栅的波导光复用器 |
| CN107066079A (zh) | 2016-11-29 | 2017-08-18 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的业务实现方法及装置 |
| CN206301289U (zh) * | 2016-11-29 | 2017-07-04 | 阿里巴巴集团控股有限公司 | Vr终端设备 |
| KR20180061956A (ko) * | 2016-11-30 | 2018-06-08 | 삼성전자주식회사 | 눈 위치 예측 방법 및 장치 |
| US10531220B2 (en) | 2016-12-05 | 2020-01-07 | Magic Leap, Inc. | Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems |
| EP4220572A1 (en) | 2016-12-05 | 2023-08-02 | Magic Leap, Inc. | Virtual user input controls in a mixed reality environment |
| CA3045663A1 (en) | 2016-12-08 | 2018-06-14 | Magic Leap, Inc. | Diffractive devices based on cholesteric liquid crystal |
| US10796147B1 (en) * | 2016-12-12 | 2020-10-06 | Keith Hanna | Method and apparatus for improving the match performance and user convenience of biometric systems that use images of the human eye |
| AU2017375951B2 (en) | 2016-12-13 | 2022-02-10 | Magic Leap, Inc. | 3D object rendering using detected features |
| EP4148402A1 (en) | 2016-12-13 | 2023-03-15 | Magic Leap, Inc. | Augmented and virtual reality eyewear, systems, and methods for delivering polarized light and determining glucose levels |
| US10895784B2 (en) | 2016-12-14 | 2021-01-19 | Magic Leap, Inc. | Patterning of liquid crystals using soft-imprint replication of surface alignment patterns |
| CN114675420A (zh) | 2016-12-22 | 2022-06-28 | 奇跃公司 | 用于操纵来自环境光源的光的系统和方法 |
| US10885676B2 (en) | 2016-12-27 | 2021-01-05 | Samsung Electronics Co., Ltd. | Method and apparatus for modifying display settings in virtual/augmented reality |
| US10746999B2 (en) | 2016-12-28 | 2020-08-18 | Magic Leap, Inc. | Dual depth exit pupil expander |
| US10853775B1 (en) * | 2016-12-29 | 2020-12-01 | Wells Fargo Bank, N.A. | Computing systems for proximity-based fees |
| US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
| WO2018125428A1 (en) | 2016-12-29 | 2018-07-05 | Magic Leap, Inc. | Automatic control of wearable display device based on external conditions |
| EP3343267B1 (en) | 2016-12-30 | 2024-01-24 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
| CN117447088A (zh) | 2017-01-05 | 2024-01-26 | 奇跃公司 | 通过等离子体蚀刻的高折射率玻璃的图案化 |
| IL307783A (en) | 2017-01-23 | 2023-12-01 | Magic Leap Inc | Eyepiece for virtual, augmented or mixed reality systems |
| EP3574350A4 (en) | 2017-01-27 | 2020-12-09 | Magic Leap, Inc. | ANTIREFLEX COATING FOR META SURFACES |
| JP7142015B2 (ja) | 2017-01-27 | 2022-09-26 | マジック リープ， インコーポレイテッド | 異なって向けられたナノビームを有するメタ表面によって形成された回折格子 |
| US10404804B2 (en) * | 2017-01-30 | 2019-09-03 | Global Tel*Link Corporation | System and method for personalized virtual reality experience in a controlled environment |
| US10140773B2 (en) * | 2017-02-01 | 2018-11-27 | Accenture Global Solutions Limited | Rendering virtual objects in 3D environments |
| US10824703B1 (en) * | 2017-02-01 | 2020-11-03 | United Services Automobile Association (Usaa) | Authentication based on motion and biometric data |
| US10416769B2 (en) * | 2017-02-14 | 2019-09-17 | Microsoft Technology Licensing, Llc | Physical haptic feedback system with spatial warping |
| US11347054B2 (en) | 2017-02-16 | 2022-05-31 | Magic Leap, Inc. | Systems and methods for augmented reality |
| US11141095B2 (en) | 2017-02-17 | 2021-10-12 | Oculogica Inc. | Method and system for detecting concussion |
| US10485420B2 (en) * | 2017-02-17 | 2019-11-26 | Analog Devices Global Unlimited Company | Eye gaze tracking |
| US20180239422A1 (en) * | 2017-02-17 | 2018-08-23 | International Business Machines Corporation | Tracking eye movements with a smart device |
| KR102601052B1 (ko) | 2017-02-23 | 2023-11-09 | 매직 립, 인코포레이티드 | 가변 파워 반사기를 갖는 디스플레이 시스템 |
| CN106980983A (zh) | 2017-02-23 | 2017-07-25 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的业务认证方法及装置 |
| CN106932905A (zh) * | 2017-02-27 | 2017-07-07 | 阿里巴巴集团控股有限公司 | 虚拟现实头戴设备 |
| CN106873158A (zh) * | 2017-02-27 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 虚拟现实头戴设备 |
| CN106932904A (zh) | 2017-02-27 | 2017-07-07 | 阿里巴巴集团控股有限公司 | 虚拟现实头戴设备 |
| CN106873159A (zh) | 2017-02-27 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 虚拟现实头戴设备 |
| US10866633B2 (en) | 2017-02-28 | 2020-12-15 | Microsoft Technology Licensing, Llc | Signing with your eyes |
| US11214384B2 (en) | 2017-03-06 | 2022-01-04 | Textron Innovations, Inc. | Hexagonal floor and ceiling system for a vehicle |
| US10628994B2 (en) * | 2017-03-07 | 2020-04-21 | Google Llc | Reducing visually induced motion sickness in head mounted display systems |
| US10568573B2 (en) * | 2017-03-07 | 2020-02-25 | Sony Interactive Entertainment LLC | Mitigation of head-mounted-display impact via biometric sensors and language processing |
| JP7057893B2 (ja) * | 2017-03-07 | 2022-04-21 | マツダ株式会社 | 視認状態判定装置 |
| US10169973B2 (en) * | 2017-03-08 | 2019-01-01 | International Business Machines Corporation | Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions |
| EP3376367A1 (de) * | 2017-03-13 | 2018-09-19 | Siemens Aktiengesellschaft | Quittieren eines überführens eines gutes |
| CN110402350B (zh) | 2017-03-14 | 2022-05-24 | 奇跃公司 | 具有光吸收膜的波导及其形成方法 |
| US10657838B2 (en) | 2017-03-15 | 2020-05-19 | International Business Machines Corporation | System and method to teach and evaluate image grading performance using prior learned expert knowledge base |
| CN107122642A (zh) * | 2017-03-15 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 基于虚拟现实环境的身份认证方法及装置 |
| AU2018236433B2 (en) | 2017-03-17 | 2022-03-03 | Magic Leap, Inc. | Room layout estimation methods and techniques |
| AU2018237168A1 (en) | 2017-03-21 | 2019-10-10 | Magic Leap, Inc. | Display system with spatial light modulator illumination for divided pupils |
| KR20240064054A (ko) | 2017-03-21 | 2024-05-10 | 매직 립, 인코포레이티드 | 회절 광학 엘리먼트들을 이용한 눈-이미징 장치 |
| WO2018175488A1 (en) | 2017-03-21 | 2018-09-27 | Magic Leap, Inc. | Stacked waveguides having different diffraction gratings for combined field of view |
| WO2018175627A1 (en) | 2017-03-21 | 2018-09-27 | Magic Leap, Inc. | Low-profile beam splitter |
| CN117075345A (zh) | 2017-03-21 | 2023-11-17 | 奇跃公司 | 用于照射空间光调制器的方法、设备和系统 |
| WO2018175344A1 (en) | 2017-03-21 | 2018-09-27 | Magic Leap, Inc. | Depth sensing techniques for virtual, augmented, and mixed reality systems |
| EP3603058A4 (en) | 2017-03-22 | 2020-12-30 | Magic Leap, Inc. | DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS |
| JP7125950B2 (ja) | 2017-03-24 | 2022-08-25 | マジック リープ， インコーポレイテッド | 虹彩コードの蓄積および信頼性割当 |
| US10410349B2 (en) * | 2017-03-27 | 2019-09-10 | Microsoft Technology Licensing, Llc | Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power |
| EP3602252A4 (en) * | 2017-03-28 | 2020-12-16 | Magic Leap, Inc. | SYSTEM OF EXTENDED REALITY WITH SPACIOUS AUDIO TIED TO A USER MANIPULATED VIRTUAL OBJECT |
| CN107391983B (zh) | 2017-03-31 | 2020-10-16 | 创新先进技术有限公司 | 一种基于物联网的信息处理方法及装置 |
| CN106990843B (zh) * | 2017-04-01 | 2021-01-08 | 维沃移动通信有限公司 | 一种眼睛跟踪系统的参数校准方法及电子设备 |
| US10607096B2 (en) | 2017-04-04 | 2020-03-31 | Princeton Identity, Inc. | Z-dimension user feedback biometric system |
| US10609025B2 (en) * | 2017-04-06 | 2020-03-31 | Htc Corporation | System and method for providing simulated environment |
| KR102627452B1 (ko) * | 2017-04-14 | 2024-01-18 | 매직 립, 인코포레이티드 | 다중 모드 눈 추적 |
| US10242486B2 (en) | 2017-04-17 | 2019-03-26 | Intel Corporation | Augmented reality and virtual reality feedback enhancement system, apparatus and method |
| US10401954B2 (en) * | 2017-04-17 | 2019-09-03 | Intel Corporation | Sensory enhanced augmented reality and virtual reality device |
| CN107097227B (zh) * | 2017-04-17 | 2019-12-06 | 北京航空航天大学 | 一种人机协作机器人系统 |
| KR20240011891A (ko) | 2017-04-18 | 2024-01-26 | 매직 립, 인코포레이티드 | 반사 유동성 재료들에 의해 형성된 반사 층들을 갖는 도파관들 |
| AU2018256365A1 (en) | 2017-04-19 | 2019-10-31 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
| TWI700614B (zh) * | 2017-04-21 | 2020-08-01 | 宏達國際電子股份有限公司 | 追蹤系統的操作方法、控制器、追蹤系統及非揮發性電腦可讀取記錄媒體 |
| US11416600B2 (en) * | 2017-04-24 | 2022-08-16 | Siemens Aktiengesellschaft | Unlocking passwords in augmented reality based on look |
| US10620779B2 (en) * | 2017-04-24 | 2020-04-14 | Microsoft Technology Licensing, Llc | Navigating a holographic image |
| CN117311494A (zh) | 2017-04-27 | 2023-12-29 | 奇跃公司 | 发光用户输入设备 |
| US10397594B2 (en) | 2017-04-28 | 2019-08-27 | Hewlett Packard Enterprise Development Lp | Real-time processing of IoT data |
| KR20180123354A (ko) * | 2017-05-08 | 2018-11-16 | 엘지전자 주식회사 | 차량용 사용자 인터페이스 장치 및 차량 |
| DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
| DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| EP3568787B1 (en) | 2017-05-17 | 2024-04-10 | Google LLC | Automatic image sharing with designated users over a communication network |
| TWI669657B (zh) * | 2017-05-17 | 2019-08-21 | 宏碁股份有限公司 | 具自適性控制之主機、頭戴式顯示裝置、攜帶式裝置、虛擬實境系統及其控制方法 |
| CA3061332A1 (en) | 2017-05-19 | 2018-11-22 | Magic Leap, Inc. | Keyboards for virtual, augmented, and mixed reality display systems |
| EP3631734B1 (en) | 2017-05-22 | 2021-08-18 | Magic Leap, Inc. | Pairing with companion device |
| GB2563004A (en) * | 2017-05-23 | 2018-12-05 | Nokia Technologies Oy | Methods and apparatuses for handling visual virtual reality content |
| US10339334B2 (en) * | 2017-05-25 | 2019-07-02 | Ca, Inc. | Augmented reality captcha |
| CN107224292B (zh) * | 2017-05-27 | 2019-12-31 | 西南交通大学 | 一种调度员的注意广度的测试方法和系统 |
| IL311011A (en) | 2017-05-30 | 2024-04-01 | Magic Leap Inc | Power supply assembly with fan assembly for an electronic device |
| DE102017111933A1 (de) * | 2017-05-31 | 2018-12-06 | Krohne Messtechnik Gmbh | Verfahren zur sicheren Kommunikation mit einem Feldmessgerät der Prozesstechnik und entsprechendes Feldmessgerät |
| US10242476B2 (en) * | 2017-05-31 | 2019-03-26 | Verizon Patent and Licensong Inc. | Methods and systems for dynamically representing, within a virtual reality data stream being presented to a user, a proxy object that corresponds to an object in the real-world environment of the user |
| EP4123425A1 (en) | 2017-05-31 | 2023-01-25 | Magic Leap, Inc. | Eye tracking calibration techniques |
| US11647903B2 (en) * | 2017-06-01 | 2023-05-16 | University Of Washington | Smartphone-based digital pupillometer |
| DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
| US10528794B2 (en) * | 2017-06-05 | 2020-01-07 | Motorola Solutions, Inc. | System and method for tailoring an electronic digital assistant inquiry response as a function of previously detected user ingestion of related video information |
| US10657401B2 (en) | 2017-06-06 | 2020-05-19 | Microsoft Technology Licensing, Llc | Biometric object spoof detection based on image intensity variations |
| EP3413226A1 (en) * | 2017-06-07 | 2018-12-12 | Gemalto Sa | Method for authenticating a user and corresponding device and system |
| US10853918B2 (en) * | 2017-06-09 | 2020-12-01 | Sony Interactive Entertainment Inc. | Foveal adaptation of temporal anti-aliasing |
| WO2018231784A1 (en) | 2017-06-12 | 2018-12-20 | Magic Leap, Inc. | Augmented reality display having multi-element adaptive lens for changing depth planes |
| CN107633196A (zh) * | 2017-06-14 | 2018-01-26 | 电子科技大学 | 一种基于卷积神经网络的眼球移动预测方案 |
| US10810773B2 (en) * | 2017-06-14 | 2020-10-20 | Dell Products, L.P. | Headset display control based upon a user's pupil state |
| US10620710B2 (en) * | 2017-06-15 | 2020-04-14 | Microsoft Technology Licensing, Llc | Displacement oriented interaction in computer-mediated reality |
| US11122258B2 (en) | 2017-06-30 | 2021-09-14 | Pcms Holdings, Inc. | Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements |
| US10482229B2 (en) * | 2017-06-30 | 2019-11-19 | Wipro Limited | Method of providing content access permission to a user and a device thereof |
| US20190012552A1 (en) * | 2017-07-06 | 2019-01-10 | Yves Lambert | Hidden driver monitoring |
| US10573061B2 (en) | 2017-07-07 | 2020-02-25 | Nvidia Corporation | Saccadic redirection for virtual reality locomotion |
| US10319151B2 (en) * | 2017-07-07 | 2019-06-11 | Motorola Solutions, Inc. | Device and method for hierarchical object recognition |
| US10573071B2 (en) | 2017-07-07 | 2020-02-25 | Nvidia Corporation | Path planning for virtual reality locomotion |
| US20190012835A1 (en) * | 2017-07-07 | 2019-01-10 | Microsoft Technology Licensing, Llc | Driving an Image Capture System to Serve Plural Image-Consuming Processes |
| US20190012841A1 (en) | 2017-07-09 | 2019-01-10 | Eyedaptic, Inc. | Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids |
| US10908680B1 (en) | 2017-07-12 | 2021-02-02 | Magic Leap, Inc. | Pose estimation using electromagnetic tracking |
| US10691945B2 (en) | 2017-07-14 | 2020-06-23 | International Business Machines Corporation | Altering virtual content based on the presence of hazardous physical obstructions |
| CA3068448A1 (en) | 2017-07-26 | 2019-01-31 | Magic Leap, Inc. | Training a neural network with representations of user interface devices |
| US11237691B2 (en) * | 2017-07-26 | 2022-02-01 | Microsoft Technology Licensing, Llc | Intelligent response using eye gaze |
| US11073904B2 (en) * | 2017-07-26 | 2021-07-27 | Microsoft Technology Licensing, Llc | Intelligent user interface element selection using eye-gaze |
| US10578870B2 (en) | 2017-07-26 | 2020-03-03 | Magic Leap, Inc. | Exit pupil expander |
| CA3071100A1 (en) | 2017-07-26 | 2019-01-31 | Princeton Identity, Inc. | Biometric security systems and methods |
| US11355023B2 (en) * | 2017-07-27 | 2022-06-07 | Kennesaw State University Research And Service Foundation, Inc. | System and method for intervention with attention deficient disorders |
| CN107360424B (zh) * | 2017-07-28 | 2019-10-25 | 深圳岚锋创视网络科技有限公司 | 一种基于视频编码器的码率控制方法、装置及视频服务器 |
| CN110998099A (zh) | 2017-07-28 | 2020-04-10 | 奇跃公司 | 用于显示图像的风扇组件 |
| US10748340B1 (en) * | 2017-07-31 | 2020-08-18 | Apple Inc. | Electronic device with coordinated camera and display operation |
| KR102026526B1 (ko) * | 2017-08-03 | 2019-09-30 | 주식회사 에스지엠 | 생체정보를 사용하는 인증 시스템 및 이를 이용한 스크린 골프 시스템 |
| US11587419B2 (en) * | 2017-08-04 | 2023-02-21 | Toyota Research Institute, Inc. | Methods and systems providing an intelligent camera system |
| TWI642030B (zh) * | 2017-08-09 | 2018-11-21 | 宏碁股份有限公司 | 視覺效用分析方法及相關眼球追蹤裝置與系統 |
| EP3443883B1 (de) * | 2017-08-14 | 2020-07-29 | Carl Zeiss Vision International GmbH | Vorrichtungen und verfahren zur durchführung augenbezogener messungen |
| WO2019036533A1 (en) * | 2017-08-16 | 2019-02-21 | Veritaz Inc. | PERSONAL DISPLAY HELMET FOR LIMITING USER ACCESS TO UNAUTHORIZED RESOURCES |
| US20190057694A1 (en) * | 2017-08-17 | 2019-02-21 | Dolby International Ab | Speech/Dialog Enhancement Controlled by Pupillometry |
| CN107610235B (zh) * | 2017-08-21 | 2020-11-10 | 北京精密机电控制设备研究所 | 一种基于深度学习的移动平台导航方法和装置 |
| CN109426710A (zh) * | 2017-08-22 | 2019-03-05 | 上海荆虹电子科技有限公司 | 一种电子虹膜印章实现方法、系统及电子签章设备 |
| KR102577681B1 (ko) * | 2017-08-23 | 2023-09-14 | 한국전자통신연구원 | 자기 수치화 서비스 장치 |
| JP2020532031A (ja) | 2017-08-23 | 2020-11-05 | ニューラブル インコーポレイテッド | 高速視標追跡機能を有する脳−コンピュータインタフェース |
| US10313315B2 (en) * | 2017-08-25 | 2019-06-04 | Bank Of America Corporation | Ensuring information security in data transfers by utilizing proximity keys |
| US11145124B2 (en) * | 2017-08-30 | 2021-10-12 | Ronald H. Winston | System and method for rendering virtual reality interactions |
| US10521661B2 (en) | 2017-09-01 | 2019-12-31 | Magic Leap, Inc. | Detailed eye shape model for robust biometric applications |
| EP3676688A4 (en) * | 2017-09-01 | 2021-04-07 | Magic Leap, Inc. | DETAILED HE-SHAPED MODEL FOR HEAVY DUTY BIOMETRIC APPLICATIONS |
| JP6953247B2 (ja) * | 2017-09-08 | 2021-10-27 | ラピスセミコンダクタ株式会社 | ゴーグル型表示装置、視線検出方法及び視線検出システム |
| AU2018334150C1 (en) | 2017-09-13 | 2023-05-11 | Oculogica Inc. | Eye tracking system |
| EP3684463A4 (en) | 2017-09-19 | 2021-06-23 | Neuroenhancement Lab, LLC | NEURO-ACTIVATION PROCESS AND APPARATUS |
| CA3068481A1 (en) | 2017-09-20 | 2019-03-28 | Magic Leap, Inc. | Personalized neural network for eye tracking |
| IL273397B1 (en) | 2017-09-21 | 2024-05-01 | Magic Leap Inc | An augmented reality display with a waveguide configured to capture images of an eye and/or environment |
| KR102481884B1 (ko) * | 2017-09-22 | 2022-12-28 | 삼성전자주식회사 | 가상 영상을 표시하는 방법 및 장치 |
| EP3688513A1 (de) * | 2017-09-25 | 2020-08-05 | Continental Automotive GmbH | Head-up-display |
| IL307639A (en) | 2017-09-27 | 2023-12-01 | Magic Leap Inc | Near-eye 3D display with separate phase and amplitude modulators |
| US10929993B2 (en) * | 2017-09-29 | 2021-02-23 | L'oreal | Automated imaging system for evaluating the curl of a keratinous substrate |
| EP3466338A1 (en) * | 2017-10-03 | 2019-04-10 | Tata Consultancy Services Limited | Cognitive load estimation based on pupil dilation |
| EP3691517B1 (en) * | 2017-10-06 | 2021-10-27 | Alcon Inc. | Tracking movement of an eye within a tracking range |
| AU2018348229A1 (en) | 2017-10-11 | 2020-04-23 | Magic Leap, Inc. | Augmented reality display comprising eyepiece having a transparent emissive display |
| US10712899B2 (en) * | 2017-10-17 | 2020-07-14 | Microsoft Technology Licensing, Llc | Human-machine interface tethered to a user position in a three-dimensional VR or AR environment |
| US10890769B2 (en) | 2017-10-26 | 2021-01-12 | Magic Leap, Inc. | Augmented reality display having liquid crystal variable focus element and roll-to-roll method and apparatus for forming the same |
| AU2018355446A1 (en) | 2017-10-26 | 2020-05-14 | Magic Leap, Inc. | Broadband adaptive lens assembly for augmented reality display |
| US11537895B2 (en) | 2017-10-26 | 2022-12-27 | Magic Leap, Inc. | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks |
| EP3701497A4 (en) | 2017-10-27 | 2021-07-28 | Magic Leap, Inc. | VIRTUAL RETICLE FOR AUGMENTED REALITY SYSTEMS |
| US10492725B2 (en) * | 2017-10-29 | 2019-12-03 | Orlando Efrain Abreu Oramas | Method and system of facilitating monitoring of an individual based on at least one wearable device |
| US20190129174A1 (en) * | 2017-10-31 | 2019-05-02 | Google Llc | Multi-perspective eye-tracking for vr/ar systems |
| US10984508B2 (en) | 2017-10-31 | 2021-04-20 | Eyedaptic, Inc. | Demonstration devices and methods for enhancement for low vision users and systems improvements |
| CN108038884B (zh) | 2017-11-01 | 2020-12-11 | 北京七鑫易维信息技术有限公司 | 校准方法、装置、存储介质和处理器 |
| US11410564B2 (en) | 2017-11-07 | 2022-08-09 | The Board Of Trustees Of The University Of Illinois | System and method for creating immersive interactive application |
| US11175736B2 (en) | 2017-11-10 | 2021-11-16 | South Dakota Board Of Regents | Apparatus, systems and methods for using pupillometry parameters for assisted communication |
| US11048978B2 (en) | 2017-11-14 | 2021-06-29 | Magic Leap, Inc. | Meta-learning for multi-task learning for neural networks |
| CN109799899B (zh) * | 2017-11-17 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 交互控制方法、装置、存储介质和计算机设备 |
| US10586360B2 (en) | 2017-11-21 | 2020-03-10 | International Business Machines Corporation | Changing view order of augmented reality objects based on user gaze |
| US20190156447A1 (en) * | 2017-11-21 | 2019-05-23 | Lorenzo Curci | Flight Logging and Resource Management System |
| US11282133B2 (en) | 2017-11-21 | 2022-03-22 | International Business Machines Corporation | Augmented reality product comparison |
| US10395624B2 (en) | 2017-11-21 | 2019-08-27 | Nvidia Corporation | Adjusting an angular sampling rate during rendering utilizing gaze information |
| CN107968937B (zh) * | 2017-11-30 | 2018-08-17 | 泰州腾翔信息科技有限公司 | 一种缓解眼球疲劳的系统 |
| US11717686B2 (en) | 2017-12-04 | 2023-08-08 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to facilitate learning and performance |
| CN109871674A (zh) * | 2017-12-04 | 2019-06-11 | 上海聚虹光电科技有限公司 | Vr或ar设备分区域操作权限管理方法 |
| US10656706B2 (en) * | 2017-12-04 | 2020-05-19 | International Business Machines Corporation | Modifying a computer-based interaction based on eye gaze |
| CN109870873B (zh) * | 2017-12-05 | 2022-04-22 | 青岛海信激光显示股份有限公司 | 一种波长转换装置、光源装置及投影系统 |
| KR20190067433A (ko) * | 2017-12-07 | 2019-06-17 | 주식회사 비주얼캠프 | 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말 |
| JP7282090B2 (ja) | 2017-12-10 | 2023-05-26 | マジック リープ， インコーポレイテッド | 光学導波管上の反射防止性コーティング |
| EP3724712A4 (en) | 2017-12-11 | 2021-08-04 | Magic Leap, Inc. | WAVE GUIDE LIGHTING |
| KR102045743B1 (ko) * | 2017-12-11 | 2019-11-18 | 상명대학교산학협력단 | 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치 및 방법 |
| US11333902B2 (en) * | 2017-12-12 | 2022-05-17 | RaayonNova LLC | Smart contact lens with embedded display and image focusing system |
| CN107992896A (zh) * | 2017-12-13 | 2018-05-04 | 东南大学 | 一种基于眼动追踪技术的科学概念评测方法 |
| US11380039B2 (en) | 2017-12-14 | 2022-07-05 | Magic Leap, Inc. | Contextual-based rendering of virtual avatars |
| CN111683584A (zh) | 2017-12-15 | 2020-09-18 | 奇跃公司 | 用于增强现实显示系统的目镜 |
| CN108108019B (zh) * | 2017-12-15 | 2021-03-19 | 歌尔光学科技有限公司 | 虚拟现实设备及其显示方法 |
| WO2019118886A1 (en) | 2017-12-15 | 2019-06-20 | Magic Leap, Inc. | Enhanced pose determination for display device |
| CN111712751B (zh) | 2017-12-20 | 2022-11-01 | 奇跃公司 | 用于增强现实观看设备的插入件 |
| CN111512211B (zh) | 2017-12-20 | 2022-06-21 | 伊奎蒂公司 | 增强现实显示系统 |
| WO2019133997A1 (en) | 2017-12-31 | 2019-07-04 | Neuroenhancement Lab, LLC | System and method for neuroenhancement to enhance emotional response |
| US10916060B2 (en) | 2018-01-04 | 2021-02-09 | Magic Leap, Inc. | Optical elements based on polymeric structures incorporating inorganic materials |
| CN110022454B (zh) * | 2018-01-10 | 2021-02-23 | 华为技术有限公司 | 一种在视频会议中识别身份的方法及相关设备 |
| US10360419B1 (en) * | 2018-01-15 | 2019-07-23 | Universal City Studios Llc | Interactive systems and methods with tracking devices |
| EP4354207A2 (en) | 2018-01-17 | 2024-04-17 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
| CA3088116A1 (en) | 2018-01-17 | 2019-07-25 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
| WO2019144019A1 (en) * | 2018-01-18 | 2019-07-25 | Neurable Inc. | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions |
| US10853674B2 (en) | 2018-01-23 | 2020-12-01 | Toyota Research Institute, Inc. | Vehicle systems and methods for determining a gaze target based on a virtual eye position |
| US10706300B2 (en) * | 2018-01-23 | 2020-07-07 | Toyota Research Institute, Inc. | Vehicle systems and methods for determining a target based on a virtual eye position and a pointing direction |
| US10817068B2 (en) * | 2018-01-23 | 2020-10-27 | Toyota Research Institute, Inc. | Vehicle systems and methods for determining target based on selecting a virtual eye position or a pointing direction |
| US10540941B2 (en) | 2018-01-30 | 2020-01-21 | Magic Leap, Inc. | Eclipse cursor for mixed reality displays |
| US11567627B2 (en) * | 2018-01-30 | 2023-01-31 | Magic Leap, Inc. | Eclipse cursor for virtual content in mixed reality displays |
| CN110120229A (zh) * | 2018-02-05 | 2019-08-13 | 北京三星通信技术研究有限公司 | 虚拟现实vr音频信号的处理方法及相应设备 |
| US11533272B1 (en) * | 2018-02-06 | 2022-12-20 | Amesite Inc. | Computer based education methods and apparatus |
| CN108337430A (zh) * | 2018-02-07 | 2018-07-27 | 北京联合大学 | 360度无死角智能眼镜 |
| US11194161B2 (en) | 2018-02-09 | 2021-12-07 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| EP3750029A1 (en) | 2018-02-09 | 2020-12-16 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters using a neural network |
| WO2019154510A1 (en) | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| CN108764007A (zh) * | 2018-02-10 | 2018-11-06 | 集智学园（北京）科技有限公司 | 基于ocr与文本分析技术对注意力的测量方法 |
| US11048785B2 (en) * | 2018-02-14 | 2021-06-29 | Samsung Electronics Co., Ltd | Method and apparatus of performing authentication |
| US20190253700A1 (en) | 2018-02-15 | 2019-08-15 | Tobii Ab | Systems and methods for calibrating image sensors in wearable apparatuses |
| US10726765B2 (en) | 2018-02-15 | 2020-07-28 | Valve Corporation | Using tracking of display device to control image display |
| US10735649B2 (en) | 2018-02-22 | 2020-08-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods using display system control information embedded in image data |
| KR102495796B1 (ko) * | 2018-02-23 | 2023-02-06 | 삼성전자주식회사 | 시계(field of view)가 다른 복수의 카메라를 이용하여 생체 인증을 수행하는 방법 및 이를 위한 전자 장치 |
| CN108537111A (zh) | 2018-02-26 | 2018-09-14 | 阿里巴巴集团控股有限公司 | 一种活体检测的方法、装置及设备 |
| US11074748B2 (en) | 2018-02-27 | 2021-07-27 | Magic Leap, Inc. | Matching meshes for virtual avatars |
| CN111936912A (zh) | 2018-02-28 | 2020-11-13 | 奇跃公司 | 使用眼部配准的头部扫描对准 |
| JP7303818B2 (ja) | 2018-03-05 | 2023-07-05 | マジック リープ， インコーポレイテッド | 低遅延瞳孔トラッカーを伴うディスプレイシステム |
| WO2019172503A1 (ko) * | 2018-03-05 | 2019-09-12 | 고려대학교 산학협력단 | 안구추적을 통한 시야장애 평가 장치, 이를 이용한 시야장애 평가 방법 및 컴퓨터 판독 가능한 저장 매체 |
| CN108491072B (zh) * | 2018-03-05 | 2020-01-21 | 京东方科技集团股份有限公司 | 一种虚拟现实交互方法及装置 |
| US11563885B2 (en) | 2018-03-06 | 2023-01-24 | Eyedaptic, Inc. | Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids |
| AU2019232746A1 (en) | 2018-03-07 | 2020-08-20 | Magic Leap, Inc. | Adaptive lens assemblies including polarization-selective lens stacks for augmented reality display |
| CA3059064C (en) | 2018-03-07 | 2022-01-04 | Magic Leap, Inc. | Visual tracking of peripheral devices |
| CN111886533A (zh) | 2018-03-12 | 2020-11-03 | 奇跃公司 | 基于倾斜阵列的显示器 |
| US10528133B2 (en) * | 2018-03-13 | 2020-01-07 | Facebook Technologies, Llc | Bracelet in a distributed artificial reality system |
| EP3765890A4 (en) | 2018-03-14 | 2022-01-12 | Magic Leap, Inc. | DISPLAY SYSTEMS AND CONTENT CROPPING METHODS TO INCREASE VIEWING COMFORT |
| US10747312B2 (en) * | 2018-03-14 | 2020-08-18 | Apple Inc. | Image enhancement devices with gaze tracking |
| US10755676B2 (en) | 2018-03-15 | 2020-08-25 | Magic Leap, Inc. | Image correction due to deformation of components of a viewing device |
| US11430169B2 (en) | 2018-03-15 | 2022-08-30 | Magic Leap, Inc. | Animating virtual avatar facial movements |
| JP7344894B2 (ja) | 2018-03-16 | 2023-09-14 | マジック リープ， インコーポレイテッド | 眼追跡カメラからの顔の表情 |
| JP7381482B2 (ja) | 2018-03-16 | 2023-11-15 | マジック リープ， インコーポレイテッド | ディスプレイシステムのための深度ベースの中心窩化レンダリング |
| WO2019183399A1 (en) | 2018-03-21 | 2019-09-26 | Magic Leap, Inc. | Augmented reality system and method for spectroscopic analysis |
| JP6583460B2 (ja) * | 2018-03-23 | 2019-10-02 | 株式会社セガゲームス | 認証システム |
| CN108416322B (zh) * | 2018-03-27 | 2019-05-17 | 吉林大学 | 一种虚拟装配坐式操作中目视动作识别方法 |
| JP7118697B2 (ja) | 2018-03-30 | 2022-08-16 | 株式会社Preferred Networks | 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル |
| JP7349445B2 (ja) | 2018-04-02 | 2023-09-22 | マジック リープ， インコーポレイテッド | 統合型光学要素を伴う導波管および同一物を作製する方法 |
| US11886000B2 (en) | 2018-04-02 | 2024-01-30 | Magic Leap, Inc. | Waveguides having integrated spacers, waveguides having edge absorbers, and methods for making the same |
| EP3776029A4 (en) | 2018-04-02 | 2022-06-29 | Magic Leap, Inc. | Hybrid polymer waveguide and methods for making the same |
| WO2019204164A1 (en) | 2018-04-16 | 2019-10-24 | Magic Leap, Inc. | Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters |
| US11067805B2 (en) | 2018-04-19 | 2021-07-20 | Magic Leap, Inc. | Systems and methods for operating a display system based on user perceptibility |
| CN108459720B (zh) * | 2018-04-19 | 2023-11-21 | 京东方科技集团股份有限公司 | 视控装置及用视控装置控制终端的方法 |
| US11364361B2 (en) | 2018-04-20 | 2022-06-21 | Neuroenhancement Lab, LLC | System and method for inducing sleep by transplanting mental states |
| US10789753B2 (en) | 2018-04-23 | 2020-09-29 | Magic Leap, Inc. | Avatar facial expression representation in multidimensional space |
| WO2019212698A1 (en) | 2018-05-01 | 2019-11-07 | Magic Leap, Inc. | Avatar animation using markov decision process policies |
| WO2019213220A1 (en) | 2018-05-03 | 2019-11-07 | Magic Leap, Inc. | Using 3d scans of a physical subject to determine positions and orientations of joints for a virtual character |
| EP3743794B1 (en) | 2018-05-04 | 2022-11-09 | Google LLC | Hot-word free adaptation of automated assistant function(s) |
| KR20230121930A (ko) * | 2018-05-04 | 2023-08-21 | 구글 엘엘씨 | 감지된 입 움직임 및/또는 시선을 기반으로 자동화된어시스턴트 적응 |
| EP3982236B1 (en) | 2018-05-04 | 2023-10-11 | Google LLC | Invoking automated assistant function(s) based on detected gesture and gaze |
| US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
| JP7099036B2 (ja) * | 2018-05-07 | 2022-07-12 | オムロン株式会社 | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム |
| US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
| US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
| KR20240024351A (ko) * | 2018-05-07 | 2024-02-23 | 애플 인크. | 크리에이티브 카메라 |
| DK201870374A1 (en) | 2018-05-07 | 2019-12-04 | Apple Inc. | AVATAR CREATION USER INTERFACE |
| WO2019217903A1 (en) * | 2018-05-11 | 2019-11-14 | Visionairy Health, Inc. | Automated screening of medical data |
| WO2019221325A1 (ko) * | 2018-05-14 | 2019-11-21 | 한국과학기술원 | 눈동자 반응을 이용한 연속 인증 시스템 |
| US11262839B2 (en) | 2018-05-17 | 2022-03-01 | Sony Interactive Entertainment Inc. | Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment |
| US10942564B2 (en) * | 2018-05-17 | 2021-03-09 | Sony Interactive Entertainment Inc. | Dynamic graphics rendering based on predicted saccade landing point |
| US11282255B2 (en) | 2018-05-21 | 2022-03-22 | Magic Leap, Inc. | Generating textured polygon strip hair from strand-based hair for a virtual character |
| CN108763394B (zh) * | 2018-05-21 | 2021-11-23 | 浙江工业大学 | 面向协同交互的多用户眼动跟踪数据可视化方法和系统 |
| WO2019226554A1 (en) | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Skeletal systems for animating virtual avatars |
| WO2019226549A1 (en) | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Computer generated hair groom transfer tool |
| WO2019226691A1 (en) | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
| CN108854064B (zh) * | 2018-05-25 | 2023-03-28 | 深圳市腾讯网络信息技术有限公司 | 交互控制方法、装置、计算机可读介质及电子设备 |
| CN108416341B (zh) * | 2018-05-25 | 2023-11-21 | 重庆青腾致汇科技有限公司 | 一种新型生物识别系统 |
| WO2019226865A1 (en) | 2018-05-25 | 2019-11-28 | Magic Leap, Inc. | Compression of dynamic unstructured point clouds |
| US11187906B2 (en) | 2018-05-29 | 2021-11-30 | Eyedaptic, Inc. | Hybrid see through augmented reality systems and methods for low vision users |
| WO2019232282A1 (en) | 2018-05-30 | 2019-12-05 | Magic Leap, Inc. | Compact variable focus configurations |
| US11885871B2 (en) | 2018-05-31 | 2024-01-30 | Magic Leap, Inc. | Radar head pose localization |
| DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
| US10509467B1 (en) * | 2018-06-01 | 2019-12-17 | Facebook Technologies, Llc | Determining fixation of a user's eyes from images of portions of the user's face enclosed by a head mounted display |
| US10360304B1 (en) * | 2018-06-04 | 2019-07-23 | Imageous, Inc. | Natural language processing interface-enabled building conditions control system |
| JP7369147B2 (ja) | 2018-06-05 | 2023-10-25 | マジック リープ， インコーポレイテッド | 視認システムのホモグラフィ変換行列ベースの温度較正 |
| US11238143B2 (en) * | 2018-06-05 | 2022-02-01 | Google Llc | Method and system for authenticating a user on a wearable heads-up display |
| US11157159B2 (en) | 2018-06-07 | 2021-10-26 | Magic Leap, Inc. | Augmented reality scrollbar |
| WO2019237099A1 (en) | 2018-06-08 | 2019-12-12 | Magic Leap, Inc. | Augmented reality viewer with automated surface selection placement and content orientation placement |
| WO2019238230A1 (en) * | 2018-06-14 | 2019-12-19 | Brainlab Ag | Registration of an anatomical body part by detecting a finger pose |
| WO2019237175A1 (en) * | 2018-06-14 | 2019-12-19 | Integrity Advocate Inc. | Method and system for assessing participants |
| US11531244B2 (en) | 2018-06-15 | 2022-12-20 | Magic Leap, Inc. | Wide field-of-view polarization switches with liquid crystal optical elements with pretilt |
| CN108962182A (zh) * | 2018-06-15 | 2018-12-07 | 广东康云多维视觉智能科技有限公司 | 基于眼球追踪的三维图像显示装置及其实现方法 |
| WO2019246044A1 (en) | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Head-mounted display systems with power saving functionality |
| CA3103877A1 (en) * | 2018-06-18 | 2019-12-26 | New Jersey Institute Of Technology | Method, system and apparatus for diagnostic assessment and screening of binocular dysfunctions |
| CN112567287A (zh) | 2018-06-18 | 2021-03-26 | 奇跃公司 | 具有帧调制功能的增强现实显示 |
| WO2019246058A1 (en) | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device |
| JP7214986B2 (ja) * | 2018-06-25 | 2023-01-31 | 日本電信電話株式会社 | 反射性判定装置、反射性判定方法、プログラム |
| US11151793B2 (en) | 2018-06-26 | 2021-10-19 | Magic Leap, Inc. | Waypoint creation in map detection |
| JP7437327B2 (ja) | 2018-07-02 | 2024-02-22 | マジック リープ， インコーポレイテッド | 異種入力の補間のための方法およびシステム |
| WO2020010097A1 (en) | 2018-07-02 | 2020-01-09 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
| US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
| WO2020010226A1 (en) | 2018-07-03 | 2020-01-09 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| WO2020009670A1 (en) * | 2018-07-04 | 2020-01-09 | Solmaz Gumruk Musavirligi A.S. | A method using artificial neural networks to find a unique harmonized system code from given texts and system for implementing the same |
| KR20200004666A (ko) | 2018-07-04 | 2020-01-14 | 주식회사 링크트리 | 머신러닝과 블록체인을 이용한 생체정보 인증 시스템 |
| US11106033B2 (en) | 2018-07-05 | 2021-08-31 | Magic Leap, Inc. | Waveguide-based illumination for head mounted display system |
| US11205312B2 (en) * | 2018-07-10 | 2021-12-21 | Carrier Corporation | Applying image analytics and machine learning to lock systems in hotels |
| US10936163B2 (en) | 2018-07-17 | 2021-03-02 | Methodical Mind, Llc. | Graphical user interface system |
| US10863812B2 (en) | 2018-07-18 | 2020-12-15 | L'oreal | Makeup compact with eye tracking for guidance of makeup application |
| US10795435B2 (en) | 2018-07-19 | 2020-10-06 | Samsung Electronics Co., Ltd. | System and method for hybrid eye tracker |
| US11966055B2 (en) | 2018-07-19 | 2024-04-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
| US10884492B2 (en) | 2018-07-20 | 2021-01-05 | Avegant Corp. | Relative position based eye-tracking system |
| US11627587B2 (en) | 2018-07-23 | 2023-04-11 | Magic Leap, Inc. | Coexistence interference avoidance between two different radios operating in the same band |
| EP3827417A4 (en) | 2018-07-23 | 2022-04-27 | Magic Leap, Inc. | RECURRENT NEURAL NETWORK WITH DEPTH PREDICTOR FOR HEADPOST PREDICTION |
| US11598651B2 (en) | 2018-07-24 | 2023-03-07 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
| JP7418400B2 (ja) | 2018-07-24 | 2024-01-19 | マジック リープ， インコーポレイテッド | 再バウンス誘発光損失の軽減を伴う回折光学要素および関連システムおよび方法 |
| WO2020023672A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Display systems and methods for determining vertical alignment between left and right displays and a user's eyes |
| EP3827426A4 (en) | 2018-07-24 | 2022-07-27 | Magic Leap, Inc. | AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES |
| USD924204S1 (en) | 2018-07-24 | 2021-07-06 | Magic Leap, Inc. | Totem controller having an illumination region |
| WO2020023404A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Flicker mitigation when toggling eyepiece display illumination in augmented reality systems |
| USD918176S1 (en) | 2018-07-24 | 2021-05-04 | Magic Leap, Inc. | Totem controller having an illumination region |
| USD930614S1 (en) | 2018-07-24 | 2021-09-14 | Magic Leap, Inc. | Totem controller having an illumination region |
| WO2020023543A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Viewing device with dust seal integration |
| US10950024B2 (en) | 2018-07-27 | 2021-03-16 | Magic Leap, Inc. | Pose space dimensionality reduction for pose space deformation of a virtual character |
| US11112862B2 (en) | 2018-08-02 | 2021-09-07 | Magic Leap, Inc. | Viewing system with interpupillary distance compensation based on head motion |
| US10795458B2 (en) | 2018-08-03 | 2020-10-06 | Magic Leap, Inc. | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system |
| CN112805659A (zh) | 2018-08-03 | 2021-05-14 | 奇跃公司 | 通过用户分类为多深度平面显示系统选择深度平面 |
| US11012659B2 (en) * | 2018-08-07 | 2021-05-18 | International Business Machines Corporation | Intelligent illumination and sound control in an internet of things (IoT) computing environment |
| CN109165939A (zh) * | 2018-08-23 | 2019-01-08 | 唐剑虹 | 基于生物识别技术的区块链vr硬件钱包 |
| WO2020046815A1 (en) * | 2018-08-26 | 2020-03-05 | The Research Foundation For The State University Of New York | System and method for inter-individual discrimination based on oculomotor kinematics |
| DE102018214976A1 (de) * | 2018-09-04 | 2020-03-05 | Robert Bosch Gmbh | Verfahren zur Steuerung einer Multimedia-Einrichtung sowie Computerprogramm und Einrichtung dazu |
| GB2576910B (en) * | 2018-09-06 | 2021-10-20 | Sony Interactive Entertainment Inc | User profile generating system and method |
| CN109145566A (zh) * | 2018-09-08 | 2019-01-04 | 太若科技(北京)有限公司 | 基于注视点信息解锁ar眼镜的方法、装置及ar眼镜 |
| DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
| EP3849410A4 (en) | 2018-09-14 | 2022-11-02 | Neuroenhancement Lab, LLC | SLEEP ENHANCEMENT SYSTEM AND METHOD |
| CN112639687B (zh) * | 2018-09-17 | 2024-05-24 | 元平台技术有限公司 | 使用反向偏置发光二极管器件的眼睛跟踪 |
| USD934872S1 (en) | 2018-09-18 | 2021-11-02 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| USD934873S1 (en) | 2018-09-18 | 2021-11-02 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| USD955396S1 (en) | 2018-09-18 | 2022-06-21 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| USD950567S1 (en) | 2018-09-18 | 2022-05-03 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| US20200089855A1 (en) * | 2018-09-19 | 2020-03-19 | XRSpace CO., LTD. | Method of Password Authentication by Eye Tracking in Virtual Reality System |
| US10664050B2 (en) | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
| EP3856098A4 (en) | 2018-09-24 | 2022-05-25 | Eyedaptic, Inc. | IMPROVED AUTONOMOUS HANDS-FREE CONTROL OF ELECTRONIC VISION AIDS |
| US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| US10645294B1 (en) | 2019-05-06 | 2020-05-05 | Apple Inc. | User interfaces for capturing and managing visual media |
| EP3857294A4 (en) | 2018-09-26 | 2022-06-08 | Magic Leap, Inc. | OPTICAL POWER DIFFRACTION OPTICAL ELEMENTS |
| US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
| US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
| US11119573B2 (en) * | 2018-09-28 | 2021-09-14 | Apple Inc. | Pupil modulation as a cognitive control signal |
| US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US11055388B2 (en) * | 2018-10-08 | 2021-07-06 | Advanced New Technologies Co., Ltd. | Passive affective and knowledge-based authentication through eye movement tracking |
| CN111083299A (zh) * | 2018-10-18 | 2020-04-28 | 富士施乐株式会社 | 信息处理装置及存储介质 |
| MX2021003713A (es) * | 2018-10-19 | 2021-09-14 | Univ Emory | Sistemas y metodos para la evaluacion automatica pasiva de la memoria y/o prominencia visoespacial. |
| CN109040604B (zh) * | 2018-10-23 | 2020-09-15 | Oppo广东移动通信有限公司 | 拍摄图像的处理方法、装置、存储介质及移动终端 |
| JP7455121B2 (ja) | 2018-10-26 | 2024-03-25 | マジック リープ， インコーポレイテッド | 電磁追跡のための周囲電磁歪み補正 |
| CN109376666B (zh) * | 2018-10-29 | 2022-01-25 | 百度在线网络技术（北京）有限公司 | 一种商品售卖方法、装置、售卖机及存储介质 |
| CN111127537A (zh) * | 2018-10-29 | 2020-05-08 | 托比股份公司 | 用于检测头戴式装置中的阴影的方法和装置 |
| SE542887C2 (en) * | 2018-10-31 | 2020-08-11 | Tobii Ab | Gaze tracking using mapping of pupil center position |
| US11847196B2 (en) | 2018-11-01 | 2023-12-19 | 3M Innovative Properties Company | Device, user, or server registration and verification |
| US10896492B2 (en) | 2018-11-09 | 2021-01-19 | Qwake Technologies, Llc | Cognitive load reducing platform having image edge enhancement |
| US10417497B1 (en) * | 2018-11-09 | 2019-09-17 | Qwake Technologies | Cognitive load reducing platform for first responders |
| US11890494B2 (en) | 2018-11-09 | 2024-02-06 | Qwake Technologies, Inc. | Retrofittable mask mount system for cognitive load reducing platform |
| US10833945B2 (en) * | 2018-11-13 | 2020-11-10 | International Business Machines Corporation | Managing downloading of content |
| JP7389116B2 (ja) | 2018-11-15 | 2023-11-29 | マジック リープ， インコーポレイテッド | 深層ニューラルネットワーク姿勢推定システム |
| US10914949B2 (en) | 2018-11-16 | 2021-02-09 | Magic Leap, Inc. | Image size triggered clarification to maintain image sharpness |
| WO2020106824A1 (en) | 2018-11-20 | 2020-05-28 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
| WO2020107022A1 (en) * | 2018-11-23 | 2020-05-28 | Slingshot Aerospace, Inc. | Signal processing workflow engine incorporating graphical user interface for space situational awareness |
| CN109683704B (zh) * | 2018-11-29 | 2022-01-28 | 武汉中地地科传媒文化有限责任公司 | 一种ar界面交互方法及ar显示设备 |
| WO2020112561A1 (en) | 2018-11-30 | 2020-06-04 | Magic Leap, Inc. | Multi-modal hand location and orientation for avatar movement |
| CN111277857B (zh) * | 2018-12-04 | 2021-04-13 | 清华大学 | 一种流媒体调度方法及装置 |
| US11443515B2 (en) * | 2018-12-21 | 2022-09-13 | Ambient AI, Inc. | Systems and methods for machine learning enhanced intelligent building access endpoint security monitoring and management |
| CN109799838B (zh) * | 2018-12-21 | 2022-04-15 | 金季春 | 一种训练方法和系统 |
| WO2020132941A1 (zh) * | 2018-12-26 | 2020-07-02 | 中国科学院深圳先进技术研究院 | 识别方法及相关装置 |
| JP7451534B2 (ja) | 2018-12-28 | 2024-03-18 | マジック リープ， インコーポレイテッド | 発光型マイクロディスプレイを伴う仮想および拡張現実ディスプレイシステム |
| US11914150B2 (en) | 2018-12-28 | 2024-02-27 | Magic Leap, Inc. | Augmented and virtual reality display systems with shared display for left and right eyes |
| US11139071B2 (en) | 2018-12-31 | 2021-10-05 | Cerner Innovation, Inc. | Virtual augmentation of clinical care environments |
| EP3912013A1 (en) | 2019-01-16 | 2021-11-24 | Pupil Labs GmbH | Methods for generating calibration data for head-wearable devices and eye tracking system |
| US11036043B2 (en) * | 2019-01-17 | 2021-06-15 | Advanced New Technologies Co., Ltd. | Identity authentication using lens features |
| US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
| US11458040B2 (en) | 2019-01-23 | 2022-10-04 | Meta Platforms Technologies, Llc | Corneal topography mapping with dense illumination |
| EP3914997A4 (en) | 2019-01-25 | 2022-10-12 | Magic Leap, Inc. | OCULOMETRY USING IMAGES WITH DIFFERENT EXPOSURE TIMES |
| CN109828734A (zh) * | 2019-01-29 | 2019-05-31 | 深圳市海派通讯科技有限公司 | 智能终端显示屏幕控制方法、系统及存储介质 |
| EP4369151A2 (en) | 2019-02-06 | 2024-05-15 | Magic Leap, Inc. | Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors |
| KR102246408B1 (ko) * | 2019-02-14 | 2021-05-18 | 엔에이치엔 주식회사 | 딥러닝 기반 유사상품 제공방법 |
| CN109919065A (zh) * | 2019-02-26 | 2019-06-21 | 浪潮金融信息技术有限公司 | 一种使用眼球追踪技术在屏幕上获取关注点的方法 |
| US11138302B2 (en) * | 2019-02-27 | 2021-10-05 | International Business Machines Corporation | Access control using multi-authentication factors |
| KR102190527B1 (ko) * | 2019-02-28 | 2020-12-14 | 현대모비스 주식회사 | 자동 영상 합성 장치 및 방법 |
| US11287657B2 (en) | 2019-02-28 | 2022-03-29 | Magic Leap, Inc. | Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays |
| CN113811803A (zh) | 2019-03-12 | 2021-12-17 | 奇跃公司 | 具有高折射率材料的波导及其制造方法 |
| EP3939030A4 (en) | 2019-03-12 | 2022-11-30 | Magic Leap, Inc. | REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY |
| RU2715300C1 (ru) * | 2019-03-12 | 2020-02-26 | Алексей Федорович Хорошев | Способ создания данных соответствия объекта и информации о нем |
| CN110059232B (zh) * | 2019-03-15 | 2021-05-07 | 杭州电子科技大学 | 一种基于用户体验度量的数据可视化方法 |
| US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
| CN110011985A (zh) | 2019-03-19 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 用于操作物联网设备的方法和系统 |
| CN113841006A (zh) | 2019-03-20 | 2021-12-24 | 奇跃公司 | 提供对眼睛的照射的系统 |
| US11099384B2 (en) * | 2019-03-27 | 2021-08-24 | Lenovo (Singapore) Pte. Ltd. | Adjusting display settings of a head-mounted display |
| US11644897B2 (en) | 2019-04-01 | 2023-05-09 | Evolution Optiks Limited | User tracking system using user feature location and method, and digital display device and digital image rendering system and method using same |
| EP3948402B1 (en) * | 2019-04-01 | 2023-12-06 | Evolution Optiks Limited | Pupil tracking system and method, and digital display device and digital image rendering system and method using same |
| TWI754806B (zh) * | 2019-04-09 | 2022-02-11 | 栗永徽 | 利用深度學習定位虹膜之裝置與方法 |
| USD916892S1 (en) * | 2019-04-09 | 2021-04-20 | Google Llc | Display screen or portion thereof with graphical user interface with icon |
| JP2022529245A (ja) | 2019-04-15 | 2022-06-20 | マジック リープ， インコーポレイテッド | 電磁追跡のためのセンサ融合 |
| CN110060678B (zh) * | 2019-04-16 | 2021-09-14 | 深圳欧博思智能科技有限公司 | 一种基于智能设备的虚拟角色控制方法及智能设备 |
| JP7060544B6 (ja) * | 2019-04-26 | 2022-05-23 | 塁 佐藤 | 運動用設備 |
| WO2020223636A1 (en) | 2019-05-01 | 2020-11-05 | Magic Leap, Inc. | Content provisioning system and method |
| CN111897411A (zh) * | 2019-05-05 | 2020-11-06 | Oppo广东移动通信有限公司 | 基于大气光通信的交互方法、装置和穿戴设备 |
| US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
| DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
| SE543144C2 (en) * | 2019-05-15 | 2020-10-13 | Tobii Ab | Method and system for dwell-less, hands-free interaction with a selectable object |
| EP3973347A4 (en) | 2019-05-20 | 2023-05-31 | Magic Leap, Inc. | EYE POSITION ESTIMATION SYSTEMS AND TECHNIQUES |
| JP7385681B2 (ja) | 2019-05-21 | 2023-11-22 | マジック リープ， インコーポレイテッド | 手姿勢推定 |
| US11786694B2 (en) | 2019-05-24 | 2023-10-17 | NeuroLight, Inc. | Device, method, and app for facilitating sleep |
| WO2020243012A1 (en) | 2019-05-24 | 2020-12-03 | Magic Leap, Inc. | Variable focus assemblies |
| EP3976726A4 (en) | 2019-05-28 | 2023-06-28 | Magic Leap, Inc. | Thermal management system for portable electronic devices |
| USD962981S1 (en) | 2019-05-29 | 2022-09-06 | Magic Leap, Inc. | Display screen or portion thereof with animated scrollbar graphical user interface |
| JP6830981B2 (ja) * | 2019-05-29 | 2021-02-17 | 株式会社東芝 | ウェアラブル機器及び表示方法 |
| EP3744227A1 (en) | 2019-05-31 | 2020-12-02 | Essilor International | Binocular refraction instrument, set of test images, binocular refraction method and computer program associated thereof |
| US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
| US10885173B2 (en) * | 2019-06-04 | 2021-01-05 | Nant Holdings Ip, Llc | Content authentication and validation via multi-factor digital tokens, systems, and methods |
| WO2020244752A1 (en) | 2019-06-05 | 2020-12-10 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| CN110338748B (zh) * | 2019-06-13 | 2022-03-08 | 宁波明星科技发展有限公司 | 快速定位视力值的方法、存储介质、终端及视力检测仪 |
| US11650423B2 (en) | 2019-06-20 | 2023-05-16 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
| EP3987393A4 (en) | 2019-06-21 | 2023-07-19 | Magic Leap, Inc. | SECURE AUTHORIZATION VIA MODAL WINDOW |
| US11726317B2 (en) | 2019-06-24 | 2023-08-15 | Magic Leap, Inc. | Waveguides having integral spacers and related systems and methods |
| US11307650B1 (en) * | 2019-06-25 | 2022-04-19 | Apple Inc. | Modifying virtual content to invoke a target user state |
| US10976816B2 (en) * | 2019-06-25 | 2021-04-13 | Microsoft Technology Licensing, Llc | Using eye tracking to hide virtual reality scene changes in plain sight |
| US10901502B2 (en) * | 2019-06-27 | 2021-01-26 | Facebook, Inc. | Reducing head mounted display power consumption and heat generation through predictive rendering of content |
| US11379610B2 (en) * | 2019-07-10 | 2022-07-05 | Blackberry Limited | Methods and devices for automatically encrypting files |
| US11029805B2 (en) | 2019-07-10 | 2021-06-08 | Magic Leap, Inc. | Real-time preview of connectable objects in a physically-modeled virtual space |
| TW202103646A (zh) * | 2019-07-15 | 2021-02-01 | 美商外科劇院股份有限公司 | 用於遠距監督手術程序之擴增實境系統及方法 |
| US11868525B2 (en) | 2019-07-16 | 2024-01-09 | Magic Leap, Inc. | Eye center of rotation determination with one or more eye tracking cameras |
| EP3999884A4 (en) | 2019-07-19 | 2023-08-30 | Magic Leap, Inc. | DISPLAY DEVICE HAVING DIFFRACTION GRATINGS WITH REDUCED POLARIZATION SENSITIVITY |
| US11460616B2 (en) | 2019-07-19 | 2022-10-04 | Magic Leap, Inc. | Method of fabricating diffraction gratings |
| US11907417B2 (en) | 2019-07-25 | 2024-02-20 | Tectus Corporation | Glance and reveal within a virtual environment |
| WO2021021670A1 (en) | 2019-07-26 | 2021-02-04 | Magic Leap, Inc. | Systems and methods for augmented reality |
| US11354805B2 (en) | 2019-07-30 | 2022-06-07 | Apple Inc. | Utilization of luminance changes to determine user characteristics |
| JP2022543272A (ja) * | 2019-08-06 | 2022-10-11 | アルコン インコーポレイティド | 硝子体網膜手術用のシーンカメラシステム及び方法 |
| CN110572632A (zh) * | 2019-08-15 | 2019-12-13 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于视线跟踪的增强现实显示系统、头盔和方法 |
| US11263634B2 (en) | 2019-08-16 | 2022-03-01 | Advanced New Technologies Co., Ltd. | Payment method and device |
| US11380065B2 (en) * | 2019-08-20 | 2022-07-05 | Red Pacs, Llc | Advanced head display unit for fire fighters |
| WO2021041990A1 (en) | 2019-08-28 | 2021-03-04 | Qwake Technologies, Llc | Wearable assisted perception module for navigation and communication in hazardous environments |
| US11282297B2 (en) * | 2019-09-10 | 2022-03-22 | Blue Planet Training, Inc. | System and method for visual analysis of emotional coherence in videos |
| WO2021050924A1 (en) | 2019-09-11 | 2021-03-18 | Magic Leap, Inc. | Display device with diffraction grating having reduced polarization sensitivity |
| US11295309B2 (en) * | 2019-09-13 | 2022-04-05 | International Business Machines Corporation | Eye contact based financial transaction |
| US11010980B2 (en) | 2019-09-25 | 2021-05-18 | International Business Machines Corporation | Augmented interface distraction reduction |
| US11354910B2 (en) * | 2019-09-27 | 2022-06-07 | Ncr Corporation | Frictionless authentication and monitoring |
| US11601693B2 (en) | 2019-09-30 | 2023-03-07 | Kyndryl, Inc. | Automatic adaptation of digital content |
| CN110751064B (zh) * | 2019-09-30 | 2022-06-24 | 四川大学 | 基于图像处理的眨眼次数分析方法和系统 |
| US20210097436A1 (en) * | 2019-10-01 | 2021-04-01 | Kelley S. Weiland | Automated system for generating properly tagged training data for and verifying the efficacy of artificial intelligence algorithms |
| US11436655B2 (en) * | 2019-10-01 | 2022-09-06 | Ebay Inc. | Different action user-interface components in a comparison view |
| US11176757B2 (en) | 2019-10-02 | 2021-11-16 | Magic Leap, Inc. | Mission driven virtual character for user interaction |
| US11276246B2 (en) | 2019-10-02 | 2022-03-15 | Magic Leap, Inc. | Color space mapping for intuitive surface normal visualization |
| KR102128894B1 (ko) * | 2019-10-10 | 2020-07-01 | 주식회사 메디씽큐 | 스마트 안경의 시선 트래킹 시스템 및 그 방법 |
| CN110837294B (zh) * | 2019-10-14 | 2023-12-12 | 成都西山居世游科技有限公司 | 一种基于眼球追踪的面部表情控制方法及系统 |
| JP7423248B2 (ja) * | 2019-10-23 | 2024-01-29 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム及び記憶媒体 |
| US10901505B1 (en) | 2019-10-24 | 2021-01-26 | Tectus Corporation | Eye-based activation and tool selection systems and methods |
| US11662807B2 (en) * | 2020-01-06 | 2023-05-30 | Tectus Corporation | Eye-tracking user interface for virtual tool control |
| US10607077B1 (en) * | 2019-10-28 | 2020-03-31 | EyeVerify Inc. | Identity authentication using an inlier neural network |
| CN110745000B (zh) * | 2019-10-29 | 2021-09-28 | 上海天马有机发光显示技术有限公司 | 一种车辆仪表及其显示方法、车速监控显示系统 |
| US11830318B2 (en) | 2019-10-31 | 2023-11-28 | 8 Bit Development Inc. | Method of authenticating a consumer or user in virtual reality, thereby enabling access to controlled environments |
| CN110727352A (zh) * | 2019-10-31 | 2020-01-24 | 哈雷医用(广州)智能技术有限公司 | 一种对抑郁症具有改善作用的电子产品及其控制方法 |
| TWI731461B (zh) * | 2019-11-01 | 2021-06-21 | 宏碁股份有限公司 | 真實人臉的識別方法與真實人臉的識別裝置 |
| US10795984B1 (en) | 2019-11-01 | 2020-10-06 | Capital One Services, Llc | Active locking mechanism using machine learning |
| EP4054400A4 (en) * | 2019-11-05 | 2023-11-15 | The Regents of the University of Colorado, a body corporate | SYSTEMS AND METHODS FOR EXAMINING EYE STRUCTURES |
| USD982593S1 (en) | 2019-11-08 | 2023-04-04 | Magic Leap, Inc. | Portion of a display screen with animated ray |
| US11493989B2 (en) | 2019-11-08 | 2022-11-08 | Magic Leap, Inc. | Modes of user interaction |
| JP7467619B2 (ja) | 2019-11-08 | 2024-04-15 | マジック リープ， インコーポレイテッド | 複数の材料を含む光再指向構造を伴うメタ表面およびその加工方法 |
| CN114667538A (zh) | 2019-11-15 | 2022-06-24 | 奇跃公司 | 用于在外科手术环境中使用的观看系统 |
| WO2021101844A1 (en) | 2019-11-18 | 2021-05-27 | Magic Leap, Inc. | Mapping and localization of a passable world |
| EP4062229A4 (en) | 2019-11-22 | 2024-01-03 | Magic Leap Inc | METHOD AND SYSTEM FOR FORMING PATTERNS ON A LIQUID CRYSTAL LAYER |
| WO2021108327A1 (en) | 2019-11-26 | 2021-06-03 | Magic Leap, Inc. | Enhanced eye tracking for augmented or virtual reality display systems |
| US11665379B2 (en) * | 2019-11-26 | 2023-05-30 | Photo Sensitive Cinema (PSC) | Rendering image content as time-spaced frames |
| US11273341B2 (en) * | 2019-11-27 | 2022-03-15 | Ready 2 Perform Technology LLC | Interactive visualization system for biomechanical assessment |
| CN112904997B (zh) * | 2019-12-04 | 2023-05-26 | Oppo广东移动通信有限公司 | 设备控制方法及相关产品 |
| US10871825B1 (en) * | 2019-12-04 | 2020-12-22 | Facebook Technologies, Llc | Predictive eye tracking systems and methods for variable focus electronic displays |
| WO2021113309A1 (en) | 2019-12-06 | 2021-06-10 | Magic Leap, Inc. | Encoding stereo splash screen in static image |
| JP2023504369A (ja) | 2019-12-06 | 2023-02-03 | マジック リープ， インコーポレイテッド | 動的ブラウザステージ |
| USD941353S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD940189S1 (en) | 2019-12-09 | 2022-01-04 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD952673S1 (en) | 2019-12-09 | 2022-05-24 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD940748S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD941307S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with graphical user interface for guiding graphics |
| USD940749S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| US11288876B2 (en) | 2019-12-13 | 2022-03-29 | Magic Leap, Inc. | Enhanced techniques for volumetric stage mapping based on calibration object |
| US11640572B2 (en) * | 2019-12-19 | 2023-05-02 | Senseye, Inc. | Ocular system to optimize learning |
| US20210192853A1 (en) * | 2019-12-20 | 2021-06-24 | Abdul Zalil | Method and system for wireless transmission of audio/video media content to a display device |
| CN113010066B (zh) * | 2019-12-20 | 2022-11-11 | 华为技术有限公司 | 显示参数确定方法及装置 |
| CN111091595B (zh) * | 2019-12-23 | 2023-06-02 | 吉林省广播电视研究所(吉林省广播电视局科技信息中心) | 斜视三维测绘方法及测绘系统 |
| CN111159678B (zh) * | 2019-12-26 | 2023-08-18 | 联想(北京)有限公司 | 一种身份识别方法、装置及存储介质 |
| CN111292850A (zh) * | 2020-01-22 | 2020-06-16 | 福建中医药大学 | 一种adhd儿童注意力智能康复系统 |
| CN115380236A (zh) | 2020-01-24 | 2022-11-22 | 奇跃公司 | 使用单个控制器的内容移动和交互 |
| US11340695B2 (en) | 2020-01-24 | 2022-05-24 | Magic Leap, Inc. | Converting a 2D positional input into a 3D point in space |
| USD948574S1 (en) | 2020-01-27 | 2022-04-12 | Magic Leap, Inc. | Portion of a display screen with a set of avatars |
| JP2023511311A (ja) | 2020-01-27 | 2023-03-17 | マジック リープ， インコーポレイテッド | ユーザ入力デバイスの機能性の注視タイマベースの拡張 |
| USD949200S1 (en) | 2020-01-27 | 2022-04-19 | Magic Leap, Inc. | Portion of a display screen with a set of avatars |
| US11380072B2 (en) | 2020-01-27 | 2022-07-05 | Magic Leap, Inc. | Neutral avatars |
| USD936704S1 (en) | 2020-01-27 | 2021-11-23 | Magic Leap, Inc. | Portion of a display screen with avatar |
| EP4097711A4 (en) | 2020-01-27 | 2024-01-24 | Magic Leap Inc | CURATION OF AN AUGMENTED REALITY MAP |
| CN115004235A (zh) | 2020-01-27 | 2022-09-02 | 奇跃公司 | 基于锚的交叉现实应用的增强状态控制 |
| USD948562S1 (en) | 2020-01-27 | 2022-04-12 | Magic Leap, Inc. | Portion of a display screen with avatar |
| WO2021155047A1 (en) | 2020-01-31 | 2021-08-05 | Magic Leap, Inc. | Augmented and virtual reality display systems for oculometric assessments |
| CN111402100A (zh) * | 2020-02-03 | 2020-07-10 | 重庆特斯联智慧科技股份有限公司 | 一种通过目标追踪实现的人口登记方法和系统 |
| CN111880662A (zh) * | 2020-02-06 | 2020-11-03 | 北京师范大学 | 一种应用于交互式地图的眼动控制系统 |
| CN111880663A (zh) * | 2020-02-06 | 2020-11-03 | 北京师范大学 | 一种应用于交互式地图的眼动控制方法及装置 |
| US11538199B2 (en) * | 2020-02-07 | 2022-12-27 | Lenovo (Singapore) Pte. Ltd. | Displaying a window in an augmented reality view |
| CN115087905A (zh) | 2020-02-10 | 2022-09-20 | 奇跃公司 | 在混合现实环境中相对于三维容器的以身体为中心的内容定位 |
| US11709363B1 (en) | 2020-02-10 | 2023-07-25 | Avegant Corp. | Waveguide illumination of a spatial light modulator |
| US11016656B1 (en) * | 2020-02-14 | 2021-05-25 | International Business Machines Corporation | Fault recognition self-learning graphical user interface |
| CN115398894A (zh) | 2020-02-14 | 2022-11-25 | 奇跃公司 | 用于虚拟和增强现实显示系统的虚拟对象运动速度曲线 |
| US11300784B2 (en) * | 2020-02-21 | 2022-04-12 | Fotonation Limited | Multi-perspective eye acquisition |
| EP4111133A1 (en) | 2020-02-26 | 2023-01-04 | Magic Leap, Inc. | Procedural electron beam lithography |
| WO2021172553A1 (ja) * | 2020-02-28 | 2021-09-02 | アステラス製薬株式会社 | ウェアラブル機器、情報処理装置、情報処理システム、及びプログラム |
| WO2021174062A1 (en) | 2020-02-28 | 2021-09-02 | Magic Leap, Inc. | Method of fabricating molds for forming eyepieces with integrated spacers |
| KR102379350B1 (ko) * | 2020-03-02 | 2022-03-28 | 주식회사 비주얼캠프 | 페이지 턴 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
| KR102359602B1 (ko) * | 2020-03-10 | 2022-02-08 | 한국과학기술원 | 디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들 |
| US11262588B2 (en) | 2020-03-10 | 2022-03-01 | Magic Leap, Inc. | Spectator view of virtual and physical objects |
| EP3883235A1 (en) | 2020-03-17 | 2021-09-22 | Aptiv Technologies Limited | Camera control modules and methods |
| US11474358B2 (en) | 2020-03-20 | 2022-10-18 | Magic Leap, Inc. | Systems and methods for retinal imaging and tracking |
| JP2023519198A (ja) | 2020-03-25 | 2023-05-10 | マジック リープ， インコーポレイテッド | 一方向ミラーを伴う光学デバイス |
| CN111383313B (zh) * | 2020-03-31 | 2023-05-12 | 歌尔股份有限公司 | 一种虚拟模型渲染方法、装置、设备及可读存储介质 |
| US11537701B2 (en) | 2020-04-01 | 2022-12-27 | Toyota Motor North America, Inc. | Transport related n-factor authentication |
| WO2021202746A1 (en) | 2020-04-03 | 2021-10-07 | Magic Leap, Inc. | Wearable display systems with nanowire led micro-displays |
| US11348300B2 (en) | 2020-04-03 | 2022-05-31 | Magic Leap, Inc. | Avatar customization for optimal gaze discrimination |
| US11536970B1 (en) * | 2020-04-07 | 2022-12-27 | Google Llc | Tracking of item of interest using wearable heads up display |
| US11587388B2 (en) | 2020-04-22 | 2023-02-21 | Igt | Determining a player's emotional state using player gaze movement at gaming devices |
| CN111399659B (zh) * | 2020-04-24 | 2022-03-08 | Oppo广东移动通信有限公司 | 界面显示方法及相关装置 |
| US11950022B1 (en) | 2020-04-24 | 2024-04-02 | Apple Inc. | Head-mounted devices with forward facing cameras |
| DK202070625A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
| US11921998B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Editing features of an avatar |
| US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
| US11543666B2 (en) | 2020-05-22 | 2023-01-03 | Magic Leap, Inc. | Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions for efficient light utilization in at least one waveguide |
| US11615205B2 (en) * | 2020-05-28 | 2023-03-28 | Bank Of America Corporation | Intelligent dynamic data masking on display screens based on viewer proximity |
| US11195490B1 (en) * | 2020-05-29 | 2021-12-07 | International Business Machines Corporation | Smart contact lens with adjustable light transmittance |
| US11054973B1 (en) | 2020-06-01 | 2021-07-06 | Apple Inc. | User interfaces for managing media |
| WO2021247435A1 (en) | 2020-06-05 | 2021-12-09 | Magic Leap, Inc. | Enhanced eye tracking techniques based on neural network analysis of images |
| JP7218978B2 (ja) * | 2020-06-15 | 2023-02-07 | 株式会社mediVR | リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム |
| US11706656B2 (en) | 2020-06-29 | 2023-07-18 | Qualcomm Incorporated | Downlink data prioritization for time-sensitive applications |
| GB202010326D0 (en) * | 2020-07-06 | 2020-08-19 | Palakollu Vamsee Krishna | A virtual reality headset |
| US11690435B2 (en) | 2020-07-07 | 2023-07-04 | Perfect Mobile Corp. | System and method for navigating user interfaces using a hybrid touchless control mechanism |
| TW202206030A (zh) * | 2020-07-14 | 2022-02-16 | 美商外科劇院股份有限公司 | 用於四維血管造影之系統及方法 |
| CN115885237A (zh) * | 2020-07-17 | 2023-03-31 | 惠普发展公司，有限责任合伙企业 | 头戴式显示器图像和中心凹区亮度计算 |
| US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
| US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
| WO2022025921A1 (en) * | 2020-07-31 | 2022-02-03 | Hewlett-Packard Development Company, L.P. | Change blindness detection via bio-analytics |
| EP4193215A1 (en) | 2020-08-07 | 2023-06-14 | Magic Leap, Inc. | Tunable cylindrical lenses and head-mounted display including the same |
| JP7154260B2 (ja) * | 2020-08-11 | 2022-10-17 | 株式会社トプコン | 眼科装置 |
| JP7154259B2 (ja) * | 2020-08-11 | 2022-10-17 | 株式会社トプコン | 眼科装置 |
| JP2023539962A (ja) | 2020-08-14 | 2023-09-21 | ヒーズ アイピー ホールディングス エルエルシー | リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法 |
| US11321797B2 (en) * | 2020-08-25 | 2022-05-03 | Kyndryl, Inc. | Wearable watermarks |
| US20220061659A1 (en) * | 2020-08-27 | 2022-03-03 | Revieve Oy | System and method for finding an area of an eye from a facial image |
| WO2022046120A1 (en) * | 2020-08-31 | 2022-03-03 | Hewlett-Packard Development Company, L.P. | User authentication using event cameras |
| EP4073572A1 (en) | 2020-09-03 | 2022-10-19 | HES IP Holdings, LLC | Systems and methods for improving binocular vision |
| US11620855B2 (en) | 2020-09-03 | 2023-04-04 | International Business Machines Corporation | Iterative memory mapping operations in smart lens/augmented glasses |
| CN112084990A (zh) * | 2020-09-16 | 2020-12-15 | 重庆科技学院 | 一种基于卷积神经网络及回溯的课堂抬头率统计系统 |
| KR102230797B1 (ko) * | 2020-09-23 | 2021-03-22 | 국방과학연구소 | 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템 |
| US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
| US11860366B2 (en) | 2020-09-29 | 2024-01-02 | Avegant Corp. | Architecture to illuminate a display panel |
| CN116420104A (zh) | 2020-09-30 | 2023-07-11 | 海思智财控股有限公司 | 用于虚拟实境及扩增实境装置的虚拟影像显示系统 |
| EP4206755A4 (en) * | 2020-10-05 | 2024-03-06 | Sony Group Corp | VISION DETECTION DEVICE AND DISPLAY DEVICE |
| GB2599900B (en) * | 2020-10-09 | 2023-01-11 | Sony Interactive Entertainment Inc | Data processing system and method for image enhancement |
| US11281291B1 (en) | 2020-10-20 | 2022-03-22 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
| US11609629B2 (en) * | 2020-10-20 | 2023-03-21 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
| US11392198B2 (en) | 2020-10-20 | 2022-07-19 | ROVl GUIDES, INC. | Methods and systems of extended reality environment interaction based on eye motions |
| US11320903B1 (en) | 2020-10-20 | 2022-05-03 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
| US11747896B2 (en) | 2020-10-20 | 2023-09-05 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
| US11659266B2 (en) * | 2020-10-21 | 2023-05-23 | Qualcomm Incorporated | Power control based at least in part on user eye movement |
| US11803237B2 (en) | 2020-11-14 | 2023-10-31 | Facense Ltd. | Controlling an eye tracking camera according to eye movement velocity |
| US11184294B1 (en) * | 2020-12-04 | 2021-11-23 | Capital One Services, Llc | Methods and systems for managing multiple content delivery networks |
| JP7252295B2 (ja) * | 2020-12-09 | 2023-04-04 | 株式会社トプコン | 眼科装置及び眼科測定方法 |
| CN116711302A (zh) * | 2020-12-16 | 2023-09-05 | 三星电子株式会社 | 以低时延发送多条应用数据的方法和装置 |
| US11568988B2 (en) | 2021-01-12 | 2023-01-31 | Emed Labs, Llc | Health testing and diagnostics platform |
| CN114765558B (zh) | 2021-01-15 | 2024-04-09 | 台达电子工业股份有限公司 | 工业设备监控方法及工业设备监控系统 |
| US11625095B2 (en) | 2021-01-22 | 2023-04-11 | Zinn Labs, Inc. | Gaze sensors and display elements for detection of gaze vectors and user control at headset |
| WO2022159628A1 (en) * | 2021-01-22 | 2022-07-28 | Zinn Labs, Inc. | Headset integrated into healthcare platform |
| JP7119145B2 (ja) * | 2021-01-25 | 2022-08-16 | 株式会社東芝 | ウェアラブル機器及び表示方法 |
| KR20220113633A (ko) | 2021-02-05 | 2022-08-16 | 호서대학교 산학협력단 | 장애인을 위한 전자책 제어 장치 및 제어 방법 |
| CA3209717A1 (en) * | 2021-02-24 | 2022-09-01 | Lifebrand, Inc. | System and method for determining the impact of a social media post across multiple social media platforms |
| US20220293241A1 (en) * | 2021-03-12 | 2022-09-15 | Facebook Technologies, Llc | Systems and methods for signaling cognitive-state transitions |
| US11929168B2 (en) | 2021-05-24 | 2024-03-12 | Emed Labs, Llc | Systems, devices, and methods for diagnostic aid kit apparatus |
| US11615888B2 (en) | 2021-03-23 | 2023-03-28 | Emed Labs, Llc | Remote diagnostic testing and treatment |
| US11273074B1 (en) * | 2021-03-24 | 2022-03-15 | Stroma Medical Corporation | Systems and methods for for physical and electronic security of medical devices |
| WO2022203620A1 (en) * | 2021-03-25 | 2022-09-29 | Dm Dayanikli Tüketi̇m Mallari Sanayi̇ Ve Ti̇caret Li̇mi̇ted Şi̇rketi̇ | Digital cinema system |
| CN113077795B (zh) * | 2021-04-06 | 2022-07-15 | 重庆邮电大学 | 一种通道注意力传播与聚合下的声纹识别方法 |
| US11823148B2 (en) | 2021-04-15 | 2023-11-21 | Bank Of America Corporation | Augmented reality-enabled ATM for secure augmented reality check realization |
| US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| US11369454B1 (en) | 2021-05-24 | 2022-06-28 | Emed Labs, Llc | Systems, devices, and methods for diagnostic aid kit apparatus |
| CN113297994B (zh) * | 2021-05-31 | 2023-08-18 | 中国航天科工集团第二研究院 | 一种飞行员行为分析方法及系统 |
| US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
| US20220398302A1 (en) * | 2021-06-10 | 2022-12-15 | Trivver, Inc. | Secure wearable lens apparatus |
| WO2022271668A1 (en) | 2021-06-22 | 2022-12-29 | Emed Labs, Llc | Systems, methods, and devices for non-human readable diagnostic tests |
| US20230008868A1 (en) * | 2021-07-08 | 2023-01-12 | Nippon Telegraph And Telephone Corporation | User authentication device, user authentication method, and user authentication computer program |
| CN113434511B (zh) * | 2021-07-12 | 2023-08-29 | 北京林业大学 | 一种基于希尔伯特曲线的聚类索引方法 |
| KR102644877B1 (ko) * | 2021-08-20 | 2024-03-08 | 주식회사 경신 | 차량 제어 장치 및 방법 |
| CN113655927B (zh) * | 2021-08-24 | 2024-04-26 | 亮风台（上海）信息科技有限公司 | 一种界面交互方法与设备 |
| US11651404B2 (en) | 2021-08-31 | 2023-05-16 | Kyndryl, Inc. | Virtual shopping assistant |
| US20230102506A1 (en) * | 2021-09-25 | 2023-03-30 | FiveGen, LLC | Selective Recommendation by Mapping Game Decisions and Behaviors to Predefined Attributes |
| US20230097716A1 (en) * | 2021-09-25 | 2023-03-30 | FiveGen, LLC | Authenticating Individuals Based on Game Decisions and Behaviors |
| US20240054194A1 (en) | 2021-09-27 | 2024-02-15 | Nec Corporation | Authentication system, authentication apparatus, authentication method and recording medium |
| CN113923252B (zh) * | 2021-09-30 | 2023-11-21 | 北京蜂巢世纪科技有限公司 | 图像显示装置、方法和系统 |
| WO2023075771A1 (en) * | 2021-10-28 | 2023-05-04 | Hewlett-Packard Development Company, L.P. | Avatar training images for training machine learning model |
| US11592899B1 (en) * | 2021-10-28 | 2023-02-28 | Tectus Corporation | Button activation within an eye-controlled user interface |
| US20230289535A1 (en) * | 2021-11-03 | 2023-09-14 | Virginia Tech Intellectual Properties, Inc. | Visual language processing modeling framework via an attention-on-attention mechanism |
| US11789530B2 (en) | 2021-11-17 | 2023-10-17 | Meta Platforms Technologies, Llc | Gaze-based user interface with assistant features for smart glasses in immersive reality applications |
| WO2023091403A2 (en) * | 2021-11-17 | 2023-05-25 | Meta Platforms Technologies, Llc | Gaze-based user interface with assistant features for smart glasses in immersive reality applications |
| US11619994B1 (en) | 2022-01-14 | 2023-04-04 | Tectus Corporation | Control of an electronic contact lens using pitch-based eye gestures |
| US11852825B1 (en) * | 2022-03-08 | 2023-12-26 | Meta Platforms Technologies, Llc | Selective notifications from eye measurements |
| US11874961B2 (en) | 2022-05-09 | 2024-01-16 | Tectus Corporation | Managing display of an icon in an eye tracking augmented reality device |
| CN115658933B (zh) * | 2022-12-28 | 2023-04-07 | 四川大学华西医院 | 心理状态知识库构建方法、装置、计算机设备及存储介质 |
| CN116436919B (zh) * | 2023-06-13 | 2023-10-10 | 深圳市明源云科技有限公司 | 云资源消耗优化方法、装置、电子设备及可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120275664A1 (en) | 2011-04-28 | 2012-11-01 | James Russell Bergen | Method of pupil segmentation |
| US20130176533A1 (en) | 2012-01-06 | 2013-07-11 | Hayes Solos Raffle | Structured Light for Eye-Tracking |
Family Cites Families (183)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3863243A (en) | 1972-01-19 | 1975-01-28 | Max Skolnick | Sleep inhibiting alarm |
| US3798599A (en) | 1972-02-24 | 1974-03-19 | H Kafafian | Single input controller for a communication system |
| US4359724A (en) | 1980-04-28 | 1982-11-16 | Ronald R. Zimmerman | Eyelid movement detector |
| US4737040A (en) | 1985-02-15 | 1988-04-12 | Moon Tag Y | Keyboard device and method for entering Japanese language text utilizing Romaji character notation |
| US4953111A (en) | 1987-02-12 | 1990-08-28 | Omron Tateisi Electronics Co. | Doze detector |
| US4850691A (en) | 1987-03-18 | 1989-07-25 | University Of Illinois | Method and apparatus for determining pupillary response parameters |
| US4815839A (en) | 1987-08-03 | 1989-03-28 | Waldorf Ronald A | Infrared/video electronystagmographic apparatus |
| US5291560A (en) * | 1991-07-15 | 1994-03-01 | Iri Scan Incorporated | Biometric personal identification system based on iris analysis |
| US5214456A (en) | 1991-10-09 | 1993-05-25 | Computed Anatomy Incorporated | Mapping of corneal topography with display of pupil perimeter |
| US5345281A (en) | 1992-12-17 | 1994-09-06 | John Taboada | Eye tracking system and method |
| US5517021A (en) | 1993-01-19 | 1996-05-14 | The Research Foundation State University Of New York | Apparatus and method for eye tracking interface |
| US5402109A (en) | 1993-04-29 | 1995-03-28 | Mannik; Kallis H. | Sleep prevention device for automobile drivers |
| US5481622A (en) | 1994-03-01 | 1996-01-02 | Rensselaer Polytechnic Institute | Eye tracking apparatus and method employing grayscale threshold values |
| JPH086708A (ja) | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
| CA2126142A1 (en) | 1994-06-17 | 1995-12-18 | David Alexander Kahn | Visual communications apparatus |
| US5469143A (en) | 1995-01-10 | 1995-11-21 | Cooper; David E. | Sleep awakening device for drivers of motor vehicles |
| US5566067A (en) | 1995-03-23 | 1996-10-15 | The President And Fellows Of Harvard College | Eyelid vigilance detector system |
| US5689241A (en) | 1995-04-24 | 1997-11-18 | Clarke, Sr.; James Russell | Sleep detection and driver alert apparatus |
| US5570698A (en) | 1995-06-02 | 1996-11-05 | Siemens Corporate Research, Inc. | System for monitoring eyes for detecting sleep behavior |
| US5682144A (en) | 1995-11-20 | 1997-10-28 | Mannik; Kallis Hans | Eye actuated sleep prevention devices and other eye controlled devices |
| US6003991A (en) | 1996-02-17 | 1999-12-21 | Erik Scott Viirre | Eye examination apparatus and method for remote examination of a patient by a health professional |
| US5912721A (en) | 1996-03-13 | 1999-06-15 | Kabushiki Kaisha Toshiba | Gaze detection apparatus and its method as well as information display apparatus |
| US5886683A (en) | 1996-06-25 | 1999-03-23 | Sun Microsystems, Inc. | Method and apparatus for eyetrack-driven information retrieval |
| US6163281A (en) | 1996-08-19 | 2000-12-19 | Torch; William C. | System and method for communication using eye movement |
| US5748113A (en) | 1996-08-19 | 1998-05-05 | Torch; William C. | Method and apparatus for communication |
| US6542081B2 (en) | 1996-08-19 | 2003-04-01 | William C. Torch | System and method for monitoring eye movement |
| US6246344B1 (en) | 1996-08-19 | 2001-06-12 | William C. Torch | Method and apparatus for voluntary communication |
| US5867587A (en) | 1997-05-19 | 1999-02-02 | Northrop Grumman Corporation | Impaired operator detection and warning system employing eyeblink analysis |
| WO1999018842A1 (en) | 1997-10-16 | 1999-04-22 | The Board Of Trustees Of The Leland Stanford Junior University | Method for inferring mental states from eye movements |
| US6007202A (en) | 1997-10-23 | 1999-12-28 | Lasersight Technologies, Inc. | Eye illumination system and method |
| DE19803158C1 (de) | 1998-01-28 | 1999-05-06 | Daimler Chrysler Ag | Vorrichtung zur Vigilanzzustandsbestimmung |
| US6204828B1 (en) | 1998-03-31 | 2001-03-20 | International Business Machines Corporation | Integrated gaze/manual cursor positioning system |
| US6867752B1 (en) | 1998-08-31 | 2005-03-15 | Semiconductor Energy Laboratory Co., Ltd. | Portable information processing system |
| US6087941A (en) | 1998-09-01 | 2000-07-11 | Ferraz; Mark | Warning device for alerting a person falling asleep |
| US6243076B1 (en) | 1998-09-01 | 2001-06-05 | Synthetic Environments, Inc. | System and method for controlling host system interface with point-of-interest data |
| AUPP612998A0 (en) | 1998-09-23 | 1998-10-15 | Canon Kabushiki Kaisha | Multiview multimedia generation system |
| US6526159B1 (en) | 1998-12-31 | 2003-02-25 | Intel Corporation | Eye tracking for resource and power management |
| US6433760B1 (en) * | 1999-01-14 | 2002-08-13 | University Of Central Florida | Head mounted display with eyetracking capability |
| US6577329B1 (en) | 1999-02-25 | 2003-06-10 | International Business Machines Corporation | Method and system for relevance feedback through gaze tracking and ticker interfaces |
| GB2348520B (en) | 1999-03-31 | 2003-11-12 | Ibm | Assisting user selection of graphical user interface elements |
| US6116736A (en) | 1999-04-23 | 2000-09-12 | Neuroptics, Inc. | Pupilometer with pupil irregularity detection capability |
| JP3636927B2 (ja) * | 1999-05-18 | 2005-04-06 | 三菱電機株式会社 | 顔画像処理装置 |
| JP2001197400A (ja) * | 2000-01-12 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | 表示装置、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置のための画像生成方法、コンピュータおよびプログラム記憶媒体 |
| US6456262B1 (en) | 2000-05-09 | 2002-09-24 | Intel Corporation | Microdisplay with eye gaze detection |
| AU2000243889A1 (en) | 2000-05-16 | 2001-11-26 | Swisscom Mobile Ag | Biometric method for identification and authorisation |
| US6608615B1 (en) | 2000-09-19 | 2003-08-19 | Intel Corporation | Passive gaze-driven browsing |
| US8113657B2 (en) | 2000-10-07 | 2012-02-14 | Metaio Gmbh | Device and method for determining the orientation of an eye |
| DE10103922A1 (de) | 2001-01-30 | 2002-08-01 | Physoptics Opto Electronic Gmb | Interaktives Datensicht- und Bediensystem |
| JP3586431B2 (ja) * | 2001-02-28 | 2004-11-10 | 松下電器産業株式会社 | 個人認証方法および装置 |
| US20030038754A1 (en) | 2001-08-22 | 2003-02-27 | Mikael Goldstein | Method and apparatus for gaze responsive text presentation in RSVP display |
| AUPR872301A0 (en) | 2001-11-08 | 2001-11-29 | Sleep Diagnostics Pty Ltd | Alertness monitor |
| US6712468B1 (en) | 2001-12-12 | 2004-03-30 | Gregory T. Edwards | Techniques for facilitating use of eye tracking data |
| US7715595B2 (en) * | 2002-01-16 | 2010-05-11 | Iritech, Inc. | System and method for iris identification using stereoscopic face recognition |
| EP1335329B1 (en) * | 2002-02-05 | 2020-05-27 | Panasonic Intellectual Property Management Co., Ltd. | Personal authentication method, personal authentication apparatus and image capturing device |
| US6873714B2 (en) | 2002-02-19 | 2005-03-29 | Delphi Technologies, Inc. | Auto calibration and personalization of eye tracking system using larger field of view imager with higher resolution |
| US6919907B2 (en) | 2002-06-20 | 2005-07-19 | International Business Machines Corporation | Anticipatory image capture for stereoscopic remote viewing with foveal priority |
| US20040061680A1 (en) | 2002-07-10 | 2004-04-01 | John Taboada | Method and apparatus for computer control |
| US7400782B2 (en) * | 2002-08-28 | 2008-07-15 | Arcsoft, Inc. | Image warping correction in forming 360 degree panoramic images |
| JP3574653B2 (ja) * | 2002-09-13 | 2004-10-06 | 松下電器産業株式会社 | 虹彩コード化方法、個人認証方法、虹彩コード登録装置、虹彩認証装置、および虹彩認証プログラム |
| CN100345163C (zh) * | 2002-09-13 | 2007-10-24 | 松下电器产业株式会社 | 虹膜编码方法、个人认证方法、虹膜编码登录装置、虹膜认证装置 |
| CN101317763B (zh) * | 2002-10-15 | 2013-04-03 | 沃尔沃技术公司 | 解释对象的头部和眼睛活动的方法和装置 |
| US6932090B1 (en) | 2003-02-06 | 2005-08-23 | The United States Of America As Represented By The United States National Aeronautics And Space Administration | Motion sickness treatment apparatus and method |
| US7347551B2 (en) | 2003-02-13 | 2008-03-25 | Fergason Patent Properties, Llc | Optical system for monitoring eye movement |
| US7881493B1 (en) | 2003-04-11 | 2011-02-01 | Eyetools, Inc. | Methods and apparatuses for use of eye interpretation information |
| US7401920B1 (en) * | 2003-05-20 | 2008-07-22 | Elbit Systems Ltd. | Head mounted eye tracking and display system |
| US9274598B2 (en) | 2003-08-25 | 2016-03-01 | International Business Machines Corporation | System and method for selecting and activating a target object using a combination of eye gaze and key presses |
| US20050047629A1 (en) | 2003-08-25 | 2005-03-03 | International Business Machines Corporation | System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking |
| JP2007504562A (ja) * | 2003-09-04 | 2007-03-01 | サーノフ コーポレーション | １つの画像から虹彩認証を行う方法および装置 |
| US8098901B2 (en) * | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
| US7365738B2 (en) | 2003-12-02 | 2008-04-29 | International Business Machines Corporation | Guides and indicators for eye movement monitoring systems |
| US7561143B1 (en) | 2004-03-19 | 2009-07-14 | The University of the Arts | Using gaze actions to interact with a display |
| CN1960670B (zh) | 2004-04-01 | 2011-02-23 | 威廉·C·托奇 | 用于监控眼睛运动的生物传感器、通信器、和控制器及其使用方法 |
| US7195355B2 (en) | 2004-04-28 | 2007-03-27 | Neurocom International, Inc. | Isolating and quantifying functional impairments of the gaze stabilization system |
| DK1607840T3 (da) | 2004-06-18 | 2015-02-16 | Tobii Technology Ab | Øjenstyring af et computerapparat |
| US7797040B2 (en) * | 2004-12-16 | 2010-09-14 | California Institute Of Technology | Prosthetic devices and methods and systems related thereto |
| CN101132729A (zh) | 2005-03-04 | 2008-02-27 | 睡眠诊断学公司 | 警觉性的测量 |
| WO2006132686A2 (en) * | 2005-06-03 | 2006-12-14 | Sarnoff Corporation | Method and apparatus for designing iris biometric systems for use in minimally |
| JP2007006393A (ja) * | 2005-06-27 | 2007-01-11 | Institute Of Physical & Chemical Research | 情報提示システム |
| US7438414B2 (en) | 2005-07-28 | 2008-10-21 | Outland Research, Llc | Gaze discriminating electronic control apparatus, system, method and computer program product |
| US7751598B2 (en) * | 2005-08-25 | 2010-07-06 | Sarnoff Corporation | Methods and systems for biometric identification |
| CA2627068C (fr) * | 2005-10-24 | 2015-02-03 | Itesoft S.A. | Dispositif et procede d'interaction avec un utilisateur |
| US8120577B2 (en) * | 2005-10-28 | 2012-02-21 | Tobii Technology Ab | Eye tracker with visual feedback |
| US7429108B2 (en) | 2005-11-05 | 2008-09-30 | Outland Research, Llc | Gaze-responsive interface to enhance on-screen user reading tasks |
| US8260008B2 (en) * | 2005-11-11 | 2012-09-04 | Eyelock, Inc. | Methods for performing biometric recognition of a human eye and corroboration of same |
| JP2007159610A (ja) * | 2005-12-09 | 2007-06-28 | Matsushita Electric Ind Co Ltd | 登録装置、認証装置、登録認証装置、登録方法、認証方法、登録プログラムおよび認証プログラム |
| US7760910B2 (en) | 2005-12-12 | 2010-07-20 | Eyetools, Inc. | Evaluation of visual stimuli using existing viewing data |
| JP4367424B2 (ja) * | 2006-02-21 | 2009-11-18 | 沖電気工業株式会社 | 個人識別装置，個人識別方法 |
| US8793620B2 (en) | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
| JP2007319174A (ja) * | 2006-05-30 | 2007-12-13 | Matsushita Electric Ind Co Ltd | 撮影装置およびそれを用いた認証装置 |
| US20070297653A1 (en) * | 2006-06-22 | 2007-12-27 | Rudolf Maarten Bolle | Fingerprint representation using localized texture features |
| US7574021B2 (en) * | 2006-09-18 | 2009-08-11 | Sarnoff Corporation | Iris recognition for a secure facility |
| US7970179B2 (en) * | 2006-09-25 | 2011-06-28 | Identix Incorporated | Iris data extraction |
| JP2008206143A (ja) * | 2007-01-23 | 2008-09-04 | Kanazawa Univ | 画像処理機能を備える撮像装置 |
| JP2008198028A (ja) * | 2007-02-14 | 2008-08-28 | Sony Corp | ウェアラブル装置、認証方法、およびプログラム |
| JP2008288767A (ja) | 2007-05-16 | 2008-11-27 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| IL184399A0 (en) * | 2007-07-03 | 2007-10-31 | Yossi Tsuria | Content delivery system |
| WO2009029757A1 (en) * | 2007-09-01 | 2009-03-05 | Global Rainmakers, Inc. | System and method for iris data acquisition for biometric identification |
| US8462949B2 (en) | 2007-11-29 | 2013-06-11 | Oculis Labs, Inc. | Method and apparatus for secure display of visual content |
| WO2009093435A1 (ja) | 2008-01-25 | 2009-07-30 | Panasonic Corporation | 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム |
| WO2009107371A1 (ja) | 2008-02-28 | 2009-09-03 | パナソニック株式会社 | 視線検出装置及び視線検出方法 |
| US20100045596A1 (en) * | 2008-08-21 | 2010-02-25 | Sony Ericsson Mobile Communications Ab | Discreet feature highlighting |
| US7850306B2 (en) | 2008-08-28 | 2010-12-14 | Nokia Corporation | Visual cognition aware display and visual data transmission architecture |
| WO2010042557A2 (en) | 2008-10-06 | 2010-04-15 | Neuro Kinetics, Inc. | Method and apparatus for corrective secondary saccades analysis with video oculography system |
| EP2238889B1 (en) | 2009-04-01 | 2011-10-12 | Tobii Technology AB | Adaptive camera and illuminator eyetracker |
| US20120105486A1 (en) | 2009-04-09 | 2012-05-03 | Dynavox Systems Llc | Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods |
| US8472681B2 (en) * | 2009-06-15 | 2013-06-25 | Honeywell International Inc. | Iris and ocular recognition system using trace transforms |
| CN101943982B (zh) * | 2009-07-10 | 2012-12-12 | 北京大学 | 基于被跟踪的眼睛运动的图像操作 |
| WO2011008793A1 (en) | 2009-07-13 | 2011-01-20 | Emsense Corporation | Systems and methods for generating bio-sensory metrics |
| EP3338621B1 (en) | 2009-07-16 | 2019-08-07 | Tobii AB | Eye detection unit using parallel data flow |
| US20110047377A1 (en) * | 2009-08-19 | 2011-02-24 | Harris Corporation | Secure digital communications via biometric key generation |
| JP5613025B2 (ja) * | 2009-11-18 | 2014-10-22 | パナソニック株式会社 | 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置 |
| US9507418B2 (en) * | 2010-01-21 | 2016-11-29 | Tobii Ab | Eye tracker based contextual action |
| US8922342B1 (en) * | 2010-02-15 | 2014-12-30 | Noblis, Inc. | Systems, apparatus, and methods for continuous authentication |
| US9759917B2 (en) * | 2010-02-28 | 2017-09-12 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered AR eyepiece interface to external devices |
| WO2011106797A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Projection triggering through an external marker in an augmented reality eyepiece |
| US8467133B2 (en) * | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
| US9091851B2 (en) * | 2010-02-28 | 2015-07-28 | Microsoft Technology Licensing, Llc | Light control in head mounted displays |
| US8890946B2 (en) | 2010-03-01 | 2014-11-18 | Eyefluence, Inc. | Systems and methods for spatially controlled scene illumination |
| KR20110125460A (ko) * | 2010-05-13 | 2011-11-21 | 김석수 | 시선추적을 이용한 제품 정보 제공 시스템 및 방법 |
| US9916006B2 (en) | 2010-07-23 | 2018-03-13 | Telepatheye Inc. | Eye-wearable device user interface and method |
| US8593375B2 (en) | 2010-07-23 | 2013-11-26 | Gregory A Maltz | Eye gaze user interface and method |
| US9213405B2 (en) * | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
| US9690099B2 (en) * | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
| EP2499960B1 (en) * | 2011-03-18 | 2015-04-22 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Method for determining at least one parameter of two eyes by setting data rates and optical measuring device |
| US8643680B2 (en) | 2011-04-08 | 2014-02-04 | Amazon Technologies, Inc. | Gaze-based content display |
| US9256719B2 (en) * | 2011-05-18 | 2016-02-09 | Nextgenid, Inc. | Multi-biometric enrollment kiosk including biometric enrollment and verification, face recognition and fingerprint matching systems |
| US9256720B2 (en) * | 2011-05-18 | 2016-02-09 | Nextgenid, Inc. | Enrollment kiosk including biometric enrollment and verification, face recognition and fingerprint matching systems |
| US8885877B2 (en) | 2011-05-20 | 2014-11-11 | Eyefluence, Inc. | Systems and methods for identifying gaze tracking scene reference locations |
| US8911087B2 (en) * | 2011-05-20 | 2014-12-16 | Eyefluence, Inc. | Systems and methods for measuring reactions of head, eyes, eyelids and pupils |
| EP2726937B1 (en) * | 2011-06-30 | 2019-01-23 | Nokia Technologies Oy | Method, apparatus and computer program product for generating panorama images |
| US20130021374A1 (en) * | 2011-07-20 | 2013-01-24 | Google Inc. | Manipulating And Displaying An Image On A Wearable Computing System |
| KR102024954B1 (ko) * | 2011-08-22 | 2019-09-24 | 아이락 엘엘씨 | 아티팩트 없는 이미지들을 캡처하기 위한 시스템들 및 방법들 |
| US9342610B2 (en) * | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
| KR20140059213A (ko) * | 2011-08-30 | 2014-05-15 | 마이크로소프트 코포레이션 | 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이 |
| US8223024B1 (en) * | 2011-09-21 | 2012-07-17 | Google Inc. | Locking mechanism based on unnatural movement of head-mounted display |
| DK2587341T3 (en) * | 2011-10-27 | 2017-04-03 | Tobii Ab | Power management in an eye tracking system |
| US20130258089A1 (en) * | 2011-11-03 | 2013-10-03 | Intel Corporation | Eye Gaze Based Image Capture |
| US8929589B2 (en) | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
| KR101891786B1 (ko) | 2011-11-29 | 2018-08-27 | 삼성전자주식회사 | 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기 |
| US8235529B1 (en) * | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
| EP2807605A2 (en) * | 2012-01-26 | 2014-12-03 | Umoove Services Ltd. | Eye tracking |
| US9001030B2 (en) * | 2012-02-15 | 2015-04-07 | Google Inc. | Heads up display |
| KR101158501B1 (ko) * | 2012-02-16 | 2012-06-20 | 김유정 | 홍채 이미지 캡쳐 장치 |
| EP2827758B1 (en) * | 2012-03-09 | 2020-08-26 | Ocuspecto OY | Method for assessing function of the visual system and apparatus thereof |
| CN104246682B (zh) * | 2012-03-26 | 2017-08-25 | 苹果公司 | 增强的虚拟触摸板和触摸屏 |
| US9082011B2 (en) | 2012-03-28 | 2015-07-14 | Texas State University—San Marcos | Person identification using ocular biometrics with liveness detection |
| US8864310B2 (en) | 2012-05-01 | 2014-10-21 | RightEye, LLC | Systems and methods for evaluating human eye tracking |
| CN104395857A (zh) * | 2012-05-09 | 2015-03-04 | 英特尔公司 | 显示器的部分的基于眼球追踪的选择性强调 |
| DE102012105664A1 (de) | 2012-06-28 | 2014-04-10 | Oliver Hein | Verfahren und Vorrichtung zur Kodierung von Augen- und Blickverlaufsdaten |
| JP2014044654A (ja) * | 2012-08-28 | 2014-03-13 | Nikon Corp | 情報入出力装置 |
| US9189064B2 (en) | 2012-09-05 | 2015-11-17 | Apple Inc. | Delay of display event based on user gaze |
| US20140092006A1 (en) | 2012-09-28 | 2014-04-03 | Joshua Boelter | Device and method for modifying rendering based on viewer focus area from eye tracking |
| US9176581B2 (en) * | 2012-09-28 | 2015-11-03 | Intel Corporation | System and method for inferring user intent based on eye movement during observation of a display screen |
| JP5873982B2 (ja) | 2012-10-09 | 2016-03-01 | パナソニックＩｐマネジメント株式会社 | ３次元表示装置、３次元画像処理装置および３次元表示方法 |
| JP2014092940A (ja) * | 2012-11-02 | 2014-05-19 | Sony Corp | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
| JP2014092941A (ja) * | 2012-11-02 | 2014-05-19 | Sony Corp | 情報処理装置及び情報処理方法、並びにコンピューター・プログラム |
| US9626072B2 (en) | 2012-11-07 | 2017-04-18 | Honda Motor Co., Ltd. | Eye gaze control system |
| US9674510B2 (en) | 2012-11-21 | 2017-06-06 | Elwha Llc | Pulsed projection system for 3D video |
| US9083757B2 (en) | 2012-11-21 | 2015-07-14 | Telefonaktiebolaget L M Ericsson LLP | Multi-objective server placement determination |
| JP5652886B2 (ja) * | 2012-11-28 | 2015-01-14 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 顔認証装置、認証方法とそのプログラム、情報機器 |
| JP6498606B2 (ja) | 2012-12-06 | 2019-04-10 | グーグル エルエルシー | ウエアラブル視線計測デバイス及び使用方法 |
| JP6452617B2 (ja) * | 2012-12-10 | 2019-01-16 | エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ | バイオメトリク虹彩照合システム |
| US20140173407A1 (en) | 2012-12-17 | 2014-06-19 | Empire Technology Development Llc | Progressively triggered auto-fill |
| US10884577B2 (en) | 2013-01-15 | 2021-01-05 | Poow Innovation Ltd. | Identification of dynamic icons based on eye movement |
| US9829971B2 (en) | 2013-01-21 | 2017-11-28 | Facebook, Inc. | Systems and methods of eye tracking control |
| US9070015B2 (en) * | 2013-02-07 | 2015-06-30 | Ittiam Systems (P) Ltd. | System and method for iris detection in digital images |
| US9791921B2 (en) | 2013-02-19 | 2017-10-17 | Microsoft Technology Licensing, Llc | Context-aware augmented reality object commands |
| KR102093198B1 (ko) | 2013-02-21 | 2020-03-25 | 삼성전자주식회사 | 시선 인식을 이용한 사용자 인터페이스 방법 및 장치 |
| KR102175853B1 (ko) | 2013-02-22 | 2020-11-06 | 삼성전자주식회사 | 동작 제어 방법 및 그 전자 장치 |
| US9619020B2 (en) | 2013-03-01 | 2017-04-11 | Tobii Ab | Delay warp gaze interaction |
| US9851803B2 (en) * | 2013-03-15 | 2017-12-26 | Eyecam, LLC | Autonomous computing and telecommunications head-up displays glasses |
| US10270748B2 (en) | 2013-03-22 | 2019-04-23 | Nok Nok Labs, Inc. | Advanced authentication techniques and applications |
| US9367676B2 (en) * | 2013-03-22 | 2016-06-14 | Nok Nok Labs, Inc. | System and method for confirming location using supplemental sensor and/or location data |
| KR101627290B1 (ko) * | 2013-04-16 | 2016-06-21 | 구태언 | 보안강화 머리착용형 디스플레이 장치 및 그 장치를 통해 암호화된 정보에 액세스 하는 방법 |
| US9979547B2 (en) * | 2013-05-08 | 2018-05-22 | Google Llc | Password management |
| US10025378B2 (en) * | 2013-06-25 | 2018-07-17 | Microsoft Technology Licensing, Llc | Selecting user interface elements via position signal |
| US10277787B2 (en) * | 2013-09-03 | 2019-04-30 | Tobii Ab | Portable eye tracking device |
| US9582716B2 (en) * | 2013-09-09 | 2017-02-28 | Delta ID Inc. | Apparatuses and methods for iris based biometric recognition |
| EP3090322A4 (en) | 2013-12-31 | 2017-07-19 | Eyefluence, Inc. | Systems and methods for gaze-based media selection and editing |
| US9552060B2 (en) * | 2014-01-28 | 2017-01-24 | Microsoft Technology Licensing, Llc | Radial selection by vestibulo-ocular reflex fixation |
| US10564714B2 (en) | 2014-05-09 | 2020-02-18 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| AU2015297036B2 (en) | 2014-05-09 | 2017-09-28 | Google Llc | Systems and methods for discerning eye signals and continuous biometric identification |
| US20160364609A1 (en) * | 2015-06-12 | 2016-12-15 | Delta ID Inc. | Apparatuses and methods for iris based biometric recognition |
-
2015
- 2015-05-09 AU AU2015297036A patent/AU2015297036B2/en active Active
- 2015-05-09 AU AU2015297035A patent/AU2015297035B2/en active Active
- 2015-05-09 KR KR1020167034652A patent/KR102173699B1/ko active IP Right Grant
- 2015-05-09 CN CN201580034682.0A patent/CN107087431B/zh active Active
- 2015-05-09 CN CN201580031094.1A patent/CN106462743A/zh active Pending
- 2015-05-09 JP JP2017511569A patent/JP6550460B2/ja active Active
- 2015-05-09 JP JP2017511567A patent/JP2017527036A/ja active Pending
- 2015-05-09 KR KR1020167034649A patent/KR102230172B1/ko active IP Right Grant
- 2015-05-09 KR KR1020167034651A patent/KR20170046108A/ko not_active IP Right Cessation
- 2015-05-09 WO PCT/US2015/030052 patent/WO2016018488A2/en active Application Filing
- 2015-05-09 US US14/708,241 patent/US9600069B2/en active Active
- 2015-05-09 US US14/708,229 patent/US20150324568A1/en not_active Abandoned
- 2015-05-09 WO PCT/US2015/030050 patent/WO2016018487A2/en active Application Filing
- 2015-05-09 EP EP15789095.5A patent/EP3140779A4/en not_active Withdrawn
- 2015-05-09 JP JP2017511568A patent/JP2017526078A/ja active Pending
- 2015-05-09 EP EP15826370.7A patent/EP3140719B1/en active Active
- 2015-05-09 US US14/708,234 patent/US10620700B2/en active Active
- 2015-05-09 WO PCT/US2015/030047 patent/WO2015172124A1/en active Application Filing
- 2015-05-09 EP EP15827954.7A patent/EP3140780B1/en active Active
- 2015-05-09 KR KR1020207030953A patent/KR20200127267A/ko not_active Application Discontinuation
- 2015-05-09 AU AU2015255652A patent/AU2015255652B2/en active Active
- 2015-05-09 CN CN201580035714.9A patent/CN106537290B/zh active Active
- 2015-11-02 US US14/930,617 patent/US9823744B2/en active Active
- 2015-11-10 US US14/937,782 patent/US20160062459A1/en not_active Abandoned
-
2016
- 2016-04-18 US US15/131,273 patent/US20160274660A1/en active Pending
-
2017
- 2017-01-27 US US15/418,034 patent/US10156900B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120275664A1 (en) | 2011-04-28 | 2012-11-01 | James Russell Bergen | Method of pupil segmentation |
| US20130176533A1 (en) | 2012-01-06 | 2013-07-11 | Hayes Solos Raffle | Structured Light for Eye-Tracking |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102173699B1 (ko) | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 | |
| US11755706B2 (en) | Entity identification and authentication using a combination of independent identification technologies or platforms and applications thereof | |
| Liebling et al. | Privacy considerations for a pervasive eye tracking world | |
| US20230107624A1 (en) | Speech and sentence structure analytics for identity and situational appropriateness | |
| US20230114650A1 (en) | Encryption and privacy protection using human attributes and behaviors | |
| US20220139546A1 (en) | Machine learning model to detect and prevent psychological events | |
| US20220138300A1 (en) | Detecting apneic episodes via breathing analysis by correlation to environmental conditions and biofeedback | |
| US20220093256A1 (en) | Long-term health and mood monitoring | |
| Shrestha et al. | An offensive and defensive exposition of wearable computing | |
| US20220385458A1 (en) | Encrypted asset containers with centralized shareable credentials | |
| US20230106024A1 (en) | Personal ownership, management and stewardship of personal identifiable information | |
| US20220382844A1 (en) | Isolating and identifying humans using micro-vibration signals as unique fingerprints | |
| US20220130501A1 (en) | Clinical drug trial data enriching using activity and behavioral analytics captured with personal devices and apps | |
| John et al. | The security-utility trade-off for iris authentication and eye animation for social virtual avatars | |
| US20220391484A1 (en) | Entity identification and authentication using a combination of independent identification technologies or platforms and applications thereof | |
| US20240022565A1 (en) | Continuous id verification based on multiple dynamic behaviors and analytics | |
| Sluganovic | Security of mixed reality systems: authenticating users, devices, and data | |
| US20240061918A1 (en) | Techniques to provide user authentication for a near-eye display device | |
| US20220354401A1 (en) | Distributed discernment detection system with plural user interface devices | |
| Alharbi | An Authentication Framework for Wearable Devices | |
| CN117592027A (zh) | 为近眼显示设备提供用户认证的技术 | |
| Jacobs | FRAnC: a system for digital facial recognition | |
| Gibson | The science of disguise |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |