JP2019532392A - 深層学習センサを有する拡張現実ディスプレイデバイス - Google Patents
深層学習センサを有する拡張現実ディスプレイデバイス Download PDFInfo
- Publication number
- JP2019532392A JP2019532392A JP2019509558A JP2019509558A JP2019532392A JP 2019532392 A JP2019532392 A JP 2019532392A JP 2019509558 A JP2019509558 A JP 2019509558A JP 2019509558 A JP2019509558 A JP 2019509558A JP 2019532392 A JP2019532392 A JP 2019532392A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- layers
- head
- neural network
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title abstract description 28
- 238000013135 deep learning Methods 0.000 title description 8
- 238000013528 artificial neural network Methods 0.000 claims abstract description 99
- 238000013507 mapping Methods 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000005259 measurement Methods 0.000 claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 230000004807 localization Effects 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 38
- 238000010606 normalization Methods 0.000 claims description 28
- 238000011176 pooling Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 19
- 230000008878 coupling Effects 0.000 claims description 10
- 238000010168 coupling process Methods 0.000 claims description 10
- 238000005859 coupling reaction Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 6
- 230000001052 transient effect Effects 0.000 claims description 2
- 241000243251 Hydra Species 0.000 abstract description 17
- QRXWMOHMRWLFEY-UHFFFAOYSA-N isoniazide Chemical compound NNC(=O)C1=CC=NC=C1 QRXWMOHMRWLFEY-UHFFFAOYSA-N 0.000 abstract description 17
- 210000003128 head Anatomy 0.000 description 119
- 238000000034 method Methods 0.000 description 113
- 230000005672 electromagnetic field Effects 0.000 description 49
- 230000036544 posture Effects 0.000 description 46
- 230000008569 process Effects 0.000 description 40
- 238000012545 processing Methods 0.000 description 39
- 230000004438 eyesight Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 29
- 238000004422 calculation algorithm Methods 0.000 description 27
- 239000003990 capacitor Substances 0.000 description 23
- 230000006870 function Effects 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000013461 design Methods 0.000 description 15
- 230000004927 fusion Effects 0.000 description 15
- 230000008901 benefit Effects 0.000 description 14
- 230000002829 reductive effect Effects 0.000 description 14
- 230000004907 flux Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 10
- 230000004886 head movement Effects 0.000 description 10
- 229910000859 α-Fe Inorganic materials 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000013519 translation Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 8
- 230000003068 static effect Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 241000282472 Canis lupus familiaris Species 0.000 description 6
- 230000006399 behavior Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 239000004020 conductor Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 239000011295 pitch Substances 0.000 description 4
- 210000003786 sclera Anatomy 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 210000000554 iris Anatomy 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012888 cubic function Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 238000005206 flow analysis Methods 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000258241 Mantis Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000004567 concrete Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000009713 electroplating Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Cardiology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本願は、2016年8月22日に出願されSYSTEMS AND METHODS FOR AUGMENTED REALITYと題された米国特許出願第62/377,835号に対する優先権を主張するものであり、該出願は、その全体が参照により本明細書中に援用される。
図1では、拡張現実場面(4)が、描写されており、AR技術のユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム(1120)を特徴とする、実世界公園状設定(6)が見える。これらのアイテムに加え、AR技術のユーザはまた、実世界プラットフォーム(1120)上に立っているロボット像(1110)と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ(2)とが「見える」と知覚するが、これらの要素(2、1110)は、実世界には存在しない。結論から述べると、ヒト視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適かつ自然な感覚で豊かな提示を促進する、VRまたはAR技術を生成することは、困難である。
(例示的ARおよびVRシステムならびにコンポーネント)
(電磁位置特定の実施例)
(ARシステム内の例示的電磁感知コンポーネント)
(EM追跡システムのための周波数分割多重化、時分割多重化、および利得制御)
(動的周波数調整)
(電磁追跡システムのための例示的自動利得制御)
(ユーザ頭部姿勢または手姿勢のEM追跡の実施例)
(例示的ステレオおよび飛行時間深度感知)
(EM追跡のための伝送コイルの例示的動的調整)
(EM追跡システムのための例示的オーディオノイズキャンセル)
(ビジョンシステムの例示的較正)
(ウェアラブルディスプレイデバイスのサブシステムの例示的回路)
(例示的EM追跡システム更新)
(ウェアラブルディスプレイシステムを再較正する実施例)
(カメラ特徴の抽出を介した姿勢計算および場所マッピングの実施例)
(センサ融合の実施例)
分EKFを考察するように構成されてもよい。言い換えると、ビジョン姿勢計算結果を直接使用するのではなく、システムは、現在の時間から前の時間までのビジョン姿勢の変化を使用する。そのような構成は、例えば、ビジョン姿勢差におけるノイズの量が、絶対ビジョン姿勢測定におけるノイズの量を著しく下回る場合に追求され得る。そのうちの全ての出力が、姿勢であって、これが、「前姿勢」値としてビジョンシステムに返信されるため、瞬間誤差を融合された結果から取り除かせないことが好ましい。
(例示的姿勢サービス)
(例示的深層SLAMネットワーク)
(例示的ヒドラアーキテクチャ)
(例示的NN)
(付加的側面および利点)
(付加的考慮点)
(項目1)
頭部搭載型ディスプレイシステムであって、
異なるタイプのセンサデータを捕捉するための複数のセンサと、
非一過性メモリであって、上記非一過性メモリは、
実行可能命令と、
上記複数のセンサによって捕捉されたセンサデータを使用して、ユーザと関連付けられた複数の機能性を実施するための深層ニューラルネットワークと
を記憶するように構成され、
上記深層ニューラルネットワークは、上記深層ニューラルネットワークの入力を受信するための入力層と、複数の下位層と、複数の中央層と、上記複数の機能性と関連付けられた上記深層ニューラルネットワークの結果を出力するための複数のヘッドコンポーネントとを備え、
上記入力層は、上記複数の下位層の最初の層に接続され、
上記複数の下位層の最後の層は、上記中央層の最初の層に接続され、
上記複数のヘッドコンポーネントのうちのヘッドコンポーネントは、ヘッド出力ノードを備え、
上記ヘッド出力ノードは、上記複数の中央層から上記ヘッドコンポーネントへの一意の経路を表す複数のヘッドコンポーネント層を通して、上記中央層の最後の層に接続される、
非一過性メモリと、
上記複数の機能性の少なくとも1つの機能性に関連する情報をユーザに表示するように構成されるディスプレイと、
上記複数のセンサ、上記非一過性メモリ、および上記ディスプレイと通信するハードウェアプロセッサあって、上記ハードウェアプロセッサは、
上記異なるタイプのセンサデータを上記複数のセンサから受信することと、
上記異なるタイプのセンサデータを使用して、上記深層ニューラルネットワークの結果を決定することと、
上記複数の機能性の少なくとも1つの機能性に関連する情報の表示をユーザに対して生じさせることと
を行うために、上記実行可能命令によってプログラムされる、ハードウェアプロセッサと
を備える、システム。
(項目2)
上記複数のセンサは、慣性測定ユニット、外向きのカメラ、深度感知カメラ、マイクロホン、眼結像カメラ、または任意のそれらの組み合わせを備える、項目1に記載のシステム。
(項目3)
上記複数の機能性は、顔認識、視覚的検索、ジェスチャ識別、意味論セグメント化、オブジェクト検出、採光検出、同時位置特定およびマッピング、再位置特定、または任意のそれらの組み合わせを備える、項目1−2のいずれか1項に記載のシステム。
(項目4)
上記複数の下位層は、下位レベル特徴を上記異なるタイプのセンサデータから抽出するように訓練される、項目1−3のいずれか1項に記載のシステム。
(項目5)
上記複数の中央層は、上位レベル特徴を抽出された上記下位レベル特徴から抽出するように訓練される、項目4に記載のシステム。
(項目6)
上記ヘッドコンポーネントは、上記上位レベル特徴のサブセットを使用し、上記複数のイベントの少なくとも1つのイベントを決定する、項目4−5のいずれか1項に記載のシステム。
(項目7)
上記ヘッドコンポーネントは、上記複数のヘッドコンポーネント層を通して、上記複数の中央層のサブセットに接続される、項目1−6のいずれか1項に記載のシステム。
(項目8)
上記複数の下位層と関連付けられたいくつかの加重は、上記深層ニューラルネットワークと関連付けられた加重の50%を上回り、
上記複数の中央層と関連付けられたいくつかの加重と上記複数のヘッドコンポーネントと関連付けられたいくつかの加重の和は、上記深層ニューラルネットワークと関連付けられた加重の50%未満である、
項目1−7のいずれか1項に記載のシステム。
(項目9)
上記複数の下位層と関連付けられた算出は、上記深層ニューラルネットワークと関連付けられた総算出の50%を上回り、
上記複数の中央層および上記複数のヘッドコンポーネントと関連付けられた算出は、上記深層ニューラルネットワークに関わる算出の50%未満である、
項目1−8のいずれか1項に記載のシステム。
(項目10)
上記複数の下位層、上記複数の中央層、または上記複数のヘッドコンポーネント層は、畳み込み層、明度正規化層、バッチ正規化層、正規化線形層、アップサンプリング層、連結層、全結合層、線形全結合層、ソフトサイン層、再帰層、または任意のそれらの組み合わせを備える、項目1−9のいずれか1項に記載のシステム。
(項目11)
上記複数の中央層または上記複数のヘッドコンポーネント層は、プーリング層を備える、項目1−10のいずれか1項に記載のシステム。
(項目12)
複数の異なるタイプのイベントを決定するためのニューラルネットワークを訓練するためのシステムであって、上記システムは、
実行可能命令を記憶するコンピュータ可読メモリと、
1つ以上のプロセッサであって、上記1つ以上のプロセッサは、少なくとも、
異なるタイプのセンサデータを受信することであって、上記センサデータは、複数の異なるタイプのイベントと関連付けられる、ことと、
入力データとしての上記異なるタイプのセンサデータと、対応する標的出力データとしての上記複数の異なるタイプのイベントとを備える、訓練セットを生成することと、
上記訓練セットを使用して、複数の異なるタイプのイベントを決定するためのニューラルネットワークを訓練することと
を行うように、上記実行可能命令によってプログラムされ、
上記ニューラルネットワークは、上記ニューラルネットワークの入力を受信するための入力層と、複数の中間層と、上記ニューラルネットワークの結果を出力するための複数のヘッドコンポーネントとを備え、
上記入力層は、上記複数の中間層の最初の層に接続され、
上記複数のヘッドコンポーネントのうちのヘッドコンポーネントは、ヘッド出力ノードを備え、
上記ヘッド出力ノードは、複数のヘッドコンポーネント層を通して、上記中間層の最後の層に接続される、
1つ以上のプロセッサと
を備える、システム。
(項目13)
上記異なるタイプのセンサデータは、慣性測定ユニットデータ、画像データ、深度データ、音データ、音声データ、または任意のそれらの組み合わせを備える、項目12に記載のシステム。
(項目14)
上記複数の異なるタイプのイベントは、顔認識、視覚的検索、ジェスチャ識別、意味論セグメント化、オブジェクト検出、採光検出、同時位置特定およびマッピング、再位置特定、または任意のそれらの組み合わせを備える、項目12−13のいずれか1項に記載のシステム。
(項目15)
上記複数の中間層は、複数の下位層および複数の中央層を備え、
上記複数の下位層は、下位レベル特徴を上記異なるタイプのセンサデータから抽出するように訓練され、
上記複数の中央層は、上位レベル特徴構造を抽出された上記下位レベル特徴から抽出するように訓練される、
項目12−14のいずれか1項に記載のシステム。
(項目16)
上記複数の中間層または上記複数のヘッドコンポーネント層は、畳み込み層、明度正規化層、バッチ正規化層、正規化線形層、アップサンプリング層、プーリング層、連結層、全結合層、線形全結合層、ソフトサイン層、再帰層、または任意のそれらの組み合わせを備える、項目12−15のいずれか1項に記載のシステム。
(項目17)
上記1つ以上のプロセッサはさらに、少なくとも、
第2の異なるタイプのセンサデータを受信することであって、上記第2の異なるタイプのセンサデータは、第2の異なるタイプのイベントと関連付けられる、ことと、
入力データとしての上記第2の異なるタイプのセンサデータと、対応する標的出力データとしての上記第2の異なるタイプのイベントとを備える、再訓練セットを生成することと、
上記再訓練セットを使用して、上記第2の異なるタイプのイベントを決定するために上記ニューラルネットワークを再訓練することと
を行うように、上記実行可能命令によってプログラムされ、
上記複数のヘッドコンポーネントの第2のヘッドコンポーネントは、上記第2の異なるタイプのイベントと関連付けられた結果を出力するための第2のヘッド出力ノードを備え、
上記ヘッド出力ノードは、複数の第2のヘッドコンポーネント層を通して、上記中間層の最後の層に接続される、
項目12−16のいずれか1項に記載のシステム。
(項目18)
上記ニューラルネットワークを再訓練するために、上記1つ以上のプロセッサは、少なくとも、上記複数の第2のヘッドコンポーネント層と関連付けられた加重を更新するために上記実行可能命令によってプログラムされる、項目17に記載のシステム。
(項目19)
上記ニューラルネットワークは、上記複数の中間層と関連付けられた加重を更新せずに再訓練される、項目17−18のいずれか1項に記載のシステム。
(項目20)
上記複数の異なるタイプのセンサデータは、第2の異なるタイプのイベントと関連付けられ、
上記1つ以上のプロセッサはさらに、少なくとも、
入力データとしての上記異なるタイプのセンサデータと、対応する標的出力データとしての上記第2の異なるタイプのイベントとを備える、再訓練セットを生成することと、
上記再訓練セットを使用して、上記第2の異なるタイプのイベントを決定するために上記ニューラルネットワークを再訓練することと
を行うように、上記実行可能命令によってプログラムされる、
項目12−16のいずれか1項に記載のシステム。
Claims (20)
- 頭部搭載型ディスプレイシステムであって、
異なるタイプのセンサデータを捕捉するための複数のセンサと、
非一過性メモリであって、前記非一過性メモリは、
実行可能命令と、
前記複数のセンサによって捕捉されたセンサデータを使用して、ユーザと関連付けられた複数の機能性を実施するための深層ニューラルネットワークと
を記憶するように構成され、
前記深層ニューラルネットワークは、前記深層ニューラルネットワークの入力を受信するための入力層と、複数の下位層と、複数の中央層と、前記複数の機能性と関連付けられた前記深層ニューラルネットワークの結果を出力するための複数のヘッドコンポーネントとを備え、
前記入力層は、前記複数の下位層の最初の層に接続され、
前記複数の下位層の最後の層は、前記中央層の最初の層に接続され、
前記複数のヘッドコンポーネントのうちのヘッドコンポーネントは、ヘッド出力ノードを備え、
前記ヘッド出力ノードは、前記複数の中央層から前記ヘッドコンポーネントへの一意の経路を表す複数のヘッドコンポーネント層を通して、前記中央層の最後の層に接続される、
非一過性メモリと、
前記複数の機能性の少なくとも1つの機能性に関連する情報をユーザに表示するように構成されるディスプレイと、
前記複数のセンサ、前記非一過性メモリ、および前記ディスプレイと通信するハードウェアプロセッサあって、前記ハードウェアプロセッサは、
前記異なるタイプのセンサデータを前記複数のセンサから受信することと、
前記異なるタイプのセンサデータを使用して、前記深層ニューラルネットワークの結果を決定することと、
前記複数の機能性の少なくとも1つの機能性に関連する情報の表示をユーザに対して生じさせることと
を行うために、前記実行可能命令によってプログラムされる、ハードウェアプロセッサと
を備える、システム。 - 前記複数のセンサは、慣性測定ユニット、外向きのカメラ、深度感知カメラ、マイクロホン、眼結像カメラ、または任意のそれらの組み合わせを備える、請求項1に記載のシステム。
- 前記複数の機能性は、顔認識、視覚的検索、ジェスチャ識別、意味論セグメント化、オブジェクト検出、採光検出、同時位置特定およびマッピング、再位置特定、または任意のそれらの組み合わせを備える、請求項1−2のいずれか1項に記載のシステム。
- 前記複数の下位層は、下位レベル特徴を前記異なるタイプのセンサデータから抽出するように訓練される、請求項1−3のいずれか1項に記載のシステム。
- 前記複数の中央層は、上位レベル特徴を抽出された前記下位レベル特徴から抽出するように訓練される、請求項4に記載のシステム。
- 前記ヘッドコンポーネントは、前記上位レベル特徴のサブセットを使用し、前記複数のイベントの少なくとも1つのイベントを決定する、請求項4−5のいずれか1項に記載のシステム。
- 前記ヘッドコンポーネントは、前記複数のヘッドコンポーネント層を通して、前記複数の中央層のサブセットに接続される、請求項1−6のいずれか1項に記載のシステム。
- 前記複数の下位層と関連付けられたいくつかの加重は、前記深層ニューラルネットワークと関連付けられた加重の50%を上回り、
前記複数の中央層と関連付けられたいくつかの加重と前記複数のヘッドコンポーネントと関連付けられたいくつかの加重の和は、前記深層ニューラルネットワークと関連付けられた加重の50%未満である、
請求項1−7のいずれか1項に記載のシステム。 - 前記複数の下位層と関連付けられた算出は、前記深層ニューラルネットワークと関連付けられた総算出の50%を上回り、
前記複数の中央層および前記複数のヘッドコンポーネントと関連付けられた算出は、前記深層ニューラルネットワークに関わる算出の50%未満である、
請求項1−8のいずれか1項に記載のシステム。 - 前記複数の下位層、前記複数の中央層、または前記複数のヘッドコンポーネント層は、畳み込み層、明度正規化層、バッチ正規化層、正規化線形層、アップサンプリング層、連結層、全結合層、線形全結合層、ソフトサイン層、再帰層、または任意のそれらの組み合わせを備える、請求項1−9のいずれか1項に記載のシステム。
- 前記複数の中央層または前記複数のヘッドコンポーネント層は、プーリング層を備える、請求項1−10のいずれか1項に記載のシステム。
- 複数の異なるタイプのイベントを決定するためのニューラルネットワークを訓練するためのシステムであって、前記システムは、
実行可能命令を記憶するコンピュータ可読メモリと、
1つ以上のプロセッサであって、前記1つ以上のプロセッサは、少なくとも、
異なるタイプのセンサデータを受信することであって、前記センサデータは、複数の異なるタイプのイベントと関連付けられる、ことと、
入力データとしての前記異なるタイプのセンサデータと、対応する標的出力データとしての前記複数の異なるタイプのイベントとを備える、訓練セットを生成することと、
前記訓練セットを使用して、複数の異なるタイプのイベントを決定するためのニューラルネットワークを訓練することと
を行うように、前記実行可能命令によってプログラムされ、
前記ニューラルネットワークは、前記ニューラルネットワークの入力を受信するための入力層と、複数の中間層と、前記ニューラルネットワークの結果を出力するための複数のヘッドコンポーネントとを備え、
前記入力層は、前記複数の中間層の最初の層に接続され、
前記複数のヘッドコンポーネントのうちのヘッドコンポーネントは、ヘッド出力ノードを備え、
前記ヘッド出力ノードは、複数のヘッドコンポーネント層を通して、前記中間層の最後の層に接続される、
1つ以上のプロセッサと
を備える、システム。 - 前記異なるタイプのセンサデータは、慣性測定ユニットデータ、画像データ、深度データ、音データ、音声データ、または任意のそれらの組み合わせを備える、請求項12に記載のシステム。
- 前記複数の異なるタイプのイベントは、顔認識、視覚的検索、ジェスチャ識別、意味論セグメント化、オブジェクト検出、採光検出、同時位置特定およびマッピング、再位置特定、または任意のそれらの組み合わせを備える、請求項12−13のいずれか1項に記載のシステム。
- 前記複数の中間層は、複数の下位層および複数の中央層を備え、
前記複数の下位層は、下位レベル特徴を前記異なるタイプのセンサデータから抽出するように訓練され、
前記複数の中央層は、上位レベル特徴構造を抽出された前記下位レベル特徴から抽出するように訓練される、
請求項12−14のいずれか1項に記載のシステム。 - 前記複数の中間層または前記複数のヘッドコンポーネント層は、畳み込み層、明度正規化層、バッチ正規化層、正規化線形層、アップサンプリング層、プーリング層、連結層、全結合層、線形全結合層、ソフトサイン層、再帰層、または任意のそれらの組み合わせを備える、請求項12−15のいずれか1項に記載のシステム。
- 前記1つ以上のプロセッサはさらに、少なくとも、
第2の異なるタイプのセンサデータを受信することであって、前記第2の異なるタイプのセンサデータは、第2の異なるタイプのイベントと関連付けられる、ことと、
入力データとしての前記第2の異なるタイプのセンサデータと、対応する標的出力データとしての前記第2の異なるタイプのイベントとを備える、再訓練セットを生成することと、
前記再訓練セットを使用して、前記第2の異なるタイプのイベントを決定するために前記ニューラルネットワークを再訓練することと
を行うように、前記実行可能命令によってプログラムされ、
前記複数のヘッドコンポーネントの第2のヘッドコンポーネントは、前記第2の異なるタイプのイベントと関連付けられた結果を出力するための第2のヘッド出力ノードを備え、
前記ヘッド出力ノードは、複数の第2のヘッドコンポーネント層を通して、前記中間層の最後の層に接続される、
請求項12−16のいずれか1項に記載のシステム。 - 前記ニューラルネットワークを再訓練するために、前記1つ以上のプロセッサは、少なくとも、前記複数の第2のヘッドコンポーネント層と関連付けられた加重を更新するために前記実行可能命令によってプログラムされる、請求項17に記載のシステム。
- 前記ニューラルネットワークは、前記複数の中間層と関連付けられた加重を更新せずに再訓練される、請求項17−18のいずれか1項に記載のシステム。
- 前記複数の異なるタイプのセンサデータは、第2の異なるタイプのイベントと関連付けられ、
前記1つ以上のプロセッサはさらに、少なくとも、
入力データとしての前記異なるタイプのセンサデータと、対応する標的出力データとしての前記第2の異なるタイプのイベントとを備える、再訓練セットを生成することと、
前記再訓練セットを使用して、前記第2の異なるタイプのイベントを決定するために前記ニューラルネットワークを再訓練することと
を行うように、前記実行可能命令によってプログラムされる、
請求項12−16のいずれか1項に記載のシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021212167A JP7254895B2 (ja) | 2016-08-22 | 2021-12-27 | 深層学習センサを有する拡張現実ディスプレイデバイス |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662377835P | 2016-08-22 | 2016-08-22 | |
US62/377,835 | 2016-08-22 | ||
PCT/US2017/048068 WO2018039269A1 (en) | 2016-08-22 | 2017-08-22 | Augmented reality display device with deep learning sensors |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021212167A Division JP7254895B2 (ja) | 2016-08-22 | 2021-12-27 | 深層学習センサを有する拡張現実ディスプレイデバイス |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019532392A true JP2019532392A (ja) | 2019-11-07 |
JP2019532392A5 JP2019532392A5 (ja) | 2020-10-01 |
JP7002536B2 JP7002536B2 (ja) | 2022-01-20 |
Family
ID=61190853
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019509558A Active JP7002536B2 (ja) | 2016-08-22 | 2017-08-22 | 深層学習センサを有する拡張現実ディスプレイデバイス |
JP2021212167A Active JP7254895B2 (ja) | 2016-08-22 | 2021-12-27 | 深層学習センサを有する拡張現実ディスプレイデバイス |
JP2023053732A Active JP7476387B2 (ja) | 2016-08-22 | 2023-03-29 | 深層学習センサを有する拡張現実ディスプレイデバイス |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021212167A Active JP7254895B2 (ja) | 2016-08-22 | 2021-12-27 | 深層学習センサを有する拡張現実ディスプレイデバイス |
JP2023053732A Active JP7476387B2 (ja) | 2016-08-22 | 2023-03-29 | 深層学習センサを有する拡張現実ディスプレイデバイス |
Country Status (9)
Country | Link |
---|---|
US (4) | US10402649B2 (ja) |
EP (1) | EP3500911B1 (ja) |
JP (3) | JP7002536B2 (ja) |
KR (2) | KR102439771B1 (ja) |
CN (2) | CN109923500B (ja) |
AU (2) | AU2017317599B2 (ja) |
CA (1) | CA3034644A1 (ja) |
IL (3) | IL281241B (ja) |
WO (1) | WO2018039269A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11353700B2 (en) | 2020-10-07 | 2022-06-07 | Industrial Technology Research Institute | Orientation predicting method, virtual reality headset and non-transitory computer-readable medium |
Families Citing this family (132)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102648770B1 (ko) | 2016-07-14 | 2024-03-15 | 매직 립, 인코포레이티드 | 홍채 식별을 위한 딥 뉴럴 네트워크 |
WO2018021071A1 (ja) * | 2016-07-29 | 2018-02-01 | ソニー株式会社 | 画像処理装置および画像処理方法 |
EP3500911B1 (en) | 2016-08-22 | 2023-09-27 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
JP6948387B2 (ja) | 2016-09-26 | 2021-10-13 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 仮想現実または拡張現実ディスプレイシステムにおける磁気センサおよび光学センサの較正 |
WO2018093796A1 (en) | 2016-11-15 | 2018-05-24 | Magic Leap, Inc. | Deep learning system for cuboid detection |
KR102413561B1 (ko) | 2016-12-05 | 2022-06-24 | 매직 립, 인코포레이티드 | 혼합 현실 환경의 가상 사용자 입력 콘트롤들 |
US10746815B2 (en) * | 2016-12-22 | 2020-08-18 | Microsoft Technology Licensing, Llc | Magnetic interference detection and correction |
US11347054B2 (en) | 2017-02-16 | 2022-05-31 | Magic Leap, Inc. | Systems and methods for augmented reality |
US11308391B2 (en) * | 2017-03-06 | 2022-04-19 | Baidu Usa Llc | Offline combination of convolutional/deconvolutional and batch-norm layers of convolutional neural network models for autonomous driving vehicles |
CN110419049B (zh) | 2017-03-17 | 2024-01-23 | 奇跃公司 | 房间布局估计方法和技术 |
US10762635B2 (en) | 2017-06-14 | 2020-09-01 | Tusimple, Inc. | System and method for actively selecting and labeling images for semantic segmentation |
US10908680B1 (en) | 2017-07-12 | 2021-02-02 | Magic Leap, Inc. | Pose estimation using electromagnetic tracking |
CN110914790A (zh) | 2017-07-26 | 2020-03-24 | 奇跃公司 | 采用用户界面设备的表示来训练神经网络 |
US10268205B2 (en) * | 2017-09-13 | 2019-04-23 | TuSimple | Training and testing of a neural network method for deep odometry assisted by static scene optical flow |
US10552979B2 (en) | 2017-09-13 | 2020-02-04 | TuSimple | Output of a neural network method for deep odometry assisted by static scene optical flow |
US10671083B2 (en) * | 2017-09-13 | 2020-06-02 | Tusimple, Inc. | Neural network architecture system for deep odometry assisted by static scene optical flow |
IL272289B (en) | 2017-09-20 | 2022-08-01 | Magic Leap Inc | A personal neural network for eye tracking |
FR3072469B1 (fr) * | 2017-10-13 | 2019-11-01 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede de synchronisation d'un systeme de localisation magnetique |
US10614574B2 (en) * | 2017-10-16 | 2020-04-07 | Adobe Inc. | Generating image segmentation data using a multi-branch neural network |
US10996742B2 (en) * | 2017-10-17 | 2021-05-04 | Logitech Europe S.A. | Input device for AR/VR applications |
JP7181928B2 (ja) | 2017-10-26 | 2022-12-01 | マジック リープ, インコーポレイテッド | 深層マルチタスクネットワークにおける適応的損失平衡のための勾配正規化システムおよび方法 |
IL274426B2 (en) * | 2017-11-14 | 2024-01-01 | Magic Leap Inc | Discovering and describing a fully complex point of interest using homographic processing |
US10514545B2 (en) * | 2017-12-08 | 2019-12-24 | Facebook Technologies, Llc | Selective tracking of a head-mounted display |
GB2569603B (en) * | 2017-12-21 | 2020-04-01 | Sony Interactive Entertainment Inc | Position tracking apparatus and method |
US11188144B2 (en) * | 2018-01-05 | 2021-11-30 | Samsung Electronics Co., Ltd. | Method and apparatus to navigate a virtual content displayed by a virtual reality (VR) device |
US10664953B1 (en) * | 2018-01-23 | 2020-05-26 | Facebook Technologies, Llc | Systems and methods for generating defocus blur effects |
GB201804400D0 (en) * | 2018-03-20 | 2018-05-02 | Univ Of Essex Enterprise Limited | Localisation, mapping and network training |
KR102395445B1 (ko) * | 2018-03-26 | 2022-05-11 | 한국전자통신연구원 | 음원의 위치를 추정하기 위한 전자 장치 |
KR102094953B1 (ko) * | 2018-03-28 | 2020-03-30 | 주식회사 비주얼캠프 | 시선 추적 방법 및 이를 수행하기 위한 단말 |
US10534982B2 (en) * | 2018-03-30 | 2020-01-14 | Tobii Ab | Neural network training for three dimensional (3D) gaze prediction with calibration parameters |
US11119624B2 (en) * | 2018-04-17 | 2021-09-14 | Apple Inc. | Dynamic image stabilization using motion sensors |
CN108921893B (zh) * | 2018-04-24 | 2022-03-25 | 华南理工大学 | 一种基于在线深度学习slam的图像云计算方法及系统 |
WO2019222467A1 (en) | 2018-05-17 | 2019-11-21 | Niantic, Inc. | Self-supervised training of a depth estimation system |
GB2574372B (en) * | 2018-05-21 | 2021-08-11 | Imagination Tech Ltd | Implementing Traditional Computer Vision Algorithms As Neural Networks |
US20190362235A1 (en) | 2018-05-23 | 2019-11-28 | Xiaofan Xu | Hybrid neural network pruning |
US10636190B2 (en) * | 2018-05-31 | 2020-04-28 | Robert Bosch Gmbh | Methods and systems for exploiting per-pixel motion conflicts to extract primary and secondary motions in augmented reality systems |
US11677796B2 (en) | 2018-06-20 | 2023-06-13 | Logitech Europe S.A. | System and method for video encoding optimization and broadcasting |
CN112400148A (zh) * | 2018-06-22 | 2021-02-23 | 奇跃公司 | 使用离轴相机执行眼睛跟踪的方法和系统 |
CN108958716A (zh) * | 2018-06-27 | 2018-12-07 | 森汉智能科技(深圳)有限公司 | 智能机器人上实现移动端编程与ar系统结合的方法 |
US10867164B2 (en) * | 2018-06-29 | 2020-12-15 | Intel Corporation | Methods and apparatus for real-time interactive anamorphosis projection via face detection and tracking |
US10948297B2 (en) * | 2018-07-09 | 2021-03-16 | Samsung Electronics Co., Ltd. | Simultaneous location and mapping (SLAM) using dual event cameras |
US10754419B2 (en) * | 2018-07-12 | 2020-08-25 | Google Llc | Hybrid pose tracking system with electromagnetic position tracking |
CN112513944A (zh) | 2018-07-23 | 2021-03-16 | 奇跃公司 | 用于头部姿势预测的深度预测器循环神经网络 |
US10943115B2 (en) * | 2018-07-24 | 2021-03-09 | Apical Ltd. | Processing image data to perform object detection |
US10915164B2 (en) | 2018-09-05 | 2021-02-09 | Magic Leap, Inc. | Directed emitter/sensor for electromagnetic tracking in augmented reality systems |
US10783713B2 (en) * | 2018-09-05 | 2020-09-22 | International Business Machines Corporation | Transmutation of virtual entity sketch using extracted features and relationships of real and virtual objects in mixed reality scene |
KR102559203B1 (ko) * | 2018-10-01 | 2023-07-25 | 삼성전자주식회사 | 포즈 정보를 출력하는 방법 및 장치 |
CN109240510B (zh) * | 2018-10-30 | 2023-12-26 | 东北大学 | 基于视线追踪的增强现实人机交互设备及控制方法 |
US10915793B2 (en) * | 2018-11-08 | 2021-02-09 | Huawei Technologies Co., Ltd. | Method and system for converting point cloud data for use with 2D convolutional neural networks |
WO2020102417A1 (en) * | 2018-11-15 | 2020-05-22 | Magic Leap, Inc. | Systems and methods for performing self-improving visual odometry |
US10854006B2 (en) * | 2018-11-15 | 2020-12-01 | Palo Alto Research Center Incorporated | AR-enabled labeling using aligned CAD models |
CN109685802B (zh) * | 2018-12-13 | 2023-09-15 | 泸州禾苗通信科技有限公司 | 一种低延迟的视频分割实时预览方法 |
EP3903162A4 (en) * | 2018-12-27 | 2022-03-02 | Magic Leap, Inc. | SYSTEMS AND PROCESSES FOR VIRTUAL AND AUGMENTED REALITY |
CN109858524B (zh) * | 2019-01-04 | 2020-10-16 | 北京达佳互联信息技术有限公司 | 手势识别方法、装置、电子设备及存储介质 |
FR3092426B1 (fr) | 2019-02-01 | 2021-09-24 | Olivier Querbes | Procédé dynamique d’imagerie tridimensionnelle |
US10424048B1 (en) * | 2019-02-15 | 2019-09-24 | Shotspotter, Inc. | Systems and methods involving creation and/or utilization of image mosaic in classification of acoustic events |
US11009698B2 (en) * | 2019-03-13 | 2021-05-18 | Nick Cherukuri | Gaze-based user interface for augmented and mixed reality device |
CN109919128B (zh) * | 2019-03-20 | 2021-04-13 | 联想(北京)有限公司 | 控制指令的获取方法、装置及电子设备 |
US11205112B2 (en) * | 2019-04-01 | 2021-12-21 | Honeywell International Inc. | Deep neural network-based inertial measurement unit (IMU) sensor compensation method |
DE102020109121A1 (de) * | 2019-04-02 | 2020-10-08 | Ascension Technology Corporation | Korrektur von Verzerrungen |
CN113678087A (zh) * | 2019-04-05 | 2021-11-19 | 谷歌有限责任公司 | 使用可穿戴设备进行推理生成的分布式机器学习模型 |
KR102148382B1 (ko) * | 2019-04-25 | 2020-08-26 | 경희대학교 산학협력단 | 관성 센서 신호의 이미지 변환 방법 및 장치 |
US11044462B2 (en) | 2019-05-02 | 2021-06-22 | Niantic, Inc. | Self-supervised training of a depth estimation model using depth hints |
CN110223351B (zh) * | 2019-05-30 | 2021-02-19 | 杭州蓝芯科技有限公司 | 一种基于卷积神经网络的深度相机定位方法 |
US11719850B2 (en) * | 2019-06-20 | 2023-08-08 | Sony Interactive Entertainment Inc. | Detecting and compensating for magnetic interference in electromagnetic (EM) positional tracking |
US11099641B2 (en) * | 2019-06-27 | 2021-08-24 | Disney Enterprises, Inc. | Calibration, customization, and improved user experience for bionic lenses |
US11107291B2 (en) * | 2019-07-11 | 2021-08-31 | Google Llc | Traversing photo-augmented information through depth using gesture and UI controlled occlusion planes |
TWI773907B (zh) * | 2019-07-11 | 2022-08-11 | 緯創資通股份有限公司 | 資料擷取裝置與資料運算系統及方法 |
US10989916B2 (en) * | 2019-08-20 | 2021-04-27 | Google Llc | Pose prediction with recurrent neural networks |
US11763191B2 (en) * | 2019-08-20 | 2023-09-19 | The Calany Holding S. À R.L. | Virtual intelligence and optimization through multi-source, real-time, and context-aware real-world data |
CN110717866B (zh) * | 2019-09-03 | 2022-10-18 | 北京爱博同心医学科技有限公司 | 基于增强现实的图像锐化方法及增强现实眼镜 |
CN110530356B (zh) * | 2019-09-04 | 2021-11-23 | 海信视像科技股份有限公司 | 位姿信息的处理方法、装置、设备及存储介质 |
CN110602709B (zh) * | 2019-09-16 | 2022-01-04 | 腾讯科技(深圳)有限公司 | 可穿戴式设备的网络数据安全方法、装置及存储介质 |
CN110686906B (zh) * | 2019-10-09 | 2021-03-26 | 清华大学 | 车辆自动驾驶测试方法及装置 |
JP7150894B2 (ja) * | 2019-10-15 | 2022-10-11 | ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド | Arシーン画像処理方法及び装置、電子機器並びに記憶媒体 |
JP2022505999A (ja) * | 2019-10-15 | 2022-01-17 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 拡張現実データの提示方法、装置、機器および記憶媒体 |
WO2021077024A1 (en) | 2019-10-18 | 2021-04-22 | Magic Leap, Inc. | Gravity estimation and bundle adjustment for visual-inertial odometry |
CN110737339B (zh) * | 2019-10-28 | 2021-11-02 | 福州大学 | 基于深度学习的视觉—触觉交互模型构建方法 |
SG10201910949PA (en) * | 2019-11-21 | 2020-11-27 | Lian Wang | Artificial Intelligence Brain |
US20210157394A1 (en) | 2019-11-24 | 2021-05-27 | XRSpace CO., LTD. | Motion tracking system and method |
KR102260393B1 (ko) * | 2019-11-27 | 2021-06-03 | 주식회사 피앤씨솔루션 | 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치 |
CN113031753A (zh) * | 2019-12-09 | 2021-06-25 | 未来市股份有限公司 | 运动传感数据产生方法和运动传感数据产生系统 |
CN111209915B (zh) * | 2019-12-25 | 2023-09-15 | 上海航天控制技术研究所 | 一种基于深度学习的三维图像同步识别和分割方法 |
CN111222468A (zh) * | 2020-01-08 | 2020-06-02 | 浙江光珀智能科技有限公司 | 一种基于深度学习的人流检测方法及系统 |
CN111330255B (zh) * | 2020-01-16 | 2021-06-08 | 北京理工大学 | 一种基于深度卷积神经网络的亚马逊棋招法生成方法 |
CN111325097B (zh) * | 2020-01-22 | 2023-04-07 | 陕西师范大学 | 增强的单阶段解耦的时序动作定位方法 |
CN111273777A (zh) * | 2020-02-11 | 2020-06-12 | Oppo广东移动通信有限公司 | 虚拟内容的控制方法、装置、电子设备及存储介质 |
US20210256174A1 (en) * | 2020-02-13 | 2021-08-19 | Best Apps, Llc | Computer aided systems and methods for creating custom products |
GB2588470B (en) * | 2020-02-19 | 2022-01-12 | Envisics Ltd | Pupil expansion |
US11263818B2 (en) * | 2020-02-24 | 2022-03-01 | Palo Alto Research Center Incorporated | Augmented reality system using visual object recognition and stored geometry to create and render virtual objects |
WO2021190280A1 (en) * | 2020-03-24 | 2021-09-30 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | System and method for augmented tele-cooperation |
US11314950B2 (en) | 2020-03-25 | 2022-04-26 | International Business Machines Corporation | Text style transfer using reinforcement learning |
WO2021194487A1 (en) * | 2020-03-25 | 2021-09-30 | Hewlett-Packard Development Company, L.P. | Head-related transfer functions with antropometric measurements |
KR102331172B1 (ko) * | 2020-03-31 | 2021-11-26 | 엑스퍼트아이엔씨 주식회사 | 스마트글라스를 활용한 클라우드 기반형 원격 서비스 및 유지보수 지원 시스템 |
US20210311320A1 (en) * | 2020-04-06 | 2021-10-07 | Pike Enterprises, Llc | Virtual reality tracking system |
US11921917B2 (en) | 2020-04-07 | 2024-03-05 | Eyetech Digital Systems, Inc. | Compact eye-tracking camera systems and methods |
US10996753B1 (en) | 2020-04-07 | 2021-05-04 | Eyetech Digital Systems, Inc. | Multi-mode eye-tracking with independently operable illuminators |
CN111461251A (zh) * | 2020-04-10 | 2020-07-28 | 桂林电子科技大学 | 基于随机森林与自编码器的WiFi指纹的室内定位方法 |
KR20210128269A (ko) | 2020-04-16 | 2021-10-26 | 삼성전자주식회사 | 증강 현실(ar) 디바이스 및 증강 현실 디바이스에서 포즈를 예측하는 방법 |
CN115552477A (zh) | 2020-05-01 | 2022-12-30 | 奇跃公司 | 采用施加的分层归一化的图像描述符网络 |
CN111643809B (zh) * | 2020-05-29 | 2023-12-05 | 广州大学 | 一种基于潜能干预仪的电磁脉冲控制方法及系统 |
CN115668106A (zh) * | 2020-06-05 | 2023-01-31 | 奇跃公司 | 基于图像的神经网络分析的增强眼睛跟踪技术 |
CN111881735B (zh) * | 2020-06-17 | 2022-07-29 | 武汉光庭信息技术股份有限公司 | 一种自动驾驶视频数据的事件分类提取方法和装置 |
WO2021260694A1 (en) * | 2020-06-22 | 2021-12-30 | Alon Melchner | System and method for rendering virtual interactions of an immersive reality-virtuality continuum-based object and a real environment |
US20210405739A1 (en) * | 2020-06-26 | 2021-12-30 | Sony Interactive Entertainment Inc. | Motion matching for vr full body reconstruction |
CN111935396A (zh) * | 2020-07-01 | 2020-11-13 | 青岛小鸟看看科技有限公司 | VR一体机的6DoF数据处理方法和装置 |
US20230290132A1 (en) * | 2020-07-29 | 2023-09-14 | Magic Leap, Inc. | Object recognition neural network training using multiple data sources |
CN111896221B (zh) * | 2020-07-30 | 2021-08-17 | 四川大学 | 虚拟坐标系辅助摄像机标定的旋转光学测量系统对准方法 |
CN111914753A (zh) * | 2020-08-03 | 2020-11-10 | 西安杰邦科技股份有限公司 | 基于深度学习的低功耗智能枪瞄图像处理系统及处理方法 |
US11320896B2 (en) * | 2020-08-03 | 2022-05-03 | Facebook Technologies, Llc. | Systems and methods for object tracking using fused data |
US11727719B2 (en) * | 2020-08-28 | 2023-08-15 | Stmicroelectronics, Inc. | System and method for detecting human presence based on depth sensing and inertial measurement |
US11113894B1 (en) * | 2020-09-11 | 2021-09-07 | Microsoft Technology Licensing, Llc | Systems and methods for GPS-based and sensor-based relocalization |
US20230408830A1 (en) * | 2020-10-30 | 2023-12-21 | Hewlett-Packard Development Company, L.P. | Head mounted display assembly |
CN112433193B (zh) * | 2020-11-06 | 2023-04-07 | 山东产研信息与人工智能融合研究院有限公司 | 一种基于多传感器的模位置定位方法及系统 |
CN112308015A (zh) * | 2020-11-18 | 2021-02-02 | 盐城鸿石智能科技有限公司 | 一种基于3d结构光的新型深度恢复方案 |
US20240106998A1 (en) * | 2020-12-04 | 2024-03-28 | Magic Leap, Inc. | Miscalibration detection for virtual reality and augmented reality systems |
CN112509006A (zh) * | 2020-12-11 | 2021-03-16 | 北京华捷艾米科技有限公司 | 一种子地图恢复融合方法及装置 |
CN112464958A (zh) * | 2020-12-11 | 2021-03-09 | 沈阳芯魂科技有限公司 | 多模态神经网络信息处理方法、装置、电子设备与介质 |
CN112561978B (zh) * | 2020-12-18 | 2023-11-17 | 北京百度网讯科技有限公司 | 深度估计网络的训练方法、图像的深度估计方法、设备 |
CN112702522B (zh) * | 2020-12-25 | 2022-07-12 | 李灯 | 一种基于vr直播系统的自适应控制播放方法 |
US11461991B2 (en) * | 2020-12-30 | 2022-10-04 | Imagine Technologies, Inc. | Method of developing a database of controllable objects in an environment |
US11854280B2 (en) | 2021-04-27 | 2023-12-26 | Toyota Research Institute, Inc. | Learning monocular 3D object detection from 2D semantic keypoint detection |
CN113469041A (zh) * | 2021-06-30 | 2021-10-01 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、计算机设备和存储介质 |
CN113793389B (zh) * | 2021-08-24 | 2024-01-26 | 国网甘肃省电力公司 | 一种增强现实系统虚实融合标定方法及装置 |
US11763496B2 (en) | 2021-09-30 | 2023-09-19 | Lemon Inc. | Social networking based on asset items |
US11417069B1 (en) * | 2021-10-05 | 2022-08-16 | Awe Company Limited | Object and camera localization system and localization method for mapping of the real world |
US11797127B1 (en) * | 2021-11-16 | 2023-10-24 | Alken Inc. | Hybrid tracking with auto-correction |
WO2023096916A1 (en) * | 2021-11-23 | 2023-06-01 | Compass Pathfinder Limited | Apparatuses, systems, and methods for a real time bioadaptive stimulus environment |
US20230241491A1 (en) * | 2022-01-31 | 2023-08-03 | Sony Interactive Entertainment Inc. | Systems and methods for determining a type of material of an object in a real-world environment |
US11822736B1 (en) | 2022-05-18 | 2023-11-21 | Google Llc | Passive-accessory mediated gesture interaction with a head-mounted device |
US11776206B1 (en) | 2022-12-23 | 2023-10-03 | Awe Company Limited | Extended reality system and extended reality method with two-way digital interactive digital twins |
KR102585261B1 (ko) * | 2023-04-26 | 2023-10-06 | 주식회사 케이유전자 | 3차원 보정객체의 단일 영상을 활용하여 적응형 영상 증강 방법 기반의 최적화된 다중 카메라 보정 시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014128787A1 (ja) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法 |
WO2015066628A1 (en) * | 2013-11-04 | 2015-05-07 | Facebook, Inc. | Systems and methods for facial representation |
JP2015185176A (ja) * | 2014-03-25 | 2015-10-22 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH | 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム |
WO2015192117A1 (en) * | 2014-06-14 | 2015-12-17 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
Family Cites Families (80)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5291560A (en) | 1991-07-15 | 1994-03-01 | Iri Scan Incorporated | Biometric personal identification system based on iris analysis |
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5583795A (en) | 1995-03-17 | 1996-12-10 | The United States Of America As Represented By The Secretary Of The Army | Apparatus for measuring eye gaze and fixation duration, and method therefor |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
AU2003209553A1 (en) | 2002-03-13 | 2003-09-22 | Imax Corporation | Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data |
DE60330980D1 (de) * | 2002-10-15 | 2010-03-04 | Volvo Technology Corp | Verfahren für die auswertung der kopf- und augenaktivität einer person |
US8098901B2 (en) | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
KR20050025927A (ko) | 2003-09-08 | 2005-03-14 | 유웅덕 | 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법 |
US7248720B2 (en) | 2004-10-21 | 2007-07-24 | Retica Systems, Inc. | Method and system for generating a combined retina/iris pattern biometric |
WO2006078015A1 (ja) | 2005-01-24 | 2006-07-27 | National University Corporation Yokohama National University | カテゴリカル色知覚システム |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
JP2007122362A (ja) | 2005-10-27 | 2007-05-17 | Toyota Motor Corp | ニューラルネットワークを用いた状態推定方法及びニューラルネットワークを用いた状態推定装置 |
JP4824420B2 (ja) | 2006-02-07 | 2011-11-30 | アイテック株式会社 | 視線ベクトル検出方法及び同装置 |
US7970179B2 (en) | 2006-09-25 | 2011-06-28 | Identix Incorporated | Iris data extraction |
US8363783B2 (en) | 2007-06-04 | 2013-01-29 | Oraya Therapeutics, Inc. | Method and device for ocular alignment and coupling of ocular structures |
US8098891B2 (en) | 2007-11-29 | 2012-01-17 | Nec Laboratories America, Inc. | Efficient multi-hypothesis multi-human 3D tracking in crowded scenes |
JP5478618B2 (ja) | 2008-07-03 | 2014-04-23 | エヌイーシー ラボラトリーズ アメリカ インク | 上皮層検出器およびそれに関連する方法 |
US8768014B2 (en) | 2009-01-14 | 2014-07-01 | Indiana University Research And Technology Corp. | System and method for identifying a person with reference to a sclera image |
AU2011207402B2 (en) | 2010-01-22 | 2015-01-29 | Amo Development, Llc | Apparatus for automated placement of scanned laser capsulorhexis incisions |
US8345984B2 (en) | 2010-01-28 | 2013-01-01 | Nec Laboratories America, Inc. | 3D convolutional neural networks for automatic human action recognition |
US11935281B2 (en) * | 2010-06-07 | 2024-03-19 | Affectiva, Inc. | Vehicular in-cabin facial tracking using machine learning |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
KR101997852B1 (ko) | 2010-12-24 | 2019-10-01 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
RU2017118159A (ru) | 2011-05-06 | 2018-10-30 | Мэджик Лип, Инк. | Мир массового одновременного удаленного цифрового присутствия |
CN102306088A (zh) * | 2011-06-23 | 2012-01-04 | 北京北方卓立科技有限公司 | 一种实体投影虚实配准装置及方法 |
JP2015504616A (ja) * | 2011-09-26 | 2015-02-12 | マイクロソフト コーポレーション | 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正 |
WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
US20130083018A1 (en) * | 2011-09-30 | 2013-04-04 | Kevin A. Geisner | Personal audio/visual system with holographic objects |
CA3164530C (en) | 2011-10-28 | 2023-09-19 | Magic Leap, Inc. | System and method for augmented and virtual reality |
KR102116697B1 (ko) | 2011-11-23 | 2020-05-29 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
NZ700887A (en) | 2012-04-05 | 2016-11-25 | Magic Leap Inc | Wide-field of view (fov) imaging devices with active foveation capability |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
CN115494654A (zh) | 2012-06-11 | 2022-12-20 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
US9141916B1 (en) | 2012-06-29 | 2015-09-22 | Google Inc. | Using embedding functions with a deep network |
WO2014021169A1 (ja) | 2012-07-31 | 2014-02-06 | 独立行政法人科学技術振興機構 | 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体 |
US8369595B1 (en) | 2012-08-10 | 2013-02-05 | EyeVerify LLC | Texture features for biometric authentication |
US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
KR102274413B1 (ko) | 2013-01-15 | 2021-07-07 | 매직 립, 인코포레이티드 | 초고해상도 스캐닝 섬유 디스플레이 |
JP6083251B2 (ja) | 2013-02-18 | 2017-02-22 | 応用地質株式会社 | 地下の電気的特性を得るための分散型探査システムおよびこれを用いた分散型探査方法 |
KR102516124B1 (ko) | 2013-03-11 | 2023-03-29 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
US9147154B2 (en) | 2013-03-13 | 2015-09-29 | Google Inc. | Classifying resources using a deep network |
KR102318391B1 (ko) | 2013-03-15 | 2021-10-26 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
WO2014182769A1 (en) | 2013-05-07 | 2014-11-13 | The Johns Hopkins University | Automated and non-mydriatic fundus-perimetry camera for irreversible eye diseases |
US9275308B2 (en) | 2013-05-31 | 2016-03-01 | Google Inc. | Object detection using deep neural networks |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US20140380249A1 (en) | 2013-06-25 | 2014-12-25 | Apple Inc. | Visual recognition of gestures |
CN103431840B (zh) | 2013-07-31 | 2016-01-20 | 北京智谷睿拓技术服务有限公司 | 眼睛光学参数检测系统及方法 |
AU2014337171B2 (en) | 2013-10-16 | 2018-11-15 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
US9202144B2 (en) | 2013-10-30 | 2015-12-01 | Nec Laboratories America, Inc. | Regionlets with shift invariant neural patterns for object detection |
US20150134651A1 (en) * | 2013-11-12 | 2015-05-14 | Fyusion, Inc. | Multi-dimensional surround view based search |
JP6236296B2 (ja) | 2013-11-14 | 2017-11-22 | 株式会社デンソーアイティーラボラトリ | 学習装置、学習プログラム、及び学習方法 |
CN107315249B (zh) | 2013-11-27 | 2021-08-17 | 奇跃公司 | 虚拟和增强现实系统与方法 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
US9430829B2 (en) | 2014-01-30 | 2016-08-30 | Case Western Reserve University | Automatic detection of mitosis using handcrafted and convolutional neural network features |
NZ722903A (en) | 2014-01-31 | 2020-05-29 | Magic Leap Inc | Multi-focal display system and method |
KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
IL231862A (en) * | 2014-04-01 | 2015-04-30 | Superfish Ltd | Image representation using a neural network |
WO2015164807A1 (en) | 2014-04-25 | 2015-10-29 | Texas State University | Detection of brain injury and subject state with eye movement biometrics |
CN107087431B (zh) * | 2014-05-09 | 2021-02-05 | 谷歌有限责任公司 | 用于辨别眼睛信号和连续生物识别的系统和方法 |
AU2015266586B2 (en) | 2014-05-30 | 2020-07-23 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
US9536293B2 (en) | 2014-07-30 | 2017-01-03 | Adobe Systems Incorporated | Image assessment using deep convolutional neural networks |
US20160034811A1 (en) | 2014-07-31 | 2016-02-04 | Apple Inc. | Efficient generation of complementary acoustic models for performing automatic speech recognition system combination |
US9659384B2 (en) | 2014-10-03 | 2017-05-23 | EyeEm Mobile GmbH. | Systems, methods, and computer program products for searching and sorting images by aesthetic quality |
CN105917354A (zh) | 2014-10-09 | 2016-08-31 | 微软技术许可有限责任公司 | 用于图像处理的空间金字塔池化网络 |
CN105981051B (zh) | 2014-10-10 | 2019-02-19 | 北京旷视科技有限公司 | 用于图像解析的分层互连多尺度卷积网络 |
KR102276339B1 (ko) | 2014-12-09 | 2021-07-12 | 삼성전자주식회사 | Cnn의 근사화를 위한 학습 장치 및 방법 |
US9418458B2 (en) | 2015-01-05 | 2016-08-16 | Superfish Ltd. | Graph image representation from convolutional neural networks |
EP3483795B1 (en) | 2015-01-28 | 2021-03-10 | Google LLC | Batch normalization layers |
US10846589B2 (en) * | 2015-03-12 | 2020-11-24 | William Marsh Rice University | Automated compilation of probabilistic task description into executable neural network specification |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
US10146997B2 (en) | 2015-08-21 | 2018-12-04 | Magic Leap, Inc. | Eyelid shape estimation using eye pose measurement |
CN105654037B (zh) * | 2015-12-21 | 2019-05-21 | 浙江大学 | 一种基于深度学习和特征图像的肌电信号手势识别方法 |
KR102648770B1 (ko) | 2016-07-14 | 2024-03-15 | 매직 립, 인코포레이티드 | 홍채 식별을 위한 딥 뉴럴 네트워크 |
WO2018013199A1 (en) | 2016-07-14 | 2018-01-18 | Magic Leap, Inc. | Iris boundary estimation using cornea curvature |
EP3500911B1 (en) | 2016-08-22 | 2023-09-27 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
-
2017
- 2017-08-22 EP EP17844303.2A patent/EP3500911B1/en active Active
- 2017-08-22 IL IL281241A patent/IL281241B/en unknown
- 2017-08-22 KR KR1020197008125A patent/KR102439771B1/ko active IP Right Grant
- 2017-08-22 CN CN201780064460.2A patent/CN109923500B/zh active Active
- 2017-08-22 KR KR1020227030033A patent/KR102529137B1/ko active IP Right Grant
- 2017-08-22 US US15/683,664 patent/US10402649B2/en active Active
- 2017-08-22 IL IL294129A patent/IL294129B2/en unknown
- 2017-08-22 CA CA3034644A patent/CA3034644A1/en active Pending
- 2017-08-22 JP JP2019509558A patent/JP7002536B2/ja active Active
- 2017-08-22 WO PCT/US2017/048068 patent/WO2018039269A1/en active Application Filing
- 2017-08-22 AU AU2017317599A patent/AU2017317599B2/en active Active
- 2017-08-22 CN CN202111611574.9A patent/CN114253400A/zh active Pending
-
2019
- 2019-02-13 IL IL264820A patent/IL264820B/en active IP Right Grant
- 2019-07-18 US US16/515,891 patent/US10733447B2/en active Active
-
2020
- 2020-06-30 US US16/916,554 patent/US11120266B2/en active Active
-
2021
- 2021-09-10 US US17/472,151 patent/US11797078B2/en active Active
- 2021-12-27 JP JP2021212167A patent/JP7254895B2/ja active Active
-
2022
- 2022-03-21 AU AU2022201949A patent/AU2022201949A1/en not_active Abandoned
-
2023
- 2023-03-29 JP JP2023053732A patent/JP7476387B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014128787A1 (ja) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法 |
WO2015066628A1 (en) * | 2013-11-04 | 2015-05-07 | Facebook, Inc. | Systems and methods for facial representation |
JP2015185176A (ja) * | 2014-03-25 | 2015-10-22 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH | 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム |
WO2015192117A1 (en) * | 2014-06-14 | 2015-12-17 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11353700B2 (en) | 2020-10-07 | 2022-06-07 | Industrial Technology Research Institute | Orientation predicting method, virtual reality headset and non-transitory computer-readable medium |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7476387B2 (ja) | 深層学習センサを有する拡張現実ディスプレイデバイス | |
CN112513711B (zh) | 用于使用位置向量解析半球模糊度的方法和系统 | |
US11460698B2 (en) | Electromagnetic tracking with augmented reality systems | |
JP7482040B2 (ja) | 拡張現実深層ジェスチャネットワーク |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200821 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200821 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7002536 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |