CN105188516A - 用于增强和虚拟现实的系统与方法 - Google Patents
用于增强和虚拟现实的系统与方法 Download PDFInfo
- Publication number
- CN105188516A CN105188516A CN201480026513.8A CN201480026513A CN105188516A CN 105188516 A CN105188516 A CN 105188516A CN 201480026513 A CN201480026513 A CN 201480026513A CN 105188516 A CN105188516 A CN 105188516A
- Authority
- CN
- China
- Prior art keywords
- user
- virtual
- virtual world
- methods
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 129
- 230000003190 augmentative effect Effects 0.000 title claims description 71
- 230000008569 process Effects 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 13
- 210000001508 eye Anatomy 0.000 claims description 65
- 230000033001 locomotion Effects 0.000 claims description 41
- 230000005540 biological transmission Effects 0.000 claims description 34
- 239000000203 mixture Substances 0.000 claims description 31
- 238000012800 visualization Methods 0.000 claims description 30
- 238000009472 formulation Methods 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 26
- 210000003128 head Anatomy 0.000 claims description 24
- 230000002708 enhancing effect Effects 0.000 claims description 20
- 230000008447 perception Effects 0.000 claims description 15
- 230000003993 interaction Effects 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 230000002596 correlated effect Effects 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 67
- 230000006870 function Effects 0.000 description 17
- 230000003068 static effect Effects 0.000 description 12
- 230000000712 assembly Effects 0.000 description 11
- 238000000429 assembly Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 230000006854 communication Effects 0.000 description 11
- 230000006399 behavior Effects 0.000 description 9
- 230000036541 health Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000002156 mixing Methods 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 6
- 241000282472 Canis lupus familiaris Species 0.000 description 5
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000035939 shock Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004020 luminiscence type Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000035800 maturation Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 210000000162 simple eye Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241000256856 Vespidae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012857 repacking Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000010415 tropism Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/20—Details of the management of multiple sources of image data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Processing Or Creating Images (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一个实施例针对使两个或更多用户能在包括虚拟世界数据的虚拟世界中交互的系统,该系统包括计算机网络,所述计算机网络包括一个或多个计算设备,所述一个或多个计算设备包括存储器、处理电路和至少存储于所述存储器的一部分上并可由所述处理电路执行以处理所述虚拟世界数据的至少一部分的软件;其中所述虚拟世界数据的至少第一部分源自第一用户本地的第一虚拟世界,并且其中所述计算机网络可操作以传送第一部分至用户设备以用于向第二用户展示,以使得第二用户可从第二用户的位置体验第一部分,以使得第一用户虚拟世界的多个方面可被有效地传至第二用户。
Description
技术领域
本发明一般地涉及被配置以有助于用于一个或多个用户的交互式虚拟或增强现实环境的系统与方法。
背景技术
虚拟和增强现实环境由计算机在部分地使用描述环境的数据生成。该数据可描述,例如,用户可感知并与之交互的多种对象。这些对象的示例包括被渲染和展示以使用户可看见的对象、被播放以让用户可听到的声音、以及让用户感觉到的触觉(或触感)的反馈。通过各种虚拟的、听觉的和触觉的方法,用户可感知虚拟和增强现实环境并与之交互。
发明内容
本发明的实施例针对有助于用于一个或多个用户的虚拟现实和/或增强现实交互的设备、系统和方法。
一个实施例针对用户显示设备,所述用户显示设备包括安装于用户头上的外壳框架、耦合至所述外壳框架以追踪所述用户眼睛运动并基于所述被追踪的眼睛运动估计焦点的深度的第一对摄像机、具有光线生成机制的投影模块,其基于被估计的焦点的深度生成和修改与显示对象相关的映射光线以使得该显示对象在焦点出现、安装在所述外壳框架上的透镜,以及通信地耦合至所述投影模块以将与显示图像相关的数据传递至投影模块的处理器。所述透镜可包括被放置于用户眼睛前方以将被投影的光反射至用户眼睛中的至少一个透镜。所述至少一个透镜可选择性地允许来自本地环境的光的透射。
用户显示设备可进一步包括安装在外壳框架上以捕捉与第二对摄像机中的每一个摄像机对应的眼睛的视野图像的第二对摄像机。基于被捕捉的视野图像,所述处理器可计算用户的头部姿态。
投影模块可包括激光扫描装置以基于被估计的焦点的深度修改与所述显示对象相关的投影光束。所述投影光束的直径可小于0.7毫米。
在一个实施例中,第一对摄像机可包括与红外光源配对的红外摄像机以追踪用户的眼睛中的每一个眼睛的运动。用户显示设备可进一步包括传感器组件,所述传感器组件包括至少一个传感器以感知用户的运动、位置、方向和朝向中的至少一个。所述至少一个传感器可为加速计、罗盘或陀螺仪。基于所述用户的运动、所述用户的位置、所述用户的方向和所述用户的朝向中的至少一个,所述处理器可估计用户的头部姿态。所述用户显示设备可包括GPS系统。所述用户显示设备可进一步包括通信地耦合至所述投影模块以提供触觉反馈的触觉接口设备。20.所述用户显示设备可进一步包括环境感知系统以数字化地重构所述用户的环境。
所述处理器可通信地耦合至计算机网络以传输虚拟世界数据的至少一部分,并且接收所述虚拟世界数据的另一部分。
所述用户显示设备可包括安装在头部框架的扬声器模块以输出声音。所述用户显示设备可进一步包括安装在外壳框架上的麦克风以捕捉用户本地的声音。
所述投影模块可修改与另一对象相关的另一投影光线以使得该其他对象出现模糊,其中所述另一对象不是所述显示对象。所述处理器可以以每秒至少60帧的速率渲染所述显示对象的帧。
所述显示对象可为虚拟对象、已渲染物理对象、图像和视频中的至少一个。
在另一实施例中,所述方法包括追踪用户眼睛的运动,基于被追踪的眼睛运动估计所述用户眼睛的焦点的深度,基于被估计焦点的深度修改与显示对象相关的光束以使得所述显示对象出现在焦点,以及将被修改的光束投影至所述用户眼睛中。被投影至用户眼睛的投影光束的直径可小于0.7毫米。
所述方法可进一步包括基于所述显示对象的可视化模式,选择性地允许来自用户的本地环境的光线透射。所述可视化模式可以是增强现实模式、虚拟现实模式以及增强和虚拟现实模式的组合中的一个。
所述方法可进一步包括捕捉所述用户的每个眼睛的视野图像。所述被捕捉的视野图像可被用以估计所述用户的头部姿态。被捕捉的视野图像可被用于将至少一个物理对象转换为物理渲染(physicallyrendered)的虚拟对象,并且向所述用户显示该物理渲染的虚拟对象。
所述方法可进一步包括从被捕捉的视野图像中提取点集,并且基于被提取的点集为所述被捕捉的视野图像中的至少一个物理对象创建基准(fiducial)。所述方法可进一步包括传送被提取的点集和被创建的基准中的至少一个至云计算机,以及将被提取的点集和被创建的基准中的至少一个标记为一种对象类型。所述方法可进一步包括基于与所述对象类型相关的被标记点集和与所述对象类型相关的被标记的被创建基准中的至少一个,识别不同的物理对象属于该对象类型。
所述方法可进一步包括感知所述用户的运动、所述用户的位置、所述用户的方向和所述用户的朝向中的一个,以及基于被感知的运动、被感知的位置、被感知的方向和被感知的朝向中的至少一个计算所述用户的姿态。所述传感器可为加速计、罗盘和陀螺仪中的至少一个。
所述方法可进一步包括处理与所述显示对象相关的虚拟世界数据至云网络,以及传送与该显示对象相关的虚拟世界数据的至少一部分至位于第二位置的第二用户以使得第二用户可在第二位置体验与该显示对象相关的虚拟世界数据的至少一部分。
所述方法可进一步包括感知物理对象,以及基于与被感知的物理对象的预先确定的关系,修改与所述显示对象相关的虚拟世界数据的至少一部分。所述方法进一步包括向第二用户呈现被修改的虚拟世界数据。
所述方法可进一步包括修改与另一对象相关的另一光线以使得该其他对象出现模糊,其中所述另一对象不是所述显示对象。
所述方法可进一步包括通过用户接口接收用户输入,以及基于接收的用户输入修改所述显示对象。所述用户接口可为触觉接口设备、键盘、鼠标、控制杆、运动捕捉控制器、光学追踪设备和音频输入设备中的至少一个。所述显示对象可为虚拟对象、被渲染物理对象、图像和视频中的至少一个。
在另一实施例中,方法包括通过头戴式用户显示设备与包括虚拟世界数据的虚拟世界交互,其中所述头戴式用户显示设备基于被估计的用户眼睛的焦点的深度向用户渲染与所述虚拟世界数据的至少一部分相关的显示图像,创建源自所述头戴式用户设备与所述虚拟世界的交互和与所述用户的物理环境的交互中的至少一个的附加虚拟世界数据,以及传送所述附加虚拟世界数据至计算机网络。所述虚拟世界可被以二维的形式或三维的形式呈现。
所述方法可进一步包括为了展示,传送所述附加虚拟世界数据至位于第二位置的第二用户以使得第二用户可从第二位置体验所述附加虚拟世界数据。所述附加虚拟世界数据可与通过头戴式用户显示设备捕捉的视野图像相关。所述附加虚拟世界数据可与用户的被感知运动、用户的被感知位置、用户被感知的方向和用户被感知朝向中的至少一个相关。所述附加虚拟世界数据可与被所述头戴式用户显示设备感知的物理对象相关。所述附加虚拟世界数据可与与所述被感知的物理对象具有预先确定的关系的显示对象相关。
所述方法可进一步包括基于用户输入,选择用于使所述用户和所述头戴式用户显示设备之间能够交互的接口,以及基于被选择的接口,渲染与所述虚拟世界数据的至少一部分相关的显示对象。所述被选择的接口可以是虚拟现实模式、增强现实模式、混合现实模式和虚拟现实和增强现实模式的组合中的一个。
在另一实施例中,使两个或更多用户能与包括虚拟世界数据的虚拟世界交互的方法包括通过第一用户显示设备以第一用户的第一可视化模式显示所述虚拟世界,通过计算机网络传送所述虚拟世界数据的至少一部分至第二用户显示器,以及在第二用户的第二用户显示设备中以第二可视化模式显示与所述虚拟世界数据的被传送部分相关的虚拟世界。第一可视化模式可以不同于第二可视化模式。第一可视化模式可以是增强现实模式、虚拟现实模式、混合现实模式以及虚拟现实和增强现实模式的组合中的至少一个。
在另一实施例中,方法包括基于用户的选择处理与现实物理对象的图像相关的被渲染物理图像数据和与虚拟显示对象相关的虚拟图像数据中的至少一个,以及选择性地向用户显示用户实时可见的现实物理对象、基于用户实时可见的现实物理对象渲染的被渲染物理-虚拟对象,以及虚拟显示对象的选择的组合。所述现实物理对象、被渲染的物理-虚拟对象和虚拟显示对象的至少一个基于用户输入的可视化模式来被选择性地显示。所述可视化模式可为增强现实模式、虚拟现实模式、混合现实模式以及虚拟和增强现实模式的组合中的至少一个。
所述方法进一步包括通过计算机网络接收与另一显示对象相关的图像数据以及将所述图像数据转换为与所选择的可视化模式兼容的数据格式以使得所述用户可以以被选择的可视化模式察看另其他显示对象。
所述方法进一步包括基于所述被选择的可视化模式,选择性地允许来自外界环境的光线的透射以使得所述用户可察看现实物理对象。
在另一实施例中,方法包括通过头戴式用户显示设备的透镜选择性地允许来自外界环境的光线的透射,其中所述头戴式用户显示设备被配置用于显示彻底的虚拟对象、彻底的物理对象或虚拟对象和物理对象的组合。
基于所期望的可视化模式选择性的允许光线的透射,其中所期望的可视化模式是增强现实模式、虚拟现实模式、混合现实模式以及增强和虚拟现实模式的组合中的一个。
所述方法可进一步包括当头戴式用户设备被关闭时,允许来自所述外界环境的光线的完全透射,以使得所述用户仅察看彻底的物理对象。
所述方法可进一步包括将与具有特定形状的至少一个显示对象相关的光束投影至用户的眼中,以及基于所述至少一个显示对象的特殊的形状,选择性地允许来自外界环境的光线的透射以使得用户察看显示对象连同所述外界环境中的物理对象。所述方法可进一步包括阻止来自所述外界环境的光线的透射以使得所述用户仅察看彻底的虚拟对象。
在另一实施例中,使两个或更多用户能够在包括虚拟世界数据的虚拟世界之内交互的方法包括为通过在第一位置的第一用户设备访问所述虚拟世界的第一用户创建远程形象,将第一用户的远程形象放置于现实的地理位置,以使得第一用户可通过在第一位置的第一用户设备体验现实的地理位置,以及通过放置于现实的地理位置的远程形象与通过在现实的地理位置的第二用户设备访问虚拟世界的第二用户交互。第一位置可不同于现实的地理位置,或第一位置可实质上与所述现实的地理位置相同。
所述远程形象可与在现实地理位置的物理对象具有预先确定的的关系。所述远程形象可在所述现实地理位置响应环境提示。所述远程形象的运动可由第一用户控制。所述远程形象可与在所述现实地理位置的第二用户交互。
在另一实施例中,方法包括通过头戴式用户显示设备捕捉所述用户的每个眼睛的视野图像,在被捕捉视野图像中提取点集,将提取的点集与特殊的对象相关联,以及基于与所述特殊对象相关联的点集识别不同的对象。
另一实施例针对用于使两个或更多用户能在包括虚拟世界数据的虚拟世界中交互的系统,所述系统包括计算机网络,所述计算机网络包括一个或多个计算设备,所述一个或多个计算设备包括存储器、处理电路和至少存储于所述存储器的部分上并可由所述处理电路执行以处理所述虚拟世界数据的至少一部分的软件;其中所述虚拟世界数据的至少第一部分源自第一用户本地的第一用户虚拟世界,并且其中所述计算机网络可操作以传送所述第一部分至用户设备以用于对第二用户展示,以使得第二用户可从第二用户位置体验所述第一部分,以使得第一用户虚拟世界多个方面被有效地传至第二用户。第一和第二用户可位于不同的物理位置或位于实质上相同的物理位置。所述虚拟世界的至少一部分可被配置以响应于虚拟世界数据中的变化而变化。所述虚拟世界的至少一部分可被配置以响应由所述用户设备感知的物理对象而变化。虚拟世界数据的变化可描绘与所述物理对象具有预先确定的关系的虚拟对象。依据所述预先确定的关系,虚拟世界数据的变化可被呈现至第二用户设备以用于展示给第二用户。所述虚拟世界可操作以由所述计算机服务器或用户设备中的至少一个渲染。所述虚拟世界可以以二维的形式呈现。所述虚拟世界可以以三维的形式呈现。所述用户设备可操作以提供用于使用户和处于增强现实模式中的所述虚拟世界之间能够交互的接口。所述用户设备可被操作以提供用于使用户和处于虚拟现实模式中的所述虚拟世界之间能够交互的接口。所述用户设备可被操作以提供用于使用户和处于增强和虚拟现实模式的组合模式中的所述虚拟世界之间能够交互的接口。所述虚拟世界数据可在数据网络上传送。所述计算机网络可被操作以从用户设备接收所述虚拟世界数据的至少一部分。被传送至所述用户设备的所述虚拟世界数据的至少一部分可包括用于生成所述虚拟世界的至少一部分的指令。所述虚拟世界数据的至少一部分可被传送至网关用于处理或分发中的至少一个。一个或多个计算机服务器中的至少一个可被操作以处理由所述网关分发的虚拟世界数据。
另一实施例针对用于虚拟和/或则增强用户体验的系统,其中可至少部分基于具有可选地来自音调变化和面部识别软件的输入的可穿戴设备上的数据来绘制(animate)远程形象。
另一实施例针对用于虚拟和/或增强用户体验的系统,其中摄像机姿态或视点位置及矢量可被放置在世界扇区(worldsector)的任何位置。
另一实施例针对用于虚拟和/或增强用户体验的系统,其中世界或其部分可被渲染以用于以多种和可选的尺寸来观察用户。
另一实施例针对用于虚拟和/或增强用户体验的系统,其中特征除了姿态被标记的图像之外还有例如点和参数曲线,所述特征可被作为用于世界模型的基本数据来利用,从中可利用软件机器人或对象识别器以创建真实世界对象的参数表示,为被分割的对象和世界模型中的相互包含物(mutualinclusion)标记源特征(sourcefeature)。
本发明的附加的和其他目标、特性和优点在详细说明、图表和权利要求中被描述。
附图说明
图1示出了被公开的有助于用于多用户的交互式虚拟或增强现实环境的系统的代表性实施例。
图2示出了用于与图1中示出的系统交互的用户设备的示例。
图3示出了移动的、可穿戴用户设备的示例性实施例。
图4示出了当图3中的移动的、可穿戴用户设备正以增强模式运作时,由用户察看的对象的示例。
图5示出了当图3中的移动的、可穿戴用户设备正以虚拟模式运作时,由用户察看的对象的示例。
图6示出了当图3中的移动的、可穿戴用户设备正以混合虚拟接口模式运作时,由用户察看的对象的示例。
图7示出了一个实施例,其中位于不同的地理位置的两个用户中的每个用户均通过他们各自的用户设备与另一个用户以及共同的虚拟世界交互。
图8示出了一个实施例,其中图7中的实施例被扩展以包括触觉设备的使用。
图9A示出了混合模式接口连接(interfacing)的示例,其中第一用户以混合虚拟接口模式连接数字世界,并且二用户以虚拟现实模式连接相同的数字世界。
图9B示出了混合模式接口连接的另一示例,其中第一用户以混合虚拟接口模式连接数字世界,并且第二用户以增强现实模式连接相同的数字世界。
图10示出了当以增强现实模型连接所述系统时,用户视野的示例性说明。
图11示出了当用户以增强现实模式连接所述系统时,由物理对象触发显示虚拟对象的用户视野示例性说明。
图12示出了增强和虚拟现实整合配置的一个实施例,其中处于增强现实体验中的一个用户可视化处于虚拟现实体验中的另一用户的存在。
图13示出了基于增强现实体验配置的一段时间和/或偶然事件的一个实施例。
图14示出了适用于虚拟和/或增强现实体验的用户显示配置的一个实施例。
图15示出了本地的和基于云的计算坐标的一个实施例。
图16示出了记录(registration)配置的多种方面。
具体实施方式
参考图1,系统100为用于实施下述处理的典型性硬件。该典型性系统包括由通过一个或多个高宽带接口115连接的一个或多个计算机服务器组成的计算网络105。所述计算网络中的服务器不需要被放置于一起。所述一个或多个服务器110中的每一个都包括用于执行程序指令的一个或多个处理器。所述服务器还包括用于存储所述程序指令和由处理所生成和/或使用的数据的存储器,所述数据被在所述程序指令的指导下的所述服务器所携带。
所述计算网络105在一个或多个数据网络连接130上在所述服务器110之间和所述服务器与一个或多个用户设备120之间通信数据。这样的数据网络的示例包括,但不限于,任何和所有类型的移动以及有线的公共和私有数据网络,包括例如许多通常被称为因特网的此类网络的互连。所述图表没有暗示特殊的媒介、拓扑或协议。
用户设备被配置以用于与计算网络105或任意服务器110直接地通信。备选地,用户设备120与所述远程服务器110通信,并且可选地,通过被特定地编程与其他用户本地设备通信,本地网关140用于处理数据和/或用于在网络105和一个或多个用户本地服务器120之间传送数据。
如图所示,网关140被作为单独的硬件部分实施,其包括用于执行软件指令的处理器和用于存储软件指令和数据的存储器。所述网关具有自己的至数据网络的有线和/或无线连接,用于与包括计算网络105的服务器110通信。备选地,网络140可与由用户穿戴或携带的用户设备120整合。例如,所述网关140可作为安装并运行在处理器上的可下载的应用软件来实施,所述处理器包括在所述用户设备120内。在一个实施例中,所述网关140提供经由所述数据网络130对所述计算网络105的一个或多个用户接入。
每个服务器110都包括,例如,用以存储数据和软件程序的工作存储器和贮存器、用以执行程序指令的微处理器、用以渲染和生成图形、图像、视频、音频和多媒体文件的图形处理器和其他特殊的处理器。计算网络105还可包括用以存储由所述服务器110访问、使用或创建的数据的设备。
运行在所述服务器以及可选地在用户设备120和网关140上的软件程序被用于生成数字世界(此处还被称为虚拟世界),用户使用用户设备120与之交互。数字世界由数据和过程来表示,所述数据和过程描述和/或定义通过用户设备120呈现给用户以用于体验并与之交互的虚拟的、不存在的实体、环境和条件。例如,当在用户察看或体验的场景中的实例化包括对其外观、行为、用户如何被允许与之交互,和其他特征的描述时,一些类型的对象、实体或物品将会显得在物理上存在。被使用以创建虚拟世界的环境(包括虚拟对象)的数据可包括,例如大气数据、地形数据、天气数据、温度数据、位置数据和其他被使用以定义和/或描述虚拟环境的数据。此外,定义管理虚拟世界的操作的多种条件的数据可包括,例如物理定律、时间、空间关系和其他可被用来定义和/或创建多种条件的数据,所述各种条件管理虚拟世界(包括虚拟对象)的运行。
除非上下文表明相反,否则数字世界的实体、对象、条件、特征、行为或其他特性在本文被统称为对象(例如,数字对象、虚拟对象、被渲染物理对象等等)。对象可为任何类型的动画或非动画对象,包括但不限于,建筑物、植物、车辆、人、动物、生物、机器、数据、视频、文本、图片和其他用户。对象还可在虚拟世界中被定义,用于存储关于实际存在于物理世界的对象、行为或条件的信息。描述或定义所述实体、对象或物品,或存储其当前状态的数据,在本文通常被称为对象数据。该数据由所述服务器110处理,或根据所述实施由网关140或用户设备120处理,以为通过用户设备来体验的用户以适当的方式实例化所述对象的实例并渲染所述对象。
开发和/或完善数字世界的程序员创建或定义对象和其被实例化的条件。然而,数字世界可允许其他人创建或修改对象。一旦对象被实例化,所述对象的状态可被允许由体验数字世界的一个或多个用户改造、控制或操作。
例如,在一个实施例中,数字世界的开发、生产和管理通常由一个或多个系统管理程序员来提供。在一些实施例中,这可以包括数字世界中的故事线、主题和事件的开发、设计和/或执行以及通过多种形式的事件和例如电影、数字、网络、移动、增强现实和现场娱乐的媒体的分布式的叙述。所述系统管理程序员还可处理所述数字世界的技术管理、修改和完善和与之相关的用户社区,以及通常由网络管理人员执行的其他任务。
用户使用通常被称为用户设备120的一些类型的本地计算设备与一个或多个数字世界交互。此类用户设备的示例包括但不限于,智能手机、平板电脑、抬头显示器(HUD)、游戏控制器或能够传递数据并向用户提供接口或显示的任何其他设备,以及此类设备的组合。在一些实施例中,所述用户设备120可包括或者可与本地外部设备或输入/输出组件通信,所述本地外部设备或输入/输出组件例如键盘、鼠标、操作杆、游戏控制器、触觉接口设备、运动捕捉控制器、如可向体感控制(LeapMotion)公司购买的光学追踪设备等或可向微软(Microsoft)公司购买的商标名为Kinect(RTM)下的光学追踪设备、音频设备、语音设备、投影系统、3D显示和全息3D接触式镜片。
图2示出了用于与系统100交互的用户设备120的示例。在图2中显示的示例实施例中,用户210可通过智能手机220连接一个或多个数字世界。网关由存储并运行于所述智能手机220上的应用软件230实施。在此类特殊的示例中,所述数据网络130包括连接用户设备(即智能手机220)至所述计算机网络105的无线移动网络。
在优选的实施例的一个实现中,系统100能够支持大量的并发用户(例如,数百万的用户),每个用户均使用一些类型的用户设备120与同一数字世界,或者与不同的数字世界连接。
所述用户设备向用户提供使所述用户和由服务器110生成的数字世界之间能够可视、可听,和/或物理交互的接口,包括(真实或虚拟)呈现给所述用户的其他用户和对象。所述接口向所述用户提供可被察看、被听到或以其它方式被感知的被渲染场景,以及实时与场景交互的能力。所述用户与所述被渲染场景交互的方式可由所述用户设备的能力决定。例如,如果所述用户设备为智能手机,所述用户交互可由用户接触触摸屏来实施。在另一示例中,如果所述用户设备为计算机或游戏控制器,所述用户交互可使用键盘或游戏控制器来实施。用户设备可包括例如传感器的附加的组件,其使得用户交互成为可能,其中由所述传感器检测到的对象和信息(包括手势)可被作为输入提供,所述输入表示使用所述用户设备与所述虚拟世界的用户交互。
所述渲染场景可被以多种形式呈现,例如二维或三维可视化显示(包括投影)、声音和触觉或触觉反馈。所述渲染场景可以一种或多种模式来与所述用户接口,所述模式包括例如增强现实、虚拟现实和其组合。所述渲染场景的格式,以及接口模式,可由下列因素中的一个或多个决定:用户设备、数据处理能力、用户设备连通性、网络能力和系统工作负载。具有的大量用户与所述数字世界并发交互和数字交换的实时性质可由计算网络105、服务器110、网关组件140(可选地)和用户设备120来启用(enable)。
在一个示例中,所述计算网络105由具有通过高速连接(例如,高宽带接口115)连接的单核和/或多核服务器(即服务器110)的大规模的计算系统组成。所述计算网络105可形成云或网格网络。每个服务器均包括存储器,或与计算机可读存储器耦合,用于存储执行数据以创建、设计、更改或处理数字世界的对象的软件。这些对象和它们的实例化可以是动态的、出现和消失、随时间变化,以及响应其他条件而变化。所述对象的动态能力的示例此处通常参考多种实施例来讨论。在一些实施例中,连接所述系统100每个用户还可在一个或多个数字世界中被表示为对象和/或对象集。
计算网络105中的服务器110还存储用于每个数字世界的计算状态数据。所述计算状态数据(此处还被称为状态数据)可以使对象数据的组成部分,并且通常在给定的时间实时定义对象实例的状态。因此,计算状态数据可随时间变化并且可受一个或多个用户的行为和/或维护系统100的程序员的影响。因为用户影响计算状态数据(或其他包括数字世界的数据),用户直接改变或以其他方式操控数字世界。如果数字世界与其他用户共享,或与其他用户连接,用户的行为可影响与数字世界交互的其他用户的体验。因此,在一些实施例中,由用户造成的数字世界的变化将被其他与系统100交互的用户体验。
在一个实施例中,存储于计算网络105中一个或多个服务器110中的数据被高速率以及低延时地传送或部署至一个或多个用户设备120和/或网关组件140。在一个实施例中,由服务器共享的对象数据可以是完整的或可以是被压缩的,并且包括用于在用户侧重建完整对象数据的指令,其由用户的本地计算设备(例如网关140和/或用户设备120)渲染并可视化。在一些实施例中,运行于计算网络105的服务器110上的软件可根据用户特定的设备和带宽,为数字世界内的对象调整其生成并发送至特殊的用户设备120的数据(或由计算网络105交换的任何其他数据)。例如,当用户通过用户设备120与数字世界交互时,服务器110可识别由用户使用的特定类型的设备、设备的连通性和/或用户设备和服务器之间的可用带宽,以及合适的尺寸,并且平衡递送至该设备的数据以优化用户交互。该示例可包括减小被发送数据的尺寸至低分辨率质量,以使得数据可在具有低分辨率显示器的特殊用户设备上被显示。在优选的实施例中,计算网络105和/或网关组件140以足够呈现15帧/秒或更高接口操作的速度以及以高清质量或更高的分辨率,将数据递送至用户设备120。
网关140为一个或多个用户提供至计算网络105的本地连接。在一些实施例中,这可以由可下载的应用软件来实施,所述应用软件运行于用户设备120或其他本地设备上,例如图2中所示的那些设备。在其他实施例中,可由硬件组件(结合存储于该组件上的合适的软件/固件,该组件具有处理器)实施,该组件或与用户设备120通信,但不与其合并或被其吸引,或者与用户设备120合并。网关140经由数据网络130与计算网络105通信,并提供计算网络105和一个或多个本地用户设备120之间的数据交换。如在更详细的下文所讨论的,网关组件140可包括软件、固件、存储器和处理电路,并且能够处理在网络105和一个或多个本地用户设备120之间通信的数据。
在一些实施例中,网关组件140监视并调节用户设备120和计算机网络105之间交换的数据的速率以允许用于特殊的用户设备120的最佳数据处理能力。例如,在一些实施例中,网关140缓冲和下载数字世界的静态和动态方面,即使这些超过了通过与用户设备连接的接口呈现给用户的视野。在这样的实施例中,静态对象的实例(结构化数据、软件实施的方法,或两者兼有)可存储于存储器(网关组件140本地、用户设备120,或两者兼有)中并且作为本地用户当前位置的引用,用户的当前位置由计算网络105和/或用户设备120提供的数据表明。动态对象的实例,可包括例如智能软件代理和由其他用户和/或本地用户控制的对象,其被存储于高速存储缓冲器中。代表呈现给用户的场景中的二维或三维对象的动态对象可例如被分解为组件形状,例如运动但不改变的静态形状,和变化的动态形状。动态对象的变化部分可被通过计算网络105来自服务器110的实时、线性高优先级数据流更新、由网关组件140管理。作为优先的线性数据流的示例,用户眼睛的60度视野内的数据可被给予比更外围的视野更高的优先级。另一示例包括优选在背景中的静态对象上的用户视野中的动态特征和/或对象。
除了管理计算网络105和用户设备120之间的数据连接之外,网关组件140可存储和/或处理可呈现给用户设备120的数据。例如,在一些实施例中,网关组件140可从计算网络105接收例如描述用于用户察看而渲染的图形对象的被压缩数据,并且执行先进的渲染技术以缓和从计算网络105传送至用户设备120的数据负载。在另一示例中,其中网关140为独立的设备,网关140可为对象的本地实例存储和/或处理数据,而不是传送数据至计算网络105以用于处理。
现在再参考图3,数字世界可由一个或多个用户根据用户设备的能力以多种形式体验。在一些实施例中,用户设备120可包括,例如,智能手机、平板电脑、抬头显示器(HUD)、游戏控制器或可穿戴设备。通常,用户设备将包括与显示器耦合、用于执行存储于设备上的存储器中的程序代码的处理器,以及通信接口。图3中示出了用户设备的示例实施例,其中用户设备包括移动、可穿戴设备,即头戴式显示系统300。根据本公开的实施例,头戴式显示系统300包括用户接口302、用户感知系统304、环境感知系统306和处理器308。虽然处理器308在图3中被作为从头戴式系统300分离的独立的组件来显示,在备选的实施例中,处理器308可与头戴式系统300的一个或多个组件整合,或可被整合至其他系统100组件中,例如网关140.
用户设备呈现给用户用于与数字世界交互并体验数字世界的接口302。该交互可涉及用户和数字世界、连接至系统100的一个或多个其他用户,以及数字世界中的对象。接口302通常向用户提供图像和/或语音感官输入(以及在一些实施例中,物理感官输入)。因此接口302可包括扬声器(未显示)和显示组件303,显示组件在一些实施例中使得更能体现人类视觉系统自然特征的立体3D察看和/3D察看成为可能。在一些实施例中,显示组件303可包括透明的接口(例如清晰的OLED),其在处于“关”设置时使得的用户附近的物理环境的几乎无光学畸变或计算叠加层(computingoverlay)的光学正确察看(opticallycorrectview)成为可能。如下列更详细的讨论,接口302可包括允许多种视觉/接口性能和功能的附加设置。
在一些实施例中,用户感知系统304可包括可操作以检测与穿戴有系统300的个人用户相关的特定特性、特征或信息的一个或多个传感器310。例如,在一些实施例中,传感器310可包括摄像机或光学检测/扫描电路,其能够检测用户的实时光学特性/测量,例如一个或多个如下内容:瞳孔收缩/扩大、每个瞳孔的角度测量/定位、二次球度(spherocity)、眼球形状(因为眼球形状随时间而变化)以及其他结构上的数据。该数据提供,或被用于计算可由头戴式系统300和/或接口系统100使用以优化用户察看体验的信息(例如,用户视觉焦点)。例如,在一个实施例中,传感器310中的每一个都可以为用户的每个眼睛测量瞳孔收缩速率。该数据可被传送至处理器308(或网关组件140或至服务器110),其中数据被用于确定例如,用户对接口显示器303的亮度设置的反应。接口302可依照用户的反应被调节,例如,如果用户反应表明显示器303的亮度等级太高,则调暗显示器303。用户感知系统304除了如上讨论的那些组件或图3中示出的组件之外,还可包括其他组件。例如,在一些实施例中,用户感知系统304可包括用以从用户接收声音输入的麦克风。用户感知系统还可包括一个或多个红外摄像机传感器、一个或多个可见光谱摄像机传感器、结构光发射器和/或传感器、红外光发射器、相干光发射器和/或传感器、陀螺仪、加速计、磁力仪、近距离传感器、GPS传感器、超声波发射器和检测器和触觉接口。
环境感知系统306包括用于从用户周围的物理环境获取数据的一个或多个传感器312。由传感器检测到的对象或信息可被作为输入提供至用户设备。在一些实施例中,该输入可表示用户与虚拟世界的交互。例如,察看桌子上的虚拟键盘的用户可用其手指作姿态,仿佛其在该虚拟键盘上打字。手指移动的运动可被传感器312捕捉并且被作为输入提供至用户设备或系统,其中该输入可被用于改变虚拟世界或创建新的虚拟对象。例如,手指的运动可被识别(使用软件程序)为打字,并且被识别的打字姿态可与虚拟键盘上的已知的虚拟键位置结合。然后系统可渲染显示给用户(或连接至系统的其他用户)的虚拟监视器,其中虚拟监视器显示由用户键入的文本。
文本312可包括例如通常面向外面的摄像机或扫描仪以用于解释场景信息,例如,通过连续的和/或间歇的投影红外结构光。环境感知系统306可被用于通过检测和记录本地环境来映射用户周围的物理环境的一个或多个因素,包括静态对象、动态对象、人、手势和各种灯光、大气和声学的条件。因此,在一些实施例中,环境感知系统306可包括嵌入到本地计算系统(例如,网关组件140或处理器308)并可操作以用数字化重建由传感器312检测到的一个或多个对象或信息的基于图像的3D重建软件。在一个典型的实施例中,环境感知系统306提供下列方面的一个或多个:运动捕捉数据(包括手势识别)、深度感知、面部识别、对象识别、独特的对象特征识别、声音/语音识别和处理、声学来源定位、降噪技术、红外或类似的激光投影,以及单色和/或彩色CMOS传感器(或其他相似的传感器)、视野传感器和多种其他光学增强传感器。应指出环境感知系统306除了上述所讨论的那些组合或图3中示出的那些组件,还可包括其他组件。例如,在一些实施例中,环境感知系统306可包括用于从本地环境中接收语音的麦克风。用户感知系统还可包括一个或多个红外摄像机传感器、一个或多个可见光谱摄像机传感器、结构光发射器和/或传感器、红外光发射器、相干光发射器和/或传感器、陀螺仪、加速计、磁力仪、近距离传感器、GPS传感器、超声波发射器和检测器和触觉接口。
如上所述,在一些实施例中,处理器308可与头戴式系统300的其他组件整合,与接口系统100的其他组件整合,或可为如图3中所示的独立的设备(可穿戴或从用户分离)。处理器308可与头戴式系统300的多种组件和/或接口系统100的组件通过物理、有线连接,或通过例如移动网络连接(包括移动电话和数据网络)、Wi-Fi或蓝牙的无线连接来连接。处理器308可包括存储器模块、整合和/或附加的图形处理单元、无线和/或有线因特网连接性以及能够将来自源(例如,计算网络105、用户感知系统304、环境感知系统306或网关组件140)的数据变换成图像或音频信号的编解码器和/或固件,其中图像/视频和音频可经由接口302呈现给用户。
处理器308处置用于头戴式系统300中的多种组件的数据处理以及头戴式系统300和网关组件140——以及在一些实施例中和计算网络105——之间的数据交换。例如,处理器308可被用于缓冲并处理用户和计算网络105之间的数据流,从而使平滑的、连续的和高保真度的用户体验成为可能。在一些实施例中,处理器308可以以足够达到320*240分辨率下8帧/秒到高清分辨率(1280*720)下24帧/秒——或者更高例如60-120帧/秒和4K分辨率以及甚高(10K+分辨率和50000帧/秒)的速率——之间任意数值的速率来处理数据。此外,处理器308可存储和/或处理可呈现给用户而不是实时从计算网络105流送数据。例如,在一些实施例中,处理器308可从计算网络105接收压缩数据并且执行先进的渲染技术(例如灯光和着色)以缓和从计算网络105传送至用户设备120的数据负载。在另一实施例中,处理器308可存储和/或处理本地物理数据而不是将数据传送至网关组件140或计算网络105。
在一些实施例中,头戴式系统300可包括多种设置或模式,其允许多种可视/接口性能和功能。模式可由用户手动选择或由网关组件140或头戴式系统300的组件自动地选择。如先前所述,头戴式系统300的一个示例包括“关”模式,其中接口302实质上没有提供数字的或虚拟的内容。在关模式下,显示组件303可以是透明的,从而使得几乎没有光学畸变或计算叠加层的用户周围的物理环境的光学正确察看能够成为可能。
在示例实施例中,头戴式系统300包括“增强”模式,其中接口302提供增强现实接口。在增强模式下,接口显示器303可以是实质上透明的,因此允许用户察看本地物理环境。同时,由计算网络105、处理器308,和/或网关组件140提供的虚拟对象数据可与物理本地环境结合被呈现在显示器303上。
图4示出了当接口302在增强模式下运行时由用户察看的对象示例实施例。如图4中所示,接口302呈现物理对象402和虚拟对象404。在图4中示出的实施例中,物理对象402是存在于用户本地环境中的真实的物理对象,而虚拟对象404为由系统100创建并且经由用户接口302显示的对象。在一些实施例中,虚拟对象404可在物理环境的固定位置或场所显示(例如,虚拟的猴子站在位于物理环境中的特殊路标旁边),或可作为位于相对于用户接口/显示器303的位置的对象显示(例如,虚拟时钟或温度计在显示器303的坐上角可见)。
在一些实施例中,虚拟对象可被在用户视野之内或之外的物理呈现的对象提示(cuedoff)或触发。虚拟对象404被物理对象402提示或触发。例如,物理对象402实际上可能是凳子,并且虚拟对象404可被作为站在凳子上的虚拟动物显示给用户(并且,在一些实施例中,呈现给连接至系统100的其他用户)。在这样的实施例中,环境感知系统306可使用存储于例如处理器308中的软件和/或固件以识别多种特性和/或形态图案(由传感器312捕捉)来认出物理对象402是凳子。这些被识别的形态特征,例如凳子顶部,可被用于触发虚拟对象404的放置。其他示例包括墙壁、桌子、家具、车辆、建筑物、人、地板、植物、动物-任何可视对象均可用于以与该对象或多个对象的一些关系来触发增强现实体验。
在一些实施例中,被触发的特殊的虚拟对象404可由用户选择或由头戴式系统300或接口系统100的其他组件自动选择。此外,在其中虚拟对象404被自动触发的实施例中,可基于特殊的物理对象402(或其特征)选择特殊的虚拟对象404,根据其虚拟对象404被提示或触发。例如,如果物理对象被认定为延伸至泳池上的跳水板,被触发的虚拟对象可为穿戴者呼吸管、泳衣、漂浮设备或其他相关物品的生物。
在另一示例实施例中,头戴式系统300可包括“虚拟”模式,其中接口302提供虚拟现实接口。在虚拟模式中,从显示器303中省略物理环境,并且由计算网络105、处理器308和/或网关组件140提供的虚拟对象数据被呈现在显示器303上。物理环境的省略可通过物理上阻塞虚拟显示器303(例如通过覆盖)或通过接口302的特性——其中显示器303转换至不透明度设置——来实现。在虚拟模式下,现场的和/或已存的视觉和音频感觉可通过接口302呈现给用户,并且用户通过接口302的虚拟模式来体验数字世界(数字对象、其他用户等等)并与之交互。因此,以虚拟模式提供给用户的接口包含由虚拟的、数字的世界的虚拟对象数据组成。
图5示出了当头戴式接口302以虚拟模式运行时的用户接口的示例性实施例。如图5中所示,用户接口呈现由数字对象510组成的虚拟世界500,其中数字对象510可包括大气、天气、地势、建筑和人。虽然没有在图5中被示出,数字对象还可包括,例如,植物、车辆、动物、生物、机器、人工智能、位置信息和定义虚拟世界500的任何其他对象或信息。
在另一示例实施例中,头戴式系统300可包括“混合”模式,其中头戴式系统300的各种特性(以及虚拟和现实模式的特性)可被结合以创建一个或多个自定义接口模式。在示例性自定义接口模式中,物理环境可从显示器303中省略,并且虚拟对象数据以相似于虚拟模式的方式被呈现在显示器303上。然而,在该示例性自定义接口模式中,虚拟对象可以是完全虚拟的(即,它们不存在于本地、物理环境中)或它们可以是真实的、本地的、物理对象,其在接口302中被渲染为虚拟对象而不是物理对象。因此,在该特殊的自定义模式(此处被称为混合虚拟接口模式)中,现场和/或已存的视觉和音频感觉可通过接口302被呈现给用户,并且用户可体验包括彻底的虚拟对象和被渲染的物理对象的数字世界并与之交互。
图6示出了根据混合虚拟接口模式运行的用户接口的示例性实施例。如图6中所示,用户接口呈现由彻底的虚拟对象610和被渲染的物理对象620(对象的渲染,否则物理地呈现在场景中)组成的虚拟世界600。依据图6中示出的示例,被渲染物理对象620包括建筑物620A、地面620B和平台620C,并且使用粗体的轮廓630示出以向用户表明对象被渲染。附加地,彻底的虚拟对象610包括附加的用户610A、云610B、太阳610C和平台620C上的火焰610D。应指出完整的虚拟对象610可包括,例如,大气、天气、地形、建筑物、人、植物、车辆、动物、生物、机器、人工智能、位置信息和任何定义虚拟世界600并且未从存在于本地、物理环境的对象渲染的其他对象或信息。相反地,被渲染物理对象620是真实的、本地的、物理的对象,在接口302中被渲染为虚拟对象。粗体轮廓630表示用于向用户表明被渲染物理对象的一个示例。同样地,可使用不同于本文公开的哪些方法的方法来表明被渲染物理对象。
在一些实施例中,可使用环境感知系统306的传感器312(或使用其他设备,例如移动或图像捕捉系统)来检测被渲染物理对象620,并且其被存储在例如处理电路308中的软件和/或固件转换为数字对象数据。因此,当用户以混合虚拟接口模式与系统100连接时,多种物理对象可作为被渲染的物理对象显示给用户。这对允许用户与系统100连接,同时仍能安全地通过(navigate)本地物理环境来说尤其有用。在一些实施例中,用户可能选择性地移除或添加被渲染物理对象至接口显示器303.
在另一示例自定义接口模式中,接口显示器303可以是实质上透明的,从而在多种本地的、物理对象被作为被渲染物理对象显示给用户时,允许用户察看本地的、物理的环境。该示例自定义接口模式与所述增强模式类似,除了相对于先前的示例,一个或多个虚拟对象可以是被渲染的物理对象之外。
上述示例自定义接口模式代表能够由混合模式的头戴式系统300提供的多种自定义接口模式的几个示例实施例。据此,多种其他自定义接口模式可根据由头戴式系统300的组件提供的多种特性和功能的组合以及上述讨论的多种模式来创建而不背离本公开范围。
本文所讨论的实施例仅描述了用于以关、增强、虚拟或混合模式下提供接口操作的几个示例,并非旨在限制各个接口模式的内容与范围或者头戴式系统300的组件的功能。例如,在一些实施例中,虚拟对象可包括显示给用户的数据(时间、温度、海拔等)、由系统100创建和/或选择的对象、由用户创建和/或选择的对象,或甚至代表连接至系统100的其他用户的对象。此外,虚拟对象可包括物理对象的扩展(例如,从物理平台生长出的虚拟雕塑)并且可被可视化地连接至物理对象或从物理对象分离。
虚拟对象可以是动态的并且随着时间变化,根据用户或其他用户、物理对象和其他虚拟对象之间的关系(例如位置、距离等)变化,和/或依据在头戴式系统300、网关组件140或服务器110的软件和/或固件中指定的其他变量变化。例如,在特定实施例中,虚拟对象可响应用户设备或其组件(例如,当触觉设备被紧挨虚拟球放置时,虚拟球移动),物理的或口头的用户交互(例如,当用户靠近虚拟生物时虚拟生物逃跑,或当用户向其说话时,虚拟对象说话),椅子被扔向虚拟生物并且虚拟生物躲避椅子、其他虚拟对象(例如,当第一虚拟对象看到第二虚拟生物时,会有反应)、物理变量,例如位置、距离、温度、时间等,或用户环境中的其他物理对象(例如当物理车辆经过时,被显示站在物理街道上的虚拟生物被压扁)。
除了头戴式系统300之外,本文讨论的多种模式均可被应用于用户设备。例如,增强现实接口可经由移动电话或平板设备提供。在此类实施例中,手机或平板可使用摄像机捕捉用户周围的物理环境,并且虚拟对象可被覆盖在手机/平板的显示屏幕上。附加地,可通过在手机/平板的显示屏幕上显示数字世界来提供虚拟模式。这样,这些模式可被混合以使用本文讨论的手机/平板的组件,以及被连接至用户设备或与用户设备结合使用的其他组件来创建上述多种自定义接口模式。例如,可由计算机显示器、电视屏幕,或其他缺少摄像机的设备与运动或图像捕捉系统结合操作来提供混合虚拟接口模式。在该示例实施例中,可从显示器/屏幕察看虚拟世界并且对象检测和渲染可由运动或图像捕捉系统执行。
图7示出了本公开的示例实施例,其中位于不同地理位置的两个用户彼此通过其各自的用户设备与对方以及公共虚拟世界交互。在该实施例中,两个用户701和702来回投掷703(一种类型的虚拟对象),其中每个用户能观察另一用户对虚拟世界的影响(例如每个用户观察虚拟球变化方向、被另一用户捕捉等)。因为虚拟对象(即虚拟球703)的运动和位置由计算网络105中的服务器110来追踪,在一些实施例中,系统100可向用户701和702传递球703相对每个用户到达的准确位置和时间。例如,如果第一用户701位于伦敦,用户701可向位于洛杉矶的第二用户702以由系统100计算出的速度投掷球703。因此,系统100可向第二用户702传递球到达的准确的时间和位置(例如通过电子邮件、文字讯息、实时讯息等)。同样地,第二用户702可使用其设备看见球703在特定的时间和位置到达。一个或多个用户还可用地理定位图软件(或类似物)来追踪一个或多个虚拟对象,仿佛他们实际上走遍了整个地球。该示例可以是穿戴3D头戴式显示器的用户,仰望天空并看到飞过头顶、叠加在真实世界上的虚拟飞机。该虚拟飞机可由用户、智能软件代理(运行于用户设备或网关的软件)、本地和/或远程的其他用户,和/或任何这些的组合来驾驶。
如前所述,用户设备可包括触觉接口设备,其中当系统100确定触觉设备相对于虚拟对象位于一个物理的、空间的位置时,触觉接口设备向用户提供反馈(例如,阻力、震动、光照、声音等)。例如,如上述关于图7中所描述的实施例可扩展到包括使用触觉设备802,如图8中所示。
在该示例实施例中,触觉设备802可在虚拟世界中被显示为棒球棒。当球703到达时,用户702可在虚拟球703处挥动触觉设备802。如果系统100确定由触觉设备802提供的虚拟棒与球703接触,则触觉设备802可震动或向用户702提供其他反馈,并且虚拟球703可依据被检测的速度、方向和球与棒接触的时间由系统100计算出的方向从虚拟棒跳飞。
在一些实施例中,本公开的系统100可有助于混合模式连接,其中多个用户可使用不同的连接模式(例如增强、虚拟、混合等)连接至共同的虚拟世界(以及其包含的虚拟对象)。例如,以虚拟模式连接特定虚拟世界的第一用户可与以增强现实模式连接同一虚拟世界的第二用户交互。
图9A示出了示例,其中第一用户901(以混合的虚拟接口模式连接至系统100的数字世界)与第一对象902对于以完全虚拟现实模式连接至系统100的同一的数字世界的第二用户922作为虚拟对象出现。如上所述,当经由混合的虚拟接口模式连接至数字世界时,本地的、物理的对象(如第一用户901和第二用户902)可被扫描和渲染作为虚拟世界中的虚拟对象。例如,第一用户901可被运动捕捉系统或类似的设备扫描,并且在虚拟世界中被渲染(由存储于运动捕捉系统、网关组件140、用户设备120、系统服务器110或其他设备中的软件/固件)作为第一被渲染物理对象931。类似地,第一对象902可被例如由头戴式接口300的环境感知系统306扫描,并且在虚拟世界中被渲染(由存储于处理器308、网关组件140、系统服务器110或其他设备中的软件/固件)作为第二被渲染物理对象932。在图9A的第一部分910中展示的第一用户901和第二用户902被作为物理世界的物理对象。在图9A的第二部分920,第一用户901和第一对象902被作为第一被渲染物理对象931和第二被渲染对象932,展示给连接至系统100的同一的数字世界的第二用户922。
图9B示出了混合模式接口的另一示例性实施例,其中如上面所讨论的,第一用户901以混合虚拟接口模式连接至数字世界,并且第二用户922以增强现实模式连接至同一的数字世界(以及第二用户的物理的、本地的环境925)。在图9B的实施例中,第一用户901和第一对象902位于第一物理位置915,并且第二用户922位于不同的,与第一位置915分开一些距离的第二物理位置925。在该实施例中,虚拟对象931和932可被实时(或近似实时)地转移至虚拟世界中与第二位置925对应的某个位置。因此,第二用户922可在第二用户的物理的、本地的环境925分别观察和与代表第一用户901和第一对象902的被渲染物理对象931和932交互。
图10示出了当以增强现实模式连接至系统100时的用户视野的示例性插图。如图10中所示,用户看见本地的、物理的环境(即拥有多个建筑物的城市)以及虚拟角色1010(即虚拟对象)。虚拟角色1010的位置可由2D可视目标(例如广告牌、明信片或杂志)和/或例如建筑物、汽车、人、动物、飞机、建筑物的一部分的一个或多个3D参考帧(referenceframe)和/或任何3D物理对象、虚拟对象,和/或其组合来触发。在图10中示出的示例中,城市中建筑物的已知的位置可提供记录基准和/或用于渲染虚拟角色1010的信息和关键特征。此外,用户地理位置(例如,由GPS、姿态/位置传感器等等所提供)或相对于建筑物的移动位置,可包括由计算网络105使用的数据以触发用于显示虚拟角色1010的数据的传送。在一些实施例中,用于显示虚拟角色1010的数据可包括被渲染的角色1010和/或用于渲染虚拟角色1010或其部分的指令(其被网关组件140和/或用户设备120所执行)。在一些实施例中,如果用户的地理位置是难以获得的或未知的,服务器110、网关组件140,和/或用户设备120仍可使用估计算法来显示虚拟对象1010,估计算法依据时间和/或其他参数使用用户最后的已知位置来估计特殊的虚拟对象和/或物理对象可能位于何处。该方法还在用户传感器被堵塞和/或经历其他故障时用于确定任何虚拟对象的位置。
在一些实施例中,虚拟角色或虚拟对象可包括虚拟雕像,其中虚拟雕像的渲染由物理对象触发。例如,现在参考图11,虚拟雕塑1110可由真实的、物理的平台1120来触发。雕塑1110的触发可响应于由用户设备或系统100的其他组件检测的可视对象或特征(例如,基准、设计特征、几何结构、图案、物理位置、高度等等)。当用户在没有用户设备的情况下察看平台1120时,用户看到没有雕塑1110的平台1120。然而,当用户通过用户设备察看平台1120时,如图11中所示,用户可看到的平台1120上的雕塑1110。雕塑1110是虚拟对象并且,因此是静止的、动画的、随时间或对应用户的察看位置而变化,或者甚至依据哪个特定用户在察看雕塑1110而变化。例如,如果用户为小孩,雕塑可以是狗;而如果察看者为成年男性时,雕塑可为如图11中所示的大机器人。这些是用户依赖和/或状态依赖体验的示例。这将使得一个或多个用户能感觉到一个或多个单独的和/或与物理对象结合的虚拟对象,并且体验虚拟对象的自定义和个性化版本。雕塑1110(或其部分)可由包括例如安装在用户设备上的软件/固件的系统的多个组件来渲染。使用表明用户设备的位置和姿态的数据结合虚拟对象(即雕塑1110)的记录特征,虚拟对象(即雕塑1110)与物理对象(即平台1120)形成关系。例如,一个或多个虚拟对象与一个或多个物理对象之间的关系可以取决于到一个或多个其他虚拟对象的距离、位置、时间、地理定位、接近度,和/或包括任何类型的虚拟和/或物理数据的任何其他函数关系。在一些实施例中,用户设备中的图像识别软件可进一步加强数字至物理(digital-to-physical)对象关系。
由被公开的系统和方法提供的交互接口可被实现以促进多个活动,例如,与一个或多个虚拟环境和对象交互、与其他用户交互,以及体验多种形式的媒体内容,包括广告、音乐会和电影。因此,被公开的系统有助于用户交互,使得用户不仅察看或聆听媒体内容,更确切地说,能够积极地参与并体验媒体内容。在一些实施例中,所述用户参与可包括变更现有内容或创建新内容,所述现有内容或新内容将在一个或多个虚拟世界中被渲染。在一些实施例中,媒体内容和/或创建内容的用户,可以围绕一个或多个虚拟世界的神话创造为主题。
在一个示例中,音乐家(或其他用户)可创建音乐内容,其将被渲染至与特定虚拟世界交互的用户。音乐内容可包括例如多个歌曲、EP、专辑、视频、短片和音乐会演出。在一个示例中,大量的用户可连接至系统100以同时体验虚拟的由音乐家表演的音乐会。
在一些实施例中,被生产的媒体可包括与特定的实体(例如,一个组合、艺术家、用户等)相关联的唯一的识别码。该码可以是以一组字母数字字符、UPC码、QR码、2D图像触发器、3D物理对象特征触发器,或其他数字标志,以及声音、图像,和/或两者均有等的形式。在一些实施例中,所述码还可被嵌入到可使用系统100连接至的数字媒体中。用户可获得所述码(例如通过支付费用)并且兑换码以访问由与该标识码相关的实体生产的媒体内容。该媒体内容可被添加至用户接口或从用户接口删除。
在一个实施例中,为避免从一个计算系统向另一计算系统低延时地传送实时或近似实时的视频数据时的计算和带宽限制,例如从云计算系统至与耦合至用户的本地处理器,关于不同形状和几何结构的参数信息可被传递并被用来定义表面,同时传递纹理并将其添加至这些表面以带来静态的或动态的细节,例如根据参数重现面部几何结构贴图的人的面部的基于位图的视频细节。如另一示例,如果系统被配置以识别人的面部,并且已知人的形象位于增强世界中,系统可被配置以在相对大的设立传输中传送相关的世界信息和人的形象信息,在此之后仍然至例如图1中描述的308的本地计算系统用于本地渲染的传输可被限制至参数和纹理更新,例如人的骨骼结构的运动参数和人的面部运动位图——相对于初始设立传输或实时视频的传送来说,这些均以以数量级减少的带宽传输。因此,基于云的和本地的计算资产可以以整合的方式使用——云处理计算不需要相对地的延时,而本地处理资产优先(atapremium)处理低延时的任务,并且在该情况下,由于形成的这样的数据(即,参数信息、纹理等,相对每个事物的实时视频)的总量,被传递至本地系统的数据形式优选地以相对的低带宽被传送。
参考当前的图15,原理图示出了云计算资产(46)与本地处理资产(308、120)之间的协调关系。在一个实施例中,云资产(46)被操作性的直接耦合至——例如经由有线或无线网络(对于移动性来说,无线是优选的;对于可能期望的高宽带或高数据量传输来说,有线是优选的)——本地计算资产(120、308)中的一个或两者,所述本地计算资产例如是可被放置于被配置以耦合至用户的头部(120)或腰部(308)的结构中的处理器和存储器配置。这些对用户来说本地的计算资产也可以经由有线和/或无线连接性配置(44)彼此操作性的耦合。在一个实施例中,为了维护低惯性和小体积的头戴式子系统(120),用户和云(46)之间的主要的传输可经由基于腰部的子系统(308)和云之间的链路,同时头戴式子系统(120)主要被使用无线连接性来将数据连线至基于腰部的子系统(308),所述无线连接性例如当前采用的、个人计算外围连接性应用中的超带宽(“UWB”)连接。
随着有效的本地和远程处理协调,以及用于用户的适当的显示设备,例如用户接口302或图3中描绘的用户“显示设备”、下面参考图14描述的显示设备14,或其变形,与用户当前的真实或虚拟位置相关的一个世界的方面可被传输或“传递”至该用户,并以有效的形式被更新。事实上,在一个实施例中,一个人以增强现实模式使用虚拟现实系统(“VRS”),并且另一人以完全虚拟的模式使用VRS以探究与第一人相同的世界,二人可以多种形式在那个世界体验到彼此。例如,参考图12,类似于图11中描述的场景被描述,并且添加了第二用户的可视化形象2,所述第二用户从完全虚拟现实场景描绘的增强现实世界飞过。换句话说,图12中描绘的场景可被体验并且以增强现实形式被显示以用于第一用户——同时除了场景中本地世界周围真实的物理元素——例如地面、背景中的建筑物、雕塑平台1120——之外,还有两个增强现实元素(雕塑1110和第二人的飞舞的大黄蜂形象2)被显示。动态更新可用于允许第一用户将第二用户形象2的进展可视化为形象2飞过第一用户本地的世界。
再次,以上述配置,其中一个世界模型可以驻留在云计算资源上,并且从那里开始分发,这样的世界可以以相对低带宽的形式优选地试图传递实时视频数据或类似物至一个或多个用户。站在雕塑(即如图12中所示)边上的人的增强体验可由基于云的世界模型来通知,所述世界模型的子集可被传递至他们和他们的本地显示设备以完成察看。站在远程显示设备处的人可从云有效率地下载相同部分的信息,并且将所述信息在他们的显示器上渲染,所述远程显示设备可能简单地是放置于桌子上的个人电脑。事实上,真实出现在雕塑附近的公园内的人可带领位于远程的朋友在该公园内散步——该朋友通过虚拟和增强现实来参与。系统将需要知道街道在何处、树木在何处、雕塑在何处——但是因为信息在云上,参与的朋友可从云上下载场景的各个方面,然后相对于真正在公园中的人以增强现实的本地开始散步。
参考图13,基于一段时间和/或其他偶然参数的实施例被描述,其中人正沉浸在虚拟和/或增强现实接口——例如用户接口302或在图3中描绘的用户显示设备、参考图14在下边描述的显示设备14,或其变形——使用系统(4)并且进入咖啡公司以订购一杯咖啡(6)。VRS可被配置以使用本地和/或远程地感知和数据收集能力,以为人提供增强和/或虚拟现实的形式的显示增强,例如高亮咖啡公司的大门的位置或相关咖啡菜单的泡泡视图(8)。当该人接到其订购的咖啡时,或根据系统检测的一些其他相关参数,系统可被配置以在本地环境中用显示设备显示(10)一个或多个基于时间的增强或虚拟现实图像、视频,和/或声音,例如从墙壁和天花板上静态或动态的显示具有或不具有森林声音和其他效果的Madagascar的森林场景。对用户的此类呈现可基于定时参数(即,在满杯咖啡被识别出并提供给用户之后5分钟;系统已经识别出用户走过公司正门10分组之后,等等)或其他参数被终止,例如系统识别出用户已经喝完咖啡,所述识别通过系统注意到随着用户从杯子中摄入了最后一口咖啡咖啡杯的朝向被倒置——或者系统识别出用户已经离开咖啡公司的正门(12)。
参考图14展示了适当的用户显示设备(14)的一个实施例被示出,包括可通过外壳或框架安装于用户头部或眼部的显示透镜(82)。该显示透镜(82)可包括一个或多个透明的镜子,所述镜子由所述框架安装于用户眼部(20)之前并且被配置以将投影光(38)反射入眼(20)中,并且有助于光束成形,同时在增强显示配置中允许来自本地环境的至少一些光的传送(在虚拟现实配置中,可能期望显示系统114在实质上阻塞来自本地环境的所有光线,例如通过黑遮光板、遮挡帘、全黑色LCD面板模式等等)。在所描述的实施例中,两个宽视野机器视觉摄像机(16)被耦合至外壳(84)上以将用户周围的环境成像;在一个实施例中,这些摄像机(16)可为双捕获可见光/红外光的摄像机。所描述的实施例还包括一对激光扫描赋形的波面(shaped-wavefront)(即,用于深度)光投影模块,其具有被配置为如图所示的投影光线(38)入眼中(20)的显示镜和光学器件。所描述的实施例还包括两个与红外光源(26,例如发光二极管“LED”)配对的微型红外摄像机(24),其被配置为能够追踪用户眼睛(20)以支持渲染和用户输入。系统(14)进一步以传感器组件(39)为特征,所述传感器组件可包括X、Y和Z轴的加速计能力和磁性罗盘以及X、Y和Z轴陀螺仪能力,优选地以相对高的频率——例如200HZ——提供数据。所描述的系统(14)还包括头部姿态处理器(36),例如ASIC(特定用途集成电路)、FPGA(现场可编程门阵列),和/或ARM处理器(高级精简指令集机器),其可被配置以从由捕捉设备(16)输出的宽视野图像信息计算实时或准实时的用户头部姿态。还展示了另一处理器(32),其被配置以执行数字和/或逻辑处理以从传感器组件(39)的陀螺仪、罗盘,和/或加速计数据推出姿态。所描述的实施例还以GPS(37,全球卫星定位)子系统为特征,以辅助姿态和定位。最后,被描述实施例包括渲染引擎(34),其特征是运行软件程序的硬件,所述软件程序被配置以提供用户本地的渲染信息以有助于扫描器的运作并向用户的眼中成像以用于用户对所述世界的视野。渲染引擎(34)操作性地耦合(81、70、76/78、80;即经由有线或无线连接)至传感器姿态处理器(32)、图像姿态处理器(36)、眼睛追踪摄像机(24),和投影子系统(18),以使得使用激光扫描装置(18)将渲染的增强和/或虚拟现实对象的光以类似于视网膜扫描显示的方式投影。被投影的光束(38)的波面可以是弯曲的或为聚焦的以符合增强和/或虚拟现实对象的期望的焦距。可利用迷你红外摄像机(24)来追踪眼睛以支持渲染和用户输入(即用户在看哪里、他的焦点的深度是多少;如下述所讨论的,眼睛边缘可被用来估计焦点的深度)。GPS(37)、陀螺仪、罗盘和加速计(39)可被用来提供路线和/或快速姿态的估计。摄像机(16)图像和姿态结合从相关的云计算资源的数据,可被用来贴图本地世界和与虚拟或增强现实社区共享用户视野。虽然在图14中被突出展示的显示系统(14)的许多硬件被描述为直接耦合至邻近显示器(82)和用户眼睛(20)的外壳(84),被描述的硬件组件可被安装或封装于其他组件中,例如如同图3中所示的腰部安装组件。在一个实施例中,图14中突出展示的系统(14)的所有组件被直接耦合至显示外壳(84)——除了图像姿态处理器(36)、传感器姿态处理器(32),和渲染引擎(34)之外,并且后三个与系统(14)的其余组件之间的通信可采用例如超宽带的无线通信或有线通信。所描述的外壳(84)优选地是头戴式并由用户穿戴。扬声器的特征为,例如可被插入用户耳朵并且被用来向用户提供声音,所述声音可以是与增强或虚拟现实体验相关的,例如参考图13中被提及的森林声音,以及麦克风,其可被用来捕捉用户本地的声音。
考虑到光线(38)至用户眼(20)中的投影,在一个实施例中,可利用迷你摄像机(24)来测量用户眼睛(20)的中心在几何上汇聚在何处,通常这个位置与双眼(20)的焦点位置或焦点的深度相一致。眼睛汇聚处的所有点的三维曲面被称为“两眼视界”(horopter)。焦点距离可采用有限数量的深度,或可以无限地变化。从聚散度距离(vergencedistance)投影的光可被聚焦于主旨眼睛(20)中,而位于聚合距离前方或后方的光线被被模糊。进一步地,已经发现无论人眼聚焦何处,人眼均能正确地解析光束直径小于大约0.7毫米的空间相干光;基于这样的理解,为了创建合适的焦点深度的错觉(illusion),可使用迷你摄像机(24)追踪眼睛的聚散度,并且渲染引擎(34)和投影子系统(18)可被用来渲染在焦点处的两眼视界上或接近于两眼视界的所有对象,并且不同程度的虚焦的所有其他对象(即,使用故意创建的模糊)。被配置以投影相关光线至眼中的透明的导光光学元件可由如Lumus公司的供应商提供。优选地,系统(14)以大约每秒60帧或更高的帧速率向用户提供渲染。如上所述,优选地,迷你摄像机(24)可被用于眼睛追踪,并且软件可被配置以不仅提取聚散度集合还有提取焦点位置提示以作为用户输入。优选地,这样的系统被配置有合适于白天或晚上使用的亮度和对比度。在一个实施例中,这样的系统优选地对于可视化对象校准具有小于大约20毫秒的延迟、小于大约0.1度的角度校准,以及接近于人眼极限的大约1弧分的分辨率。显示系统(14)可与定位系统整合,所述定位系统可涉及GPS组件、光学追踪、罗盘、加速计,和/或其他数据源,以辅助位置和姿态确定;定位信息可被用来便于相关世界的用户视野内的精确的渲染(即,该信息可促进眼镜了解它们相对于真实世界位于何处)。
其他合适的显示设备包括但不限于桌面和移动的计算机、智能手机——智能手机可被附加的软件和硬件特性加强以便于或模拟3D透视图(例如,在一个实施例中,一框架可被可移除地耦合至智能手机,该框架以200Hz的陀螺仪和加速传感器子集、两个小的带有宽视场镜头的机器视觉摄像机,以及ARM处理器为特征,所述框架用以模拟图14中表征的一些配置的功能)、平板电脑,该平板电脑被如上为智能手机描述的那样的加强、使用附加的处理和感知硬件加强的平板电脑、使用智能手机和/或平板电脑以显示增强和虚拟视点(经由放大光学器件、反光镜、接触式镜片或光线结构组件的视觉调节)的头戴式系统、发光组件的非透明(non-see-through)显示器(LCD、OLED、垂直腔面发射激光器和引导激光束等)、允许用户察看自然世界并且人为生成图像的透明(see-through)显示器(例如,光学导光组件、照亮微距对焦接触式镜片中的透明并且偏振的OLED、引导激光束等)、具有发光组件的接触式镜片(例如可从Innovega公司购买的商标为IoptikRTM的Bellevue、WA;它们可与特制的赠送的眼镜部件相结合)、具有发光器件的植入设备,和模拟人脑的光感受器的植入设备。
对于比如图3和图14中描述的系统,3D点可从环境中捕捉,并且捕捉这些图像或点的摄像机的姿态(即,相对于世界的矢量和/或原始位置信息)可被确定,以使得这些点或图像可对于该姿态信息“被标记”或关联。随后,由第二摄像机捕捉的点可被用来确定第二摄像机的姿态。也就是说,可以依据与来自第一摄像机的被标记图像的对比来调整和/或定位第二摄像机。然后该知识可被用来提取纹理、制作贴图,以及创建真实世界的虚拟拷贝(因为随后在周围有两个摄像机被记录)。因此在基础层面,在一个实施例中,你可以使用个人可穿戴系统,其可被用来捕捉3D点和产生点的2D图像,并且这些点和图像可被发送至云存储和处理资源。它们还可被本地缓存嵌入的姿态信息(即,缓存被标记图像);因此云可具有现成的(即在可用的缓存中)带有3D点的被标记2D图像。如果用户正在观察动态的什么东西,他还可以发送与运动相关的附加信息至云(例如,如果正在察看另一人的面部,用户可获取面部的纹理图并以最佳的频率将其推送上去,即使周围的世界其实基本上是静态的)。
云系统可被配置为仅为姿态保存作为基准点的一些点来减小整体的姿态追踪计算。通常,期望有一些轮廓特征以能够追踪用户环境中的主要的事物,例如墙壁、桌子等,当用户围绕房间移动时,并且用户可能希望能够“共享”该世界并且希望有一些其他用户走入该房间并同样看到这些点。这些有用的且关键的点可被称为术语“基准点”,因为其如锚定点一样相当有用——他们与机器视觉相关可识别的特性相关,并且可在用户硬件的不同块(piece)上一致地和重复地从该世界中提取。因此这些基准点优选地可被保存于云上以备进一步使用。
在一个实施例中,优选的具有遍及相关世界的相对均匀分发的基准点,因为他们是摄像机可轻易地使用以识别位置的各种事物。
在一个实施例中,相关的云计算配置可被配置以周期性地推荐的3D点和任何相关的元数据的数据库以使用来自不同用户的最佳数据用于基准的精准化和世界创建。换句话说,系统可被配置以通过使用来自在相关世界中察看和运作的不同用户的输入来获取最佳的数据集。在一个实施例中,数据库在本质上是分形的(fractal)——随着用户移动靠近对象,云传送更高的分辨率信息至该用户。随着用户更紧密地贴图对象,该数据被发送至云上,并且如果新的3D点和基于图像的纹理图比先前在数据库中存储的更好,云可将其添加至数据库。所有这些可被配置以从多个用户同时发生。
如上所述,增强或虚拟现实体验可基于识别特定类型的对象。例如,理解特殊对象具有深度从而识别并理解该对象是重要的。识别器软件对象(“识别器”)可被部署在云或本地资源上以在用户在世界中浏览数据时专门地辅助识别在这两个平台之一上或在两者之上的不同的对象。例如,如果系统具有的用于世界模型的数据包括3D点云和已标记的姿态的图像,那么对于具有一堆点和桌子的图像的桌子,其实并不能确定被观察的对象是人们所知道的桌子。换句话说,在空间中的一些3D点和从空间某位置剥离出显示大部分桌子的图像并不能足以使人快速地辨别出察看的是桌子。为了辅助该识别,可创建特定的对象识别器,其将探究原始的3D点云、分割点集,并且例如,提取桌子上表面的平面。类似地,可创建识别器以从3D点中分割墙壁,以使得用户可以在虚拟或增强现实中改变壁纸或移除部分墙壁,并且拥有在现实世界并不存在的进入另一房间的大门。这样的识别器在世界模型的数据内运行,并且可被认为是在世界模型中爬行并且以语义信息渗透(imbue)世界模型的软件“机器人”,或被认为是存在于空间的点集中的本体(ontology)。这样的识别器或软件机器人可被配置以使得他们的全部存在是忙于在相关世界数据中走动并且查找被认为是墙壁,或椅子,或其他物品的事物。他们被配置以向点集做出在功能上等同于“该点集属于墙壁”的标记,并且可包括基于点算法和被标记姿态(pose-tagged)图像分析的组合以用于交互地通知系统关于点中的是什么的信息。
根据视角,对象识别器可被创建以用于许多不同的功用的目的。例如,在一个实施例中,例如星巴克的咖啡供应商可投资创建相关数据世界中星巴克咖啡杯的精确识别器。该识别器可被配置以在数据世界中爬行来大规模或小规模地搜寻星巴克咖啡杯,从而当在相关的邻近空间中运行时,所述星巴克咖啡杯可被分割和标识给用户(即,可能在用户看着星巴克咖啡杯一定时间之后,在拐角处的星巴克出口向该用户提供咖啡)。随着杯子被分割出,当用户移动将其在桌子上移动时,杯子可被快速地识别出。这样的识别器可被配置以不仅在云计算资源和数据上运行或运转,还可在本地资源和数据或云和本地两者上都能运行或运转,这取决于可获得的计算资源。在一个实施例中,云上存在世界模型的全局拷贝,同时成千上万个用户均对该全局模型做出了贡献,但是对于较小的世界或像在特定城市特定个人的办公室这样的子世界,全球世界的大部分并不关心那个办公室是什么样子,因此系统可被配置以推荐数据并将其移至本地缓存信息,该本地缓存信息被认为与给定用户本地最相关。
在一个实施例中,例如,当用户走向桌子时,相关信息(例如在他桌子上的特定水杯的分割)可被配置以仅驻留在他的本地的计算资源而非云,因为其被识别为常常移动的对象——例如桌子上的杯子,不应该负担在云模型上以及负担在云和本地资源之间的传输上。因此云计算资源可被配置以分割3D点和图像,因此将永久的(即通常不移动的)对象与可移动对象分离,并且这可能会影响相关的数据将保留在何处、在何处被处理,从可穿戴/本地的系统中移除用于与更永久的对象相关的特定数据的处理负担、允许一次性的位置处理,其随后与无限个其他用户共享、允许数据的多个源以在特定的物理位置同时构建固定的和可移动的对象的数据库,并且从背景中分割对象以创建对象特定的基准点和纹理图。
在一个实施例中,系统可被配置以询问用户关于特定对象的身份的输入(例如,系统可向用户呈现问题如“那是星巴克咖啡杯吗?”),从而用户可训练系统并允许系统将语义信息与在现实世界的对象相关联。本体可提供关于从世界中分割出的对象能做什么、他们的行为如何等等的指导。在一个实施例中,系统可包括虚拟或实际的键盘——例如无线连接键盘、与智能手机键盘的连接等——以方便特定用户向系统输入。
系统可被配置以与走入虚拟或增强现实中的房间的任何用户共享基本元素(墙壁、窗户、桌子几何结构等),并且在一个实施例中,该人的系统可被配置以从他的特定的视角提取图像并上传至云。然后云使用旧的和新的数据集来填充并且可以运行优化过程并且建立存在于单独对象上的基准点。
GPS和其他定位信息可作为该处理的输入被利用。进一步地,其他计算系统和数据——例如,某人的在线日历或脸书(Facebook)RTM账户信息——可被作为输入来利用(例如,在一个实施例中,云和/或本地系统可被配置以为飞机票、日期和目的地分析用户日历的内容,从而经过一段时间,信息可从云上移到用户本地系统以为用户在给定目的地的到达时间做准备)。
在一个实施例中,例如二维码等等的标签可被插入至世界中,用于以非统计姿态计算、安全/访问控制、专用信息的通信、空间消息传递、非统计对象识别等等的使用。
在一个实施例中,如上参考“可传送世界”所述,云资源可被配置以在用户之间传递真实和虚拟世界的数字模型,所述模型由个体用户基于参数和纹理来渲染。这减小了相对于实时视频传输的带宽,允许场景的虚拟视角的渲染,并且允许数百万或更多的用户参与到一个虚拟的聚会中而无需向他们中的每一个发送他们需要看到的数据(例如视频),因为他们的视图由他们本地的计算资源渲染。
虚拟现实系统(“VRS”)可被配置以通过一个或多个下列方面记录用户位置以及视野(合称为“姿态”):使用摄像机的实时度量计算机视觉、同步定位和贴图技术、地图,以及来自传感器——例如陀螺仪、加速计、罗盘、气压计、GPS、无线信号强度三角测量、信号飞行时间分析、LIDAR(激光)测距、RADAR(雷达)测距、里程计,以及声呐测距——的数据。可穿戴设备系统可被配置以同时地贴图和定位。例如,在未知的环境中,VRS可被配置以收集有关环境的信息、认定适用于用户姿态计算的基准点、用于世界模型的其他点、用于提供世界纹理贴图的图像。基准点可被用于光学地计算姿态。随着世界被贴图出更详细的细节,更多的对象可被分割,并且给出它们自己的纹理贴图,但是世界仍然优选地在具有低分辨率纹理贴图的简单的多边形中以低空间分辨率表示。其他传感器,例如上述讨论的那些,可被用来支持该模型研究。世界可以在本质上是分形的,在其中移动或者以寻找一个更好的视图的其它方式(通过视点、“监督”模式,缩放等)从云资源请求高分辨率信息。靠近对象捕捉更高分辨率的数据,并且该数据可被发送至云,其可在世界模型中的间隙位置计算和/或插入新的数据。
参考图16,可穿戴设备可被配置以捕捉图像信息并且提取基准点和被识别的点(52)。可穿戴本地系统可使用下列提到的姿态计算技术中的一个来计算姿态。云(54)可被配置以使用图像和基准点以从更静态的3D背景中分割3D对象;图像提供用于对象和世界的纹理贴图(所述纹理可以是实时视频)。云资源(56)可被配置以存储可用静态基准点和纹理并使得可用静态基准点和纹理用于世界记录。云资源可被配置以推荐用于记录的最佳点密度的点云。云资源(60)可存储可用对象基准和纹理并使得可用对象基准和纹理用于对象记录和处理;云可推荐用于记录的最佳密度的点云。云资源被配置(62)以使用所有有效的点和纹理来生成对象的分形实体模型;云可推荐用于最佳基准密度的点云信息。云资源(64)可被配置以询问用户以用于对世界和被分割的对象的身份的训练;本体数据库可使用该答案来以可动作属性渗透对象和世界。
记录和贴图的下列的特定模式的特征有:术语“O-姿态”,其表示从光学的或摄像机系统确定的姿态;“S-姿态”,表示从传感器(即,例如GPS、陀螺仪、罗盘、加速计等的组合,如上述讨论的)确定的姿态;以及“MLC”,表示云计算和数据管理资源。
“适应(Orient)”模式制造新环境的基本贴图,其目的在于在新环境未被贴图或如果用户未连接至MLC的情况下建立用户姿态。在适应模式中,可穿戴系统从图像提取点,从帧到帧追踪点,并且使用S-姿态来三角测量基准点(因为没有从图形提取的基准点)。可穿戴系统还可基于用户的持续性过滤掉坏的基准点。应指出适应模式是记录和贴图的最基本模式,并且总是可以工作,即使对于低精度的姿态。然而可穿戴系统在相对运动中已经被使用至少一小段时间后,最小基准点集将被创建出来,使得可穿戴系统被设置用于使用O-姿态来识别对象并贴图环境。一旦O-姿态是可靠的(具有最小的基准点集),可穿戴设备被配置以跳出适应模式。“贴图和O-姿态”模式被使用以贴图环境。该贴图和O-姿态模式的目的在于建立高精度姿态,贴图环境并且向MLC提供贴图和图像。在该模式中,从的成熟的世界基准点计算出O-姿态,所述成熟的世界基准点从MLC和/或确定的本地下载。然而应指出,S-姿态可被用作计算出的O-姿态的检查,并还可被使用以加速O姿态的计算。与上述类似,可穿戴系统从图像提取基准点,并且从帧到帧追踪点,使用O-姿态三角测量基准点,并且基于持续性过滤掉坏的基准点。随后剩下的基准点和被标记姿态的图像被提供至MLC云。应指出这些功能(提取点、过滤坏的基准点以及提供基准点和被标记姿态图像)不需被实时地执行并且可在随后的时间被执行以保留带宽。
O-姿态被使用以确定用户的姿态(用户的位置和视野)。O-姿态的目的在于使用最小的处理能力在已经被贴图的环境中建立高精度的姿态。计算o-姿态涉及多个步骤。为了估计在n的姿态,可穿戴系统被配置以使用从S-姿态和O-姿态收集的历史数据(n-1、n-2、n-3等)。随后在n的姿态被使用以将基准点投影至在n捕捉的图像中来从投影创建图像掩膜(mask)。可穿戴系统从被掩膜区域提取点并且根据被提取的点和成熟的世界基准点计算O-姿态。应指出通过仅从特定图像的被掩膜子集搜索/提取点,处理负担被极大地减小。进行下一步,在n处被计算的o-姿态和在n处的s-姿态可被使用以估计n+1处的姿态。被标记姿态的图像和/或视频可被传递至MLC云。
“超级-res”模式可被使用以创建高分辨率的影像和基准点。复合的被标记姿态图像可被使用以创建高分辨率(super-resolution)的图像,其反过来可被使用以增强基准位置估计。应指出迭代的O-姿态根据高分辨率基准点和影像估计。上述步骤可在可穿戴设备上被实时地执行或可被传递至MLC云并且在随后被执行。
在一个实施例中,VRS系统可被配置以具有特定的基础功能,以及由“app”或应用程序所帮助的功能,所述“app”或应用程序可通过VRS分发以提供特定的专用功能。例如,下列的app可被安装至主用VRS以提供专用功能:
“美术渲染”app可被艺术家使用以创建代表他们看见的世界的图像转换。随后用户在他们的用户设备上启用这些转换,使得他们能够“通过艺术家的‘眼睛’”察看世界。“桌上模型”app可能够使用户根据放置在桌子上的物理对象创建对象。“虚拟存在”app可被用来传递空间的虚拟模型至另一用户,随后另一用户可使用虚拟形象围绕那个空间移动。
“形象情绪”app可被用来测量例如微妙的声音变化、小的头部运动、体温、心率等方面以动画化虚拟存在的形象的微妙影响。数字化人类状态信息并将其传递至远程形象使用比视频小的带宽。此外,该数据能被贴图至具有情感能力的非人类形象上。例如,基于兴奋的音乐变化,狗的形象可通过摇摆自己的尾巴显示兴奋。
对于移动数据来说期望一种有效的网格类型网络,以将事物反向发送回服务器。然而许多网格网络具有次优的性能,因为位置信息和拓扑结构没有很好的体现出来。在一个实施例中,系统可被用来使用相对高精度确定所有用户的位置,并且因此网格网络配置可被用于高的性能。
在一个实施例中,系统可被用于查询。例如,用户将使用增强现实生产和丢弃与物理世界的许多方面相关的内容。许多这样的内容为非文本的,因此很难通过传统方法查询得到。系统可被配置以提供保持个人和社会网络内容的追踪的设备以用于查询和参考的目的。
在一个实施例中,如果显示设备通过连续帧追踪2D点,随后使矢量值函数(vector-valuedfunction)适应那些点的时间演进,那么在时间上的任何点处(例如帧之间)或在不久的将来的一些点处(通过在时间上向前投影矢量值函数)来采样矢量值函数是可能的。该操作允许创建高分辨率的后处理的创建,以及在下一幅图像被真实地捕捉到之前预测将来的姿态(例如可以加倍记录速度而无需加倍摄像机帧速率)。
对于固定的身体的渲染(与固定的头部或固定的世界的渲染相反),身体的精确视野是被期望的。在一个实施例中,通过用户头部的平均位置推导其位置而不测量身体是可能的。如果用户面部在大部分时间都朝向前方,那么头部位置的多天平均值将表露出该方向。与重力矢量相结合,这为固定的身体渲染提供了合理的稳定的坐标系。使用相对于该长期坐标系的头部位置的当前测量允许用户身体上/周围的始终如一的渲染——而无需多余的仪器。为了该实施例的实施,头部方向矢量的平均值的单个记录可被启动,并且数据的运行和(runningsum)除以时间增量(delta-t)将给出当前的平均头部位置。保持从n-5天、n-4天、n-3天、n-2天和n-1天开始的五天或者左右的记录允许使用仅过去的“n”天的移动平均值。
在一个实施例中,场景可被缩小并且在小于实际的空间中呈现给用户。例如,在场景必须在巨大的空间(即,例如足球场)中渲染的情况下,可能没有相等同的巨大空间,或这样的大的空间对于用户来说是不方便的。在一个实施例中,系统可被配置以减小场景的规模,以使得用户可以以小规模的观看。例如,一个人可能以具有上帝视角玩视频游戏或者世界足球锦标赛,在无缩放场景内播放——或按比例缩小并且在起居室地板上呈现。系统可被配置以简单地移动渲染视角、缩放,以及相关的适应距离。
系统还可被配置以在呈现的场景中通过操作虚拟或增强现实对象的焦点、通过高亮它们、改变对比度、亮度、规模等抓住用户的注意力以指明特定的对象。
优选地,系统可被配置以完成下面的模式:
在开放空间渲染(open-space-rendering)模式中,系统被配置以从结构化环境中抓取关键点,并且在渲染之间的空间中填充。该模式可被使用以创建潜在的场景,像舞台、输出空间、大的室内空间,等等。
在对象封装模式中,系统被配置以识别真实世界中的3D对象,然后增强它。“识别”在该上下文中可指以足够高的精度识别该3D对象以对3D对象锚定影像。应指出该识别,在该上下文中,还可指分类对象的类型(例如,人脸),和/或分类对象的特定实例(例如,一个叫Joe的人)。在使用这些原则,识别软件可被用来识别多种事物,像墙壁、天花板、地板、面部、公路、天空、摩天大楼、低矮的房屋、桌子、椅子、车辆、公路标识、广告牌、门、窗、书架等。一些识别软件程序可为类型I,并且具有通用的功能(例如,“把我的视频放置于那个墙壁上”、“那是只狗”等等),而另一些识别软件程序可为类型II,并且具有特定的功能(“我的电视在我的起居室墙壁上(on_my_livingroomwall),距离天花板3.2英尺处”、“那是Fido”等等)。
在以身体为中心的渲染中,被渲染的任何虚拟对象均被固定至用户的身体。例如,一些对象可在用户身体周围飘动(例如,用户的腰带)。完成该操作需要知道身体的位置,而不仅是头部位置。然而,身体位置可由头部位置估计出来。例如,头部通常平行于地面面向前方。还有,通过使用由头部位置的长时间平均获得的数据,随着时间推移身体的位置会变得更加准确。
对于I被类型I识别的对象(特定功能),对象的割除(cut-away)被典型地示出。此外,I被类型I识别的对象可被链接至不同3D模型的在线数据库。当开始识别过程时,理想的是从具有公共可用的3D模型的对象开始,例如车辆或公共设施。
系统还可被用于虚拟呈现,即,使用户能够将远程人的形象绘制到特定的开放空间中。这可以被认为是如上讨论的“开放空间渲染”的一个子集。用户可创建本地环境的粗略几何结构并且迭代地将几何结构和纹理贴图发送至(其他用户)。不过,用户需允许其他用户进入他们的环境。微妙的声音提示、手势跟踪和头部运动可被发送至远程形象。基于上述信息,形象可被动画化。应指出创建虚拟存在最小化了带宽并且可被保守地使用。
系统还可被配置用于制作到另一房间的对象“入口”。换句话说,不是在本地房间中显示形象,而是将被识别的对象(例如,墙壁)作为到另一用户的环境的入口使用。因此,多个用户可以坐在他们自己的房间中,“透过”墙壁察看到其他用户的环境。
系统还可被配置用于在当一组摄像机(人)从不同视角察看场景时,创建区域的密集的数字模型(densedigitalmodel)。只要通过至少一个摄像机察看该区域,就可以从任何有利点(vantagepoint)渲染该模型。例如,可通过多个用户的有利点渲染一个婚礼场景。应指出识别器可区分并贴图与移动对象不同的静止对象(例如,墙壁具有稳定的纹理贴图,而人具有更高频率的移动的纹理贴图)。
随着实时地更新充足的数字模型,可从任何视角渲染场景。回到婚礼示例中,在后方的出席者可在空中飞至更好视野的前排。或如果组织者允许,场地外的出席者也可使用形象或不可见地找到“座位”。出席者可展示出他们的移动形象,或将其隐藏。应指出该方面可能需要非常高的带宽。高频率数据可通过拥挤的本地无线连接流送,而低频率数据可来自MLC云。在上述示例中,因为婚礼的所有出席者具有高精度的位置信息,做出用于本地网络的最佳路由路径可能是不重要的。
对于至系统或用户之间的通信,常常期望简单的无声消息传送。例如,可使用手指拨弦的键盘。在可选的实施例中,触觉手套方案可提供增强的性能。
为了给予用户完全的虚拟现实体验,视觉系统被暗化,并且向用户示出并非叠加于真实世界上的视图。即使在该模型中,仍然需要记录系统以追踪用户的头部位置。可使用被用于体验完全虚拟现实的多个模型。例如,在“沙发”模型中,用户可能能够飞行。在“步行”模型中,真实世界的对象可被作为虚拟对象被重新渲染以使得用户不与真实世界冲突。
作为一般规则,渲染人体部位对于终止通过虚拟世界进行浏览的用户的怀疑是必不可少的。这需要一种方法来在用户的视野(FOV)内追踪并渲染人体的部位。例如,不透明的遮板(opaquevisor)可以是一种具有许多图像增强可能性的虚拟现实的形式。在另一示例中,宽视野可给予用户后视视图。而在另一示例中,系统可包括多种形式的“超级视野”,如电视视野、透明视野、红外视野、上帝视野等。
在一个实施例中,用于虚拟和/或增强用户体验的系统被配置以使得与用户相关的远程形象可至少部分地基于具有由相关的软件模块管理的源作为输入的可穿戴设备上的数据动画化,所述源例如声音变化分析和面部识别分析。例如,重新参考图12,基于用户脸上的笑容的面部识别或基于友善的声音或讲话语调,蜂蜜形象(2)可被动画化以具有友善的笑容,所述声音或语调由被配置以分析由捕捉来自用户本地的声音样本的麦克风的输入的声音的软件确定。进一步地,形象特性可以以有可能使形象表达特定情感的方式被动画化。例如,在形象为狗的实施例中,由用户本地的系统检测出的愉快笑容或语调可在形象中被表示为摇尾巴的狗的形象。
参考图17-22,复杂的游戏实施例的不同方面在间谍类型的游戏的背景中被示出,游戏的主题可以源自涉及“JamesBond007”(RTM)品牌下出品的角色增强的一些间谍主题。参考图17描述了一个家庭的图解,家庭(85)的一个成员通过操作输入设备(88),例如游戏操纵杆或者控制器,驾驭游戏中的一个角色,游戏操纵杆或控制杆可操作地耦合至游戏计算机或操作台(86),例如那些个人计算机或专用的游戏系统,例如在“PlayStation”(RTM)的品牌下销售的那些专用的游戏系统。游戏操作台(86)可操作地耦合至被配置以将用户接口视图(92)显示给飞行员/操作员(85)或其他附近的人的显示器(92)。图18示出了这样一个用户接口视图(92)的示例,其中主题游戏正在英国的伦敦市中的一座桥上或附近进行。用于该特定玩家的用户接口视图(92)为纯粹的虚拟现实,其中用户接口显示的所有元素均不是真实存在于玩家(85)的起居室中——它们是使用监视器或显示器(图17中的元素90)显示的虚拟元素。再次参考图18,被描述的虚拟现实视图(92)包括了具有桥和多种建筑(98)和其他架构特征的伦敦市的视图,以及由如在图18中的用户接口视图(92)中示出的透视图的主题玩家(85)操作的游戏角色(118-在该说明性示例中还被称为“特工009”)的描述。从玩家(85)还显示了通信显示器(96)、罗盘指示器(94)、角色状态指示器(114)、新闻工具用户接口(104)、社交网络工具用户接口(132),和消息传送用户接口(112)。在游戏中进一步示出了典型的另一角色(122——在该说明性示例中还被称为“特工006”)。如用户接口视图(92)中所示,系统可被配置以呈现被认为与被呈现的场景相关的信息,例如通过消息传送接口(112)的特工006正在靠近的消息,伴随着特工006角色周围虚拟呈现的高亮。系统可被配置以使得操作员(85)可在任何时间改变他或她正在利用的透视图;例如,不是图18中示出的类似于直升飞机的随着玩家自己的角色(118)向前和向下显示的透视图,而是由玩家决定以选择从该角色的眼睛的视角的视野,或可被计算并呈现的许多其他可能的视野中的一个。
参考图19,另一说明性视图(144)示出了穿着头戴式显示系统(300)操作角色“特工006”(140)的真实人类玩家以及相关的本地处理系统(308),此时他参与到由家中她起居室中的操作员(例如图17中的玩家85)进行的相同的游戏时,并且他正以混合或增强的现实体验在实际上走过真实的伦敦市。在所描述的实施例中,当玩家(140)穿着他的增强现实头戴式显示器(300)沿着桥散步时,他本地的处理系统(308)将所描述的多种虚拟现实元素馈送给他的显示器,覆盖他真实的现实视野(即,例如伦敦138的现实地平线和结构)。他在手中拿着一个或多个实际的文件(142),在一个实施例中,该文件被提前电子地通信至他用于在游戏场景中打印和使用。图20示出了从玩家(140)眼睛的视角(146)察看他实际的文件(142)以观看实际的伦敦地平线(138)的视野的视图,同时还通过其头戴式显示器(300)呈现用于增强现实视野的多种虚拟元素。所述虚拟元素可包括,例如,通信显示器(126)、新闻显示器(128)、一个或多个电子通信或社交网络工具显示器(132)、一个或多个玩家状态指示器(134)、消息传送接口(136)、罗盘朝向指示器(124),和一个或多个内容显示器(148),例如文本、语音或视频内容,可依照其他被显示或被捕捉的信息来被检索或呈现,所述信息例如玩家(140)携带的现实文件中的文本或图片。仅存在在虚拟现实中的“特工009”附近的其他角色被呈现在作为角色“特工006”操作的玩家(140)的增强现实视野(146)中,并且可被在用户接口中标记以用于简单的识别,如图20中所示。
参考图21,也真实出现在伦敦(140)并且步行穿过相同的桥走向“特工006”玩家(140)但是没有增强现实头戴式显示器(例如,图19的元素300)的另一玩家(150)的玩家眼睛视野被呈现。该玩家(150)可能没有头戴式增强现实显示器,但是他携带着移动通信设备(154),例如平板电脑或智能手机,在该实施例中,所述移动通信设备可被无线连接至更大的系统,并被用作到主题游戏的增强现实世界中的“窗口”,并且被配置以在设备的有限的用户接口(156)中呈现关于一个或多个其他附近玩家的增强现实信息,以及例如警告或角色信息等其他增强现实显示信息(162),所述其他玩家可为现实存在在哪里(158)或是虚拟的。
参考图22,“鸟的眼睛”或有人或无人驾驶的飞行器(或“UAV”)视野被呈现(164)。在一个实施例中,视野(164)可基于由另一玩家或上述提及的玩家之一操作的虚拟UAV。被描述的视野(164)可以以完全虚拟的模式呈现给玩家,例如,坐着家中的沙发上,具有大的计算机显示器(90)或头戴式显示器(300)的玩家;备选地,这样的视野可被作为增强现实视野呈现给在飞机或其他飞行器上的玩家(即由于人在该位置,“增强”或混合的视野,其中至少部分视野是真实现实的)。被示出的视野(164)包含用于标出相关信息的信息控制面板的接口区域,所述相关信息例如关于在视野中发现的被识别的对手。被示出的视野(164)标出虚拟高亮信息,例如感兴趣信息的网站(168)、其他玩家或角色的位置和/或状态(166),和/或其他信息的呈现(167)。
参考图23,为了说明的目的,另一增强现实场景以视野(172)呈现为,所述视野突出了特定真实现实元素,例如:房间的结构(174)、咖啡桌(180)、DJ桌(178)和五个真实的人(175、188、182、184和186),五个真实的人中的每一个都穿着头戴式增强现实接口硬件(300)以使得他们能体验他们自己拥有的他们周围事物的增强现实视野,例如虚拟现实卡通角色(198)、虚拟现实西班牙舞者角色(196)、突击队员角色(194)和用于真实人类(188)之一的globe-rabbit-eared盖头(192)。没有增强现实接口硬件,在五个现实中的人看来所述房间就是一个配有家具、DJ桌子的房间,没有什么特别的东西;使用增强现实接口硬件,系统被配置以使得参加的玩家或参与者可体验决定以突击队员身份出现的人、决定以西班牙舞者身份出现的人、决定以卡通角色出现的人,以及决定穿着正常服装出现,但是决定希望自己的头部被可视化为globe-rabbit-eared盖头(192)。系统还可被配置以显示与现实的DJ桌子(178)相关的特定虚拟特性,例如通过DJ(176)的增强现实接口硬件(300)仅对他可见的虚拟音乐文件页(190),或者DJ桌子灯光特性,其可对周围使用他们的增强现实接口硬件(300)的任何人可见。
参考图24A和24B,例如平板电脑或智能手机的移动通信设备的适配可被用来体验作为进入主题游戏的增强现实世界的改进的“窗口”的增强现实或体验使用该主题系统的创作。参考图24A,典型的智能手机或平板电脑系统移动设备(154)以相对简单的视觉用户接口(156)为特性,并且典型地拥有一个或两个简单的摄像机。参考图24B,移动计算设备已经是可移除的并且操作地耦合至增强控制台(218),所述增强控制台(218)被配置以增强移动计算设备的增强现实参与能力的。例如,被描述实施例有如下特性:可被用于眼睛跟踪的两个朝向玩家的摄像机(202);可用于简单的高质量音频和/或定向声修正的四个扬声器(200);用于机器视觉、记录和/或定位的两个前向摄像机(204);附加的电池或电力提供能力(212);被放置以易于抓着耦合系统的玩家利用的一个或多个输入接口(214、216);向抓着耦合系统的用户提供反馈的触觉反馈设备(222)(在一个实施例中,触觉反馈设备科被配置以提供两个轴的反馈,在每个轴的+方向或-方向提供方向性的反馈;这样的配置可被用于例如辅助操作员保持系统对着特定感兴趣的目标等);一个或多个GPS或定位传感器(206);和/或一个或多个加速计、惯性测量装置和/或陀螺仪(208)。
参考图25,在一个实施例中,例如在图24B中描述的系统可被用来使用GPS传感器和/或无线三角测量(232)来在X和Y(类似于经度和纬度的大地坐标系)Cartesian方向粗略定位参与者。使用罗盘和/或无线朝向技术(234)达到粗略定向。由于确定了粗略定位和定向,分布式系统可被配置以下载(即,经由无线通信)本地特征贴图信息至本地设备(即,例如内部耦合的移动通信系统154和增强控制台218)。这样的信息可包括例如几何信息,如地平线几何结构、建筑的几何结构、航道/平面元素几何结构、地形几何结构等(236)。本地和分布式系统可利用粗略定位、粗略定向和本地特征贴图信息的组合以确定精细的定位和定向特性(例如X、Y和Z{类似于高度}坐标系和3D定向)(238),其可被用来使得分布式系统下载精细程度的本地特征贴图信息至本地系统(即,例如内部耦合的移动通信系统154和增强控制台128)以增强用户的体验和操作。利用粗略定位和定向工具以及本地部署的设备例如惯性测量装置、陀螺仪和加速计——其可被耦合至例如可由参与者(242)携带的平板电脑或移动手机的移动计算设备,至不同方向和位置的移动可被追踪。
在多种上述的实施例中,头戴式显示组件部分可包括单眼或双眼显示技术、透明的视频配置。此外,这样的组件部分可包括以单眼或双眼形式的可穿戴或头戴式光场显示系统,包括激光投影系统,其中图像被投影至用户的视网膜上并且焦点深度信息被逐立体像素(voxel)和/或逐帧提供。深度平面的数量优选地从2到无限或非常大的数变动;在一个实施例中,4到36之间的深度平面可被呈现以用于3D效果。
例如在图23中标出的DJ桌子(178)的现实的对象可被扩展到虚拟现实表面、曲面和/或功能。例如,在一个实施例中,这样的设备上的真实的按钮可被配置以打开虚拟面板,其被配置以与现实的设备和/或其他设备、人或对象交互。
例如在图23中描述的聚会房间(174)的房间可被推断为任何的房间或空间。系统可拥有来自一些已知数据(例如现有的关于房间其他相关的结构或事物的二维或三维数据)的任意位置——或者可能拥有几乎为0的数据,并利用比如那些安装于图24B中的控制台上的那些(204)摄像机的机器视觉配置,所述摄像机可被用来捕捉附加数据;进一步地,系统可被配置以使得人群可众包可用的二维或三维贴图信息。
在现有的贴图信息为可用的配置中,所述信息例如伦敦市的三维贴图数据,穿戴着头戴式显示器或“感应器”配置(300)的用户可使用GPS、罗盘和/或其他装置(例如,附加的被安装的追踪摄像机、耦合至其他玩家的设备等)被粗略地定位。然后使用物理位置的已知的几何结构作为用于该记录的基准点,从用户的传感器完成精细的记录。例如,在伦敦特定的建筑内,当被在远处X察看时,当系统已经从GPS信息中定位用户在Y英尺高内并且从罗盘和贴图M定位方向C时,系统可被配置以实现记录算法(类似在机器人或计算机辅助的外科手术中被利用的技术)来在一些误差E范围内“锁定”用户的三维位置。
固定的摄像机还可结合头戴式或感应器装置来利用。例如,在图23中所描述的聚会房间里,安装至房间(174)特定方面的固定摄像机可被配置以提供房间和移动的人的现场的、不间断的视图,向远程的参与者给予整个房间的“现场的”数字的远程现场视图,以使得他们与该房间内的虚拟的和物理的人们的社交互动更加丰富。在这样的实施例中,少数房间可被贴图至彼此:物理的房间和虚拟的房间的几何结构被贴图至彼此;附加的扩展或外观改装可等同于、小于或大于物理房间的贴图而被创建,同时对象穿过物理的和虚拟的“元”房间移动,并且随后在视觉上被个性化,或“换肤”,对每个用户或参与者来说房间的版本是可用的(即,当他们在完全相同的物理或虚拟房间中时,系统可允许用户自定义视图;例如,图23中的虚拟突击队员(194)可在聚会上,但拥有贴图有“DeathStar(死星)”的图形或皮肤的环境),同时DJ(176)可拥有在聚会环境中的如在图23中所示的肤色的房间;这就是“共享的电影现实”概念,其中每个用户对房间的一些方面拥有一致的视图,但还能根据他们个人的嗜好修改特定的变量(颜色、形状等),这些都是同时进行地。
本文描述了本发明的多种示例性实施例。这些实施例以非限制性的意义被引用。它们被提供以更广泛地示出本发明可应用的方面。在不背离本发明的真实精神和范围下,对本发明的描述可做出多种改变以及等同物可被替换。此外,许多修改可以被作出以适应特定的情况、材料、组合物、过程、过程行为或步骤来达到本发明的目标、精神或范围。进一步地,如将被本领域的技术人员所理解的,本文描述和示出的每个个体差异具有分立组件和特征,其可容易地从任何其它几个实施例分离出或与任何其它几个实施例结合而不背离本发明的范围或精神。所有这样的修改旨在落入与本公开相关的权利要求书的范围内。
本发明包括可使用主题装置来执行的方法。该方法可包括提供这种适当设备的行为。这样的提供可由最终用户执行。换言之,“提供”行为仅仅需要最终用户获得、访问、处理、安置、设置、激活、上电或其他动作以在本主题方法中提供必要的设备。本文所列举的方法可以以所列举的事件的逻辑上可能的任何顺序和以事件的列举的顺序来实施。
以上陈述了本发明的示例性方面以及考虑了材料选择和制造的细节。至于本发明的其它细节,他们可以与上述引用的专利和出版物以及本领域技术人员已广泛的理解或认识结合而得以认知。根据通常地或逻辑地采用的附加行为,同样的道理也适用于本发明基于方法的方面。
此外,尽管已经参照可选地结合多个特征的若干例子描述了本发明,相对于本发明的每个变体,本发明并不受限于如预期的这些被描述或指示的情形。多种改变可做出以替代本发明的描述和等同物(不论其在本文中被列举还是为了简洁起见本文没有包括)而不背离本发明的真实精神和范围。此外,当提供数值范围时,应理解,该范围的上限和下限之间的每一个中间以及和任何其它声称的或在该声明范围的中间值均涵盖在本发明之中。
此外,可以预期,本发明的变体的任何可选特征可被独立地阐述和要求,或结合本文的任何一个或多个特征组合来阐述和要求。关于单个的项目,包括多个相同项目存在的可能性。更具体地,如本文和所附相关权利要求中所使用的,除非特别声明,否则单数形式“一”、“一个”、“所述”和“该”包括多个指示对象。换句话说,在上述说明书以及与本公开相关的权利要求中该冠词的使用考虑到了“至少一个”主题项目。进一步指出,这样的权利要求可能被撰写以排除任何可选的组件。就这一点而言,该声明旨在作为前置基础以用于结合权利要求要素的叙述来使用这类排除性术语,如“仅”,“只”等,或使用“否定”限制。
如果不使用这种排他性术语,与本公开内容相关的权利要求中的术语“包括”应当允许包括任何额外的组件——不论给定数目的组件是否被列举在这样的权利要求中,或者增加的特征可被视为转化这种权利要求中阐述的组件的性质。除非本文具体地进行了定义,本文使用的所有技术和科学术语将被给予尽可能宽泛的通常理解含义,同时保持权利要求的有效性。
本发明的广度并不受限于所提供的实施例和/或主题说明书,而是仅受限于与本公开内容关联的权利要求语言的范围。
Claims (88)
1.一种用户显示设备,包括:
可安装于用户头部的外壳框架;
第一对摄像机,其被耦合至所述外壳框架以追踪所述用户的眼睛的运动,并且基于被追踪的眼睛运动估计焦点的深度;
投影模块,其具有光线生成机制以基于估计的焦点的深度生成和修改与显示对象相关的投影光线,以使得所述显示对象在焦点出现。
透镜,其安装在所述外壳框架上;以及
处理器,其被通信地耦合至所述投影模块以向所述投影模块传达与所述显示图像相关的数据。
2.如权利要求1中所述的用户显示设备,其中所述透镜进一步包括位于所述用户眼睛前面的至少一个透明的镜子,以将所述投影光线反射至所述用户的眼睛中。
3.如权利要求2中所述的用户显示设备,其中所述至少一个透明的镜子选择性地允许来自本地环境的光线的透射。
4.如权利要求1中所述的用户显示设备,进一步包括第二对摄像机,其被安装在所述外壳框架上以捕捉与第二对摄像机中的每个摄像机对应的眼睛的视野图像。
5.如权利要求4中所述的用户显示设备,其中所述处理器基于被捕捉的视野图像来计算所述用户的头部姿态。
6.如权利要求1中所述的用户显示设备,其中所述投影模块包括激光扫描装置,以基于被估计的焦点的深度,修改与所述显示对象相关的投影光线。
7.如权利要求6中所述的用户显示设备,其中所述投影光线为直径小于0.7毫米的光束。
8.如权利要求1中所述的用户显示设备,其中第一对摄像机包括与红外光源配对的红外摄像机以追踪所述用户眼睛中的每一个眼睛的运动。
9.如权利要求1中所述的用户显示设备,进一步包括传感器组件,其包括至少一个传感器以感知所述用户的运动、所述用户的位置、所述用户的方向和所述用户的朝向中的至少一个。
10.如权利要求9中所述的用户显示设备,其中所述至少一个传感器为加速计、罗盘和陀螺仪中的至少一个。
11.如权利要求9中所述的用户显示设备,其中所述处理器基于所述用户的运动、所述用户的位置、所述用户的方向和所述用户的朝向中的至少一个来估计所述用户的头部姿态。
12.如权利要求1中所述的用户显示设备,进一步包括GPS系统。
13.如权利要求1中所述的用户显示设备,其中所述处理器被通信地耦合至计算机网络以传送虚拟世界数据的至少一部分,并且接收所述虚拟世界数据的另一部分。
14.如权利要求1中所述的用户显示设备,进一步包括安装在所述头部框架上的扬声器模块以输出声音。
15.如权利要求1中所述的用户显示设备,进一步包括安装在所述外壳框架上的麦克风以捕捉用户本地的声音。
16.如权利要求1中所述的用户显示设备,其中所述投影模块修改与另一对象相关的另一投影光线,使得该其它对象出现模糊,其中所述另一对象不是所述显示对象。
17.如权利要求1中所述的用户显示设备,其中所述处理器以每秒至少60帧的速率渲染所述显示对象的画面。
18.如权利要求1中所述的用户显示设备,进一步包括通信地耦合至所述投影模块的触觉接口设备以提供触觉反馈。
19.如权利要求1中所述的用户显示设备,其中所述显示对象为虚拟对象、被渲染物理对象、图像和视频中的至少一个。
20.如权利要求1中所述的用户显示设备,进一步包括环境感知系统以数字化地重构所述用户的环境。
21.一种方法,包括:
追踪用户眼睛的运动;
基于所述被追踪的眼睛运动,估计所述用户眼睛的焦点的深度;
基于所述被估计的焦点的深度,修改与显示对象相关的光束以使得所述显示对象在焦点出现;以及
将被修改的光束投影至所述用户的眼睛中。
22.如权利要求21中所述的方法,进一步包括:
基于所述显示对象的可视化模式,选择性地允许来自所述用户的本地环境的光线的透射,其中所述可视化模式为增强现实模式、虚拟现实模式和增强和虚拟现实模式的组合中的一个。
23.如权利要求21中所述的方法,进一步包括:
捕捉所述用户眼睛中的每个眼睛的视野图像。
24.如权利要求23中所述的方法,进一步包括:
基于所述用户眼睛的至少一个视野图像,估计所述用户的头部姿态。
25.如权利要求23中所述的方法,进一步包括:
将被捕捉的视野图像中的至少一个物理对象转换为物理渲染的虚拟对象;以及
向用户显示所述物理渲染的虚拟对象。
26.如权利要求23中所述的方法,进一步包括:
提取被捕捉的视野图像中的点集;以及
基于被提取的点集,为所述被捕捉视野图像中的至少一个物理对象创建基准。
27.如权利要求26中所述的方法,进一步包括
传送所述被提取的点集和所述被创建的基准中的至少一个至云计算机;以及
将所述被提取的点集和所述被创建的基准中的至少一个标记为一种对象类型。
28.如权利要求27中所述的方法,进一步包括:
基于与所述对象类型相关的被标记点集和与所述对象类型相关的被标记的被创建基准中的至少一个,识别不同物理对象属于所述对象类型。
29.如权利要求21中所述的方法,其中所述投影光线为直径小于0.7毫米的光束。
30.如权利要求21中所述的方法,进一步包括:
感知所述用户的运动、所述用户的位置、所述用户的方向和所述用户的朝向中的至少一个;以及
基于所述被感知的运动、被感知的位置、被感知的方向和被感知的朝向中的至少一个,计算所述用户的姿态。
31.如权利要求30中所述的方法,其中所述至少一个传感器为加速计、罗盘和陀螺仪中的至少一个。
32.如权利要求21中所述的方法,进一步包括:
处理与所述显示对象相关的虚拟世界数据至计算机网络;以及
传送与所述显示对象相关的所述虚拟世界数据的至少一部分至位于第二位置的第二用户,以使得第二用户可以在第二位置体验与所述显示对象相关的所述虚拟世界数据的至少一部分。
33.如权利要求32中所述的方法,进一步包括:
感知物理对象;以及
基于与被感知物理对象的预先确定的关系,修改与所述显示对象相关的所述虚拟世界数据的至少一部分。
34.如权利要求33中所述的方法,向第二用户呈现所述被修改的虚拟世界数据。
35.如权利要求21中所述的方法,进一步包括:
修改与另一对象相关的另一光线以使得该其它对象出现模糊,其中所述另一对象不是所述显示对象。
36.如权利要求21中所述的方法,进一步包括:
通过用户接口接收用户输入;以及
基于接收的用户输入,修改所述显示对象。
37.如权利要求36中所述的方法,其中所述用户接口为触觉接口设备、键盘、鼠标、控制杆、运动捕捉控制器、光学追踪设备和音频输入设备中的至少一个。
38.如权利要求21中所述的方法,其中所述显示对象为虚拟对象、被渲染物理对象、图像和视频中的至少一个。
39.一种方法,包括:
通过头戴式用户显示设备与包括虚拟世界数据的虚拟世界交互,其中基于用户眼睛的被估计的焦点深度,所述头戴式用户显示设备向用户渲染与所述虚拟世界数据的至少一部分相关的显示图像;
创建源自所述头戴式用户设备与所述虚拟世界的交互和与所述用户的物理环境的交互中的至少一个的附加虚拟世界数据;以及
传送所述附加虚拟世界数据至计算机网络。
40.如权利要求39中所述的方法,进一步包括:
为了展示,传送所述附加虚拟世界数据至在第二位置的第二用户以使得第二用户可以从第二位置体验所述附加虚拟世界数据。
40.如权利要求39中所述的方法,其中所述附加虚拟世界数据与通过所述头戴式用户显示设备捕捉的视野图像相关。
41.如权利要求39中所述的方法,其中所述附加虚拟世界数据与所述用户的被感知运动、所述用户的被感知位置、所述用户的被感知方向和所述用户的被感知朝向中的至少一个相关。
42.如权利要求39中所述的方法,其中所述附加虚拟世界数据与由所述头戴式用户显示设备感知的物理对象相关。
43.如权利要求42中所述的方法,其中所述附加虚拟世界数据与所述显示对象相关,所述显示对象具有与所述被感知物理对象的预先确定的关系。
44.如权利要求39中所述的方法,进一步包括:
基于用户输入,选择使所述用户和所述头戴式用户显示设备之间能够交互的接口;以及
基于被选择的接口,渲染与所述虚拟世界数据的至少一部分相关的所述显示对象。
45.如权利要求44中所述的方法,其中所述被选择的接口为虚拟现实模式、增强现实模式、混合现实模式以及虚拟现实和增强现实模式的组合中的一个。
46.如权利要求39中所述的方法,其中以二维的形式呈现所述虚拟世界。
47.如权利要求39中所述的方法,其中以三维的形式呈现所述虚拟世界。
48.一种使两个或更多用户能与包括虚拟世界数据的虚拟世界交互的方法,包括:
通过第一用户显示设备以第一用户的第一可视化模式显示所述虚拟世界;
通过计算机网络,传送所述虚拟世界数据的至少一部分至第二用户显示器;以及
在第二用户的第二用户显示设备以第二可视化模式显示与所述虚拟世界数据的被传送部分相关的虚拟世界。
49.如权利要求48中所述的方法,其中第一可视化模式不同于第二可视化模式。
50.如权利要求48中所述的方法,其中第一可视化模式为增强现实模式、虚拟现实模式、混合现实模式和所述虚拟现实和增强现实模式中的至少一个。
51.如权利要求48中所述的方法,其中第二可视化模式为增强现实模式、虚拟现实模式、混合现实模式和所述虚拟现实和增强现实模式中的至少一个。
52.一种方法,包括:
基于用户的选择,处理与现实物理对象的图像相关的被渲染物理图像数据和与虚拟显示对象相关的虚拟图像数据中的至少一个;并且
选择性地向用户显示由所述用户实时可见的现实物理对象、基于所述用户实时可见的现实物理对象渲染的被渲染物理-虚拟对象以及所述虚拟显示对象的被选择的组合。
53.如权利要求52中所述的方法,其中基于用户输入的可视化模式,选择性地显示现实物理对象、所述被渲染的物理-虚拟对象和所述虚拟显示对象中的至少一个。
54.如权利要求53中所述的方法,其中所述可视化模式为增强现实模式、虚拟现实模式、混合现实模式以及所述虚拟和增强现实模式的组合中的至少一个。
55.如权利要求53中所述的方法,进一步包括:
通过计算机网络接收与另一显示对象相关的图像数据;以及
将所述图像数据转换为与被选择可视化模式兼容的数据格式,以使得所述用户能以所述被选择可视化模式察看其他显示对象。
56.如权利要求52中所述的方法,进一步包括:
基于所述被选择可视化模式,选择性地允许来自外界环境的光线的透射,以使得所述用户可察看所述现实物理对象。
57.一种方法,包括:
通过头戴式用户显示设备的透镜,选择性地允许来自外界环境的光线的透射,其中所述头戴式用户显示设备被配置用于显示彻底的虚拟对象、彻底的物理对象或虚拟对象和物理对象的组合。
58.如权利要求57中所述的方法,其中所述选择性的允许光线的透射是基于期望的可视化模式,其中所述期望的可视化模式为增强现实模式、虚拟现实模式、混合现实模式和增强和虚拟现实模式的组合中的一个。
59.如权利要求57中所述的方法,进一步包括:
当所述头戴式用户设备被关闭时,允许来自所述外界环境的光线的完全透射,以使得所述用户仅察看所述彻底的物理对象。
60.如权利要求57中所述的方法,进一步包括:
投影与具有特定形状的至少一个显示对象相关的光束至所述用户的眼中;并且
基于所述至少一个显示对象的特定形状,选择性地允许来自所述外界环境的光线的透射,以使得所述用户察看所述显示对象连同所述外界环境中的物理对象。
61.如权利要求57中所述的方法,进一步包括:
阻止来自所述外界环境的光线的透射,以使得所述用户仅察看所述彻底的虚拟对象。
62.一种使两个或更多用户能在包括虚拟世界数据的虚拟世界中交互的方法,包括:
通过在第一位置的第一用户,为访问所述虚拟世界的第一用户创建远程形象;
在现实地理位置放置第一用户的远程形象,以使得第一用户可通过在第一位置的第一用户设备体验所述现实地理位置;以及
通过放置在所述现实地理位置的所述远程形象与通过在所述现实物理位置的第二用户设备访问虚拟世界的第二用户交互。
63.如权利要求62中所述的方法,其中第一位置不同于所述现实地理位置。
64.如权利要求62中所述的方法,其中第一位置实质上与所述现实地理位置相同。
65.如权利要求62中所述的方法,其中所述远程形象与在所述现实地理位置的物理对象具有预先确定的关系。
66.如权利要求62中所述的方法,其中所述远程形象响应于在所述现实地理位置的环境提示。
67.如权利要求62中所述的方法,其中所述远程形象的运动由第一用户控制。
68.如权利要求62中所述的方法,其中所述远程形象可与在所述现实地理位置的第二用户交互。
69.一种方法,包括:
通过头戴式用户设备,捕捉所述用户眼睛中的每一个眼睛的视野图像;
在被捕捉的视野图像中提取点集;
将被提取点集与特定对象相关联;以及
基于与所述特定对象相关联的点集,识别不同的对象。
70.一种使两个或更多用户能在包括虚拟世界数据的虚拟世界中交互的系统,包括:
包括一个或多个计算设备的计算机网络,所述一个或多个计算设备包括存储器、处理电路和至少存储在所述存储器的一部分中并可由所述处理电路执行以处理所述虚拟世界数据的至少一部分的软件;
其中所述虚拟世界数据的至少第一部分源自第一用户本地的第一用户虚拟世界,并且其中所述计算机网络可操作以传送所述第一部分至用户设备以用于向第二用户展示,以使得第二用户可从第二用户的位置体验所述第一部分,使得第一用户虚拟世界的多个方面被有效地传至第二用户。
71.如权利要求70中所述的系统,其中第一和第二用户位于不同的物理位置。
72.如权利要求70中所述的系统,其中第一和第二用户位于实质上相同的物理位置。
73.如权利要求70中所述的系统,其中所述虚拟世界的至少一部分响应于所述虚拟世界数据中的变化而变化。
74.如权利要求70中所述的系统,其中所述虚拟世界的至少一部分响应于由所述用户设备感知的物理对象而变化。
75.如权利要求74中所述的系统,其中虚拟世界数据中的所述变化表现了与所述物理对象具有预先确定的关系的虚拟对象。
76.如权利要求75中所述的系统,其中根据所述预先确定的关系,虚拟世界数据中的所述变化被呈现至第二用户设备以用于向第二用户展示。
77.如权利要求70中所述的系统,其中所述虚拟世界可操作以被所述计算机服务器或用户设备中的至少一个所渲染。
78.如权利要求70中所述的系统,其中以二维的形式呈现所述虚拟世界。
79.如权利要求70中所述的系统,其中以三维的形式呈现所述虚拟世界。
80.如权利要求70中所述的系统,其中所述用户设备可操作来提供使用户和处于增强现实模式中的所述虚拟世界之间能够交互的接口。
81.如权利要求70中所述的系统,其中所述用户设备可操作来提供使用户和处于虚拟现实模式中的所述虚拟世界之间能够交互的接口。
82.如权利要求80中所述的系统,其中所述用户设备可操作来提供使用户和处于增强和虚拟现实的组合模式中的所述虚拟世界之间能够交互的接口。
83.如权利要求70中所述的系统,其中所述虚拟世界数据在数据网络上被传送。
84.如权利要求70中所述的系统,其中所述计算机网络可操作以从用户设备接收所述虚拟世界数据的至少一部分。
85.如权利要求70中所述的系统,其中被传送至所述用户设备的所述虚拟世界数据的至少一部分包括用于生成所述虚拟世界的至少一部分的指令。
86.如权利要求70中所述的系统,其中所述虚拟世界数据的至少一部分被传送至网关以用于处理或分发中的至少一个。
87.如权利要求86中所述的系统,其中所述一个或多个计算机服务器中的至少一个可操作以处理由所述网关分发的虚拟世界数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361776771P | 2013-03-11 | 2013-03-11 | |
US61/776,771 | 2013-03-11 | ||
PCT/US2014/023739 WO2014164901A1 (en) | 2013-03-11 | 2014-03-11 | System and method for augmented and virtual reality |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105188516A true CN105188516A (zh) | 2015-12-23 |
CN105188516B CN105188516B (zh) | 2017-12-22 |
Family
ID=51659005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480026513.8A Active CN105188516B (zh) | 2013-03-11 | 2014-03-11 | 用于增强和虚拟现实的系统与方法 |
Country Status (9)
Country | Link |
---|---|
US (11) | US10629003B2 (zh) |
EP (2) | EP2967322A4 (zh) |
JP (6) | JP6499154B2 (zh) |
KR (5) | KR102387314B1 (zh) |
CN (1) | CN105188516B (zh) |
AU (5) | AU2014248874B2 (zh) |
CA (2) | CA2905427C (zh) |
IL (6) | IL308285A (zh) |
WO (1) | WO2014164901A1 (zh) |
Cited By (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105807922A (zh) * | 2016-03-07 | 2016-07-27 | 湖南大学 | 一种虚拟现实娱乐驾驶的实现方法、装置及系统 |
CN105894571A (zh) * | 2016-01-22 | 2016-08-24 | 冯歆鹏 | 一种处理多媒体信息的方法及装置 |
CN105894581A (zh) * | 2016-01-22 | 2016-08-24 | 冯歆鹏 | 一种呈现多媒体信息的方法及装置 |
CN105893452A (zh) * | 2016-01-22 | 2016-08-24 | 冯歆鹏 | 一种呈现多媒体信息的方法及装置 |
CN106293100A (zh) * | 2016-08-24 | 2017-01-04 | 上海与德通讯技术有限公司 | 虚拟现实设备中视线焦点的确定方法及虚拟现实设备 |
CN106327584A (zh) * | 2016-08-24 | 2017-01-11 | 上海与德通讯技术有限公司 | 一种用于虚拟现实设备的图像处理方法及装置 |
CN106534125A (zh) * | 2016-11-11 | 2017-03-22 | 厦门汇鑫元软件有限公司 | 一种基于局域网实现vr多人交互系统的方法 |
CN106823408A (zh) * | 2016-12-30 | 2017-06-13 | 武汉市马里欧网络有限公司 | 基于ar的儿童积木搭建系统及方法 |
CN106919259A (zh) * | 2017-03-06 | 2017-07-04 | 北京小米移动软件有限公司 | 基于vr设备的形象处理方法和装置 |
CN106913449A (zh) * | 2017-03-23 | 2017-07-04 | 郑州诚优成电子科技有限公司 | 互动式增强现实视力康复装置 |
WO2017124785A1 (zh) * | 2016-01-20 | 2017-07-27 | 京东方科技集团股份有限公司 | 显示切换装置及其切换方法、穿戴显示装置及其显示方法 |
CN107277494A (zh) * | 2017-08-11 | 2017-10-20 | 北京铂石空间科技有限公司 | 立体显示系统及方法 |
CN107564099A (zh) * | 2017-08-29 | 2018-01-09 | 上海爱优威软件开发有限公司 | 一种3d空间模型的构建方法及系统 |
CN107608517A (zh) * | 2017-09-25 | 2018-01-19 | 艾亚(北京)科技有限公司 | 一种基于地理位置的场景互动交友系统及方法 |
CN107957774A (zh) * | 2016-10-18 | 2018-04-24 | 阿里巴巴集团控股有限公司 | 虚拟现实空间环境中的交互方法及装置 |
CN108064364A (zh) * | 2015-01-28 | 2018-05-22 | Ccp公司 | 用于实现多用户虚拟环境的方法和系统 |
CN108196686A (zh) * | 2018-03-13 | 2018-06-22 | 北京无远弗届科技有限公司 | 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统 |
CN108399638A (zh) * | 2018-02-08 | 2018-08-14 | 重庆爱奇艺智能科技有限公司 | 一种基于标记的增强现实交互方法、装置及电子设备 |
CN108427499A (zh) * | 2018-02-13 | 2018-08-21 | 视辰信息科技(上海)有限公司 | 一种ar系统及ar设备 |
CN108668050A (zh) * | 2017-03-31 | 2018-10-16 | 深圳市掌网科技股份有限公司 | 基于虚拟现实的视频拍摄方法和装置 |
CN108700942A (zh) * | 2016-05-17 | 2018-10-23 | 谷歌有限责任公司 | 在虚拟/增强现实系统中改变对象位置的技术 |
CN108694730A (zh) * | 2017-04-06 | 2018-10-23 | 赫克斯冈技术中心 | 使用图像跟踪的ar装置的近场操纵 |
CN108769802A (zh) * | 2018-06-21 | 2018-11-06 | 北京密境和风科技有限公司 | 网络表演的实现方法、装置和系统 |
CN108885522A (zh) * | 2016-12-30 | 2018-11-23 | 谷歌有限责任公司 | 渲染3d环境中的内容 |
CN109035415A (zh) * | 2018-07-03 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 |
KR20180135487A (ko) * | 2016-04-26 | 2018-12-20 | 매직 립, 인코포레이티드 | 증강 현실 시스템들을 사용한 전자기 추적 |
CN109102533A (zh) * | 2018-06-19 | 2018-12-28 | 黑龙江拓盟科技有限公司 | 一种基于混合现实的特征点定位方法 |
CN109154862A (zh) * | 2016-04-21 | 2019-01-04 | 诺基亚技术有限公司 | 虚拟现实因果概要内容 |
CN109146954A (zh) * | 2017-06-19 | 2019-01-04 | 苹果公司 | 用于与所显示的地图进行交互的增强现实界面 |
CN109200578A (zh) * | 2017-06-30 | 2019-01-15 | 电子技术公司 | 用于视频游戏的交互式语音控制的伴随应用 |
CN109313653A (zh) * | 2016-04-29 | 2019-02-05 | 斯特林有限公司 | 增强媒体 |
CN109407821A (zh) * | 2017-08-18 | 2019-03-01 | 奥多比公司 | 与虚拟现实视频的协作交互 |
CN109416842A (zh) * | 2016-05-02 | 2019-03-01 | 华纳兄弟娱乐公司 | 在虚拟现实和增强现实中的几何匹配 |
CN109416614A (zh) * | 2016-11-30 | 2019-03-01 | 日本聚逸株式会社 | 应用程序控制程序、应用程序控制方法以及应用程序控制系统 |
CN109420336A (zh) * | 2017-08-30 | 2019-03-05 | 深圳市掌网科技股份有限公司 | 基于增强现实的游戏实现方法和装置 |
CN109513157A (zh) * | 2018-10-16 | 2019-03-26 | 广州嘉影软件有限公司 | 基于Kinect体感的灭火演练交互方法与系统 |
CN109564351A (zh) * | 2016-06-06 | 2019-04-02 | 华纳兄弟娱乐公司 | 混合现实系统 |
CN109643014A (zh) * | 2016-03-30 | 2019-04-16 | 索尼互动娱乐股份有限公司 | 头戴式显示器追踪 |
CN109643527A (zh) * | 2016-04-01 | 2019-04-16 | 易客斯特解决方案公司 | 用于零售环境仿真的虚拟现实平台 |
TWI658404B (zh) * | 2018-02-09 | 2019-05-01 | 宏碁股份有限公司 | 語音辨識系統及其方法 |
US10325408B2 (en) | 2016-01-22 | 2019-06-18 | Nextvpu (Shanghai) Co. Ltd. | Method and device for presenting multimedia information |
CN110050295A (zh) * | 2016-12-14 | 2019-07-23 | 微软技术许可有限责任公司 | 用于增强和虚拟现实系统的减性绘制 |
CN110310288A (zh) * | 2018-03-20 | 2019-10-08 | 罗技欧洲公司 | 用于混合现实环境中的对象分割的方法和系统 |
CN110337318A (zh) * | 2017-02-28 | 2019-10-15 | 奇跃公司 | 混合现实装置中的虚拟和真实对象记录 |
CN110382066A (zh) * | 2017-03-06 | 2019-10-25 | 环球城市电影有限责任公司 | 混合现实观察器系统和方法 |
CN110476139A (zh) * | 2017-03-28 | 2019-11-19 | 奇跃公司 | 具有关联到用户操纵的虚拟对象的空间化音频的增强现实系统 |
CN110520899A (zh) * | 2017-04-14 | 2019-11-29 | 微软技术许可有限责任公司 | 标识在环境中的标记的位置 |
CN110531846A (zh) * | 2018-05-24 | 2019-12-03 | 明日基金知识产权控股有限公司 | 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作 |
CN110573992A (zh) * | 2017-04-27 | 2019-12-13 | 西门子股份公司 | 使用增强现实和虚拟现实编辑增强现实体验 |
CN110637273A (zh) * | 2017-05-10 | 2019-12-31 | 微软技术许可有限责任公司 | 在虚拟环境内呈现应用 |
CN110770636A (zh) * | 2017-04-25 | 2020-02-07 | 雷特克斯有限公司 | 具有矫正视力缺陷、增强视力和感知能力的可穿戴图像处理和控制系统 |
CN110780730A (zh) * | 2018-07-24 | 2020-02-11 | 迪士尼企业公司 | 对于显示器的自适应亮度/颜色修正 |
CN110809750A (zh) * | 2017-06-15 | 2020-02-18 | 微软技术许可有限责任公司 | 在保持物理性质的同时虚拟地表示空间和对象 |
CN110851095A (zh) * | 2018-08-21 | 2020-02-28 | 迪士尼企业公司 | 虚拟和增强现实中的多屏幕交互 |
CN111190488A (zh) * | 2019-12-30 | 2020-05-22 | 华为技术有限公司 | 设备控制方法、通信装置及存储介质 |
CN112100284A (zh) * | 2019-06-18 | 2020-12-18 | 明日基金知识产权控股有限公司 | 通过虚拟孪生现实与现实世界物品及对应数据库交互 |
CN112106055A (zh) * | 2018-03-09 | 2020-12-18 | 文塔纳3D有限责任公司 | 利用增强现实在制造期间进行实时质量控制 |
TWI720480B (zh) * | 2019-05-14 | 2021-03-01 | 真美滿有限公司 | 模擬展示系統 |
CN112868023A (zh) * | 2018-10-15 | 2021-05-28 | 艾玛迪斯简易股份公司 | 增强现实系统和方法 |
CN113544766A (zh) * | 2019-03-12 | 2021-10-22 | 奇跃公司 | 在第一和第二增强现实观看器之间配准本地内容 |
CN113711162A (zh) * | 2019-01-31 | 2021-11-26 | 格勒诺布尔阿尔卑斯大学 | 用于混合现实应用中机器人交互的系统和方法 |
CN114755824A (zh) * | 2017-03-21 | 2022-07-15 | 奇跃公司 | 用于结合光扫描投影仪跟踪眼睛运动的方法和系统 |
US11393174B2 (en) | 2017-09-29 | 2022-07-19 | Apple Inc. | Cooperative augmented reality map interface |
CN115116577A (zh) * | 2022-07-26 | 2022-09-27 | 青岛美迪康数字工程有限公司 | 基于二维码的质控数据传输方法及装置 |
US11956414B2 (en) | 2015-03-17 | 2024-04-09 | Raytrx, Llc | Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing |
Families Citing this family (658)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0522968D0 (en) | 2005-11-11 | 2005-12-21 | Popovich Milan M | Holographic illumination device |
GB0718706D0 (en) | 2007-09-25 | 2007-11-07 | Creative Physics Ltd | Method and apparatus for reducing laser speckle |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9952664B2 (en) | 2014-01-21 | 2018-04-24 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US20150205111A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Optical configurations for head worn computing |
US9335604B2 (en) | 2013-12-11 | 2016-05-10 | Milan Momcilo Popovich | Holographic waveguide display |
US11726332B2 (en) | 2009-04-27 | 2023-08-15 | Digilens Inc. | Diffractive projection apparatus |
US20100306825A1 (en) | 2009-05-27 | 2010-12-02 | Lucid Ventures, Inc. | System and method for facilitating user interaction with a simulated object associated with a physical location |
US9892546B2 (en) * | 2010-06-30 | 2018-02-13 | Primal Space Systems, Inc. | Pursuit path camera model method and system |
US9274349B2 (en) | 2011-04-07 | 2016-03-01 | Digilens Inc. | Laser despeckler based on angular diversity |
US8810598B2 (en) | 2011-04-08 | 2014-08-19 | Nant Holdings Ip, Llc | Interference based augmented reality hosting platforms |
EP2995986B1 (en) | 2011-08-24 | 2017-04-12 | Rockwell Collins, Inc. | Data display |
WO2016020630A2 (en) | 2014-08-08 | 2016-02-11 | Milan Momcilo Popovich | Waveguide laser illuminator incorporating a despeckler |
US10670876B2 (en) | 2011-08-24 | 2020-06-02 | Digilens Inc. | Waveguide laser illuminator incorporating a despeckler |
WO2013102759A2 (en) | 2012-01-06 | 2013-07-11 | Milan Momcilo Popovich | Contact image sensor using switchable bragg gratings |
EP2842003B1 (en) | 2012-04-25 | 2019-02-27 | Rockwell Collins, Inc. | Holographic wide angle display |
US20130297460A1 (en) | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for facilitating transactions of a physical product or real life service via an augmented reality environment |
WO2013167864A1 (en) | 2012-05-11 | 2013-11-14 | Milan Momcilo Popovich | Apparatus for eye tracking |
US9934614B2 (en) | 2012-05-31 | 2018-04-03 | Microsoft Technology Licensing, Llc | Fixed size augmented reality objects |
US9933684B2 (en) | 2012-11-16 | 2018-04-03 | Rockwell Collins, Inc. | Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration |
US10199051B2 (en) | 2013-02-07 | 2019-02-05 | Apple Inc. | Voice trigger for a digital assistant |
CN105188516B (zh) * | 2013-03-11 | 2017-12-22 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
US10271233B2 (en) | 2013-03-15 | 2019-04-23 | DGS Global Systems, Inc. | Systems, methods, and devices for automatic signal detection with temporal feature extraction within a spectrum |
US10231206B2 (en) | 2013-03-15 | 2019-03-12 | DGS Global Systems, Inc. | Systems, methods, and devices for electronic spectrum management for identifying signal-emitting devices |
KR102271198B1 (ko) | 2013-03-15 | 2021-06-29 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
US9288683B2 (en) | 2013-03-15 | 2016-03-15 | DGS Global Systems, Inc. | Systems, methods, and devices for electronic spectrum management |
US11646918B2 (en) * | 2013-03-15 | 2023-05-09 | Digital Global Systems, Inc. | Systems, methods, and devices for electronic spectrum management for identifying open space |
US10237770B2 (en) | 2013-03-15 | 2019-03-19 | DGS Global Systems, Inc. | Systems, methods, and devices having databases and automated reports for electronic spectrum management |
US10209517B2 (en) | 2013-05-20 | 2019-02-19 | Digilens, Inc. | Holographic waveguide eye tracker |
US9977256B2 (en) * | 2013-05-30 | 2018-05-22 | Johnson & Johnson Vision Care, Inc. | Methods for manufacturing and programming an energizable ophthalmic lens with a programmable media insert |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10295338B2 (en) * | 2013-07-12 | 2019-05-21 | Magic Leap, Inc. | Method and system for generating map data from an image |
US9727772B2 (en) | 2013-07-31 | 2017-08-08 | Digilens, Inc. | Method and apparatus for contact image sensing |
US11019258B2 (en) | 2013-08-21 | 2021-05-25 | Verizon Patent And Licensing Inc. | Aggregating images and audio data to generate content |
US9451162B2 (en) | 2013-08-21 | 2016-09-20 | Jaunt Inc. | Camera array including camera modules |
US20150123966A1 (en) * | 2013-10-03 | 2015-05-07 | Compedia - Software And Hardware Development Limited | Interactive augmented virtual reality and perceptual computing platform |
US9582516B2 (en) | 2013-10-17 | 2017-02-28 | Nant Holdings Ip, Llc | Wide area augmented reality location-based services |
US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
US20150277118A1 (en) | 2014-03-28 | 2015-10-01 | Osterhout Group, Inc. | Sensor dependent content position in head worn computing |
US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9671613B2 (en) | 2014-09-26 | 2017-06-06 | Osterhout Group, Inc. | See-through computer display systems |
US9529195B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
US20160048019A1 (en) * | 2014-08-12 | 2016-02-18 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US9448409B2 (en) | 2014-11-26 | 2016-09-20 | Osterhout Group, Inc. | See-through computer display systems |
US11227294B2 (en) | 2014-04-03 | 2022-01-18 | Mentor Acquisition One, Llc | Sight information collection in head worn computing |
US20150228119A1 (en) | 2014-02-11 | 2015-08-13 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
US9532715B2 (en) | 2014-01-21 | 2017-01-03 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
US9811159B2 (en) | 2014-01-21 | 2017-11-07 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US9529199B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
CN110376743B (zh) | 2014-01-31 | 2022-03-04 | 奇跃公司 | 多焦点显示系统和方法 |
US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US9852545B2 (en) | 2014-02-11 | 2017-12-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US20150241964A1 (en) | 2014-02-11 | 2015-08-27 | Osterhout Group, Inc. | Eye imaging in head worn computing |
JP6264087B2 (ja) * | 2014-02-21 | 2018-01-24 | ソニー株式会社 | 表示制御装置、表示装置および表示制御システム |
US10430985B2 (en) | 2014-03-14 | 2019-10-01 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
US11138793B2 (en) | 2014-03-14 | 2021-10-05 | Magic Leap, Inc. | Multi-depth plane display system with reduced switching between depth planes |
US9830679B2 (en) * | 2014-03-25 | 2017-11-28 | Google Llc | Shared virtual reality |
US10725298B2 (en) | 2014-03-26 | 2020-07-28 | Mark D. Wieczorek, P.C. | Virtual reality devices and accessories |
US11137601B2 (en) | 2014-03-26 | 2021-10-05 | Mark D. Wieczorek | System and method for distanced interactive experiences |
US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
WO2015162098A1 (en) * | 2014-04-24 | 2015-10-29 | Carl Zeiss Meditec, Inc. | Functional vision testing using light field displays |
US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
US9423842B2 (en) | 2014-09-18 | 2016-08-23 | Osterhout Group, Inc. | Thermal management for head-worn computer |
US9672210B2 (en) | 2014-04-25 | 2017-06-06 | Osterhout Group, Inc. | Language translation with head-worn computing |
US9934613B2 (en) * | 2014-04-29 | 2018-04-03 | The Florida International University Board Of Trustees | Systems for controlling a movable object |
US20160027414A1 (en) * | 2014-07-22 | 2016-01-28 | Osterhout Group, Inc. | External user interface for head worn computing |
KR101671837B1 (ko) * | 2014-05-20 | 2016-11-16 | 주식회사 비주얼캠프 | 시선 추적형 입력 장치 |
KR102219464B1 (ko) * | 2014-05-23 | 2021-02-25 | 삼성전자주식회사 | 보안 운용 방법 및 이를 지원하는 전자 장치 |
US10600245B1 (en) | 2014-05-28 | 2020-03-24 | Lucasfilm Entertainment Company Ltd. | Navigating a virtual environment of a media content item |
US9706910B1 (en) * | 2014-05-29 | 2017-07-18 | Vivid Vision, Inc. | Interactive system for vision assessment and correction |
US9911454B2 (en) | 2014-05-29 | 2018-03-06 | Jaunt Inc. | Camera array including camera modules |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US11030784B2 (en) * | 2014-06-03 | 2021-06-08 | Apple Inc. | Method and system for presenting a digital information related to a real object |
US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US20150362733A1 (en) * | 2014-06-13 | 2015-12-17 | Zambala Lllp | Wearable head-mounted display and camera system with multiple modes |
US9678506B2 (en) | 2014-06-19 | 2017-06-13 | Skydio, Inc. | Magic wand interface and other user interaction paradigms for a flying digital assistant |
US9798322B2 (en) | 2014-06-19 | 2017-10-24 | Skydio, Inc. | Virtual camera interface and other user interaction paradigms for a flying digital assistant |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10368011B2 (en) | 2014-07-25 | 2019-07-30 | Jaunt Inc. | Camera array removing lens distortion |
US11108971B2 (en) | 2014-07-25 | 2021-08-31 | Verzon Patent and Licensing Ine. | Camera array removing lens distortion |
US9363569B1 (en) * | 2014-07-28 | 2016-06-07 | Jaunt Inc. | Virtual reality system including social graph |
US10701426B1 (en) | 2014-07-28 | 2020-06-30 | Verizon Patent And Licensing Inc. | Virtual reality system including social graph |
US9774887B1 (en) | 2016-09-19 | 2017-09-26 | Jaunt Inc. | Behavioral directional encoding of three-dimensional video |
US10186301B1 (en) | 2014-07-28 | 2019-01-22 | Jaunt Inc. | Camera array including camera modules |
US10440398B2 (en) | 2014-07-28 | 2019-10-08 | Jaunt, Inc. | Probabilistic model to compress images for three-dimensional video |
WO2016020632A1 (en) | 2014-08-08 | 2016-02-11 | Milan Momcilo Popovich | Method for holographic mastering and replication |
US9599821B2 (en) * | 2014-08-08 | 2017-03-21 | Greg Van Curen | Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space |
US9779633B2 (en) | 2014-08-08 | 2017-10-03 | Greg Van Curen | Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same |
US10241330B2 (en) | 2014-09-19 | 2019-03-26 | Digilens, Inc. | Method and apparatus for generating input images for holographic waveguide displays |
WO2016046514A1 (en) | 2014-09-26 | 2016-03-31 | LOKOVIC, Kimberly, Sun | Holographic waveguide opticaltracker |
AU2015323940B2 (en) | 2014-09-29 | 2021-05-20 | Magic Leap, Inc. | Architectures and methods for outputting different wavelength light out of waveguides |
KR102358548B1 (ko) | 2014-10-15 | 2022-02-04 | 삼성전자주식회사 | 디바이스를 이용한 화면 처리 방법 및 장치 |
US10320437B2 (en) | 2014-10-24 | 2019-06-11 | Usens, Inc. | System and method for immersive and interactive multimedia generation |
KR101930657B1 (ko) | 2014-10-24 | 2018-12-18 | 유센스, 인코퍼레이티드 | 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법 |
US20160125652A1 (en) * | 2014-11-03 | 2016-05-05 | Avaya Inc. | Augmented reality supervisor display |
US10007333B2 (en) | 2014-11-07 | 2018-06-26 | Eye Labs, LLC | High resolution perception of content in a wide field of view of a head-mounted display |
US10495726B2 (en) | 2014-11-13 | 2019-12-03 | WorldViz, Inc. | Methods and systems for an immersive virtual reality system using multiple active markers |
US10055892B2 (en) | 2014-11-16 | 2018-08-21 | Eonite Perception Inc. | Active region determination for head mounted displays |
GB2532465B (en) * | 2014-11-19 | 2021-08-11 | Bae Systems Plc | Interactive control station |
US10176639B2 (en) | 2014-11-27 | 2019-01-08 | Magic Leap, Inc. | Virtual/augmented reality system having dynamic region resolution |
US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
US10498976B2 (en) * | 2014-12-05 | 2019-12-03 | Microsoft Technology Licensing, Llc | Virtual focus feedback |
CN104597971B (zh) * | 2014-12-06 | 2018-04-03 | 许昌学院 | 一种可穿戴式计算机 |
US9633622B2 (en) * | 2014-12-18 | 2017-04-25 | Intel Corporation | Multi-user sensor-based interactions |
USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
USD753114S1 (en) | 2015-01-05 | 2016-04-05 | Osterhout Group, Inc. | Air mouse |
EP3245551B1 (en) | 2015-01-12 | 2019-09-18 | DigiLens Inc. | Waveguide light field displays |
CN107873086B (zh) | 2015-01-12 | 2020-03-20 | 迪吉伦斯公司 | 环境隔离的波导显示器 |
JP6867947B2 (ja) | 2015-01-20 | 2021-05-12 | ディジレンズ インコーポレイテッド | ホログラフィック導波路ライダー |
USD767509S1 (en) * | 2015-01-20 | 2016-09-27 | My Core Control Development, Llc | Controller device for heating kit |
JP6828235B2 (ja) * | 2015-12-07 | 2021-02-10 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム |
US9632226B2 (en) | 2015-02-12 | 2017-04-25 | Digilens Inc. | Waveguide grating device |
CN104615252B (zh) * | 2015-02-16 | 2019-02-05 | 联想(北京)有限公司 | 控制方法、控制装置、穿戴式电子设备及电子设备 |
US10878775B2 (en) | 2015-02-17 | 2020-12-29 | Mentor Acquisition One, Llc | See-through computer display systems |
US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
JP6565212B2 (ja) * | 2015-02-24 | 2019-08-28 | セイコーエプソン株式会社 | 表示装置、表示方法およびプログラム |
TWI567670B (zh) * | 2015-02-26 | 2017-01-21 | 宅妝股份有限公司 | 切換虛擬實境模式與擴增實境模式的管理方法以及系統 |
US9911232B2 (en) | 2015-02-27 | 2018-03-06 | Microsoft Technology Licensing, Llc | Molding and anchoring physically constrained virtual environments to real-world environments |
CN107533233B (zh) | 2015-03-05 | 2021-01-29 | 奇跃公司 | 用于增强现实的系统和方法 |
US10180734B2 (en) | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
US10838207B2 (en) | 2015-03-05 | 2020-11-17 | Magic Leap, Inc. | Systems and methods for augmented reality |
JP6887953B2 (ja) | 2015-03-16 | 2021-06-16 | マジック リープ,インコーポレイティド | 健康を損う疾病を診断して治療する方法及びシステム |
US10459145B2 (en) | 2015-03-16 | 2019-10-29 | Digilens Inc. | Waveguide device incorporating a light pipe |
US11628038B2 (en) | 2020-02-21 | 2023-04-18 | Raytrx, Llc | Multi-option all-digital 3D surgery visualization system and control |
US10591756B2 (en) | 2015-03-31 | 2020-03-17 | Digilens Inc. | Method and apparatus for contact image sensing |
US10142609B2 (en) * | 2015-04-29 | 2018-11-27 | Northrop Grumman Systems Corporation | Dynamically adjustable situational awareness interface for control of unmanned vehicles |
US20160335602A1 (en) * | 2015-05-13 | 2016-11-17 | Capital Preferences, Ltd. | Human Capital Management System and Method |
US20170132706A1 (en) * | 2015-05-13 | 2017-05-11 | Capital Preferences, Ltd. | Preference Based Financial Tool System and Method |
JP6877363B2 (ja) * | 2015-05-19 | 2021-05-26 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 照明器 |
US9891077B2 (en) | 2015-05-19 | 2018-02-13 | Magic Leap, Inc. | Dual composite light field device |
KR102336879B1 (ko) | 2015-05-20 | 2021-12-08 | 삼성전자주식회사 | 화면을 표시하는 전자 장치, 그 제어 방법 |
US9836117B2 (en) * | 2015-05-28 | 2017-12-05 | Microsoft Technology Licensing, Llc | Autonomous drones for tactile feedback in immersive virtual reality |
US9898864B2 (en) | 2015-05-28 | 2018-02-20 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
US10721280B1 (en) * | 2015-05-29 | 2020-07-21 | Sprint Communications Company L.P. | Extended mixed multimedia reality platform |
US10802577B2 (en) | 2015-06-04 | 2020-10-13 | Microsoft Technology Licensing, Llc | Establishing voice communication channel |
USD772821S1 (en) | 2015-06-11 | 2016-11-29 | Oculus Vr, Llc | Remote control unit |
KR102359038B1 (ko) | 2015-06-15 | 2022-02-04 | 매직 립, 인코포레이티드 | 멀티플렉싱된 광 스트림들을 인-커플링하기 위한 광학 엘리먼트들을 가진 디스플레이 시스템 |
JP6002286B1 (ja) * | 2015-07-14 | 2016-10-05 | 株式会社コロプラ | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム |
US10335572B1 (en) * | 2015-07-17 | 2019-07-02 | Naveen Kumar | Systems and methods for computer assisted operation |
US10149958B1 (en) * | 2015-07-17 | 2018-12-11 | Bao Tran | Systems and methods for computer assisted operation |
US10492981B1 (en) | 2015-07-17 | 2019-12-03 | Bao Tran | Systems and methods for computer assisted operation |
US10685488B1 (en) | 2015-07-17 | 2020-06-16 | Naveen Kumar | Systems and methods for computer assisted operation |
US10176642B2 (en) | 2015-07-17 | 2019-01-08 | Bao Tran | Systems and methods for computer assisted operation |
US10139966B2 (en) | 2015-07-22 | 2018-11-27 | Osterhout Group, Inc. | External user interface for head worn computing |
US11003246B2 (en) | 2015-07-22 | 2021-05-11 | Mentor Acquisition One, Llc | External user interface for head worn computing |
AU2016296723B2 (en) | 2015-07-20 | 2021-03-04 | Magic Leap, Inc. | Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system |
NZ752336A (en) | 2015-08-18 | 2023-06-30 | Magic Leap Inc | Virtual and augmented reality systems and methods |
CN112836664A (zh) | 2015-08-21 | 2021-05-25 | 奇跃公司 | 使用眼睛姿态测量的眼睑形状估计 |
CN108135467A (zh) | 2015-08-21 | 2018-06-08 | 奇跃公司 | 眼睑形状估计 |
US20170228929A1 (en) * | 2015-09-01 | 2017-08-10 | Patrick Dengler | System and Method by which combining computer hardware device sensor readings and a camera, provides the best, unencumbered Augmented Reality experience that enables real world objects to be transferred into any digital space, with context, and with contextual relationships. |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
JP6887422B2 (ja) | 2015-09-16 | 2021-06-16 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | オーディオファイルの頭部姿勢ミキシング |
EP3352467A4 (en) * | 2015-09-18 | 2019-05-15 | Sharp Kabushiki Kaisha | RECEIVING DEVICE, RECEIVING METHOD AND PROGRAM |
KR102413074B1 (ko) | 2015-09-21 | 2022-06-24 | 삼성전자주식회사 | 사용자 단말, 전자 장치 및 이들의 제어 방법 |
KR20220116375A (ko) | 2015-09-23 | 2022-08-22 | 매직 립, 인코포레이티드 | 오프-축 영상기를 이용한 눈 영상화 |
US10025375B2 (en) | 2015-10-01 | 2018-07-17 | Disney Enterprises, Inc. | Augmented reality controls for user interactions with a virtual world |
CN108474945B (zh) | 2015-10-05 | 2021-10-01 | 迪吉伦斯公司 | 波导显示器 |
IL294587A (en) | 2015-10-05 | 2022-09-01 | Magic Leap Inc | Microlens collimator for optical fiber scanning in a virtual/augmented reality system |
US10338391B2 (en) | 2015-10-06 | 2019-07-02 | Magic Leap, Inc. | Virtual/augmented reality system having reverse angle diffraction grating |
US9875575B2 (en) | 2015-10-07 | 2018-01-23 | Google Llc | Smoothing 3D models of objects to mitigate artifacts |
US10511895B2 (en) * | 2015-10-09 | 2019-12-17 | Warner Bros. Entertainment Inc. | Cinematic mastering for virtual reality and augmented reality |
KR101763636B1 (ko) * | 2015-10-15 | 2017-08-02 | 한국과학기술원 | 헤드 마운트 디스플레이를 이용한 협업 방법 |
US10152825B2 (en) * | 2015-10-16 | 2018-12-11 | Fyusion, Inc. | Augmenting multi-view image data with synthetic objects using IMU and image data |
CN108369653B (zh) | 2015-10-16 | 2021-12-14 | 奇跃公司 | 使用眼睛特征的眼睛姿态识别 |
JP6831840B2 (ja) * | 2015-10-20 | 2021-02-17 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 3次元空間内の仮想オブジェクトの選択 |
WO2017079333A1 (en) | 2015-11-04 | 2017-05-11 | Magic Leap, Inc. | Light field display metrology |
US9801295B2 (en) | 2015-11-05 | 2017-10-24 | Oculus Vr, Llc | Remote control unit with lanyard attachment mechanism |
US9763348B2 (en) | 2015-11-06 | 2017-09-12 | Oculus Vr, Llc | Remote control unit with battery retention mechanism |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US11231544B2 (en) | 2015-11-06 | 2022-01-25 | Magic Leap, Inc. | Metasurfaces for redirecting light and methods for fabricating |
AU2016365422A1 (en) | 2015-12-04 | 2018-06-28 | Magic Leap, Inc. | Relocalization systems and methods |
US9722235B2 (en) | 2015-12-11 | 2017-08-01 | Oculus Vr, Llc | Remote control unit with battery isolation tab |
US9990689B2 (en) * | 2015-12-16 | 2018-06-05 | WorldViz, Inc. | Multi-user virtual reality processing |
US10095928B2 (en) | 2015-12-22 | 2018-10-09 | WorldViz, Inc. | Methods and systems for marker identification |
KR20220062137A (ko) * | 2015-12-30 | 2022-05-13 | 아론 슈어파이어, 엘엘씨 | 광학 내로우캐스팅 |
EP3400478B1 (en) | 2016-01-07 | 2023-08-16 | Magic Leap, Inc. | Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes |
CN108780228B (zh) | 2016-01-19 | 2021-04-20 | 奇跃公司 | 利用映像的增强现实系统和方法 |
KR102567431B1 (ko) | 2016-01-19 | 2023-08-14 | 매직 립, 인코포레이티드 | 눈 이미지 수집, 선택 및 결합 |
US10684483B2 (en) * | 2016-01-20 | 2020-06-16 | Newtonoid Technologies, L.L.C. | Item of headwear |
CA3009365A1 (en) | 2016-01-20 | 2017-07-27 | Magic Leap, Inc. | Polarizing maintaining optical fiber in virtual/augmented reality system |
US10397320B2 (en) * | 2016-01-20 | 2019-08-27 | International Business Machines Corporation | Location based synchronized augmented reality streaming |
JP7012017B2 (ja) | 2016-01-29 | 2022-01-27 | マジック リープ, インコーポレイテッド | 3次元画像のためのディスプレイ |
US10983340B2 (en) | 2016-02-04 | 2021-04-20 | Digilens Inc. | Holographic waveguide optical tracker |
US10838206B2 (en) | 2016-02-18 | 2020-11-17 | Apple Inc. | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking |
US10591728B2 (en) | 2016-03-02 | 2020-03-17 | Mentor Acquisition One, Llc | Optical systems for head-worn computers |
JP6668811B2 (ja) | 2016-02-23 | 2020-03-18 | セイコーエプソン株式会社 | 訓練装置、訓練方法、プログラム |
CN108700697B (zh) | 2016-02-24 | 2021-12-14 | 奇跃公司 | 具有低光泄漏的偏振分束器 |
AU2017223716B2 (en) | 2016-02-24 | 2021-11-18 | Magic Leap, Inc. | Low profile interconnect for light emitter |
JP7470063B2 (ja) * | 2016-02-25 | 2024-04-17 | 株式会社コロプラ | ディスプレイとネットワークを介して接続される複数のコントローラとを連動させて画面操作するシステム、及びプログラム |
IL295839A (en) | 2016-02-26 | 2022-10-01 | Magic Leap Inc | A display system with a large number of light pipes for a large number of light emitters |
NZ761010A (en) | 2016-02-26 | 2024-02-23 | Magic Leap Inc | Light output system with reflector and lens for highly spatially uniform light output |
US10667981B2 (en) | 2016-02-29 | 2020-06-02 | Mentor Acquisition One, Llc | Reading assistance system for visually impaired |
NZ757279A (en) | 2016-03-01 | 2022-10-28 | Magic Leap Inc | Reflective switching device for inputting different wavelengths of light into waveguides |
WO2017151752A1 (en) * | 2016-03-01 | 2017-09-08 | Mirus Llc | Augmented visualization during surgery |
US10477157B1 (en) * | 2016-03-02 | 2019-11-12 | Meta View, Inc. | Apparatuses, methods and systems for a sensor array adapted for vision computing |
KR102556320B1 (ko) | 2016-03-04 | 2023-07-14 | 매직 립, 인코포레이티드 | Ar/vr 디스플레이 시스템들에서의 전류 드레인 감소 |
US10089453B2 (en) | 2016-03-07 | 2018-10-02 | Magic Leap, Inc. | Blue light adjustment for biometric identification |
GB2548154A (en) | 2016-03-11 | 2017-09-13 | Sony Computer Entertainment Europe Ltd | Virtual reality |
US10317989B2 (en) | 2016-03-13 | 2019-06-11 | Logitech Europe S.A. | Transition between virtual and augmented reality |
WO2017165231A1 (en) | 2016-03-22 | 2017-09-28 | Magic Leap, Inc. | Head mounted display system configured to exchange biometric information |
JP6895451B2 (ja) | 2016-03-24 | 2021-06-30 | ディジレンズ インコーポレイテッド | 偏光選択ホログラフィー導波管デバイスを提供するための方法および装置 |
CN113589529A (zh) | 2016-03-25 | 2021-11-02 | 奇跃公司 | 虚拟和增强现实系统和方法 |
KR101822806B1 (ko) * | 2016-03-31 | 2018-01-29 | 한국과학기술원 | 가상현실 기반 원거리 협업 기능과 데이터베이스를 제공하는 하이브리드 나노물질 및 나노소자의 재료 설계 장치 |
KR20230098927A (ko) | 2016-03-31 | 2023-07-04 | 매직 립, 인코포레이티드 | 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들 |
US10684478B2 (en) | 2016-05-09 | 2020-06-16 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
AU2017246901B2 (en) | 2016-04-08 | 2022-06-02 | Magic Leap, Inc. | Augmented reality systems and methods with variable focus lens elements |
US10824253B2 (en) | 2016-05-09 | 2020-11-03 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
US10466491B2 (en) | 2016-06-01 | 2019-11-05 | Mentor Acquisition One, Llc | Modular systems for head-worn computers |
CN109154717B (zh) | 2016-04-11 | 2022-05-13 | 迪吉伦斯公司 | 用于结构光投射的全息波导设备 |
US10380800B2 (en) * | 2016-04-18 | 2019-08-13 | Disney Enterprises, Inc. | System and method for linking and interacting between augmented reality and virtual reality environments |
KR20230098916A (ko) | 2016-04-21 | 2023-07-04 | 매직 립, 인코포레이티드 | 시야 주위의 시각적 아우라 |
US11727645B2 (en) * | 2016-04-27 | 2023-08-15 | Immersion | Device and method for sharing an immersion in a virtual environment |
US10046229B2 (en) | 2016-05-02 | 2018-08-14 | Bao Tran | Smart device |
US10242501B1 (en) | 2016-05-03 | 2019-03-26 | WorldViz, Inc. | Multi-user virtual and augmented reality tracking systems |
CN105997247A (zh) * | 2016-05-06 | 2016-10-12 | 京东方科技集团股份有限公司 | 一种应用于远程手术的控制端、手术设备端、方法及系统 |
JP6961619B2 (ja) | 2016-05-06 | 2021-11-05 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | 光を再指向させるための非対称格子を有するメタ表面および製造方法 |
KR102643105B1 (ko) | 2016-05-09 | 2024-03-04 | 매직 립, 인코포레이티드 | 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들 |
AU2017264780B2 (en) | 2016-05-12 | 2022-05-12 | Magic Leap, Inc. | Distributed light manipulation over imaging waveguide |
KR102560558B1 (ko) | 2016-05-20 | 2023-07-27 | 매직 립, 인코포레이티드 | 사용자 인터페이스 메뉴의 콘텍추얼 인식 |
CA3025300A1 (en) | 2016-05-23 | 2017-11-30 | Mako Surgical Corp. | Systems and methods for identifying and tracking physical objects during a robotic surgical procedure |
US20170337744A1 (en) | 2016-05-23 | 2017-11-23 | tagSpace Pty Ltd | Media tags - location-anchored digital media for augmented reality and virtual reality environments |
US10089788B2 (en) * | 2016-05-25 | 2018-10-02 | Google Llc | Light-field viewpoint and pixel culling for a head mounted display device |
US10435176B2 (en) | 2016-05-25 | 2019-10-08 | Skydio, Inc. | Perimeter structure for unmanned aerial vehicle |
IL299710A (en) | 2016-06-03 | 2023-03-01 | Magic Leap Inc | Identity verification in augmented reality |
KR20190015332A (ko) * | 2016-06-06 | 2019-02-13 | 데바 엔터테인먼트 리미티드 | 증강 현실의 가상 객체들에 영향을 미치는 장치 |
AU2017279495B2 (en) | 2016-06-10 | 2022-06-30 | Magic Leap, Inc. | Integrating point source for texture projecting bulb |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
US10126553B2 (en) * | 2016-06-16 | 2018-11-13 | Microsoft Technology Licensing, Llc | Control device with holographic element |
KR102491130B1 (ko) | 2016-06-20 | 2023-01-19 | 매직 립, 인코포레이티드 | 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템 |
US10019839B2 (en) * | 2016-06-30 | 2018-07-10 | Microsoft Technology Licensing, Llc | Three-dimensional object scanning feedback |
US10620717B2 (en) | 2016-06-30 | 2020-04-14 | Microsoft Technology Licensing, Llc | Position-determining input device |
WO2018004863A1 (en) | 2016-06-30 | 2018-01-04 | Magic Leap, Inc. | Estimating pose in 3d space |
WO2018013200A1 (en) | 2016-07-14 | 2018-01-18 | Magic Leap, Inc. | Deep neural network for iris identification |
CN114495249A (zh) | 2016-07-14 | 2022-05-13 | 奇跃公司 | 使用角膜曲率的虹膜边界估计 |
KR101696243B1 (ko) | 2016-07-22 | 2017-01-13 | 김계현 | 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법 |
CA3031771A1 (en) | 2016-07-25 | 2018-02-01 | Magic Leap, Inc. | Imaging modification, display and visualization using augmented and virtual reality eyewear |
KR102520143B1 (ko) | 2016-07-25 | 2023-04-11 | 매직 립, 인코포레이티드 | 광 필드 프로세서 시스템 |
US10403044B2 (en) | 2016-07-26 | 2019-09-03 | tagSpace Pty Ltd | Telelocation: location sharing for users in augmented and virtual reality environments |
CA3032282A1 (en) | 2016-07-29 | 2018-02-01 | Magic Leap, Inc. | Secure exchange of cryptographically signed records |
CN117741956A (zh) | 2016-08-02 | 2024-03-22 | 奇跃公司 | 固定距离虚拟和增强现实系统及方法 |
US11238610B2 (en) * | 2016-08-10 | 2022-02-01 | Disney Enterprises, Inc. | Placing large objects and objects separated by large distances in augmented reality |
KR102174465B1 (ko) * | 2016-08-10 | 2020-11-04 | 주식회사 케이티 | 초점 각도에 기초하여 가상 현실에 대한 컨텐츠를 렌더링하는 방법 및 장치 |
CN109804334B (zh) | 2016-08-11 | 2022-07-15 | 奇跃公司 | 用于三维空间中虚拟对象的自动放置的系统和方法 |
US11017712B2 (en) | 2016-08-12 | 2021-05-25 | Intel Corporation | Optimized display image rendering |
EP3497695A4 (en) | 2016-08-12 | 2019-12-25 | Magic Leap, Inc. | WORD STREAM ANNOTATION |
US10520943B2 (en) | 2016-08-12 | 2019-12-31 | Skydio, Inc. | Unmanned aerial image capture platform |
EP3500911B1 (en) | 2016-08-22 | 2023-09-27 | Magic Leap, Inc. | Augmented reality display device with deep learning sensors |
KR102450386B1 (ko) | 2016-08-22 | 2022-09-30 | 매직 립, 인코포레이티드 | 웨어러블 디스플레이 디바이스를 위한 디더링 방법들 및 장치 |
US10831334B2 (en) * | 2016-08-26 | 2020-11-10 | tagSpace Pty Ltd | Teleportation links for mixed reality environments |
US20180063205A1 (en) * | 2016-08-30 | 2018-03-01 | Augre Mixed Reality Technologies, Llc | Mixed reality collaboration |
CN113467089A (zh) | 2016-09-13 | 2021-10-01 | 奇跃公司 | 感测眼镜 |
US10681341B2 (en) | 2016-09-19 | 2020-06-09 | Verizon Patent And Licensing Inc. | Using a sphere to reorient a location of a user in a three-dimensional virtual reality video |
US11032535B2 (en) | 2016-09-19 | 2021-06-08 | Verizon Patent And Licensing Inc. | Generating a three-dimensional preview of a three-dimensional video |
US11032536B2 (en) | 2016-09-19 | 2021-06-08 | Verizon Patent And Licensing Inc. | Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video |
JP6978493B2 (ja) | 2016-09-21 | 2021-12-08 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | 射出瞳エクスパンダを伴う光学システムのためのシステムおよび方法 |
KR20240042181A (ko) | 2016-09-22 | 2024-04-01 | 매직 립, 인코포레이티드 | 증강 현실 분광기 |
AU2017330454B2 (en) | 2016-09-26 | 2022-08-18 | Magic Leap, Inc. | Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system |
AU2017335736B2 (en) | 2016-09-28 | 2022-08-11 | Magic Leap, Inc. | Face model capture by a wearable device |
CN106572344A (zh) * | 2016-09-29 | 2017-04-19 | 宇龙计算机通信科技(深圳)有限公司 | 虚拟现实直播方法、系统以及云服务器 |
RU2016138608A (ru) | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
US10445925B2 (en) * | 2016-09-30 | 2019-10-15 | Sony Interactive Entertainment Inc. | Using a portable device and a head-mounted display to view a shared virtual reality space |
WO2018067603A1 (en) | 2016-10-04 | 2018-04-12 | Magic Leap, Inc. | Efficient data layouts for convolutional neural networks |
WO2018067357A2 (en) | 2016-10-05 | 2018-04-12 | Magic Leap, Inc. | Periocular test for mixed reality calibration |
US10896544B2 (en) * | 2016-10-07 | 2021-01-19 | Htc Corporation | System and method for providing simulated environment |
US10514769B2 (en) * | 2016-10-16 | 2019-12-24 | Dell Products, L.P. | Volumetric tracking for orthogonal displays in an electronic collaboration setting |
GB2555378B (en) * | 2016-10-18 | 2021-06-09 | Virtually Live Switzerland Gmbh | HMD delivery system and method |
CN109901710B (zh) * | 2016-10-19 | 2020-12-01 | 腾讯科技(深圳)有限公司 | 媒体文件的处理方法和装置、存储介质及终端 |
IL302405B1 (en) | 2016-10-21 | 2024-04-01 | Magic Leap Inc | System and method for displaying image content on multiple depth planes by providing multiple intrapupillary parallax fields of view |
US10593116B2 (en) | 2016-10-24 | 2020-03-17 | Snap Inc. | Augmented reality object manipulation |
US10192362B2 (en) * | 2016-10-27 | 2019-01-29 | Gopro, Inc. | Generating virtual reality and augmented reality content for a live event |
US10565790B2 (en) | 2016-11-11 | 2020-02-18 | Magic Leap, Inc. | Periocular and audio synthesis of a full face image |
US10754416B2 (en) | 2016-11-14 | 2020-08-25 | Logitech Europe S.A. | Systems and methods for a peripheral-centric augmented/virtual reality environment |
WO2018090060A1 (en) * | 2016-11-14 | 2018-05-17 | Logitech Europe S.A. | A system for importing user interface devices into virtual/augmented reality |
IL297846B2 (en) | 2016-11-15 | 2023-12-01 | Magic Leap Inc | A deep learning system for discovering a cube |
JP2018082308A (ja) * | 2016-11-16 | 2018-05-24 | ソニー株式会社 | 情報処理装置、方法及びプログラム |
JP7037561B2 (ja) | 2016-11-16 | 2022-03-16 | マジック リープ, インコーポレイテッド | ウェアラブルコンポーネントのための熱管理システム |
JP7116058B2 (ja) | 2016-11-18 | 2022-08-09 | マジック リープ, インコーポレイテッド | 空間可変液晶回折格子 |
KR102506485B1 (ko) | 2016-11-18 | 2023-03-03 | 매직 립, 인코포레이티드 | 넓은 입사 각도 범위들의 광을 방향전환시키기 위한 다중층 액정 회절 격자들 |
AU2017363078B2 (en) | 2016-11-18 | 2022-09-29 | Magic Leap, Inc. | Waveguide light multiplexer using crossed gratings |
US11067860B2 (en) | 2016-11-18 | 2021-07-20 | Magic Leap, Inc. | Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same |
US10373452B2 (en) * | 2016-11-29 | 2019-08-06 | Immersion Corporation | Targeted haptic projection |
KR102609494B1 (ko) * | 2016-11-29 | 2023-12-01 | 엘지디스플레이 주식회사 | 외부 보상용 표시장치와 그 구동방법 |
US11295458B2 (en) * | 2016-12-01 | 2022-04-05 | Skydio, Inc. | Object tracking by an unmanned aerial vehicle using visual sensors |
WO2018102834A2 (en) | 2016-12-02 | 2018-06-07 | Digilens, Inc. | Waveguide device with uniform output illumination |
KR102413561B1 (ko) | 2016-12-05 | 2022-06-24 | 매직 립, 인코포레이티드 | 혼합 현실 환경의 가상 사용자 입력 콘트롤들 |
US10531220B2 (en) | 2016-12-05 | 2020-01-07 | Magic Leap, Inc. | Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems |
EP3548958A4 (en) * | 2016-12-05 | 2020-07-29 | Case Western Reserve University | SYSTEMS, METHODS AND MEDIA FOR DISPLAYING INTERACTIVE AUGMENTED REALITY PRESENTATIONS |
AU2017371047B2 (en) | 2016-12-08 | 2021-10-14 | Magic Leap, Inc. | Diffractive devices based on cholesteric liquid crystal |
US20180164885A1 (en) * | 2016-12-09 | 2018-06-14 | Immersion Corporation | Systems and Methods For Compliance Illusions With Haptics |
CN111654473B (zh) | 2016-12-13 | 2022-07-19 | 创新先进技术有限公司 | 基于增强现实的虚拟对象分配方法及装置 |
CA3046399A1 (en) | 2016-12-13 | 2018-06-21 | Magic Leap, Inc. | 3d object rendering using detected features |
EP4148402A1 (en) | 2016-12-13 | 2023-03-15 | Magic Leap, Inc. | Augmented and virtual reality eyewear, systems, and methods for delivering polarized light and determining glucose levels |
KR102550742B1 (ko) | 2016-12-14 | 2023-06-30 | 매직 립, 인코포레이티드 | 표면 정렬 패턴들의 소프트-임프린트 복제를 이용한 액정들의 패터닝 |
WO2018116377A1 (ja) * | 2016-12-20 | 2018-06-28 | 株式会社キッズプレート | 現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム |
CN107741809B (zh) * | 2016-12-21 | 2020-05-12 | 腾讯科技(深圳)有限公司 | 一种虚拟形象之间的互动方法、终端、服务器及系统 |
US10371896B2 (en) | 2016-12-22 | 2019-08-06 | Magic Leap, Inc. | Color separation in planar waveguides using dichroic filters |
CA3046662A1 (en) | 2016-12-22 | 2018-06-28 | Magic Leap, Inc. | Systems and methods for manipulating light from ambient light sources |
TWI603227B (zh) * | 2016-12-23 | 2017-10-21 | 李雨暹 | 移動物件的虛擬訊息遠距管理方法與應用系統 |
GB2558284B (en) * | 2016-12-23 | 2021-12-08 | Sony Interactive Entertainment Inc | Virtual reality |
US10746999B2 (en) | 2016-12-28 | 2020-08-18 | Magic Leap, Inc. | Dual depth exit pupil expander |
EP3563215A4 (en) | 2016-12-29 | 2020-08-05 | Magic Leap, Inc. | AUTOMATIC CONTROL OF A WEARABLE DISPLAY DEVICE BASED ON EXTERNAL CONDITIONS |
US10262464B2 (en) * | 2016-12-30 | 2019-04-16 | Intel Corporation | Dynamic, local augmented reality landmarks |
US10499997B2 (en) | 2017-01-03 | 2019-12-10 | Mako Surgical Corp. | Systems and methods for surgical navigation |
US10442727B2 (en) | 2017-01-05 | 2019-10-15 | Magic Leap, Inc. | Patterning of high refractive index glasses by plasma etching |
US10545346B2 (en) | 2017-01-05 | 2020-01-28 | Digilens Inc. | Wearable heads up displays |
US10242503B2 (en) * | 2017-01-09 | 2019-03-26 | Snap Inc. | Surface aware lens |
US20200035030A1 (en) * | 2017-01-17 | 2020-01-30 | Aaron Schradin | Augmented/virtual mapping system |
JP6227177B1 (ja) * | 2017-01-20 | 2017-11-08 | 株式会社Qdレーザ | 画像投影装置 |
US10498951B2 (en) | 2017-01-23 | 2019-12-03 | Digital Global Systems, Inc. | Systems, methods, and devices for unmanned vehicle detection |
US10700794B2 (en) | 2017-01-23 | 2020-06-30 | Digital Global Systems, Inc. | Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time within an electromagnetic spectrum |
US10529241B2 (en) | 2017-01-23 | 2020-01-07 | Digital Global Systems, Inc. | Unmanned vehicle recognition and threat management |
US10459020B2 (en) | 2017-01-23 | 2019-10-29 | DGS Global Systems, Inc. | Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time within a spectrum |
CN110462460B (zh) | 2017-01-23 | 2022-10-14 | 奇跃公司 | 用于虚拟、增强或混合现实系统的目镜 |
US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
US10841724B1 (en) | 2017-01-24 | 2020-11-17 | Ha Tran | Enhanced hearing system |
CN106791748A (zh) * | 2017-01-25 | 2017-05-31 | 触景无限科技(北京)有限公司 | 一种台灯的投影处理方法及装置 |
CA3051414A1 (en) | 2017-01-27 | 2018-08-02 | Magic Leap, Inc. | Diffraction gratings formed by metasurfaces having differently oriented nanobeams |
JP7155129B2 (ja) | 2017-01-27 | 2022-10-18 | マジック リープ, インコーポレイテッド | メタ表面のための反射防止コーティング |
JP6244593B1 (ja) | 2017-01-30 | 2017-12-13 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
US11347054B2 (en) | 2017-02-16 | 2022-05-31 | Magic Leap, Inc. | Systems and methods for augmented reality |
US10997558B2 (en) | 2017-02-20 | 2021-05-04 | Vspatial, Inc. | System and method for creating a collaborative virtual session |
WO2018156784A1 (en) | 2017-02-23 | 2018-08-30 | Magic Leap, Inc. | Variable-focus virtual image devices based on polarization conversion |
US10672171B2 (en) * | 2017-03-07 | 2020-06-02 | Lamplight Forest Holdings Pty Ltd | System and method for dynamic content generation in a virtual space |
US10043406B1 (en) | 2017-03-10 | 2018-08-07 | Intel Corporation | Augmented emotion display for austistic persons |
EP4235232A3 (en) | 2017-03-14 | 2023-12-27 | Magic Leap, Inc. | Waveguides with light absorbing films and processes for forming the same |
AU2018236457B2 (en) | 2017-03-17 | 2021-04-29 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
EP3596659A4 (en) | 2017-03-17 | 2021-01-27 | Magic Leap, Inc. | SPACE LAYOUT APPRAISAL METHODS AND TECHNIQUES |
CA3055218A1 (en) | 2017-03-17 | 2018-09-20 | Magic Leap, Inc. | Mixed reality system with color virtual content warping and method of generating virtual content using same |
IL303275B1 (en) | 2017-03-17 | 2024-04-01 | Magic Leap Inc | A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it |
KR101963244B1 (ko) * | 2017-03-20 | 2019-03-28 | ㈜라이커스게임 | 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램 |
KR102627846B1 (ko) | 2017-03-21 | 2024-01-22 | 매직 립, 인코포레이티드 | 공간 광 변조기들을 조명하기 위한 방법들, 디바이스들, 및 시스템들 |
KR102527329B1 (ko) | 2017-03-21 | 2023-05-02 | 매직 립, 인코포레이티드 | 가상, 증강 및 혼합 현실 시스템들을 위한 깊이 감지 기술 |
CA3056771A1 (en) | 2017-03-21 | 2018-09-27 | Magic Leap, Inc. | Stacked waveguides having different diffraction gratings for combined field of view |
KR20190126124A (ko) | 2017-03-21 | 2019-11-08 | 매직 립, 인코포레이티드 | 분할된 동공들을 위한 공간 광 변조기 조명을 갖는 디스플레이 시스템 |
EP3602176A4 (en) | 2017-03-21 | 2020-12-02 | Magic Leap, Inc. | LOW-BALLY BEAM DIVIDER |
WO2018175343A1 (en) | 2017-03-21 | 2018-09-27 | Magic Leap, Inc. | Eye-imaging apparatus using diffractive optical elements |
JP7096836B2 (ja) | 2017-03-22 | 2022-07-06 | マジック リープ, インコーポレイテッド | ディスプレイシステムのための深度ベース中心窩化レンダリング |
US10369472B1 (en) | 2017-03-30 | 2019-08-06 | Electronic Arts Inc. | Virtual environment mapping system |
ES2640790A1 (es) * | 2017-04-04 | 2017-11-06 | Stanislas Louis ALEXANDRE KARNKOWSKI | Procedimiento para la detección y representación virtual de actividades de acción |
US10403050B1 (en) * | 2017-04-10 | 2019-09-03 | WorldViz, Inc. | Multi-user virtual and augmented reality tracking systems |
IL300685B2 (en) | 2017-04-18 | 2024-04-01 | Magic Leap Inc | Glavo with reflective layers created by flowing reflective materials |
IL270002B2 (en) | 2017-04-19 | 2023-11-01 | Magic Leap Inc | Multimodal task execution and text editing for a wearable system |
WO2018201067A1 (en) | 2017-04-27 | 2018-11-01 | Magic Leap, Inc. | Light-emitting user input device |
KR102555443B1 (ko) | 2017-05-01 | 2023-07-12 | 매직 립, 인코포레이티드 | 콘텐츠를 공간 3d 환경에 매칭 |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
US10078909B1 (en) * | 2017-05-16 | 2018-09-18 | Facebook, Inc. | Video stream customization using graphics |
CN117891335A (zh) | 2017-05-19 | 2024-04-16 | 奇跃公司 | 用于虚拟、增强和混合现实显示系统的键盘 |
CN117615380A (zh) | 2017-05-22 | 2024-02-27 | 奇跃公司 | 与同伴设备配对 |
IL303933B1 (en) | 2017-05-30 | 2024-04-01 | Magic Leap Inc | Power supply assembly with fan assembly for an electronic device |
EP3631567B1 (en) | 2017-05-31 | 2022-09-21 | Magic Leap, Inc. | Eye tracking calibration techniques |
US9853740B1 (en) | 2017-06-06 | 2017-12-26 | Surefire Llc | Adaptive communications focal plane array |
US20180357826A1 (en) * | 2017-06-10 | 2018-12-13 | Tsunami VR, Inc. | Systems and methods for using hierarchical relationships of different virtual content to determine sets of virtual content to generate and display |
EP3639510A4 (en) | 2017-06-12 | 2021-03-24 | Magic Leap, Inc. | AUGMENTED REALITY DISPLAY FEATURING AN ADAPTIVE MULTI-ELEMENT LENS FOR MODIFYING DEPTH PLANS |
JP6509955B2 (ja) * | 2017-06-28 | 2019-05-08 | 株式会社コロプラ | 情報処理方法、プログラム及び情報処理装置 |
US10562181B2 (en) | 2017-07-03 | 2020-02-18 | X Development Llc | Determining and utilizing corrections to robot actions |
US11106967B2 (en) | 2017-07-03 | 2021-08-31 | X Development Llc | Update of local features model based on correction to robot action |
WO2019014127A1 (en) * | 2017-07-10 | 2019-01-17 | Magic Leap, Inc. | METHOD AND SYSTEM FOR INTEGRATION OF ELECTRONIC SENSORS WITH A THERMAL COOLING SYSTEM |
US10908680B1 (en) | 2017-07-12 | 2021-02-02 | Magic Leap, Inc. | Pose estimation using electromagnetic tracking |
WO2019012315A1 (ru) * | 2017-07-13 | 2019-01-17 | Девар Энтертеймент Лимитед | Способ формирования среды дополненной реальности |
KR20220030315A (ko) | 2017-07-26 | 2022-03-10 | 매직 립, 인코포레이티드 | 사용자 인터페이스 디바이스들의 표현들을 이용한 뉴럴 네트워크 트레이닝 |
US11138915B2 (en) | 2017-07-28 | 2021-10-05 | Magic Leap, Inc. | Fan assembly for displaying an image |
CN109389677B (zh) * | 2017-08-02 | 2022-10-18 | 珊口(上海)智能科技有限公司 | 房屋三维实景地图的实时构建方法、系统、装置及存储介质 |
US10152141B1 (en) | 2017-08-18 | 2018-12-11 | Osterhout Group, Inc. | Controller movement tracking with light emitters |
US10521661B2 (en) | 2017-09-01 | 2019-12-31 | Magic Leap, Inc. | Detailed eye shape model for robust biometric applications |
US11036285B2 (en) * | 2017-09-04 | 2021-06-15 | Abhinav Aggarwal | Systems and methods for mixed reality interactions with avatar |
IL294197A (en) | 2017-09-20 | 2022-08-01 | Magic Leap Inc | A personal neural network for eye tracking |
CA3075096A1 (en) | 2017-09-21 | 2019-03-28 | Magic Leap, Inc. | Augmented reality display with waveguide configured to capture images of eye and/or environment |
CN111133368A (zh) | 2017-09-27 | 2020-05-08 | 奇跃公司 | 具有分离的相位和幅度调制器的近眼3d显示器 |
US10803666B1 (en) | 2017-09-28 | 2020-10-13 | Apple Inc. | Method and device for synchronizing augmented reality coordinate systems |
US10482575B2 (en) * | 2017-09-28 | 2019-11-19 | Intel Corporation | Super-resolution apparatus and method for virtual and mixed reality |
US10922878B2 (en) * | 2017-10-04 | 2021-02-16 | Google Llc | Lighting for inserted content |
CN111465887A (zh) | 2017-10-11 | 2020-07-28 | 奇跃公司 | 包括具有透明发射显示器的目镜的增强现实显示器 |
KR102133219B1 (ko) * | 2017-10-11 | 2020-07-14 | 주식회사 카이비전 | 움직임감지 증강현실 글라스 |
CN111465912A (zh) * | 2017-10-11 | 2020-07-28 | 凯菲森有限公司 | 具有运动检测功能的增强现实眼镜 |
WO2019079350A2 (en) | 2017-10-16 | 2019-04-25 | Digilens, Inc. | SYSTEMS AND METHODS FOR MULTIPLYING THE IMAGE RESOLUTION OF A PIXÉLISÉ DISPLAY |
KR102022971B1 (ko) * | 2017-10-18 | 2019-09-19 | 한국전자통신연구원 | 영상의 객체 처리 방법 및 장치 |
US10890769B2 (en) | 2017-10-26 | 2021-01-12 | Magic Leap, Inc. | Augmented reality display having liquid crystal variable focus element and roll-to-roll method and apparatus for forming the same |
WO2019084189A1 (en) | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | SYSTEMS AND METHODS FOR GRADIENT NORMALIZATION FOR ADAPTIVE LOSS BALANCING IN DEEP MULTITASK NETWORKS |
IL308526A (en) | 2017-10-26 | 2024-01-01 | Magic Leap Inc | Broadband adjustable lens assembly for augmented reality display |
IL274038B1 (en) | 2017-10-27 | 2024-03-01 | Magic Leap Inc | A virtual network for augmented reality systems |
JP7170736B2 (ja) | 2017-11-01 | 2022-11-14 | ヴイアールジニアズ インコーポレイテッド | 双方向性拡張または仮想現実装置 |
DE102017219790A1 (de) * | 2017-11-07 | 2019-05-09 | Volkswagen Aktiengesellschaft | System und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille, System und Verfahren zum Einmessen einer Augmented-Reality-Brille, Verfahren zum Unterstützen einer Posenbestimmung einer Augmented-Reality-Brille und für das Verfahren geeignetes Kraftfahrzeug |
WO2019092590A1 (ru) * | 2017-11-09 | 2019-05-16 | ГИОРГАДЗЕ, Анико Тенгизовна | Взаимодействие пользователей в коммуникационной системе при помощи множественного потокового вещания данных дополненной реальности |
IL274424B1 (en) | 2017-11-14 | 2024-03-01 | Magic Leap Inc | Meta-learning for multi-task learning for neural networks |
US10553031B2 (en) | 2017-12-06 | 2020-02-04 | Microsoft Technology Licensing, Llc | Digital project file presentation |
EP3724712A4 (en) | 2017-12-11 | 2021-08-04 | Magic Leap, Inc. | WAVE GUIDE LIGHTING |
CN111656406A (zh) | 2017-12-14 | 2020-09-11 | 奇跃公司 | 基于上下文的虚拟化身渲染 |
WO2019118886A1 (en) | 2017-12-15 | 2019-06-20 | Magic Leap, Inc. | Enhanced pose determination for display device |
IL274977B2 (en) | 2017-12-15 | 2023-10-01 | Magic Leap Inc | Eyepieces for an augmented reality display system |
AU2018388581A1 (en) | 2017-12-22 | 2020-07-23 | Magic Leap, Inc. | Methods and system for managing and displaying virtual content in a mixed reality system |
KR102181587B1 (ko) | 2017-12-26 | 2020-11-20 | (주)스코넥엔터테인먼트 | 가상 환경 제어 시스템 |
WO2019132521A1 (ko) * | 2017-12-26 | 2019-07-04 | 스코넥엔터테인먼트주식회사 | 가상 환경 제어 시스템 |
US20190204599A1 (en) * | 2017-12-28 | 2019-07-04 | Microsoft Technology Licensing, Llc | Head-mounted display device with electromagnetic sensor |
JPWO2019130864A1 (ja) * | 2017-12-28 | 2021-01-28 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
EP3735601A4 (en) | 2018-01-04 | 2021-09-08 | Magic Leap, Inc. | OPTICAL ELEMENTS BASED ON POLYMERIC STRUCTURES WITH INORGANIC MATERIALS |
US10250948B1 (en) | 2018-01-05 | 2019-04-02 | Aron Surefire, Llc | Social media with optical narrowcasting |
KR102547943B1 (ko) | 2018-01-05 | 2023-06-26 | 삼성디스플레이 주식회사 | 헤드 마운트 표시 장치 |
US10473439B2 (en) | 2018-01-05 | 2019-11-12 | Aron Surefire, Llc | Gaming systems and methods using optical narrowcasting |
US10236986B1 (en) | 2018-01-05 | 2019-03-19 | Aron Surefire, Llc | Systems and methods for tiling free space optical transmissions |
CN111566571B (zh) | 2018-01-08 | 2022-05-13 | 迪吉伦斯公司 | 波导单元格中全息光栅高吞吐量记录的系统和方法 |
WO2019136476A1 (en) | 2018-01-08 | 2019-07-11 | Digilens, Inc. | Waveguide architectures and related methods of manufacturing |
WO2019143864A1 (en) | 2018-01-17 | 2019-07-25 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
AU2019209930B2 (en) | 2018-01-17 | 2023-08-03 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
US10634913B2 (en) * | 2018-01-22 | 2020-04-28 | Symbol Technologies, Llc | Systems and methods for task-based adjustable focal distance for heads-up displays |
US11567627B2 (en) | 2018-01-30 | 2023-01-31 | Magic Leap, Inc. | Eclipse cursor for virtual content in mixed reality displays |
US10540941B2 (en) | 2018-01-30 | 2020-01-21 | Magic Leap, Inc. | Eclipse cursor for mixed reality displays |
KR20200115631A (ko) * | 2018-02-02 | 2020-10-07 | 인터디지털 씨이 페이튼트 홀딩스 | 멀티뷰잉 가상 현실 사용자 인터페이스 |
US11442682B2 (en) * | 2018-02-05 | 2022-09-13 | Sony Interactive Entertainment Inc. | Entertainment apparatus, display controlling method, and display controlling program |
EP3750033A4 (en) | 2018-02-06 | 2021-10-13 | Magic Leap, Inc. | SYSTEMS AND PROCEDURES FOR EXTENDED REALITY |
EP3756079A4 (en) | 2018-02-22 | 2021-04-28 | Magic Leap, Inc. | OBJECT GENERATION WITH PHYSICAL MANIPULATION |
US10735649B2 (en) | 2018-02-22 | 2020-08-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods using display system control information embedded in image data |
CA3089646A1 (en) | 2018-02-22 | 2019-08-20 | Magic Leap, Inc. | Browser for mixed reality systems |
CA3089316A1 (en) | 2018-02-27 | 2019-09-06 | Magic Leap, Inc. | Matching meshes for virtual avatars |
JP2019152899A (ja) * | 2018-02-28 | 2019-09-12 | 株式会社バンダイナムコスタジオ | シミュレーションシステム及びプログラム |
WO2019168723A1 (en) | 2018-02-28 | 2019-09-06 | Magic Leap, Inc. | Head scan alignment using ocular registration |
US11368379B2 (en) | 2018-03-06 | 2022-06-21 | Texas State University | Augmented reality/virtual reality platform for a network analyzer |
EP3593198B1 (en) | 2018-03-07 | 2023-03-08 | Magic Leap, Inc. | Visual tracking of peripheral devices |
CN111886533A (zh) | 2018-03-12 | 2020-11-03 | 奇跃公司 | 基于倾斜阵列的显示器 |
EP3765890A4 (en) | 2018-03-14 | 2022-01-12 | Magic Leap, Inc. | DISPLAY SYSTEMS AND CONTENT CROPPING METHODS TO INCREASE VIEWING COMFORT |
EP3765943A4 (en) | 2018-03-16 | 2021-12-22 | Magic Leap, Inc. | DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS |
EP3766004A4 (en) | 2018-03-16 | 2021-12-15 | Magic Leap, Inc. | FACIAL EXPRESSIONS OBTAINED FROM EYE-TRACKING CAMERAS |
CN112088332A (zh) | 2018-03-16 | 2020-12-15 | 迪吉伦斯公司 | 包含双折射控制的全息波导及用于它们的制造的方法 |
USD868108S1 (en) * | 2018-03-16 | 2019-11-26 | Magic Leap, Inc. | Display panel or portion thereof with graphical user interface |
US20200380486A1 (en) * | 2018-03-20 | 2020-12-03 | Rocky Jerome Wright | Augmented reality and messaging |
WO2019183399A1 (en) | 2018-03-21 | 2019-09-26 | Magic Leap, Inc. | Augmented reality system and method for spectroscopic analysis |
WO2019204164A1 (en) | 2018-04-16 | 2019-10-24 | Magic Leap, Inc. | Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters |
WO2019204765A1 (en) | 2018-04-19 | 2019-10-24 | Magic Leap, Inc. | Systems and methods for operating a display system based on user perceptibility |
US20190324538A1 (en) * | 2018-04-20 | 2019-10-24 | Immersion Corporation | Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment |
WO2019209431A1 (en) | 2018-04-23 | 2019-10-31 | Magic Leap, Inc. | Avatar facial expression representation in multidimensional space |
WO2019209265A1 (en) | 2018-04-24 | 2019-10-31 | Hewlett-Packard Development Company, L.P. | Animated gazes on head mounted displays |
KR102575649B1 (ko) | 2018-04-24 | 2023-09-06 | 삼성전자주식회사 | 투시형 디스플레이 장치 |
US11869388B2 (en) | 2018-04-27 | 2024-01-09 | Red Six Aerospace Inc. | Augmented reality for vehicle operations |
US11436932B2 (en) | 2018-04-27 | 2022-09-06 | Red Six Aerospace Inc. | Methods and systems to allow real pilots in real aircraft using augmented and virtual reality to meet in a virtual piece of airspace |
US11887495B2 (en) | 2018-04-27 | 2024-01-30 | Red Six Aerospace Inc. | Augmented reality for vehicle operations |
US11508255B2 (en) | 2018-04-27 | 2022-11-22 | Red Six Aerospace Inc. | Methods, systems, apparatuses and devices for facilitating provisioning of a virtual experience |
KR102068215B1 (ko) * | 2018-04-30 | 2020-01-20 | 주식회사 북트랩스 | 증강현실/가상현실을 적용한 스토리 기반의 콘텐츠 제공 방법 및 시스템 |
US10504289B2 (en) | 2018-05-01 | 2019-12-10 | Dell Products, Lp | Method and apparatus for securely displaying private information using an augmented reality headset |
WO2019212902A1 (en) * | 2018-05-03 | 2019-11-07 | Pcms Holdings, Inc. | Systems and methods for physical proximity and/or gesture-based chaining of vr experiences |
WO2019213220A1 (en) | 2018-05-03 | 2019-11-07 | Magic Leap, Inc. | Using 3d scans of a physical subject to determine positions and orientations of joints for a virtual character |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
WO2019226554A1 (en) | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Skeletal systems for animating virtual avatars |
WO2019226691A1 (en) | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
US10818093B2 (en) | 2018-05-25 | 2020-10-27 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
US10984600B2 (en) | 2018-05-25 | 2021-04-20 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
US11651555B2 (en) * | 2018-05-31 | 2023-05-16 | Microsoft Technology Licensing, Llc | Re-creation of virtual environment through a video call |
JP7319303B2 (ja) * | 2018-05-31 | 2023-08-01 | マジック リープ, インコーポレイテッド | レーダ頭部姿勢位置特定 |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
US11157159B2 (en) | 2018-06-07 | 2021-10-26 | Magic Leap, Inc. | Augmented reality scrollbar |
US11749124B2 (en) * | 2018-06-12 | 2023-09-05 | Skydio, Inc. | User interaction with an autonomous unmanned aerial vehicle |
WO2019246129A2 (en) | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Augmented reality display with frame modulation functionality |
US11151793B2 (en) | 2018-06-26 | 2021-10-19 | Magic Leap, Inc. | Waypoint creation in map detection |
EP3818530A4 (en) | 2018-07-02 | 2022-03-30 | Magic Leap, Inc. | METHODS AND SYSTEMS FOR INTERPOLATION OF VARIOUS INPUTS |
CN112673298A (zh) | 2018-07-05 | 2021-04-16 | 奇跃公司 | 用于头戴式显示系统的基于波导的照明 |
US11474978B2 (en) | 2018-07-06 | 2022-10-18 | Capital One Services, Llc | Systems and methods for a data search engine based on data profiles |
US10460235B1 (en) | 2018-07-06 | 2019-10-29 | Capital One Services, Llc | Data model generation using generative adversarial networks |
US10863812B2 (en) * | 2018-07-18 | 2020-12-15 | L'oreal | Makeup compact with eye tracking for guidance of makeup application |
US11966055B2 (en) | 2018-07-19 | 2024-04-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
EP3827300A4 (en) | 2018-07-23 | 2021-09-15 | Magic Leap, Inc. | METHOD AND SYSTEM FOR RESOLVING A HEMISPHERIC AMBUILITY USING A LOCATION VECTOR |
CN117711284A (zh) | 2018-07-23 | 2024-03-15 | 奇跃公司 | 场顺序显示器中的场内子码时序 |
EP3827299A4 (en) | 2018-07-23 | 2021-10-27 | Magic Leap, Inc. | SYSTEM OF MIXED REALITY WITH VIRTUAL CONTENT DISTORTION AND PROCESS FOR GENERATING VIRTUAL CONTENT WITH IT |
JP7309849B2 (ja) * | 2018-07-24 | 2023-07-18 | マジック リープ, インコーポレイテッド | 画像ディスプレイデバイスの位置特定マップを決定および/または評価するための方法および装置 |
WO2020023404A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Flicker mitigation when toggling eyepiece display illumination in augmented reality systems |
USD924204S1 (en) | 2018-07-24 | 2021-07-06 | Magic Leap, Inc. | Totem controller having an illumination region |
CN112689869A (zh) | 2018-07-24 | 2021-04-20 | 奇跃公司 | 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 |
USD918176S1 (en) | 2018-07-24 | 2021-05-04 | Magic Leap, Inc. | Totem controller having an illumination region |
USD930614S1 (en) | 2018-07-24 | 2021-09-14 | Magic Leap, Inc. | Totem controller having an illumination region |
JP7418400B2 (ja) | 2018-07-24 | 2024-01-19 | マジック リープ, インコーポレイテッド | 再バウンス誘発光損失の軽減を伴う回折光学要素および関連システムおよび方法 |
US10835828B1 (en) * | 2018-07-25 | 2020-11-17 | Facebook, Inc. | Augmented-reality game overlays in video communications |
WO2020023779A1 (en) | 2018-07-25 | 2020-01-30 | Digilens Inc. | Systems and methods for fabricating a multilayer optical structure |
JP7459050B2 (ja) | 2018-07-27 | 2024-04-01 | マジック リープ, インコーポレイテッド | 仮想キャラクタの姿勢空間変形のための姿勢空間次元低減 |
CN112805659A (zh) | 2018-08-03 | 2021-05-14 | 奇跃公司 | 通过用户分类为多深度平面显示系统选择深度平面 |
CN109308741B (zh) * | 2018-08-08 | 2023-04-07 | 长春理工大学 | 一种基于Meta2的自然交互工艺品创意设计系统 |
CN112805750A (zh) | 2018-08-13 | 2021-05-14 | 奇跃公司 | 跨现实系统 |
US10943461B2 (en) | 2018-08-24 | 2021-03-09 | Digital Global Systems, Inc. | Systems, methods, and devices for automatic signal detection based on power distribution by frequency over time |
US11030813B2 (en) | 2018-08-30 | 2021-06-08 | Snap Inc. | Video clip object tracking |
US11141645B2 (en) | 2018-09-11 | 2021-10-12 | Real Shot Inc. | Athletic ball game using smart glasses |
US11103763B2 (en) | 2018-09-11 | 2021-08-31 | Real Shot Inc. | Basketball shooting game using smart glasses |
WO2020054954A1 (en) | 2018-09-11 | 2020-03-19 | Samsung Electronics Co., Ltd. | Method and system for providing real-time virtual feedback |
US10679410B2 (en) * | 2018-09-14 | 2020-06-09 | Facebook Technologies, Llc | Display opacity control for preventing view occlusion in artificial reality |
USD950567S1 (en) | 2018-09-18 | 2022-05-03 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
USD934872S1 (en) | 2018-09-18 | 2021-11-02 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
USD955396S1 (en) | 2018-09-18 | 2022-06-21 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
USD934873S1 (en) | 2018-09-18 | 2021-11-02 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
US11094127B2 (en) | 2018-09-25 | 2021-08-17 | Magic Leap, Inc. | Systems and methods for presenting perspective views of augmented reality virtual object |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
CN113196209A (zh) | 2018-10-05 | 2021-07-30 | 奇跃公司 | 在任何位置渲染位置特定的虚拟内容 |
US10937244B2 (en) * | 2018-10-23 | 2021-03-02 | Microsoft Technology Licensing, Llc | Efficiency enhancements to construction of virtual reality environments |
EP3871034A4 (en) | 2018-10-26 | 2022-08-10 | Magic Leap, Inc. | ELECTROMAGNETIC AMBIENT DISTORTION CORRECTION FOR ELECTROMAGNETIC TRACKING |
US10914945B2 (en) | 2018-11-09 | 2021-02-09 | Facebook Technologies, Llc | Inconspicuous near-eye electrical circuits |
JP7445653B2 (ja) * | 2018-11-09 | 2024-03-07 | ベックマン コールター, インコーポレイテッド | 選択的データ提供を備えた修理グラス |
EP3884337A4 (en) | 2018-11-20 | 2022-08-17 | Magic Leap, Inc. | EYEPIECES FOR AN AUGMENTED REALITY DISPLAY SYSTEM |
US11176737B2 (en) | 2018-11-27 | 2021-11-16 | Snap Inc. | Textured mesh building |
US11182043B2 (en) * | 2018-11-27 | 2021-11-23 | Anduril Industries Inc. | Interactive virtual interface |
WO2020112561A1 (en) | 2018-11-30 | 2020-06-04 | Magic Leap, Inc. | Multi-modal hand location and orientation for avatar movement |
WO2020115784A1 (ja) * | 2018-12-03 | 2020-06-11 | マクセル株式会社 | 拡張現実表示装置及び拡張現実表示方法 |
US10970547B2 (en) * | 2018-12-07 | 2021-04-06 | Microsoft Technology Licensing, Llc | Intelligent agents for managing data associated with three-dimensional objects |
KR102191096B1 (ko) * | 2018-12-07 | 2020-12-15 | 한국전자기술연구원 | 시야창이 확장된 증강현실 근안 디스플레이 |
EP3663941B1 (en) * | 2018-12-07 | 2022-07-13 | Volvo Car Corporation | Evaluation of a simulated vehicle-related feature |
US10694167B1 (en) | 2018-12-12 | 2020-06-23 | Verizon Patent And Licensing Inc. | Camera array including camera modules |
US11282282B2 (en) * | 2018-12-14 | 2022-03-22 | Vulcan Inc. | Virtual and physical reality integration |
CN113330484A (zh) | 2018-12-20 | 2021-08-31 | 斯纳普公司 | 虚拟表面修改 |
KR102648993B1 (ko) * | 2018-12-21 | 2024-03-20 | 삼성전자주식회사 | 사용자의 감정 상태에 기반하여 아바타를 제공하기 위한 전자 장치 및 그에 관한 방법 |
US10990171B2 (en) * | 2018-12-27 | 2021-04-27 | Facebook Technologies, Llc | Audio indicators of user attention in AR/VR environment |
US11022794B2 (en) | 2018-12-27 | 2021-06-01 | Facebook Technologies, Llc | Visual indicators of user attention in AR/VR environment |
US11061254B2 (en) | 2019-01-24 | 2021-07-13 | International Business Machines Corporation | Adjusting contact lens prescription while wearing lens |
US11099406B2 (en) | 2019-01-24 | 2021-08-24 | International Business Machines Corporation | Delivering augmented reality via embedded contact lens |
US11334154B2 (en) | 2019-01-25 | 2022-05-17 | Magic Leap, Inc. | Eye-tracking using images having different exposure times |
US11403823B2 (en) | 2019-02-14 | 2022-08-02 | Lego A/S | Toy system for asymmetric multiplayer game play |
EP3924759A4 (en) | 2019-02-15 | 2022-12-28 | Digilens Inc. | METHODS AND APPARATUS FOR MAKING A HOLOGRAPHIC WAVEGUIDE DISPLAY WITH INTEGRATED GRIDINGS |
US11090561B2 (en) * | 2019-02-15 | 2021-08-17 | Microsoft Technology Licensing, Llc | Aligning location for a shared augmented reality experience |
US20200285784A1 (en) * | 2019-02-27 | 2020-09-10 | Simulation Engineering, LLC | Systems and methods for generating a simulated environment |
WO2020176783A1 (en) | 2019-02-28 | 2020-09-03 | Magic Leap, Inc. | Display system and method for providing variable accommodation cues using multiple intra-pupil parallax views formed by light emitter arrays |
JP2022525165A (ja) | 2019-03-12 | 2022-05-11 | ディジレンズ インコーポレイテッド | ホログラフィック導波管バックライトおよび関連する製造方法 |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US20200302501A1 (en) * | 2019-03-22 | 2020-09-24 | Microsoft Technology Licensing, Llc | Virtualized product configuration and quotation system |
US11620800B2 (en) * | 2019-03-27 | 2023-04-04 | Electronic Arts Inc. | Three dimensional reconstruction of objects based on geolocation and image data |
US10818070B2 (en) | 2019-03-27 | 2020-10-27 | Electronic Arts Inc. | Artificial intelligence based virtual object aging |
US20220152475A1 (en) * | 2019-03-29 | 2022-05-19 | Sony Interactive Entertainment Inc. | Boundary display control device, boundary display control method, and program |
EP3948747A4 (en) | 2019-04-03 | 2022-07-20 | Magic Leap, Inc. | MANAGEMENT AND DISPLAY OF WEB PAGES IN A VIRTUAL THREE-DIMENSIONAL SPACE USING A MIXED REALITY SYSTEM |
EP3956717A4 (en) | 2019-04-15 | 2023-01-04 | Magic Leap, Inc. | SENSOR FUSION FOR ELECTROMAGNETIC TRACKING |
JP6776400B1 (ja) * | 2019-04-26 | 2020-10-28 | 株式会社コロプラ | プログラム、方法、および情報端末装置 |
CN115755397A (zh) | 2019-04-26 | 2023-03-07 | 苹果公司 | 具有低光操作的头戴式显示器 |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11624919B2 (en) | 2019-05-24 | 2023-04-11 | Magic Leap, Inc. | Variable focus assemblies |
USD962981S1 (en) | 2019-05-29 | 2022-09-06 | Magic Leap, Inc. | Display screen or portion thereof with animated scrollbar graphical user interface |
US11468890B2 (en) | 2019-06-01 | 2022-10-11 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
EP3980825A4 (en) | 2019-06-07 | 2023-05-03 | Digilens Inc. | WAVEGUIDES INCORPORATING TRANSPARENT AND REFLECTIVE GRATINGS AND METHODS OF MAKING THEREOF |
CN114286962A (zh) | 2019-06-20 | 2022-04-05 | 奇跃公司 | 用于增强现实显示系统的目镜 |
US11030459B2 (en) * | 2019-06-27 | 2021-06-08 | Intel Corporation | Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment |
US11189098B2 (en) | 2019-06-28 | 2021-11-30 | Snap Inc. | 3D object camera customization system |
US11372474B2 (en) * | 2019-07-03 | 2022-06-28 | Saec/Kinetic Vision, Inc. | Systems and methods for virtual artificial intelligence development and testing |
US11029805B2 (en) | 2019-07-10 | 2021-06-08 | Magic Leap, Inc. | Real-time preview of connectable objects in a physically-modeled virtual space |
CN114424147A (zh) | 2019-07-16 | 2022-04-29 | 奇跃公司 | 利用一个或多个眼睛跟踪相机确定眼睛旋转中心 |
US11887253B2 (en) | 2019-07-24 | 2024-01-30 | Electronic Arts Inc. | Terrain generation and population system |
JP2022543571A (ja) | 2019-07-29 | 2022-10-13 | ディジレンズ インコーポレイテッド | 画素化されたディスプレイの画像解像度および視野を乗算するための方法および装置 |
US11537351B2 (en) | 2019-08-12 | 2022-12-27 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
EP4022370A4 (en) | 2019-08-29 | 2023-08-30 | Digilens Inc. | VACUUM BRAGG GRATINGS AND METHODS OF MANUFACTURING |
KR102329027B1 (ko) * | 2019-09-02 | 2021-11-19 | 주식회사 인터포 | 증강현실 및 빅데이터를 이용한 가상객체 관리 방법 및 그를 수행하는 모바일 단말 |
US10997785B2 (en) * | 2019-09-26 | 2021-05-04 | Vgis Inc. | System and method for collecting geospatial object data with mediated reality |
JP2022551733A (ja) | 2019-10-15 | 2022-12-13 | マジック リープ, インコーポレイテッド | 位置特定サービスを伴うクロスリアリティシステム |
JP2022551735A (ja) | 2019-10-15 | 2022-12-13 | マジック リープ, インコーポレイテッド | 無線フィンガプリントを用いたクロスリアリティシステム |
CN114730546A (zh) | 2019-11-12 | 2022-07-08 | 奇跃公司 | 具有定位服务和基于位置的共享内容的交叉现实系统 |
JP2023503257A (ja) | 2019-11-18 | 2023-01-27 | マジック リープ, インコーポレイテッド | パス可能世界のマッピングおよび位置特定 |
USD941353S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
USD940748S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
US11562542B2 (en) | 2019-12-09 | 2023-01-24 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
USD940189S1 (en) | 2019-12-09 | 2022-01-04 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
USD952673S1 (en) | 2019-12-09 | 2022-05-24 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
USD941307S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with graphical user interface for guiding graphics |
USD940749S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
US11151795B2 (en) * | 2019-12-10 | 2021-10-19 | Wormhole Labs, Inc. | Systems and methods of creating virtual pop-up spaces |
US11227442B1 (en) | 2019-12-19 | 2022-01-18 | Snap Inc. | 3D captions with semantic graphical elements |
TWI722738B (zh) | 2019-12-25 | 2021-03-21 | 亞達科技股份有限公司 | 擴增實境裝置與定位方法 |
US11386652B2 (en) * | 2019-12-26 | 2022-07-12 | Paypal, Inc. | Tagging objects in augmented reality to track object data |
KR102262019B1 (ko) * | 2019-12-30 | 2021-06-08 | 주식회사 버넥트 | 네트워크 속도 반응형 확장현실(xr) 커뮤니케이션 방법 및 시스템 |
US11410387B1 (en) | 2020-01-17 | 2022-08-09 | Facebook Technologies, Llc. | Systems, methods, and media for generating visualization of physical environment in artificial reality |
WO2021150921A1 (en) | 2020-01-22 | 2021-07-29 | Photonic Medical Inc | Open view, multi-modal, calibrated digital loupe with depth sensing |
US10950034B1 (en) | 2020-01-27 | 2021-03-16 | Facebook Technologies, Llc | Systems, methods, and media for generating visualization of physical environment in artificial reality |
JP2023511083A (ja) * | 2020-01-27 | 2023-03-16 | マジック リープ, インコーポレイテッド | アンカベースのクロスリアリティアプリケーションのための向上された状態制御 |
US11210860B2 (en) * | 2020-01-27 | 2021-12-28 | Facebook Technologies, Llc. | Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality |
US11200745B2 (en) | 2020-01-27 | 2021-12-14 | Facebook Technologies, Llc. | Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality |
US11113891B2 (en) | 2020-01-27 | 2021-09-07 | Facebook Technologies, Llc | Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality |
US11709363B1 (en) | 2020-02-10 | 2023-07-25 | Avegant Corp. | Waveguide illumination of a spatial light modulator |
US11451758B1 (en) | 2020-02-12 | 2022-09-20 | Meta Platforms Technologies, Llc | Systems, methods, and media for colorizing grayscale images |
JP2023514208A (ja) | 2020-02-13 | 2023-04-05 | マジック リープ, インコーポレイテッド | マルチ分解能フレーム記述子を使用したマップ処理を伴うクロスリアリティシステム |
WO2021163306A1 (en) | 2020-02-13 | 2021-08-19 | Magic Leap, Inc. | Cross reality system with accurate shared maps |
US11830149B2 (en) | 2020-02-13 | 2023-11-28 | Magic Leap, Inc. | Cross reality system with prioritization of geolocation information for localization |
CN115461787A (zh) | 2020-02-26 | 2022-12-09 | 奇跃公司 | 具有快速定位的交叉现实系统 |
CN111488823B (zh) * | 2020-04-09 | 2022-07-08 | 福州大学 | 基于二维激光雷达的增维手势识别与交互系统及方法 |
US11900547B2 (en) | 2020-04-29 | 2024-02-13 | Magic Leap, Inc. | Cross reality system for large scale environments |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11641403B2 (en) * | 2020-06-29 | 2023-05-02 | Snap Inc. | Analyzing augmented reality content usage data |
GB2596588B (en) * | 2020-07-03 | 2022-10-26 | Sony Interactive Entertainment Inc | Data processing apparatus and method |
US11690435B2 (en) | 2020-07-07 | 2023-07-04 | Perfect Mobile Corp. | System and method for navigating user interfaces using a hybrid touchless control mechanism |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
US11393171B2 (en) * | 2020-07-21 | 2022-07-19 | International Business Machines Corporation | Mobile device based VR content control |
US11662511B2 (en) | 2020-07-22 | 2023-05-30 | Samsung Electronics Co., Ltd. | Beam expander and method of operating the same |
WO2022032198A1 (en) | 2020-08-07 | 2022-02-10 | Magic Leap, Inc. | Tunable cylindrical lenses and head-mounted display including the same |
KR102358997B1 (ko) * | 2020-08-10 | 2022-02-08 | 주식회사 토즈 | 다자간 확장현실 체험을 위한 서비스 플랫폼 |
US11176756B1 (en) | 2020-09-16 | 2021-11-16 | Meta View, Inc. | Augmented reality collaboration system |
US11756225B2 (en) | 2020-09-16 | 2023-09-12 | Campfire 3D, Inc. | Augmented reality collaboration system with physical device |
US11907412B2 (en) * | 2020-09-28 | 2024-02-20 | International Business Machines Corporation | Contextual spectator inclusion in a virtual reality experience |
US11860366B2 (en) | 2020-09-29 | 2024-01-02 | Avegant Corp. | Architecture to illuminate a display panel |
US20220101002A1 (en) * | 2020-09-30 | 2022-03-31 | Kyndryl, Inc. | Real-world object inclusion in a virtual reality experience |
US11335058B2 (en) | 2020-10-13 | 2022-05-17 | Electronic Arts Inc. | Spatial partitioning for graphics rendering |
US11522945B2 (en) * | 2020-10-20 | 2022-12-06 | Iris Tech Inc. | System for providing synchronized sharing of augmented reality content in real time across multiple devices |
US11893698B2 (en) * | 2020-11-04 | 2024-02-06 | Samsung Electronics Co., Ltd. | Electronic device, AR device and method for controlling data transfer interval thereof |
KR20220060103A (ko) * | 2020-11-04 | 2022-05-11 | 삼성전자주식회사 | 전자 장치, ar 장치 및 그들의 데이터 전송 주기 제어 방법 |
TWI756944B (zh) * | 2020-11-27 | 2022-03-01 | 國立臺北科技大學 | 融合混增實境及虛擬實境之教學系統及其方法 |
KR20220083346A (ko) | 2020-12-11 | 2022-06-20 | 삼성전자주식회사 | 영상 표시 장치의 위치를 추정하는 방법 및 장치 |
US20210140793A1 (en) * | 2020-12-18 | 2021-05-13 | Intel Corporation | Map representation system and method for operating an autonomous agent |
KR102420166B1 (ko) * | 2020-12-30 | 2022-07-12 | 주식회사 버넥트 | 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템 |
WO2022154847A1 (en) | 2021-01-12 | 2022-07-21 | Emed Labs, Llc | Health testing and diagnostics platform |
US11929168B2 (en) | 2021-05-24 | 2024-03-12 | Emed Labs, Llc | Systems, devices, and methods for diagnostic aid kit apparatus |
US11615888B2 (en) | 2021-03-23 | 2023-03-28 | Emed Labs, Llc | Remote diagnostic testing and treatment |
WO2022212177A1 (en) * | 2021-03-31 | 2022-10-06 | Snap Inc. | Virtual reality interface with haptic feedback response |
FR3122327A1 (fr) * | 2021-04-29 | 2022-11-04 | Clubdes3 | Zones de vision croisées |
CN117321541A (zh) * | 2021-05-19 | 2023-12-29 | 瑞典爱立信有限公司 | 增强现实通信设备之间的语义信息通信 |
EP4341777A1 (en) * | 2021-05-19 | 2024-03-27 | Telefonaktiebolaget LM Ericsson (publ) | Communication devices, adapting entity and methods for augmented/mixed reality communication |
US11369454B1 (en) | 2021-05-24 | 2022-06-28 | Emed Labs, Llc | Systems, devices, and methods for diagnostic aid kit apparatus |
US11354845B1 (en) * | 2021-06-01 | 2022-06-07 | Royal Caribbean Cruises Ltd. | Multi-location disc jockey |
GB2623461A (en) | 2021-06-22 | 2024-04-17 | Emed Labs Llc | Systems, methods, and devices for non-human readable diagnostic tests |
CN113194299B (zh) * | 2021-07-01 | 2021-08-31 | 深圳市修远文化创意有限公司 | 一种智能医疗场景下的口腔治疗实时画面分享方法 |
KR102641519B1 (ko) * | 2021-08-11 | 2024-02-29 | 한국전자기술연구원 | 메타버스 제공 방법, 메타버스 제공 장치, 및 메타버스 제공 시스템 |
US20230086621A1 (en) * | 2021-09-23 | 2023-03-23 | At&T Intellectual Property I, L.P. | Experience and transitioning between virtual reality and augmented reality environments using a virtual assistant |
KR102561198B1 (ko) * | 2021-09-24 | 2023-07-31 | 주식회사 더에스 | 컨텐츠 활용 플랫폼 시스템, 증강현실 기반의 이미지 출력물 제작방법 |
KR102505537B1 (ko) * | 2021-09-28 | 2023-03-03 | 성균관대학교산학협력단 | Ar 공유 시스템 |
US20230138204A1 (en) * | 2021-11-02 | 2023-05-04 | International Business Machines Corporation | Augmented reality object interaction and notification |
WO2023086752A1 (en) * | 2021-11-09 | 2023-05-19 | Campfire 3D, Inc. | Augmented reality collaboration system with annotation capability |
US11799967B1 (en) * | 2021-12-22 | 2023-10-24 | Meta Platforms, Inc. | Ultra-wide band communication system for augmented reality |
US11894941B1 (en) | 2022-03-18 | 2024-02-06 | Grammarly, Inc. | Real-time tone feedback in video conferencing |
NO20220341A1 (en) * | 2022-03-21 | 2023-09-22 | Pictorytale As | Multilocation augmented reality |
WO2023182667A1 (ko) * | 2022-03-21 | 2023-09-28 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
US11960653B2 (en) * | 2022-05-10 | 2024-04-16 | Snap Inc. | Controlling augmented reality effects through multi-modal human interaction |
US11886227B1 (en) * | 2022-07-13 | 2024-01-30 | Bank Of America Corporation | Virtual-reality artificial-intelligence multi-user distributed real-time test environment |
KR102651994B1 (ko) * | 2022-08-17 | 2024-03-27 | 주식회사 브이알크루 | 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치 |
US20240061499A1 (en) * | 2022-08-22 | 2024-02-22 | Meta Platforms Technologies, Llc | Gaze adjusted avatars for immersive reality applications |
KR20240026691A (ko) * | 2022-08-22 | 2024-02-29 | 주식회사 브이알크루 | 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치 |
KR102616083B1 (ko) * | 2022-08-22 | 2023-12-20 | 주식회사 브이알크루 | 비주얼 로컬라이제이션을 이용하여 전술 훈련을 지원하기 위한 방법 및 장치 |
US11789685B1 (en) | 2022-08-29 | 2023-10-17 | International Business Machines Corporation | Training and using a machine learning module to determine locales and augmented reality representations of information on locales to render in an augmented reality display |
JP7412497B1 (ja) | 2022-09-26 | 2024-01-12 | 株式会社コロプラ | 情報処理システム |
JP7354466B1 (ja) * | 2023-02-02 | 2023-10-02 | 株式会社コロプラ | 情報処理システムおよびプログラム |
KR102605956B1 (ko) * | 2023-07-28 | 2023-11-24 | 주식회사 앰버린 | 3차원게임엔진을 기반으로 한 공연미디어 콘텐츠 제공시스템 |
CN117270482A (zh) * | 2023-11-22 | 2023-12-22 | 博世汽车部件(苏州)有限公司 | 基于数字孪生的汽车工厂控制系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080024594A1 (en) * | 2004-05-19 | 2008-01-31 | Ritchey Kurtis J | Panoramic image-based virtual reality/telepresence audio-visual system and method |
US20080215994A1 (en) * | 2007-03-01 | 2008-09-04 | Phil Harrison | Virtual world avatar control, interactivity and communication interactive messaging |
US20120113092A1 (en) * | 2010-11-08 | 2012-05-10 | Avi Bar-Zeev | Automatic variable virtual focus for augmented reality displays |
US20120127062A1 (en) * | 2010-11-18 | 2012-05-24 | Avi Bar-Zeev | Automatic focus improvement for augmented reality displays |
CN102540463A (zh) * | 2010-09-21 | 2012-07-04 | 微软公司 | 用于透视头戴式显示器的不透明度滤光器 |
US20120183137A1 (en) * | 2011-01-13 | 2012-07-19 | The Boeing Company | Augmented Collaboration System |
US20120212399A1 (en) * | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film |
US20120249416A1 (en) * | 2011-03-29 | 2012-10-04 | Giuliano Maciocci | Modular mobile connected pico projectors for a local multi-user collaboration |
CN102906623A (zh) * | 2010-02-28 | 2013-01-30 | 奥斯特豪特集团有限公司 | 交互式头戴目镜上的本地广告内容 |
US20130050260A1 (en) * | 2011-08-26 | 2013-02-28 | Reincloud Corporation | Coherent presentation of multiple reality and interaction models |
CN104011788A (zh) * | 2011-10-28 | 2014-08-27 | 奇跃公司 | 用于增强和虚拟现实的系统和方法 |
Family Cites Families (242)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3632865A (en) | 1969-12-23 | 1972-01-04 | Bell Telephone Labor Inc | Predictive video encoding using measured subject velocity |
DE2737499C3 (de) | 1977-08-19 | 1981-10-22 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V., 3400 Göttingen | Faseroptisches Schaltungselement |
GB8701288D0 (en) * | 1987-01-21 | 1987-02-25 | Waldern J D | Perception of computer-generated imagery |
US5271093A (en) | 1989-10-17 | 1993-12-14 | Mitsubishi Denki Kabushiki Kaisha | Video display apparatus for filling the interior shapes of contour |
US5138555A (en) | 1990-06-28 | 1992-08-11 | Albrecht Robert E | Helmet mounted display adaptive predictive tracking |
US8730129B2 (en) | 1990-12-07 | 2014-05-20 | Dennis J Solomon | Advanced immersive visual display system |
JPH05328260A (ja) * | 1992-05-26 | 1993-12-10 | Olympus Optical Co Ltd | 頭部装着式ディスプレイ装置 |
JPH0655203B2 (ja) | 1992-07-09 | 1994-07-27 | 株式会社エイ・ティ・アール視聴覚機構研究所 | 視線検出を用いた医療診断装置 |
US5311897A (en) | 1992-09-18 | 1994-05-17 | Robert L. Cargill, Jr. | Rotary control valve with offset variable area orifice and bypass |
US5422653A (en) | 1993-01-07 | 1995-06-06 | Maguire, Jr.; Francis J. | Passive virtual reality |
US5495576A (en) | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
DE69434851T2 (de) * | 1993-08-12 | 2007-04-19 | Seiko Epson Corp. | Am Kopf montierte Bildanzeigevorrichtung und diese enthaltendes Datenverarbeitungsgerät |
JP3306183B2 (ja) | 1993-09-14 | 2002-07-24 | リーダー電子株式会社 | 信号波形表示装置及び表示方法 |
JP2952858B2 (ja) * | 1994-05-31 | 1999-09-27 | 株式会社島津製作所 | ヘッドマウントディスプレイ |
US5742264A (en) | 1995-01-24 | 1998-04-21 | Matsushita Electric Industrial Co., Ltd. | Head-mounted display |
GB2301216A (en) | 1995-05-25 | 1996-11-27 | Philips Electronics Uk Ltd | Display headset |
US5933125A (en) | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
JPH09284676A (ja) | 1996-04-15 | 1997-10-31 | Sony Corp | 身体の動きに同期した映像及び音声処理方法と映像表示装置 |
US5886822A (en) * | 1996-10-08 | 1999-03-23 | The Microoptical Corporation | Image combining system for eyeglasses and face masks |
US7066956B2 (en) | 1997-02-12 | 2006-06-27 | Arthrex, Inc. | Transverse fixation technique for ACL reconstruction using bone-tendon-bone graft |
US6151179A (en) | 1997-07-11 | 2000-11-21 | International Business Machines Corporation | Signal processing circuit with feedback extracted from a sampled analog error signal |
US6441811B1 (en) | 1997-10-29 | 2002-08-27 | Sharp Kabushiki Kaisha | Display control device and reproduction display device for electronic books |
WO1999023524A1 (en) * | 1997-10-30 | 1999-05-14 | The Microoptical Corporation | Eyeglass interface system |
JP2000350865A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体 |
JP2003502711A (ja) * | 1999-06-21 | 2003-01-21 | ザ マイクロオプティカル コーポレイション | 軸から外れている光学設計を使用する接眼レンズ・ディスプレイ・レンズ・システム |
JP2001255862A (ja) | 2000-03-10 | 2001-09-21 | Seiko Epson Corp | オーバレイ画像処理装置およびオーバレイ画像表示装置 |
US7663642B2 (en) | 2000-11-15 | 2010-02-16 | Sony Corporation | Systems and methods for rendering a polygon in an image to be displayed |
DE10131720B4 (de) | 2001-06-30 | 2017-02-23 | Robert Bosch Gmbh | Head-Up Display System und Verfahren |
US20030014212A1 (en) | 2001-07-12 | 2003-01-16 | Ralston Stuart E. | Augmented vision system using wireless communications |
US6759979B2 (en) | 2002-01-22 | 2004-07-06 | E-Businesscontrols Corp. | GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site |
JP3762309B2 (ja) * | 2002-02-18 | 2006-04-05 | キヤノン株式会社 | 位置方向測定装置および情報処理方法 |
US7497574B2 (en) * | 2002-02-20 | 2009-03-03 | Brother Kogyo Kabushiki Kaisha | Retinal image display device |
US6917370B2 (en) | 2002-05-13 | 2005-07-12 | Charles Benton | Interacting augmented reality and virtual reality |
JP4170068B2 (ja) | 2002-11-12 | 2008-10-22 | シャープ株式会社 | データ信号線駆動方法、データ信号線駆動回路およびそれを用いた表示装置 |
US7386799B1 (en) | 2002-11-21 | 2008-06-10 | Forterra Systems, Inc. | Cinematic techniques in avatar-centric communication during a multi-user online simulation |
US7385606B2 (en) | 2002-12-18 | 2008-06-10 | Microsoft Corporation | International font measurement system and method |
US7203384B2 (en) | 2003-02-24 | 2007-04-10 | Electronic Scripting Products, Inc. | Implement for optically inferring information from a planar jotting surface |
US7515756B2 (en) | 2003-06-23 | 2009-04-07 | Shoestring Research, Llc. | Region segmentation and characterization systems and methods for augmented reality |
US20050148388A1 (en) | 2003-07-17 | 2005-07-07 | Fabricio Vayra | Method and system for interaction with real-time events from a remote location, through use of a computer, game console or other module |
ITTO20030662A1 (it) | 2003-08-29 | 2005-02-28 | Fiat Ricerche | Disposizione di visualizzazione virtuale per un quadro |
US11033821B2 (en) | 2003-09-02 | 2021-06-15 | Jeffrey D. Mullen | Systems and methods for location based games and employment of the same on location enabled devices |
US7110100B2 (en) | 2003-11-04 | 2006-09-19 | Electronic Scripting Products, Inc. | Apparatus and method for determining an inclination of an elongate object contacting a plane surface |
KR101026800B1 (ko) | 2003-11-21 | 2011-04-04 | 삼성전자주식회사 | 액정 표시 장치, 표시 장치용 광원의 구동 장치 및 그방법 |
US7268956B2 (en) | 2003-11-24 | 2007-09-11 | Electronic Scripting Products, Inc. | Solid catadioptric lens with two viewpoints |
US7038846B2 (en) | 2003-11-24 | 2006-05-02 | Electronic Scripting Products, Inc. | Solid catadioptric lens with a single viewpoint |
US7088440B2 (en) | 2003-12-22 | 2006-08-08 | Electronic Scripting Products, Inc. | Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features |
JP4481663B2 (ja) | 2004-01-15 | 2010-06-16 | キヤノン株式会社 | 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム |
US8542219B2 (en) | 2004-01-30 | 2013-09-24 | Electronic Scripting Products, Inc. | Processing pose data derived from the pose of an elongate object |
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
US7729515B2 (en) | 2006-03-08 | 2010-06-01 | Electronic Scripting Products, Inc. | Optical navigation apparatus using fixed beacons and a centroid sensing device |
US7826641B2 (en) | 2004-01-30 | 2010-11-02 | Electronic Scripting Products, Inc. | Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features |
US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
US7023536B2 (en) | 2004-03-08 | 2006-04-04 | Electronic Scripting Products, Inc. | Apparatus and method for determining orientation parameters of an elongate object |
US7161664B2 (en) | 2004-04-13 | 2007-01-09 | Electronic Scripting Products, Inc. | Apparatus and method for optical determination of intermediate distances |
JP4373286B2 (ja) | 2004-05-06 | 2009-11-25 | オリンパス株式会社 | 頭部装着型表示装置 |
US7403337B2 (en) | 2004-05-11 | 2008-07-22 | Universal Vision Biotechnology Co., Ltd. | Focus adjustable head mounted display system and method and device for realizing the system |
US7442918B2 (en) | 2004-05-14 | 2008-10-28 | Microvision, Inc. | MEMS device having simplified drive |
JP2005339267A (ja) | 2004-05-27 | 2005-12-08 | Canon Inc | 情報処理方法、情報処理装置、撮像装置 |
US6947219B1 (en) | 2004-06-02 | 2005-09-20 | Universal Vision Biotechnology Co., Ltd. | Focus adjustable head mounted display system for displaying digital contents and device for realizing the system |
US7113270B2 (en) | 2004-06-18 | 2006-09-26 | Electronics Scripting Products, Inc. | Determination of an orientation parameter of an elongate object with a scan beam apparatus |
US20060007056A1 (en) | 2004-07-09 | 2006-01-12 | Shu-Fong Ou | Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same |
US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
US8585476B2 (en) | 2004-11-16 | 2013-11-19 | Jeffrey D Mullen | Location-based games and augmented reality systems |
KR100656342B1 (ko) * | 2004-12-16 | 2006-12-11 | 한국전자통신연구원 | 다중 입체 영상 혼합 제시용 시각 인터페이스 장치 |
US20060214911A1 (en) | 2005-03-23 | 2006-09-28 | Eastman Kodak Company | Pointing device for large field of view displays |
US20060226231A1 (en) | 2005-03-29 | 2006-10-12 | University Of Washington | Methods and systems for creating sequential color images |
JP4738870B2 (ja) * | 2005-04-08 | 2011-08-03 | キヤノン株式会社 | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 |
US7773098B2 (en) | 2005-05-11 | 2010-08-10 | Canon Kabushiki Kaisha | Virtual reality presentation apparatus and method |
US8847861B2 (en) | 2005-05-20 | 2014-09-30 | Semiconductor Energy Laboratory Co., Ltd. | Active matrix display device, method for driving the same, and electronic device |
JP2006338509A (ja) | 2005-06-03 | 2006-12-14 | Nippon Telegr & Teleph Corp <Ntt> | 状況記憶型コンテンツ管理装置及び方法 |
US7737965B2 (en) | 2005-06-09 | 2010-06-15 | Honeywell International Inc. | Handheld synthetic vision device |
US20060284791A1 (en) | 2005-06-21 | 2006-12-21 | National Applied Research Laboratories National Center For High-Performance Computing | Augmented reality system and method with mobile and interactive function for multiple users |
IL173361A (en) * | 2005-09-12 | 2012-03-29 | Elbit Systems Ltd | Display system near the eye |
US7480422B2 (en) | 2005-10-14 | 2009-01-20 | Disney Enterprises, Inc. | Systems and methods for information content delivery relating to an object |
JP4042780B2 (ja) | 2005-11-04 | 2008-02-06 | オムロン株式会社 | 物体認識方法、物体認識用のプログラムならびにその記憶媒体、および物体認識装置 |
IL172797A (en) | 2005-12-25 | 2012-09-24 | Elbit Systems Ltd | Real-time image scanning and processing |
US8730156B2 (en) * | 2010-03-05 | 2014-05-20 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
US9958934B1 (en) * | 2006-05-01 | 2018-05-01 | Jeffrey D. Mullen | Home and portable augmented reality and virtual reality video game consoles |
SE0601216L (sv) | 2006-05-31 | 2007-12-01 | Abb Technology Ltd | Virtuell arbetsplats |
KR100809479B1 (ko) * | 2006-07-27 | 2008-03-03 | 한국전자통신연구원 | 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 |
US20080058629A1 (en) | 2006-08-21 | 2008-03-06 | University Of Washington | Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation |
US7725547B2 (en) | 2006-09-06 | 2010-05-25 | International Business Machines Corporation | Informing a user of gestures made by others out of the user's line of sight |
US7889178B2 (en) | 2006-09-08 | 2011-02-15 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Programmable resolution for optical pointing device |
US20080071559A1 (en) | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
JP4936522B2 (ja) | 2006-09-29 | 2012-05-23 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
JP5228307B2 (ja) | 2006-10-16 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
US20080186255A1 (en) | 2006-12-07 | 2008-08-07 | Cohen Philip R | Systems and methods for data annotation, recordation, and communication |
US7903166B2 (en) | 2007-02-21 | 2011-03-08 | Sharp Laboratories Of America, Inc. | Methods and systems for display viewer motion compensation based on user image data |
US8549415B2 (en) | 2007-05-04 | 2013-10-01 | Apple Inc. | Automatically adjusting media display in a personal display system |
US7995055B1 (en) * | 2007-05-25 | 2011-08-09 | Google Inc. | Classifying objects in a scene |
US20080303811A1 (en) | 2007-06-07 | 2008-12-11 | Leviathan Entertainment, Llc | Virtual Professional |
WO2009002567A1 (en) | 2007-06-27 | 2008-12-31 | The University Of Hawaii | Virtual reality overlay |
US8902227B2 (en) | 2007-09-10 | 2014-12-02 | Sony Computer Entertainment America Llc | Selective interactive mapping of real-world objects to create interactive virtual-world objects |
US20090089685A1 (en) | 2007-09-28 | 2009-04-02 | Mordecai Nicole Y | System and Method of Communicating Between A Virtual World and Real World |
US8063905B2 (en) | 2007-10-11 | 2011-11-22 | International Business Machines Corporation | Animating speech of an avatar representing a participant in a mobile communication |
US20090225001A1 (en) | 2007-11-06 | 2009-09-10 | University Of Central Florida Research Foundation, Inc. | Hybrid Display Systems and Methods |
US20090221368A1 (en) | 2007-11-28 | 2009-09-03 | Ailive Inc., | Method and system for creating a shared game space for a networked game |
KR20090067822A (ko) | 2007-12-21 | 2009-06-25 | 삼성전자주식회사 | 현실 인자를 반영하는 혼합 세계 생성 시스템 및 구현 방법 |
US20090177042A1 (en) | 2008-01-09 | 2009-07-09 | University Of Washington | Color image acquisition with scanning laser beam devices |
US8615383B2 (en) | 2008-01-18 | 2013-12-24 | Lockheed Martin Corporation | Immersive collaborative environment using motion capture, head mounted display, and cave |
US8624924B2 (en) | 2008-01-18 | 2014-01-07 | Lockheed Martin Corporation | Portable immersive environment using motion capture and head mounted display |
WO2009108790A1 (en) | 2008-02-26 | 2009-09-03 | Ecity, Inc. | Method and apparatus for integrated life through virtual cities |
US20100149073A1 (en) * | 2008-11-02 | 2010-06-17 | David Chaum | Near to Eye Display System and Appliance |
US8757812B2 (en) | 2008-05-19 | 2014-06-24 | University of Washington UW TechTransfer—Invention Licensing | Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber |
US20090322671A1 (en) | 2008-06-04 | 2009-12-31 | Cybernet Systems Corporation | Touch screen augmented reality system and method |
US8063968B2 (en) | 2008-07-23 | 2011-11-22 | Lockheed Martin Corporation | Device for detecting an image of a nonplanar surface |
US9600067B2 (en) * | 2008-10-27 | 2017-03-21 | Sri International | System and method for generating a mixed reality environment |
WO2010062481A1 (en) * | 2008-11-02 | 2010-06-03 | David Chaum | Near to eye display system and appliance |
US20100287500A1 (en) | 2008-11-18 | 2010-11-11 | Honeywell International Inc. | Method and system for displaying conformal symbology on a see-through display |
EP2194418B1 (en) * | 2008-12-02 | 2014-07-02 | Saab Ab | Head-up display for night vision goggles |
US20100137684A1 (en) | 2008-12-03 | 2010-06-03 | Hoya Corporation | Endoscope system with scanning function |
US8132916B2 (en) | 2008-12-12 | 2012-03-13 | Carl Zeiss Meditec, Inc. | High precision contrast ratio display for visual stimulus |
US8295546B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
US8487933B2 (en) | 2009-03-31 | 2013-07-16 | General Electric Company | System and method for multi-segment center point trajectory mapping |
US9195898B2 (en) | 2009-04-14 | 2015-11-24 | Qualcomm Incorporated | Systems and methods for image recognition using mobile devices |
US9511289B2 (en) | 2009-07-10 | 2016-12-06 | Valve Corporation | Player biofeedback for dynamically controlling a video game state |
JP5553635B2 (ja) | 2009-10-23 | 2014-07-16 | キヤノン株式会社 | 補償光学装置、撮像装置および補償光学方法、撮像方法 |
US20110107216A1 (en) * | 2009-11-03 | 2011-05-05 | Qualcomm Incorporated | Gesture-based user interface |
WO2011061914A1 (ja) | 2009-11-19 | 2011-05-26 | パナソニック株式会社 | 走査型画像表示装置 |
KR101652311B1 (ko) | 2010-01-26 | 2016-08-30 | 광주과학기술원 | 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 |
GB2477787B (en) | 2010-02-15 | 2014-09-24 | Marcus Alexander Mawson Cavalier | Use of portable electonic devices with head-mounted display devices |
JP5499762B2 (ja) * | 2010-02-24 | 2014-05-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び画像処理システム |
US20120120103A1 (en) | 2010-02-28 | 2012-05-17 | Osterhout Group, Inc. | Alignment control in an augmented reality headpiece |
US9128281B2 (en) * | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
US8477425B2 (en) * | 2010-02-28 | 2013-07-02 | Osterhout Group, Inc. | See-through near-eye display glasses including a partially reflective, partially transmitting optical element |
US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
US8467133B2 (en) | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
JP5681850B2 (ja) | 2010-03-09 | 2015-03-11 | レノボ・イノベーションズ・リミテッド(香港) | ヘッドマウントディスプレイを外部表示装置として使用する携帯端末 |
JP2011203823A (ja) | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US8893022B2 (en) | 2010-04-01 | 2014-11-18 | Microsoft Corporation | Interactive and shared viewing experience |
CN102472892B (zh) | 2010-04-28 | 2014-07-09 | 松下电器产业株式会社 | 扫描型图像显示装置 |
US8762041B2 (en) * | 2010-06-21 | 2014-06-24 | Blackberry Limited | Method, device and system for presenting navigational information |
US20120200600A1 (en) * | 2010-06-23 | 2012-08-09 | Kent Demaine | Head and arm detection for virtual immersion systems and methods |
KR101420560B1 (ko) * | 2010-08-09 | 2014-07-16 | 파나소닉 주식회사 | 광디바이스, 및 이것을 포함한 충전 시스템 |
US20120127136A1 (en) | 2010-08-18 | 2012-05-24 | Kent Displays Incorporated | Display device including piezoelectric and liquid crystal layers |
US20120050140A1 (en) | 2010-08-25 | 2012-03-01 | Border John N | Head-mounted display control |
US8780014B2 (en) | 2010-08-25 | 2014-07-15 | Eastman Kodak Company | Switchable head-mounted display |
US8638364B2 (en) | 2010-09-23 | 2014-01-28 | Sony Computer Entertainment Inc. | User interface system and method using thermal imaging |
US20120212405A1 (en) | 2010-10-07 | 2012-08-23 | Benjamin Zeis Newhouse | System and method for presenting virtual and augmented reality scenes to a user |
WO2012048252A1 (en) * | 2010-10-07 | 2012-04-12 | Aria Glassworks, Inc. | System and method for transitioning between interface modes in virtual and augmented reality applications |
US8578299B2 (en) | 2010-10-08 | 2013-11-05 | Industrial Technology Research Institute | Method and computing device in a system for motion detection |
US9122053B2 (en) * | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
US8884984B2 (en) | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
US9348141B2 (en) * | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
US8743464B1 (en) * | 2010-11-03 | 2014-06-03 | Google Inc. | Waveguide with embedded mirrors |
US20120117514A1 (en) * | 2010-11-04 | 2012-05-10 | Microsoft Corporation | Three-Dimensional User Interaction |
US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
US9511291B2 (en) * | 2010-11-15 | 2016-12-06 | Bally Gaming, Inc. | System and method for enhanced augmented reality tracking |
US8576276B2 (en) | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
US8831278B2 (en) | 2010-11-30 | 2014-09-09 | Eastman Kodak Company | Method of identifying motion sickness |
US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
US9690099B2 (en) | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
KR101997845B1 (ko) * | 2010-12-24 | 2019-10-01 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
US20120182313A1 (en) | 2011-01-13 | 2012-07-19 | Pantech Co., Ltd. | Apparatus and method for providing augmented reality in window form |
US20120188148A1 (en) | 2011-01-24 | 2012-07-26 | Microvision, Inc. | Head Mounted Meta-Display System |
JP2012155655A (ja) | 2011-01-28 | 2012-08-16 | Sony Corp | 情報処理装置、報知方法及びプログラム |
WO2012105175A1 (ja) | 2011-02-01 | 2012-08-09 | パナソニック株式会社 | 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路 |
US9329469B2 (en) * | 2011-02-17 | 2016-05-03 | Microsoft Technology Licensing, Llc | Providing an interactive experience using a 3D depth camera and a 3D projector |
US9217867B2 (en) | 2011-03-24 | 2015-12-22 | Seiko Epson Corporation | Head-mounted display device and control method for the head-mounted display device |
US8401343B2 (en) | 2011-03-27 | 2013-03-19 | Edwin Braun | System and method for defining an augmented reality character in computer generated virtual reality using coded stickers |
US9071709B2 (en) | 2011-03-31 | 2015-06-30 | Nokia Technologies Oy | Method and apparatus for providing collaboration between remote and on-site users of indirect augmented reality |
CN107656615B (zh) * | 2011-05-06 | 2021-09-14 | 奇跃公司 | 大量同时远程数字呈现世界 |
US8508830B1 (en) * | 2011-05-13 | 2013-08-13 | Google Inc. | Quantum dot near-to-eye display |
US20120327116A1 (en) | 2011-06-23 | 2012-12-27 | Microsoft Corporation | Total field of view classification for head-mounted display |
US9727132B2 (en) * | 2011-07-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Multi-visor: managing applications in augmented reality environments |
US8832233B1 (en) | 2011-07-20 | 2014-09-09 | Google Inc. | Experience sharing for conveying communication status |
AU2011204946C1 (en) | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
AU2011205223C1 (en) * | 2011-08-09 | 2013-03-28 | Microsoft Technology Licensing, Llc | Physical interaction with virtual objects for DRM |
US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
US9342610B2 (en) | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
US9191661B2 (en) * | 2011-08-29 | 2015-11-17 | Microsoft Technology Licensing, Llc | Virtual image display device |
US9213163B2 (en) * | 2011-08-30 | 2015-12-15 | Microsoft Technology Licensing, Llc | Aligning inter-pupillary distance in a near-eye display system |
US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
US8223024B1 (en) | 2011-09-21 | 2012-07-17 | Google Inc. | Locking mechanism based on unnatural movement of head-mounted display |
US9286711B2 (en) | 2011-09-30 | 2016-03-15 | Microsoft Technology Licensing, Llc | Representing a location at a previous time period using an augmented reality display |
US9268406B2 (en) | 2011-09-30 | 2016-02-23 | Microsoft Technology Licensing, Llc | Virtual spectator experience with a personal audio/visual apparatus |
US20130088413A1 (en) * | 2011-10-05 | 2013-04-11 | Google Inc. | Method to Autofocus on Near-Eye Display |
US9255813B2 (en) | 2011-10-14 | 2016-02-09 | Microsoft Technology Licensing, Llc | User controlled real object disappearance in a mixed reality display |
US8970452B2 (en) * | 2011-11-02 | 2015-03-03 | Google Inc. | Imaging method |
US8879155B1 (en) | 2011-11-09 | 2014-11-04 | Google Inc. | Measurement method and system |
US9311883B2 (en) | 2011-11-11 | 2016-04-12 | Microsoft Technology Licensing, Llc | Recalibration of a flexible mixed reality device |
WO2013076994A1 (ja) | 2011-11-24 | 2013-05-30 | パナソニック株式会社 | 頭部装着型ディスプレイ装置 |
US20130141419A1 (en) * | 2011-12-01 | 2013-06-06 | Brian Mount | Augmented reality with realistic occlusion |
US8963805B2 (en) | 2012-01-27 | 2015-02-24 | Microsoft Corporation | Executable virtual objects associated with real objects |
WO2013119221A1 (en) | 2012-02-08 | 2013-08-15 | Intel Corporation | Augmented reality creation using a real scene |
US20130215230A1 (en) | 2012-02-22 | 2013-08-22 | Matt Miesnieks | Augmented Reality System Using a Portable Device |
JP5958689B2 (ja) * | 2012-03-22 | 2016-08-02 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
US8933912B2 (en) | 2012-04-02 | 2015-01-13 | Microsoft Corporation | Touch sensitive user interface with three dimensional input sensor |
US9183676B2 (en) | 2012-04-27 | 2015-11-10 | Microsoft Technology Licensing, Llc | Displaying a collision between real and virtual objects |
US9122321B2 (en) * | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
US10502876B2 (en) * | 2012-05-22 | 2019-12-10 | Microsoft Technology Licensing, Llc | Waveguide optics focus elements |
US9201625B2 (en) | 2012-06-22 | 2015-12-01 | Nokia Technologies Oy | Method and apparatus for augmenting an index generated by a near eye display |
US9645394B2 (en) | 2012-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Configured virtual environments |
US9696547B2 (en) | 2012-06-25 | 2017-07-04 | Microsoft Technology Licensing, Llc | Mixed reality system learned input and functions |
US9035970B2 (en) | 2012-06-29 | 2015-05-19 | Microsoft Technology Licensing, Llc | Constraint based information inference |
JP6015250B2 (ja) | 2012-08-31 | 2016-10-26 | 富士通株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
US20140071163A1 (en) | 2012-09-11 | 2014-03-13 | Peter Tobias Kinnebrew | Augmented reality information detail |
US8797340B2 (en) | 2012-10-02 | 2014-08-05 | Nvidia Corporation | System, method, and computer program product for modifying a pixel value as a function of a display duration estimate |
US10269179B2 (en) | 2012-10-05 | 2019-04-23 | Elwha Llc | Displaying second augmentations that are based on registered first augmentations |
US9619911B2 (en) | 2012-11-13 | 2017-04-11 | Qualcomm Incorporated | Modifying virtual object display properties |
US9030495B2 (en) | 2012-11-21 | 2015-05-12 | Microsoft Technology Licensing, Llc | Augmented reality help |
US9582123B2 (en) | 2012-11-26 | 2017-02-28 | Qualcomm Incorporated | Dual-mode capacitance sensing in a touch panel sensor |
US20140178029A1 (en) | 2012-12-26 | 2014-06-26 | Ali Fazal Raheman | Novel Augmented Reality Kiosks |
KR102019124B1 (ko) | 2013-01-04 | 2019-09-06 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 및 그 제어 방법 |
US9202313B2 (en) * | 2013-01-21 | 2015-12-01 | Microsoft Technology Licensing, Llc | Virtual interaction with image projection |
US9342929B2 (en) | 2013-01-22 | 2016-05-17 | Microsoft Technology Licensing, Llc | Mixed reality experience sharing |
JP2014149712A (ja) | 2013-02-01 | 2014-08-21 | Sony Corp | 情報処理装置、端末装置、情報処理方法及びプログラム |
KR102050897B1 (ko) | 2013-02-07 | 2019-12-02 | 삼성전자주식회사 | 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법 |
CN105188516B (zh) | 2013-03-11 | 2017-12-22 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
US8970709B2 (en) | 2013-03-13 | 2015-03-03 | Electronic Scripting Products, Inc. | Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty |
US9852512B2 (en) | 2013-03-13 | 2017-12-26 | Electronic Scripting Products, Inc. | Reduced homography based on structural redundancy of conditioned motion |
US9164281B2 (en) | 2013-03-15 | 2015-10-20 | Honda Motor Co., Ltd. | Volumetric heads-up display with dynamic focal plane |
KR102271198B1 (ko) | 2013-03-15 | 2021-06-29 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
US9049469B2 (en) * | 2013-04-03 | 2015-06-02 | Roy S. Melzer | Encryption and decryption of visible codes for real time augmented reality views |
US9685003B2 (en) | 2013-06-03 | 2017-06-20 | Microsoft Technology Licensing, Llc | Mixed reality data collaboration |
US10137361B2 (en) * | 2013-06-07 | 2018-11-27 | Sony Interactive Entertainment America Llc | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
US10262462B2 (en) * | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US10139623B2 (en) | 2013-06-18 | 2018-11-27 | Microsoft Technology Licensing, Llc | Virtual object orientation and visualization |
US9911231B2 (en) | 2013-10-08 | 2018-03-06 | Samsung Electronics Co., Ltd. | Method and computing device for providing augmented reality |
US10019059B2 (en) * | 2014-08-22 | 2018-07-10 | Sony Interactive Entertainment Inc. | Glove interface object |
US10216996B2 (en) | 2014-09-29 | 2019-02-26 | Sony Interactive Entertainment Inc. | Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition |
US9778814B2 (en) | 2014-12-19 | 2017-10-03 | Microsoft Technology Licensing, Llc | Assisted object placement in a three-dimensional visualization system |
WO2016105521A1 (en) * | 2014-12-23 | 2016-06-30 | Meta Company | Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest |
US20170090194A1 (en) * | 2015-09-24 | 2017-03-30 | Halo Augmented Reality Ltd. | System And Method For Subtractive Augmented Reality And Display Contrast Enhancement |
US10768772B2 (en) * | 2015-11-19 | 2020-09-08 | Microsoft Technology Licensing, Llc | Context-aware recommendations of relevant presentation content displayed in mixed environments |
US10345594B2 (en) * | 2015-12-18 | 2019-07-09 | Ostendo Technologies, Inc. | Systems and methods for augmented near-eye wearable displays |
US9927614B2 (en) * | 2015-12-29 | 2018-03-27 | Microsoft Technology Licensing, Llc | Augmented reality display system with variable focus |
KR20230098927A (ko) * | 2016-03-31 | 2023-07-04 | 매직 립, 인코포레이티드 | 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들 |
US10191541B2 (en) * | 2016-06-30 | 2019-01-29 | Sony Interactive Entertainment Inc. | Augmenting virtual reality content with real world content |
WO2018067357A2 (en) * | 2016-10-05 | 2018-04-12 | Magic Leap, Inc. | Periocular test for mixed reality calibration |
US10338400B2 (en) * | 2017-07-03 | 2019-07-02 | Holovisions LLC | Augmented reality eyewear with VAPE or wear technology |
US10859834B2 (en) * | 2017-07-03 | 2020-12-08 | Holovisions | Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear |
CN111542800A (zh) * | 2017-11-13 | 2020-08-14 | 神经股份有限公司 | 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口 |
WO2019104413A1 (en) * | 2017-12-03 | 2019-06-06 | Frank Jones | Enhancing the performance of near-to-eye vision systems |
JP7087481B2 (ja) * | 2018-03-13 | 2022-06-21 | セイコーエプソン株式会社 | 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム |
US10901215B1 (en) * | 2018-05-16 | 2021-01-26 | Facebook Technologies, Llc | Systems and methods for providing a mobile artificial reality user with environmental awareness |
CN112689869A (zh) * | 2018-07-24 | 2021-04-20 | 奇跃公司 | 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 |
SE1950580A1 (en) * | 2019-05-15 | 2020-10-13 | Tobii Ab | Method and system for dwell-less, hands-free interaction with a selectable object |
US11537351B2 (en) * | 2019-08-12 | 2022-12-27 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
WO2021119171A1 (en) * | 2019-12-10 | 2021-06-17 | Magic Leap, Inc. | Increased depth of field for mixed-reality display |
US11217024B2 (en) * | 2019-12-26 | 2022-01-04 | Facebook Technologies, Llc | Artificial reality system with varifocal display of artificial reality content |
US20210349322A1 (en) * | 2020-05-01 | 2021-11-11 | Mark Harris | Wearable near-to-eye vision systems |
-
2014
- 2014-03-11 CN CN201480026513.8A patent/CN105188516B/zh active Active
- 2014-03-11 IL IL308285A patent/IL308285A/en unknown
- 2014-03-11 KR KR1020217019351A patent/KR102387314B1/ko active IP Right Grant
- 2014-03-11 JP JP2016501326A patent/JP6499154B2/ja active Active
- 2014-03-11 CA CA2905427A patent/CA2905427C/en active Active
- 2014-03-11 EP EP14778352.6A patent/EP2967322A4/en not_active Ceased
- 2014-03-11 EP EP23152829.0A patent/EP4193906A1/en active Pending
- 2014-03-11 KR KR1020157028273A patent/KR102270699B1/ko active IP Right Grant
- 2014-03-11 IL IL298018A patent/IL298018B2/en unknown
- 2014-03-11 KR KR1020227011920A patent/KR102516124B1/ko active IP Right Grant
- 2014-03-11 AU AU2014248874A patent/AU2014248874B2/en active Active
- 2014-03-11 CA CA3157218A patent/CA3157218A1/en active Pending
- 2014-03-11 KR KR1020237043300A patent/KR20230173231A/ko active Search and Examination
- 2014-03-11 US US14/205,126 patent/US10629003B2/en active Active
- 2014-03-11 KR KR1020237010309A patent/KR20230044041A/ko not_active Application Discontinuation
- 2014-03-11 WO PCT/US2014/023739 patent/WO2014164901A1/en active Application Filing
-
2015
- 2015-05-02 US US14/702,707 patent/US10163265B2/en active Active
- 2015-05-02 US US14/702,710 patent/US10234939B2/en active Active
- 2015-05-02 US US14/702,709 patent/US10126812B2/en active Active
- 2015-05-04 US US14/703,863 patent/US20150235433A1/en not_active Abandoned
- 2015-05-04 US US14/703,854 patent/US10282907B2/en active Active
- 2015-05-04 US US14/703,871 patent/US20150235435A1/en not_active Abandoned
- 2015-05-04 US US14/703,867 patent/US10068374B2/en active Active
-
2017
- 2017-03-10 JP JP2017046806A patent/JP6556776B2/ja active Active
-
2018
- 2018-05-14 IL IL259324A patent/IL259324B/en active IP Right Grant
- 2018-05-14 IL IL259325A patent/IL259325B/en active IP Right Grant
-
2019
- 2019-03-14 JP JP2019046952A patent/JP2019139781A/ja not_active Withdrawn
- 2019-10-03 AU AU2019240661A patent/AU2019240661B2/en active Active
-
2020
- 2020-03-09 US US16/813,671 patent/US11087555B2/en active Active
- 2020-07-27 AU AU2020210147A patent/AU2020210147B2/en active Active
-
2021
- 2021-01-19 JP JP2021006458A patent/JP7002684B2/ja active Active
- 2021-03-21 IL IL281669A patent/IL281669B/en unknown
- 2021-07-06 US US17/367,848 patent/US11663789B2/en active Active
- 2021-10-28 AU AU2021258005A patent/AU2021258005B2/en active Active
- 2021-12-27 IL IL289419A patent/IL289419A/en unknown
- 2021-12-27 JP JP2021212164A patent/JP2022036160A/ja active Pending
-
2023
- 2023-02-08 AU AU2023200677A patent/AU2023200677B2/en active Active
- 2023-04-17 US US18/301,932 patent/US20230252744A1/en active Pending
-
2024
- 2024-01-04 JP JP2024000139A patent/JP2024028376A/ja active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080024594A1 (en) * | 2004-05-19 | 2008-01-31 | Ritchey Kurtis J | Panoramic image-based virtual reality/telepresence audio-visual system and method |
US20080215994A1 (en) * | 2007-03-01 | 2008-09-04 | Phil Harrison | Virtual world avatar control, interactivity and communication interactive messaging |
US20120212399A1 (en) * | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film |
CN102906623A (zh) * | 2010-02-28 | 2013-01-30 | 奥斯特豪特集团有限公司 | 交互式头戴目镜上的本地广告内容 |
CN102540463A (zh) * | 2010-09-21 | 2012-07-04 | 微软公司 | 用于透视头戴式显示器的不透明度滤光器 |
US20120113092A1 (en) * | 2010-11-08 | 2012-05-10 | Avi Bar-Zeev | Automatic variable virtual focus for augmented reality displays |
US20120127062A1 (en) * | 2010-11-18 | 2012-05-24 | Avi Bar-Zeev | Automatic focus improvement for augmented reality displays |
US20120183137A1 (en) * | 2011-01-13 | 2012-07-19 | The Boeing Company | Augmented Collaboration System |
US20120249416A1 (en) * | 2011-03-29 | 2012-10-04 | Giuliano Maciocci | Modular mobile connected pico projectors for a local multi-user collaboration |
US20130050260A1 (en) * | 2011-08-26 | 2013-02-28 | Reincloud Corporation | Coherent presentation of multiple reality and interaction models |
CN104011788A (zh) * | 2011-10-28 | 2014-08-27 | 奇跃公司 | 用于增强和虚拟现实的系统和方法 |
Cited By (95)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108064364A (zh) * | 2015-01-28 | 2018-05-22 | Ccp公司 | 用于实现多用户虚拟环境的方法和系统 |
US11956414B2 (en) | 2015-03-17 | 2024-04-09 | Raytrx, Llc | Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing |
US10606077B2 (en) | 2016-01-20 | 2020-03-31 | Boe Technology Group Co., Ltd. | Display switching device, switching method, wearable display device and displaying method |
WO2017124785A1 (zh) * | 2016-01-20 | 2017-07-27 | 京东方科技集团股份有限公司 | 显示切换装置及其切换方法、穿戴显示装置及其显示方法 |
US10325408B2 (en) | 2016-01-22 | 2019-06-18 | Nextvpu (Shanghai) Co. Ltd. | Method and device for presenting multimedia information |
CN105893452A (zh) * | 2016-01-22 | 2016-08-24 | 冯歆鹏 | 一种呈现多媒体信息的方法及装置 |
CN105894571A (zh) * | 2016-01-22 | 2016-08-24 | 冯歆鹏 | 一种处理多媒体信息的方法及装置 |
CN105894581A (zh) * | 2016-01-22 | 2016-08-24 | 冯歆鹏 | 一种呈现多媒体信息的方法及装置 |
CN105807922A (zh) * | 2016-03-07 | 2016-07-27 | 湖南大学 | 一种虚拟现实娱乐驾驶的实现方法、装置及系统 |
CN105807922B (zh) * | 2016-03-07 | 2018-10-02 | 湖南大学 | 一种虚拟现实娱乐驾驶的实现方法、装置及系统 |
CN109643014A (zh) * | 2016-03-30 | 2019-04-16 | 索尼互动娱乐股份有限公司 | 头戴式显示器追踪 |
CN109643527A (zh) * | 2016-04-01 | 2019-04-16 | 易客斯特解决方案公司 | 用于零售环境仿真的虚拟现实平台 |
CN109154862A (zh) * | 2016-04-21 | 2019-01-04 | 诺基亚技术有限公司 | 虚拟现实因果概要内容 |
CN109154862B (zh) * | 2016-04-21 | 2021-07-09 | 诺基亚技术有限公司 | 用于处理虚拟现实内容的装置、方法和计算机可读介质 |
KR102384882B1 (ko) | 2016-04-26 | 2022-04-07 | 매직 립, 인코포레이티드 | 증강 현실 시스템들을 사용한 전자기 추적 |
KR20180135487A (ko) * | 2016-04-26 | 2018-12-20 | 매직 립, 인코포레이티드 | 증강 현실 시스템들을 사용한 전자기 추적 |
CN109689173A (zh) * | 2016-04-26 | 2019-04-26 | 奇跃公司 | 使用增强现实系统的电磁跟踪 |
CN109313653A (zh) * | 2016-04-29 | 2019-02-05 | 斯特林有限公司 | 增强媒体 |
CN109416842B (zh) * | 2016-05-02 | 2023-08-29 | 华纳兄弟娱乐公司 | 在虚拟现实和增强现实中的几何匹配 |
CN109416842A (zh) * | 2016-05-02 | 2019-03-01 | 华纳兄弟娱乐公司 | 在虚拟现实和增强现实中的几何匹配 |
CN108700942A (zh) * | 2016-05-17 | 2018-10-23 | 谷歌有限责任公司 | 在虚拟/增强现实系统中改变对象位置的技术 |
CN108700942B (zh) * | 2016-05-17 | 2021-07-16 | 谷歌有限责任公司 | 在虚拟/增强现实系统中改变对象位置的技术 |
CN109564351A (zh) * | 2016-06-06 | 2019-04-02 | 华纳兄弟娱乐公司 | 混合现实系统 |
CN106293100A (zh) * | 2016-08-24 | 2017-01-04 | 上海与德通讯技术有限公司 | 虚拟现实设备中视线焦点的确定方法及虚拟现实设备 |
CN106327584B (zh) * | 2016-08-24 | 2020-08-07 | 深圳市瑞云科技有限公司 | 一种用于虚拟现实设备的图像处理方法及装置 |
CN106327584A (zh) * | 2016-08-24 | 2017-01-11 | 上海与德通讯技术有限公司 | 一种用于虚拟现实设备的图像处理方法及装置 |
CN107957774A (zh) * | 2016-10-18 | 2018-04-24 | 阿里巴巴集团控股有限公司 | 虚拟现实空间环境中的交互方法及装置 |
CN106534125A (zh) * | 2016-11-11 | 2017-03-22 | 厦门汇鑫元软件有限公司 | 一种基于局域网实现vr多人交互系统的方法 |
CN109416614A (zh) * | 2016-11-30 | 2019-03-01 | 日本聚逸株式会社 | 应用程序控制程序、应用程序控制方法以及应用程序控制系统 |
CN110050295A (zh) * | 2016-12-14 | 2019-07-23 | 微软技术许可有限责任公司 | 用于增强和虚拟现实系统的减性绘制 |
US11113863B2 (en) | 2016-12-30 | 2021-09-07 | Google Llc | Rendering content in a 3D environment |
CN106823408A (zh) * | 2016-12-30 | 2017-06-13 | 武汉市马里欧网络有限公司 | 基于ar的儿童积木搭建系统及方法 |
CN106823408B (zh) * | 2016-12-30 | 2019-05-07 | 武汉市马里欧网络有限公司 | 基于ar的儿童积木搭建系统及方法 |
CN108885522A (zh) * | 2016-12-30 | 2018-11-23 | 谷歌有限责任公司 | 渲染3d环境中的内容 |
CN108885522B (zh) * | 2016-12-30 | 2021-07-06 | 谷歌有限责任公司 | 渲染3d环境中的内容 |
CN110337318A (zh) * | 2017-02-28 | 2019-10-15 | 奇跃公司 | 混合现实装置中的虚拟和真实对象记录 |
CN110382066A (zh) * | 2017-03-06 | 2019-10-25 | 环球城市电影有限责任公司 | 混合现实观察器系统和方法 |
CN106919259A (zh) * | 2017-03-06 | 2017-07-04 | 北京小米移动软件有限公司 | 基于vr设备的形象处理方法和装置 |
CN110382066B (zh) * | 2017-03-06 | 2023-10-13 | 环球城市电影有限责任公司 | 混合现实观察器系统和方法 |
CN114755824A (zh) * | 2017-03-21 | 2022-07-15 | 奇跃公司 | 用于结合光扫描投影仪跟踪眼睛运动的方法和系统 |
CN106913449A (zh) * | 2017-03-23 | 2017-07-04 | 郑州诚优成电子科技有限公司 | 互动式增强现实视力康复装置 |
CN110476139B (zh) * | 2017-03-28 | 2024-01-02 | 奇跃公司 | 具有关联到用户操纵的虚拟对象的空间化音频的增强现实系统 |
CN110476139A (zh) * | 2017-03-28 | 2019-11-19 | 奇跃公司 | 具有关联到用户操纵的虚拟对象的空间化音频的增强现实系统 |
CN108668050B (zh) * | 2017-03-31 | 2021-04-27 | 深圳市掌网科技股份有限公司 | 基于虚拟现实的视频拍摄方法和装置 |
CN108668050A (zh) * | 2017-03-31 | 2018-10-16 | 深圳市掌网科技股份有限公司 | 基于虚拟现实的视频拍摄方法和装置 |
CN108694730A (zh) * | 2017-04-06 | 2018-10-23 | 赫克斯冈技术中心 | 使用图像跟踪的ar装置的近场操纵 |
CN110520899A (zh) * | 2017-04-14 | 2019-11-29 | 微软技术许可有限责任公司 | 标识在环境中的标记的位置 |
CN110770636A (zh) * | 2017-04-25 | 2020-02-07 | 雷特克斯有限公司 | 具有矫正视力缺陷、增强视力和感知能力的可穿戴图像处理和控制系统 |
CN110770636B (zh) * | 2017-04-25 | 2024-04-05 | 雷特克斯有限公司 | 具有矫正视力缺陷、增强视力和感知能力的可穿戴图像处理和控制系统 |
CN110573992B (zh) * | 2017-04-27 | 2023-07-18 | 西门子股份公司 | 使用增强现实和虚拟现实编辑增强现实体验 |
CN110573992A (zh) * | 2017-04-27 | 2019-12-13 | 西门子股份公司 | 使用增强现实和虚拟现实编辑增强现实体验 |
CN110637273B (zh) * | 2017-05-10 | 2021-12-03 | 微软技术许可有限责任公司 | 在虚拟环境内呈现应用 |
CN110637273A (zh) * | 2017-05-10 | 2019-12-31 | 微软技术许可有限责任公司 | 在虚拟环境内呈现应用 |
CN110809750B (zh) * | 2017-06-15 | 2022-05-17 | 微软技术许可有限责任公司 | 在保持物理性质的同时虚拟地表示空间和对象 |
CN110809750A (zh) * | 2017-06-15 | 2020-02-18 | 微软技术许可有限责任公司 | 在保持物理性质的同时虚拟地表示空间和对象 |
CN109146954A (zh) * | 2017-06-19 | 2019-01-04 | 苹果公司 | 用于与所显示的地图进行交互的增强现实界面 |
US11077361B2 (en) | 2017-06-30 | 2021-08-03 | Electronic Arts Inc. | Interactive voice-controlled companion application for a video game |
CN109200578B (zh) * | 2017-06-30 | 2021-10-22 | 电子技术公司 | 用于视频游戏的交互式语音控制的伴随应用 |
CN109200578A (zh) * | 2017-06-30 | 2019-01-15 | 电子技术公司 | 用于视频游戏的交互式语音控制的伴随应用 |
CN107277494A (zh) * | 2017-08-11 | 2017-10-20 | 北京铂石空间科技有限公司 | 立体显示系统及方法 |
CN109407821A (zh) * | 2017-08-18 | 2019-03-01 | 奥多比公司 | 与虚拟现实视频的协作交互 |
CN109407821B (zh) * | 2017-08-18 | 2023-10-27 | 奥多比公司 | 与虚拟现实视频的协作交互 |
CN107564099A (zh) * | 2017-08-29 | 2018-01-09 | 上海爱优威软件开发有限公司 | 一种3d空间模型的构建方法及系统 |
CN109420336A (zh) * | 2017-08-30 | 2019-03-05 | 深圳市掌网科技股份有限公司 | 基于增强现实的游戏实现方法和装置 |
CN107608517B (zh) * | 2017-09-25 | 2020-06-19 | 艾亚(北京)科技有限公司 | 一种基于地理位置的场景互动交友系统及方法 |
CN107608517A (zh) * | 2017-09-25 | 2018-01-19 | 艾亚(北京)科技有限公司 | 一种基于地理位置的场景互动交友系统及方法 |
US11922588B2 (en) | 2017-09-29 | 2024-03-05 | Apple Inc. | Cooperative augmented reality map interface |
US11393174B2 (en) | 2017-09-29 | 2022-07-19 | Apple Inc. | Cooperative augmented reality map interface |
CN108399638A (zh) * | 2018-02-08 | 2018-08-14 | 重庆爱奇艺智能科技有限公司 | 一种基于标记的增强现实交互方法、装置及电子设备 |
CN108399638B (zh) * | 2018-02-08 | 2021-07-20 | 重庆爱奇艺智能科技有限公司 | 一种基于标记的增强现实交互方法、装置及电子设备 |
TWI658404B (zh) * | 2018-02-09 | 2019-05-01 | 宏碁股份有限公司 | 語音辨識系統及其方法 |
CN108427499A (zh) * | 2018-02-13 | 2018-08-21 | 视辰信息科技(上海)有限公司 | 一种ar系统及ar设备 |
CN112106055A (zh) * | 2018-03-09 | 2020-12-18 | 文塔纳3D有限责任公司 | 利用增强现实在制造期间进行实时质量控制 |
CN108196686A (zh) * | 2018-03-13 | 2018-06-22 | 北京无远弗届科技有限公司 | 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统 |
CN108196686B (zh) * | 2018-03-13 | 2024-01-26 | 北京无远弗届科技有限公司 | 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统 |
CN110310288B (zh) * | 2018-03-20 | 2023-11-28 | 罗技欧洲公司 | 用于混合现实环境中的对象分割的方法和系统 |
CN110310288A (zh) * | 2018-03-20 | 2019-10-08 | 罗技欧洲公司 | 用于混合现实环境中的对象分割的方法和系统 |
CN110531846B (zh) * | 2018-05-24 | 2023-05-23 | 卡兰控股有限公司 | 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作 |
CN110531846A (zh) * | 2018-05-24 | 2019-12-03 | 明日基金知识产权控股有限公司 | 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作 |
CN109102533A (zh) * | 2018-06-19 | 2018-12-28 | 黑龙江拓盟科技有限公司 | 一种基于混合现实的特征点定位方法 |
CN108769802A (zh) * | 2018-06-21 | 2018-11-06 | 北京密境和风科技有限公司 | 网络表演的实现方法、装置和系统 |
CN109035415A (zh) * | 2018-07-03 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 |
CN110780730A (zh) * | 2018-07-24 | 2020-02-11 | 迪士尼企业公司 | 对于显示器的自适应亮度/颜色修正 |
CN110780730B (zh) * | 2018-07-24 | 2023-07-07 | 迪士尼企业公司 | 对于显示器的自适应亮度/颜色修正 |
CN110851095A (zh) * | 2018-08-21 | 2020-02-28 | 迪士尼企业公司 | 虚拟和增强现实中的多屏幕交互 |
CN110851095B (zh) * | 2018-08-21 | 2023-10-24 | 迪士尼企业公司 | 虚拟和增强现实中的多屏幕交互 |
CN112868023A (zh) * | 2018-10-15 | 2021-05-28 | 艾玛迪斯简易股份公司 | 增强现实系统和方法 |
CN109513157B (zh) * | 2018-10-16 | 2020-09-11 | 广州嘉影软件有限公司 | 基于Kinect体感的灭火演练交互方法与系统 |
CN109513157A (zh) * | 2018-10-16 | 2019-03-26 | 广州嘉影软件有限公司 | 基于Kinect体感的灭火演练交互方法与系统 |
CN113711162A (zh) * | 2019-01-31 | 2021-11-26 | 格勒诺布尔阿尔卑斯大学 | 用于混合现实应用中机器人交互的系统和方法 |
CN113544766A (zh) * | 2019-03-12 | 2021-10-22 | 奇跃公司 | 在第一和第二增强现实观看器之间配准本地内容 |
TWI720480B (zh) * | 2019-05-14 | 2021-03-01 | 真美滿有限公司 | 模擬展示系統 |
CN112100284A (zh) * | 2019-06-18 | 2020-12-18 | 明日基金知识产权控股有限公司 | 通过虚拟孪生现实与现实世界物品及对应数据库交互 |
CN111190488A (zh) * | 2019-12-30 | 2020-05-22 | 华为技术有限公司 | 设备控制方法、通信装置及存储介质 |
CN115116577A (zh) * | 2022-07-26 | 2022-09-27 | 青岛美迪康数字工程有限公司 | 基于二维码的质控数据传输方法及装置 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2023200357B2 (en) | System and method for augmented and virtual reality | |
CN105188516B (zh) | 用于增强和虚拟现实的系统与方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |