CN105188516B - 用于增强和虚拟现实的系统与方法 - Google Patents

用于增强和虚拟现实的系统与方法 Download PDF

Info

Publication number
CN105188516B
CN105188516B CN201480026513.8A CN201480026513A CN105188516B CN 105188516 B CN105188516 B CN 105188516B CN 201480026513 A CN201480026513 A CN 201480026513A CN 105188516 B CN105188516 B CN 105188516B
Authority
CN
China
Prior art keywords
user
virtual
world
object
system
Prior art date
Application number
CN201480026513.8A
Other languages
English (en)
Other versions
CN105188516A (zh
Inventor
S·A·米勒
R·阿伯维茨
Original Assignee
奇跃公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201361776771P priority Critical
Priority to US61/776,771 priority
Application filed by 奇跃公司 filed Critical 奇跃公司
Priority to PCT/US2014/023739 priority patent/WO2014164901A1/en
Publication of CN105188516A publication Critical patent/CN105188516A/zh
Application granted granted Critical
Publication of CN105188516B publication Critical patent/CN105188516B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/0093Other optical systems; Other optical apparatus with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/38Quantising the analogue image signal, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/10Network-specific arrangements or communication protocols supporting networked applications in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/38Protocols for telewriting; Protocols for networked simulations, virtual reality or games
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type, eyeglass details G02C
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024Multi-user, collaborative environment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data

Abstract

一个实施例针对使两个或更多用户能在包括虚拟世界数据的虚拟世界中交互的系统,该系统包括计算机网络,所述计算机网络包括一个或多个计算设备,所述一个或多个计算设备包括存储器、处理电路和至少存储于所述存储器的一部分上并可由所述处理电路执行以处理所述虚拟世界数据的至少一部分的软件;其中所述虚拟世界数据的至少第一部分源自第一用户本地的第一虚拟世界,并且其中所述计算机网络可操作以传送第一部分至用户设备以用于向第二用户展示,以使得第二用户可从第二用户的位置体验第一部分,以使得第一用户虚拟世界的多个方面可被有效地传至第二用户。

Description

用于增强和虚拟现实的系统与方法

技术领域

[0001] 本发明一般地涉及被配置以有助于用于一个或多个用户的交互式虚拟或增强现 实环境的系统与方法。

背景技术

[0002] 虚拟和增强现实环境由计算机在部分地使用描述环境的数据生成。该数据可描 述,例如,用户可感知并与之交互的多种对象。这些对象的示例包括被渲染和展示以使用户 可看见的对象、被播放以让用户可听到的声音、以及让用户感觉到的触觉(或触感)的反馈。 通过各种虚拟的、听觉的和触觉的方法,用户可感知虚拟和增强现实环境并与之交互。

发明内容

[0003] 本发明的实施例针对有助于用于一个或多个用户的虚拟现实和/或增强现实交互 的设备、系统和方法。

[0004] 一个实施例针对用户显示设备,所述用户显示设备包括安装于用户头上的外壳框 架、耦合至所述外壳框架以追踪所述用户眼睛运动并基于所述被追踪的眼睛运动估计焦点 的深度的第一对摄像机、具有光线生成机制的投影模块,其基于被估计的焦点的深度生成 和修改与显示对象相关的映射光线以使得该显示对象在焦点出现、安装在所述外壳框架上 的透镜,以及通信地耦合至所述投影模块以将与显示图像相关的数据传递至投影模块的处 理器。所述透镜可包括被放置于用户眼睛前方以将被投影的光反射至用户眼睛中的至少一 个透镜。所述至少一个透镜可选择性地允许来自本地环境的光的透射。

[0005] 用户显示设备可进一步包括安装在外壳框架上以捕捉与第二对摄像机中的每一 个摄像机对应的眼睛的视野图像的第二对摄像机。基于被捕捉的视野图像,所述处理器可 计算用户的头部姿态。

[0006] 投影模块可包括激光扫描装置以基于被估计的焦点的深度修改与所述显示对象 相关的投影光束。所述投影光束的直径可小于0.7毫米。

[0007] 在一个实施例中,第一对摄像机可包括与红外光源配对的红外摄像机以追踪用户 的眼睛中的每一个眼睛的运动。用户显示设备可进一步包括传感器组件,所述传感器组件 包括至少一个传感器以感知用户的运动、位置、方向和朝向中的至少一个。所述至少一个传 感器可为加速计、罗盘或陀螺仪。基于所述用户的运动、所述用户的位置、所述用户的方向 和所述用户的朝向中的至少一个,所述处理器可估计用户的头部姿态。所述用户显示设备 可包括GPS系统。所述用户显示设备可进一步包括通信地耦合至所述投影模块以提供触觉 反馈的触觉接口设备。20.所述用户显示设备可进一步包括环境感知系统以数字化地重构 所述用户的环境。

[0008] 所述处理器可通信地耦合至计算机网络以传输虚拟世界数据的至少一部分,并且 接收所述虚拟世界数据的另一部分。

[0009] 所述用户显示设备可包括安装在头部框架的扬声器模块以输出声音。所述用户显 示设备可进一步包括安装在外壳框架上的麦克风以捕捉用户本地的声音。

[0010] 所述投影模块可修改与另一对象相关的另一投影光线以使得该其他对象出现模 糊,其中所述另一对象不是所述显示对象。所述处理器可以以每秒至少60帧的速率渲染所 述显示对象的巾贞。

[0011] 所述显示对象可为虚拟对象、已渲染物理对象、图像和视频中的至少一个。

[0012] 在另一实施例中,所述方法包括追踪用户眼睛的运动,基于被追踪的眼睛运动估 计所述用户眼睛的焦点的深度,基于被估计焦点的深度修改与显示对象相关的光束以使得 所述显示对象出现在焦点,以及将被修改的光束投影至所述用户眼睛中。被投影至用户眼 睛的投影光束的直径可小于0.7毫米。

[0013] 所述方法可进一步包括基于所述显示对象的可视化模式,选择性地允许来自用户 的本地环境的光线透射。所述可视化模式可以是增强现实模式、虚拟现实模式以及增强和 虚拟现实模式的组合中的一个。

[0014] 所述方法可进一步包括捕捉所述用户的每个眼睛的视野图像。所述被捕捉的视野 图像可被用以估计所述用户的头部姿态。被捕捉的视野图像可被用于将至少一个物理对象 转换为物理漬染(physically rendered)的虚拟对象,并且向所述用户显示该物理漬染的 虚拟对象。

[0015] 所述方法可进一步包括从被捕捉的视野图像中提取点集,并且基于被提取的点集 为所述被捕捉的视野图像中的至少一个物理对象创建基准(fiducial)。所述方法可进一步 包括传送被提取的点集和被创建的基准中的至少一个至云计算机,以及将被提取的点集和 被创建的基准中的至少一个标记为一种对象类型。所述方法可进一步包括基于与所述对象 类型相关的被标记点集和与所述对象类型相关的被标记的被创建基准中的至少一个,识别 不同的物理对象属于该对象类型。

[0016] 所述方法可进一步包括感知所述用户的运动、所述用户的位置、所述用户的方向 和所述用户的朝向中的一个,以及基于被感知的运动、被感知的位置、被感知的方向和被感 知的朝向中的至少一个计算所述用户的姿态。所述传感器可为加速计、罗盘和陀螺仪中的 至少一个。

[0017] 所述方法可进一步包括处理与所述显示对象相关的虚拟世界数据至云网络,以及 传送与该显示对象相关的虚拟世界数据的至少一部分至位于第二位置的第二用户以使得 第二用户可在第二位置体验与该显示对象相关的虚拟世界数据的至少一部分。

[0018] 所述方法可进一步包括感知物理对象,以及基于与被感知的物理对象的预先确定 的关系,修改与所述显示对象相关的虚拟世界数据的至少一部分。所述方法进一步包括向 第二用户呈现被修改的虚拟世界数据。

[0019] 所述方法可进一步包括修改与另一对象相关的另一光线以使得该其他对象出现 模糊,其中所述另一对象不是所述显示对象。

[0020] 所述方法可进一步包括通过用户接口接收用户输入,以及基于接收的用户输入修 改所述显示对象。所述用户接口可为触觉接口设备、键盘、鼠标、控制杆、运动捕捉控制器、 光学追踪设备和音频输入设备中的至少一个。所述显示对象可为虚拟对象、被渲染物理对 象、图像和视频中的至少一个。

[0021] 在另一实施例中,方法包括通过头戴式用户显示设备与包括虚拟世界数据的虚拟 世界交互,其中所述头戴式用户显示设备基于被估计的用户眼睛的焦点的深度向用户渲染 与所述虚拟世界数据的至少一部分相关的显示图像,创建源自所述头戴式用户设备与所述 虚拟世界的交互和与所述用户的物理环境的交互中的至少一个的附加虚拟世界数据,以及 传送所述附加虚拟世界数据至计算机网络。所述虚拟世界可被以二维的形式或三维的形式 呈现。

[0022] 所述方法可进一步包括为了展示,传送所述附加虚拟世界数据至位于第二位置的 第二用户以使得第二用户可从第二位置体验所述附加虚拟世界数据。所述附加虚拟世界数 据可与通过头戴式用户显示设备捕捉的视野图像相关。所述附加虚拟世界数据可与用户的 被感知运动、用户的被感知位置、用户被感知的方向和用户被感知朝向中的至少一个相关。 所述附加虚拟世界数据可与被所述头戴式用户显示设备感知的物理对象相关。所述附加虚 拟世界数据可与与所述被感知的物理对象具有预先确定的关系的显示对象相关。

[0023]所述方法可进一步包括基于用户输入,选择用于使所述用户和所述头戴式用户显 示设备之间能够交互的接口,以及基于被选择的接口,渲染与所述虚拟世界数据的至少一 部分相关的显示对象。所述被选择的接口可以是虚拟现实模式、增强现实模式、混合现实模 式和虚拟现实和增强现实模式的组合中的一个。

[0024]在另一实施例中,使两个或更多用户能与包括虚拟世界数据的虚拟世界交互的方 法包括通过第一用户显示设备以第一用户的第一可视化模式显示所述虚拟世界,通过计算 机网络传送所述虚拟世界数据的至少一部分至第二用户显示器,以及在第二用户的第二用 户显示设备中以第二可视化模式显示与所述虚拟世界数据的被传送部分相关的虚拟世界。 第一可视化模式可以不同于第二可视化模式。第一可视化模式可以是增强现实模式、虚拟 现实模式、混合现实模式以及虚拟现实和增强现实模式的组合中的至少一个。

[0025]在另一实施例中,方法包括基于用户的选择处理与现实物理对象的图像相关的被 渲染物理图像数据和与虚拟显示对象相关的虚拟图像数据中的至少一个,以及选择性地向 用户显示用户实时可见的现实物理对象、基于用户实时可见的现实物理对象渲染的被渲染 物理-虚拟对象,以及虚拟显示对象的选择的组合。所述现实物理对象、被渲染的物理-虚拟 对象和虚拟显示对象的至少一个基于用户输入的可视化模式来被选择性地显示。所述可视 化模式可为增强现实模式、虚拟现实模式、混合现实模式以及虚拟和增强现实模式的组合 中的至少一个。

[0026]所述方法进一步包括通过计算机网络接收与另一显示对象相关的图像数据以及 将所述图像数据转换为与所选择的可视化模式兼容的数据格式以使得所述用户可以以被 选择的可视化模式察看另其他显示对象。

[0027]所述方法进一步包括基于所述被选择的可视化模式,选择性地允许来自外界环境 的光线的透射以使得所述用户可察看现实物理对象。

[0028]在另一实施例中,方法包括通过头戴式用户显示设备的透镜选择性地允许来自外 界环境的光线的透射,其中所述头戴式用户显示设备被配置用于显示彻底的虚拟对象、彻 底的物理对象或虚拟对象和物理对象的组合。

[0029]基于所期望的可视化模式选择性的允许光线的透射,其中所期望的可视化模式是 增强现实模式、虚拟现实模式、混合现实模式以及增强和虚拟现实模式的组合中的一个。 [0030]所述方法可进一步包括当头戴式用户设备被关闭时,允许来自所述外界环境的光 线的完全透射,以使得所述用户仅察看彻底的物理对象。

[0031] 所述方法可进一步包括将与具有特定形状的至少一个显示对象相关的光束投影 至用户的眼中,以及基于所述至少一个显示对象的特殊的形状,选择性地允许来自外界环 境的光线的透射以使得用户察看显示对象连同所述外界环境中的物理对象。所述方法可进 一步包括阻止来自所述外界环境的光线的透射以使得所述用户仅察看彻底的虚拟对象。

[0032] 在另一实施例中,使两个或更多用户能够在包括虚拟世界数据的虚拟世界之内交 互的方法包括为通过在第一位置的第一用户设备访问所述虚拟世界的第一用户创建远程 形象,将第一用户的远程形象放置于现实的地理位置,以使得第一用户可通过在第一位置 的第一用户设备体验现实的地理位置,以及通过放置于现实的地理位置的远程形象与通过 在现实的地理位置的第二用户设备访问虚拟世界的第二用户交互。第一位置可不同于现实 的地理位置,或第一位置可实质上与所述现实的地理位置相同。

[0033]所述远程形象可与在现实地理位置的物理对象具有预先确定的的关系。所述远程 形象可在所述现实地理位置响应环境提示。所述远程形象的运动可由第一用户控制。所述 远程形象可与在所述现实地理位置的第二用户交互。

[0034]在另一实施例中,方法包括通过头戴式用户显示设备捕捉所述用户的每个眼睛的 视野图像,在被捕捉视野图像中提取点集,将提取的点集与特殊的对象相关联,以及基于与 所述特殊对象相关联的点集识别不同的对象。

[0035]另一实施例针对用于使两个或更多用户能在包括虚拟世界数据的虚拟世界中交 互的系统,所述系统包括计算机网络,所述计算机网络包括一个或多个计算设备,所述一个 或多个计算设备包括存储器、处理电路和至少存储于所述存储器的部分上并可由所述处理 电路执行以处理所述虚拟世界数据的至少一部分的软件;其中所述虚拟世界数据的至少第 一部分源自第一用户本地的第一用户虚拟世界,并且其中所述计算机网络可操作以传送所 述第一部分至用户设备以用于对第二用户展示,以使得第二用户可从第二用户位置体验所 述第一部分,以使得第一用户虚拟世界多个方面被有效地传至第二用户。第一和第二用户 可位于不同的物理位置或位于实质上相同的物理位置。所述虚拟世界的至少一部分可被配 置以响应于虚拟世界数据中的变化而变化。所述虚拟世界的至少一部分可被配置以响应由 所述用户设备感知的物理对象而变化。虚拟世界数据的变化可描绘与所述物理对象具有预 先确定的关系的虚拟对象。依据所述预先确定的关系,虚拟世界数据的变化可被呈现至第 二用户设备以用于展示给第二用户。所述虚拟世界可操作以由所述计算机服务器或用户设 备中的至少一个渲染。所述虚拟世界可以以二维的形式呈现。所述虚拟世界可以以三维的 形式呈现。所述用户设备可操作以提供用于使用户和处于增强现实模式中的所述虚拟世界 之间能够交互的接口。所述用户设备可被操作以提供用于使用户和处于虚拟现实模式中的 所述虚拟世界之间能够交互的接口。所述用户设备可被操作以提供用于使用户和处于增强 和虚拟现实模式的组合模式中的所述虚拟世界之间能够交互的接口。所述虚拟世界数据可 在数据网络上传送。所述计算机网络可被操作以从用户设备接收所述虚拟世界数据的至少 一部分。被传送至所述用户设备的所述虚拟世界数据的至少一部分可包括用于生成所述虚 拟世界的至少一部分的指令。所述虚拟世界数据的至少一部分可被传送至网关用于处理或 分发中的至少一个。一个或多个计算机服务器中的至少一个可被操作以处理由所述网关分 发的虚拟世界数据。

[0036]另一实施例针对用于虚拟和/或则增强用户体验的系统,其中可至少部分基于具 有可选地来自音调变化和面部识别软件的输入的可穿戴设备上的数据来绘制(animate)远 程形象。

[0037]另一实施例针对用于虚拟和/或增强用户体验的系统,其中摄像机姿态或视点位 置及矢量可被放置在世界扇区(world sector)的任何位置。

[0038]另一实施例针对用于虚拟和/或增强用户体验的系统,其中世界或其部分可被渲 染以用于以多种和可选的尺寸来观察用户。

[0039]另一实施例针对用于虚拟和/或增强用户体验的系统,其中特征除了姿态被标记 的图像之外还有例如点和参数曲线,所述特征可被作为用于世界模型的基本数据来利用, 从中可利用软件机器人或对象识别器以创建真实世界对象的参数表示,为被分割的对象和 世界t旲型中的相互包含物(mutual inclusion)标记源特征(source feature)。

[0040] 本发明的附加的和其他目标、特性和优点在详细说明、图表和权利要求中被描述。

附图说明

[0041] 图1示出了被公开的有助于用于多用户的交互式虚拟或增强现实环境的系统的代 表性实施例。

[0042] 图2示出了用于与图1中示出的系统交互的用户设备的示例。

[0043]图3示出了移动的、可穿戴用户设备的示例性实施例。

[0044]图4示出了当图3中的移动的、可穿戴用户设备正以增强模式运作时,由用户察看 的对象的示例。

[0045]图5示出了当图3中的移动的、可穿戴用户设备正以虚拟模式运作时,由用户察看 的对象的示例。

[0046]图6示出了当图3中的移动的、可穿戴用户设备正以混合虚拟接口模式运作时,由 用户察看的对象的示例。

[0047]图7示出了 一个实施例,其中位于不同的地理位置的两个用户中的每个用户均通 过他们各自的用户设备与另一个用户以及共同的虚拟世界交互。

[0048]图8示出了一个实施例,其中图7中的实施例被扩展以包括触觉设备的使用。

[0049]图9A$出了混合模式接口连接(interfacing)的示例,其中第一用户以混合虚拟 接口模式连接数字世界,并且二用户以虚拟现实模式连接相同的数字世界。

[0050] 图9B示出了混合模式接口连接的另一示例,其中第一用户以混合虚拟接口模式连 接数字世界,并且第二用户以增强现实模式连接相同的数字世界。

[0051] 图10示出了当以增强现实模型连接所述系统时,用户视野的示例性说明。

[0052] 图11示出了当用户以增强现实模式连接所述系统时,由物理对象触发显示虚拟对 象的用户视野示例性说明。

[0053]图12示出了增强和虚拟现实整合配置的一个实施例,其中处于增强现实体验中的 一个用户可视化处于虚拟现实体验中的另一用户的存在。

[0054] 图13示出了基于增强现实体验配置的一段时间和/或偶然事件的一个实施例。 [0055]图14示出了适用于虚拟和/或增强现实体验的用户显示配置的一个实施例。

[0056]图15示出了本地的和基于云的计算坐标的一个实施例。

[0057] 图16示出了记录(registration)配置的多种方面。

具体实施方式

[0058] 参考图1,系统100为用于实施下述处理的典型性硬件。该典型性系统包括由通过 一个或多个高宽带接口 115连接的一个或多个计算机服务器组成的计算网络105。所述计算 网络中的服务器不需要被放置于一起。所述一个或多个服务器110中的每一个都包括用于 执行程序指令的一个或多个处理器。所述服务器还包括用于存储所述程序指令和由处理所 生成和/或使用的数据的存储器,所述数据被在所述程序指令的指导下的所述服务器所携 带。

[0059] 所述计算网络105在一个或多个数据网络连接130上在所述服务器110之间和所述 服务器与一个或多个用户设备120之间通信数据。这样的数据网络的示例包括,但不限于, 任何和所有类型的移动以及有线的公共和私有数据网络,包括例如许多通常被称为因特网 的此类网络的互连。所述图表没有暗示特殊的媒介、拓扑或协议。

[0060]用户设备被配置以用于与计算网络105或任意服务器110直接地通信。备选地,用 户设备120与所述远程服务器110通信,并且可选地,通过被特定地编程与其他用户本地设 备通信,本地网关140用于处理数据和/或用于在网络105和一个或多个用户本地服务器120 之间传送数据。

[0061]如图所示,网关140被作为单独的硬件部分实施,其包括用于执行软件指令的处理 器和用于存储软件指令和数据的存储器。所述网关具有自己的至数据网络的有线和/或无 线连接,用于与包括计算网络105的服务器110通信。备选地,网络140可与由用户穿戴或携 带的用户设备120整合。例如,所述网关140可作为安装并运行在处理器上的可下载的应用 软件来实施,所述处理器包括在所述用户设备120内。在一个实施例中,所述网关140提供经 由所述数据网络130对所述计算网络105的一个或多个用户接入。

[0062] 每个服务器110都包括,例如,用以存储数据和软件程序的工作存储器和贮存器、 用以执行程序指令的微处理器、用以渲染和生成图形、图像、视频、音频和多媒体文件的图 形处理器和其他特殊的处理器。计算网络105还可包括用以存储由所述服务器110访问、使 用或创建的数据的设备。

[0063] 运行在所述服务器以及可选地在用户设备120和网关140上的软件程序被用于生 成数字世界(此处还被称为虚拟世界),用户使用用户设备120与之交互。数字世界由数据和 过程来表示,所述数据和过程描述和/或定义通过用户设备120呈现给用户以用于体验并与 之交互的虚拟的、不存在的实体、环境和条件。例如,当在用户察看或体验的场景中的实例 化包括对其外观、行为、用户如何被允许与之交互,和其他特征的描述时,一些类型的对象、 实体或物品将会显得在物理上存在。被使用以创建虚拟世界的环境(包括虚拟对象)的数据 可包括,例如大气数据、地形数据、天气数据、温度数据、位置数据和其他被使用以定义和/ 或描述虚拟环境的数据。此外,定义管理虚拟世界的操作的多种条件的数据可包括,例如物 理定律、时间、空间关系和其他可被用来定义和/或创建多种条件的数据,所述各种条件管 理虚拟世界(包括虚拟对象)的运行。

[0064]除非上下文表明相反,否则数字世界的实体、对象、条件、特征、行为或其他特性在 本文被统称为对象(例如,数字对象、虚拟对象、被渲染物理对象等等)。对象可为任何类型 的动画或非动画对象,包括但不限于,建筑物、植物、车辆、人、动物、生物、机器、数据、视频、 文本、图片和其他用户。对象还可在虚拟世界中被定义,用于存储关于实际存在于物理世界 的对象、行为或条件的信息。描述或定义所述实体、对象或物品,或存储其当前状态的数据, 在本文通常被称为对象数据。该数据由所述服务器110处理,或根据所述实施由网关140或 用户设备120处理,以为通过用户设备来体验的用户以适当的方式实例化所述对象的实例 并渲染所述对象。

[0065]开发和/或完善数字世界的程序员创建或定义对象和其被实例化的条件。然而,数 字世界可允许其他人创建或修改对象。一旦对象被实例化,所述对象的状态可被允许由体 验数字世界的一个或多个用户改造、控制或操作。

[0066] 例如,在一个实施例中,数字世界的开发、生产和管理通常由一个或多个系统管理 程序员来提供。在一些实施例中,这可以包括数字世界中的故事线、主题和事件的开发、设 计和/或执行以及通过多种形式的事件和例如电影、数字、网络、移动、增强现实和现场娱乐 的媒体的分布式的叙述。所述系统管理程序员还可处理所述数字世界的技术管理、修改和 完善和与之相关的用户社区,以及通常由网络管理人员执行的其他任务。

[0067]用户使用通常被称为用户设备120的一些类型的本地计算设备与一个或多个数字 世界交互。此类用户设备的示例包括但不限于,智能手机、平板电脑、抬头显示器(HUD)、游 戏控制器或能够传递数据并向用户提供接口或显示的任何其他设备,以及此类设备的组 合。在一些实施例中,所述用户设备120可包括或者可与本地外部设备或输入/输出组件通 信,所述本地外部设备或输入/输出组件例如键盘、鼠标、操作杆、游戏控制器、触觉接口设 备、运动捕捉控制器、如可向体感控制(Leap Motion)公司购买的光学追踪设备等或可向微 软(Microsoft)公司购买的商标名为Kinect (RTM)下的光学追踪设备、音频设备、语音设备、 投影系统、3D显示和全息3D接触式镜片。

[0068]图2示出了用于与系统100交互的用户设备120的示例。在图2中显示的示例实施例 中,用户210可通过智能手机220连接一个或多个数字世界。网关由存储并运行于所述智能 手机220上的应用软件230实施。在此类特殊的示例中,所述数据网络130包括连接用户设备 (即智能手机220)至所述计算机网络105的无线移动网络。

[0069] 在优选的实施例的一个实现中,系统100能够支持大量的并发用户(例如,数百万 的用户),每个用户均使用一些类型的用户设备120与同一数字世界,或者与不同的数字世 界连接。

[0070] 所述用户设备向用户提供使所述用户和由服务器110生成的数字世界之间能够可 视、可听,和/或物理交互的接口,包括(真实或虚拟)呈现给所述用户的其他用户和对象。所 述接口向所述用户提供可被察看、被听到或以其它方式被感知的被渲染场景,以及实时与 场景交互的能力。所述用户与所述被渲染场景交互的方式可由所述用户设备的能力决定。 例如,如果所述用户设备为智能手机,所述用户交互可由用户接触触摸屏来实施。在另一示 例中,如果所述用户设备为计算机或游戏控制器,所述用户交互可使用键盘或游戏控制器 来实施。用户设备可包括例如传感器的附加的组件,其使得用户交互成为可能,其中由所述 传感器检测到的对象和信息(包括手势)可被作为输入提供,所述输入表示使用所述用户设 备与所述虚拟世界的用户交互。

[0071] 所述渲染场景可被以多种形式呈现,例如二维或三维可视化显示(包括投影)、声 音和触觉或触觉反馈。所述渲染场景可以一种或多种模式来与所述用户接口,所述模式包 括例如增强现实、虚拟现实和其组合。所述渲染场景的格式,以及接口模式,可由下列因素 中的一个或多个决定:用户设备、数据处理能力、用户设备连通性、网络能力和系统工作负 载。具有的大量用户与所述数字世界并发交互和数字交换的实时性质可由计算网络1〇5、服 务器110、网关组件140 (可选地)和用户设备120来启用(enable)。

[0072]在一个示例中,所述计算网络105由具有通过高速连接(例如,高宽带接口 115)连 接的单核和/或多核服务器(即服务器110)的大规模的计算系统组成。所述计算网络105可 形成云或网格网络。每个服务器均包括存储器,或与计算机可读存储器耦合,用于存储执行 数据以创建、设计、更改或处理数字世界的对象的软件。这些对象和它们的实例化可以是动 态的、出现和消失、随时间变化,以及响应其他条件而变化。所述对象的动态能力的示例此 处通常参考多种实施例来讨论。在一些实施例中,连接所述系统100每个用户还可在一个或 多个数字世界中被表示为对象和/或对象集。

[0073]计算网络1〇5中的服务器110还存储用于每个数字世界的计算状态数据。所述计算 状态数据(此处还被称为状态数据)可以使对象数据的组成部分,并且通常在给定的时间实 时定义对象实例的状态。因此,计算状态数据可随时间变化并且可受一个或多个用户的行 为和/或维护系统100的程序员的影响。因为用户影响计算状态数据(或其他包括数字世界 的数据),用户直接改变或以其他方式操控数字世界。如果数字世界与其他用户共享,或与 其他用户连接,用户的行为可影响与数字世界交互的其他用户的体验。因此,在一些实施例 中,由用户造成的数字世界的变化将被其他与系统100交互的用户体验。

[0074] 在一个实施例中,存储于计算网络105中一个或多个服务器110中的数据被高速率 以及低延时地传送或部署至一个或多个用户设备120和/或网关组件140。在一个实施例中, 由服务器共享的对象数据可以是完整的或可以是被压缩的,并且包括用于在用户侧重建完 整对象数据的指令,其由用户的本地计算设备(例如网关140和/或用户设备120)渲染并可 视化。在一些实施例中,运行于计算网络105的服务器110上的软件可根据用户特定的设备 和带宽,为数字世界内的对象调整其生成并发送至特殊的用户设备120的数据(或由计算网 络105交换的任何其他数据)。例如,当用户通过用户设备120与数字世界交互时,服务器110 可识别由用户使用的特定类型的设备、设备的连通性和/或用户设备和服务器之间的可用 带宽,以及合适的尺寸,并且平衡递送至该设备的数据以优化用户交互。该示例可包括减小 被发送数据的尺寸至低分辨率质量,以使得数据可在具有低分辨率显示器的特殊用户设备 上被显示。在优选的实施例中,计算网络105和/或网关组件140以足够呈现15帧/秒或更高 接口操作的速度以及以高清质量或更高的分辨率,将数据递送至用户设备120。

[0075]网关140为一个或多个用户提供至计算网络105的本地连接。在一些实施例中,这 可以由可下载的应用软件来实施,所述应用软件运行于用户设备120或其他本地设备上,例 如图2中所示的那些设备。在其他实施例中,可由硬件组件(结合存储于该组件上的合适的 软件/固件,该组件具有处理器)实施,该组件或与用户设备120通信,但不与其合并或被其 吸引,或者与用户设备120合并。网关140经由数据网络130与计算网络105通信,并提供计算 网络105和一个或多个本地用户设备120之间的数据交换。如在更详细的下文所讨论的,网 关组件140可包括软件、固件、存储器和处理电路,并且能够处理在网络105和一个或多个本 地用户设备120之间通信的数据。

[0076] 在一些实施例中,网关组件140监视并调节用户设备120和计算机网络105之间交 换的数据的速率以允许用于特殊的用户设备120的最佳数据处理能力。例如,在一些实施例 中,网关140缓冲和下载数字世界的静态和动态方面,即使这些超过了通过与用户设备连接 的接口呈现给用户的视野。在这样的实施例中,静态对象的实例(结构化数据、软件实施的 方法,或两者兼有)可存储于存储器(网关组件140本地、用户设备120,或两者兼有)中并且 作为本地用户当前位置的引用,用户的当前位置由计算网络105和/或用户设备120提供的 数据表明。动态对象的实例,可包括例如智能软件代理和由其他用户和/或本地用户控制的 对象,其被存储于高速存储缓冲器中。代表呈现给用户的场景中的二维或三维对象的动态 对象可例如被分解为组件形状,例如运动但不改变的静态形状,和变化的动态形状。动态对 象的变化部分可被通过计算网络105来自服务器110的实时、线性高优先级数据流更新、由 网关组件140管理。作为优先的线性数据流的示例,用户眼睛的60度视野内的数据可被给予 比更外围的视野更高的优先级。另一示例包括优选在背景中的静态对象上的用户视野中的 动态特征和/或对象。

[0077]除了管理计算网络105和用户设备120之间的数据连接之外,网关组件140可存储 和/或处理可呈现给用户设备120的数据。例如,在一些实施例中,网关组件140可从计算网 络105接收例如描述用于用户察看而渲染的图形对象的被压缩数据,并且执行先进的渲染 技术以缓和从计算网络105传送至用户设备120的数据负载。在另一示例中,其中网关140为 独立的设备,网关140可为对象的本地实例存储和/或处理数据,而不是传送数据至计算网 络105以用于处理。

[0078]现在再参考图3,数字世界可由一个或多个用户根据用户设备的能力以多种形式 体验。在一些实施例中,用户设备120可包括,例如,智能手机、平板电脑、抬头显示器(HUD)、 游戏控制器或可穿戴设备。通常,用户设备将包括与显示器耦合、用于执行存储于设备上的 存储器中的程序代码的处理器,以及通信接口。图3中示出了用户设备的示例实施例,其中 用户设备包括移动、可穿戴设备,即头戴式显示系统300。根据本公开的实施例,头戴式显示 系统300包括用户接口302、用户感知系统304、环境感知系统306和处理器308。虽然处理器 3〇8在图3中被作为从头戴式系统300分离的独立的组件来显示,在备选的实施例中,处理器 3〇8可与头戴式系统300的一个或多个组件整合,或可被整合至其他系统100组件中,例如网 关 140.

[0079]用户设备呈现给用户用于与数字世界交互并体验数字世界的接口 302。该交互可 涉及用户和数字世界、连接至系统10〇的一个或多个其他用户,以及数字世界中的对象。接 口 3〇2通常向用户提供图像和/或语音感官输入(以及在一些实施例中,物理感官输入)。因 此接口 3〇2可包括扬声器(未显示)和显示组件3〇3,显示组件在一些实施例中使得更能体现 人类视觉系统自然特征的立体3D察看和/邪察看成为可能。在一些实施例中,显示组件3〇3 可包括透日月的接口(例如清晰的0LED),其在处于“关,,设置时使得的用户附近的物理环境的 几乎无:¾丰%变或计算叠加层(c〇mpUting 〇veriay)的光学正确察看(〇pticaiiy c〇rrect view)成为可能。如下列更详细的讨论,接口 3〇2可包括允许多种视觉/接口性能和功能的附 加设置。

[00S0]在一些实施例中,用户感知系统3〇4可包括可操作以检测与穿戴有系统300的个人 用户相关的特定特性、特征或信息的一个或多个传感器;31〇。例如,在一些实施例中,传感器 310可包括摄像机或光学检测/扫描电路,其能够检测用户的实时光学特性/测量,例如一个 或多个如下内容:瞳孔收缩/扩大、每个瞳孔的角度测量/定位、二次球度(spherocity)、眼 球形状(因为眼球形状随时间而变化)以及其他结构上的数据。该数据提供,或被用于计算 可由头戴式系统300和/或接口系统100使用以优化用户察看体验的信息(例如,用户视觉焦 点)。例如,在一个实施例中,传感器310中的每一个都可以为用户的每个眼睛测量瞳孔收缩 速率。该数据可被传送至处理器308 (或网关组件140或至服务器110),其中数据被用于确定 例如,用户对接口显示器3〇3的亮度设置的反应。接口 3〇2可依照用户的反应被调节,例如, 如果用户反应表明显示器303的亮度等级太高,则调暗显示器303。用户感知系统304除了如 上讨论的那些组件或图3中示出的组件之外,还可包括其他组件。例如,在一些实施例中,用 户感知系统3〇4可包括用以从用户接收声音输入的麦克风。用户感知系统还可包括一个或 多个红外摄像机传感器、一个或多个可见光谱摄像机传感器、结构光发射器和/或传感器、 红外光发射器、相干光发射器和/或传感器、陀螺仪、加速计、磁力仪、近距离传感器、GPS传 感器、超声波发射器和检测器和触觉接口。

[0081]环境感知系统306包括用于从用户周围的物理环境获取数据的一个或多个传感器 312。由传感器检测到的对象或信息可被作为输入提供至用户设备。在一些实施例中,该输 入可表示用户与虚拟世界的交互。例如,察看桌子上的虚拟键盘的用户可用其手指作姿态, 仿佛其在该虚拟键盘上打字。手指移动的运动可被传感器312捕捉并且被作为输入提供至 用户设备或系统,其中该输入可被用于改变虚拟世界或创建新的虚拟对象。例如,手指的运 动可被识别(使用软件程序)为打字,并且被识别的打字姿态可与虚拟键盘上的己知的虚拟 键位置结合。然后系统可渲染显示给用户(或连接至系统的其他用户)的虚拟监视器,其中 虚拟监视器显示由用户键入的文本。

[0082]文本312可包括例如通常面向外面的摄像机或扫描仪以用于解释场景信息,例如, 通过连续的和/或间歇的投影红外结构光。环境感知系统306可被用于通过检测和记录本地 环境来映射用户周围的物理环境的一个或多个因素,包括静态对象、动态对象、人、手势和 各种灯光、大气和声学的条件。因此,在一些实施例中,环境感知系统306可包括嵌入到本地 计算系统(例如,网关组件140或处理器308)并可操作以用数字化重建由传感器312检测到 的一个或多个对象或信息的基于图像的3D重建软件。在一个典型的实施例中,环境感知系 统306提供下列方面的一个或多个:运动捕捉数据(包括手势识别)、深度感知、面部识别、对 象识别、独特的对象特征识别、声音/语音识别和处理、声学来源定位、降噪技术、红外或类 似的激光投影,以及单色和/或彩色CMOS传感器(或其他相似的传感器)、视野传感器和多种 其他光学增强传感器。应指出环境感知系统306除了上述所讨论的那些组合或图3中示出的 那些组件,还可包括其他组件。例如,在一些实施例中,环境感知系统306可包括用于从本地 环境中接收语音的麦克风。用户感知系统还可包括一个或多个红外摄像机传感器、一个或 多个可见光谱摄像机传感器、结构光发射器和/或传感器、红外光发射器、相干光发射器和/ 或传感器、陀螺仪、加速计、磁力仪、近距离传感器、GPS传感器、超声波发射器和检测器和触 觉接口。

[0083] 如上所述,在一些实施例中,处理器308可与头戴式系统300的其他组件整合,与接 口系统100的其他组件整合,或可为如图3中所示的独立的设备(可穿戴或从用户分离)。处 理器308可与头戴式系统300的多种组件和/或接口系统1〇〇的组件通过物理、有线连接,或 通过例如移动网络连接(包括移动电话和数据网络)、Wi-Fi或蓝牙的无线连接来连接。处理 器308可包括存储器模块、整合和/或附加的图形处理单元、无线和/或有线因特网连接性以 及能够将来自源(例如,计算网络1〇5、用户感知系统304、环境感知系统306或网关组件140) 的数据变换成图像或音频信号的编解码器和/或固件,其中图像/视频和音频可经由接口 302呈现给用户。

[0084] 处理器308处置用于头戴式系统300中的多种组件的数据处理以及头戴式系统300 和网关组件140--以及在一些实施例中和计算网络105——之间的数据交换。例如,处理 器308可被用于缓冲并处理用户和计算网络105之间的数据流,从而使平滑的、连续的和高 保真度的用户体验成为可能。在一些实施例中,处理器308可以以足够达到320*240分辨率 下8帧/秒到高清分辨率(1280*720)下24帧/秒——或者更高例如60-120帧/秒和4K分辨率 以及甚高(10K+分辨率和50000帧/秒)的速率——之间任意数值的速率来处理数据。此外, 处理器308可存储和/或处理可呈现给用户而不是实时从计算网络1〇5流送数据。例如,在一 些实施例中,处理器308可从计算网络105接收压缩数据并且执行先进的渲染技术(例如灯 光和着色)以缓和从计算网络105传送至用户设备120的数据负载。在另一实施例中,处理器 308可存储和/或处理本地物理数据而不是将数据传送至网关组件140或计算网络105。

[0085] 在一些实施例中,头戴式系统300可包括多种设置或模式,其允许多种可视/接口 性能和功能。模式可由用户手动选择或由网关组件140或头戴式系统300的组件自动地选 择。如先前所述,头戴式系统300的一个示例包括“关”模式,其中接口 302实质上没有提供数 字的或虚拟的内容。在关模式下,显示组件303可以是透明的,从而使得几乎没有光学畸变 或计算叠加层的用户周围的物理环境的光学正确察看能够成为可能。

[0086]在示例实施例中,头戴式系统300包括“增强”模式,其中接口 302提供增强现实接 口。在增强模式下,接口显示器303可以是实质上透明的,因此允许用户察看本地物理环境。 同时,由计算网络105、处理器308,和/或网关组件140提供的虚拟对象数据可与物理本地环 境结合被呈现在显示器303上。

[0087]图4示出了当接口 302在增强模式下运行时由用户察看的对象示例实施例。如图4 中所示,接口302呈现物理对象402和虚拟对象404。在图4中示出的实施例中,物理对象402 是存在于用户本地环境中的真实的物理对象,而虚拟对象404为由系统100创建并且经由用 户接口 302显示的对象。在一些实施例中,虚拟对象404可在物理环境的固定位置或场所显 示(例如,虚拟的猴子站在位于物理环境中的特殊路标旁边),或可作为位于相对于用户接 口/显示器303的位置的对象显示(例如,虚拟时钟或温度计在显示器303的坐上角可见)。 [0088] 在一些实施例中,虚拟对象可被在用户视野之内或之外的物理呈现的对象提示 (cued off)或触发。虚拟对象404被物理对象402提示或触发。例如,物理对象402实际上可 能是凳子,并且虚拟对象404可被作为站在凳子上的虚拟动物显示给用户(并且,在一些实 施例中,呈现给连接至系统100的其他用户)。在这样的实施例中,环境感知系统306可使用 存储于例如处理器308中的软件和/或固件以识别多种特性和/或形态图案(由传感器312捕 捉)来认出物理对象402是凳子。这些被识别的形态特征,例如凳子顶部,可被用于触发虚拟 对象404的放置。其他示例包括墙壁、桌子、家具、车辆、建筑物、人、地板、植物、动物-任何可 视对象均可用于以与该对象或多个对象的一些关系来触发增强现实体验。

[0089] 在一些实施例中,被触发的特殊的虚拟对象404可由用户选择或由头戴式系统300 或接口系统100的其他组件自动选择。此外,在其中虚拟对象404被自动触发的实施例中,可 基于特殊的物理对象4〇2 (或其特征)选择特殊的虚拟对象404,根据其虚拟对象404被提示 或触发。例如,如果物理对象被认定为延伸至泳池上的跳水板,被触发的虚拟对象可为穿戴 者呼吸管、泳衣、漂浮设备或其他相关物品的生物。

[0090] 在另一示例实施例中,头戴式系统300可包括“虚拟”模式,其中接口302提供虚拟 现实接口。在虚拟模式中,从显示器303中省略物理环境,并且由计算网络105、处理器308 和/或网关组件140提供的虚拟对象数据被呈现在显示器303上。物理环境的省略可通过物 理上阻塞虚拟显示器303 (例如通过覆盖)或通过接口 302的特性一一其中显示器303转换至 不透明度设置一一来实现。在虚拟模式下,现场的和/或己存的视觉和音频感觉可通过接口 302呈现给用户,并且用户通过接口 302的虚拟模式来体验数字世界(数字对象、其他用户等 等)并与之交互。因此,以虚拟模式提供给用户的接口包含由虚拟的、数字的世界的虚拟对 象数据组成。

[0091]图5示出了当头戴式接口 302以虚拟模式运行时的用户接口的示例性实施例。如图 5中所示,用户接口呈现由数字对象510组成的虚拟世界500,其中数字对象510可包括大气、 天气、地势、建筑和人。虽然没有在图5中被示出,数字对象还可包括,例如,植物、车辆、动 物、生物、机器、人工智能、位置信息和定义虚拟世界500的任何其他对象或信息。

[0092]在另一示例实施例中,头戴式系统300可包括“混合”模式,其中头戴式系统300的 各种特性似及虚拟和现实模式的特性)可被结合以创建一个或多个自定义接口模式。在示 例性自定义接口模式中,物理环境可从显示器303中省略,并且虚拟对象数据以相似于虚拟 模式的方式被呈现在显示器303上。然而,在该示例性自定义接口模式中,虚拟对象可以是 完全虚拟的(即,它们不存在于本地、物理环境中)或它们可以是真实的、本地的、物理对象, 其在接口 302中被渲染为虚拟对象而不是物理对象。因此,在该特殊的自定义模式(此处被 称为混合虚拟接口模式)中,现场和/或已存的视觉和音频感觉可通过接口302被呈现给用 户,并且用户可体验包括彻底的虚拟对象和被渲染的物理对象的数字世界并与之交互。 [0093]图6示出了根据混合虚拟接口模式运行的用户接口的示例性实施例。如图6中所 示,用户接口呈现由彻底的虚拟对象610和被渲染的物理对象620 (对象的渲染,否则物理地 呈现在场景中)组成的虚拟世界600。依据图6中示出的示例,被渲染物理对象620包括建筑 物620A、地面620B和平台620C,并且使用粗体的轮廓630示出以向用户表明对象被渲染。附 加地,彻底的虚拟对象610包括附加的用户610A、云610B、太阳610C和平台620C上的火焰 610D。应指出完整的虚拟对象610可包括,例如,大气、天气、地形、建筑物、人、植物、车辆、动 物、生物、机器、人工智能、位置信息和任何定义虚拟世界600并且未从存在于本地、物理环 境的对象渲染的其他对象或信息。相反地,被渲染物理对象620是真实的、本地的、物理的对 象,在接口 302中被渲染为虚拟对象。粗体轮廓630表示用于向用户表明被渲染物理对象的 一个示例。同样地,可使用不同于本文公开的哪些方法的方法来表明被渲染物理对象。

[0094] 在一些实施例中,可使用环境感知系统306的传感器312 (或使用其他设备,例如移 动或图像捕捉系统)来检测被渲染物理对象620,并且其被存储在例如处理电路308中的软 件和/或固件转换为数字对象数据。因此,当用户以混合虚拟接口模式与系统100连接时,多 种物理对象可作为被渲染的物理对象显示给用户。这对允许用户与系统100连接,同时仍能 安全地通过(navigate)本地物理环境来说尤其有用。在一些实施例中,用户可能选择性地 移除或添加被渲染物理对象至接口显示器303.

[0095] 在另一示例自定义接口模式中,接口显示器303可以是实质上透明的,从而在多种 本地的、物理对象被作为被渲染物理对象显示给用户时,允许用户察看本地的、物理的环 境。该示例自定义接口模式与所述增强模式类似,除了相对于先前的示例,一个或多个虚拟 对象可以是被渲染的物理对象之外。

[0096]上述示例自定义接口模式代表能够由混合模式的头戴式系统300提供的多种自定 义接口模式的几个示例实施例。据此,多种其他自定义接口模式可根据由头戴式系统300的 组件提供的多种特性和功能的组合以及上述讨论的多种模式来创建而不背离本公开范围。 [0097] 本文所讨论的实施例仅描述了用于以关、增强、虚拟或混合模式下提供接口操作 的几个示例,并非旨在限制各个接口模式的内容与范围或者头戴式系统300的组件的功能。 例如,在一些实施例中,虚拟对象可包括显示给用户的数据(时间、温度、海拔等)、由系统 1〇〇创建和/或选择的对象、由用户创建和/或选择的对象,或甚至代表连接至系统100的其 他用户的对象。此外,虚拟对象可包括物理对象的扩展(例如,从物理平台生长出的虚拟雕 塑)并且可被可视化地连接至物理对象或从物理对象分离。

[0098] 虚拟对象可以是动态的并且随着时间变化,根据用户或其他用户、物理对象和其 他虚拟对象之间的关系(例如位置、距离等)变化,和/或依据在头戴式系统300、网关组件 140或服务器110的软件和/或固件中指定的其他变量变化。例如,在特定实施例中,虚拟对 象可响应用户设备或其组件(例如,当触觉设备被紧挨虚拟球放置时,虚拟球移动),物理的 或口头的用户交互(例如,当用户靠近虚拟生物时虚拟生物逃跑,或当用户向其说话时,虚 拟对象说话),椅子被扔向虚拟生物并且虚拟生物躲避椅子、其他虚拟对象(例如,当第一虚 拟对象看到第二虚拟生物时,会有反应)、物理变量,例如位置、距离、温度、时间等,或用户 环境中的其他物理对象(例如当物理车辆经过时,被显示站在物理街道上的虚拟生物被压 扁)。

[0099]除了头戴式系统300之外,本文讨论的多种模式均可被应用于用户设备。例如,增 强现实接口可经由移动电话或平板设备提供。在此类实施例中,手机或平板可使用摄像机 捕捉用户周围的物理环境,并且虚拟对象可被覆盖在手机/平板的显示屏幕上。附加地,可 通过在手机/平板的显示屏幕上显示数字世界来提供虚拟模式。这样,这些模式可被混合以 使用本文讨论的手机/平板的组件,以及被连接至用户设备或与用户设备结合使用的其他 组件来创建上述多种自定义接口模式。例如,可由计算机显示器、电视屏幕,或其他缺少摄 像机的设备与运动或图像捕捉系统结合操作来提供混合虚拟接口模式。在该示例实施例 中,可从显示器/屏幕察看虚拟世界并且对象检测和渲染可由运动或图像捕捉系统执行。 [0100]图7示出了本公开的示例实施例,其中位于不同地理位置的两个用户彼此通过其 各自的用户设备与对方以及公共虚拟世界交互。在该实施例中,两个用户701和702来回投 掷703 (—种类型的虚拟对象),其中每个用户能观察另一用户对虚拟世界的影响(例如每个 用户观察虚拟球变化方向、被另一用户捕捉等)。因为虚拟对象(即虚拟球703)的运动和位 置由计算网络1〇5中的服务器110来追踪,在一些实施例中,系统100可向用户701和702传递 球703相对每个用户到达的准确位置和时间。例如,如果第一用户701位于伦敦,用户701可 向位于洛杉矶的第二用户702以由系统100计算出的速度投掷球703。因此,系统100可向第 二用户702传递球到达的准确的时间和位置(例如通过电子邮件、文字讯息、实时讯息等)。 同样地,第二用户702可使用其设备看见球703在特定的时间和位置到达。一个或多个用户 还可用地理定位图软件(或类似物)来追踪一个或多个虚拟对象,仿佛他们实际上走遍了整 个地球。该示例可以是穿戴3D头戴式显示器的用户,仰望天空并看到飞过头顶、叠加在真实 世界上的虚拟飞机。该虚拟飞机可由用户、智能软件代理(运行于用户设备或网关的软件)、 本地和/或远程的其他用户,和/或任何这些的组合来驾驶。

[0101]如前所述,用户设备可包括触觉接口设备,其中当系统100确定触觉设备相对于虚 拟对象位于一个物理的、空间的位置时,触觉接口设备向用户提供反馈(例如,阻力、震动、 光照、声音等)。例如,如上述关于图7中所描述的实施例可扩展到包括使用触觉设备802,如 图8中所示。

[0102] 在该示例实施例中,触觉设备802可在虚拟世界中被显示为棒球棒。当球703到达 时,用户702可在虚拟球703处挥动触觉设备802。如果系统100确定由触觉设备802提供的虚 拟棒与球703接触,则触觉设备802可震动或向用户702提供其他反馈,并且虚拟球703可依 据被检测的速度、方向和球与棒接触的时间由系统100计算出的方向从虚拟棒跳飞。

[0103]在一些实施例中,本公开的系统100可有助于混合模式连接,其中多个用户可使用 不同的连接模式(例如增强、虚拟、混合等)连接至共同的虚拟世界(以及其包含的虚拟对 象)。例如,以虚拟模式连接特定虚拟世界的第一用户可与以增强现实模式连接同一虚拟世 界的第二用户交互。

[0104]图9A示出了示例,其中第一用户901 (以混合的虚拟接口模式连接至系统100的数 字世界)与第一对象902对于以完全虚拟现实模式连接至系统100的同一的数字世界的第二 用户922作为虚拟对象出现。如上所述,当经由混合的虚拟接口模式连接至数字世界时,本 地的、物理的对象(如第一用户901和第二用户902)可被扫描和渲染作为虚拟世界中的虚拟 对象。例如,第一用户901可被运动捕捉系统或类似的设备扫描,并且在虚拟世界中被渲染 (由存储于运动捕捉系统、网关组件140、用户设备120、系统服务器110或其他设备中的软 件/固件)作为第一被渲染物理对象931。类似地,第一对象902可被例如由头戴式接口 300的 环境感知系统306扫描,并且在虚拟世界中被渲染(由存储于处理器308、网关组件140、系统 服务器110或其他设备中的软件/固件)作为第二被渲染物理对象932。在图9A的第一部分 910中展示的第一用户901和第二用户902被作为物理世界的物理对象。在图9A的第二部分 920,第一用户901和第一对象902被作为第一被渲染物理对象931和第二被渲染对象932,展 示给连接至系统100的同一的数字世界的第二用户922。

[0105]图9B示出了混合模式接口的另一示例性实施例,其中如上面所讨论的,第一用户 901以混合虚拟接口模式连接至数字世界,并且第二用户922以增强现实模式连接至同一的 数字世界(以及第二用户的物理的、本地的环境925)。在图9B的实施例中,第一用户901和第 一对象902位于第一物理位置915,并且第二用户922位于不同的,与第一位置915分开一些 距离的第二物理位置925。在该实施例中,虚拟对象931和932可被实时(或近似实时)地转移 至虚拟世界中与第二位置925对应的某个位置。因此,第二用户922可在第二用户的物理的、 本地的环境925分别观察和与代表第一用户901和第一对象902的被渲染物理对象931和932 交互。

[0106]图10示出了当以增强现实模式连接至系统100时的用户视野的示例性插图。如图 10中所示,用户看见本地的、物理的环境(即拥有多个建筑物的城市)以及虚拟角色1010 (gp 虚拟对象)。虚拟角色1010的位置可由2D可视目标(例如广告牌、明信片或杂志)和/或例如 建筑物、汽车、人、动物、飞机、建筑物的一部分的一个或多个3D参考帧(reference frame) 和/或任何3D物理对象、虚拟对象,和/或其组合来触发。在图i〇中示出的示例中,城市中建 筑物的已知的位置可提供记录基准和/或用于渲染虚拟角色1〇1〇的信息和关键特征。此外, 用户地理位置(例如,由GPS、姿态/位置传感器等等所提供)或相对于建筑物的移动位置,可 包括由计算网络105使用的数据以触发用于显示虚拟角色1〇1〇的数据的传送。在一些实施 例中,用于显示虚拟角色1010的数据可包括被渲染的角色1010和/或用于渲染虚拟角色 1010或其部分的指令(其被网关组件140和/或用户设备120所执行)。在一些实施例中,如果 用户的地理位置是难以获得的或未知的,服务器110、网关组件140,和/或用户设备120仍可 使用估计算法来显示虚拟对象1010,估计算法依据时间和/或其他参数使用用户最后的己 知位置来估计特殊的虚拟对象和/或物理对象可能位于何处。该方法还在用户传感器被堵 塞和/或经历其他故障时用于确定任何虚拟对象的位置。

[0107]在一些实施例中,虚拟角色或虚拟对象可包括虚拟雕像,其中虚拟雕像的渲染由 物理对象触发。例如,现在参考图11,虚拟雕塑1110可由真实的、物理的平台丨120来触发。雕 塑1110的触发可响应于由用户设备或系统100的其他组件检测的可视对象或特征(例如,基 准、设计特征、几何结构、图案、物理位置、高度等等)。当用户在没有用户设备的情况下察看 平台1120时,用户看到没有雕塑1110的平台1120。然而,当用户通过用户设备察看平台112〇 时,如图11中所示,用户可看到的平台1120上的雕塑1110。雕塑111〇是虚拟对象并且,因此 是静止的、动画的、随时间或对应用户的察看位置而变化,或者甚至依据哪个特定用户在察 看雕塑1110而变化。例如,如果用户为小孩,雕塑可以是狗;而如果察看者为成年男性时,雕 塑可为如图11中所示的大机器人。这些是用户依赖和/或状态依赖体验的示例。这将使得一 个或多个用户能感觉到一个或多个单独的和/或与物理对象结合的虚拟对象,并且体验虚 拟对象的自定义和个性化版本。雕塑1110 (或其部分)可由包括例如安装在用户设备上的软 件/固件的系统的多个组件来渲染。使用表明用户设备的位置和姿态的数据结合虚拟对象 (即雕塑1110)的记录特征,虚拟对象(即雕塑1110)与物理对象(即平台ii20)形成关系。例 如,一个或多个虚拟对象与一个或多个物理对象之间的关系可以取决于到一个或多个其他 虚拟对象的距离、位置、时间、地理定位、接近度,和/或包括任何类型的虚拟和/或物理数据 的任何其他函数关系。在一些实施例中,用户设备中的图像识别软件可进一步加强数字至 物理(digital-to-physical)对象关系。

[0108]由被公开的系统和方法提供的交互接口可被实现以促进多个活动,例如,与一个 或多个虚拟环境和对象交互、与其他用户交互,以及体验多种形式的媒体内容,包括广告、 音乐会和电影。因此,被公开的系统有助于用户交互,使得用户不仅察看或聆听媒体内容, 更确切地说,能够积极地参与并体验媒体内容。在一些实施例中,所述用户参与可包括变更 现有内容或创建新内容,所述现有内容或新内容将在一个或多个虚拟世界中被渲染。在一 些实施例中,媒体内容和/或创建内容的用户,可以围绕一个或多个虚拟世界的神话创造为 主题。

[0109]在一个示例中,音乐家(或其他用户)可创建音乐内容,其将被渲染至与特定虚拟 世界交互的用户。音乐内容可包括例如多个歌曲、EP、专辑、视频、短片和音乐会演出。在一 个示例中,大量的用户可连接至系统100以同时体验虚拟的由音乐家表演的音乐会。

[0110]在一些实施例中,被生产的媒体可包括与特定的实体(例如,一个组合、艺术家、用 户等)相关联的唯一的识别码。该码可以是以一组字母数字字符、UPC码、QR码、2D图像触发 器、3D物理对象特征触发器,或其他数字标志,以及声音、图像,和/或两者均有等的形式。在 一些实施例中,所述码还可被嵌入到可使用系统1〇〇连接至的数字媒体中。用户可获得所述 码(例如通过支付费用)并且兑换码以访问由与该标识码相关的实体生产的媒体内容。该媒 体内容可被添加至用户接口或从用户接口删除。

[0111]在一个实施例中,为避免从一个计算系统向另一计算系统低延时地传送实时或近 似实时的视频数据时的计算和带宽限制,例如从云计算系统至与耦合至用户的本地处理 器,关于不同形状和几何结构的参数信息可被传递并被用来定义表面,同时传递纹理并将 其添加至这些表面以带来静态的或动态的细节,例如根据参数重现面部几何结构贴图的人 的面部的基于位图的视频细节。如另一示例,如果系统被配置以识别人的面部,并且己知人 的形象位于增强世界中,系统可被配置以在相对大的设立传输中传送相关的世界信息和人 的形象信息,在此之后仍然至例如图1中描述的308的本地计算系统用于本地渲染的传输可 被限制至参数和纹理更新,例如人的骨骼结构的运动参数和人的面部运动位图——相对于 初始设立传输或实时视频的传送来说,这些均以以数量级减少的带宽传输。因此,基于云的 和本地的计算资产可以以整合的方式使用——云处理计算不需要相对地的延时,而本地处 理资产优先(at a premium)处理低延时的任务,并且在该情况下,由于形成的这样的数据 (即,参数信息、纹理等,相对每个事物的实时视频)的总量,被传递至本地系统的数据形式 优选地以相对的低带宽被传送。

[0112]参考当前的图15,原理图示出了云计算资产(46)与本地处理资产(308、120)之间 的协调关系。在一个实施例中,云资产(46)被操作性的直接耦合至一一例如经由有线或无 线网络(对于移动性来说,无线是优选的;对于可能期望的高宽带或高数据量传输来说,有 线是优选的)——本地计算资产(120、308)中的一个或两者,所述本地计算资产例如是可被 放置于被配置以耦合至用户的头部(120)或腰部(308)的结构中的处理器和存储器配置。这 些对用户来说本地的计算资产也可以经由有线和/或无线连接性配置(44)彼此操作性的耦 合。在一个实施例中,为了维护低惯性和小体积的头戴式子系统(120),用户和云(46)之间 的主要的传输可经由基于腰部的子系统(308)和云之间的链路,同时头戴式子系统(120)主 要被使用无线连接性来将数据连线至基于腰部的子系统(308),所述无线连接性例如当前 采用的、个人计算外围连接性应用中的超带宽(“UTO”)连接。

[0113]随着有效的本地和远程处理协调,以及用于用户的适当的显示设备,例如用户接 口302或图3中描绘的用户“显示设备”、下面参考图14描述的显示设备14,或其变形,与用户 当前的真实或虚拟位置相关的一个世界的方面可被传输或“传递”至该用户,并以有效的形 式被更新。事实上,在一个实施例中,一个人以增强现实模式使用虚拟现实系统(“VRS”),并 且另一人以完全虚拟的模式使用VRS以探究与第一人相同的世界,二人可以多种形式在那 个世界体验到彼此。例如,参考图12,类似于图11中描述的场景被描述,并且添加了第二用 户的可视化形象2,所述第二用户从完全虚拟现实场景描绘的增强现实世界飞过。换句话 说,图12中描绘的场景可被体验并且以增强现实形式被显示以用于第一用户一一同时除了 场景中本地世界周围真实的物理元素一一例如地面、背景中的建筑物、雕塑平台1120—一 之外,还有两个增强现实元素(雕塑1110和第二人的飞舞的大黄蜂形象2)被显示。动态更新 可用于允许第一用户将第二用户形象2的进展可视化为形象2飞过第一用户本地的世界。

[0114] 再次,以上述配置,其中一个世界模型可以驻留在云计算资源上,并且从那里开始 分发,这样的世界可以以相对低带宽的形式优选地试图传递实时视频数据或类似物至一个 或多个用户。站在雕塑(即如图12中所示)边上的人的增强体验可由基于云的世界模型来通 知,所述世界模型的子集可被传递至他们和他们的本地显示设备以完成察看。站在远程显 示设备处的人可从云有效率地下载相同部分的信息,并且将所述信息在他们的显示器上渲 染,所述远程显示设备可能简单地是放置于桌子上的个人电脑。事实上,真实出现在雕塑附 近的公园内的人可带领位于远程的朋友在该公园内散步一一该朋友通过虚拟和增强现实 来参与。系统将需要知道街道在何处、树木在何处、雕塑在何处一一但是因为信息在云上, 参与的朋友可从云上下载场景的各个方面,然后相对于真正在公园中的人以增强现实的本 地开始散步。

[0115] 参考图13,基于一段时间和/或其他偶然参数的实施例被描述,其中人正沉浸在虚 拟和/或增强现实接口一一例如用户接口 302或在图3中描绘的用户显示设备、参考图14在 下边描述的显示设备14,或其变形一一使用系统(4)并且进入咖啡公司以订购一杯咖啡 (6) JRS可被配置以使用本地和/或远程地感知和数据收集能力,以为人提供增强和/或虚 拟现实的形式的显示增强,例如高亮咖啡公司的大门的位置或相关咖啡菜单的泡泡视图 (8)。当该人接到其订购的咖啡时,或根据系统检测的一些其他相关参数,系统可被配置以 在本地环境中用显示设备显示(10) —个或多个基于时间的增强或虚拟现实图像、视频,和/ 或声音,例如从墙壁和天花板上静态或动态的显示具有或不具有森林声音和其他效果的 Madagascar的森林场景。对用户的此类呈现可基于定时参数(g卩,在满杯咖啡被识别出并提 供给用户之后5分钟;系统已经识别出用户走过公司正门10分组之后,等等)或其他参数被 终止,例如系统识别出用户已经喝完咖啡,所述识别通过系统注意到随着用户从杯子中摄 入了最后一 口咖啡咖啡杯的朝向被倒置一一或者系统识别出用户已经离开咖啡公司的正 门(12)。

[0116]参考图14展示了适当的用户显示设备(14)的一个实施例被示出,包括可通过外壳 或框架安装于用户头部或眼部的显示透镜(82)。该显示透镜(82)可包括一个或多个透明的 镜子,所述镜子由所述框架安装于用户眼部(20)之前并且被配置以将投影光(38)反射入眼 (2〇)中,并且有助于光束成形,同时在增强显示配置中允许来自本地环境的至少一些光的 传送(在虚拟现实配置中,可能期望显示系统114在实质上阻塞来自本地环境的所有光线, 例如通过黑遮光板、遮挡帘、全黑色LCD面板模式等等)。在所描述的实施例中,两个宽视野 机器视觉摄像机(16)被耦合至外壳(84)上以将用户周围的环境成像;在一个实施例中,这 些摄像机(16)可为双捕获可见光/红外光的摄像机。所描述的实施例还包括一对激光扫描 赋形的波面(shaped-wavefront) (S卩,用于深度)光投影模块,其具有被配置为如图所示的 投影光线CB8)入眼中(2〇)的显示镜和光学器件。所描述的实施例还包括两个与红外光源 (26,例如发光二极管“LED”)配对的微型红外摄像机(24),其被配置为能够追踪用户眼睛 (2〇)以支持渲染和用户输入。系统(14)进一步以传感器组件(39)为特征,所述传感器组件 可包括X、Y和Z轴的加速计能力和磁性罗盘以及x、Y和Z轴陀螺仪能力,优选地以相对高的频 率--例如200HZ--提供数据。所描述的系统(14)还包括头部姿态处理器(36),例如ASIC (特定用途集成电路)、FPGA (现场可编程门阵列),和/或ARM处理器(高级精简指令集机器), 其可被配置以从由捕捉设备(16)输出的宽视野图像信息计算实时或准实时的用户头部姿 态。还展示了另一处理器(32),其被配置以执行数字和/或逻辑处理以从传感器组件(39)的 陀螺仪、罗盘,和/或加速计数据推出姿态。所描述的实施例还以GPS (37,全球卫星定位)子 系统为特征,以辅助姿态和定位。最后,被描述实施例包括渲染引擎(34),其特征是运行软 件程序的硬件,所述软件程序被配置以提供用户本地的渲染信息以有助于扫描器的运作并 向用户的眼中成像以用于用户对所述世界的视野。渲染引擎(34)操作性地耦合(81、70、76/ 78、8〇;即经由有线或无线连接)至传感器姿态处理器(32)、图像姿态处理器(36)、眼睛追踪 摄像机(24),和投影子系统(I8),以使得使用激光扫描装置(18)将渲染的增强和/或虚拟现 实对象的光以类似于视网膜扫描显示的方式投影。被投影的光束(38)的波面可以是弯曲的 或为聚焦的以符合增强和/或虚拟现实对象的期望的焦距。可利用迷你红外摄像机(24)来 追踪眼睛以支持渲染和用户输入(即用户在看哪里、他的焦点的深度是多少;如下述所讨论 的,眼睛边缘可被用来估计焦点的深度)APS (37)、陀螺仪、罗盘和加速计(39)可被用来提 供路线和/或快速姿态的估计。摄像机(16)图像和姿态结合从相关的云计算资源的数据,可 被用来贴图本地世界和与虚拟或增强现实社区共享用户视野。虽然在图14中被突出展示的 显示系统(14)的许多硬件被描述为直接耦合至邻近显示器(82)和用户眼睛(20)的外壳 (84),被描述的硬件组件可被安装或封装于其他组件中,例如如同图3中所示的腰部安装组 件。在一个实施例中,图14中突出展示的系统(14)的所有组件被直接耦合至显示外壳 (84) 一一除了图像姿态处理器(36)、传感器姿态处理器(32),和渲染引擎(34)之外,并且后 三个与系统(14)的其余组件之间的通信可采用例如超宽带的无线通信或有线通信。所描述 的外壳(S4)优选地是头戴式并由用户穿戴。扬声器的特征为,例如可被插入用户耳朵并且 被用来向用户提供声音,所述声音可以是与增强或虚拟现实体验相关的,例如参考图13中 被提及的森林声音,以及麦克风,其可被用来捕捉用户本地的声音。

[0117]考虑到光线(38)至用户眼(20)中的投影,在一个实施例中,可利用迷你摄像机 (24)来测量用户眼睛(20)的中心在几何上汇聚在何处,通常这个位置与双眼(20)的焦点位 置或焦点的深度相一致。眼睛汇聚处的所有点的三维曲面被称为“两眼视界”(horopter)。 焦点距_可米用有限数量的深度,或可以无限地变化。从聚散度距尚(vergence distance) 投影的光可被聚焦于主旨眼睛(20)中,而位于聚合距离前方或后方的光线被被模糊。进一 步地,已经发现无论人眼聚焦何处,人眼均能正确地解析光束直径小于大约0.7毫米的空间 相干光;基于这样的理解,为了创建合适的焦点深度的错觉(illusion),可使用迷你摄像机 (24)追踪眼睛的聚散度,并且渲染引擎(34)和投影子系统(18)可被用来渲染在焦点处的两 眼视界上或接近于两眼视界的所有对象,并且不同程度的虚焦的所有其他对象(g卩,使用故 意创建的模糊)。被配置以投影相关光线至眼中的透明的导光光学元件可由如Lumus公司的 供应商提供。优选地,系统(14)以大约每秒60帧或更高的帧速率向用户提供渲染。如上所 述,优选地,迷你摄像机(24)可被用于眼睛追踪,并且软件可被配置以不仅提取聚散度集合 还有提取焦点位置提示以作为用户输入。优选地,这样的系统被配置有合适于白天或晚上 使用的亮度和对比度。在一个实施例中,这样的系统优选地对于可视化对象校准具有小于 大约20毫秒的延迟、小于大约0.1度的角度校准,以及接近于人眼极限的大约1弧分的分辨 率。显示系统(14)可与定位系统整合,所述定位系统可涉及GPS组件、光学追踪、罗盘、加速 计,和/或其他数据源,以辅助位置和姿态确定;定位信息可被用来便于相关世界的用户视 野内的精确的渲染(即,该信息可促进眼镜了解它们相对于真实世界位于何处)。

[0118]其他合适的显示设备包括但不限于桌面和移动的计算机、智能手机一一智能手机 可被附加的软件和硬件特性加强以便于或模拟3D透视图(例如,在一个实施例中,一框架可 被可移除地耦合至智能手机,该框架以200Hz的陀螺仪和加速传感器子集、两个小的带有宽 视场镜头的机器视觉摄像机,以及ARM处理器为特征,所述框架用以模拟图14中表征的一些 配置的功能)、平板电脑,该平板电脑被如上为智能手机描述的那样的加强、使用附加的处 理和感知硬件加强的平板电脑、使用智能手机和/或平板电脑以显示增强和虚拟视点(经由 放大光学器件、反光镜、接触式镜片或光线结构组件的视觉调节)的头戴式系统、发光组件 的非透明(non-see-through)显示器(LCD、0LED、垂直腔面发射激光器和引导激光束等)、允 许用户察看自然世界并且人为生成图像的透明(see-through)显示器(例如,光学导光组 件、照亮微距对焦接触式镜片中的透明并且偏振的0LED、引导激光束等)、具有发光组件的 接触式镜片(例如可从Innovega公司购买的商标为Ioptik RTM的Bellevue、WA;它们可与特 制的赠送的眼镜部件相结合)、具有发光器件的植入设备,和模拟人脑的光感受器的植入设 备。

[0119]对于比如图3和图14中描述的系统,3D点可从环境中捕捉,并且捕捉这些图像或点 的摄像机的姿态(即,相对于世界的矢量和/或原始位置信息)可被确定,以使得这些点或图 像可对于该姿态信息“被标记”或关联。随后,由第二摄像机捕捉的点可被用来确定第二摄 像机的姿态。也就是说,可以依据与来自第一摄像机的被标记图像的对比来调整和/或定位 第二摄像机。然后该知识可被用来提取纹理、制作贴图,以及创建真实世界的虚拟拷贝(因 为随后在周围有两个摄像机被记录)。因此在基础层面,在一个实施例中,你可以使用个人 可穿戴系统,其可被用来捕捉3D点和产生点的2D图像,并且这些点和图像可被发送至云存 储和处理资源。它们还可被本地缓存嵌入的姿态信息(g卩,缓存被标记图像);因此云可具有 现成的(即在可用的缓存中)带有3D点的被标记2D图像。如果用户正在观察动态的什么东 西,他还可以发送与运动相关的附加信息至云(例如,如果正在察看另一人的面部,用户可 获取面部的纹理图并以最佳的频率将其推送上去,即使周围的世界其实基本上是静态的)。 [0120]云系统可被配置为仅为姿态保存作为基准点的一些点来减小整体的姿态追踪计 算。通常,期望有一些轮廓特征以能够追踪用户环境中的主要的事物,例如墙壁、桌子等,当 用户围绕房间移动时,并且用户可能希望能够“共享”该世界并且希望有一些其他用户走入 该房间并同样看到这些点。这些有用的且关键的点可被称为术语“基准点”,因为其如锚定 点一样相当有用--他们与机器视觉相关可识别的特性相关,并且可在用户硬件的不同块 (piece)上一致地和重复地从该世界中提取。因此这些基准点优选地可被保存于云上以备 进一步使用。

[0121]在一个实施例中,优选的具有遍及相关世界的相对均匀分发的基准点,因为他们 是摄像机可轻易地使用以识别位置的各种事物。

[0122] 在一个实施例中,相关的云计算配置可被配置以周期性地推荐的3D点和任何相关 的元数据的数据库以使用来自不同用户的最佳数据用于基准的精准化和世界创建。换句话 说,系统可被配置以通过使用来自在相关世界中察看和运作的不同用户的输入来获取最佳 的数据集。在一个实施例中,数据库在本质上是分形的(fractal)——随着用户移动靠近对 象,云传送更高的分辨率信息至该用户。随着用户更紧密地贴图对象,该数据被发送至云 上,并且如果新的3D点和基于图像的纹理图比先前在数据库中存储的更好,云可将其添加 至数据库。所有这些可被配置以从多个用户同时发生。

[0123]如上所述,增强或虚拟现实体验可基于识别特定类型的对象。例如,理解特殊对象 具有深度从而识别并理解该对象是重要的。识别器软件对象(“识别器”)可被部署在云或本 地资源上以在用户在世界中浏览数据时专门地辅助识别在这两个平台之一上或在两者之 上的不同的对象。例如,如果系统具有的用于世界模型的数据包括3D点云和已标记的姿态 的图像,那么对于具有一堆点和桌子的图像的桌子,其实并不能确定被观察的对象是人们 所知道的桌子。换句话说,在空间中的一些3D点和从空间某位置剥离出显示大部分桌子的 图像并不能足以使人快速地辨别出察看的是桌子。为了辅助该识别,可创建特定的对象识 别器,其将探究原始的3D点云、分割点集,并且例如,提取桌子上表面的平面。类似地,可创 建识别器以从3D点中分割墙壁,以使得用户可以在虚拟或增强现实中改变壁纸或移除部分 墙壁,并且拥有在现实世界并不存在的进入另一房间的大门。这样的识别器在世界模型的 数据内运行,并且可被认为是在世界模型中爬行并且以语义信息渗透(imbue)世界模型的 软件“机器人”,或被认为是存在于空间的点集中的本体(ontology)。这样的识别器或软件 机器人可被配置以使得他们的全部存在是忙于在相关世界数据中走动并且查找被认为是 墙壁,或椅子,或其他物品的事物。他们被配置以向点集做出在功能上等同于“该点集属于 墙壁”的标记,并且可包括基于点算法和被标记姿态(pose-tagged)图像分析的组合以用于 交互地通知系统关于点中的是什么的信息。

[0124]根据视角,对象识别器可被创建以用于许多不同的功用的目的。例如,在一个实施 例中,例如星巴克的咖啡供应商可投资创建相关数据世界中星巴克咖啡杯的精确识别器。 该识别器可被配置以在数据世界中爬行来大规模或小规模地搜寻星巴克咖啡杯,从而当在 相关的邻近空间中运行时,所述星巴克咖啡杯可被分割和标识给用户(S卩,可能在用户看着 星巴克咖啡杯一定时间之后,在拐角处的星巴克出口向该用户提供咖啡)。随着杯子被分割 出,当用户移动将其在桌子上移动时,杯子可被快速地识别出。这样的识别器可被配置以不 仅在云计算资源和数据上运行或运转,还可在本地资源和数据或云和本地两者上都能运行 或运转,这取决于可获得的计算资源。在一个实施例中,云上存在世界模型的全局拷贝,同 时成千上万个用户均对该全局模型做出了贡献,但是对于较小的世界或像在特定城市特定 个人的办公室这样的子世界,全球世界的大部分并不关心那个办公室是什么样子,因此系 统可被配置以推荐数据并将其移至本地缓存信息,该本地缓存信息被认为与给定用户本地 最相关。

[0125]在一个实施例中,例如,当用户走向桌子时,相关信息(例如在他桌子上的特定水 杯的分割)可被配置以仅驻留在他的本地的计算资源而非云,因为其被识别为常常移动的 对象--例如桌子上的杯子,不应该负担在云模型上以及负担在云和本地资源之间的传输 上。因此云计算资源可被配置以分割3D点和图像,因此将永久的(即通常不移动的)对象与 可移动对象分离,并且这可能会影响相关的数据将保留在何处、在何处被处理,从可穿戴/ 本地的系统中移除用于与更永久的对象相关的特定数据的处理负担、允许一次性的位置处 理,其随后与无限个其他用户共享、允许数据的多个源以在特定的物理位置同时构建固定 的和可移动的对象的数据库,并且从背景中分割对象以创建对象特定的基准点和纹理图。 [0126]在一个实施例中,系统可被配置以询问用户关于特定对象的身份的输入(例如,系 统可向用户呈现问题如“那是星巴克咖啡杯吗?”),从而用户可训练系统并允许系统将语义 信息与在现实世界的对象相关联。本体可提供关于从世界中分割出的对象能做什么、他们 的行为如何等等的指导。在一个实施例中,系统可包括虚拟或实际的键盘一一例如无线连 接键盘、与智能手机键盘的连接等一一以方便特定用户向系统输入。

[0127]系统可被配置以与走入虚拟或增强现实中的房间的任何用户共享基本元素(墙 壁、窗户、桌子几何结构等),并且在一个实施例中,该人的系统可被配置以从他的特定的视 角提取图像并上传至云。然后云使用旧的和新的数据集来填充并且可以运行优化过程并且 建立存在于单独对象上的基准点。

[0128] GPS和其他定位信息可作为该处理的输入被利用。进一步地,其他计算系统和数 据一一例如,某人的在线日历或脸书(Facebook) RTM账户信息一一可被作为输入来利用(例 如,在一个实施例中,云和/或本地系统可被配置以为飞机票、日期和目的地分析用户曰历 的内容,从而经过一段时间,信息可从云上移到用户本地系统以为用户在给定目的地的到 达时间做准备)。

[0129]在一个实施例中,例如二维码等等的标签可被插入至世界中,用于以非统计姿态 计算、安全/访问控制、专用信息的通信、空间消息传递、非统计对象识别等等的使用。

[0130]在一个实施例中,如上参考“可传送世界”所述,云资源可被配置以在用户之间传 递真实和虚拟世界的数字模型,所述模型由个体用户基于参数和纹理来渲染。这减小了相 对于实时视频传输的带宽,允许场景的虚拟视角的渲染,并且允许数百万或更多的用户参 与到一个虚拟的聚会中而无需向他们中的每一个发送他们需要看到的数据(例如视频),因 为他们的视图由他们本地的计算资源渲染。

[0131]虚拟现实系统(“VRS”)可被配置以通过一个或多个下列方面记录用户位置以及视 野(合称为“姿态”:使用摄像机的实时度量计算机视觉、同步定位和贴图技术、地图,以及 来自传感器一一例如陀螺仪、加速计、罗盘、气压计、GPS、无线信号强度三角测量、信号飞行 时间分析、LIDAR (激光)测距、RADAR (雷达)测距、里程计,以及声呐测距一一的数据。可穿戴 设备系统可被配置以同时地贴图和定位。例如,在未知的环境中,VRS可被配置以收集有关 环境的信息、认定适用于用户姿态计算的基准点、用于世界模型的其他点、用于提供世界纹 理贴图的图像。基准点可被用于光学地计算姿态。随着世界被贴图出更详细的细节,更多的 对象可被分割,并且给出它们自己的纹理贴图,但是世界仍然优选地在具有低分辨率纹理 贴图的简单的多边形中以低空间分辨率表示。其他传感器,例如上述讨论的那些,可被用来 支持该模型研究。世界可以在本质上是分形的,在其中移动或者以寻找一个更好的视图的 其它方式(通过视点、“监督”模式,缩放等)从云资源请求高分辨率信息。靠近对象捕捉更高 分辨率的数据,并且该数据可被发送至云,其可在世界模型中的间隙位置计算和/或插入新 的数据。

[0132]参考图I6,可穿戴设备可被配置以捕捉图像信息并且提取基准点和被识别的点 (5¾。可穿戴本地系统可使用下列提到的姿态计算技术中的一个来计算姿态。云(54)可被 配置以使用图像和基准点以从更静态的3D背景中分割3D对象;图像提供用于对象和世界的 纹理贴图(所述纹理可以是实时视频)。云资源(邪)可被配置以存储可用静态基准点和纹理 并使得可用静态基准点和纹理用于世界记录。云资源可被配置以推荐用于记录的最佳点密 度的点云。云资源(6〇)可存储可用对象基准和纹理并使得可用对象基准和纹理用于对象记 录和处理;云可推荐用于记录的最佳密度的点云。云资源被配置(62)以使用所有有效的点 和纹理来生成对象的分形实体模型;云可推荐用于最佳基准密度的点云信息。云资源(64) 可被配置以询问用户以用于对世界和被分割的对象的身份的训练;本体数据库可使用该答 案来以可动作属性渗透对象和世界。

[0133]记录和贴图的下列的特定模式的特征有:术语“〇-姿态,,,其表示从光学的或摄像 机系统确定的姿态;“S-姿态”,表示从传感器(g卩,例如GPS、陀螺仪、罗盘、加速计等的组合, 如上述讨论的)确定的姿态;以及“MLC",表示云计算和数据管理资源。

[0134] “适应(Orient) ”模式制造新环境的基本贴图,其目的在于在新环境未被贴图或如 果用户未连接至MLC的情况下建立用户姿态。在适应模式中,可穿戴系统从图像提取点,从 帧到帧追踪点,并且使用S-姿态来三角测量基准点(因为没有从图形提取的基准点)。可穿 戴系统还可基于用户的持续性过滤掉坏的基准点。应指出适应模式是记录和贴图的最基本 模式,并且总是可以工作,即使对于低精度的姿态。然而可穿戴系统在相对运动中已经被使 用至少一小段时间后,最小基准点集将被创建出来,使得可穿戴系统被设置用于使用〇-姿 态来识别对象并贴图环境。一旦0-姿态是可靠的(具有最小的基准点集),可穿戴设备被配 置以跳出适应模式。“贴图和0-姿态”模式被使用以贴图环境。该贴图和〇-姿态模式的目的 在于建立高精度姿态,贴图环境并且向MLC提供贴图和图像。在该模式中,从的成熟的世界 基准点计算出〇-姿态,所述成熟的世界基准点从MLC和/或确定的本地下载。然而应指出,S-姿态可被用作计算出的0-姿态的检查,并还可被使用以加速0姿态的计算。与上述类似,可 穿戴系统从图像提取基准点,并且从帧到帧追踪点,使用0-姿态三角测量基准点,并且基于 持续性过滤掉坏的基准点。随后剩下的基准点和被标记姿态的图像被提供至MLC云。应指出 这些功能(提取点、过滤坏的基准点以及提供基准点和被标记姿态图像)不需被实时地执行 并且可在随后的时间被执行以保留带宽。

[0135] 0-姿态被使用以确定用户的姿态(用户的位置和视野)。〇-姿态的目的在于使用最 小的处理能力在已经被贴图的环境中建立高精度的姿态。计算〇-姿态涉及多个步骤。为了 估计在n的姿态,可穿戴系统被配置以使用从S-姿态和0-姿态收集的历史数据(n-l、n-2、n-3等)。随后在n的姿态被使用以将基准点投影至在n捕捉的图像中来从投影创建图像掩膜 (mask)。可穿戴系统从被掩膜区域提取点并且根据被提取的点和成熟的世界基准点计算0-姿态。应指出通过仅从特定图像的被掩膜子集搜索/提取点,处理负担被极大地减小。进行 下一步,在n处被计算的〇-姿态和在n处的s-姿态可被使用以估计n+1处的姿态。被标记姿态 的图像和/或视频可被传递至MLC云。

[0136] “超级-res”模式可被使用以创建高分辨率的影像和基准点。复合的被标记姿态图 像可被使用以创建高分辨率(super-resolution)的图像,其反过来可被使用以增强基准位 置估计。应指出迭代的0-姿态根据高分辨率基准点和影像估计。上述步骤可在可穿戴设备 上被实时地执行或可被传递至MLC云并且在随后被执行。

[0137] 在一个实施例中,VRS系统可被配置以具有特定的基础功能,以及由“app”或应用 程序所帮助的功能,所述“app”或应用程序可通过VRS分发以提供特定的专用功能。例如,下 列的a卯可被安装至主用VRS以提供专用功能:

[0138] “美术渲染” app可被艺术家使用以创建代表他们看见的世界的图像转换。随后用 户在他们的用户设备上启用这些转换,使得他们能够“通过艺术家的‘眼睛’ ”察看世界。“桌 上模型”app可能够使用户根据放置在桌子上的物理对象创建对象。“虚拟存在”app可被用 来传递空间的虚拟模型至另一用户,随后另一用户可使用虚拟形象围绕那个空间移动。 [0139] “形象情绪” app可被用来测量例如微妙的声音变化、小的头部运动、体温、心率等 方面以动画化虚拟存在的形象的微妙影响。数字化人类状态信息并将其传递至远程形象使 用比视频小的带宽。此外,该数据能被贴图至具有情感能力的非人类形象上。例如,基于兴 奋的音乐变化,狗的形象可通过摇摆自己的尾巴显示兴奋。

[0140]对于移动数据来说期望一种有效的网格类型网络,以将事物反向发送回服务器。 然而许多网格网络具有次优的性能,因为位置信息和拓扑结构没有很好的体现出来。在一 个实施例中,系统可被用来使用相对高精度确定所有用户的位置,并且因此网格网络配置 可被用于高的性能。

[0141]在一个实施例中,系统可被用于查询。例如,用户将使用增强现实生产和丢弃与物 理世界的许多方面相关的内容。许多这样的内容为非文本的,因此很难通过传统方法查询 得到。系统可被配置以提供保持个人和社会网络内容的追踪的设备以用于查询和参考的目 的。

[0142] 在一个实施例中,如果显示设备通过连续帧追踪2D点,随后使矢量值函数 (vector-valued function)适应那些点的时间演进,那么在时间上的任何点处(例如巾贞之 间)或在不久的将来的一些点处(通过在时间上向前投影矢量值函数)来采样矢量值函数是 可能的。该操作允许创建高分辨率的后处理的创建,以及在下一幅图像被真实地捕捉到之 前预测将来的姿态(例如可以加倍记录速度而无需加倍摄像机帧速率)。

[0143] 对于固定的身体的渲染(与固定的头部或固定的世界的渲染相反),身体的精确视 野是被期望的。在一个实施例中,通过用户头部的平均位置推导其位置而不测量身体是可 能的。如果用户面部在大部分时间都朝向前方,那么头部位置的多天平均值将表露出该方 向。与重力矢量相结合,这为固定的身体渲染提供了合理的稳定的坐标系。使用相对于该长 期坐标系的头部位置的当前测量允许用户身体上/周围的始终如一的渲染——而无需多余 的仪器。为了该实施例的实施,头部方向矢量的平均值的单个记录可被启动,并且数据的运 行和(running sum)除以时间增量(delta-1)将给出当前的平均头部位置。保持从n-5天、n-4天、n-3天、n-2天和n-1天开始的五天或者左右的记录允许使用仅过去的“n”天的移动平均 值。

[0144] 在一个实施例中,场景可被缩小并且在小于实际的空间中呈现给用户。例如,在场 景必须在巨大的空间(即,例如足球场)中渲染的情况下,可能没有相等同的巨大空间,或这 样的大的空间对于用户来说是不方便的。在一个实施例中,系统可被配置以减小场景的规 模,以使得用户可以以小规模的观看。例如,一个人可能以具有上帝视角玩视频游戏或者世 界足球锦标赛,在无缩放场景内播放--或按比例缩小并且在起居室地板上呈现。系统可 被配置以简单地移动渲染视角、缩放,以及相关的适应距离。

[0145] 系统还可被配置以在呈现的场景中通过操作虚拟或增强现实对象的焦点、通过高 亮它们、改变对比度、亮度、规模等抓住用户的注意力以指明特定的对象。

[0146] 优选地,系统可被配置以完成下面的模式:

[0147] 在开放空间渲染(open-space-rendering)模式中,系统被配置以从结构化环境中 抓取关键点,并且在渲染之间的空间中填充。该模式可被使用以创建潜在的场景,像舞台、 输出空间、大的室内空间,等等。

[0148]在对象封装模式中,系统被配置以识别真实世界中的3D对象,然后增强它。“识别,’ 在该上下文中可指以足够高的精度识别该3D对象以对3D对象锚定影像。应指出该识别,在 该上下文中,还可指分类对象的类型(例如,人脸),和/或分类对象的特定实例(例如,一个 口 H J 〇 e的人)。在使用这些原则,识别软件可被用来识别多种事物,像墙壁、天花板、地板、面 部、公路、天空、摩天大楼、低矮的房屋、桌子、椅子、车辆、公路标识、广告牌、门、窗、书架等。 一些识别软件程序可为类型I,并且具有通用的功能(例如,“把我的视频放置于那个墙壁 上”、“那是只狗”等等),而另一些识别软件程序可为类型II,并且具有特定的功能(“我的电 视在我的起居室墙壁上(〇n_my_living room wall),距离天花板3.2英尺处,,、“那是?丨〇1〇,’ 等等)。

[0149]在以身体为中心的渲染中,被渲染的任何虚拟对象均被固定至用户的身体。例如, 一些对象可在用户身体周围飘动(例如,用户的腰带)。完成该操作需要知道身体的位置,而 不仅是头部位置。然而,身体位置可由头部位置估计出来。例如,头部通常平行于地面面向 前方。还有,通过使用由头部位置的长时间平均获得的数据,随着时间推移身体的位置会变 得更加准确。

[0150]对于I被类型I识别的对象(特定功能),对象的割除(cut-away)被典型地示出。此 外,I被类型I识别的对象可被链接至不同3D模型的在线数据库。当开始识别过程时,理想的 是从具有公共可用的3D模型的对象开始,例如车辆或公共设施。

[0151]系统还可被用于虚拟呈现,即,使用户能够将远程人的形象绘制到特定的开放空 间中。这可以被认为是如上讨论的“开放空间渲染”的一个子集。用户可创建本地环境的粗 略几何结构并且迭代地将几何结构和纹理贴图发送至(其他用户)。不过,用户需允许其他 用户进入他们的环境。微妙的声音提示、手势跟踪和头部运动可被发送至远程形象。基于上 述信息,形象可被动画化。应指出创建虚拟存在最小化了带宽并且可被保守地使用。

[0152]系统还可被配置用于制作到另一房间的对象“入口”。换句话说,不是在本地房间 中显示形象,而是将被识别的对象(例如,墙壁)作为到另一用户的环境的入口使用。因此, 多个用户可以坐在他们自己的房间中,“透过”墙壁察看到其他用户的环境。

[0153]系统还可被配置用于在当一组摄像机(人)从不同视角察看场景时,创建区域的密 集的数字模型(dense digital model)。只要通过至少一个摄像机察看该区域,就可以从任 何有利点(vantage point)渲染该模型。例如,可通过多个用户的有利点渲染一个婚礼场 景。应指出识别器可区分并贴图与移动对象不同的静止对象(例如,墙壁具有稳定的纹理贴 图,而人具有更高频率的移动的纹理贴图)。

[0154]随着实时地更新充足的数字模型,可从任何视角渲染场景。回到婚礼示例中,在后 方的出席者可在空中飞至更好视野的前排。或如果组织者允许,场地外的出席者也可使用 形象或不可见地找到“座位”。出席者可展示出他们的移动形象,或将其隐藏。应指出该方面 可能需要非常高的带宽。高频率数据可通过拥挤的本地无线连接流送,而低频率数据可来 自MLC云。在上述示例中,因为婚礼的所有出席者具有高精度的位置信息,做出用于本地网 络的最佳路由路径可能是不重要的。

[0155]对于至系统或用户之间的通信,常常期望简单的无声消息传送。例如,可使用手指 拨弦的键盘。在可选的实施例中,触觉手套方案可提供增强的性能。

[0156]为了给予用户完全的虚拟现实体验,视觉系统被暗化,并且向用户示出并非叠加 于真实世界上的视图。即使在该模型中,仍然需要记录系统以追踪用户的头部位置。可使用 被用于体验完全虚拟现实的多个模型。例如,在“沙发”模型中,用户可能能够飞行。在“步 行”模型中,真实世界的对象可被作为虚拟对象被重新渲染以使得用户不与真实世界冲突。 [0157]作为一般规则,渲染人体部位对于终止通过虚拟世界进行浏览的用户的怀疑是必 不可少的。这需要一种方法来在用户的视野(F0V)内追踪并渲染人体的部位。例如,不透明 的遮板(opaque visor)可以是一种具有许多图像增强可能性的虚拟现实的形式。在另一示 例中,宽视野可给予用户后视视图。而在另一示例中,系统可包括多种形式的“超级视野”, 如电视视野、透明视野、红外视野、上帝视野等。

[0158] 在一个实施例中,用于虚拟和/或增强用户体验的系统被配置以使得与用户相关 的远程形象可至少部分地基于具有由相关的软件模块管理的源作为输入的可穿戴设备上 的数据动画化,所述源例如声音变化分析和面部识别分析。例如,重新参考图12,基于用户 脸上的笑容的面部识别或基于友善的声音或讲话语调,蜂蜜形象(2)可被动画化以具有友 善的笑容,所述声音或语调由被配置以分析由捕捉来自用户本地的声音样本的麦克风的输 入的声音的软件确定。进一步地,形象特性可以以有可能使形象表达特定情感的方式被动 画化。例如,在形象为狗的实施例中,由用户本地的系统检测出的愉快笑容或语调可在形象 中被表示为摇尾巴的狗的形象。

[0159] 参考图17-22,复杂的游戏实施例的不同方面在间谍类型的游戏的背景中被示出, 游戏的主题可以源自涉及“James Bond 007”(RTM)品牌下出品的角色增强的一些间谍主 题。参考图17描述了一个家庭的图解,家庭(85)的一个成员通过操作输入设备(88),例如游 戏操纵杆或者控制器,驾驭游戏中的一个角色,游戏操纵杆或控制杆可操作地耦合至游戏 计算机或操作台(86),例如那些个人计算机或专用的游戏系统,例如在“PlayStation” (RTM)的品牌下销售的那些专用的游戏系统。游戏操作台(86)可操作地耦合至被配置以将 用户接口视图(92)显示给飞行员/操作员(85)或其他附近的人的显示器(92)。图18示出了 这样一个用户接口视图(92)的示例,其中主题游戏正在英国的伦敦市中的一座桥上或附近 进行。用于该特定玩家的用户接口视图(92)为纯粹的虚拟现实,其中用户接口显示的所有 元素均不是真实存在于玩家(85)的起居室中一一它们是使用监视器或显示器(图17中的元 素9〇)显示的虚拟元素。再次参考图I8,被描述的虚拟现实视图(92)包括了具有桥和多种建 筑(98)和其他架构特征的伦敦市的视图,以及由如在图18中的用户接口视图(92)中示出的 透视图的主题玩家(85)操作的游戏角色(118_在该说明性示例中还被称为“特工009”)的描 述。从玩家(S5)还显示了通信显示器(%)、罗盘指示器(94)、角色状态指示器(114)、新闻工 具用户接口(104)、社交网络工具用户接口(1:32),和消息传送用户接口(112)。在游戏中进 一步示出了典型的另一角色(I22——在该说明性示例中还被称为“特工006”)。如用户接口 视图(92)中所示,系统可被配置以呈现被认为与被呈现的场景相关的信息,例如通过消息 传送接口(112)的特工006正在靠近的消息,伴随着特工006角色周围虚拟呈现的高亮。系统 可被配置以使得操作员(85)可在任何时间改变他或她正在利用的透视图;例如,不是图18 中示出的类似于直升飞机的随着玩家自己的角色(118)向前和向下显示的透视图,而是由 玩家决定以选择从该角色的眼睛的视角的视野,或可被计算并呈现的许多其他可能的视野 中的一个。

[0160] 参考图19,另一说明性视图(144)示出了穿着头戴式显示系统(3〇〇)操作角色“特 工006”(140)的真实人类玩家以及相关的本地处理系统(308),此时他参与到由家中她起居 室中的操作员(例如图17中的玩家85)进行的相同的游戏时,并且他正以混合或增强的现实 体验在实际上走过真实的伦敦市。在所描述的实施例中,当玩家(140)穿着他的增强现实头 戴式显示器(300)沿着桥散步时,他本地的处理系统(308)将所描述的多种虚拟现实元素馈 送给他的显示器,覆盖他真实的现实视野(S卩,例如伦敦138的现实地平线和结构)。他在手 中拿着一个或多个实际的文件(142),在一个实施例中,该文件被提前电子地通信至他用于 在游戏场景中打印和使用。图20示出了从玩家(140)眼睛的视角(146)察看他实际的文件 (142)以观看实际的伦敦地平线(138)的视野的视图,同时还通过其头戴式显示器(300)呈 现用于增强现实视野的多种虚拟元素。所述虚拟元素可包括,例如,通信显示器(126)、新闻 显示器(128)、一个或多个电子通信或社交网络工具显示器(132)、一个或多个玩家状态指 示器(134)、消息传送接口(136)、罗盘朝向指示器(124),和一个或多个内容显示器(148), 例如文本、语音或视频内容,可依照其他被显示或被捕捉的信息来被检索或呈现,所述信息 例如玩家(140)携带的现实文件中的文本或图片。仅存在在虚拟现实中的“特工009”附近的 其他角色被呈现在作为角色“特工006”操作的玩家(140)的增强现实视野(146)中,并且可 被在用户接口中标记以用于简单的识别,如图20中所示。

[0161] 参考图21,也真实出现在伦敦(140)并且步行穿过相同的桥走向“特工006”玩家 (140)但是没有增强现实头戴式显示器(例如,图19的元素300)的另一玩家(150)的玩家眼 睛视野被呈现。该玩家(150)可能没有头戴式增强现实显示器,但是他携带着移动通信设备 (154),例如平板电脑或智能手机,在该实施例中,所述移动通信设备可被无线连接至更大 的系统,并被用作到主题游戏的增强现实世界中的“窗口”,并且被配置以在设备的有限的 用户接口(156)中呈现关于一个或多个其他附近玩家的增强现实信息,以及例如警告或角 色信息等其他增强现实显示信息(162),所述其他玩家可为现实存在在哪里(158)或是虚拟 的。

[0162]参考图22,“鸟的眼睛”或有人或无人驾驶的飞行器(或“UAV”)视野被呈现(164)。 在一个实施例中,视野(164)可基于由另一玩家或上述提及的玩家之一操作的虚拟UAV。被 描述的视野(1M)可以以完全虚拟的模式呈现给玩家,例如,坐着家中的沙发上,具有大的 计算机显示器(9〇)或头戴式显示器(300)的玩家;备选地,这样的视野可被作为增强现实视 野呈现给在飞机或其他飞行器上的玩家(即由于人在该位置,“增强”或混合的视野,其中至 少部分视野是真实现实的)。被示出的视野(164)包含用于标出相关信息的信息控制面板的 接口区域,所述相关信息例如关于在视野中发现的被识别的对手。被示出的视野(164)标出 虚拟高亮信息,例如感兴趣信息的网站(168)、其他玩家或角色的位置和/或状态(166),和/ 或其他信息的呈现(167)。

[0163]参考图23,为了说明的目的,另一增强现实场景以视野(172)呈现为,所述视野突 出了特定真实现实元素,例如:房间的结构(174)、咖啡桌(180)、DJ桌(178)和五个真实的人 (175、188、182、1S4和1S6),五个真实的人中的每一个都穿着头戴式增强现实接口硬件 (300)以使得他们能体验他们自己拥有的他们周围事物的增强现实视野,例如虚拟现实卡 通角色(198)、虚拟现实西班牙舞者角色(I%)、突击队员角色(194)和用于真实人类(188) 之一的globe-rabbit-eared盖头(I92)。没有增强现实接口硬件,在五个现实中的人看来所 述房间就是一个配有家具、DJ桌子的房间,没有什么特别的东西;使用增强现实接口硬件, 系统被配置以使得参加的玩家或参与者可体验决定以突击队员身份出现的人、决定以西班 牙舞者身份出现的人、决定以卡通角色出现的人,以及决定穿着正常服装出现,但是决定希 望自己的头部被可视化为globe-rabbit-eared盖头(192)。系统还可被配置以显示与现实 的DJ桌子(178)相关的特定虚拟特性,例如通过DJ (176)的增强现实接口硬件(300)仅对他 可见的虚拟音乐文件页(19〇),或者DJ桌子灯光特性,其可对周围使用他们的增强现实接口 硬件(300)的任何人可见。

[0164] 参考图24A和24B,例如平板电脑或智能手机的移动通信设备的适配可被用来体验 作为进入主题游戏的增强现实世界的改进的“窗口”的增强现实或体验使用该主题系统的 创作。参考图24A,典型的智能手机或平板电脑系统移动设备(154)以相对简单的视觉用户 接口(156)为特性,并且典型地拥有一个或两个简单的摄像机。参考图24B,移动计算设备已 经是可移除的并且操作地耦合至增强控制台(218),所述增强控制台(218)被配置以增强移 动计算设备的增强现实参与能力的。例如,被描述实施例有如下特性:可被用于眼睛跟踪的 两个朝向玩家的摄像机(202);可用于简单的高质量音频和/或定向声修正的四个扬声器 (200);用于机器视觉、记录和/或定位的两个前向摄像机(204);附加的电池或电力提供能 力(212);被放置以易于抓着耦合系统的玩家利用的一个或多个输入接口(214、216);向抓 着耦合系统的用户提供反馈的触觉反馈设备(222)(在一个实施例中,触觉反馈设备科被配 置以提供两个轴的反馈,在每个轴的+方向或-方向提供方向性的反馈;这样的配置可被用 于例如辅助操作员保持系统对着特定感兴趣的目标等);一个或多个GPS或定位传感器 (206);和/或一个或多个加速计、惯性测量装置和/或陀螺仪(208)。

[0165] 参考图25,在一个实施例中,例如在图24B中描述的系统可被用来使用GPS传感器 和/或无线三角测量(232)来在X和Y (类似于经度和纬度的大地坐标系)Cartesian方向粗略 定位参与者。使用罗盘和/或无线朝向技术(234)达到粗略定向。由于确定了粗略定位和定 向,分布式系统可被配置以下载(即,经由无线通信)本地特征贴图信息至本地设备(g卩,例 如内部耦合的移动通信系统154和增强控制台218)。这样的信息可包括例如几何信息,如地 平线几何结构、建筑的几何结构、航道/平面元素几何结构、地形几何结构等(236)。本地和 分布式系统可利用粗略定位、粗略定向和本地特征贴图信息的组合以确定精细的定位和定 向特性(例如乂、¥和2{类似于高度}坐标系和3D定向)(238),其可被用来使得分布式系统下 载精细程度的本地特征贴图信息至本地系统(S卩,例如内部耦合的移动通信系统154和增强 控制台128)以增强用户的体验和操作。利用粗略定位和定向工具以及本地部署的设备例如 惯性测量装置、陀螺伩和加速计一一其可被耦合至例如可由参与者(242)携带的平板电脑 或移动手机的移动计算设备,至不同方向和位置的移动可被追踪。

[0166]在多种上述的实施例中,头戴式显示组件部分可包括单眼或双眼显示技术、透明 的视频配置。此外,这样的组件部分可包括以单眼或双眼形式的可穿戴或头戴式光场显示 系统,包括激光投影系统,其中图像被投影至用户的视网膜上并且焦点深度信息被逐立体 像素(voxel)和/或逐帧提供。深度平面的数量优选地从2到无限或非常大的数变动;在一个 实施例中,4到36之间的深度平面可被呈现以用于3D效果。

[0167]例如在图23中标出的DJ桌子(178)的现实的对象可被扩展到虚拟现实表面、曲面 和/或功能。例如,在一个实施例中,这样的设备上的真实的按钮可被配置以打开虚拟面板, 兵傲K罝以与现买的设备和/或其他设备、人或对象交互。

[0168]例如在图23中描述的聚会房间(174)的房间可被推断为任何的房间或空间。系统 可拥有来自一些已知数据(例如现有的关于房间其他相关的结构或事物的二维或三维数 据)的任意位置--或者可能拥有几乎为0的数据,并利用比如那些安装于图24B中的控制 台上的那些(204)摄像机的机器视觉配置,所述摄像机可被用来捕捉附加数据;进一步地, 系统可被配置以使得人群可众包可用的二维或三维贴图信息。

[0169]在^有的贴图信息为可用的配置中,所述信息例如伦敦市的三维贴图数据,穿戴 着头戴式显示器或“感应器”配置(300)的用户可使用GPS、罗盘和/或其他装置(例如,附加 的被安装的追踪摄像机、耦合至其他玩家的设备等)被粗略地定位。然后使用物理位置的已 知的几何结构作为用于该记录的基准点,从用户的传感器完成精细的记录。例如,在伦敦特 定的建筑内,当被在远处X察看时,当系统已经从GPS信息中定位用户在Y英尺高内并且从罗 盘和贴图M定位方向C时,系统可被配置以实现记录算法(类似在机器人或计算机辅助的外 科手术中被利用的技术)来在一些误差E范围内“锁定”用户的三维位置。

[0170]固定的摄像机还可结合头戴式或感应器装置来利用。例如,在图23中所描述的聚 会房间里,安装至房间(174)特定方面的固定摄像机可被配置以提供房间和移动的人的现 场的、不间断的视图,向远程的参与者给予整个房间的“现场的”数字的远程现场视图,以使 得他们与该房间内的虚拟的和物理的人们的社交互动更加丰富。在这样的实施例中,少数 房间可被贴图至彼此:物理的房间和虚拟的房间的几何结构被贴图至彼此;附加的扩展或 外观改装可等同于、小于或大于物理房间的贴图而被创建,同时对象穿过物理的和虚拟的 “元”房间移动,并且随后在视觉上被个性化,或“换肤”,对每个用户或参与者来说房间的版 本是可用的(即,当他们在完全相同的物理或虚拟房间中时,系统可允许用户自定义视图; 例如,图23中的虚拟突击队员(194)可在聚会上,但拥有贴图有“Death Star (死星)”的图形 或皮肤的环境),同时DJ (176)可拥有在聚会环境中的如在图23中所示的肤色的房间;这就 是“共享的电影现实”概念,其中每个用户对房间的一些方面拥有一致的视图,但还能根据 他们个人的嗜好修改特定的变量(颜色、形状等),这些都是同时进行地。

[0171]本文描述了本发明的多种示例性实施例。这些实施例以非限制性的意义被引用。 它们被提供以更广泛地示出本发明可应用的方面。在不背离本发明的真实精神和范围下, 对本发明的描述可做出多种改变以及等同物可被替换。此外,许多修改可以被作出以适应 特定的情况、材料、组合物、过程、过程行为或步骤来达到本发明的目标、精神或范围。进一 步地,如将被本领域的技术人员所理解的,本文描述和示出的每个个体差异具有分立组件 和特征,其可容易地从任何其它几个实施例分离出或与任何其它几个实施例结合而不背离 本发明的范围或精神。所有这样的修改旨在落入与本公开相关的权利要求书的范围内。 [0172]本发明包括可使用主题装置来执行的方法。该方法可包括提供这种适当设备的行 为。这样的提供可由最终用户执行。换言之,“提供”行为仅仅需要最终用户获得、访问、处 理、安置、设置、激活、上电或其他动作以在本主题方法中提供必要的设备。本文所列举的方 法可以以所列举的事件的逻辑上可能的任何顺序和以事件的列举的顺序来实施。

[0173]以上陈述了本发明的示例性方面以及考虑了材料选择和制造的细节。至于本发明 的其它细节,他们可以与上述引用的专利和出版物以及本领域技术人员已广泛的理解或认 识结合而得以认知。根据通常地或逻辑地采用的附加行为,同样的道理也适用于本发明基 卞万沄的万囬。

[0174]此外,尽管已经参照可选地结合多个特征的若干例子描述了本发明,相对于本发 明的每个变体,本发明并不受限于如预期的这些被描述或指示的情形。多种改变可做出以 替代本发明的描述和等同物(不论其在本文中被列举还是为了简洁起见本文没有包括)而 不背离本发明的真实精神和范围。此外,当提供数值范围时,应理解,该范围的上限和下限 之间的每一个中间以及和任何其它声称的或在该声明范围的中间值均涵盖在本发明之中。 [0175]此外,可以预期,本发明的变体的任何可选特征可被独立地阐述和要求,或结合本 文的任何一个或多个特征组合来阐述和要求。关于单个的项目,包括多个相同项目存在的 可能性。更具体地,如本文和所附相关权利要求中所使用的,除非特别声明,否则单数形式 “一”、“一个”、“所述”和“该”包括多个指示对象。换句话说,在上述说明书以及与本公开相 关的权利要求中该冠词的使用考虑到了“至少一个”主题项目。进一步指出,这样的权利要 求可能被撰写以排除任何可选的组件。就这一点而言,该声明旨在作为前置基础以用于结 合权利要求要素的叙述来使用这类排除性术语,如“仅”,“只”等,或使用“否定”限制。

[0176] 如果不使用这种排他性术语,与本公开内容相关的权利要求中的术语“包括”应当 允许包括任何额外的组件——不论给定数目的组件是否被列举在这样的权利要求中,或者 增加的特征可被视为转化这种权利要求中阐述的组件的性质。除非本文具体地进行了定 义,本文使用的所有技术和科学术语将被给予尽可能宽泛的通常理解含义,同时保持权利 要求的有效性。

[0177] 本发明的广度并不受限于所提供的实施例和/或主题说明书,而是仅受限于与本 公开内容关联的权利要求语言的范围。

Claims (7)

1.一种用于在第一现实地理位置的第一用户和在第二现实地理位置的第二用户在包 括虚拟世界数据的虚拟世界中交互的方法,该方法包括: 为第一用户创建通过在第一现实地理位置的第一用户设备访问虚拟世界的形象,其中 所述虚拟世界包括当非生命现实世界物体出现在第一'现实地理位置时该非生命现实世界 物体的虚拟表示; 将所述形象放置在所述虚拟世界中; 通过来自第二现实地理位置的第二用户设备向访问所述虚拟世界的第二用户显示所 述虚拟世界的增强现实视图中的所述形象; 当所述非生命现实世界物体出现在所述第一现实地理位置时通过所述第一用户设备 向所述第二用户显示所述非生命现实世界物体的所述虚拟表示,使得所述第二用户通过来 自所述第二现实地理位置的第二用户设备体验所述第一现实地理位置;以及 通过所述第一用户设备和所述第二用户设备促使所述第一用户和第二用户在所述虚 拟世界中的交互。
2. 如权利要求1中所述的方法,其中第一现实地理位置不同于所述第二现实地理位置。
3. 如权利要求1中所述的方法,其中第一现实地理位置实质上与所述第二现实地理位 置相同。
4. 如权利要求1中所述的方法,其中所述形象与在所述第一现实地理位置的物理对象 具有预先确定的关系。
5. 如权利要求1中所述的方法,其中所述形象响应于在所述第一现实地理位置的环境 提示。
6. 如权利要求1中所述的方法,其中所述形象的运动由第一用户控制。
7. 如权利要求1中所述的方法,其中所述形象可与在所述第二现实地理位置的第二用 户交互。
CN201480026513.8A 2013-03-11 2014-03-11 用于增强和虚拟现实的系统与方法 CN105188516B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US201361776771P true 2013-03-11 2013-03-11
US61/776,771 2013-03-11
PCT/US2014/023739 WO2014164901A1 (en) 2013-03-11 2014-03-11 System and method for augmented and virtual reality

Publications (2)

Publication Number Publication Date
CN105188516A CN105188516A (zh) 2015-12-23
CN105188516B true CN105188516B (zh) 2017-12-22

Family

ID=51659005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480026513.8A CN105188516B (zh) 2013-03-11 2014-03-11 用于增强和虚拟现实的系统与方法

Country Status (9)

Country Link
US (8) US20140306866A1 (zh)
EP (1) EP2967322A4 (zh)
JP (3) JP6499154B2 (zh)
KR (1) KR20150126938A (zh)
CN (1) CN105188516B (zh)
AU (2) AU2014248874B2 (zh)
CA (1) CA2905427A1 (zh)
IL (2) IL259325D0 (zh)
WO (1) WO2014164901A1 (zh)

Families Citing this family (229)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9892546B2 (en) * 2010-06-30 2018-02-13 Primal Space Systems, Inc. Pursuit path camera model method and system
US9274349B2 (en) 2011-04-07 2016-03-01 Digilens Inc. Laser despeckler based on angular diversity
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
US20130293580A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
US9456744B2 (en) 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
US9934614B2 (en) 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP6499154B2 (ja) * 2013-03-11 2019-04-10 マジック リープ, インコーポレイテッドMagic Leap,Inc. 拡張現実および仮想現実のためのシステムおよび方法
WO2014144526A2 (en) 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method
US10209517B2 (en) 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
US9977256B2 (en) * 2013-05-30 2018-05-22 Johnson & Johnson Vision Care, Inc. Methods for manufacturing and programming an energizable ophthalmic lens with a programmable media insert
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US10368011B2 (en) 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
US10186301B1 (en) 2014-07-28 2019-01-22 Jaunt Inc. Camera array including camera modules
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US10440398B2 (en) 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
US9363569B1 (en) * 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US10176639B2 (en) 2014-11-27 2019-01-08 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9538915B2 (en) 2014-01-21 2017-01-10 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
JP6509883B2 (ja) 2014-01-31 2019-05-08 マジック リープ, インコーポレイテッドMagic Leap,Inc. 多焦点表示システムおよび方法
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9830679B2 (en) * 2014-03-25 2017-11-28 Google Llc Shared virtual reality
US20150279079A1 (en) * 2014-03-26 2015-10-01 Mark D. Wieczorek Virtual reality devices and accessories
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9895057B2 (en) * 2014-04-24 2018-02-20 Carl Zeiss Meditec, Inc. Functional vision testing using light field displays
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9934613B2 (en) * 2014-04-29 2018-04-03 The Florida International University Board Of Trustees Systems for controlling a movable object
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
KR101671837B1 (ko) * 2014-05-20 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
KR20150134952A (ko) * 2014-05-23 2015-12-02 삼성전자주식회사 보안 운용 방법 및 이를 지원하는 전자 장치
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US9706910B1 (en) * 2014-05-29 2017-07-18 Vivid Vision, Inc. Interactive system for vision assessment and correction
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US20150362733A1 (en) * 2014-06-13 2015-12-17 Zambala Lllp Wearable head-mounted display and camera system with multiple modes
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
US20160027414A1 (en) * 2014-07-22 2016-01-28 Osterhout Group, Inc. External user interface for head worn computing
US9779633B2 (en) 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
US9599821B2 (en) * 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US20160048019A1 (en) * 2014-08-12 2016-02-18 Osterhout Group, Inc. Content presentation in head worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
WO2016042283A1 (en) 2014-09-19 2016-03-24 Milan Momcilo Popovich Method and apparatus for generating input images for holographic waveguide displays
EP3198192A1 (en) 2014-09-26 2017-08-02 Milan Momcilo Popovich Holographic waveguide opticaltracker
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
EP3201686A4 (en) 2014-09-29 2018-05-23 Magic Leap, Inc. Architectures and methods for outputting different wavelength light out of waveguides
WO2016064435A1 (en) * 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
US10320437B2 (en) 2014-10-24 2019-06-11 Usens, Inc. System and method for immersive and interactive multimedia generation
US20160125652A1 (en) * 2014-11-03 2016-05-05 Avaya Inc. Augmented reality supervisor display
WO2016073986A1 (en) 2014-11-07 2016-05-12 Eye Labs, LLC Visual stabilization system for head-mounted displays
US10495726B2 (en) 2014-11-13 2019-12-03 WorldViz, Inc. Methods and systems for an immersive virtual reality system using multiple active markers
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
CN104597971B (zh) * 2014-12-06 2018-04-03 许昌学院 一种可穿戴式计算机
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US10437064B2 (en) 2015-01-12 2019-10-08 Digilens Inc. Environmentally isolated waveguide display
USD767509S1 (en) * 2015-01-20 2016-09-27 My Core Control Development, Llc Controller device for heating kit
EP3248026B1 (en) 2015-01-20 2019-09-04 DigiLens Inc. Holographic waveguide lidar
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
CN104615252B (zh) * 2015-02-16 2019-02-05 联想(北京)有限公司 控制方法、控制装置、穿戴式电子设备及电子设备
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
JP6565212B2 (ja) * 2015-02-24 2019-08-28 セイコーエプソン株式会社 表示装置、表示方法およびプログラム
TWI567670B (zh) * 2015-02-26 2017-01-21 宅妝股份有限公司 切換虛擬實境模式與擴增實境模式的管理方法以及系統
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
KR20170128541A (ko) 2015-03-16 2017-11-22 매직 립, 인코포레이티드 증강 현실 펄스 옥시미트리
WO2016146963A1 (en) 2015-03-16 2016-09-22 Popovich, Milan, Momcilo Waveguide device incorporating a light pipe
US10142609B2 (en) * 2015-04-29 2018-11-27 Northrop Grumman Systems Corporation Dynamically adjustable situational awareness interface for control of unmanned vehicles
US20170132706A1 (en) * 2015-05-13 2017-05-11 Capital Preferences, Ltd. Preference Based Financial Tool System and Method
WO2016183401A1 (en) * 2015-05-13 2016-11-17 Capital Preferences, Ltd. Human capital management system and method
CA2986146A1 (en) 2015-05-19 2016-11-24 Magic Leap, Inc. Dual composite light field device
AU2016264601A1 (en) * 2015-05-19 2017-12-07 Magic Leap, Inc. Illuminator
KR20160136646A (ko) 2015-05-20 2016-11-30 삼성전자주식회사 화면을 표시하는 전자 장치, 그 제어 방법
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US9836117B2 (en) * 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
USD772821S1 (en) * 2015-06-11 2016-11-29 Oculus Vr, Llc Remote control unit
CN107924103A (zh) 2015-06-15 2018-04-17 奇跃公司 具有用于内耦合复用光流的光学元件的显示系统
JP6002286B1 (ja) * 2015-07-14 2016-10-05 株式会社コロプラ ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
US10149958B1 (en) * 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
US10176642B2 (en) 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
US10335572B1 (en) * 2015-07-17 2019-07-02 Naveen Kumar Systems and methods for computer assisted operation
US10492981B1 (en) 2015-07-17 2019-12-03 Bao Tran Systems and methods for computer assisted operation
EP3326023A4 (en) 2015-07-20 2018-12-19 Magic Leap, Inc. Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
AU2016310452A1 (en) 2015-08-21 2018-04-12 Magic Leap, Inc. Eyelid shape estimation
WO2017034860A1 (en) 2015-08-21 2017-03-02 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
CN107925789A (zh) * 2015-09-18 2018-04-17 夏普株式会社 接收装置、接收方法、程序
KR20170034543A (ko) * 2015-09-21 2017-03-29 삼성전자주식회사 사용자 단말, 전자 장치 및 이들의 제어 방법
EP3353591A4 (en) 2015-09-23 2019-06-12 Magic Leap, Inc. Eye imaging with an off-axis imager
US10025375B2 (en) 2015-10-01 2018-07-17 Disney Enterprises, Inc. Augmented reality controls for user interactions with a virtual world
JP2019502142A (ja) 2015-10-06 2019-01-24 マジック リープ, インコーポレイテッドMagic Leap,Inc. 逆角度回折格子を有する仮想/拡張現実システム
US9875575B2 (en) 2015-10-07 2018-01-23 Google Llc Smoothing 3D models of objects to mitigate artifacts
KR101763636B1 (ko) * 2015-10-15 2017-08-02 한국과학기술원 헤드 마운트 디스플레이를 이용한 협업 방법
US10152825B2 (en) * 2015-10-16 2018-12-11 Fyusion, Inc. Augmenting multi-view image data with synthetic objects using IMU and image data
CA3001682A1 (en) 2015-10-16 2017-04-20 Magic Leap, Inc. Eye pose identification using eye features
CA3002369A1 (en) * 2015-10-20 2017-04-27 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
WO2017079333A1 (en) 2015-11-04 2017-05-11 Magic Leap, Inc. Light field display metrology
US9801295B2 (en) 2015-11-05 2017-10-24 Oculus Vr, Llc Remote control unit with lanyard attachment mechanism
US9763348B2 (en) 2015-11-06 2017-09-12 Oculus Vr, Llc Remote control unit with battery retention mechanism
US9722235B2 (en) 2015-12-11 2017-08-01 Oculus Vr, Llc Remote control unit with battery isolation tab
US9990689B2 (en) * 2015-12-16 2018-06-05 WorldViz, Inc. Multi-user virtual reality processing
US10095928B2 (en) 2015-12-22 2018-10-09 WorldViz, Inc. Methods and systems for marker identification
KR20180099749A (ko) 2015-12-30 2018-09-05 아론 슈어파이어, 엘엘씨 광학 내로우캐스팅
NZ743884A (en) 2016-01-07 2019-11-29 Magic Leap Inc Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes
US10466778B2 (en) 2016-01-19 2019-11-05 Magic Leap, Inc. Eye image selection
US10397320B2 (en) * 2016-01-20 2019-08-27 International Business Machines Corporation Location based synchronized augmented reality streaming
CN105554392A (zh) * 2016-01-20 2016-05-04 京东方科技集团股份有限公司 显示切换装置及其切换方法、穿戴显示装置及其显示方法
CN105894571A (zh) * 2016-01-22 2016-08-24 冯歆鹏 一种处理多媒体信息的方法及装置
WO2017124871A1 (zh) * 2016-01-22 2017-07-27 上海肇观电子科技有限公司 一种呈现多媒体信息的方法及装置
CN105893452A (zh) * 2016-01-22 2016-08-24 冯歆鹏 一种呈现多媒体信息的方法及装置
CN105894581A (zh) * 2016-01-22 2016-08-24 冯歆鹏 一种呈现多媒体信息的方法及装置
KR20180114162A (ko) 2016-02-24 2018-10-17 매직 립, 인코포레이티드 낮은 광 누설을 가진 편광 빔 분할기
CN109075239A (zh) 2016-02-26 2018-12-21 奇跃公司 具有用于高度空间均匀的光输出的反射器和透镜的光输出系统
WO2017151752A1 (en) * 2016-03-01 2017-09-08 Mirus Llc Augmented visualization during surgery
US10477157B1 (en) * 2016-03-02 2019-11-12 Meta View, Inc. Apparatuses, methods and systems for a sensor array adapted for vision computing
CN105807922B (zh) * 2016-03-07 2018-10-02 湖南大学 一种虚拟现实娱乐驾驶的实现方法、装置及系统
US10127369B2 (en) 2016-03-07 2018-11-13 Magic Leap, Inc. Blue light adjustment for biometric security
GB2548154A (en) * 2016-03-11 2017-09-13 Sony Computer Entertainment Europe Ltd Virtual reality
AU2017244109A1 (en) 2016-03-31 2018-10-11 Magic Leap, Inc. Interactions with 3D virtual objects using poses and multiple-DOF controllers
KR101822806B1 (ko) * 2016-03-31 2018-01-29 한국과학기술원 가상현실 기반 원거리 협업 기능과 데이터베이스를 제공하는 하이브리드 나노물질 및 나노소자의 재료 설계 장치
CN109313341A (zh) 2016-04-08 2019-02-05 奇跃公司 具有可变焦透镜元件的增强现实系统和方法
US10380800B2 (en) * 2016-04-18 2019-08-13 Disney Enterprises, Inc. System and method for linking and interacting between augmented reality and virtual reality environments
KR20180135487A (ko) 2016-04-26 2018-12-20 매직 립, 인코포레이티드 증강 현실 시스템들을 사용한 전자기 추적
US10046229B2 (en) 2016-05-02 2018-08-14 Bao Tran Smart device
US10242501B1 (en) 2016-05-03 2019-03-26 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
CN105997247A (zh) * 2016-05-06 2016-10-12 京东方科技集团股份有限公司 一种应用于远程手术的控制端、手术设备端、方法及系统
KR20190007022A (ko) 2016-05-12 2019-01-21 매직 립, 인코포레이티드 이미징 도파관을 통해 분배된 광 조작
US10089788B2 (en) * 2016-05-25 2018-10-02 Google Llc Light-field viewpoint and pixel culling for a head mounted display device
US10435176B2 (en) 2016-05-25 2019-10-08 Skydio, Inc. Perimeter structure for unmanned aerial vehicle
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US20190302880A1 (en) * 2016-06-06 2019-10-03 Devar Entertainment Limited Device for influencing virtual objects of augmented reality
KR20190017866A (ko) 2016-06-10 2019-02-20 매직 립, 인코포레이티드 텍스처 투사 전구용 적분 점광원
US10126553B2 (en) * 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
US10332315B2 (en) 2016-06-20 2019-06-25 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
US10163011B2 (en) 2016-06-30 2018-12-25 Magic Leap, Inc. Estimating pose in 3D space
US10296792B2 (en) 2016-07-14 2019-05-21 Magic Leap, Inc. Iris boundary estimation using cornea curvature
KR101696243B1 (ko) * 2016-07-22 2017-01-13 김계현 가상 현실 구현 시스템 및 그의 가상 현실 구현 방법
US10451895B2 (en) 2016-07-25 2019-10-22 Magic Leap, Inc. Light field processor system
US10403044B2 (en) 2016-07-26 2019-09-03 tagSpace Pty Ltd Telelocation: location sharing for users in augmented and virtual reality environments
US10267970B2 (en) 2016-08-22 2019-04-23 Magic Leap, Inc. Thermal dissipation for wearable device
EP3500911A1 (en) 2016-08-22 2019-06-26 Magic Leap, Inc. Augmented reality display device with deep learning sensors
CN106327584A (zh) * 2016-08-24 2017-01-11 上海与德通讯技术有限公司 一种用于虚拟现实设备的图像处理方法及装置
CN106293100A (zh) * 2016-08-24 2017-01-04 上海与德通讯技术有限公司 虚拟现实设备中视线焦点的确定方法及虚拟现实设备
US20180059902A1 (en) * 2016-08-26 2018-03-01 tagSpace Pty Ltd Teleportation Links for Mixed Reality Environments
CN109863435A (zh) 2016-09-21 2019-06-07 奇跃公司 用于具有出瞳扩展器的光学系统的系统和方法
CN106572344A (zh) * 2016-09-29 2017-04-19 宇龙计算机通信科技(深圳)有限公司 虚拟现实直播方法、系统以及云服务器
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space
CN110073359A (zh) 2016-10-04 2019-07-30 奇跃公司 用于卷积神经网络的有效数据布局
US10514769B2 (en) * 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting
CN109901710A (zh) * 2016-10-19 2019-06-18 腾讯科技(深圳)有限公司 媒体文件的处理方法和装置、存储介质及终端
US10192362B2 (en) * 2016-10-27 2019-01-29 Gopro, Inc. Generating virtual reality and augmented reality content for a live event
WO2018090060A1 (en) * 2016-11-14 2018-05-17 Logitech Europe S.A. A system for importing user interface devices into virtual/augmented reality
US10373452B2 (en) * 2016-11-29 2019-08-06 Immersion Corporation Targeted haptic projection
CA3045663A1 (en) 2016-12-08 2018-06-14 Magic Leap, Inc. Diffractive devices based on cholesteric liquid crystal
WO2018116377A1 (ja) * 2016-12-20 2018-06-28 株式会社キッズプレート 現実空間を撮像した映像にオブジェクトを重畳させる処理を行う処理装置、方法、プログラム、および処理システム
US10371896B2 (en) 2016-12-22 2019-08-06 Magic Leap, Inc. Color separation in planar waveguides using dichroic filters
TWI603227B (zh) * 2016-12-23 2017-10-21 李雨暹 移動物件的虛擬訊息遠距管理方法與應用系統
US10262464B2 (en) 2016-12-30 2019-04-16 Intel Corporation Dynamic, local augmented reality landmarks
CN106823408B (zh) * 2016-12-30 2019-05-07 武汉市马里欧网络有限公司 基于ar的儿童积木搭建系统及方法
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
CN110431118A (zh) 2017-01-05 2019-11-08 奇跃公司 通过等离子体蚀刻的高折射率玻璃的图案化
WO2018136517A1 (en) * 2017-01-17 2018-07-26 Virtual Sandtable Llc Augmented/virtual mapping system
JP6227177B1 (ja) * 2017-01-20 2017-11-08 株式会社Qdレーザ 画像投影装置
CA3051239A1 (en) 2017-01-23 2018-07-26 Magic Leap, Inc. Eyepiece for virtual, augmented, or mixed reality systems
CN106791748A (zh) * 2017-01-25 2017-05-31 触景无限科技(北京)有限公司 一种台灯的投影处理方法及装置
WO2018140651A1 (en) 2017-01-27 2018-08-02 Magic Leap, Inc. Diffraction gratings formed by metasurfaces having differently oriented nanobeams
JP6244593B1 (ja) 2017-01-30 2017-12-13 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
WO2018152455A1 (en) * 2017-02-20 2018-08-23 Vspatial, Inc. System and method for creating a collaborative virtual session
CN106919259A (zh) * 2017-03-06 2017-07-04 北京小米移动软件有限公司 基于vr设备的形象处理方法和装置
US10043406B1 (en) 2017-03-10 2018-08-07 Intel Corporation Augmented emotion display for austistic persons
KR101963244B1 (ko) * 2017-03-20 2019-03-28 ㈜라이커스게임 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램
CN110431841A (zh) 2017-03-21 2019-11-08 奇跃公司 虚拟、增强和混合现实系统的深度感测技术
ES2640790A1 (es) * 2017-04-04 2017-11-06 Stanislas Louis ALEXANDRE KARNKOWSKI Procedimiento para la detección y representación virtual de actividades de acción
US10403050B1 (en) * 2017-04-10 2019-09-03 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
CA3059587A1 (en) 2017-04-18 2018-10-25 Magic Leap, Inc. Waveguides having reflective layers formed by reflective flowable materials
US10078909B1 (en) * 2017-05-16 2018-09-18 Facebook, Inc. Video stream customization using graphics
US9917652B1 (en) 2017-06-06 2018-03-13 Surefire Llc Adaptive communications focal plane array
US10304251B2 (en) * 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
JP6509955B2 (ja) * 2017-06-28 2019-05-08 株式会社コロプラ 情報処理方法、プログラム及び情報処理装置
CN107277494A (zh) * 2017-08-11 2017-10-20 北京铂石空间科技有限公司 立体显示系统及方法
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
CN107608517A (zh) * 2017-09-25 2018-01-19 艾亚(北京)科技有限公司 一种基于地理位置的场景互动交友系统及方法
US10482575B2 (en) * 2017-09-28 2019-11-19 Intel Corporation Super-resolution apparatus and method for virtual and mixed reality
WO2019074169A1 (ko) * 2017-10-11 2019-04-18 주식회사 카이비전 움직임감지 증강현실 글라스
US20190129181A1 (en) * 2017-11-01 2019-05-02 Vrgineers, Inc. Interactive augmented or virtual reality devices
WO2019092590A1 (ru) * 2017-11-09 2019-05-16 ГИОРГАДЗЕ, Анико Тенгизовна Взаимодействие пользователей в коммуникационной системе при помощи множественного потокового вещания данных дополненной реальности
WO2019132521A1 (ko) * 2017-12-26 2019-07-04 스코넥엔터테인먼트주식회사 가상 환경 제어 시스템
WO2019130864A1 (ja) * 2017-12-28 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10250948B1 (en) 2018-01-05 2019-04-02 Aron Surefire, Llc Social media with optical narrowcasting
US10236986B1 (en) 2018-01-05 2019-03-19 Aron Surefire, Llc Systems and methods for tiling free space optical transmissions
US10473439B2 (en) 2018-01-05 2019-11-12 Aron Surefire, Llc Gaming systems and methods using optical narrowcasting
US20190227311A1 (en) * 2018-01-22 2019-07-25 Symbol Technologies, Llc Systems and methods for task-based adjustable focal distance for heads-up displays
TWI658404B (zh) * 2018-02-09 2019-05-01 宏碁股份有限公司 語音辨識系統及其方法
USD868108S1 (en) * 2018-03-16 2019-11-26 Magic Leap, Inc. Display panel or portion thereof with graphical user interface
US10504289B2 (en) 2018-05-01 2019-12-10 Dell Products, Lp Method and apparatus for securely displaying private information using an augmented reality headset
CN108769802A (zh) * 2018-06-21 2018-11-06 北京密境和风科技有限公司 网络表演的实现方法、装置和系统
US10460235B1 (en) * 2018-07-06 2019-10-29 Capital One Services, Llc Data model generation using generative adversarial networks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的系统和方法

Family Cites Families (186)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3632865A (en) 1969-12-23 1972-01-04 Bell Telephone Labor Inc Predictive video encoding using measured subject velocity
DE2737499C3 (zh) 1977-08-19 1981-10-22 Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E.V., 3400 Goettingen, De
GB8701288D0 (en) 1987-01-21 1987-02-25 Waldern J D Perception of computer-generated imagery
US5271093A (en) 1989-10-17 1993-12-14 Mitsubishi Denki Kabushiki Kaisha Video display apparatus for filling the interior shapes of contour
US5138555A (en) 1990-06-28 1992-08-11 Albrecht Robert E Helmet mounted display adaptive predictive tracking
US8730129B2 (en) 1990-12-07 2014-05-20 Dennis J Solomon Advanced immersive visual display system
JPH05328260A (ja) * 1992-05-26 1993-12-10 Olympus Optical Co Ltd 頭部装着式ディスプレイ装置
JPH0655203B2 (ja) 1992-07-09 1994-07-27 直彦 ▲高▼畑 視線検出を用いた医療診断装置
US5311897A (en) 1992-09-18 1994-05-17 Robert L. Cargill, Jr. Rotary control valve with offset variable area orifice and bypass
US5422653A (en) 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
JP3306183B2 (ja) 1993-09-14 2002-07-24 リーダー電子株式会社 信号波形表示装置及び表示方法
JP2952858B2 (ja) * 1994-05-31 1999-09-27 株式会社島津製作所 ヘッドマウントディスプレイ
US5742264A (en) 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
GB2301216A (en) * 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
JPH09284676A (ja) 1996-04-15 1997-10-31 Sony Corp 身体の動きに同期した映像及び音声処理方法と映像表示装置
US6151179A (en) 1997-07-11 2000-11-21 International Business Machines Corporation Signal processing circuit with feedback extracted from a sampled analog error signal
WO1999022314A1 (fr) 1997-10-29 1999-05-06 Sharp Kabushiki Kaisha Dispositif de commande d'affichage et dispositif de reproduction d'affichage pour livres electroniques
JP2001255862A (ja) 2000-03-10 2001-09-21 Seiko Epson Corp オーバレイ画像処理装置およびオーバレイ画像表示装置
US7663642B2 (en) 2000-11-15 2010-02-16 Sony Corporation Systems and methods for rendering a polygon in an image to be displayed
DE10131720B4 (de) 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
US20030014212A1 (en) * 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
US6759979B2 (en) 2002-01-22 2004-07-06 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
JP3762309B2 (ja) * 2002-02-18 2006-04-05 キヤノン株式会社 位置方向測定装置および情報処理方法
US7497574B2 (en) * 2002-02-20 2009-03-03 Brother Kogyo Kabushiki Kaisha Retinal image display device
US6917370B2 (en) * 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
JP4170068B2 (ja) 2002-11-12 2008-10-22 シャープ株式会社 データ信号線駆動方法、データ信号線駆動回路およびそれを用いた表示装置
US7386799B1 (en) 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
US7385606B2 (en) 2002-12-18 2008-06-10 Microsoft Corporation International font measurement system and method
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US7515756B2 (en) 2003-06-23 2009-04-07 Shoestring Research, Llc. Region segmentation and characterization systems and methods for augmented reality
US20050148388A1 (en) 2003-07-17 2005-07-07 Fabricio Vayra Method and system for interaction with real-time events from a remote location, through use of a computer, game console or other module
ITTO20030662A1 (it) 2003-08-29 2005-02-28 Fiat Ricerche Disposizione di visualizzazione virtuale per un quadro
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
KR101026800B1 (ko) 2003-11-21 2011-04-04 삼성전자주식회사 액정 표시 장치, 표시 장치용 광원의 구동 장치 및 그방법
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
JP4373286B2 (ja) 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
US7403337B2 (en) * 2004-05-11 2008-07-22 Universal Vision Biotechnology Co., Ltd. Focus adjustable head mounted display system and method and device for realizing the system
US7442918B2 (en) 2004-05-14 2008-10-28 Microvision, Inc. MEMS device having simplified drive
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
US6947219B1 (en) * 2004-06-02 2005-09-20 Universal Vision Biotechnology Co., Ltd. Focus adjustable head mounted display system for displaying digital contents and device for realizing the system
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US20060007056A1 (en) * 2004-07-09 2006-01-12 Shu-Fong Ou Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US8585476B2 (en) * 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
KR100656342B1 (ko) * 2004-12-16 2006-12-11 한국전자통신연구원 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
US20060214911A1 (en) 2005-03-23 2006-09-28 Eastman Kodak Company Pointing device for large field of view displays
US20060226231A1 (en) 2005-03-29 2006-10-12 University Of Washington Methods and systems for creating sequential color images
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US7773098B2 (en) 2005-05-11 2010-08-10 Canon Kabushiki Kaisha Virtual reality presentation apparatus and method
US8847861B2 (en) 2005-05-20 2014-09-30 Semiconductor Energy Laboratory Co., Ltd. Active matrix display device, method for driving the same, and electronic device
US7737965B2 (en) * 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
US20060284791A1 (en) * 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
IL173361A (en) 2005-09-12 2012-03-29 Elbit Systems Ltd Near eye display system
US7480422B2 (en) 2005-10-14 2009-01-20 Disney Enterprises, Inc. Systems and methods for information content delivery relating to an object
IL172797A (en) 2005-12-25 2012-09-24 Elbit Systems Ltd Real-time image scanning and processing
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
SE0601216L (sv) * 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
US20080058629A1 (en) 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
US7725547B2 (en) 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US7889178B2 (en) 2006-09-08 2011-02-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Programmable resolution for optical pointing device
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
JP4936522B2 (ja) 2006-09-29 2012-05-23 キヤノン株式会社 画像処理方法、画像処理装置
JP5228307B2 (ja) 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
JP2010512693A (ja) 2006-12-07 2010-04-22 アダックス,インク. データの付加、記録および通信のためのシステムと方法
US7903166B2 (en) 2007-02-21 2011-03-08 Sharp Laboratories Of America, Inc. Methods and systems for display viewer motion compensation based on user image data
US20080215974A1 (en) 2007-03-01 2008-09-04 Phil Harrison Interactive user controlled avatar animations
US8832557B2 (en) 2007-05-04 2014-09-09 Apple Inc. Adjusting media display in a personal display system based on perspective
US7995055B1 (en) * 2007-05-25 2011-08-09 Google Inc. Classifying objects in a scene
WO2009002567A1 (en) 2007-06-27 2008-12-31 The University Of Hawaii Virtual reality overlay
US8902227B2 (en) 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
US20090089685A1 (en) 2007-09-28 2009-04-02 Mordecai Nicole Y System and Method of Communicating Between A Virtual World and Real World
US8063905B2 (en) 2007-10-11 2011-11-22 International Business Machines Corporation Animating speech of an avatar representing a participant in a mobile communication
US20090225001A1 (en) 2007-11-06 2009-09-10 University Of Central Florida Research Foundation, Inc. Hybrid Display Systems and Methods
KR20090067822A (ko) 2007-12-21 2009-06-25 삼성전자주식회사 현실 인자를 반영하는 혼합 세계 생성 시스템 및 구현 방법
US20090177042A1 (en) 2008-01-09 2009-07-09 University Of Washington Color image acquisition with scanning laser beam devices
US8217995B2 (en) 2008-01-18 2012-07-10 Lockheed Martin Corporation Providing a collaborative immersive environment using a spherical camera and motion capture
US8615383B2 (en) 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US20090222424A1 (en) 2008-02-26 2009-09-03 Van Benedict Method and apparatus for integrated life through virtual cities
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
WO2010062481A1 (en) * 2008-11-02 2010-06-03 David Chaum Near to eye display system and appliance
US8757812B2 (en) 2008-05-19 2014-06-24 University of Washington UW TechTransfer—Invention Licensing Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber
US20090322671A1 (en) 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
US8063968B2 (en) 2008-07-23 2011-11-22 Lockheed Martin Corporation Device for detecting an image of a nonplanar surface
US20100287500A1 (en) 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
ES2498671T3 (es) * 2008-12-02 2014-09-25 Saab Ab Dispositivo de visualización "de cabeza alta" para gafas de visión nocturna
US20100137684A1 (en) 2008-12-03 2010-06-03 Hoya Corporation Endoscope system with scanning function
US8132916B2 (en) 2008-12-12 2012-03-13 Carl Zeiss Meditec, Inc. High precision contrast ratio display for visual stimulus
US8295546B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8487933B2 (en) 2009-03-31 2013-07-16 General Electric Company System and method for multi-segment center point trajectory mapping
US9195898B2 (en) 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US20120200600A1 (en) 2010-06-23 2012-08-09 Kent Demaine Head and arm detection for virtual immersion systems and methods
JP5553635B2 (ja) * 2009-10-23 2014-07-16 キヤノン株式会社 補償光学装置、撮像装置および補償光学方法、撮像方法
JPWO2011061914A1 (ja) 2009-11-19 2013-04-04 パナソニック株式会社 走査型画像表示装置
KR101652311B1 (ko) * 2010-01-26 2016-08-30 광주과학기술원 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
US20120120103A1 (en) 2010-02-28 2012-05-17 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
US8482859B2 (en) * 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US8893022B2 (en) * 2010-04-01 2014-11-18 Microsoft Corporation Interactive and shared viewing experience
CN102472892B (zh) 2010-04-28 2014-07-09 松下电器产业株式会社 扫描型图像显示装置
US8762041B2 (en) * 2010-06-21 2014-06-24 Blackberry Limited Method, device and system for presenting navigational information
KR101420560B1 (ko) 2010-08-09 2014-07-16 파나소닉 주식회사 광디바이스, 및 이것을 포함한 충전 시스템
US20120127136A1 (en) 2010-08-18 2012-05-24 Kent Displays Incorporated Display device including piezoelectric and liquid crystal layers
US20120050140A1 (en) 2010-08-25 2012-03-01 Border John N Head-mounted display control
US8907983B2 (en) 2010-10-07 2014-12-09 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
US8578299B2 (en) 2010-10-08 2013-11-05 Industrial Technology Research Institute Method and computing device in a system for motion detection
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9511291B2 (en) * 2010-11-15 2016-12-06 Bally Gaming, Inc. System and method for enhanced augmented reality tracking
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US8831278B2 (en) 2010-11-30 2014-09-09 Eastman Kodak Company Method of identifying motion sickness
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US9113050B2 (en) * 2011-01-13 2015-08-18 The Boeing Company Augmented collaboration system
US20120182313A1 (en) * 2011-01-13 2012-07-19 Pantech Co., Ltd. Apparatus and method for providing augmented reality in window form
US20120188148A1 (en) 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
JP2012155655A (ja) 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
CN103003783B (zh) 2011-02-01 2016-01-20 松下电器(美国)知识产权公司 功能扩展装置、功能扩展方法、功能扩展程序以及集成电路
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US8401343B2 (en) 2011-03-27 2013-03-19 Edwin Braun System and method for defining an augmented reality character in computer generated virtual reality using coded stickers
KR101591579B1 (ko) * 2011-03-29 2016-02-18 퀄컴 인코포레이티드 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
US9071709B2 (en) 2011-03-31 2015-06-30 Nokia Technologies Oy Method and apparatus for providing collaboration between remote and on-site users of indirect augmented reality
US8508830B1 (en) * 2011-05-13 2013-08-13 Google Inc. Quantum dot near-to-eye display
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8893010B1 (en) 2011-07-20 2014-11-18 Google Inc. Experience sharing in location-based social networking
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
AU2011205223C1 (en) * 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9274595B2 (en) * 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
US9191661B2 (en) * 2011-08-29 2015-11-17 Microsoft Technology Licensing, Llc Virtual image display device
US9213163B2 (en) * 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US8879155B1 (en) 2011-11-09 2014-11-04 Google Inc. Measurement method and system
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US20130141419A1 (en) * 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
WO2013119221A1 (en) 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene
US20130215230A1 (en) 2012-02-22 2013-08-22 Matt Miesnieks Augmented Reality System Using a Portable Device
JP5958689B2 (ja) * 2012-03-22 2016-08-02 セイコーエプソン株式会社 頭部装着型表示装置
US8933912B2 (en) 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US9201625B2 (en) 2012-06-22 2015-12-01 Nokia Technologies Oy Method and apparatus for augmenting an index generated by a near eye display
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US9696547B2 (en) * 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
US9035970B2 (en) 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
JP6015250B2 (ja) 2012-08-31 2016-10-26 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20140071163A1 (en) 2012-09-11 2014-03-13 Peter Tobias Kinnebrew Augmented reality information detail
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9448404B2 (en) 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
US9030495B2 (en) 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US9582123B2 (en) 2012-11-26 2017-02-28 Qualcomm Incorporated Dual-mode capacitance sensing in a touch panel sensor
US20140178029A1 (en) * 2012-12-26 2014-06-26 Ali Fazal Raheman Novel Augmented Reality Kiosks
KR102019124B1 (ko) 2013-01-04 2019-09-06 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
US9342929B2 (en) * 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
JP2014149712A (ja) 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
KR102050897B1 (ko) 2013-02-07 2019-12-02 삼성전자주식회사 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법
JP6499154B2 (ja) * 2013-03-11 2019-04-10 マジック リープ, インコーポレイテッドMagic Leap,Inc. 拡張現実および仮想現実のためのシステムおよび方法
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9852512B2 (en) 2013-03-13 2017-12-26 Electronic Scripting Products, Inc. Reduced homography based on structural redundancy of conditioned motion
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9685003B2 (en) 2013-06-03 2017-06-20 Microsoft Technology Licensing, Llc Mixed reality data collaboration
US10139623B2 (en) 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US9911231B2 (en) * 2013-10-08 2018-03-06 Samsung Electronics Co., Ltd. Method and computing device for providing augmented reality
US20160092732A1 (en) * 2014-09-29 2016-03-31 Sony Computer Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
US9778814B2 (en) 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的系统和方法

Also Published As

Publication number Publication date
US20150235435A1 (en) 2015-08-20
JP6556776B2 (ja) 2019-08-07
AU2014248874A1 (en) 2015-10-01
AU2014248874B2 (en) 2019-07-11
US20150234462A1 (en) 2015-08-20
US20150235433A1 (en) 2015-08-20
IL259324D0 (en) 2018-07-31
US10068374B2 (en) 2018-09-04
IL259325D0 (en) 2018-07-31
CN105188516A (zh) 2015-12-23
AU2019240661A1 (en) 2019-10-24
CA2905427A1 (en) 2014-10-09
JP2016522463A (ja) 2016-07-28
US20150234463A1 (en) 2015-08-20
EP2967322A4 (en) 2017-02-08
US20140306866A1 (en) 2014-10-16
US20150235434A1 (en) 2015-08-20
US10163265B2 (en) 2018-12-25
WO2014164901A1 (en) 2014-10-09
JP2019139781A (ja) 2019-08-22
US10282907B2 (en) 2019-05-07
EP2967322A1 (en) 2016-01-20
US20150235429A1 (en) 2015-08-20
US10234939B2 (en) 2019-03-19
US10126812B2 (en) 2018-11-13
JP6499154B2 (ja) 2019-04-10
US20150235610A1 (en) 2015-08-20
JP2017107604A (ja) 2017-06-15
KR20150126938A (ko) 2015-11-13

Similar Documents

Publication Publication Date Title
Menache Understanding motion capture for computer animation and video games
CN102999160B (zh) 混合现实显示器中用户控制的现实对象的消失
JP6155448B2 (ja) 3d撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法
US9671566B2 (en) Planar waveguide apparatus with diffraction element(s) and system employing same
JP2010253277A (ja) ビデオゲームにおいてオブジェクトの動きを制御する方法およびシステム
US9857170B2 (en) Planar waveguide apparatus having a plurality of diffractive optical elements
CN104641399B (zh) 用于创建环境并用于共享环境中基于位置的体验的系统和方法
Biocca Virtual reality technology: A tutorial
US10062213B2 (en) Augmented reality spaces with adaptive rules
US9612403B2 (en) Planar waveguide apparatus with diffraction element(s) and system employing same
US20120206452A1 (en) Realistic occlusion for a head mounted augmented reality display
CN102884490B (zh) 在共享的稳定虚拟空间上维持多视图
US9429912B2 (en) Mixed reality holographic object development
US9599821B2 (en) Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
KR101670147B1 (ko) 휴대용 디바이스, 가상 현실 시스템 및 방법
Anthes et al. State of the art of virtual reality technology
Schmalstieg et al. Augmented reality: principles and practice
US10019962B2 (en) Context adaptive user interface for augmented reality display
CN105264460B (zh) 全息图对象反馈
US20160350973A1 (en) Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US9286711B2 (en) Representing a location at a previous time period using an augmented reality display
TWI567659B (zh) 照片表示視圖的基於主題的增強
US9041622B2 (en) Controlling a virtual object with a real controller device
EP2441504A2 (en) Storage medium recording image processing program, image processing device, image processing system and image processing method
Vince Introduction to virtual reality

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
GR01 Patent grant
GR01 Patent grant