CN117572954A - 用于增强现实的系统和方法 - Google Patents

用于增强现实的系统和方法 Download PDF

Info

Publication number
CN117572954A
CN117572954A CN202311134786.1A CN202311134786A CN117572954A CN 117572954 A CN117572954 A CN 117572954A CN 202311134786 A CN202311134786 A CN 202311134786A CN 117572954 A CN117572954 A CN 117572954A
Authority
CN
China
Prior art keywords
virtual object
perspective
view
user
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311134786.1A
Other languages
English (en)
Inventor
M·A·麦考尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN117572954A publication Critical patent/CN117572954A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开的示例描述了用于共享虚拟内容的视角视图的系统和方法。在示例方法中，经由显示器将虚拟对象呈现给第一用户。确定虚拟对象的第一视角视图，其中，第一视角视图是基于虚拟对象的位置和第一用户的第一位置。经由显示器将虚拟对象呈现给第二用户，其中，根据第一视角视图将虚拟对象呈现给第二用户。从第一用户接收到输入。确定虚拟对象的第二视角视图，其中，第二视角视图是基于来自第一用户的输入。经由显示器将虚拟对象呈现给第二用户，其中，将虚拟对象呈现给第二用户包括呈现从第一视角视图到第二视角视图的转变。

Description

用于增强现实的系统和方法
本申请是申请号为201980073915.6的中国专利申请“用于增强现实的系统和方法”(申请日为2019年9月25日)的分案申请。
相关申请的交叉引用
本申请要求于2018年9月25日提交的美国临时申请号62/736,432的优先权，其全部内容通过引用合并于此。
技术领域
本公开总体上涉及用于共享和呈现视觉信号的系统和方法，并且特别涉及用于共享和呈现与混合现实环境中的内容对应的视觉信号的系统和方法。
背景技术
现代的计算和显示技术已经促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中，数字再现的图像或其部分以它们看起来是真实的或可能被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其它实际真实世界的视觉输入不透明；增强现实或“AR”场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围实际世界可视化的增强。
例如，参考图1，示出了增强现实场景(4)，其中AR技术的用户看到了真实世界公园状的设置(6)，其以人、树、背景中的建筑物、以及混凝土平台(1120)为特征。除了这些项目之外，AR技术的用户还认为他“看到”了站在真实世界平台(1120)上的机器人雕像(1110)和似乎是大黄蜂的拟人化的飞行中的卡通状化身角色(2)，即使这些元素(2，1110)在真实世界中不存在。
对于逼真的增强现实(或“混合现实”)，将该虚拟图像正确地放置在真实世界中需要一系列相互耦合的坐标框架。
人类的视觉感知系统非常复杂，并且产生一种促进虚拟图像元素在其它虚拟或真实世界图像元素里的舒适、自然感觉、丰富的呈现的VR或AR技术是具有挑战性的。
例如，头戴式AR显示器(或头盔显示器或智能眼镜)通常至少松散地耦合到用户的头部，并因此在用户的头部移动时移动。显示组件(诸如用于头戴式显示器的目镜)可能不对称地放置到用户的眼睛。例如，双目系统可以将一个目镜放置距给定的眼睛更近或更远(例如，与互补目镜和眼睛相比)。在单眼系统中，单片(monolithic)目镜的对准可以成一个角度，使得左/右眼与另一只眼没有被相似地定位。
使如上所述配合的变化复杂化的是用户头部的运动或否则用户的位置的改变。
作为示例，如果佩戴头戴式显示器的用户在显示器上观看三维(3D)对象的虚拟表示，并在3D对象出现的区域周围走动，则该3D对象可能针对每个视点被重新渲染，使用户感觉到他或她正在在占用真实空间的对象周围走动。如果将头戴式显示器用于在虚拟空间(例如，丰富的虚拟世界)内呈现多个对象，则可以使用头部姿势的测量(即用户头部的位置和取向)来重新渲染场景以匹配用户动态变化的头部位置和取向，并提供增强的虚拟空间沉浸感。
在AR系统中，头部姿势的检测或计算可以促进显示系统渲染虚拟对象，使得虚拟对象看起来以对用户有意义的方式占据真实世界中的空间。
在某些增强现实技术(例如)中，虚拟内容显示在固定位置中。在此类示例中，虚拟内容和设备共享公共坐标系，因为设备的任何运动将类似地改变虚拟内容的位置。
在一些增强现实或混合现实系统中，一系列坐标系确保虚拟内容看起来固定于设备所在的真实世界或环境，而不是固定于设备本身。
发明内容
本公开的示例描述了用于共享虚拟内容的视角视图(perspective view)的系统和方法。在示例方法中，经由显示器将虚拟对象呈现给第一用户。确定虚拟对象的第一视角视图，其中，第一视角视图基于虚拟对象的位置和第一用户的第一位置。经由显示器将虚拟对象呈现给第二用户，其中，根据第一视角视图将虚拟对象呈现给第二用户。从第一用户接收到输入。确定虚拟对象的第二视角视图，其中，第二视角视图基于来自第一用户的输入。经由显示器将虚拟对象呈现给第二用户，其中，将虚拟对象呈现给第二用户包括呈现从第一视角视图到第二视角视图的转变。
附图说明
图1示出根据一些实施例的具有某些虚拟真实对象的增强现实场景。
图2A-2C示出根据一些实施例的包括视觉显示系统的组件的各种配置。
图3示出根据一些实施例的与云计算资产的远程交互。
图4示出根据一些实施例的具有虚拟内容的单用户坐标系系统。
图5示出根据一些实施例的用户设备对双目渲染相机的坐标系。
图6示出根据一些实施例的具有虚拟内容的多用户坐标系系统。
图7示出根据一些实施例的具有虚拟内容的多用户共享坐标系系统。
图8A-8C示出根据一些实施例的在用户之间的世界框架选择协议。
图9A-9B示出根据一些实施例的用于渲染相机坐标系变换选项的设备。
图10A-10B示出根据一些实施例的观看者与所得虚拟内容显示之间的角度关系。
图11A-11C示出根据一些实施例的具有距离变化的观看者与所得虚拟内容显示之间的附加角度关系。
图11D-11E示出根据一些实施例的基于用户之间的角度差的所得虚拟内容感知。
图12A-12C示出示例混合现实环境。
图13A-13D示出示例混合现实系统的组件，该示例混合现实系统可用于生成混合现实环境并与之交互。
图14A示出可用于向混合现实环境提供输入的示例混合现实手持式控制器。
图14B示出可以与示例混合现实系统一起使用的示例辅助单元。
图15示出示例混合现实系统的示例功能框图。
具体实施方式
本发明涉及用于创建多个坐标系的系统和方法，多个坐标系用于确定虚拟内容、用于向至少一个用户呈现AR内容的头戴式显示器(HMD)、以及用户的眼睛位置的相对位置。
下面适当地参考附图更详细地描述了附加的实施例、优点和细节。
混合现实环境
像所有人一样，混合现实系统的用户也存在于真实环境中，也就是说，用户可以感知“真实世界”的三维部分及其所有内容。例如，用户使用普通人类感官(视觉、声音、触觉、味道、气味)来感知真实环境，并通过在真实环境中移动自己的身体来与真实环境进行交互。真实环境中的位置可以描述为坐标空间中的坐标；例如，坐标可以包括纬度、经度和相对于海平面的海拔；在三个正交维度中距参考点的距离；或其它合适的值。同样，矢量可以描述在坐标空间中具有方向和大小的量。
计算设备可以在例如与设备相关联的存储器中保持对虚拟环境的表示。如在此所使用的，虚拟环境是三维空间的计算表示。虚拟环境可以包括与该空间相关联的任何对象、动作、信号、参数、坐标、矢量或其它特征的表示。在一些示例中，计算设备的电路(例如，处理器)可以保持和更新虚拟环境的状态；也就是说，处理器可以在第一时间t0基于与虚拟环境相关联的数据和/或由用户提供的输入来确定在第二时间t1的虚拟环境的状态。例如，如果虚拟环境中的对象在时间t0位于第一坐标，并且具有某些已编程的物理参数(例如，质量、摩擦系数)；以及从用户接收到的输入指示应该在方向矢量上向对象施加力；处理器可以应用运动学定律使用基本力学来确定在时间t1的对象的位置。处理器可以使用关于虚拟环境的任何合适的已知信息和/或任何合适的输入(例如，真实世界参数)来确定在时间t1的虚拟环境的状态。在保持和更新虚拟环境的状态时，处理器可以执行任何合适的软件，包括与在虚拟环境中创建和删除虚拟对象有关的软件；用于定义虚拟环境中虚拟对象或角色行为的软件(例如脚本)；用于定义虚拟环境中信号(例如音频信号)行为的软件；用于创建和更新与虚拟环境相关联的参数的软件；用于在虚拟环境中生成音频信号的软件；用于处理输入和输出的软件；用于实现网络操作的软件；用于应用资产数据(例如动画数据，以随着时间推移移动虚拟对象)的软件；或许多其它可能性。
输出设备(诸如显示器或扬声器)可以向用户呈现虚拟环境的任何或所有方面。例如，虚拟环境可以包括可以呈现给用户的虚拟对象(其可以包括无生命的对象、人、动物、灯光等的表示)。处理器可以确定虚拟环境的视图(例如，与具有原始坐标、视图轴和视锥(frustum)的“相机”对应)；并将与该视图对应的虚拟环境的可视场景渲染给显示器。任何合适的渲染技术都可以用于该目的。在一些示例中，可视场景可以仅包括虚拟环境中的一些虚拟对象，并且排除某些其它虚拟对象。类似地，虚拟环境可以包括可以作为一个或多个音频信号呈现给用户的音频方面。例如，虚拟环境中的虚拟对象可以生成源自对象的位置坐标的声音(例如，虚拟角色可以说话或引起声音效果)；或虚拟环境可能与可能会或可能不会与特定位置相关联的音乐提示或环境声音相关联。处理器可以确定与“收听者”坐标对应的音频信号，例如，与虚拟环境中的声音合成对应的音频信号，并进行混合和处理以模拟收听者会在收听者坐标处听到的音频信号，并经由一个或多个扬声器将音频信号呈现给用户。
因为虚拟环境仅以计算结构的形式存在，所以用户无法使用自己的常识直接感知虚拟环境。相反，用户只能例如通过显示器、扬声器、触觉输出设备等间接地感知到如呈现给用户的虚拟环境。类似地，用户无法直接触摸、操纵或以其它方式与虚拟环境交互；但是可以经由输入设备或传感器将输入数据提供给处理器，该处理器可以使用设备或传感器数据来更新虚拟环境。例如，相机传感器可以提供指示用户正试图在虚拟环境中移动对象的光学数据，并且处理器可以使用该数据来使对象在虚拟环境中做出相应的响应。
混合现实系统可以例如使用透射式显示器和/或一个或多个扬声器(其例如可以结合到可穿戴头部设备中)向用户呈现结合了真实环境和虚拟环境的各个方面的混合现实(“MR”)环境。在一些实施例中，一个或多个扬声器可以在头戴式可穿戴单元的外部。如在此所使用的，MR环境是真实环境和对应的虚拟环境的同时表示。在一些示例中，对应的真实和虚拟环境共享单个坐标空间；在一些示例中，真实坐标空间和一个或多个对应的虚拟坐标空间通过变换矩阵(或其它合适的表示)彼此相关。因此，在一些实施例中，单个坐标(在一些示例中，连同变换矩阵)可以定义真实环境中的第一位置，并且还定义虚拟环境中的第二对应位置；反之亦然。
在MR环境中，虚拟对象(例如，在与MR环境相关联的虚拟环境中)可以对应于真实对象(例如，在与MR环境相关联的真实环境中)。例如，如果MR环境的真实环境在位置坐标处包括真实灯柱(真实对象)，则MR环境的虚拟环境可以在对应位置坐标处包括对应的虚拟灯柱(虚拟对象)。如在此所使用的，真实对象与其对应的虚拟对象结合在一起构成“混合现实对象”。虚拟对象不必与对应的真实对象完美匹配或对齐。在一些示例中，虚拟对象可以是对应的真实对象的简化版本。例如，如果真实环境包括真实灯柱，则对应的虚拟对象可以包括与真实灯柱具有大致相同的高度和半径的圆柱体(反映出灯柱的形状可以大致为圆柱体)。以该方式简化虚拟对象可以允许计算效率，并且可以简化要在此类虚拟对象上所执行的计算。此外，在MR环境的一些示例中，并非真实环境中的所有真实对象都可以与对应的虚拟对象相关联。同样，在MR环境的一些示例中，并非虚拟环境中的所有虚拟对象都可以与对应的真实对象相关联。也就是说，一些虚拟对象可以仅在MR环境的虚拟环境中，而没有任何真实世界的对应物。在一些示例中，并非所有真实对象都可以与对应的真实对象相关联。
在一些示例中，虚拟对象可以具有与对应的真实对象的特征有时甚至完全不同的特征。例如，尽管MR环境中的真实环境可包括绿色的两臂仙人掌-多刺的无生命对象，但MR环境中的对应虚拟对象可具有带有人脸特征功能且风度翩翩的绿色的两臂虚拟角色的特征。在该示例中，虚拟对象在某些特征(颜色、臂数)上类似于其对应的真实对象；但在其它特征(面部特征、个性)上与真实对象不同。这样，虚拟对象就有可能以创造性的、抽象的、夸张的或幻想的方式表示真实对象，或赋予行为(例如人格特质)给其它无生命的真实对象。在一些示例中，虚拟对象可以是纯粹的幻想创造，而没有真实世界的对应物(例如，虚拟环境中的虚拟怪物，可能位于与真实环境中的空白空间相对应的位置)。
与向用户呈现虚拟环境同时遮蔽真实环境的VR系统相比，呈现MR环境的混合现实系统具有以下优点：当呈现虚拟环境时，真实环境仍可感知。因此，混合现实系统的用户能够使用与真实环境相关联的视觉和音频提示来体验对应的虚拟环境并与之交互。例如，尽管VR系统的用户可能难以感知虚拟环境中所显示的虚拟对象或与之交互，因为如上所述，用户无法直接感知虚拟环境或与之交互，但是MR系统的用户通过在他或她自己的真实环境中看到、听到和触摸对应的真实对象，可以发现与虚拟对象进行交互是直观而自然的。该水平的互动性可以增强用户对虚拟环境的沉浸感、连接感和参与感。类似地，通过同时呈现真实环境和虚拟环境，混合现实系统可以减少与VR系统相关联的负面心理感觉(例如，认知失调)和负面生理感觉(例如，运动病)。混合现实系统进一步为可能增加或改变我们对真实世界的体验的应用提供了许多可能性。
图12A示出示例真实环境1200，其中用户1210使用混合现实系统1212。混合现实系统1212可以包括显示器(例如，透射显示器)和一个或多个扬声器，以及一个或多个传感器(例如相机)，例如如下所述。所示的真实环境1200包括矩形房间1204A，用户1210站在该矩形房间中；以及真实对象1222A(灯)、1224A(桌子)、1226A(沙发)和1228A(绘画)。房间1204A进一步包括位置坐标1206，该位置坐标可以被认为是真实环境1200的原点。如图12A中所示，其原点在点1206(世界坐标)处的环境/世界坐标系1208(包括x轴1208X、y轴1208Y和z轴1208Z)可以定义真实环境1200的坐标空间。在一些实施例中，环境/世界坐标系1208的原点1206可以对应于混合现实系统1212已上电的位置。在一些实施例中，可以在操作期间重置环境/世界坐标系1208的原点1206。在一些示例中，用户1210可被视为真实环境1200中的真实对象；类似地，用户1210的身体部分(例如手、脚)可被视为真实环境1200中的真实对象。在一些示例中，其原点在点1215(例如，用户/收听者/头部坐标)处的用户/收听者/头部坐标系1214(包括x轴1214X、y轴1214Y以及z轴1214Z)可以定义混合现实系统1212所位于的用户/收听者/头部的坐标空间。可以相对于混合现实系统1212的一个或多个组件来定义用户/收听者/头部坐标系1214的原点1215。例如，诸如在混合现实系统1212的初始校准期间，相对于混合现实系统1212的显示器可以定义用户/收听者/头部坐标系1214的原点1215。矩阵(其可以包括平移矩阵和四元数矩阵或其它旋转矩阵)或其它合适的表示可以表征用户/收听者/头部坐标系1214空间与环境/世界坐标系1208空间之间的变换。在一些实施例中，可以相对于用户/收听者/头部坐标系1214的原点1215来定义左耳坐标1216和右耳坐标1217。矩阵(其可以包括平移矩阵和四元数矩阵或其它旋转矩阵)或其它合适的表示可以表征左耳坐标1216和右耳坐标1217与用户/收听者/头部坐标系1214空间之间的变换。用户/收听者/头部坐标系1214可以简化相对于用户头部或相对于头戴式设备(例如相对于环境/世界坐标系1208)的位置表示。使用同时定位和地图绘制(SLAM)、视觉测距或其它技术，可以实时确定和更新用户坐标系1214与环境坐标系1208之间的变换。
图12B示出与真实环境1200对应的示例虚拟环境1230。所示的虚拟环境1230包括与真实矩形房间1204A对应的虚拟矩形房间1204B；与真实对象1222A对应的虚拟对象1222B；与真实对象1224A对应的虚拟对象1224B；以及与真实对象1226A对应的虚拟对象1226B。与虚拟对象1222B、1224B、1226B相关联的元数据(metadata)可以包括从对应的真实对象1222A、1224A、1226A导出的信息。虚拟环境1230另外包括虚拟怪物1232，该虚拟怪物不对应于真实环境1200中的任何真实对象。真实环境1200中的真实对象1228A不对应于虚拟环境1230中的任何虚拟对象。其原点在点1234(持久(persistent)坐标)处的持久坐标系1233(包括x轴1233X、y轴1233Y和z轴1233Z)可以定义虚拟内容的坐标空间。可以相对于/关于一个或多个真实对象(诸如真实对象1226A)来定义持久坐标系1233的原点1234。矩阵(其可以包括平移矩阵和四元数矩阵或其它旋转矩阵)或其它合适的表示可以表征持久坐标系1233空间与环境/世界坐标系1208空间之间的变换。在一些实施例中，虚拟对象1222B、1224B、1226B和1232中的每一个可以相对于持久坐标系1233的原点1234具有它们自己的持久坐标点。在一些实施例中，可以存在多个持久坐标系，并且虚拟对象1222B、1224B、1226B和1232中的每一个可以相对于一个或多个持久坐标系具有它们自己的持久坐标点。
关于图12A和图12B，环境/世界坐标系1208为真实环境1200和虚拟环境1230二者定义了共享坐标空间。在所示的示例中，坐标空间具有在点1206处的其原点。此外，坐标空间由相同的三个正交轴(1208X、1208Y、1208Z)定义。因此，可以关于相同的坐标空间描述真实环境1200中的第一位置和虚拟环境1230中的第二对应位置。因为可以使用相同的坐标来识别两个位置，所以这简化了在真实和虚拟环境中识别和显示对应的位置。然而，在一些示例中，对应的真实和虚拟环境不需要使用共享的坐标空间。例如，在一些示例(未示出)中，矩阵(其可以包括平移矩阵和四元数矩阵或其它旋转矩阵)或其它合适的表示可以表征真实环境坐标空间与虚拟环境坐标空间之间的变换。
图12C示出示例MR环境1250，该示例MR环境1250经由混合现实系统1212同时向用户1210呈现真实环境1200和虚拟环境1230的各个方面。在所示的示例中，MR环境1250同时向用户1210呈现来自真实环境1200的真实对象1222A、1224A、1226A和1228A(例如，经由混合现实系统1212的显示器的透射部分)；以及呈现来自虚拟环境1230的虚拟对象1222B、1224B、1226B和1232(例如，经由混合现实系统1212的显示器的有源显示部分)。如上所述，原点1206用作与MR环境1250相对应的坐标空间的原点，并且坐标系1208为该坐标空间定义了x轴、y轴和z轴。
在所示的示例中，混合现实对象包括在坐标空间1208中占据对应位置的真实对象和虚拟对象(即，1222A/1222B、1224A/1224B、1226A/1226B)的对应对。在一些示例中，真实对象和虚拟对象二者可能同时对用户1210可见。例如，在虚拟对象呈现设计为增强对应真实对象视图的信息的情况下(诸如，在博物馆应用中，其中虚拟对象呈现古代受损雕塑的缺失部分)，这可能是期望的。在一些示例中，可以显示虚拟对象(1222B、1224B和/或1226B)(例如，经由使用像素化遮挡快门的有源像素遮挡)，以便遮挡对应的真实对象(1222A、1224A和/或1226A)。例如，在虚拟对象充当对应真实对象的可视替换的情况下(诸如，在无生命的真实对象成为“活物”角色的交互式讲故事应用中)，这可能是期望的。
在一些示例中，真实对象(例如，1222A、1224A、1226A)可以与不一定构成虚拟对象的虚拟内容或辅助数据相关联。虚拟内容或辅助数据可以促进在混合现实环境中对虚拟对象的处理或操纵。例如，此类虚拟内容可以包括对应的真实对象的二维表示；与对应的真实对象相关联的自定义资产类型；或与对应的真实对象相关联的统计数据。该信息可以启用或促进涉及真实对象的计算，而不会引起不必要的计算开销。
在一些示例中，上述呈现还可以包括音频方面。例如，在MR环境1250中，虚拟怪物1232可以与一个或多个音频信号(诸如当怪物在MR环境1250周围走动时生成的脚步声效果)相关联。如下面进一步描述的，混合现实系统的处理器1212可计算与MR环境1250中所有此类声音的混合和处理的合成对应的音频信号，并经由混合现实系统1212中包括的一个或多个扬声器和/或一个或多个外部扬声器将音频信号呈现给用户1210。
混合现实系统的示例
参考图2A-2C，示出了一些通用的组件选项。在图2A-2C的讨论之后的详细描述的各部分中，提出了各种系统、子系统和组件，用于解决为人类VR和/或AR提供高质量的舒适地感知的显示系统的目标。
如图2A中所示，描绘了AR系统用户(60)戴着示例性头戴式组件(58)，其特征在于耦接到位于用户眼睛前方的显示系统(62)的框架(64)结构。扬声器(66)可以以所描绘的配置耦接到框架(64)，并且与用户的耳道相邻定位(在一个实施例中，可以将另一个扬声器(未示出)与用户的另一耳道相邻定位，以提供立体/可成形的声音控制)。显示器(62)可以诸如通过有线引线或无线连接性可操作地耦接(68)到本地处理和数据模块(70)，该本地处理和数据模块可以以各种配置安装，诸如固定地附接到框架(64)，如图2B的实施例中所示，固定地附接到头盔或帽子(80)，嵌入耳机中，以背包式配置可拆卸地附接到用户(60)的躯干，或者如图2C的实施例中所示，以带耦合样式配置可拆卸地附接到用户(60)的髋部(84)。
本地处理和数据模块(70)可以包括省电的处理器或控制器，以及数字存储器(诸如闪存)，两者均可用于协助处理、缓存和存储从可操作地耦接到框架(64)的传感器(诸如图像捕获设备(诸如相机)、麦克风，惯性测量单元、加速度计、指南针、GPS单元、无线电设备和/或陀螺仪)捕获的数据；和/或使用远程处理模块(72)和/或远程数据存储库(74)获取和/或处理的数据，可能在此类处理或取得之后传递给显示器(62)。
本地处理和数据模块(70)可以诸如经由有线或无线通信链路可操作地耦接(76、78)到远程处理模块(72)和远程数据存储库(74)，使得这些远程模块(72、74)彼此可操作地耦接，并且可用作本地处理和数据模块(70)的资源。
在一个实施例中，远程处理模块(72)可以包括一个或多个相对强大的处理器或控制器，该处理器或控制器被配置为分析和处理数据和/或图像信息。在一个实施例中，远程数据存储库(74)可以包括相对大规模的数字数据存储设施，该数字数据存储设施可以通过互联网或“云”资源配置中的其它网络配置而可用。在一个实施例中，可以在本地处理和数据模块中存储所有数据并且可以执行所有计算，从而允许从任何远程模块完全自主地使用。
混合现实系统的示例
示例混合现实系统1212(其可以对应于图2A-2C中所示的示例AR系统)可包括：可穿戴头部设备(例如，可穿戴增强现实或混合现实头部设备)，其包括显示器(该显示器可包括左和右透射显示器，其可以是近眼显示器)以及用于将光从显示器耦合到用户的眼睛的相关联组件)；左和右扬声器(例如，分别与用户的左耳和右耳相邻定位)；惯性测量单元(IMU)(例如，安装到头部设备的镜腿)；正交线圈电磁接收器(例如，安装到左镜腿件)；左和右相机(例如，深度(飞行时间)相机)，其远离用户取向；以及朝向用户取向的左眼和右眼相机(例如，用于检测用户的眼睛运动)。然而，混合现实系统1212可以结合任何合适的显示技术和任何合适的传感器(例如，光学、红外、声学、LIDAR、EOG、GPS、磁性)。另外，混合现实系统1212可以结合联网特征(例如，Wi-Fi能力)以与包括其它混合现实系统的其它设备和系统通信。混合现实系统1212可以进一步包括电池(其可以安装在辅助单元中，诸如设计成可围绕用户腰部佩戴的腰带包)、处理器和存储器。混合现实系统1212的可穿戴头部设备可包括跟踪组件，诸如IMU或其它合适的传感器，其被配置为输出可穿戴头部设备相对于用户环境的一组坐标。在一些示例中，跟踪组件可以向执行同步定位和地图绘制(SLAM)和/或视觉测距算法的处理器提供输入。在一些示例中，混合现实系统1212还可以包括手持式控制器1400和/或辅助单元1420，它们可以是可穿戴腰包，如下面进一步描述的。
图13A-13D示出示例混合现实系统1300(其可以对应于混合现实系统1212)的组件，该示例混合现实系统1300可以用于向用户呈现MRE(其可以对应于MRE 1250)或其它虚拟环境。图13A示出示例混合现实系统1300中包括的可穿戴头部设备2102的透视图。图13B示出佩戴在用户的头部2202上的可穿戴头部设备2102的顶视图。图13C示出可穿戴头部设备2102的前视图。图13D示出可穿戴头部设备2102的示例目镜2110的边缘视图。如图13A至图13C中所示，示例可穿戴头部设备2102包括示例左目镜(例如，左透明波导组(set)目镜)2108和示例右目镜(例如，右透明波导组目镜)2110。每个目镜2108和2110可包括通过其真实环境可以可见的透射元件，以及用于呈现与真实环境重叠的显示(例如，经由逐图像调制光)的显示元件。在一些示例中，此类显示元件可以包括用于控制逐图像调制光的流动的表面衍射光学元件。例如，左目镜2108可以包括左入耦合光栅组2112、左正交光瞳扩展(OPE)光栅组2120和左出射(输出)光瞳扩展(EPE)光栅组2122。类似地，右目镜2110可以包括右入耦合光栅组2118、右OPE光栅组2114和右EPE光栅组2116。可以经由入耦合光栅2112和2118、OPE 2114和2120、以及EPE 2116和2122将逐图像调制的光传输到用户的眼睛。每个入耦合光栅组2112、2118可以被配置为将光朝向其对应的OPE光栅组2120、2114偏转。每个OPE光栅组2120、2114可以被设计为朝向其关联的EPE 2122、2116逐渐向下偏转光，从而在水平延伸所形成的出射光瞳。每个EPE 2122、2116可以被配置为将从其对应的OPE光栅组2120、2114接收的至少一部分光逐渐地向外重定向到在目镜2108、2110后面定义的用户眼箱(eyebox)范围位置(未显示)，垂直延伸在眼箱处所形成的出射光瞳。可替代地，代替入耦合光栅组2112和2118、OPE光栅组2114和2120、以及EPE光栅组2116和2122，目镜2108和2110可以包括光栅和/或折射和反射特征的其它布置，以控制逐图像调制光到用户的眼睛的耦合。
在一些示例中，可穿戴头部设备2102可包括左镜腿臂2130和右镜腿臂2132，其中，左镜腿臂2130包括左扬声器2134，而右镜腿臂2132包括右扬声器2136。正交线圈电磁接收器2138可以位于左镜腿件中，或位于可穿戴头部单元2102中的另一个合适位置中。惯性测量单元(IMU)2140可以位于右镜腿臂2132中，或者位于可穿戴头部设备2102中的另一合适位置中。可穿戴头部设备2102还可以包括左深度(例如，飞行时间)相机2142和右深度相机2144。深度相机2142、2144可以适当地取向在不同的方向中，以便一起涵盖更广阔的视野。
在图13A-13D中所示的示例中，可以通过左入耦合光栅组2112将逐图像调制光的左源2124光学耦合到左目镜2108，并且可以通过右入耦合光栅组2118将逐图像调制光的右源2126光学耦合到右目镜2110。逐图像调制光的源2124、2126可以包括例如光纤扫描仪；包括电子光调制器的投影仪，诸如数字光处理(DLP)芯片或硅上液晶(LCoS)调制器；或诸如微型发光二极管(μLED)或微型有机发光二极管(μOLED)面板的发光显示器，它们每侧使用一个或多个透镜被耦合到入耦合光栅组2112、2118中。输入耦合光栅组2112、2118可以将来自逐图像调制光的源2124、2126的光偏转到目镜2108、2110的全内反射(TIR)的临界角以上的角度。OPE光栅组2114、2120将通过TIR传播的光逐渐向下朝向EPE光栅组2116、2122偏转。EPE光栅组2116、2122将光逐渐朝向用户的面部(包括用户眼睛的瞳孔)耦合。
在一些示例中，如图13D中所示，左目镜2108和右目镜2110中的每一个目镜都包括多个波导2402。例如，每个目镜2108、2110可以包括多个单独的波导，每个波导专用于相应的颜色通道(例如，红色、蓝色和绿色)。在一些示例中，每个目镜2108、2110可以包括多组此类波导，每组被配置为向所发射的光赋予不同的波前曲率(wavefront curvature)。波前曲率可以相对于用户的眼睛凸出，例如以呈现位于用户前方一距离(例如，与波前曲率的倒数相对应的距离)的虚拟对象。在一些示例中，EPE光栅组2116、2122可以包括弯曲的光栅凹槽，以通过改变跨每个EPE的出射光的坡印亭(Poynting)矢量来实现凸波前曲率。
在一些示例中，为了创建所显示的内容是三维的感觉，可以通过逐图像光调制器2124、2126和目镜2108、2110向用户呈现立体调节的左眼图像和右眼图像。可以通过选择波导(并因此对应于波前曲率)来增强呈现三维虚拟对象的真实感，使得以接近由立体左和右图像所指示的距离的距离来显示虚拟对象。该技术还可以减少一些用户所经历的晕动病，这可能是由于立体左眼和右眼图像所提供的深度感知提示与人眼的自主适应(例如，与对象距离有关的焦点)之间的差异而引起的。
图13D示出从示例可穿戴头部设备2102的右目镜2110的顶部起的边缘视图。如图13D中所示，多个波导2402可包括三个波导2404的第一子集和三个波导2406的第二子集。波导2404、2406的两个子集可以通过不同EPE光栅来区分，不同EPE光栅具有不同光栅线曲率(line curvature)以将不同的波前曲率赋予出射光。在波导2404、2406的子集中的每个子集内，每个波导可用于将不同的光谱通道(例如，红色、绿色和蓝色光谱通道之一)耦合到用户的右眼2206(尽管未在图13D中示出，但是左目镜2108的结构类似于右目镜2110的结构)。
图14A示出混合现实系统1300的示例手持式控制器组件1400。在一些示例中，手持式控制器1400包括握持部分1446和沿顶表面1448设置的一个或多个按钮1450。在一些示例中，按钮1450可以被配置为用作光学跟踪目标，例如，与相机或其它光学传感器(其可以安装在混合现实系统1300的头部单元(例如可穿戴头部设备2102)中)一起来跟踪手持式控制器1400的六自由度(6DOF)运动。在一些示例中，手持式控制器1400包括用于检测位置或取向(诸如相对于可穿戴头部设备2102的位置或取向)的跟踪组件(例如，IMU或其它合适的传感器)。在一些示例中，此类跟踪组件可以被定位在手持式控制器1400的手柄中，和/或可以被机械地耦接到手持式控制器。手持式控制器1400可以被配置为提供与一个或多个按钮的按下状态相对应的一个或多个输出信号；或手持式控制器1400的位置、取向和/或运动(例如，经由IMU)。此类输出信号可以用作混合现实系统1300的处理器的输入。此类输入可以对应于手持式控制器的位置、取向和/或运动(并且通过扩展而对应于握持控制器的用户的手的位置、取向和/或运动)。此类输入还可以对应于用户按下按钮1450。
图14B示出混合现实系统1300的示例辅助单元1420。辅助单元1420可以包括电池以提供能量来操作系统1300，并且可以包括用于执行程序以操作系统1300的处理器。如图所示，示例辅助单元1420包括夹子(clip)2128，例如用于将辅助单元1420附接到用户的皮带。其它形状因数适合于辅助单元1420并且将是显而易见的，包括不涉及将该单元安装到用户的皮带的形状因数。在一些示例中，辅助单元1420通过多导管电缆耦接到可穿戴头部设备2102，该多导管电缆可以包括例如电线和光纤。还可以使用辅助单元1420与可穿戴头部设备2102之间的无线连接。
在一些示例中，混合现实系统1300可以包括一个或多个麦克风以检测声音并向混合现实系统提供对应的信号。在一些示例中，麦克风可以被附接到可穿戴头部设备2102或与可穿戴头部设备2102集成，并且可以被配置为检测用户的语音。在一些示例中，麦克风可以被附接到手持式控制器1400和/或辅助单元1420或与手持式控制器1400和/或辅助单元1420集成。此类麦克风可以被配置为检测环境声音、环境噪声、用户或第三方的声音、或其它声音。
混合现实网络架构的示例
现在参考图3，该示意图示出了云计算资产(46)与本地处理资产之间的协调，该协调例如可以位于耦合到用户的头部(120)的头戴式组件(58)和耦合到用户的皮带(308)的本地处理和数据模块(70)中。组件70也可以称为“腰带包”70。在一个实施例中，诸如一个或多个服务器系统(110)的云(46)资产可以诸如经由有线或无线联网(对于移动性而言，无线是优选的，对于可能需要的某些高带宽或高数据量传输，有线是优选的)直接(40、42)可操作地耦合(115)到本地计算资产(诸如耦合到如上所述的用户的头部(120)和皮带(308)的处理器和存储器配置)中的一个或二者。用户本地的这些计算资产也可以经由有线和/或无线连接配置(44)，诸如下面参考图8讨论的有线耦合(68)，可操作地彼此耦合。在一个实施例中，为了保持安装到用户头部(120)的低惯性和小尺寸子系统，用户与云(46)之间的主要传输可以经由安装在皮带(308)处的子系统与云之间的链路进行。头戴式(120)子系统可以使用无线连接(诸如超宽带(“UWB”)连接)主要通过数据绑定到基于皮带(308)的子系统，该连接可用于个人计算外围设备连接应用中。
采用有效的本地和远程处理协调以及用于用户的适当的显示设备，诸如图2A中所示的用户界面或用户显示系统(62)或其变体，与用户当前的实际或虚拟位置相关的一个世界的各个方面可以有效地转移或“传递”给用户并进行更新。换句话说，可以在存储位置连续更新世界地图(map)，该存储位置可以部分地驻留于用户的AR系统上，并且部分地驻留于云资源中。地图(也称为“可通行(passable)世界模型”)可以是大型数据库，包括栅格图像、3D和2D点、参数信息以及有关真实世界的其它信息。随着越来越多的AR用户不断捕获有关其真实环境的信息(例如，通过相机、传感器、IMU等)，地图会变得越来越准确和完整。
采用如上所述的配置，其中存在可以驻留在云计算资源上并从那里分布的一个世界模型，此类世界可以以相对低带宽的形式“可通行”给一个或多个用户，这可以比传递实时视频数据等更优选。可以通过基于云的世界模型来通知站立在雕像附近的人的增强体验(即，如图1中所示)，该模型的子集可以向下传递给他们及其本地显示设备以完成视图。坐在远程显示设备处的人(其可以像坐在办公桌上的个人计算机一样简单)可以从云中有效地下载该信息的相同部分并将其渲染在他们的显示器上。实际上，实际上在雕像附近公园内的一个人可能会带一个偏远的朋友在该公园中散步，而朋友则通过虚拟现实和增强现实加入其中。系统可能需要知道街道在哪里，树木在哪里，雕像在哪里。在一些实施例中，此类信息可以存储在云中，并且加入的朋友可以从场景的云方面下载，并且然后相对于实际在公园中的人开始作为增强现实本地人漫步。
可以从环境中捕获3D点，并且可以确定捕获那些图像或点的相机的姿势(即，相对于世界的矢量和/或原点位置信息)，使得这些点或图像可以用该姿势信息“标记”或与之相关联。由第二相机捕获的点可以用于确定第二相机的姿势。换句话说，可以基于与来自第一相机的被标记图像的比较来取向和/或定位第二相机。可以利用该知识来提取纹理，制作地图并创建真实世界的虚拟副本(因为此时周围有两个相机被注册(register))。
因此，在基本级别上，在一个实施例中，可以利用人佩戴的系统来捕获3D点和产生该点的2D图像，并且这些点和图像可以发送到云存储和处理资源。它们还可以与嵌入的姿势信息一起本地缓存(即，缓存标记的图像)；因此云可能已准备就绪(即在可用缓存中)标记的2D图像(即采用3D姿势标记的)以及3D点。如果用户正在观察动态事物，则可能将与该运动有关的附加信息发送到云端(例如，如果看着另一个人的面部，则可以获取该面部的纹理图并将其以最优频率向上推，即使周围的世界基本上是静止的)。关于对象识别器和可通行世界模型的更多信息可以在题为“用于增强和虚拟现实的系统和方法(System andmethod for augmented and virtual reality)”的美国专利申请序列号14/205,126中找到，其全部内容通过引用合并于此。
混合现实坐标系
图4示出用户佩戴具有“头部”坐标系的HMD AR设备的示例性环境。HMD可以创建“世界”坐标系，诸如通过上述可通行世界创建和地图绘制，其中可以相对于世界坐标系测量用户的头部位置和取向。该环境还可以包括具有其自己的“本地”坐标系的虚拟内容。HMD可以通过应用从本地坐标系到世界坐标系的变换来处理虚拟内容的放置。
通过给虚拟内容提供其自己的坐标系，与用户头部可以直接测量到世界坐标系不同，虚拟内容可以选择更持久的框架位置。例如，如果将虚拟灯放置在桌子上，则桌子上可能存在多个数据点，以提供用于虚拟灯的相对位置的放置输入，该数据点基本上不会随时间推移变化。相比之下，如果根据特定取向和位置创建了世界地图，并且用户改变了位置或取向，因此需要新的世界坐标系，则虚拟灯可继续利用相同的本地坐标系，而不是调节为新的世界框架，该新的世界框架可能会在灯的外观上引起抖动或位置偏移。
在一些实施例中，可以通过使用混合现实系统(例如，混合现实系统1212或1300)的传感器来建立坐标系。例如，可以使用深度传感器、飞行时间相机、LIDAR传感器和/或RGB相机来创建世界坐标系，以识别物理对象相对于彼此的放置。在房间中使用的混合现实系统可以识别房间的物理特征并识别这些特征的放置。例如，混合现实系统可以确定办公桌相对于椅子、相对于橱柜、相对于地板、相对于墙壁的放置。当用户在房间里四处走动时，由于可以从不同角度和/或不同距离观看物理对象，可以完善世界坐标系，以更准确地确定相对位置。与世界坐标系相比，混合现实系统还可以使用更多的局部化特征来建立本地坐标系。例如，可以通过识别办公桌的特征并识别那些特征的相对位置来为办公桌建立本地坐标系。可以识别办公桌的拐角，并将它们彼此相对放置，使得可以将虚拟对象显示为坐在办公桌上，就好像它是真实对象一样。可以使用本地坐标系放置虚拟对象(例如，虚拟对象的位置相对于办公桌的拐角被确定)。然后可以将(例如办公桌的)本地坐标系变换为可以将办公桌相对于房间中其它物理对象放置的世界坐标系。
图5描绘了头部坐标系与用于任一显示单元(即，双目系统中的左/右或单眼视野中的单个系统)的渲染相机之间的另一个坐标系变换。由于显示介质的位置在用户的眼睛中可能改变，因此相对于该位置所渲染的虚拟内容的位置可能需要进一步的坐标系分析。可以通过校准级别内在函数(intrinsics)来提供渲染相机到(to)头部坐标系的位置。如果将内容投影到显示器而不考虑渲染相机，则眼睛位置的变化可能会使内容的预期位置变形。下面提供了渲染相机变换的进一步讨论。
图6显示了多用户系统，其中用户1和用户2正在观察相同的虚拟内容。如图所示，可能已经相对于每个用户自己的设备创建了世界坐标系，并且虚拟内容可以具有本地坐标系，然后该本地坐标系变换为任一个世界坐标系(例如，世界1和世界2)。
在一些实施例中，并且如图7中所示，用户1和2可以共享世界坐标系。这可以防止世界坐标系质量和系统噪声的微小变化产生对共同内容的不同视图。
例如，在图8A中，用户1和用户2在房间内，但是用户2更靠近左侧上的墙壁，并且结果，用户2朝向该墙壁附近的内容看去时，数据点较少地被收集并创建可靠的长期世界坐标系。相比之下，当用户1查看虚拟内容时，视线中会有可用来创建可靠的世界坐标系的更多对象。用户2可以利用用户1所创建的世界坐标系。结合美国专利申请序列号62/702829，“用于确定和/或评估头戴式图像显示设备的定位地图的方法和设备(Methods andApparatuses for Determining and/or Evaluating Localization Maps of Head-WornImage Display Devices)”，可以进一步实现地图质量分析和世界坐标系的适用性，其全部内容通过引用整体并入本文。
如果用户2移近墙壁，如图8B中所示，则用户2可能不再可见用户1的世界坐标系。用户2可能无法测量头部姿势，并且因此虚拟内容可能会开始随用户2的移动而浮动或偏移。相反，如图8C中所示，尽管世界可靠性较低，但可以创建新的世界2坐标系。
在一些实施例中，混合现实系统(例如，混合现实系统1212或1300)可以从服务器接收世界坐标系。例如，一个房间可能已经被先前的混合现实系统进行地图绘制，并且已建立的世界坐标系可以被上传到服务器。当新用户进入相同房间时，混合现实系统可以识别出该房间先前已被进行地图绘制，并从服务器接收适当的世界坐标系。混合现实系统可以使用位置跟踪(例如GPS坐标或Wi-Fi三角测量)和/或使用计算机视觉(例如识别房间中的特征，并将那些特征与先前地图绘制的房间的特征进行匹配)来识别房间。在一些实施例中，从服务器接收的世界坐标系可以比用户1或用户2所建立的世界坐标系更可靠。例如，对房间进行地图绘制的每个混合现实系统可以将附加信息上传到服务器，从而增加了存储在服务器中的累积世界坐标系的可靠性。在识别出房间具有先前建立的世界坐标系之后，混合现实系统或服务器可以确定多个世界坐标系中的哪一个更可靠，并且混合现实系统可以利用最可靠的世界坐标系。
图9A描绘了用于从头部坐标变换为显示单元的第一渲染相机协议。如图所示，用户的单只眼睛的瞳孔从位置A移动到位置B。对于显示虚拟对象的光学目镜，给定光焦度(optical power)，基于瞳孔位置(假定渲染相机被配置为将瞳孔用作坐标系)，旨在显现静态的虚拟对象可以在两个位置之一中以3D投影。换句话说，当用户的眼睛移动时，使用变换为头部坐标的瞳孔坐标可导致静态虚拟内容的抖动。这被称为视图相关的显示或投影系统。
在一些实施例中，如图9B中所示，例如在眼球旋转中心处定位了相机渲染框架，该框架包含所有瞳孔位置。无论瞳孔位置A和B如何，对象投影CR区域都可以保持一致。头部坐标可以变换为相机渲染框架，其称为视图不相关的显示或投影系统。在一些实施例中，图像扭曲被应用于虚拟内容以解决眼睛位置的变化，但是由于这仍然在相同位置处渲染，因此可以最小化抖动。
同步虚拟内容
在给定其中虚拟内容可以被共享的环境的情况下，如上所述的坐标系协议实现了进一步的实施例。
图10A示出显示给用户1和用户2二者的共享虚拟对象1102。用户1和用户2可以分别具有如在示例性x-y-z世界坐标系1100中相对于虚拟对象1102所测量的观看矢量1和2。在一些实施例中，可以在两个矢量之间测量角度差θA。尽管可以基于用户在世界坐标系中相对于虚拟内容的角位置，根据用户到虚拟内容1102来测量矢量1和2，但是θA可以是与坐标系无关的，因为它可以是矢量的比较而不是绝对测量。换句话说，如果用户1和用户2使用不同的世界坐标系，则仅在确定角度差θA时才需要在两个框架之间进行变换，但是θA本身并不取决于使用特定的世界坐标系。
为了增强所有观看者之间的共享交互，而不是将内容固定在本地坐标框架上的内容显示给所有观看者，在一些实施例中，可以基于与指定者用户的角度关系来进行呈现。
图10B示出用户1与用户2之间的同步视图，其中用户1可以被指定为“主管(director)”，其控制或主导(host)观看虚拟内容1102的视角，以控制观看虚拟内容1102的所有用户的视角。在用户1进行主管视图的时间tA处，虚拟内容可以以与用户1相同的视角显示给与用户1处于共享内容观看模式的所有用户。作为共享主管视图的观看者，用户2可以具有显示给用户2的虚拟内容1102-A，该虚拟内容可以是在时间tA旋转了角度差θA的虚拟对象1102。
在用户1在用户之间作为主管的状态的持续时间内，虚拟内容1102可以在时间tn处显示给多个用户，其中角度旋转θn反映了给定时间相应的观看用户与主管用户之间的角度差。
图11A-B进一步示出了这一点，因为处于主管模式的用户1在时间tB围绕虚拟对象1102移动，以与用户2具有角度差θB(如图11A中所示)。图11B示出新的角度旋转以向用户2显示虚拟内容1102-B。显示给用户2的用户1的角度变化的累积影响可以是：尽管用户2身体不动，虚拟内容1102也将显现为相对于用户2旋转。
在一些实施例中，主管视图可以仅是角度改变，并且主管到虚拟内容的相对距离将不影响观看用户如何将虚拟内容显示给他们。图11C示出场景，其中，用户1(主管)已经移动到与用户2具有角度差θB的位置，但是与图11A和11B中用户1的距离相比，到虚拟内容1102的距离也减小。在一些实施例中，这可以仅对用户2生成角度旋转，使得虚拟内容1102-B被显示为仅旋转。尽管虚拟内容可以作为缩放的虚拟内容1102-1显示给用户1，但用户2可能看不到1102-B的类似缩放版本。在一些实施例中，虚拟内容的显示可以相对于用户1相对于虚拟内容1102的本地坐标系的位置进行缩放，但是由于共享视角视图的该实施例考虑了角度差，所以此类距离缩放可能不显示给共享观看者。
图11D-11E示出该关系，该关系表明如何以用户1作为主管向用户1和用户2显示虚拟内容。图11D示出用户1的视野1104-1，通过该视野1104-1，可以根据作为角度和距离位置的函数二者的用户1相对于虚拟内容1102的位置来显示虚拟内容1102-1。图11E示出用户2的视野1104-2，通过该视野1104-2，可以根据用户2与用户1的角度差而不是用户2与虚拟内容1102的距离来显示虚拟内容1102-B。
在一些实施例中，可以从主导用户的视角排他地向一个或多个观看用户显示以同步观看模式所显示的虚拟内容。例如，主导用户(其可以是主管)可以选择虚拟内容以同步观看模式来显示。然后，一个或多个观看用户可以从主导用户的视角观看所选的虚拟内容。在一些实施例中，可以与观看用户的坐标系无关地来显示同步虚拟内容。例如，一个或多个观看用户可以在观看用户的视野的中心中观看同步虚拟内容。不管观看用户的坐标系如何所显示的同步虚拟内容都可以显示相对于观看用户的头部姿势和/或位置可能不是固定的虚拟内容。例如，观看用户可以在佩戴混合现实系统(其可以对应于混合现实系统1212或1300)时四处移动并朝不同的方向看，但是从主导用户的视角来看，可以继续向观看用户显示同步虚拟内容。
在一些实施例中，可以使用观看用户的一个或多个坐标系向一个或多个观看用户显示同步虚拟内容。例如，可以使用世界坐标系和本地坐标系向观看用户显示同步虚拟内容。虚拟内容的中心可以固定到本地坐标系中的坐标，该本地坐标系可以变换为世界坐标系(或其它坐标系)。尽管可以将虚拟内容的中心固定到坐标系，但是可以将同步虚拟内容的视角与主导用户的视角同步。例如，当主导用户在同步虚拟内容周围走动时，可以将同步虚拟内容显示为对于正在查看同步虚拟内容的观看用户正在旋转，使得观看用户与主导用户共享视角。在一些实施例中，随着主导用户从同步虚拟内容移近或移开，显示给观看用户的同步虚拟内容可以缩放以使得其大小对于观看用户和主导用户都看起来相同。在一些实施例中，随着主导用户从同步虚拟内容移近或移开，显示给观看用户的同步虚拟内容可能不缩放(例如，随着主导用户移近，显示给观看用户的同步虚拟内容在大小上没有显现更大)。如果观看用户改变了视角并且将视线从同步虚拟内容上移开，则同步虚拟内容可能不再显示给观看的用户，并且同步虚拟内容可能会在坐标系中的固定位置处居中。在一些实施例中，主导用户和观看用户可以共享坐标系(例如，世界坐标系和/或本地坐标系)以保持同步虚拟内容的放置的一致性。
在一些实施例中，主导用户可以操纵可以显示给观看用户的同步虚拟内容。例如，主导用户可以将同步虚拟内容的大小调整为更大或更小的大小。主导用户还可以旋转同步虚拟内容，而无需实际移动和偏移主导用户对同步虚拟内容的视角。主导用户还可以将同步虚拟内容重新定位到不同的位置，可以使用坐标系和/或变换矩阵来建立该位置。观看用户可以观看同步虚拟内容，而主导用户操纵同步虚拟内容，使得观看用户可以与主导用户保持同步虚拟内容的相同视角。在一些实施例中，主导用户可以是使用混合现实系统(例如，混合现实系统1212或1300)的用户。在其它实施例中，主导用户可以使用计算机或移动设备来操纵或观看同步虚拟内容，该计算机或移动设备可以具有2D屏幕。
在此描述了本发明的各种示例性实施例。在非限制性意义上参考这些示例。提供它们是为了说明本发明的更广泛适用的方面。在不脱离本发明的真实精神和范围的情况下，可以对所描述的本发明进行各种改变，并且可以替换等同物。另外，可以做出许多修改以使特定情况、材料、物质组成、过程、过程动作或步骤适应本发明的目的、精神或范围。此外，如本领域技术人员将理解的是，在此描述和示出的每个单独变体具有离散的组件和特征，其可以容易地与其它几个实施例中的任何一个的特征分离或组合，而不脱离本发明的范围或精神。所有此类修改旨在落入与本公开相关联的权利要求的范围内。
本发明包括可以使用主题设备来执行的方法。该方法可以包括提供此类合适设备的动作。此类提供可以由终端用户执行。换句话说，“提供”动作仅要求终端用户获得、访问、接近、定位、设置、激活、加电或者以其它方式运作以提供本主题方法中的必要设备。可以以逻辑上可能的所叙述事件的任何顺序以及所叙述事件的顺序来执行在此所叙述的方法。
上面已经阐述了本发明的示例性方面以及有关材料选择和制造的细节。至于本发明的其它细节，可以结合以上引用的专利和出版物以及本领域技术人员通常已知或理解的这些来理解。就本发明的基于方法的方面而言，就通常或逻辑上采用的附加动作而言，这同样适用。
另外，尽管已经参考可选地包含各种特征的几个示例描述了本发明，但是本发明不限于关于本发明的每个变型所描述或指示的内容。在不脱离本发明的真实精神和范围的情况下，可以对所描述的本发明进行各种改变，并且可以替换等同物(无论是在本文中引用还是为了简洁起见不包括在内)。另外，在提供值的范围的情况下，应理解，在该范围的上限和下限与该规定范围内的任何其它所述或中间值之间的每个中间值都包括在本发明内。
同样，可以预期，可以独立地或与在此描述的特征中的任何一个或多个相结合地阐述和要求保护所描述的发明变型的任何可选特征。提及单个项目，包括存在多个相同项目的可能性。更具体地，如在此和在其相关联的权利要求中所使用的，单数形式“一”、“一个”、“所述”和“该”包括复数指示物，除非另有具体说明。换句话说，冠词的使用允许以上描述以及与本公开相关联的权利要求中的主题项目的“至少一个”。还应注意，可以将此类权利要求草拟为排除任何可选要素。这样，该陈述旨在作为与权利要求要素的叙述相关联地使用诸如“只”、“仅”等排他性术语的先行基础，或使用“负”限制。
在不使用此类排他性术语的情况下，与本公开内容相关联的权利要求中的术语“包括”应允许包括任何附加要素，而不管这些权利要求中是否列举了给定数量的要素，或者特征的添加可以被认为是改变了此类权利要求中提出的要素的性质。除本文中明确定义外，在保持权利要求有效性的同时，在此使用的所有技术和科学术语应尽可能广泛地赋予通常理解的含义。
本发明的范围不限于所提供的示例和/或本说明书，而是仅限于与本公开相关的权利要求语言的范围。

Claims (20)

1.一种方法，包括：
确定虚拟对象在世界坐标系中的第一位置；
确定所述虚拟对象的第一视角视图，其中，所述第一视角视图至少部分地基于第一头戴式设备的视轴；
在第一时间，根据所述第一视角视图经由第二头戴式设备的显示器在所述世界坐标系中的所述第一位置处呈现所述虚拟对象；
接收指示所述第一视角视图的变化的输入；
确定所述虚拟对象的第二视角视图，其中：
所述第二视角视图至少部分地基于指示所述第一视角视图的所述变化的所述输入；以及
在比所述第一时间晚的第二时间，根据所述第二视角视图经由所述第二头戴式设备的所述显示器在所述世界坐标系中的所述第一位置处呈现所述虚拟对象，其中：
所述第一视角视图在所述第一时间不直接对应于所述第二头戴式设备的视轴，以及
所述第二视角视图在所述第二时间不直接对应于所述第二头戴式设备的视轴。
2.根据权利要求1所述的方法，其中，根据所述第一视角视图呈现所述虚拟对象包括以第一表观尺寸呈现所述虚拟对象，并且其中，根据所述第二视角视图呈现所述虚拟对象包括以与所述第一表观尺寸不同的第二表观尺寸呈现所述虚拟对象。
3.根据权利要求1所述的方法，其中，根据所述第一视角视图在所述第一时间呈现所述虚拟对象包括以第一表观尺寸呈现所述虚拟对象，并且其中，根据所述第二视角视图在所述第二时间呈现所述虚拟对象包括以所述第一表观尺寸呈现所述虚拟对象。
4.根据权利要求3所述的方法，其中，在所述第一时间从所述第一头戴式设备到所述虚拟对象的距离是第一距离，并且在所述第二时间从所述第一头戴式设备到所述虚拟对象的距离是与所述第一距离不同的第二距离。
5.根据权利要求1所述的方法，其中，所述第一视角视图包括所述虚拟对象的在所述第一时间相对于所述第二头戴式设备被遮挡的一部分的视图。
6.根据权利要求1所述的方法，其中，所述输入包括所述第一头戴式设备的所述视轴的变化。
7.根据权利要求1所述的方法，其中，所述输入包括所述虚拟对象相对于所述世界坐标系的操纵。
8.一种系统，包括：
一个或多个处理器，其与第一头戴式设备通信并且进一步与第二头戴式设备通信，所述一个或多个处理器被配置为执行一种方法，所述方法包括：
确定虚拟对象在世界坐标系中的第一位置；
确定所述虚拟对象的第一视角视图，其中，所述第一视角视图至少部分地基于所述第一头戴式设备的视轴；
在第一时间，根据所述第一视角视图经由所述第二头戴式设备的显示器在所述世界坐标系中的所述第一位置处呈现所述虚拟对象；
接收指示所述第一视角视图的变化的输入；
确定所述虚拟对象的第二视角视图，其中，所述第二视角视图至少部分地基于指示所述第一视角视图的所述变化的所述输入；以及
在比所述第一时间晚的第二时间，根据所述第二视角视图经由所述第二头戴式设备的所述显示器在所述世界坐标系中的所述第一位置处呈现所述虚拟对象，
其中：
所述第一视角视图在所述第一时间不直接对应于所述第二头戴式设备的视轴，以及
所述第二视角视图在所述第二时间不直接对应于所述第二头戴式设备的视轴。
9.根据权利要求8所述的系统，其中，根据所述第一视角视图呈现所述虚拟对象包括以第一表观尺寸呈现所述虚拟对象，并且其中，根据所述第二视角视图呈现所述虚拟对象包括以与所述第一表观尺寸不同的第二表观尺寸呈现所述虚拟对象。
10.根据权利要求8所述的系统，其中，根据所述第一视角视图在所述第一时间呈现所述虚拟对象包括以第一表观尺寸呈现所述虚拟对象，并且其中，根据所述第二视角视图在所述第二时间呈现所述虚拟对象包括以所述第一表观尺寸呈现所述虚拟对象。
11.根据权利要求10所述的系统，其中，在所述第一时间从所述第一头戴式设备到所述虚拟对象的距离是第一距离，并且在所述第二时间从所述第一头戴式设备到所述虚拟对象的距离是与所述第一距离不同的第二距离。
12.根据权利要求8所述的系统，其中，所述第一视角视图包括所述虚拟对象的在所述第一时间相对于所述第二头戴式设备被遮挡的一部分的视图。
13.根据权利要求8所述的系统，其中，所述输入包括所述第一头戴式设备的所述视轴的变化。
14.根据权利要求8所述的系统，其中，所述输入包括所述虚拟对象相对于所述世界坐标系的操纵。
15.一种存储指令的非暂时性计算机可读介质，当所述指令由一个或多个处理器执行时使所述一个或多个处理器执行一种方法，所述方法包括：
确定虚拟对象在世界坐标系中的第一位置；
确定所述虚拟对象的第一视角视图，其中，所述第一视角视图至少部分地基于第一头戴式设备的视轴；
在第一时间，根据所述第一视角视图经由第二头戴式设备的显示器在所述世界坐标系中的所述第一位置处呈现所述虚拟对象；
接收指示所述第一视角视图的变化的输入；
确定所述虚拟对象的第二视角视图，其中，所述第二视角视图至少部分地基于指示所述第一视角视图的所述变化的所述输入；以及
在比所述第一时间晚的第二时间，根据所述第二视角视图经由所述第二头戴式设备的所述显示器在所述世界坐标系中的所述第一位置处呈现所述虚拟对象，
其中：
所述第一视角视图在所述第一时间不直接对应于所述第二头戴式设备的视轴，以及
所述第二视角视图在所述第二时间不直接对应于所述第二头戴式设备的视轴。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，根据所述第一视角视图在所述第一时间呈现所述虚拟对象包括以第一表观尺寸呈现所述虚拟对象，并且其中，根据所述第二视角视图在所述第二时间呈现所述虚拟对象包括以所述第一表观尺寸呈现所述虚拟对象。
17.根据权利要求16所述的非暂时性计算机可读介质，其中，在所述第一时间从所述第一头戴式设备到所述虚拟对象的距离是第一距离，并且在所述第二时间从所述第一头戴式设备到所述虚拟对象的距离是与所述第一距离不同的第二距离。
18.根据权利要求15所述的非暂时性计算机可读介质，其中，所述第一视角视图包括所述虚拟对象的在所述第一时间相对于所述第二头戴式设备被遮挡的一部分的视图。
19.根据权利要求15所述的非暂时性计算机可读介质，其中，所述输入包括所述第一头戴式设备的所述视轴的变化。
20.根据权利要求15所述的非暂时性计算机可读介质，其中，所述输入包括所述虚拟对象相对于所述世界坐标系的操纵。
CN202311134786.1A 2018-09-25 2019-09-25 用于增强现实的系统和方法 Pending CN117572954A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862736432P 2018-09-25 2018-09-25
US62/736,432 2018-09-25
CN201980073915.6A CN113168007B (zh) 2018-09-25 2019-09-25 用于增强现实的系统和方法
PCT/US2019/052992 WO2020069006A1 (en) 2018-09-25 2019-09-25 Systems and methods for augmented reality

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980073915.6A Division CN113168007B (zh) 2018-09-25 2019-09-25 用于增强现实的系统和方法

Publications (1)

Publication Number Publication Date
CN117572954A true CN117572954A (zh) 2024-02-20

Family

ID=69884956

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311134786.1A Pending CN117572954A (zh) 2018-09-25 2019-09-25 用于增强现实的系统和方法
CN201980073915.6A Active CN113168007B (zh) 2018-09-25 2019-09-25 用于增强现实的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980073915.6A Active CN113168007B (zh) 2018-09-25 2019-09-25 用于增强现实的系统和方法

Country Status (5)

Country Link
US (4) US11094127B2 (zh)
EP (1) EP3857291A4 (zh)
JP (3) JP7316360B2 (zh)
CN (2) CN117572954A (zh)
WO (1) WO2020069006A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893692A (zh) * 2024-03-12 2024-04-16 之江实验室 一种基于对称视图的三维重建方法、装置及存储介质

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117572954A (zh) 2018-09-25 2024-02-20 奇跃公司 用于增强现实的系统和方法
CN111523474B (zh) * 2020-04-23 2023-09-26 维沃移动通信有限公司 目标对象追踪方法及电子设备
GB2596588B (en) * 2020-07-03 2022-10-26 Sony Interactive Entertainment Inc Data processing apparatus and method
US11176756B1 (en) 2020-09-16 2021-11-16 Meta View, Inc. Augmented reality collaboration system
US11756225B2 (en) * 2020-09-16 2023-09-12 Campfire 3D, Inc. Augmented reality collaboration system with physical device
US10952006B1 (en) 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof
US11076128B1 (en) 2020-10-20 2021-07-27 Katmai Tech Holdings LLC Determining video stream quality based on relative position in a virtual space, and applications thereof
US11457178B2 (en) 2020-10-20 2022-09-27 Katmai Tech Inc. Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof
US11070768B1 (en) 2020-10-20 2021-07-20 Katmai Tech Holdings LLC Volume areas in a three-dimensional virtual conference space, and applications thereof
US10979672B1 (en) 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
US11095857B1 (en) 2020-10-20 2021-08-17 Katmai Tech Holdings LLC Presenter mode in a three-dimensional virtual conference space, and applications thereof
CN112308981A (zh) * 2020-11-09 2021-02-02 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
US11743430B2 (en) 2021-05-06 2023-08-29 Katmai Tech Inc. Providing awareness of who can hear audio in a virtual conference, and applications thereof
US11184362B1 (en) 2021-05-06 2021-11-23 Katmai Tech Holdings LLC Securing private audio in a virtual conference, and applications thereof
CN114116110A (zh) * 2021-07-20 2022-03-01 上海诺司纬光电仪器有限公司 基于增强现实的智能界面
USD1029076S1 (en) 2022-03-10 2024-05-28 Campfire 3D, Inc. Augmented reality pack
USD1014499S1 (en) 2022-03-10 2024-02-13 Campfire 3D, Inc. Augmented reality headset
USD1024198S1 (en) 2022-03-10 2024-04-23 Campfire 3D, Inc. Augmented reality console
US11876630B1 (en) 2022-07-20 2024-01-16 Katmai Tech Inc. Architecture to control zones
US12022235B2 (en) 2022-07-20 2024-06-25 Katmai Tech Inc. Using zones in a three-dimensional virtual environment for limiting audio and video
US12009938B2 (en) 2022-07-20 2024-06-11 Katmai Tech Inc. Access control in zones
US11651108B1 (en) 2022-07-20 2023-05-16 Katmai Tech Inc. Time access control in virtual environment application
US11928774B2 (en) 2022-07-20 2024-03-12 Katmai Tech Inc. Multi-screen presentation in a virtual videoconferencing environment
US11700354B1 (en) 2022-07-21 2023-07-11 Katmai Tech Inc. Resituating avatars in a virtual environment
US11741664B1 (en) 2022-07-21 2023-08-29 Katmai Tech Inc. Resituating virtual cameras and avatars in a virtual environment
US11562531B1 (en) 2022-07-28 2023-01-24 Katmai Tech Inc. Cascading shadow maps in areas of a three-dimensional environment
WO2024026245A2 (en) * 2022-07-28 2024-02-01 Katmai Tech Inc. Static rendering for a combination of background and foreground objects
US11682164B1 (en) 2022-07-28 2023-06-20 Katmai Tech Inc. Sampling shadow maps at an offset
US11704864B1 (en) * 2022-07-28 2023-07-18 Katmai Tech Inc. Static rendering for a combination of background and foreground objects
US11593989B1 (en) 2022-07-28 2023-02-28 Katmai Tech Inc. Efficient shadows for alpha-mapped models
US11711494B1 (en) 2022-07-28 2023-07-25 Katmai Tech Inc. Automatic instancing for efficient rendering of three-dimensional virtual environment
US11776203B1 (en) 2022-07-28 2023-10-03 Katmai Tech Inc. Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars
US11956571B2 (en) 2022-07-28 2024-04-09 Katmai Tech Inc. Scene freezing and unfreezing
US20240073402A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Multi-perspective augmented reality experience
US11748939B1 (en) 2022-09-13 2023-09-05 Katmai Tech Inc. Selecting a point to navigate video avatars in a three-dimensional environment
US20240127548A1 (en) * 2022-10-17 2024-04-18 T-Mobile Usa, Inc. Generating mixed reality content based on data from a wireless device
CN117170504B (zh) * 2023-11-01 2024-01-19 南京维赛客网络科技有限公司 在虚拟人物交互场景中带人观看的方法、系统及存储介质

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6491391B1 (en) 1999-07-02 2002-12-10 E-Vision Llc System, apparatus, and method for reducing birefringence
US7084887B1 (en) * 1999-06-11 2006-08-01 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
JP2001022958A (ja) 1999-07-06 2001-01-26 Nippon Telegr & Teleph Corp <Ntt> 仮想空間システムにおけるオブジェクト表示方法およびオブジェクト表示プログラムを記録した記録媒体
CA2316473A1 (en) 1999-07-28 2001-01-28 Steve Mann Covert headworn information display or data display or viewfinder
CA2362895A1 (en) 2001-06-26 2002-12-26 Steve Mann Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license
DE10132872B4 (de) 2001-07-06 2018-10-11 Volkswagen Ag Kopfmontiertes optisches Durchsichtssystem
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
CA2388766A1 (en) 2002-06-17 2003-12-17 Steve Mann Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7500747B2 (en) 2003-10-09 2009-03-10 Ipventure, Inc. Eyeglasses with electrical components
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
RU2395228C2 (ru) 2004-04-01 2010-07-27 Уилльям С. ТОРЧ Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения
JP4738870B2 (ja) 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US20080211771A1 (en) * 2007-03-02 2008-09-04 Naturalpoint, Inc. Approach for Merging Scaled Input of Movable Objects to Control Presentation of Aspects of a Shared Virtual Environment
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
WO2012042974A1 (ja) * 2010-09-30 2012-04-05 富士フイルム株式会社 情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラム
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
JP5776201B2 (ja) * 2011-02-10 2015-09-09 ソニー株式会社 情報処理装置、情報共有方法、プログラム及び端末装置
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
US8836771B2 (en) * 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20130077147A1 (en) 2011-09-22 2013-03-28 Los Alamos National Security, Llc Method for producing a partially coherent beam with fast pattern update rates
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US20130194304A1 (en) * 2012-02-01 2013-08-01 Stephen Latta Coordinate-system sharing for augmented reality
US9274338B2 (en) 2012-03-21 2016-03-01 Microsoft Technology Licensing, Llc Increasing field of view of reflective waveguide
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US10629003B2 (en) 2013-03-11 2020-04-21 Magic Leap, Inc. System and method for augmented and virtual reality
US10025379B2 (en) 2012-12-06 2018-07-17 Google Llc Eye tracking wearable devices and methods for use
WO2014106823A2 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
US9685003B2 (en) * 2013-06-03 2017-06-20 Microsoft Technology Licensing, Llc Mixed reality data collaboration
US10955665B2 (en) * 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
JP2016071900A (ja) 2014-09-30 2016-05-09 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
WO2016164342A1 (en) * 2015-04-06 2016-10-13 Scope Technologies Us Inc. Methods and apparatus for augmented reality applications
US9977493B2 (en) * 2015-06-17 2018-05-22 Microsoft Technology Licensing, Llc Hybrid display system
US10112111B2 (en) * 2016-03-18 2018-10-30 Sony Interactive Entertainment Inc. Spectator view perspectives in VR environments
US10099122B2 (en) * 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
US10657701B2 (en) * 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
JP6400879B2 (ja) 2016-07-15 2018-10-03 ナーブ株式会社 画像表示装置及び画像表示システム
US10482665B2 (en) * 2016-12-16 2019-11-19 Microsoft Technology Licensing, Llc Synching and desyncing a shared view in a multiuser scenario
US10685489B2 (en) * 2017-03-02 2020-06-16 Daqri, Llc System and method for authoring and sharing content in augmented reality
JP6509938B2 (ja) * 2017-05-02 2019-05-08 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム
US10403047B1 (en) * 2018-03-01 2019-09-03 Dell Products L.P. Information handling system augmented reality through a virtual object anchor
US20200021668A1 (en) * 2018-07-13 2020-01-16 Merge Labs, Inc. Dynamic augmented reality collaboration system using a trackable three-dimensional object
WO2020015611A1 (zh) * 2018-07-20 2020-01-23 广东虚拟现实科技有限公司 虚拟内容的交互显示方法、终端设备及存储介质
US11182614B2 (en) 2018-07-24 2021-11-23 Magic Leap, Inc. Methods and apparatuses for determining and/or evaluating localizing maps of image display devices
US10832481B2 (en) * 2018-08-21 2020-11-10 Disney Enterprises, Inc. Multi-screen interactions in virtual and augmented reality
CN117572954A (zh) 2018-09-25 2024-02-20 奇跃公司 用于增强现实的系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117893692A (zh) * 2024-03-12 2024-04-16 之江实验室 一种基于对称视图的三维重建方法、装置及存储介质
CN117893692B (zh) * 2024-03-12 2024-05-28 之江实验室 一种基于对称视图的三维重建方法、装置及存储介质

Also Published As

Publication number Publication date
JP2024042018A (ja) 2024-03-27
US11651565B2 (en) 2023-05-16
JP7445720B2 (ja) 2024-03-07
JP2022502800A (ja) 2022-01-11
JP7316360B2 (ja) 2023-07-27
EP3857291A4 (en) 2021-11-24
CN113168007A (zh) 2021-07-23
US20220005282A1 (en) 2022-01-06
CN113168007B (zh) 2023-09-15
WO2020069006A1 (en) 2020-04-02
US20230162454A1 (en) 2023-05-25
US11928784B2 (en) 2024-03-12
JP2022168029A (ja) 2022-11-04
US20240177428A1 (en) 2024-05-30
US20200098191A1 (en) 2020-03-26
US11094127B2 (en) 2021-08-17
EP3857291A1 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
CN113168007B (zh) 用于增强现实的系统和方法
US10643394B2 (en) Augmented reality
US9122321B2 (en) Collaboration environment using see through displays
US11861803B2 (en) Session manager
US20180199039A1 (en) Reprojecting Holographic Video to Enhance Streaming Bandwidth/Quality
CN115516364B (zh) 工具桥
JP2023513250A (ja) 仮想コンテンツの動的併置
JP2022534799A (ja) 空間コンピューティングのための写実的キャラクタ構成
US11961194B2 (en) Non-uniform stereo rendering
CN118276683A (zh) 工具桥

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination