CN109661687B - 固定距离虚拟和增强现实系统及方法 - Google Patents

固定距离虚拟和增强现实系统及方法 Download PDF

Info

Publication number
CN109661687B
CN109661687B CN201780054387.0A CN201780054387A CN109661687B CN 109661687 B CN109661687 B CN 109661687B CN 201780054387 A CN201780054387 A CN 201780054387A CN 109661687 B CN109661687 B CN 109661687B
Authority
CN
China
Prior art keywords
user
value
fixed distance
head
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780054387.0A
Other languages
English (en)
Other versions
CN109661687A (zh
Inventor
S·A·米勒
W·H·韦尔奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202311439457.8A priority Critical patent/CN117741956A/zh
Publication of CN109661687A publication Critical patent/CN109661687A/zh
Application granted granted Critical
Publication of CN109661687B publication Critical patent/CN109661687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/085—Payment architectures involving remote charge determination or related payment systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/204—Point-of-sale [POS] network systems comprising interface for record bearing medium or carrier for electronic funds transfer or payment credit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G02B2027/0125—Field-of-view increase by wavefront division
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • Marketing (AREA)
  • Processing Or Creating Images (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Position Input By Displaying (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种固定距离显示系统包括光源，该光源被配置为生成光束。该系统还包括光导光学元件，该光导光学元件被配置为通过全内反射传播光束的至少一部分。该系统进一步包括第一惯性测量单元，该第一惯性测量单元被配置为测量用于计算用户的头部姿势的第一值。另外，该系统包括相机，该相机被配置为捕获用于机器视觉光流分析的图像。该显示系统被配置为仅在单个预定光学平面的容差范围内显示虚拟图像。

Description

固定距离虚拟和增强现实系统及方法
相关申请的交叉引用
本申请主张2016年8月2日提交的代理案卷号为ML.30040.00的，名称为“FIXED-DISTANCE VIRTUAL AND AUGMENTED REALITY SYSTEMS AND METHODS(固定距离虚拟和增强现实系统及方法)”的美国临时申请62/370,117的优先权益。本申请涉及2016年2月29日提交的代理案卷号为ML.30059.00的，名称为“VIRTUAL AND AUGMENTED REALISTY SYSTEMSAND METHODS(虚拟和增强现实系统及方法)”的共同拥有的美国临时申请62/301,502，以及2016年5月4日提交的代卷理案号为ML.20058.00的，名称为“SEPARATED PUPIL OPTICALSYSTEMS FOR VIRTUAL AND AUGMENTED REALITY AND METHODS FOR DISPLAYING IMAGESUSING SAME(用于虚拟和增强现实的分离式瞳孔光学系统以及使用该系统显示图像的方法)”的共同拥有的美国专利申请公开15/146,296。上述专利申请的全部内容就像完整阐述的一样在此明确、完整地引用作为参考。
背景技术
现代计算和显示技术促进了虚拟现实(“VR”)、增强现实(“AR”)和混合现实(“MR”)系统的发展，其中，数字再现的图像或其部分以他们看起来是真实的或可被感知为真实的方式呈现给用户。虚拟现实“VR”场景通常涉及以对其它实际的真实世界视觉输入不透明的方式呈现数字或虚拟图像信息；增强现实“AR”场景通常涉及将数字或虚拟图像信息的呈现作为对用户周围的现实世界的可视化的增强。混合现实“MR”系统还将仿真对象引入真实世界环境中，但是这些对象通常在AR系统中以具有更高交互等级为特征。仿真元素通常可以实时交互。因此，AR和MR场景涉及以对其它实际的真实世界视觉输入至少部分透明的方式呈现数字或虚拟图像信息。人类视觉感知系统极为复杂，产生促进以舒适、感觉自然、丰富的方式将虚拟图像元素在其它虚拟或真实世界图像元素当中进行呈现的VR/AR/MR技术是具有挑战性的。
大脑的视觉中心从双眼及其组件相对于彼此的运动中获得有价值的感知信息。两只眼睛相对于彼此的聚散度运动(即，瞳孔朝向或远离彼此的转动运动以使眼睛的视线会聚以固定在不同距离处的对象上)与眼睛晶状体的聚焦(或“调节”)密切相关。在正常情况下，根据被称为“调节-聚散度反射”的关系，改变眼睛晶状体的焦点或调节眼睛以聚焦在不同距离处的对象上将自动引起到同一距离的聚散度匹配变化。同样，在正常情况下，聚散度的变化将引发调节的匹配变化。与大多数常规的立体VR/AR/MR配置一样，违反这种反射起作用已知会引起用户的眼疲劳、头痛或其它形式的不适。
立体可穿戴眼镜通常以用于左眼和右眼的两个显示器为特征，这些显示器被配置为显示具有略微不同的元素呈现的图像，使得人类视觉系统感知到三维透视。已经发现这样的配置对于许多用户来说是不舒服的，因为聚散度与调节之间的不匹配(“聚散度-调节冲突”)，必须克服这种情况以便感知三维中的图像。实际上，一些用户无法忍受立体配置。这些限制适用于VR/AR/MR系统。因此，大多数常规的VR/AR/MR系统并不最适合于以对用户来说舒适且最适用的方式呈现丰富的双目三维体验，部分原因是现有系统未能解决人类感知系统的一些基本方面，包括聚散度-调节冲突。
全VR/AR/MR系统还必须能够在相对于用户的各种感知位置和距离处显示虚拟数字内容。VR/AR/MR系统的设计也带来了许多其它挑战，包括系统传送虚拟数字内容的速度、虚拟数字内容的质量、用户的良视距(eye relief)(解决聚散度-调节冲突)、系统的尺寸和便携性，以及其它系统和光学挑战。
解决这些问题(包括聚散度-调节冲突)的一种可能方法是在多个深度平面上投射图像。为了实现这种类型的系统，一种方法是使用大量光学元件(例如，光源、棱镜、光栅、滤波器、扫描光学元件、分束器、反射镜、半反射镜、遮光器、目镜等)以在足够大量(例如，六个)的深度平面处投射图像。这种方法的问题在于以这种方式使用大量组件必然需要比所需更大的形状因子，并且限制了可缩小系统尺寸的程度。这些系统中的大量光学元件也导致更长的光路，通过更长的光路会使光和光中包含的信息退化。这些设计问题导致系统笨重且耗电。这里描述的系统和方法被配置为通过呈现固定距离混合现实光学系统来解决这些挑战。
发明内容
在一个实施例中，一种固定距离显示系统包括光源，该光源被配置为生成光束。该系统还包括光导光学元件，其被配置为通过全内反射传播光束的至少一部分。该系统进一步包括第一惯性测量单元，该第一惯性测量单元被配置为测量用于计算用户的头部姿势的第一值。此外，该系统包括相机，该相机被配置为捕获用于机器视觉光流分析的图像。该显示系统被配置为仅在单个预定光学平面的容差范围内显示虚拟图像。
在一个或多个实施例中，第一惯性测量单元可以被设置为邻近用户的头部。该系统还可以包括第二惯性测量单元，该第二惯性测量单元被配置为测量用于计算用户的头部姿势的第二值。第二惯性测量单元可以被设置为邻近用户的头部。该系统还可以包括第三惯性测量单元，该第三惯性测量单元被配置为测量用于计算用户的身体姿势的第三值。第三惯性测量单元可以被设置为邻近所述用户的腰部。第一惯性测量单元、第二惯性测量单元、第三惯性测量单元和相机可以被配置为将固定距离显示系统的视场与用户的身体位置进行匹配。
在一个或多个实施例中，容差范围在单个预定光学平面的0.2屈光度到0.6屈光度内。该显示系统可以被配置为显示三维虚拟图像。该显示系统可以被配置为显示具有不超过0.2屈光度到0.6屈光度的尺寸的三维虚拟图像。
在另一实施例中，一种显示方法包括测量与头部姿势相关的第一值。该方法还包括基于第一值计算用户的头部姿势。该方法进一步包括捕获图像。此外，该方法包括基于图像执行机器视觉光流分析。另外，该方法包括生成光束。该方法还包括通过全内反射传播光束的至少一部分。该方法进一步包括仅在单个预定光学平面的容差范围内显示虚拟图像。
在一个或多个实施例中，该方法还包括测量与头部姿势相关的第二值。该方法可以进一步包括根据第一值和第二值计算用户的头部姿势。此外，该方法可以包括测量与身体姿势相关的第三值。另外，该方法可以包括根据第三值计算用户的身体姿势。该方法还可以包括分析第一值、第二值、第三值和图像以将用户的视野与用户的身体位置进行匹配。
在一个或多个实施例中，容差范围在单个预定光学平面的0.2屈光度到0.6屈光度内。该方法还可以包括显示三维虚拟图像。所显示的三维虚拟图像可以具有不超过0.2屈光度到0.6屈光度的尺寸。
在又一实施例中，一种在非暂时性计算机可读介质中体现的计算机程序的产品，该计算机可读介质上存储有指令序列，当由处理器执行时，该指令序列使该处理器执行用于显示的方法，该方法包括生成光束。该方法还包括通过全内反射传播光束的至少一部分。该方法进一步包括测量与头部姿势相关的第一值。此外，该方法包括基于第一值计算用户的头部姿势。另外，该方法包括捕获图像。该方法还包括基于图像执行机器视觉光流分析。该方法进一步包括仅在单个预定光学平面的容差范围内显示虚拟图像。
在再一实施例中，一种以身体为中心的显示方法包括测量与头部姿势相关的第一值。该方法还包括基于第一值计算用户的头部姿势。该方法进一步包括测量与身体姿势相关的第二值。此外，该方法包括根据第二值计算用户的身体姿势。另外，该方法包括生成虚拟图像，该虚拟图像被配置为基于头部姿势和身体姿势仅在单个预定光学平面的容差范围内显示。该方法还包括仅在所述单个预定光学平面的容差范围内显示虚拟图像。
附图说明
附图示出了本发明的各种实施例的设计和实用性。应该注意，附图未按比例绘制，并且贯穿所有附图，具有相似结构或功能的元件由相同的参考标号表示。为了更好地理解如何获得本发明的各种实施例的上述和其它优点和目标，将通过参考本发明的具体实施例来呈现上面简要描述的本发明的更详细的说明。应理解，这些附图仅示出了本发明的典型实施例，因此不应认为是对其范围的限制，将通过使用附图，借助附加特征和细节来描述和解释本发明，其中：
图1是示出了多平面聚焦完整光学系统的焦平面的图；
图2是示出了根据一个实施例的单平面聚焦固定距离光学系统的焦平面的图；
图3和图4是根据两个实施例的单平面聚焦固定距离光学系统的用户的各个视野的示意图；
图5是根据一个实施例的光学系统的详细示意图；
图6是根据一个实施例的光学系统的光导光学元件的详细示意图；
图7是根据一个实施例的光学系统的光导光学元件的详细透视图；
图8A至图8D和图9A至图9D是根据各个实施例的增强现实/用户识别系统的示意图；
图10是多平面聚焦完整增强现实系统的详细示意图；
图11和图12是根据两个实施例的单平面聚焦固定距离增强现实系统的详细示意图；
图13示出了根据一个实施例的单平面聚焦固定距离增强现实系统的用户的视野；
图14示出了根据图13所示的实施例的单平面聚焦固定距离增强现实系统在用户的头部相对于用户的身体转动之后的用户的视野；
图15和图16是示出了根据两个实施例的用于按照以身体为中心的方式向单平面聚焦固定距离增强现实系统的用户显示虚拟对象的方法的流程图。
具体实施方式
本发明的各种实施例涉及用于在单个实施例或多个实施例中实现固定距离混合现实光学系统的系统、方法和制品。在具体实施方式、附图和权利要求中描述了本发明的其它目标、特征和优点。
现在将参考附图详细描述各种实施例，提供附图是作为本发明的说明性示例，以使得本领域技术人员能够实践本发明。值得注意的是，下面的附图和示例并不意味着限制本发明的范围。在使用已知组件(或方法或过程)可以部分或完全地实现本发明的某些元件的情况下，将仅描述这些已知组件(或方法或过程)中理解本发明所必需的那些部分，并且省略对这些已知组件(或方法或过程)的其它部分的详细描述，以免模糊本发明。此外，各种实施例包含本文中通过说明的方式提及的组件的当前和未来获知的等同物。
光学系统可以独立于AR/MR系统来实现，但是下面出于说明的目的仅描述了关于AR/MR系统的许多实施例。
问题和解决方案的概述
用于在各种深度处生成虚拟图像的一种类型的光学系统包括许多光学组件(例如，光源、棱镜、光栅、滤波器、扫描光学元件、分束器、反射镜、半反射镜、遮光器、目镜等)，当3D体验/场景的质量(例如，成像平面的数量)和图像的质量(例如，图像颜色的数量)增加时，这些光学组件的数量增加，从而增加VR/AR/MR系统的复杂性、尺寸和成本。随着3D场景/图像质量增加而增加的光学系统尺寸限制了VR/AR/MR系统的最小尺寸，导致光学效率降低的繁琐系统。
以下公开内容描述了通过提供具有更少组件效率增加的光学系统，使用解决问题的用于每只眼睛的单平面聚焦光学元件在单个预定距离周围形成3D感知的系统和方法的各种实施例。特别地，这里描述的系统利用最小的光学系统组件集来提供光学系统，以便针对混合现实场景在距用户的预定距离处显示虚拟对象。该光学系统设计通过将这些系统的功能限制为在预定距离处显示虚拟对象来简化和缩减VR/AR/MR系统的尺寸。
完整增强现实系统
在描述固定距离混合现实光学系统的实施例的细节之前，本公开现将提供相关的完整AR/MR系统的简要描述，这些系统被配置为呈现完整AR场景，其中虚拟对象显示在沿用户光轴的多个位置处(例如，从无限远到邻近用户)。混合现实光学系统(完整距离和/或固定距离)可以独立于AR/MR系统来实现，但是下面出于说明性目的仅描述了关于AR/MR系统的许多系统。各种增强现实显示系统已在2014年11月27日提交的，代理案号为ML-30011-US的，名称为“VIRTUAL AND AUGMENTED REALITY SYSTEMS AND METHODS(虚拟和增强现实系统和方法)”的共同拥有的美国实用新型专利申请14/555,585中进行了讨论，该申请的内容就像完整阐述地一样通过引用特此明确、完整地并入此文。
实现完整AR/MR系统的一种可能方法是针对用户的每只眼睛，使用内嵌深度平面信息的多个体相位全息图、表面浮雕全息图或光导光学元件(“LOE”)来生成看起来来自各个深度平面的图像。换言之，衍射图案或衍射光学元件(“DOE”)可以嵌入LOE内或压印在LOE上，使得准直光(具有基本平面波前的光束)沿着LOE基本上全内反射，它在多个位置处与衍射图案相交并且至少部分地朝着用户眼睛出射。DOE被配置为使得通过其从LOE出射的光发生会聚，使得它们看起来源自特定的深度平面。可以使用光学聚光透镜(“聚光器”)生成准直光。
例如，第一LOE可以被配置为将准直光传送到眼睛，该准直光看起来源自光学无限远深度平面(0屈光度)。另一LOE可以被配置为传送看起来源自2米距离(1/2屈光度)的准直光。又一LOE可以被配置为传送看起来源自1米距离(1屈光度)的准直光。通过使用堆叠的LOE组件，可以理解，可以形成多个深度平面，其中，每个LOE被配置为显示看起来源自特定深度平面的图像。应该理解，该堆叠可以包括任何数量的LOE。然而，需要至少N个堆叠的LOE来生成N个深度平面。此外，可以使用N、2N或3N个堆叠的LOE在N个深度平面上生成RGB彩色图像。
为了将完整的3D AR场景中的虚拟内容呈现给用户，完整的AR/MR系统将虚拟内容的图像投射到用户的眼睛中，使得这些图像看起来源自Z方向(即，正交地远离用户的眼睛)的各个深度平面。换言之，虚拟内容不仅可以在X和Y方向上(即，在与用户眼睛的中心视轴正交的8D平面中)改变，而且也可以看起来在Z方向上改变，使得用户可以感知到对象非常靠近或处于无限远距离或位于它们之间的任何距离处。在完整的AR/MR系统中，用户可以同时感知到不同深度平面处的多个对象。例如，用户可以看到虚拟龙看起来从无限远处奔向用户。或者，用户可以同时看到距用户3米距离处的虚拟鸟和距用户一臂长(约1米)处的虚拟咖啡杯。
多平面聚焦完整AR/MR系统通过在多个深度平面中的一些或全部上投射图像以形成可变深度感知，该多个深度平面在Z方向上距用户眼睛的各个固定距离处。现在参考图1，应当理解，多平面聚焦完整AR/MR系统通常在固定深度平面202(例如，图1所示的六个深度平面202)处显示帧。一个示例性多平面聚焦完整AR/MR系统在Z方向上具有六个固定深度平面202。当在六个深度平面202中的一个或多个深度平面处生成虚拟内容时，形成3D感知，使得用户感知到在距用户眼睛不同距离处的一个或多个虚拟对象。假定人眼对距离更近的对象比看起来较远的对象更敏感，因此生成更多个距眼睛更近的深度平面202，如图1所示。在其它系统中，深度平面202可以被放置在距离彼此相等距离处。
通常以屈光度来测量深度平面位置202，屈光度是光焦度单位，其等于以米为单位测量的焦距的倒数。例如，在一个系统中，深度平面1可以是1/3屈光度远，深度平面2可以是0.3屈光度远，深度平面3可以是0.2屈光度远，深度平面4可以是0.15屈光度远，深度平面5可以是0.1屈光度远，深度平面6可以表示无限远(即，0屈光度远)。应当理解，其它系统可以在其它距离/屈光度处生成深度平面202。因此，在策略性放置的深度平面202处生成虚拟内容时，用户能够感知三维虚拟对象。例如，用户可以将在深度平面1中显示的第一虚拟对象感知为靠近他，而另一虚拟对象看起来在无限远处的深度平面6。或者，虚拟对象可以首先在深度平面6处显示，然后在深度平面5处显示，依此类推，直到虚拟对象看起来非常靠近用户。应该理解，出于说明的目的，上述示例被明显简化。在另一系统中，所有六个深度平面可以被集中在远离用户的特定焦距上。例如，如果要显示的虚拟内容是距离用户半米的咖啡杯，则可以在咖啡杯的各个横截面处生成所有六个深度平面，给用户高度粒化的3D咖啡杯视图。
在一个系统中，完整AR/MR系统可以用作多平面聚焦系统。换言之，可以同时照射所有六个LOE，从而快速连续地生成看起来源自六个固定深度平面的图像，其中，光源将图像信息快速传递到LOE 1，然后是LOE 2，然后是LOE 3，以此类推。例如，可以在时间1处注入所需图像的一部分，该部分包括光学无限远处的天空的图像，并且可以利用保持光准直的LOE1090(例如，图1中的深度平面6)。然后，可以在时间2处注入更近的树枝的图像，并且可以利用被配置为形成看起来源自10米远的深度平面(例如，图1中的深度平面5)的图像的LOE 1090；然后，可以在时间3处注入钢笔图像，并且可以利用被配置为生成看起来源自1米远的深度平面的图像的LOE 1090。此类范例可以以极快时序(例如，以360Hz)的方式重复，使得用户的眼睛和大脑(例如，视觉皮层)将输入感知为同一图像的全部部分。
需要完整AR/MR系统来投射图像(即，通过发散或会聚光束)，这些图像看起来源自沿Z轴的各个位置(即，深度平面)以生成用于完整3D体验的图像。如在本申请中使用的，“光束”包括但不限于从光源辐射的光能(包括可见光和不可见光能)的定向投射。生成看起来源自各个深度平面的图像遵循用户眼睛针对该图像的聚散度和调节，或者与之同步，并最小化或消除聚散度-调节冲突。
投射看起来源自各个深度平面的图像的完整AR场景功能要求对完整AR/MR系统施以最小的复杂性、尺寸和成本进行限制。这里描述的固定距离AR/MR系统通过缩减系统的功能来避免这些限制。
固定距离增强现实系统
固定距离AR/MR系统被配置为接近/邻近(即，在约0.2屈光度到约0.6屈光度内)在Z方向上距离用户的单个预定距离(即，“深度平面”)显示虚拟对象，以用于部分AR体验/场景。现在参考图2，应当理解，单平面聚焦固定距离AR/MR系统通常在一个固定深度平面202处显示帧。固定距离AR/MR系统的用户的视觉效果是向用户呈现所显示图像的虚拟圆顶，该圆顶在用户前面或以用户为中心。圆顶206在图3中表示为2D弧，其中，所显示图像的虚拟圆顶206在用户前面。虽然用户可以具有约50°的固定左到右视野(“FOV”)208，但是由于头部转动，有效L/R FOV将是大约180°，如图3中“以身体为中心”的系(如下所述)所示。另外，用户的FOV可以通过向上或向下的头部移动来覆盖整个圆顶206。因此，固定距离AR/MR系统可以在围绕用户204的整个圆顶206上向用户呈现图像信息。固定的用户可以自由地进行身体和头部转动的另一实施例中，有效FOV可以是整个球体209，如图4所示。虽然图3和图4表示由固定距离AR/MR系统以2D的方式呈现的图像的圆顶206和球体209，但应该理解，圆顶206和球体209是三维表面。
对于每只眼睛，可以利用内嵌深度平面信息的单体积相位全息图、表面浮雕全息图或光导光学元件(“LOE”)来实现固定距离AR/MR系统，以生成看起来源自预定深度平面的容差范围(例如，在约0.2屈光度到约0.6屈光度内)的图像。固定距离AR/MR系统可以通过使用立体技术生成3D效果(即，对于每只眼睛，在预定距离的容差范围内的Z方向上的稍微不同的距离处显示的相应图像)。
虽然人类视觉系统在聚散度方面非常准确，但是在出现与聚散度-调节反射相关的问题之前，它对调节(即，聚焦)差异具有一定容忍度。虽然特定于特定用户，但是调节的容差/不确定性通常发生在相对于聚散度的约0.2屈光度到约0.6屈光度之间。因此，本文公开的固定距离AR/MR系统利用人类视觉系统对调节差异的容忍度，在Z方向上的单个预定距离附近显示3D对象，特别是在超出用户臂长的范围内。
因为屈光度是距用户眼睛的距离的倒数(参见图1)，所以，调节容差/不确定性在屈光度方面是恒定的，在线性距离方面是变化的。为了说明的目的，在距用户1.00m(＝1.0屈光度)的第一距离处，增加0.2屈光度(典型容差的下限)将导致0.83m的第二距离，变化了-17cm。类似地，相反方向上的0.2屈光度对应于1.25m的距离，对于0.83m到1.25m的总范围，如果在1.00m处显示，则在0.2屈光度的调节容差内观察内容(换言之，对于在1.00m处显示内容的固定距离AR/MR系统42cm范围处于0.2屈光度的容差内，)。
另一方面，对于距用户0.50m(＝2.0屈光度)的第一距离，增加0.6屈光度将导致0.38m的第二距离，变化了-12cm。从距离0.50m的第一距离移动对应的0.6屈光度导致0.71m的距离，变化了21cm，或者对于要在0.5m处显示内容的固定AR/MR系统，总范围为33cm处于0.6屈光度内。与具有0.2屈光度容差的1.00m固定距离AR/MR系统的42cm范围相比，使容差三倍增加到0.6(屈光度容差的另一极值)实际上减小了更近的0.5m第一距离系统的内容投射范围。因此，具有更精确(即更低)调节容差的固定距离系统将具有用于在距离用户更远的固定距离处显示内容的更大功能范围。
如果仅在内容出现在距用户的预定光学位置的某些范围内(优选地在较大距离处，以最大化不同用户之间的容差范围)时才允许显示/呈现这些内容，则在单个光学平面周围采用本发明的容差范围的固定距离AR/MR系统可以极大地简化功能。类似地，在一些实施例中，如果确定固定距离AR/MR系统的预定光学平面的位置的光焦度是已知的，或者确定用户的特定优选容差，则某些内容可以被配置为仅出现在特定范围内。
表1示出了根据一些实施例允许在屈光度容差内显示内容的相对于预定光学平面的范围，其中该预定光学平面位于距用户的固定距离处。表1示出了在不考虑屈光度容差的情况下针对近用户光学平面(与允许内容显示的更大范围的更远光学平面相反)显示内容的紧密范围(参见0.5m预定光学平面距离)。
表1
在一些实施例中，固定距离AR/MR系统的容差范围可以设置呈现域，使得不出现在范围内的内容将不会呈现出并因此节省电池寿命，或者内容可以专门被编程为出现在距用户一定距离内，以便保持在预定光学平面的容差范围内。
在一些实施例中，用户可以通过功能(即，选择实际上仅需要在某些距离内呈现内容的固定距离AR实施例，例如虚拟计算机屏幕)或通过规定(即，当超过某些屈光度容差时，识别出用户感到不适)来选择容差。这种选择类似于针对特定设置选择定制和简化的AR设备，而不是旨在服务于所有用例的更复杂的AR/MR系统。
图5示出了用于在单个深度平面上投射图像的固定距离光学系统100的一部分。系统100包括光源120和LOE 190，LOE 190具有衍射光学元件(未示出)和与之相关联的耦入光栅192(“ICG”)。衍射光学元件可以是任何类型，包括体积或表面浮雕。在一个实施例中，ICG192可以是LOE 190的反射式镀铝部分。在另一实施例中，ICG 192可以是LOE 190的透射型衍射部分。当系统100在使用时，来自光源120的“虚拟”光束210经由ICG 192进入LOE 190，并且通过基本全内反射(“TIR”)沿着LOE 190传播，以向用户的眼睛显示。光束210是“虚拟的”，因为它按照系统100的指示对不存在的“虚拟”对象或其部分的图像进行编码。可以理解，尽管图5中仅示出了一个光束210，但是编码图像的多个光束可以通过同一ICG 192从宽角度范围进入LOE 190。进入角度范围与针对系统100可实现的FOV相关。光束“进入”或被“准入”LOE包括但不限于光束与LOE相互作用以便通过基本TIR沿LOE传播。图5所示的系统100可以包括各种光源120(例如，LED、OLED、激光器和掩蔽的宽区域/宽带发射器)。在其它实施例中，来自光源120的光也可以经由光缆(未示出)传送到LOE 190。
如图6所示，固定距离光学系统100中的LOE 190的一部分可以用作出射光瞳扩展器196(“EPE”)以增加光源120在Y方向上的数值孔径，从而增加系统100的分辨率。由于光源120产生小直径/光斑大小的光，因此EPE 196扩展了从LOE 190出射的光的光瞳的表观尺寸，以增加系统分辨率。除了EPE 196之外，系统100可以进一步包括正交光瞳扩展器194(“OPE”)，以同时在X(OPE)和Y(EPE)方向上扩展光。有关EPE196和OPE 194的更多细节在上面引用的序列号为14/555,585的美国实用新型专利申请中进行描述，其内容先前已经通过应用并入。
图6示出了具有ICG 192、OPE 194和EPE 196的LOE 190。图6通过俯视图示出了LOE190，该俯视图类似于来自用户眼睛的视图。ICG 192、OPE 194和EPE 196可以是任何类型的DOE，包括体积或表面浮雕。ICG 192是DOE(例如，线性光栅)，其被配置为允许来自光源120的虚拟光束210通过TIR传播。在图6所示的系统100中，光源120被设置在LOE 190侧面。
OPE 194是在横向平面(即，垂直于光路)倾斜的DOE(例如，线性光栅)，使得通过系统100传播的虚拟光束210横向偏转90度。OPE 194也是部分透明的并且沿光路部分地反射，使得光束210部分地传播通过OPE 194以形成多个(例如，11个)小光束210'。在所示出系统100中，光路沿X轴，并且OPE 194被配置为将小光束210'弯曲到Y轴。
EPE 196是在Z平面(即，垂直于X和Y方向)倾斜的DOE(例如，线性光栅)，使得通过系统100传播的小光束210'在Z平面上偏转90度，朝向用户眼睛。EPE 196也是部分透明的并且沿光路(Y轴)部分地反射，使得小光束210'部分地传播通过EPE 196以形成多个(例如，七个)小光束210'。为清楚起见，仅标记选择光束210和小光束210'。
OPE 194和EPE 196也都沿Z轴至少部分透明，以允许真实世界的光(例如，真实世界对象的反射光)在Z方向上传播通过OPE 194和EPE 196以到达用户眼睛。对于AR/MR系统100，ICG 192沿Z轴至少部分透明，同样沿Z轴至少部分透明，以允许真实世界的光进入。
图7示出了另一固定距离光学系统100，其包括具有ICG 192、OPE 194和EPE 196的LOE 190。系统100还包括光源120，其被配置为经由ICG 192将虚拟光束210导入LOE 190中。光束210被OPE 194和EPE 196分成小光束210'，如上面参考图6所述。此外，当小光束210'通过EPE 196传播时，它们也经由EPE 196朝向用户眼睛从LOE 190出射。在图7所示的系统100中，光源120被设置为与LOE 190正交。为清楚起见，仅标记选择光束210和小光束210'。固定距离混合现实光学系统可以独立于AR/MR系统实现，但是本文仅出于说明的目的描述了关于AR/MR系统的许多系统。
现在参考图8A至图8D，其中示出了一些常规AR/MR系统组件选项。如图8A所示，头戴式设备用户60被示出为穿戴框架64结构，框架64与位于用户60眼前的显示系统62耦接。以下描述了常规AR/MR系统的可能的组件。所描述的组件不是实现固定距离AR/MR系统所必需的。
虽然不是实现固定距离AR/MR系统所必需的，但是扬声器66可以以所示的配置耦合到框架64并且被定位在用户60的耳道附近。在替代实施例中，另一扬声器(未示出)被定位在用户60的另一耳道附近，以提供立体/可塑形的声音控制。在一个或多个实施例中，固定距离AR/MR系统可以具有显示器62，其诸如可以通过有线引线或无线连接可操作地耦接到本地处理和数据模块70，本地处理和数据模块70可以通过多种配置安装，诸如固定地附接到框架64，固定地附接到图8B所示的实施例中示出的头盔或帽子80，嵌入耳机中，以图8C的实施例所示的背包式配置可拆卸地附接到用户60的躯干82，或者以图8D的实施例所示的腰带耦接配置可拆卸地附接到用户60的髋部84。
本地处理和数据模块70可以包括节省功率的处理器或控制器，以及数字存储器，诸如闪存，两者都可以被用于辅助数据的处理、缓存和存储。可以从可以可操作地耦接到框架64的传感器处捕获数据，诸如图像捕获设备(诸如相机)和惯性测量单元(包括加速度计和陀螺仪)。并非实现固定距离AR/MR系统所必需的可选传感器包括指南针、麦克风、GPS单元和无线设备。可替换地或附加地，可以使用远程处理模块72和/或远程数据存储库74来获取和/或处理数据，这些数据可以在进行这样的处理或检索之后被传送到显示器62。本地处理和数据模块70可以诸如经由有线或无线通信链路可操作地将76、78耦接到远程处理模块72和远程数据存储库74，使得这些远程模块72、74可操作地彼此耦接，并且可以作为资源用于本地处理和数据模块70。
在一个实施例中，远程处理模块72可以包括一个或多个相对强大的处理器或控制器，其被配置为分析和处理数据和/或图像信息。在一个实施例中，远程数据存储库74可以包括相对大规模的数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其它网络配置获得。在一个实施例中，在本地处理和数据模块中存储所有数据并且执行所有计算，从而允许来自任何远程模块的完全自主的使用。
在一个或多个实施例中，类似于图8A至8D中所示的头戴式固定距离AR/MR系统可被用于在距用户预定距离的容差范围内向用户显示虚拟图像。应当理解，虽然下面描述的多个实施例可以在头戴式系统中实现，但是其它实施例也可以在固定设备中实现。出于说明的目的，本公开将主要重点说明头戴式固定距离AR/MR系统，但是应当理解，相同的原理也可以被应用于非头戴式和非AR实施例。
在一个或多个实施例中，固定距离AR/MR系统通常适合于特定用户的头部，并且光学组件与用户的眼睛对准。可以使用这些配置步骤以确保向用户提供最佳增强现实体验，而不会引起任何生理副作用，诸如头痛、恶心、不适等。因此，在一个或多个实施例中，为每个单独的用户配置(在物理或数字方面)用户穿戴固定距离AR/MR系统，并且可以专门针对该用户校准一组程序。在其它场景中，各种用户可以舒适地使用宽松佩戴的AR设备。例如，在一些实施例中，用户穿戴固定距离AR/MR系统知道用户眼睛之间的距离、头戴式显示器与用户眼睛之间的距离，以及用户前额的曲率。所有这些测量可被用于提供针对给定用户定制的头戴式固定距离AR/MR系统。在其它实施例中，这些测量可能不是执行AR显示功能所必需的。
例如，参考图9A至图9D，可以为每个用户定制固定距离AR/MR系统。在一个或多个实施例中，如图9A所示，可以在安装头戴式用户穿戴的用户识别系统时考虑用户的头部形状402。类似地，如图9B所示，眼睛组件404(例如，光学器件、光学器件的结构等)可以进行水平和垂直旋转或调节以实现用户舒适度，或者进行旋转来实现用户舒适度。在一个或多个实施例中，如图9C所示，可以基于用户头部的结构调整头部装置相对于用户头部的旋转点。类似地，如图9D所示，可以补偿瞳孔间距(IPD)(即，用户眼睛之间的距离)。
现在参考图10，将描述示例性完整AR/MR系统的各种组件。应当理解，固定距离AR/MR系统具有比完整AR/MR系统更少的组件。然而，描述示例性完整AR/MR系统将说明固定距离AR/MR系统的组件的互连和功能。图10提供了AR/MR系统或AR设备的各种组件的基本理念。为了说明的目的，图10在右侧框图中示出了头戴式AR/MR系统62的简化版本。
参考图10，其中示出了合适的用户显示设备62的一个实施例，其包括显示镜头106，显示镜头106可以通过壳体或框架108安装到用户头部或眼睛。用户显示设备62是完整的AR/MR系统，其被配置为执行各种功能，包括向用户显示在距用户的各个距离处出现的3D虚拟对象。显示透镜106可以包括一个或多个透明的反射镜，该反射镜通过壳体84定位在用户眼睛20的前方，被配置为将投射的光38反射到眼睛20中并且便于光束成型，同时还允许透射来自本地环境的至少一些光。在所示出的实施例中，两个宽视场机器视觉相机16被耦接到壳体108以对用户周围的环境进行成像；在一个实施例中，这些相机16是双摄可见光/红外光相机。所示出的系统还包括一对扫描激光成型波前(即，用于深度)光投射器模块18(例如，诸如DLP、光纤扫描装置(FSD)、LCD等的空间光调制器)，如图所示，光投射器模块具有被配置为将光38投射到眼睛20中的显示镜和光学器件。
虽然不是实现固定距离AR/MR系统所必需的，但所示出的完整AR/MR系统还包括与红外光源26(诸如，发光二极管或“LED”)配对的两个微型红外相机24，这两个红外相机被配置为跟踪用户的眼睛20以支持呈现和用户输入。这些红外相机24还被配置为连续地和动态地捕获用户眼睛的图像，尤其是可被用于用户识别的眼睛虹膜。
该系统还以传感器组件39为特征，该传感器组件可包括X、Y和Z轴加速度计功能以及磁罗盘，以及X、Y和Z轴陀螺仪功能，它们优选地以相对高的频率(诸如，200Hz)提供数据。示例性传感器组件39是惯性测量单元(“IMU”)。所示的系统62还包括头部姿势处理器36(“图像姿势处理器”)，诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)和/或ARM处理器(高级精简指令集机器)，其可以被配置为根据从捕获设备16输出的宽视场图像信息计算实时或近实时的用户头部姿势。将头部姿势处理器36可操作地耦接(90、92、94；例如，经由有线或无线连接)到相机16和渲染引擎34。
还示出了另一处理器32(“传感器姿势处理器”)，其被配置为执行数字和/或模拟处理以根据传感器组件39中的陀螺仪、指南针和/或加速度计数据导出姿势。所示的系统还以GPS(全球定位系统)子系统37为特征以辅助姿势和定位。另外，GPS还可以提供有关用户位置的基于云的信息。该信息可被用于用户识别目的。例如，如果用户识别算法可以将检测到的用户特征缩小到两个潜在用户身份，则可以使用用户的当前和历史位置数据来消除潜在用户身份中的一个。
最后，所示的系统包括渲染引擎34，其可以运行软件程序的硬件为特征，该软件程序被配置为提供用户本地渲染信息以便于扫描仪的操作以及成像到用户的眼睛中，以便用户观看世界。渲染引擎34可操作地将94、100、102、104、105(即，经由有线或无线连接)耦接到图像姿势处理器36、可选的眼睛跟踪相机24、投影子系统18和传感器姿势处理器32，从而使用扫描激光装置18以类似于视网膜扫描显示的方式投射渲染光38。投射光束38的波前可以被弯曲或聚焦以与投射光38的期望焦距一致。
可选的微型红外眼睛跟踪相机24可被用于跟踪眼睛以支持渲染和用户输入(例如，用户正看的地方、他正聚焦的深度等)。如下所述，可以使用眼睛边缘来估计用户聚焦的深度。GPS 37以及传感器组件39中的陀螺仪、指南针和加速度计可被用于提供粗略和/或快速姿势估计。相机16图像和传感器姿势信息结合来自相关云计算资源的数据可被用于绘制本地世界并与虚拟或增强现实社区和/或用户识别系统共享用户视图。
虽然图10中以之为特征的显示系统62中的大部分硬件被示出为直接耦接到与显示器106和用户的眼睛20相邻的壳体108，但是所示的硬件组件可以被安装到或容纳在其它组件中，例如腰带安装组件，如图8D所示。
在一个完整AR/MR系统中，除了图像姿势处理器36、传感器姿势处理器32和渲染引擎34之外，图10以之为特征的系统62的所有组件都直接耦接到显示器壳体108，并且后三者与系统62的其余组件之间的通信可以是无线通信(诸如超宽带)或有线通信。所示的壳体108优选地为头戴式壳体并且可由用户穿戴。它还可以以扬声器为特征，诸如可以插入用户耳朵并被用于向用户提供声音的扬声器。
已经描述了图10所示的完整AR/MR系统62的常规组件，现在将参考图11描述固定距离AR/MR系统300。固定距离AR/MR系统300包括一对光导光学元件302-1、302-r，其被配置为接收来自各个光源(未示出)的光并将所接收的光分别导入用户的左眼和右眼。来自光源的光可以由相应的空间光调制器(未示出)调制，以包括与3D虚拟对象对应的图像数据。例如，指向左右LOE 302-1、302-r的光可以用图像数据进行，该图像数据与来自两个略微不同的视点的同一3D虚拟对象对应。这些视点与针对用户的左眼和右眼进行校准的左右LOE302-1、302-r的位置对应。因此，通过左右LOE 302-1、302-r传送的光使用立体技术为用户生成3D虚拟对象的图像。
固定距离AR/MR系统300被配置为生成3D虚拟对象的图像，这些图像看起来接近相对于用户的固定距离，即，LOE 302-1、302-r的聚散度的点。如上所述，人类视觉系统具有约0.2屈光度到约0.6屈光度的调节容差/不确定性。因为固定距离AR/MR系统300被配置为聚焦于固定距离的容差范围内的3D虚拟对象的图像，因此，该系统可以显示3D虚拟对象的图像且没有显著的调节和聚散度问题。
虽然光源和空间光调制器被描述为单独的组件，但空间光调制器可以是相应光源的一部分。在另一实施例中，单个光源和单个空间光调制器(无论是分开的还是组合的)可以以时序的方式为左右LOE 302-1、302-r两者提供调制光束。只要以每LOE至少约60帧/秒的速率提供光束(例如，对于单个光源实施例，每秒120帧)，固定距离AR/MR系统300就可以呈现以最小运动伪影平滑移动的3D虚拟对象。
为此，固定距离AR/MR系统300还包括可操作地耦接到系统300的其它组件以协调那些组件的控制器304。例如，控制器304可以包括3D渲染引擎，用于为左右LOE 302-1、302-r生成图像数据，左右LOE 302-1、302-r被配置为呈现3D虚拟对象并将该数据发送到相应光源和空间光调制器。在单个光源/空间光调制器实施例中，当单个光源/空间光调制器用为左LOE 302-l配置的图像数据编码的光时，控制器304可以激活左LOE 302-1并且停用右LOE302-r。这将使左右LOE 302-1、302-r之间的串扰和与之相关的伪像最小化。控制器304可以是头戴式固定距离AR/MR系统300中的处理器。在其它实施例中，控制器304可以是移动计算机(例如，蜂窝电话)中的处理器或处理器上的一部分，该部分无线连接到固定距离AR/MR系统300的其它组件。
固定距离AR/MR系统300还包括左右IMU 306-1、306-r，其被配置为提供数据以确定头戴式固定距离AR/MR系统300的用户/穿戴者的头部姿势。虽然单个IMU能够提供确定用户头部姿势的数据，但是两个IMU 306-1、306-r提供了附加数据，这改善了头部姿势的确定。在一个实施例中，一旦校准左右IMU 306-1、306-r中的陀螺仪，系统300就能够跟踪用户的头部和眼眶所指的方向。虽然所示的固定距离AR/MR系统300的实施例不包括眼睛跟踪相机和IR灯，但是左右IMU 306-1、306-r提供了使用头部姿势实际估计用户正观看的方向。
此外，固定距离AR/MR系统300包括面向外部的图像捕获设备308(例如，相机)以捕获接近用户视野的图像。图像捕获设备将所捕获的图像数据发送到控制器304，控制器304执行机器视觉光流以校正由系统300和耦接到系统300的头戴部分的图像捕获设备308的移动引起的漂移。图像捕获设备308可以是可见光和/或红外光相机，例如CCD相机。
固定距离AR/MR系统300使用左右LOE 302-1、302-r、控制器304、左右IMU 306-1、306-r，以及图像捕获设备308可以在用户的视野中生成和呈现虚拟对象的3D图像，使得用户可以观看3D图像且没有显著的调节和聚散度问题。左右LOE 302-1、302-r分别将图像投射到左眼和右眼中。控制器304呈现图像(以为用户生成3D图像)。左右IMU 306-1、306-r提供控制器304用于确定用户头部姿势的数据。图像捕获设备308提供用于校正系统300中的漂移的图像数据。控制器304使用由左右IMU 306-1、306-r和图像捕获设备308提供的数据来基于用户的头部姿势和系统漂移为用户的左右眼呈现适当的图像。
在图12所示的另一实施例中，固定距离AR/MR系统300还包括左右LOE 302-1、302-r、控制器304、左右IMU 306-1、306-r和图像捕获设备308。这些组件可操作地耦接并且如上面针对图11所示的固定距离AR/MR系统300中的相同组件所述地起作用。此外，图12所示的固定距离AR/MR系统300包括第三或“身体”IMU 306-b，其被固定到用户的身体(例如，附接到用户的腰带)上。在其它实施例中，身体IMU 306-b被固定到用户的蜂窝电话上或作为蜂窝电话的一部分，但是身体IMU 306-b仅在电话固定到用户的腰带(例如，在固定器中)时才活跃。身体IMU 306-b被配置为提供确定固定距离AR/MR系统300的用户的身体姿势的数据。一旦校准了身体IMU 306-b中的陀螺仪，系统300就能够跟踪用户身体所指的方向。
控制器304使用来自身体IMU 306-b的数据以生成“以身体为中心”的固定距离AR场景。例如，控制器304可以在用户FOV 500中且在距用户固定距离处生成用户界面506，如图13所示。不同于“以头部为中心”的AR场景(只是随着用户头部运动而移动的真实世界场景顶部的叠加)，以身体为中心的固定距离AR场景将用户界面506“固定”在相对于用户身体的固定距离和固定点处，并且在用户的头部朝着用户界面506的不同部分转动时才移到该不同部分。这是通过控制器304将来自身体IMU 306-b的数据与来自左右IMU 306-1、306-r的数据进行比较以确定相对于身体姿势的头部姿势来实现的。
示例性虚拟对象(用户界面)
图13示出了穿戴诸如图12所示的头戴式固定距离AR/MR系统300的用户的FOV500。用户可以在FOV 500中看到真实的物理建筑物502和真实的灌木丛504。用户还可以在FOV 500中看到由固定距离AR/MR系统300生成和呈现的用户界面506。用户界面506具有足够的不透明度以允许用户看到用户界面506后面的树504。通过用虚线示出用户界面506来说明该不透明度。用户界面506包括六个用户界面对象508-1到508-6。由于用户眼睛的限制，FOV 500限制在左侧510-l和右侧510-r。受限的FOV 500约为50°。
图14示出了在用户的头部相对于用户的身体向左转过约25°之后，穿戴同一头戴式固定距离AR/MR系统300的同一用户的另一FOV 500'。建筑物502和树木504已经移动到FOV的右侧510-r。实际上，建筑物502的右半部分已经移出FOV 500'。因为头戴式固定距离AR/MR系统300被配置为生成并呈现以身体为中心的用户界面506，所以在转动他们的头部之后，用户可以看到用户界面506的不同部分。例如，用户界面对象508-a、508-b和508-c在图14所示的FOV 500'中对用户可见，但在图13所示的FOV 500中对用户不可见。同时，用户界面对象508-4、508-5和508-6在图14所示的FOV 500'中对用户不可见，但是它们在图13所示的FOV 500中对用户可见。这种左右扫描的能力允许实现比接近50°的人眼FOV更大的总有效FOV。总有效FOV的增加不限于左右方向，还包括上下方向，从而形成头戴式固定距离AR/MR系统300可在其上呈现虚拟图像的圆顶206(参见图3)。虽然图13和图14示出了2D用户界面506，但应注意，虚拟图像可以是上述立体呈现的3D图像。
上述固定距离AR/MR系统300可以在最小化系统300的复杂性、尺寸和成本的情况下，执行按照以身体为中心的方式显示虚拟对象的功能。光学系统组件的这种经济使用可以导致AR/MR系统(和其它光学系统)更容易制造，使用更舒适，并且对于一般消费者/用户来说更便宜。
以身体为中心的虚拟对象显示
已经描述了固定距离AR/MR系统300的若干实施例，现在将讨论一种按照以身体为中心的方式向固体距离AR/MR系统300的用户显示虚拟对象(例如，如图14中的用户界面506)的方法600。如图15所示，该方法在步骤602从测量与头部姿势相关的第一值开始。例如，固定距离AR/MR系统300中的左IMU 306-1(参见图14)可以测量指示头部姿势的陀螺仪数据。
在步骤604，根据第一值计算头部姿势。例如，固定距离AR/MR系统300中的控制器304可以根据所测量的陀螺仪数据来计算头部姿势。
在步骤606，测量与身体姿势相关的第二值。例如，固定距离AR/MR系统300中的身体IMU 306-b(参见图14)可以测量指示身体姿势的陀螺仪数据。
在步骤608，根据第二值计算身体姿势。例如，固定距离AR/MR系统300中的控制器304可以根据所测量的陀螺仪数据来计算身体姿势。
在步骤610，基于头部姿势和身体姿势生成被配置为在单个预定光学平面的容差范围内显示的虚拟图像。例如，固定距离AR/MR系统300中的控制器304的3D渲染引擎可以呈现虚拟图像，该虚拟图像被配置为基于相对于用户身体姿势的用户头部姿势在用户的FOV中显示。3D渲染引擎可以改变基于相对于用户身体姿势的用户头部姿势生成的虚拟图像(比较图13和图14)。虚拟图像可以是图13和图14所示的用户界面506的一部分。虚拟图像可以是3D图像的一部分(例如，被配置为在同时显示给用户的左眼和右眼时呈现3D图像的图像对中的左图像)。
在步骤612，在单个预定光学平面的容差范围内显示所生成的虚拟图像。如上所述，“邻近”单个预定光学平面显示虚拟图像包括但不限于在单个预定光学平面的约0.2屈光度至约0.6屈光度内显示虚拟图像。例如，固定距离AR/MR系统300中的光源、空间光调制器和左LOE 302-1(参见图14)可以将所生成的虚拟图像显示给用户。可以选择单个预定光学平面，使得用户左眼的聚散度(基于由左LOE 302-1发射的光的角度)对应于单个预定光学平面的容差范围内的虚拟图像的焦点。这种对应最小化或消除了与聚散度-调节冲突相关的问题。
图19示出了按照以身体为中心的方式向固定距离AR/MR系统300的用户显示虚拟对象(例如，如图14中的用户界面506)的另一方法600'。步骤602、604、606、608和612与图18所示的方法600中的对应步骤相同。
图19所示的方法600'不同于图18所示的方法600，因为在可选步骤614，捕获图像。例如，固定距离AR/MR系统300中的图像采集设备308(参见图14)可以捕获接近用户的FOV的图像。
在可选步骤616，基于所捕获的图像执行机器视觉光流分析。光流分析校正由系统运动导致的漂移。例如，固定距离AR/MR系统300中的控制器304可以基于所捕获的图像执行机器视觉光流分析。
在步骤610，基于头部姿势、身体姿势和机器视觉光流分析的结果，生成被配置为在单个预定光学平面的容差范围内显示的虚拟图像。例如，固定距离AR/MR系统300中的控制器304的3D渲染引擎可以呈现虚拟图像，该虚拟图像被配置为基于头部姿势、身体姿势和机器视觉光流分析的结果在用户的FOV中显示。3D渲染引擎可以改变基于相对于用户身体姿势的用户头部姿势生成的虚拟图像(比较图13和图14)。在渲染虚拟图像时包括机器视觉光流分析的结果校正系统漂移并导致更准确地渲染的虚拟图像。虚拟图像可以是图13和图14所示的用户界面506的一部分。虚拟图像可以是3D图像的一部分(例如，被配置为在同时显示给用户的左眼和右眼时呈现3D图像的图像对中的左图像)。
提供上述固定距离AR/MR系统作为可以从降低的复杂性、尺寸和成本中受益的各种常见系统的示例。因此，本文描述的固定距离光学系统的使用不限于所公开的固定距离AR/MR系统，而是适用于任何光学系统。
本文描述了本发明的各种示例性实施例。以非限制性的意义引用这些实施例。提供它们是为了说明本发明的更广泛适用的方面。在不脱离本发明的真实精神和范围的情况下，可以对所描述的本发明进行各种改变，并且可以替换等同物。此外，可以进行许多修改以使特定情况、材料、物质组成、过程、一个或多个过程动作或步骤适应本发明的一个或多个目的、精神或范围。此外，如本领域技术人员将理解的，本文描述和示出的每个单独的变型具有分立的部件和特征，其可以容易地与任何其它若干实施例的特征分离或组合，而不脱离本发明的范围或精神。所有这些修改旨在落入与本公开相关联的权利要求的范围内。
本发明包括可以使用主题设备执行的方法。该方法可以包括提供这种合适设备的行为。这种提供可以由终端用户执行。换言之，“提供”动作仅需要该终端用户获得、访问、接近、定位、设置、激活、加电或执行其它动作以在主题方法中提供必需的设备。本文所述的方法可以以在逻辑上可能的所述事件的任何顺序进行，也可以以所述的事件顺序进行。
以上已经阐述了本发明的示例性方面以及关于材料选择和制造的细节。有关本发明的其它细节，可以结合上述专利和公开以及本领域技术人员通常公知或理解的方式理解这些细节。就通常或逻辑上采用的附加动作而言，对于本发明基于方法的方面也是如此。
另外，尽管已经参考任选地结合各种特征的若干示例描述了本发明，但是本发明不限于关于本发明的每个变型所描述或指示的那些内容。可以在不脱离本发明的精神和范围的情况下，对所描述的本发明进行各种改变，并且可以替换等同物(无论是在本文中引用还是为了简洁起见而未包括)。另外，在提供一系列值的情况下，应理解的是，该范围的上限和下限之间的每个中间值，以及所述范围内的任何其它所述值或中间值都包含在本发明内。
而且，可以构想，所描述的发明变型的任何可选特征可以独立地，或者与本文描述的任何一个或多个特征组合地进行阐述或被要求保护。对单数项的引用包括存在多个相同项的可能性。更具体地说，如本文和与此相关联的权利要求中所使用的，单数形式“一”、“一个”、“所述”和“该”包括复数个指示物，除非另有具体说明。换言之，冠词的使用允许上述说明书以及与本公开相关联的权利要求中具有“至少一个”主题项。还应注意，可以起草这样的权利要求以排除任何可选元素。因此，本声明旨在作为结合权利要求元素的叙述使用诸如“单独”、“仅”之类的排他性术语或使用“否定”限制的先行基础。
在不使用这种排他性术语的情况下，与本公开相关联的权利要求中的术语“包括”应允许包括任何附加元素，不论在这样的权利要求中是否列举给定数量的元素，还是添加特征可以被视为改变这些权利要求中阐述的元素的性质。除非本文中具体定义，否则本文使用的所有技术和科学术语在保持权利要求有效性的同时尽可能广泛地被赋予通常理解的含义。
本发明的广度不限于所提供的示例和/或主题说明书，而是仅由与本公开相关联的权利要求语言的范围限制。
在前述说明书中，已经参考本发明的具体实施例对其进行了描述。然而，显而易见的是，在不脱离本发明的更广泛的精神和范围的情况下，可以对其进行各种修改和改变。例如，参考过程动作的特定顺序来描述上述过程流程。然而，可以改变许多所描述的过程动作的顺序而不影响本发明的范围或操作。因此，说明书和附图应被视为说明性的而非限制性的。

Claims (21)

1.一种固定距离显示系统，包括：
光源，其被配置为生成光束；
光导光学元件，其被配置为通过全内反射传播所述光束的至少一部分；
第一惯性测量单元，其被配置为测量用于计算用户的头部姿势的第一值；
第三惯性测量单元，其被配置为测量用于计算所述用户的身体姿势的第三值；以及
相机，其被配置为捕获用于机器视觉光流分析的图像，
其中，基于所述用户的所述头部姿势、所述用户的所述身体姿势、以及所述机器视觉光流分析的结果，生成以身体为中心的虚拟用户界面；
其中，所述固定距离显示系统被配置为：
以相对于所述用户的身体的固定距离和固定位置在所述用户的视野中显示所述以身体为中心的虚拟用户界面；
基于相对于所述用户的所述身体姿势的所述用户的所述头部姿势，在所述用户的所述视野中显示所述以身体为中心的虚拟用户界面，使得在所述用户的头部相对于所述用户的身体移动时，所述以身体为中心的虚拟用户界面在所述用户的所述视野中移动；以及
其中，所述固定距离显示系统被配置为在距所述用户的眼睛的与0.2屈光度相对应的第一距离与距所述用户的所述眼睛的与0.6屈光度相对应的第二距离之间的距离处显示三维虚拟图像。
2.根据权利要求1所述的系统，其中，所述第一惯性测量单元被设置为邻近所述用户的头部。
3.根据权利要求2所述的系统，进一步包括第二惯性测量单元，所述第二惯性测量单元被配置为测量用于计算所述用户的所述头部姿势的第二值。
4.根据权利要求3所述的系统，其中，所述第二惯性测量单元被设置为邻近所述用户的头部。
5.根据权利要求4所述的系统，其中，所述第三惯性测量单元被设置为邻近所述用户的腰部。
6.根据权利要求5所述的系统，其中，所述第一惯性测量单元、所述第二惯性测量单元、所述第三惯性测量单元和所述相机被配置为将用户的视野与所述用户的身体位置进行匹配。
7.根据权利要求1所述的系统，其中，所述以身体为中心的虚拟用户界面包括多个用户界面对象，所述用户界面对象被显示在所述用户的身体周围的固定距离处的弧中。
8.一种使用固定距离显示系统的显示方法，包括：
由第一惯性测量单元测量与用户的头部姿势相关的第一值；
基于所述第一值，由处理器计算所述用户的所述头部姿势；
由第三惯性测量单元测量与所述用户的身体姿势相关的第三值；
基于所述第三值，由所述处理器计算所述用户的所述身体姿势；
由相机捕获图像；
基于所述图像，由所述处理器执行机器视觉光流分析；
其中，基于所述用户的所述头部姿势、所述用户的所述身体姿势、以及所述机器视觉光流分析的结果，生成以身体为中心的虚拟用户界面；
由光源生成光束；
由光导光学元件通过全内反射传播所述光束的至少一部分；
以相对于所述用户的身体的固定距离和固定位置，由所述固定距离显示系统在所述用户的视野中显示所述以身体为中心的虚拟用户界面；
基于相对于所述用户的所述身体姿势的所述用户的所述头部姿势，由所述固定距离显示系统在所述用户的所述视野中显示所述以身体为中心的虚拟用户界面，使得在所述用户的头部相对于所述用户的身体移动时，所述以身体为中心的虚拟用户界面在所述用户的所述视野中移动；以及
在距所述用户的眼睛的与0.2屈光度相对应的第一距离与距所述用户的所述眼睛的与0.6屈光度相对应的第二距离之间的距离处，由所述固定距离显示系统显示三维虚拟图像。
9.根据权利要求8所述的方法，进一步包括由邻近所述用户头部设置的第二惯性测量单元测量与所述头部姿势相关的第二值。
10.根据权利要求9所述的方法，进一步包括由所述处理器根据所述第一值和所述第二值计算所述用户的所述头部姿势。
11.根据权利要求10所述的方法，
其中，所述第三惯性测量单元被设置为邻近所述用户的腰部。
12.根据权利要求9所述的方法，进一步包括由所述处理器分析所述第一值、所述第二值、所述第三值和所述图像以将所述用户的视野与所述用户的身体位置进行匹配。
13.根据权利要求8所述的方法，其中，所述第一惯性测量单元被设置为邻近所述用户的头部。
14.根据权利要求8所述的方法，其中，所述以身体为中心的虚拟用户界面包括多个用户界面对象，所述用户界面对象被显示在所述用户的身体周围的固定距离的弧中。
15.一种非暂时性计算机可读介质，所述计算机可读介质上存储有指令序列，当由处理器执行时，所述指令序列使所述处理器执行用于显示的方法，所述方法包括：
生成光束，
通过全内反射传播所述光束的至少一部分；
测量与头部姿势相关的第一值；
基于所述第一值计算用户的所述头部姿势；
测量与身体姿势相关的第三值；
基于所述第三值，计算所述用户的所述身体姿势；
捕获图像；
基于所述图像执行机器视觉光流分析；以及
其中，基于所述用户的所述头部姿势、所述用户的所述身体姿势、以及所述机器视觉光流分析的结果，生成以身体为中心的虚拟用户界面；
以相对于所述用户的身体的固定距离和固定位置，在所述用户的视野中显示所述以身体为中心的虚拟用户界面；
基于相对于所述用户的所述身体姿势的所述用户的所述头部姿势，在所述用户的所述视野中显示所述以身体为中心的虚拟用户界面，使得在所述用户的头部相对于所述用户的身体移动时，所述以身体为中心的虚拟用户界面在所述用户的所述视野中移动；以及
在距所述用户的眼睛的与0.2屈光度相对应的第一距离与距所述用户的所述眼睛的与0.6屈光度相对应的第二距离之间的距离处显示三维虚拟图像。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述以身体为中心的虚拟用户界面包括多个用户界面对象，所述用户界面对象被显示在所述用户的身体周围的固定距离的弧中。
17.一种显示方法，包括：
生成光束；
通过全内反射传播所述光束中的至少一部分；
测量与头部姿势相关的第一值；
基于所述第一值计算用户的所述头部姿势；
测量与所述用户的身体姿势相关的第三值；
基于所述第三值计算所述用户的所述身体姿势；
捕获图像；
基于所述图像执行机器视觉光流分析；
其中，基于所述用户的所述头部姿势、所述用户的所述身体姿势、以及所述机器视觉光流分析的结果，生成以身体为中心的虚拟用户界面；
以相对于所述用户的身体的固定距离和固定位置，在所述用户的视野中显示所述以身体为中心的虚拟用户界面；
基于相对于所述用户的所述身体姿势的所述用户的所述头部姿势，在所述用户的所述视野中显示所述以身体为中心的虚拟用户界面，使得在所述用户的头部相对于所述用户的身体移动时，所述以身体为中心的虚拟用户界面在所述用户的所述视野中移动；以及
在距所述用户的眼睛的与0.2屈光度相对应的第一距离与距所述用户的所述眼睛的与0.6屈光度相对应的第二距离之间的距离处显示三维虚拟图像。
18.根据权利要求17所述的方法，进一步包括测量与所述头部姿势相关的第二值。
19.根据权利要求18所述的方法，进一步包括根据所述第一值和所述第二值计算所述用户的头部姿势。
20.根据权利要求18所述的方法，进一步包括处理器分析所述第一值、所述第二值、所述第三值和所述图像以将所述用户的视野与所述用户的身体位置进行匹配。
21.根据权利要求17所述的方法，其中，所述以身体为中心的虚拟用户界面包括多个用户界面对象，所述用户界面对象被显示在所述用户的身体周围的固定距离的弧中。
CN201780054387.0A 2016-08-02 2017-07-31 固定距离虚拟和增强现实系统及方法 Active CN109661687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311439457.8A CN117741956A (zh) 2016-08-02 2017-07-31 固定距离虚拟和增强现实系统及方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662370117P 2016-08-02 2016-08-02
US62/370,117 2016-08-02
PCT/US2017/044762 WO2018026737A1 (en) 2016-08-02 2017-07-31 Fixed-distance virtual and augmented reality systems and methods

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311439457.8A Division CN117741956A (zh) 2016-08-02 2017-07-31 固定距离虚拟和增强现实系统及方法

Publications (2)

Publication Number Publication Date
CN109661687A CN109661687A (zh) 2019-04-19
CN109661687B true CN109661687B (zh) 2023-11-24

Family

ID=61071680

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311439457.8A Pending CN117741956A (zh) 2016-08-02 2017-07-31 固定距离虚拟和增强现实系统及方法
CN201780054387.0A Active CN109661687B (zh) 2016-08-02 2017-07-31 固定距离虚拟和增强现实系统及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311439457.8A Pending CN117741956A (zh) 2016-08-02 2017-07-31 固定距离虚拟和增强现实系统及方法

Country Status (9)

Country Link
US (5) US10649211B2 (zh)
EP (1) EP3494549A4 (zh)
JP (1) JP6972105B2 (zh)
KR (4) KR20240009543A (zh)
CN (2) CN117741956A (zh)
AU (2) AU2017305227B2 (zh)
CA (1) CA3032567A1 (zh)
IL (3) IL264489B (zh)
WO (1) WO2018026737A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
JP7136558B2 (ja) 2015-03-05 2022-09-13 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
EP3384468A4 (en) 2015-12-04 2019-01-30 Magic Leap, Inc. RELOCALIZATION SYSTEMS AND METHODS
CN109074785B (zh) 2016-03-04 2022-05-10 奇跃公司 减少用电的显示系统以及用于减少显示系统的用电的方法
CN113589529A (zh) 2016-03-25 2021-11-02 奇跃公司 虚拟和增强现实系统和方法
EP3494549A4 (en) 2016-08-02 2019-08-14 Magic Leap, Inc. SYSTEMS AND METHODS FOR FIXED AND INCREASED DISTANCE VIRTUAL REALITY
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
CA3055218A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
KR102359978B1 (ko) 2017-03-17 2022-02-07 매직 립, 인코포레이티드 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
WO2018170470A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
WO2020018938A1 (en) 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
CN109948410B (zh) * 2018-07-20 2020-09-11 华为技术有限公司 具有纹路检测功能的电子设备
JP7304934B2 (ja) 2018-07-23 2023-07-07 マジック リープ， インコーポレイテッド 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
JP7413345B2 (ja) 2018-07-23 2024-01-15 マジック リープ， インコーポレイテッド フィールド順次ディスプレイにおけるフィールド内サブコードタイミング
US11233954B1 (en) * 2019-01-24 2022-01-25 Rockwell Collins, Inc. Stereo infrared imaging for head mounted devices
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
US11265487B2 (en) * 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103261944A (zh) * 2010-12-28 2013-08-21 洛克希德马丁公司 采用一个或多个反射光表面的头戴式显示装置

Family Cites Families (256)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4462165A (en) 1983-01-31 1984-07-31 The Boeing Company Three axis orientation sensor for an aircraft or the like
US6701296B1 (en) 1988-10-14 2004-03-02 James F. Kramer Strain-sensing goniometers, systems, and recognition algorithms
US5047952A (en) 1988-10-14 1991-09-10 The Board Of Trustee Of The Leland Stanford Junior University Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove
AU675077B2 (en) 1992-08-14 1997-01-23 British Telecommunications Public Limited Company Position location system
CA2358682A1 (en) 1992-08-14 1994-03-03 British Telecommunications Public Limited Company Position location system
US5583974A (en) 1993-05-10 1996-12-10 Apple Computer, Inc. Computer graphics system having high performance multiple layer Z-buffer
TW275590B (en) 1994-12-09 1996-05-11 Sega Enterprises Kk Head mounted display and system for use therefor
US5592401A (en) 1995-02-28 1997-01-07 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5684498A (en) 1995-06-26 1997-11-04 Cae Electronics Ltd. Field sequential color head mounted display with suppressed color break-up
WO1997020244A1 (en) 1995-11-27 1997-06-05 Cae Electronics Ltd. Method and apparatus for displaying a virtual environment on a video display
US5784115A (en) 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US6163155A (en) 1999-01-28 2000-12-19 Dresser Industries, Inc. Electromagnetic wave resistivity tool having a tilted antenna for determining the horizontal and vertical resistivities and relative dip angle in anisotropic earth formations
US6407736B1 (en) 1999-06-18 2002-06-18 Interval Research Corporation Deferred scanline conversion architecture
GB9917591D0 (en) 1999-07-28 1999-09-29 Marconi Electronic Syst Ltd Head tracker system
JP2001208529A (ja) 2000-01-26 2001-08-03 Mixed Reality Systems Laboratory Inc 計測装置及びその制御方法並びに記憶媒体
WO2001056007A1 (en) 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
AU2001250802A1 (en) 2000-03-07 2001-09-17 Sarnoff Corporation Camera pose estimation
US6891533B1 (en) 2000-04-11 2005-05-10 Hewlett-Packard Development Company, L.P. Compositing separately-generated three-dimensional images
US6738044B2 (en) 2000-08-07 2004-05-18 The Regents Of The University Of California Wireless, relative-motion computer input device
US20020180727A1 (en) 2000-11-22 2002-12-05 Guckenberger Ronald James Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors
US6691074B1 (en) 2001-02-08 2004-02-10 Netmore Ltd. System for three dimensional positioning and tracking
US7620592B2 (en) 2001-02-26 2009-11-17 First Data Corporation Tiered processing method and system for identifying and mitigating merchant risk
US6861982B2 (en) 2001-08-16 2005-03-01 Itt Manufacturing Enterprises, Inc. System for determining position of an emitter
US7113618B2 (en) 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
US7487127B2 (en) 2002-03-27 2009-02-03 First Data Corporation Merchant cash payment systems and methods
JP2003337963A (ja) 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
CN1675640A (zh) * 2002-06-11 2005-09-28 第一数据公司 价值处理网络和方法
US20040078105A1 (en) 2002-09-03 2004-04-22 Charles Moon System and method for workflow process management
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP3984907B2 (ja) * 2002-11-29 2007-10-03 キヤノン株式会社 画像観察システム
US20070155589A1 (en) 2002-12-04 2007-07-05 Philip Feldman Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System
JP2004213350A (ja) 2002-12-27 2004-07-29 Seiko Epson Corp 力覚提示装置及び画像補正方法
US20050107870A1 (en) 2003-04-08 2005-05-19 Xingwu Wang Medical device with multiple coating layers
US7643025B2 (en) 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US7443154B1 (en) 2003-10-04 2008-10-28 Seektech, Inc. Multi-sensor mapping omnidirectional sonde and line locator
CA2450837A1 (en) 2003-11-25 2005-05-25 University Of New Brunswick Induction magnetometer
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US20160098095A1 (en) 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
JP4508820B2 (ja) 2004-10-19 2010-07-21 株式会社ワコム ３次元情報検出システム及び３次元情報入力装置
CN101080762A (zh) 2004-11-19 2007-11-28 Daem交互有限公司 具有图像获取功能、应用于扩充现实性资源的个人装置和方法
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
CA2844683C (en) 2005-04-26 2016-06-28 Imax Corporation Electronic projection systems and methods
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
JP4437228B2 (ja) 2005-11-07 2010-03-24 大学共同利用機関法人情報・システム研究機構 焦点ぼけ構造を用いたイメージング装置及びイメージング方法
KR100722229B1 (ko) * 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP4684147B2 (ja) 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
JP4196302B2 (ja) 2006-06-19 2008-12-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4804256B2 (ja) 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
US8194088B1 (en) 2006-08-03 2012-06-05 Apple Inc. Selective composite rendering
US7921120B2 (en) 2006-11-30 2011-04-05 D&S Consultants Method and system for image recognition using a similarity inverse matrix
CN101093586A (zh) 2007-07-12 2007-12-26 上海交通大学 面向复杂场景实时交互操作的并行碰撞检测方法
US8165352B1 (en) 2007-08-06 2012-04-24 University Of South Florida Reconstruction of biometric image templates using match scores
IL195389A (en) 2008-11-19 2013-12-31 Elbit Systems Ltd Magnetic Field Mapping System and Method
US10095815B2 (en) 2008-11-19 2018-10-09 Elbit Systems Ltd. System and a method for mapping a magnetic field
US20090115406A1 (en) 2007-11-01 2009-05-07 General Electric Company System and method for minimizing mutual inductance coupling between coils in an electromagnetic tracking system
US9013505B1 (en) 2007-11-27 2015-04-21 Sprint Communications Company L.P. Mobile system representing virtual objects on live camera image
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US7795596B2 (en) 2008-01-03 2010-09-14 Alcatel-Lucent Usa Inc. Cloaking device detection system
WO2009091563A1 (en) 2008-01-18 2009-07-23 Thomson Licensing Depth-image-based rendering
DE112009000180T5 (de) 2008-01-23 2011-03-31 Swift-Foot Graphics Ab Verfahren, Vorrichtung und Computerprogrammprodukt für eine verbesserte Grafikperformance
US20090184825A1 (en) 2008-01-23 2009-07-23 General Electric Company RFID Transponder Used for Instrument Identification in an Electromagnetic Tracking System
US8926511B2 (en) 2008-02-29 2015-01-06 Biosense Webster, Inc. Location system with virtual touch screen
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8446426B2 (en) 2008-04-28 2013-05-21 Apple Inc. Technique for visually compositing a group of graphical objects
KR20090120159A (ko) 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
US8929877B2 (en) 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
JP5415054B2 (ja) 2008-10-28 2014-02-12 セイコーエプソン株式会社 駆動方法および電気光学装置
US8747224B2 (en) 2008-11-14 2014-06-10 Sony Corporation Operating device
US8188745B2 (en) 2008-12-05 2012-05-29 Metrotech Corporation Inc. Precise location and orientation of a concealed dipole transmitter
US9465129B1 (en) 2009-03-06 2016-10-11 See Scan, Inc. Image-based mapping locating system
US8860723B2 (en) 2009-03-09 2014-10-14 Donya Labs Ab Bounded simplification of geometrical computer data
US8027912B1 (en) * 2009-04-30 2011-09-27 Intuit Inc. System and method for merchant risk management
JP5177078B2 (ja) 2009-05-26 2013-04-03 富士通モバイルコミュニケーションズ株式会社 情報処理装置
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
US8775424B2 (en) 2010-01-26 2014-07-08 Xerox Corporation System for creative image navigation and exploration
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8581905B2 (en) 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
TWI399688B (zh) 2010-06-08 2013-06-21 Waltop Int Corp 整合電磁式及電容感應輸入裝置
JP2012043308A (ja) 2010-08-20 2012-03-01 Canon Inc 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム
JP5820366B2 (ja) 2010-10-08 2015-11-24 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
US20120086630A1 (en) * 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
FR2966251B1 (fr) 2010-10-19 2014-04-25 Astrium Sas Systeme d'orientation et de positionnement d'un recepteur electromagnetique
US8660369B2 (en) 2010-10-25 2014-02-25 Disney Enterprises, Inc. Systems and methods using mobile devices for augmented reality
US8745061B2 (en) 2010-11-09 2014-06-03 Tibco Software Inc. Suffix array candidate selection and index data structure
GB201020973D0 (en) 2010-12-10 2011-01-26 Panaplay Ltd Risk management system and method
US9235894B2 (en) 2011-01-27 2016-01-12 Metaio Gmbh Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
JP5724544B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9206007B2 (en) * 2011-05-31 2015-12-08 Twist-Ease Inc. Bag dispenser
US20120306850A1 (en) 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8933913B2 (en) 2011-06-28 2015-01-13 Microsoft Corporation Electromagnetic 3D stylus
US20150100380A1 (en) 2011-07-20 2015-04-09 Raymond P. Jones, JR. Systems and methods for providing financial controls for aggregated weather-based work
WO2013023705A1 (en) 2011-08-18 2013-02-21 Layar B.V. Methods and systems for enabling creation of augmented reality content
EP2745236A1 (en) 2011-08-18 2014-06-25 Layar B.V. Computer-vision based augmented reality system
US8749396B2 (en) 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
EP2751742A1 (en) 2011-08-31 2014-07-09 metaio GmbH Method of matching image features with reference features
EP2756328A2 (en) 2011-09-13 2014-07-23 Sadar 3D, Inc. Synthetic aperture radar apparatus and methods
US20130253956A1 (en) 2011-09-22 2013-09-26 Robert Lyne Towne Chargeback insurance
US8821286B2 (en) 2011-09-29 2014-09-02 Wms Gaming, Inc. Wagering game system having motion sensing controllers
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
CN106484115B (zh) 2011-10-28 2019-04-19 奇跃公司 用于增强和虚拟现实的系统和方法
CN107664847B (zh) 2011-11-23 2021-04-06 奇跃公司 三维虚拟和增强现实显示系统
US8989775B2 (en) 2012-02-29 2015-03-24 RetailNext, Inc. Method and system for WiFi-based identification of person tracks
US9075824B2 (en) 2012-04-27 2015-07-07 Xerox Corporation Retrieval system and method leveraging category-level labels
US9098229B2 (en) 2012-05-04 2015-08-04 Aaron Hallquist Single image pose estimation of image capture devices
US9116666B2 (en) 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
US9336494B1 (en) 2012-08-20 2016-05-10 Context Relevant, Inc. Re-training a machine learning model
EP2704055A1 (en) 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
JP2014049934A (ja) 2012-08-31 2014-03-17 Sony Corp ヘッドマウントディスプレイ
US9134954B2 (en) 2012-09-10 2015-09-15 Qualcomm Incorporated GPU memory buffer pre-fetch and pre-back signaling to avoid page-fault
EP3502621B1 (en) 2012-09-21 2023-06-07 NavVis GmbH Visual localisation
GB201217372D0 (en) 2012-09-28 2012-11-14 Ucl Business Plc A system and method for annotating images by propagating information
US9177404B2 (en) 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9188694B2 (en) 2012-11-16 2015-11-17 Halliburton Energy Services, Inc. Optical interferometric sensors for measuring electromagnetic fields
US9160727B1 (en) 2012-11-30 2015-10-13 Microstrategy Incorporated Providing credential information
US9576262B2 (en) 2012-12-05 2017-02-21 Microsoft Technology Licensing, Llc Self learning adaptive modeling system
US9026847B2 (en) 2012-12-21 2015-05-05 Advanced Micro Devices, Inc. Hardware based redundant multi-threading inside a GPU for improved reliability
US20140176591A1 (en) 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
WO2014105385A1 (en) 2012-12-27 2014-07-03 The Regents Of The University Of California Anamorphic stretch image compression
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
IL308285A (en) 2013-03-11 2024-01-01 Magic Leap Inc System and method for augmentation and virtual reality
WO2014160342A1 (en) 2013-03-13 2014-10-02 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
NZ712192A (en) 2013-03-15 2018-11-30 Magic Leap Inc Display system and method
US9095423B2 (en) 2013-03-15 2015-08-04 OrCam Technologies, Ltd. Apparatus and method for providing failed-attempt feedback using a camera on glasses
US20140323148A1 (en) 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
US9269003B2 (en) 2013-04-30 2016-02-23 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
US9367960B2 (en) * 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
US10254855B2 (en) 2013-06-04 2019-04-09 Wen-Chieh Geoffrey Lee High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device
US9874749B2 (en) * 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9712473B2 (en) 2013-07-11 2017-07-18 Facebook, Inc. Methods, systems, and user interfaces for community-based location ratings
US10533850B2 (en) * 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
WO2015006784A2 (en) * 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
JP6192010B2 (ja) 2013-09-05 2017-09-06 国立大学法人 東京大学 重み設定装置および方法
US9400930B2 (en) * 2013-09-27 2016-07-26 Qualcomm Incorporated Hybrid photo navigation and mapping
US9729864B2 (en) 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US11402629B2 (en) * 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
IL291010B2 (en) * 2013-11-27 2024-01-01 Magic Leap Inc Virtual and augmented reality systems and methods
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
SG11201604981UA (en) 2013-12-19 2016-07-28 Avigilon Fortress Corp System and method for identifying faces in unconstrained media
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
US9360935B2 (en) 2013-12-20 2016-06-07 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Integrated bi-sensing optical structure for head mounted display
US20160147063A1 (en) 2014-11-26 2016-05-26 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9405122B2 (en) 2014-01-29 2016-08-02 Ricoh Co., Ltd Depth-disparity calibration of a binocular optical augmented reality system
US20170076328A1 (en) 2014-03-04 2017-03-16 Google Inc. Map personalization based on social cues
US20160203624A1 (en) 2014-03-05 2016-07-14 Google Inc. System and Method for Providing Combined Multi-Dimensional Map Views
WO2015134958A1 (en) 2014-03-07 2015-09-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
EP3134870B1 (en) 2014-04-25 2019-11-06 Google Technology Holdings LLC Electronic device localization based on imagery
CN105005457B (zh) 2014-04-25 2019-04-09 腾讯科技（深圳）有限公司 地理位置展示方法及装置
US9652893B2 (en) 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
US9727341B2 (en) 2014-05-09 2017-08-08 Samsung Electronics Co., Ltd. Control flow in a thread-based environment without branching
WO2015185110A1 (en) * 2014-06-03 2015-12-10 Metaio Gmbh Method and system for presenting a digital information related to a real object
US20150358539A1 (en) 2014-06-06 2015-12-10 Jacob Catt Mobile Virtual Reality Camera, Method, And System
US20150379772A1 (en) 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
US10283035B2 (en) 2014-07-01 2019-05-07 Sharp Kabushiki Kaisha Field-sequential image display device and image display method
US10056054B2 (en) 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10162177B2 (en) 2014-07-11 2018-12-25 Sixense Entertainment, Inc. Method and apparatus for self-relative body tracking for virtual reality systems using magnetic tracking
US9363644B2 (en) 2014-07-16 2016-06-07 Yahoo! Inc. System and method for detection of indoor tracking units
US9719871B2 (en) 2014-08-09 2017-08-01 Google Inc. Detecting a state of a wearable device
WO2016040376A1 (en) 2014-09-08 2016-03-17 Simx, Llc Augmented reality simulator for professional and educational training
EP3192259A4 (en) 2014-09-09 2018-05-16 Nokia Technologies Oy Stereo image recording and playback
US10216750B2 (en) 2014-10-14 2019-02-26 Microsoft Technology Licensing, Llc Annotated geometry
US9478029B2 (en) 2014-10-23 2016-10-25 Qualcomm Incorporated Selection strategy for exchanging map information in collaborative multi-user SLAM systems
US10043217B1 (en) 2014-10-27 2018-08-07 State Farm Mutual Automobile Insurance Company Systems and methods for quoting multiple homeowner insurance products
US10650574B2 (en) 2014-10-31 2020-05-12 Fyusion, Inc. Generating stereoscopic pairs of images from a single lens camera
WO2016073557A1 (en) 2014-11-04 2016-05-12 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds
US9818170B2 (en) 2014-12-10 2017-11-14 Qualcomm Incorporated Processing unaligned block transfer operations
EP3796235A1 (en) 2014-12-17 2021-03-24 Google LLC Generating numeric embeddings of images
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9846968B2 (en) * 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
JP7136558B2 (ja) 2015-03-05 2022-09-13 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US9885773B2 (en) 2015-03-07 2018-02-06 Verity Studios Ag Distributed localization systems and methods and self-localizing apparatus
US9874932B2 (en) 2015-04-09 2018-01-23 Microsoft Technology Licensing, Llc Avoidance of color breakup in late-stage re-projection
US9814430B1 (en) 2015-04-17 2017-11-14 Bertec Corporation System and method for measuring eye movement and/or eye position and postural sway of a subject
JP6820107B2 (ja) * 2015-05-04 2021-01-27 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想および拡張現実のための分離された瞳光学システムおよびそれを用いた画像表示の方法
CN104866829B (zh) 2015-05-25 2019-02-19 苏州大学 一种基于特征学习的跨年龄人脸验证方法
US10721280B1 (en) 2015-05-29 2020-07-21 Sprint Communications Company L.P. Extended mixed multimedia reality platform
US20160378863A1 (en) 2015-06-24 2016-12-29 Google Inc. Selecting representative video frames for videos
US10062010B2 (en) 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10750161B2 (en) 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US9875427B2 (en) 2015-07-28 2018-01-23 GM Global Technology Operations LLC Method for object localization and pose estimation for an object of interest
US10888389B2 (en) 2015-09-10 2021-01-12 Duke University Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
GB201518112D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
US10937023B2 (en) 2015-10-15 2021-03-02 Paypal, Inc. Crypto currency chargeback system
US10210576B2 (en) 2015-10-23 2019-02-19 Mastercard International Incorporated Processing payment card transaction records to determine insurance fraud risk
US10338677B2 (en) 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US10026212B2 (en) 2015-11-20 2018-07-17 Google Llc Electronic display stabilization using pixel velocities
US20170161853A1 (en) 2015-12-03 2017-06-08 James Carroll Gossweiler Mapping system that identifies site-specific real estate due diligence professionals and related service providers
EP3384468A4 (en) 2015-12-04 2019-01-30 Magic Leap, Inc. RELOCALIZATION SYSTEMS AND METHODS
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
FR3046261B1 (fr) 2015-12-24 2018-08-31 Starbreeze Paris Element mobile hybride, procede et dispositif pour interfacer une pluralite d'elements mobiles hybrides avec un systeme informatique, et ensemble pour systeme de realite virtuelle ou augmentee
US10130429B1 (en) 2016-01-06 2018-11-20 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system
EP3411779A4 (en) 2016-02-05 2019-02-20 Magic Leap, Inc. SYSTEMS AND METHODS FOR INCREASED REALITY
US10788791B2 (en) 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
WO2017147178A1 (en) 2016-02-22 2017-08-31 Google Inc. Separate time-warping for a scene and an object for display of virtual reality content
US10334076B2 (en) 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
US9639935B1 (en) 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
WO2017210111A1 (en) 2016-05-29 2017-12-07 Google Llc Time-warping adjustment based on depth information in a virtual/augmented reality system
US10366536B2 (en) 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
US11430070B1 (en) 2017-07-31 2022-08-30 Block, Inc. Intelligent application of reserves to transactions
EP3494549A4 (en) 2016-08-02 2019-08-14 Magic Leap, Inc. SYSTEMS AND METHODS FOR FIXED AND INCREASED DISTANCE VIRTUAL REALITY
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US10158979B2 (en) 2016-08-16 2018-12-18 Elenytics Group, Ltd. Method and system for wireless location and movement mapping, tracking and analytics
EP4235391A3 (en) 2016-08-22 2023-10-25 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
US10318115B2 (en) 2016-10-14 2019-06-11 OneMarket Network LLC System and method for presenting optimized map labels
CN108241142B (zh) 2016-12-26 2021-05-11 宏达国际电子股份有限公司 追踪系统及追踪方法
US10330936B2 (en) 2017-01-19 2019-06-25 Facebook Technologies, Llc Focal surface display
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
WO2018170470A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
KR102359978B1 (ko) 2017-03-17 2022-02-07 매직 립, 인코포레이티드 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
CA3055218A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
WO2018203232A1 (en) 2017-05-01 2018-11-08 Pure Depth Inc. Head tracking based field sequential saccadic breakup reduction
US10620710B2 (en) 2017-06-15 2020-04-14 Microsoft Technology Licensing, Llc Displacement oriented interaction in computer-mediated reality
GB201709752D0 (en) 2017-06-19 2017-08-02 Advanced Risc Mach Ltd Graphics processing systems
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10403032B2 (en) 2017-08-22 2019-09-03 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
US10445922B2 (en) 2017-08-31 2019-10-15 Intel Corporation Last-level projection method and apparatus for virtual and augmented reality
US10529086B2 (en) 2017-11-22 2020-01-07 Futurewei Technologies, Inc. Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
US10481689B1 (en) 2018-01-10 2019-11-19 Electronic Arts Inc. Motion capture glove
US10861215B2 (en) 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
JP7304934B2 (ja) 2018-07-23 2023-07-07 マジック リープ， インコーポレイテッド 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
SG10201808124WA (en) 2018-09-19 2020-04-29 Mastercard International Inc Method and system for processing transactions
US11176901B1 (en) 2019-08-13 2021-11-16 Facebook Technologies, Llc. Pan-warping and modifying sub-frames with an up-sampled frame rate
US10843067B1 (en) 2019-10-04 2020-11-24 Varjo Technologies Oy Input device, system, and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103261944A (zh) * 2010-12-28 2013-08-21 洛克希德马丁公司 采用一个或多个反射光表面的头戴式显示装置

Also Published As

Publication number Publication date
CN109661687A (zh) 2019-04-19
IL264489B (en) 2022-07-01
US20240160020A1 (en) 2024-05-16
US11914154B2 (en) 2024-02-27
AU2017305227A1 (en) 2019-02-14
AU2022201750A1 (en) 2022-04-07
US11073699B2 (en) 2021-07-27
IL294134B1 (en) 2023-06-01
AU2022201750B2 (en) 2023-01-19
AU2017305227B2 (en) 2021-12-16
CA3032567A1 (en) 2018-02-08
KR102626821B1 (ko) 2024-01-18
US20180039083A1 (en) 2018-02-08
WO2018026737A1 (en) 2018-02-08
US10649211B2 (en) 2020-05-12
EP3494549A1 (en) 2019-06-12
JP2019531619A (ja) 2019-10-31
KR20210025721A (ko) 2021-03-09
IL303182B1 (en) 2024-03-01
KR20190034321A (ko) 2019-04-01
US20220391989A1 (en) 2022-12-08
JP6972105B2 (ja) 2021-11-24
IL303182A (en) 2023-07-01
US20200201052A1 (en) 2020-06-25
US20210311319A1 (en) 2021-10-07
EP3494549A4 (en) 2019-08-14
IL294134A (en) 2022-08-01
IL264489A (en) 2019-02-28
KR20220164084A (ko) 2022-12-12
CN117741956A (zh) 2024-03-22
IL294134B2 (en) 2023-10-01
US11536973B2 (en) 2022-12-27
KR20240009543A (ko) 2024-01-22

Similar Documents

Publication Publication Date Title
CN109661687B (zh) 固定距离虚拟和增强现实系统及方法
EP3741109B1 (en) Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
EP3740847B1 (en) Display systems and methods for determining registration between a display and a user's eyes
US11762462B2 (en) Eye-tracking using images having different exposure times
US11675432B2 (en) Systems and techniques for estimating eye pose
KR20170041862A (ko) 유저 안경 특성을 결정하는 눈 추적용 디바이스를 갖는 헤드업 디스플레이
US20240085980A1 (en) Eye tracking using alternate sampling
JP2016134668A (ja) 電子眼鏡および電子眼鏡の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant