CN112513785A - 具有自动表面选择放置和内容取向放置的增强现实观看器 - Google Patents

具有自动表面选择放置和内容取向放置的增强现实观看器 Download PDF

Info

Publication number
CN112513785A
CN112513785A CN201980050600.XA CN201980050600A CN112513785A CN 112513785 A CN112513785 A CN 112513785A CN 201980050600 A CN201980050600 A CN 201980050600A CN 112513785 A CN112513785 A CN 112513785A
Authority
CN
China
Prior art keywords
user
orientation
content
vector
surface region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980050600.XA
Other languages
English (en)
Inventor
V·恩格-索-兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN112513785A publication Critical patent/CN112513785A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了一种增强现实观看器。用户取向确定模块确定用户取向。内容矢量计算器计算相对于内容的近边缘和远边缘的内容取向矢量；确定用户取向矢量与内容取向矢量的点积；以及基于点积的大小来定位内容。表面区域矢量计算器针对多个表面区域中的每一个来计算表面区域取向矢量。表面选择模块确定用户取向矢量与每个表面区域取向矢量的点积，并基于点积的相对大小来选择优选表面。

Description

具有自动表面选择放置和内容取向放置的增强现实观看器
相关申请的交叉引用
本申请要求于2018年6月8日提交的ET.S.临时专利申请No.62/682,788的优先权，其全部内容通过引用整体合并于此。
技术领域
本发明涉及增强现实观看器以及增强现实观看方法。
背景技术
现代计算和显示技术已经促进了“增强现实”观看器的发展。增强现实观看器是为用户呈现两幅图像的可穿戴装置，一幅图像用于左眼，一幅图像用于右眼。用于每只眼睛的图像中的对象被使用略有不同的视点渲染，从而允许大脑将这些对象处理为三维对象。当图像随着观看者移动而不断改变视点时，可以模拟围绕合成三维内容的移动。
增强现实观看器通常包括允许将数字或虚拟图像信息呈现为对用户周围的实际世界的可视化的增强的技术。在一个实施方式中，虚拟图像信息被呈现在相对于增强现实观看器的静态位置中，使得如果用户移动他们的头部以及增强现实观看器随着其头部移动，则向用户呈现有保持在他们前面的静止位置的图像，而真实世界对象在他们视线中偏移。这使用户看起来虚拟图像信息不是相对于真实世界对象固定的，而是固定在观看器的视角。在其他实施方式中，存在当用户移动其头部时将虚拟图像信息保持在相对于真实世界对象固定的位置的技术。在后一种场景下，可以向用户提供对虚拟图像信息相对于真实世界对象的初始放置的某些控制。
发明内容
本发明提供了一种增强现实观看器，其包括：显示器，其允许用户看到真实世界对象；数据通道，其用于保持内容；用户取向确定模块，其用于确定用户相对于第一显示区域的第一用户取向，并用于确定所述用户相对于所述第一显示区域的第二用户取向；投射器，其被连接到所述数据通道，以在所述用户观看所述真实世界对象的同时在所述第一显示区域的边界(confine)内通过所述显示器向所述用户显示所述内容；以及内容取向选择模块，其被连接到表面提取模块和所述用户取向模块，以相对于所述第一显示区域以第一内容取向来显示所述内容，以使得当所述用户处于所述第一用户取向时所述内容的近边缘靠近所述用户，并且相对于所述第一显示区域以第二内容取向来显示所述内容，以使得当所述用户处于所述第二用户取向时所述近边缘被旋转得更靠近所述用户，并且所述内容相对于所述第一显示区域从所述第一内容取向旋转到所述第二内容取向。
本发明进一步提供了一种增强现实观看方法，包括：由所述处理器确定用户相对于所述第一显示区域的第一用户取向；当所述用户处于所述第一取向时，由所述处理器确定相对于所述显示器的第一内容取向；在所述用户处于所述第一用户取向时通过显示器观看真实世界对象的同时，由所述处理器在所述第一显示区域的边界内通过所述显示器以所述第一内容取向来向所述用户显示内容；由所述处理器确定所述用户相对于所述第一显示区域的第二用户取向；当所述用户处于所述第二位置时，由所述处理器确定相对于所述显示器的第二内容取向；以及当所述用户通过显示器从所述第二位置观看真实世界对象的同时，由所述处理器在所述显示区域的边界内通过所述显示器以所述第二内容取向来向所述用户显示内容，其中，所述内容相对于所述第一显示区域从所述第一内容取向被旋转到所述第二内容取向。
本发明还提供一种增强现实观看器，其包括：显示器，其允许用户观看真实世界对象；数据通道，其用于保持内容；表面区域提取模块，其用于确定第一表面区域和第二表面区域；用户取向确定模块，其用于确定用户相对于所述第一表面区域和所述第二表面区域的第一取向；表面区域选择模块，其基于相应的表面区域的法线被定向成与所述用户的所述第一用户取向更相反，在所述第一表面区域与所述第二表面区域之间选择优选表面区域；以及投射器，其在所述用户观看所述真实世界对象的同时在所述优选表面区域的边界内通过所述显示器向所述用户显示所述内容。
本发明进一步提供了一种增强现实观看方法，包括：由处理器确定第一表面区域和第二表面区域；由所述处理器确定用户相对于所述第一表面区域和所述第二表面区域的第一取向；由所述处理器基于相应的表面区域的法线被定向成更朝向所述用户的所述第一位置，在所述第一表面区域与所述第二表面区域之间选择优选表面区域；以及在所述用户从所述第一位置通过显示器观看真实世界对象的同时，由所述处理器在所述优选表面区域的边界内通过所述显示器向所述用户显示内容。
本发明还提供了一种增强现实观看器，包括：环境计算单元，其用于确定指示用户的取向的第一矢量；矢量计算器，其用于计算第二矢量；选择模块，其用于计算所述第一矢量与所述第二矢量的点积；数据通道，其用于保持内容；内容渲染模块，其用于基于所述点积来确定所述内容的放置；显示器，其允许所述用户看到真实世界对象；以及投射器，其在所述用户通过所述显示器观看所述真实世界对象的同时通过所述显示器向所述用户显示所述内容，所述内容基于由所述内容渲染模块确定的所述放置而被显示。
本发明进一步提供了一种增强现实观看方法，包括：由处理器确定指示用户的取向的第一矢量；由所述处理器计算第二矢量；由所述处理器计算所述第一矢量与所述第二矢量的点积；由所述处理器基于所述点积来确定内容的放置；以及在所述用户通过显示器观看真实世界对象的同时，由所述处理器通过所述显示器向所述用户显示所述内容，所述内容基于由所述内容渲染模块确定的所述放置而被显示。
附图说明
参考附图通过示例进一步描述本发明，其中：
图1A是增强现实观看器的框图，该增强现实观看器被用户用来观看通过来自计算机的内容而被增强的真实世界对象；
图1B是增强现实观看器的透视图；
图2是示出了在三维环境中的在观看二维内容时的佩戴增强现实观看器的用户的透视图；
图3是示出了用增强现实观看器创建的三维数据图的透视图；
图4是示出了确定用户取向矢量、提取表面区域以及计算表面区域取向矢量的透视图；
图5是类似于图4的示出了在表面区域中的一个上的内容渲染的放置的视图；
图6是类似于图5的示出了用户取向矢量的变化的视图；
图7是类似于图6的示出了由于用户取向矢量的变化而导致的内容渲染的放置的视图；
图8是类似于图7的示出了由于用户的移动而导致的用户取向矢量的变化的视图；
图9是类似于图8的示出了由于用户取向矢量的变化而导致的内容渲染的旋转的视图；
图10是类似于图9的示出了由于用户的移动而导致的用户取向矢量的变化的视图；
图11是类似于图10的示出了由于用户取向矢量的变化而导致的内容渲染的旋转的视图；
图12是类似于图11的示出了由于用户的移动而导致的用户取向矢量的变化的视图；
图13是类似于图12的示出了由于用户取向矢量的变化而导致的内容渲染的旋转的视图；
图14是类似于图13的示出了由于用户向上看而导致的用户取向矢量的变化的视图；
图15是类似于图14的示出了由于用户取向矢量的变化而导致的在另一个表面区域上的内容渲染的放置的视图；
图16是示出了执行前述附图的方法的算法的功能的流程图；
图17是示出了在三维环境中的在观看三维内容时佩戴增强现实观看器的用户的透视图；
图18是图17的俯视图；
图19是类似于图18的视图，其中，用户已围绕显示表面沿顺时针方向旋转；
图20是类似于图19的视图，其中，内容已沿顺时针方向旋转；
图21是示出了用户在观看竖直表面上的内容时的透视图；
图22是类似于图21的视图，其中，用户已沿逆时针方向旋转；
图23是类似于图2的视图，其中，内容已沿逆时针方向旋转；以及
图24是根据本发明的一个实施例的可以在本发明的系统中找到应用的计算机形式的机器的框图。
具体实施方式
术语“表面”和“表面区域”在本文中用于描述适合用作显示区域的二维区域。当使用其他显示区域时，例如作为三维表面区域的显示区域或表示三维体积内的切片的显示区域，本发明的各方面可以找到应用。
附图中的图1A示出了增强现实观看器12，用户使用该增强现实观看器12观看真实世界场景的直接视图，该真实世界场景包括真实世界表面和真实世界对象14，其被存储在计算机或计算机网络上、由计算机或计算机网络接收或以其他方式生成的类型的内容16增强。
增强现实观看器12包括显示器18、数据通道20、内容渲染模块22、投射器24、深度传感器28、诸如加速度计30的位置传感器、相机32、环境计算单元34、以及内容放置和内容取向单元36。
数据通道20可以连接到保持内容16的存储装置，或者可以连接到实时提供内容16的服务。内容16可以例如是：静态图像，诸如照片；在一段时间内保持静态并且可以由用户操纵的图像，诸如网页；在计算机显示器上显示的文本文档或其他数据；或者运动图像，诸如视频或动画。内容16可以是二维、三维、静态、动态、文本、图像、视频等。内容16可以包括游戏、书籍、电影、视频剪辑、广告、化身、图画、应用、网页、装饰、体育游戏、重播、3D模型或如本领域技术人员将理解的任何其他类型的内容。
内容渲染模块22连接到数据通道20以从数据通道20接收内容16。内容渲染模块22将内容16转换为适合于三维观看的形式。存在各种技术来根据用户的取向观看三维空间中的二维平面、或者由用户观看三维中的三维体积。
投射器24连接到内容渲染模块22。投射器24将由内容渲染模块22生成的数据转换为光，并将光传递到显示器18。光从显示器18行进到用户的眼睛26。存在各种技术来为用户提供三维体验。每只眼睛被提供有不同的图像，并且用户将图像中的对象感知为在三维中构造的。还存在用于用户聚焦位于深度场处的对象的技术，该深度场不必位于显示器18的平面内并且通常位于显示器18的后面一定距离处。可以使虚拟内容看起来位于某个深度处的一种方式是通过以模仿来自真实物理对象的光如何到达眼睛的方式使光线发散并形成弯曲的波前。然后，通过在称为调节的过程中改变解剖晶状体的形状，眼睛使发散的光束聚焦到视网膜上。不同的发散角代表不同的深度，并且是被使用波导上出射光瞳扩展器上的衍射光栅而创建的。
显示器18是透明显示器。显示器18允许用户通过显示器18看到真实世界对象14。因此，用户感知到增强现实视图40，其中，用户在三维中看到的真实世界对象14被三维图像增强，该三维图像经由显示器18从投射器24提供给用户。
深度传感器28和相机32被安装在捕获真实世界对象14的位置。深度传感器28通常检测红外范围内的电磁波，以及相机32检测可见光谱内的电磁波。如图1B更清楚地示出的，可以在面向世界的位置上将多个相机32安装在增强现实观看器12的框架13上。在特定实施例中，四个相机32被安装在框架13上，其中，两个位于向前面向世界的位置，而两个位于左侧或右侧或倾斜面向世界的位置。多个相机32的视场可以重叠。深度传感器28和相机32相对于增强现实观看器12的框架13被安装在静态位置。由深度传感器28和相机32捕获的图像的中心点始终位于相对于增强现实观看器12的相同的向前方向上。
加速度计30被以固定位置安装在增强现实观看器12的框架上。加速度计30检测重力的方向。加速度计30可用于确定增强现实观看器相对于地球重力场的取向。深度传感器28与依赖于视觉同时定位和映射(“SLAM”)以及惯性测量单元(“IMU”)输入的头部姿势算法组合，加速度计30允许增强现实观看器12确定真实世界对象14相对于重力方向和相对于增强现实观看器12的位置。
相机32捕获真实世界对象14的图像，并且连续地对该图像的进一步处理提供了指示增强现实观看器12相对于真实世界对象14的运动的数据。因为深度传感器28、世界相机32和加速度计30连续地确定真实世界对象14相对于重力的位置，因此还可以计算增强现实观看器12相对于重力和映射的真实环境的运动。
在图1A中，环境计算单元34包括环境映射(mapping)模块44、表面提取模块46和观看者取向确定模块48。环境映射模块44可以接收来自一个或多个传感器的输入。一个或多个传感器可以包括例如深度传感器28、一个或多个世界相机32和加速度计30，以确定真实世界表面和对象14的位置。表面提取模块46可以从环境映射模块44接收数据并确定环境中的平坦表面。观看者取向确定模块48连接到深度传感器28、相机32和加速度计30并从深度传感器28、相机32和加速度计30接收输入，以确定用户相对于真实世界对象14和由该表面提取模块46识别的表面的用户取向。
内容放置和内容取向单元36包括表面矢量计算器50、表面选择模块52、内容尺寸确定模块54、内容矢量计算器56和内容取向选择模块58。表面矢量计算器50、表面选择模块52和内容尺寸确定模块54可以顺序地彼此连接。表面选择模块52连接到观看者取向确定模块48并向观看者取向确定模块48提供输入。内容矢量计算器56连接到数据通道20，以便能够接收内容16。内容取向选择模块58连接到内容矢量计算器56和观看者取向确定模块48并接收来自内容矢量计算器56和观看者取向确定模块48的输入。内容尺寸确定模块54连接到内容取向选择模块58并将输入提供给内容取向选择模块58。内容渲染模块22连接到内容尺寸确定模块54并接收来自内容尺寸确定模块54的输入。
图2示出了在三维环境中的佩戴增强现实观看器12的用户60。
矢量62表示由增强现实观看器12上的一个或多个传感器检测到的重力方向。矢量64表示从用户60的角度来看向右的方向。用户取向矢量66表示用户取向，在本示例中，是用户60的视场中间的向前方向。用户取向矢量66也指向由图1中的深度传感器28和相机32捕获的图像的中心点的方向。图1B示出了另一坐标系63，其包括彼此正交的向右的矢量64、用户取向矢量66和装置竖直矢量67。
通过示例的方式，三维环境包括具有水平表面70的桌子68、表面72和74、对象76，这些对象提供了可能使表面72和74不适合放置内容的障碍物。例如，破坏连续表面72和74的对象76可以包括相框、镜子、墙壁上的裂缝、粗糙的纹理、不同的着色区域、表面上的孔、表面的突起或相对于平坦表面72、74的任何其他不均匀性。相反，表面78和80可能更适合内容的放置，因为它们的尺寸相对较大以及与用户60的接近度。根据所显示内容的类型，寻找具有矩形尺寸的表面也可能是有利的，尽管也可以使用其他形状，诸如正方形、三角形、圆形、椭圆形或多边形。
图3示出了图1中的深度传感器28、加速度计30和环境映射模块44的功能。深度传感器28捕获了包括三维环境中的对象和表面的所有特征的深度。环境映射模块44直接或间接地接收来自增强现实观看器12上的一个或多个传感器的数据。例如，深度传感器28和加速度计30可以向环境映射模块44提供输入，以将三维环境的深度映射到三维中。
图3还示出了相机32和观看者取向确定模块48的功能。相机32捕获对象76和表面78的图像。观看者取向确定模块48接收来自相机32的图像并处理图像，以确定用户60佩戴的增强现实观看器12的取向由用户取向矢量66表示。
可以采用其他映射三维环境的方法，例如，使用位于房间内固定位置的一个或多个相机。然而，深度传感器28和环境映射模块44在增强现实观看器12内的集成提供了更加移动的应用。
图4示出了图1中的表面提取模块46的功能。表面提取模块46处理在图3中创建的三维图，以确定是否存在适合于内容(在本示例中为二维内容)的放置和观看的任何表面。表面提取模块46确定水平表面区域82以及两个竖直表面区域84和86。表面区域82、84和86不是真实表面，而是电子地表示在三维环境中定向的二维平坦表面。作为数据表示的表面区域82、84和86分别对应于图2中的形成图1中的真实世界对象14的一部分的真实表面70、78和80。
图4示出了立方体88和立方体88的阴影90。作者使用这些元素来辅助观看者跟踪用户取向矢量66的变化以及用户60和增强现实观看器12在图2中通过三维空间的移动。
图4还示出了图1中的表面矢量计算器50的功能。表面矢量计算器50针对映射的三维环境的每个提取表面来计算表面区域取向矢量。例如，表面矢量计算器50计算垂直于表面区域82的平面的表面区域取向矢量92。类似地，表面矢量计算器50计算垂直于表面区域84的表面区域取向矢量94以及垂直于表面区域86的表面区域取向矢量94。
通过表面选择模块52来选择在其上显示虚拟内容的表面，该表面选择模块52计算表面与用户之间的关系。图1A中的表面选择模块52计算用户取向矢量66与表面区域取向矢量92的点积。单位矢量a与b的点积由以下等式表示：
a·b＝│a││b│cosθ [1]
其中，│a│＝1
│b│＝1
θ是单位矢量a和b之间的角度。
用户取向矢量66和表面区域取向矢量92彼此正交，这意味着它们的点积为零。
表面选择模块52还计算用户取向矢量66与表面区域取向矢量94的点积。因为用户取向矢量66和表面区域取向矢量94正交，所以它们的点积为零。
表面选择模块52还计算用户取向矢量66与表面区域取向矢量96的点积。因为用户取向矢量66与表面区域取向矢量96相对于彼此成180°，所以它们的点积是-1。因为包括表面区域取向矢量96的点积是三个点积中最负的，所以表面选择模块52确定表面区域86是表面区域82、84和86之间用于显示内容的优选表面区域。点积越负，内容就越有可能将被定向为直接面向观看者。因为表面区域86是竖直表面区域，所以内容放置和内容取向单元36不调用图1中的内容取向选择模块58。点积是可以由系统优先考虑或由虚拟内容对选择最佳表面的需求优先考虑的许多表面特性之一。例如，如果具有-1.0的点积的表面很小并且远离用户，则其可能不优先于具有-0.8的点积但又较大且靠近用户的表面。系统可以在放置内容时选择具有良好对比度特性的表面，因此用户会更容易看到。接下来，内容尺寸确定模块54确定要在表面区域86上显示的内容的适当尺寸。内容具有最佳的长宽比，例如在近边缘上为16而在侧边缘上为9的长宽比。内容尺寸确定模块54使用近边缘与侧边缘的比率来确定内容的尺寸和形状，从而在所有视角下保持该长宽比，以不使内容失真。内容尺寸确定模块54以将适合于表面区域86的最佳长宽比来计算内容的最佳高度和宽度。在给定的示例中，表面区域86的左边缘和右边缘之间的距离确定内容的尺寸。
图5示出了图1中的内容渲染模块22和投射器24的功能。内容渲染模块22基于内容尺寸确定模块54和表面选择模块52的尺寸确定，以其计算的取向将内容16提供给投射器24。观看者将内容16视为渲染98，该渲染放置在表面区域86上并与该表面区域86共平面的三维空间中。内容16不被渲染在表面区域82和84上。所有其他表面特性相同，由于由用户取向矢量66表示的用户取向，因此当与表面区域82和84相比时，表面区域86为渲染98提供了最佳区域。当用户取向矢量有很小程度的变化时，渲染98在表面区域86上保持静态。如果图1A中的观看者取向确定模块48感测到用户取向矢量改变了预定阈值度以上，例如改变了5度，则系统如上所述自动继续，以重新计算所有点积，并且如果需要，则重新定位被渲染以显示给用户的内容并调整其尺寸。替代地，该系统可以是例行地(例如每15秒)如上所述重新计算所有点积和放置内容。
替代地，即使在用户改变了他们的取向时，用户也可以选择区域86以用于内容。
在图6中，用户60改变其头部的倾斜。结果，用户取向矢量66沿向下方向100旋转。新的用户取向由新的用户取向矢量102表示。图1A和1B中的相机32连续地捕获真实世界对象14的图像。诸如深度传感器28和加速度计30的附加传感器也可以连续捕获并提供更新的信息。观看者取向确定模块48处理图像以及由增强现实观看器12上的传感器捕获的其他数据，以确定相机32的视场内的真实世界对象14的相对运动。然后，观看者取向确定模块48处理这种运动以确定用户取向矢量从图5中的用户取向矢量66到图6中用户取向矢量102的变化。系统通常选择具有最佳点积的表面，尽管可能会有点积允许的一些公差/范围，使得抖动和处理被减少。通过示例的方式，当存在另一个更优的点积时且如果更优的点积比当前显示的内容所在的表面的点积好至少5％，则系统可以移动内容。
假设用户在改变其取向之后没有选择表面86来用于内容。表面选择模块52再次计算三个点积，即，用户取向矢量102与表面区域取向矢量92之间的点积、用户取向矢量102与表面区域取向矢量94之间的点积以及用户取向矢量102与表面区域取向矢量96之间的点积。然后，表面选择模块52确定三个点积中的哪一个是最负的。在本示例中，用户取向矢量102和表面区域取向矢量92之间的点积是最负的。表面选择模块52确定了表面区域82是优选表面，因为其相关联的点积比针对表面区域84和86的点积更负。系统还可以考虑如上所述的其他因素。
图1A中的内容放置和内容取向单元36调用内容矢量计算器56和内容取向选择模块58。在内容取向选择模块58的操作之后，再次调用内容尺寸确定模块54。
借助于图7更好地示出了内容矢量计算器56、内容取向选择模块58和内容尺寸确定模块54的功能。
图7示出了内容渲染模块22和投射器24创建位于表面区域82内并与表面区域82共面的内容16的渲染104。表面区域86上的渲染不再被显示给用户60。
渲染104具有远边缘106、近边缘108、右边缘110和左边缘112。图1A中的内容矢量计算器56可以计算内容取向矢量114。内容取向矢量114从近边缘108向远边缘106延伸，并且与近边缘108和远边缘106都正交。
内容矢量计算器所进行的计算取决于在数据通道上提供的内容。一些内容可能已经具有从内容的近边缘延伸到远边缘的内容取向矢量，在这种情况下，内容矢量计算器56简单地识别并隔离内容代码中的内容取向矢量。在其他例子中，内容取向矢量可以与内容相关联，并且内容矢量计算器56可能必须使内容取向矢量重新定向以从内容的近边缘延伸到远边缘。在其他例子中，没有内容矢量计算器56可以基于诸如图像分析、工具在内容中的放置等其他数据来生成内容取向矢量。
内容取向选择模块58计算用户取向矢量102与内容取向矢量114之间的点积。针对四个场景计算点积，即，当内容取向矢量114沿图7所示的方向定向时、当内容取向矢量114向右90°定向时、当内容取向矢量114180°定向时、以及当内容取向矢量114向左90°定向时。然后，内容取向选择模块58选择四个点积中最低的点积，并放置渲染104，以使内容取向矢量114在具有最低相关联点积的方向上对准。然后，近边缘108被定位为比远边缘106更靠近用户60，并且右边缘112和左边缘110被定位到距如由用户方向矢量102所描绘的用户60的取向的右侧和左侧。因此，内容16以可由用户60容易看到的方式被定向。例如，显示了人的头部和躯干的照片，其中，头部距用户60最远并且躯干最靠近用户60，以及显示了文本文档，其中，第一行距用户60最远，最后几行距用户60最近。
内容尺寸确定模块54已经确定了渲染104的适当尺寸，其中，右边缘110和左边缘112定义了表面区域82内渲染104的宽度，并且远边缘106和近边缘104之间的距离由期望的长宽比确定。
在图8中，用户60已围绕表面区域82逆时针在方向116移动。用户60还已将其身体逆时针旋转90°。用户60现在已经建立了由新用户取向矢量118表示的新取向。用户的头部仍然朝着表面区域82向下倾斜，并且表面区域84和86现在分别位于用户60的后面和右边。
表面选择模块52再次计算与表面区域取向矢量92、94和96中的每一个相关联的点积。用户取向矢量118与表面区域取向矢量94的点积现在变为正。用户取向矢量118与表面区域取向矢量96之间的点积大约为零。用户取向矢量118与表面区域取向矢量92之间的点积是最负的。图1A中的表面选择模块52选择与表面区域取向矢量92相关联的表面区域82作为用于定位内容16的渲染的优选表面。
图1A中的内容取向选择模块58再次计算四个点积，每个点积与内容取向矢量的相应方向相关联，即，用户取向矢量118与在图8中所示的方向上的内容取向矢量114之间的点积，以及另外的，用户取向矢量118与相对于图8中的内容取向矢量114分别向右90°、180°和向左90°的内容取向矢量之间的点积。内容取向选择模块58确定与相对于图7所示的内容取向矢量114个方向向左90°的内容取向矢量114相关联的点积是四个点积中最正的。
如果内容取向矢量114向左旋转90°，则内容尺寸确定模块54然后确定用于渲染的适当尺寸。
图9示出了内容渲染模块22如何基于由用户取向矢量118所表示的用户取向来创建渲染104。将渲染104逆时针旋转90°，以使得内容取向矢量114与图8相比向左指向90°。近边缘108现在被定位为最靠近用户60。由于表面区域82的可用比例，图1A中的内容尺寸确定模块54使渲染104小于图8。渲染可以根据通过内容创建者或用户喜好选择的在位置之间捕捉(snap)、平滑旋转、淡入/淡出。
在图10中，用户60在方向120上围绕表面区域82进一步移动，并建立了如由新的用户取向矢量122表示的新的用户取向。用户取向矢量122与表面区域取向矢量96之间的点积现在为正。用户取向矢量122与表面区域取向矢量94之间的点积大约为零。用户取向矢量122与表面区域取向矢量92之间的点积是最负的。因此，表面区域82是用于显示内容的优选表面。
如图10所示，用户取向矢量122与内容取向矢量114之间的点积大约为零。如果内容取向矢量114顺时针旋转90°、旋转180°和逆时针旋转90°，则各个点积的大小不同，其中，向左90°的内容取向矢量114的点积为最正。因此，渲染104应该逆时针旋转90°并基于表面区域82的比例来重新调整尺寸。图11示出渲染104如何在保留在表面区域上的同时，由于用户取向矢量122的变化而旋转并重新调整尺寸82。
在图12中，用户60已围绕表面区域82在方向124上移动，并建立了如由新的用户取向矢量126表示的新的用户取向。用户取向矢量126与表面区域取向矢量94的点积现在为负。然而，用户取向矢量126与表面区域取向矢量92之间的点积更负。因此，表面区域82是用于创建内容16的渲染的优选表面区域。
如图12所示，用户取向矢量126与内容取向矢量114之间的点积近似为零。如果内容取向矢量114向左旋转90°，则用户取向矢量126与内容取向矢量114之间的点积为正。因此，渲染104应该在保留在表面区域82上的同时逆时针旋转。图13示出了基于新的用户取向矢量126修改的渲染104的放置、取向和尺寸。
图14示出了当用户60沿向上方向134旋转其头部时建立的新用户取向矢量132。用户取向矢量132与表面区域取向矢量92之间的点积近似为零。用户取向矢量132与表面区域取向矢量96之间的点积也近似为零。用户取向矢量132与表面区域取向矢量94之间的点积为-1或接近-1，因此是三个基于表面的点积中最负的。现在，表面区域84是用于放置内容16的渲染的优选表面区域。图15示出了在表面区域84上向用户60显示的渲染136。表面区域82上的渲染不再显示给用户60。在诸如表面区域84和表面区域86的竖直表面区域上，近边缘108总是在底部。
图16示出了用于执行如上所述的方法的算法。在150处，如参考图3所描述的，映射三维空间。在152A、B和C处，如参照图4所描述的，提取表面区域。在154A、B和C处，如参考图4所描述的，计算表面矢量。在156处，如参考图1至图4所描述的，确定用户取向矢量。在158A、B和C处，如参考图4所描述的，计算用户取向矢量与每个相应的表面区域取向矢量之间的相应的点积。在160处，如参考图4所描述的，确定优选表面区域。
在162处，确定优选表面区域是否是竖直的。如果优选表面区域不是竖直的，则在164处，如参照图7所描述的，确定内容取向矢量相对于内容的远边缘、近边缘、右边缘和左边缘的方向。在164之后，在166A、B、C和D处，如参考图7所描述的，计算0°、向右90°、180°和向左90°处的内容矢量。在168A、B、C和D处，计算用户取向矢量与分别在166A、B、C和D处计算的内容取向矢量之间的点积。在170处，如参考图7所描述的，选择内容取向。
在172处，如参考图5和图7所描述，确定内容的尺寸。在174处，如参考图5和图7所描述的，显示内容。
在174之后，如参考图6、8、9、10和12所描述的，可以在156处确定新的用户取向矢量。然后可以重复该过程而无需再次在154A、B和C处计算表面区域取向矢量。
参考图17和18，分别以透视图和俯视图示出了实施例，其中，在环境184内的映射表面182上渲染了三维虚拟内容180，以供用户60观看。在这样的实施例中，上述原理用于定位三维虚拟内容180，用户60可以尽可能容易且自然地观看该三维虚拟内容。
用户取向矢量66与装置12的前向矢量相同，并且因此被称为“装置前向矢量66”。确定放置三维虚拟内容180的表面可以至少部分地依赖于装置前向矢量66与环境184中的映射表面的表面法线矢量186之间的点积关系。为了三维虚拟内容180的最佳观看，取决于内容，许多点积关系中的一个可以被认为是最佳的。例如，如果要从侧面观看内容，则理想的是，装置前向矢量66与表面法线矢量186之间的点积关系接近零，这表明用户几乎与映射表面182正交。在这样的实施例中，放置在映射表面182上的三维虚拟内容180将由用户从侧面看到。替代地，如本文中相对于其他实施例所描述的，如果打算从上方观看三维虚拟内容180，则更希望在-1或接近-1的点积关系。理想点积关系可以是由三维虚拟内容180的创建者设置的属性、可以由用户根据偏好选择、或者可以基于要显示的内容类型由增强现实观看系统确定。
一旦通过系统或者通过用户的放置确定了放置表面，就相对于用户确定在映射表面182上的三维虚拟内容180的取向。在所示出的示例中，三维虚拟内容180被提供有内容取向矢量188，该内容取向矢量188可以用于将三维虚拟内容180与用户装置的参考矢量对准。三维虚拟内容180是角色的头部，其中，角色的近边缘是其嘴所在的位置。通常不渲染角色的远边缘来供用户60观看，因为该远边缘位于角色的用户看不到的一侧。内容取向矢量188与角色的近边缘平行地对准。内容取向矢量188可用于将三维虚拟内容180与增强现实观看器12对准，以使得内容取向矢量188与装置右向矢量64之间的点积等于或接近1，这表明两个矢量指向基本相同的方向。
参照图19和20，示出了基于用户的移动的三维内容重新取向的示例。在图19中，用户60已相对于图18围绕桌子顺时针移动一定距离和角度。结果，内容取向矢量188与装置右向矢量64之间的点积关系小于1。在一些实施例中，这种位置变化可能不需要对三维虚拟内容180进行重新取向。例如，内容创建者、用户或增强现实观看器12内的软件可以指示仅当内容取向矢量188与装置参考矢量之间的点积小于预定阈值时才需要三维虚拟内容180的重新取向。可以根据要显示的内容类型来设置大的或小的阈值公差。
如果用户60的位置从图18的位置变化到图19的位置触发了三维虚拟内容180的重新取向，则取向模块可以重新渲染三维虚拟内容180，使得如图20所示，内容取向矢量188与装置右向矢量64对准，以使两个矢量的点积等于或接近1。如上所讨论的，三维虚拟内容180的重新取向还可以允许调整内容的尺寸；然而，内容也可以保持相同的尺寸，使得当用户在环境中移动时，内容看起来仅围绕法向于映射表面182的轴重新取向。
参照图21、22和23，示出了在竖直表面198上虚拟内容196重新取向的示例。在图21中，示出了用户60观看位于环境中被竖直地定向的竖直表面198上的虚拟内容196。虚拟内容196可以具有内容右向取向矢量200和内容垂直取向矢量202中的至少一个，内容右向取向矢量200和内容垂直取向矢量202可以用于分别测量相对于装置右向矢量64和装置垂直矢量67的对准。在图21中，内容取向矢量(200、202)中的一个与对应的装置取向矢量(64、67)之间的对准导致点积值近似为1。如上所讨论的，点积值接近于1指示所比较的两个矢量之间更相似的对准。
如果用户60要改变位置，例如通过如图22所示躺在沙发上，在不重新定向虚拟内容196的情况下，内容取向矢量(200、202)与对应的装置取向矢量(64、67)之间的对准可能接近零，这表明用户60与虚拟内容196之间的比图21中所示的对准更差的最佳对准。如果为零的点积关系小于对于虚拟内容与用户相对取向所需的点积关系，则虚拟内容196可以以新的取向被重新渲染，如图23所示，使得点积关系在预定阈值内。在一些实施例中，以新的取向重新渲染虚拟内容196可以重新建立内容取向矢量(200、202)与对应的装置取向矢量(64、67)之间的最佳点积关系。
图24示出了计算机系统900的示例性形式的机器的示意表示，在该计算机系统中，可以执行用于使该机器执行本文所讨论的方法中的任何一个或多个的一组指令。在替代实施例中，该机器作为独立装置操作，或者可以被连接(例如，联网)到其他机器。此外，虽然仅图示了单个机器，但是术语“机器”也应被理解为包括单独或共同执行一组(或多组)指令以执行本文讨论的任何一个或多个方法的机器的任何集合。
示例性计算机系统900包括处理器902(例如，中央处理单元(CPU)、图形处理单元(GPU)或两者)；主存储器904(例如，只读存储器(ROM)、闪存、诸如同步DRAM(SDRAM)或Rambus DRAM(RDRAM)的动态随机存取存储器(DRAM)等)；以及静态存储器906(例如，闪存、静态随机存取存储器(SRAM)等)，其通过总线908彼此通信。
计算机系统900还可以包括磁盘驱动器单元916和网络接口装置920。
磁盘驱动器单元916包括机器可读介质922，其上存储着体现本文所述的方法或功能中的任何一个或多个的一组或多组指令924(例如，软件)。在由计算机系统900执行期间，软件还可以全部或至少部分地驻留在主存储器904内和/或处理器902内，主存储器904和处理器902也构成机器可读介质。
该软件还可以经由网络接口装置920在网络928上发送或接收。
尽管在示例性实施例中将机器可读介质924示出为单个介质，但是术语“机器可读介质”应被认为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的缓存和服务器)。术语“机器可读介质”也应被认为包括能够存储、编码或携带一组指令以供机器执行并且使机器执行本发明的方法中的任意一个或多个的任何介质。因此，术语“机器可读介质”应被认为包括但不限于固态存储器、光学和磁性介质以及载波信号。
尽管已经描述并在附图中示出了某些示例性实施例，但是应当理解，这些实施例仅是说明性的，并且不限制本发明，并且因为本领域的普通技术人员可以进行修改，所以本发明不限于所示出和所描述的特定构造和布置。

Claims (21)

1.一种增强现实观看器，包括：
显示器，其允许用户看到真实世界对象；
数据通道，其用于保持内容；
用户取向确定模块，其用于确定用户相对于第一显示区域的第一用户取向，并用于确定所述用户相对于所述第一显示区域的第二用户取向；
投射器，其被连接到所述数据通道，以在所述用户观看所述真实世界对象的同时在所述第一显示区域的边界内通过所述显示器向所述用户显示所述内容；以及
内容取向选择模块，其被连接到表面提取模块和所述用户取向模块，以相对于所述第一显示区域以第一内容取向来显示所述内容，以使得当所述用户处于所述第一用户取向时所述内容的近边缘靠近所述用户，并且相对于所述第一显示区域以第二内容取向来显示所述内容，以使得当所述用户处于所述第二用户取向时所述近边缘被旋转得更靠近所述用户，并且所述内容相对于所述第一显示区域从所述第一内容取向旋转到所述第二内容取向。
2.根据权利要求1所述的增强现实观看器，其中，所述用户取向确定模块确定指示用户的取向的用户取向矢量，所述增强现实观看器进一步包括：
内容矢量计算器，其用于计算相对于所述内容的所述近边缘的内容取向矢量，其中，所述内容取向选择模块确定所述用户取向矢量与所述内容取向矢量的点积，并基于所述点积在所述第二取向和所述第一取向上的大小，将所述内容从所述第一取向旋转到所述第二取向。
3.根据权利要求2所述的增强现实观看器，其中，所述内容取向矢量从所述内容的所述近边缘延伸，并且当所述点积在所述第二内容取向上变得比在所述第一内容取向上更大时，所述内容从所述第一内容取向旋转到所述第二内容取向。
4.根据权利要求1所述的增强现实观看器，进一步包括：
尺寸确定模块，其调整所述内容的尺寸以在所述第一取向和所述第二取向上适合所述表面区域。
5.根据权利要求4所述的增强现实观看器，其中，所述内容在所述第一取向和所述第二取向上具有相同的长宽比。
6.根据权利要求1所述的增强现实观看器，进一步包括：
表面区域提取模块，其用于确定所述第一显示区域。
7.根据权利要求6所述的增强现实观看器，其中，所述表面区域提取模块确定第二表面区域，并且所述用户取向确定模块确定用户相对于所述第一表面区域和所述第二表面区域的第一取向，所述增强现实观看器进一步包括：
表面区域选择模块，其基于相应的表面区域的法线被定向成与所述用户的所述第一用户取向更相反，在所述第一表面区域与所述第二表面区域之间选择优选表面区域，其中，所述投射器在所述用户观看所述真实世界对象的同时，在所述优选表面区域的边界内通过所述显示器向所述用户显示所述内容。
8.一种增强现实观看方法，包括：
由所述处理器确定用户相对于所述第一显示区域的第一用户取向；
当所述用户处于所述第一取向时，由所述处理器确定相对于所述显示器的第一内容取向；
在所述用户处于所述第一用户取向时通过显示器观看真实世界对象的同时，由所述处理器在所述第一显示区域的边界内通过所述显示器以所述第一内容取向来向所述用户显示内容；
由所述处理器确定所述用户相对于所述第一显示区域的第二用户取向；
当所述用户处于所述第二位置时，由所述处理器确定相对于所述显示器的第二内容取向；以及
当所述用户通过显示器从所述第二位置观看真实世界对象的同时，由所述处理器在所述显示区域的边界内通过所述显示器以所述第二内容取向来向所述用户显示内容，其中，所述内容相对于所述第一显示区域从所述第一内容取向被旋转到所述第二内容取向。
9.一种增强现实观看器，包括：
显示器，其允许用户观看真实世界对象；
数据通道，其用于保持内容；
表面区域提取模块，其用于确定第一表面区域和第二表面区域；
用户取向确定模块，其用于确定用户相对于所述第一表面区域和所述第二表面区域的第一取向；
表面区域选择模块，其基于相应的表面区域的法线被定向成与所述用户的所述第一用户取向更相反，在所述第一表面区域与所述第二表面区域之间选择优选表面区域；以及
投射器，其在所述用户观看所述真实世界对象的同时在所述优选表面区域的边界内通过所述显示器向所述用户显示所述内容。
10.根据权利要求9所述的增强现实观看器，其中，所述用户取向确定模块确定指示所述用户的所述第一用户取向的第一用户取向矢量，所述增强现实观看器进一步包括：
表面区域矢量计算器，其用于计算指示所述第一表面区域的取向的第一表面区域取向矢量和指示所述第二表面区域的取向的第二表面区域取向矢量，其中，所述表面区域选择模块确定所述第一用户取向矢量与所述第一表面区域取向矢量的点积和所述第一用户取向矢量与所述第二表面区域取向矢量的点积，并且基于所述第一用户取向矢量与所述第一表面区域取向矢量的点积和所述第一用户取向矢量与所述第二表面区域取向矢量的点积的相对大小来选择所述优选表面区域。
11.根据权利要求10所述的增强现实观看器，其中，所述第一表面区域取向矢量垂直于所述第一表面区域，所述第二表面区域取向矢量垂直于所述第二表面区域，并且基于在大小上最负的点积来选择所述优选表面区域。
12.根据权利要求9所述的增强现实观看器，其中，所述用户位置和用户取向确定模块确定指示所述用户的第二取向的第二用户取向矢量，并且所述表面选择模块确定所述第二用户取向矢量与所述第一表面区域取向矢量的点积以及所述第二用户取向矢量与所述第二表面区域取向矢量的点积，并基于所述第二用户取向矢量与所述第一表面区域取向矢量的点积和所述第二用户取向矢量与所述第二表面区域取向矢量的点积的相对大小来选择所述优选表面区域。
13.根据权利要求12所述的增强现实观看器，其中，当所述第一用户取向改变到所述第二用户取向时，所述用户相对于所述第一表面区域和所述第二表面区域保持在相同位置。
14.根据权利要求12所述的增强现实观看器，其中，当所述第一用户取向改变到所述第二用户取向时，所述用户相对于所述第一表面区域和所述第二表面区域从第一位置移动到第二位置。
15.根据权利要求12所述的增强现实观看器，其中，当所述用户取向矢量从所述第一用户取向矢量改变到所述第二用户取向矢量时，所述优选表面区域保持相同。
16.根据权利要求12所述的增强现实观看器，其中，当所述用户取向矢量从所述第一用户取向矢量改变到所述第二用户取向矢量时，所述优选表面从所述第一表面改变到所述第二表面。
17.根据权利要求12所述的增强现实用户，进一步包括：
尺寸确定模块，其调整所述内容在所述优选表面中的尺寸以适合所述第二表面区域。
18.根据权利要求17所述的增强现实用户，其中，所述内容在所述第一表面区域和所述第二表面区域中具有相同的长宽比。
19.一种增强现实观看方法，包括：
由处理器确定第一表面区域和第二表面区域；
由所述处理器确定用户相对于所述第一表面区域和所述第二表面区域的第一取向；
由所述处理器基于相应的表面区域的法线被定向成更朝向所述用户的所述第一位置，在所述第一表面区域与所述第二表面区域之间选择优选表面区域；以及
在所述用户从所述第一位置通过显示器观看真实世界对象的同时，由所述处理器在所述优选表面区域的边界内通过所述显示器向所述用户显示内容。
20.一种增强现实观看器，包括：
环境计算单元，其用于确定指示用户的取向的第一矢量；
矢量计算器，其用于计算第二矢量；
选择模块，其用于计算所述第一矢量与所述第二矢量的点积；
数据通道，其用于保持内容；
内容渲染模块，其用于基于所述点积来确定所述内容的放置；
显示器，其允许所述用户看到真实世界对象；以及
投射器，其在所述用户通过所述显示器观看所述真实世界对象的同时通过所述显示器向所述用户显示所述内容，所述内容基于由所述内容渲染模块确定的所述放置而被显示。
21.一种增强现实观看方法，包括：
由处理器确定指示用户的取向的第一矢量；
由所述处理器计算第二矢量；
由所述处理器计算所述第一矢量与所述第二矢量的点积；
由所述处理器基于所述点积来确定内容的放置；以及
在所述用户通过显示器观看真实世界对象的同时，由所述处理器通过所述显示器向所述用户显示所述内容，所述内容基于由所述内容渲染模块确定的所述放置而被显示。
CN201980050600.XA 2018-06-08 2019-06-10 具有自动表面选择放置和内容取向放置的增强现实观看器 Pending CN112513785A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862682788P 2018-06-08 2018-06-08
US62/682,788 2018-06-08
PCT/US2019/036275 WO2019237099A1 (en) 2018-06-08 2019-06-10 Augmented reality viewer with automated surface selection placement and content orientation placement

Publications (1)

Publication Number Publication Date
CN112513785A true CN112513785A (zh) 2021-03-16

Family

ID=68764935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980050600.XA Pending CN112513785A (zh) 2018-06-08 2019-06-10 具有自动表面选择放置和内容取向放置的增强现实观看器

Country Status (5)

Country Link
US (2) US11092812B2 (zh)
EP (1) EP3803545A4 (zh)
JP (1) JP7421505B2 (zh)
CN (1) CN112513785A (zh)
WO (1) WO2019237099A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
TWI779305B (zh) * 2020-06-24 2022-10-01 奧圖碼股份有限公司 使用擴增實境之投影機的設置模擬方法及其終端裝置
JP7280385B2 (ja) * 2020-10-23 2023-05-23 チョーチアン センスタイム テクノロジー デベロップメント カンパニー，リミテッド 視覚的ポジショニング方法および関連装置、機器並びにコンピュータ可読記憶媒体
US11620796B2 (en) * 2021-03-01 2023-04-04 International Business Machines Corporation Expert knowledge transfer using egocentric video
CN113141346B (zh) * 2021-03-16 2023-04-28 青岛小鸟看看科技有限公司 基于串流的vr一拖多系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103460255A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 用于本地多用户协作的模块化移动连接式微微型投影仪

Family Cites Families (224)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6541736B1 (en) 2001-12-10 2003-04-01 Usun Technology Co., Ltd. Circuit board/printed circuit board having pre-reserved conductive heating circuits
US4344092A (en) 1980-10-21 1982-08-10 Circon Corporation Miniature video camera means for video system
US4652930A (en) 1984-11-19 1987-03-24 Rca Corporation Television camera structure
US4810080A (en) 1987-09-03 1989-03-07 American Optical Corporation Protective eyewear with removable nosepiece and corrective spectacle
US4997268A (en) 1989-07-24 1991-03-05 Dauvergne Hector A Corrective lens configuration
US5074295A (en) 1989-08-03 1991-12-24 Jamie, Inc. Mouth-held holder
US5007727A (en) 1990-02-26 1991-04-16 Alan Kahaney Combination prescription lens and sunglasses assembly
US5240220A (en) 1990-09-12 1993-08-31 Elbex Video Ltd. TV camera supporting device
WO1993001743A1 (en) 1991-07-22 1993-02-04 Adair Edwin Lloyd Sterile video microscope holder for operating room
US5224198A (en) 1991-09-30 1993-06-29 Motorola, Inc. Waveguide virtual image display
US5497463A (en) 1992-09-25 1996-03-05 Bull Hn Information Systems Inc. Ally mechanism for interconnecting non-distributed computing environment (DCE) and DCE systems to operate in a network system
US5410763A (en) 1993-02-11 1995-05-02 Etablissments Bolle Eyeshield with detachable components
US5682255A (en) 1993-02-26 1997-10-28 Yeda Research & Development Co. Ltd. Holographic optical devices for the transmission of optical signals of a plurality of channels
US6023288A (en) 1993-03-31 2000-02-08 Cairns & Brother Inc. Combination head-protective helmet and thermal imaging apparatus
US5455625A (en) 1993-09-23 1995-10-03 Rosco Inc. Video camera unit, protective enclosure and power circuit for same, particularly for use in vehicles
US5835061A (en) 1995-06-06 1998-11-10 Wayport, Inc. Method and apparatus for geographic-based communications service
US5864365A (en) 1996-01-26 1999-01-26 Kaman Sciences Corporation Environmentally controlled camera housing assembly
US5854872A (en) 1996-10-08 1998-12-29 Clio Technologies, Inc. Divergent angle rotator system and method for collimating light beams
US8005254B2 (en) 1996-11-12 2011-08-23 Digimarc Corporation Background watermark processing
US6012811A (en) 1996-12-13 2000-01-11 Contour Optik, Inc. Eyeglass frames with magnets at bridges for attachment
JP3465528B2 (ja) 1997-04-22 2003-11-10 三菱瓦斯化学株式会社 新規な光学材料用樹脂
JPH11142783A (ja) 1997-11-12 1999-05-28 Olympus Optical Co Ltd 画像表示装置
US6191809B1 (en) 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
US6076927A (en) 1998-07-10 2000-06-20 Owens; Raymond L. Adjustable focal length eye glasses
JP2000099332A (ja) 1998-09-25 2000-04-07 Hitachi Ltd 遠隔手続き呼び出し最適化方法とこれを用いたプログラム実行方法
US6918667B1 (en) 1998-11-02 2005-07-19 Gary Martin Zelman Auxiliary eyewear attachment apparatus
US6556245B1 (en) 1999-03-08 2003-04-29 Larry Allan Holmberg Game hunting video camera
US6375369B1 (en) 1999-04-22 2002-04-23 Videolarm, Inc. Housing for a surveillance camera
US6757068B2 (en) 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
JP4921634B2 (ja) 2000-01-31 2012-04-25 グーグル インコーポレイテッド 表示装置
JP4646374B2 (ja) 2000-09-29 2011-03-09 オリンパス株式会社 画像観察光学系
TW522256B (en) 2000-12-15 2003-03-01 Samsung Electronics Co Ltd Wearable display system
US6807352B2 (en) 2001-02-11 2004-10-19 Georgia Tech Research Corporation Optical waveguides with embedded air-gap cladding layer and methods of fabrication thereof
US6931596B2 (en) * 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
US20020140848A1 (en) 2001-03-30 2002-10-03 Pelco Controllable sealed chamber for surveillance camera
EP1249717A3 (en) 2001-04-10 2005-05-11 Matsushita Electric Industrial Co., Ltd. Antireflection coating and optical element using the same
JP4682470B2 (ja) 2001-07-16 2011-05-11 株式会社デンソー スキャン型ディスプレイ装置
US6762845B2 (en) 2001-08-23 2004-07-13 Zygo Corporation Multiple-pass interferometry
EP1430351B1 (en) 2001-09-25 2006-11-29 Cambridge Flat Projection Displays Limited Flat-panel projection display
US6833955B2 (en) 2001-10-09 2004-12-21 Planop Planar Optics Ltd. Compact two-plane optical device
US7305020B2 (en) 2002-02-04 2007-12-04 Vizionware, Inc. Method and system of reducing electromagnetic interference emissions
US6849558B2 (en) 2002-05-22 2005-02-01 The Board Of Trustees Of The Leland Stanford Junior University Replication and transfer of microstructures and nanostructures
US6714157B2 (en) 2002-08-02 2004-03-30 The Boeing Company Multiple time-interleaved radar operation using a single radar at different angles
KR100480786B1 (ko) 2002-09-02 2005-04-07 삼성전자주식회사 커플러를 가지는 집적형 광 헤드
US7306337B2 (en) 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
DE10311972A1 (de) 2003-03-18 2004-09-30 Carl Zeiss HMD-Vorrichtung
AU2003901272A0 (en) 2003-03-19 2003-04-03 Martin Hogan Pty Ltd Improvements in or relating to eyewear attachments
US7294360B2 (en) 2003-03-31 2007-11-13 Planar Systems, Inc. Conformal coatings for micro-optical elements, and method for making the same
WO2004109349A2 (en) 2003-06-10 2004-12-16 Elop Electro-Optics Industries Ltd. Method and system for displaying an informative image against a background image
JP4699699B2 (ja) 2004-01-15 2011-06-15 株式会社東芝 ビーム光走査装置及び画像形成装置
EP1731943B1 (en) 2004-03-29 2019-02-13 Sony Corporation Optical device and virtual image display device
GB0416038D0 (en) 2004-07-16 2004-08-18 Portland Press Ltd Document display system
US20070189669A1 (en) 2004-07-22 2007-08-16 Maurizio Tormen Integrated wavelength selective grating-based filter
WO2006016366A2 (en) 2004-08-12 2006-02-16 Elop Electro-Optical Industries Ltd. Integrated retinal imager and method
US9030532B2 (en) 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
US7029114B2 (en) 2004-09-03 2006-04-18 E'lite Optik U.S. L.P. Eyewear assembly with auxiliary frame and lens assembly
JP4858170B2 (ja) 2004-09-16 2012-01-18 株式会社ニコン 非晶質酸化珪素バインダを有するＭｇＦ２光学薄膜の製造方法
US20060126181A1 (en) 2004-12-13 2006-06-15 Nokia Corporation Method and system for beam expansion in a display device
US8619365B2 (en) 2004-12-29 2013-12-31 Corning Incorporated Anti-reflective coating for optical windows and elements
GB0502453D0 (en) 2005-02-05 2005-03-16 Cambridge Flat Projection Flat panel lens
US7573640B2 (en) 2005-04-04 2009-08-11 Mirage Innovations Ltd. Multi-plane optical apparatus
US20060250322A1 (en) 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
EP1938152B1 (en) 2005-06-03 2012-08-15 Nokia Corporation General diffractive optics method for expanding an exit pupil
JP4776285B2 (ja) 2005-07-01 2011-09-21 ソニー株式会社 照明光学装置及びこれを用いた虚像表示装置
US20080043334A1 (en) 2006-08-18 2008-02-21 Mirage Innovations Ltd. Diffractive optical relay and method for manufacturing the same
US20070058248A1 (en) 2005-09-14 2007-03-15 Nguyen Minh T Sport view binocular-zoom lens focus system
WO2007036936A1 (en) 2005-09-28 2007-04-05 Mirage Innovations Ltd. Stereoscopic binocular system, device and method
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US9658473B2 (en) 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20090128902A1 (en) 2005-11-03 2009-05-21 Yehuda Niv Binocular Optical Relay Device
CN101313234B (zh) 2005-11-18 2011-01-05 纳诺科普有限公司 制造衍射光栅元件的方法
WO2007062098A2 (en) 2005-11-21 2007-05-31 Microvision, Inc. Display with image-guiding substrate
ES2605367T3 (es) 2006-01-26 2017-03-14 Nokia Technologies Oy Dispositivo de seguimiento ocular
JP2007219106A (ja) 2006-02-16 2007-08-30 Konica Minolta Holdings Inc 光束径拡大光学素子、映像表示装置およびヘッドマウントディスプレイ
US7461535B2 (en) 2006-03-01 2008-12-09 Memsic, Inc. Multi-temperature programming for accelerometer
IL174170A (en) 2006-03-08 2015-02-26 Abraham Aharoni Device and method for two-eyed tuning
EP2662787B1 (en) 2006-03-15 2016-12-28 Google, Inc. Automatic display of resized images
US7692855B2 (en) 2006-06-28 2010-04-06 Essilor International Compagnie Generale D'optique Optical article having a temperature-resistant anti-reflection coating with optimized thickness ratio of low index and high index layers
US7724980B1 (en) 2006-07-24 2010-05-25 Adobe Systems Incorporated System and method for selective sharpening of images
US20080068557A1 (en) 2006-09-20 2008-03-20 Gilbert Menduni Lens holding frame
US20080146942A1 (en) 2006-12-13 2008-06-19 Ep Medsystems, Inc. Catheter Position Tracking Methods Using Fluoroscopy and Rotational Sensors
JP4348441B2 (ja) * 2007-01-22 2009-10-21 国立大学法人 大阪教育大学 位置検出装置、位置検出方法、データ判定装置、データ判定方法、コンピュータプログラム及び記憶媒体
US20090017910A1 (en) 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
US8320032B2 (en) 2007-06-04 2012-11-27 Nokia Corporation Diffractive beam expander and a virtual display based on a diffractive beam expander
WO2009077802A1 (en) 2007-12-18 2009-06-25 Nokia Corporation Exit pupil expanders with wide field-of-view
DE102008005817A1 (de) 2008-01-24 2009-07-30 Carl Zeiss Ag Optisches Anzeigegerät
PL2242419T3 (pl) 2008-02-14 2016-05-31 Nokia Technologies Oy Urządzenie i sposób określania kierunku spojrzenia
JP2009244869A (ja) 2008-03-11 2009-10-22 Panasonic Corp 表示装置、表示方法、眼鏡型ヘッドマウントディスプレイ、及び自動車
US8197088B2 (en) 2008-06-13 2012-06-12 Barco, Inc. Vertical handling apparatus for a display
JP5181860B2 (ja) 2008-06-17 2013-04-10 セイコーエプソン株式会社 パルス幅変調信号生成装置およびそれを備えた画像表示装置、並びにパルス幅変調信号生成方法
US10885471B2 (en) 2008-07-18 2021-01-05 Disney Enterprises, Inc. System and method for providing location-based data on a wireless portable device
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US7885506B2 (en) 2008-09-26 2011-02-08 Nokia Corporation Device and a method for polarized illumination of a micro-display
US9775538B2 (en) 2008-12-03 2017-10-03 Mediguide Ltd. System and method for determining the position of the tip of a medical catheter within the body of a patient
JP5121764B2 (ja) 2009-03-24 2013-01-16 株式会社東芝 固体撮像装置
US9095436B2 (en) 2009-04-14 2015-08-04 The Invention Science Fund I, Llc Adjustable orthopedic implant and method for treating an orthopedic condition in a subject
JP2011033993A (ja) * 2009-08-05 2011-02-17 Sharp Corp 情報提示装置、および情報提示方法
JP5316391B2 (ja) 2009-08-31 2013-10-16 ソニー株式会社 画像表示装置及び頭部装着型ディスプレイ
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
US8305502B2 (en) 2009-11-11 2012-11-06 Eastman Kodak Company Phase-compensated thin-film beam combiner
US8605209B2 (en) 2009-11-24 2013-12-10 Gregory Towle Becker Hurricane damage recording camera system
US8909962B2 (en) 2009-12-16 2014-12-09 Qualcomm Incorporated System and method for controlling central processing unit power with guaranteed transient deadlines
US8565554B2 (en) 2010-01-09 2013-10-22 Microsoft Corporation Resizing of digital images
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9547910B2 (en) 2010-03-04 2017-01-17 Honeywell International Inc. Method and apparatus for vision aided navigation using image registration
JP5499854B2 (ja) 2010-04-08 2014-05-21 ソニー株式会社 頭部装着型ディスプレイにおける光学的位置調整方法
US8118499B2 (en) 2010-05-19 2012-02-21 LIR Systems, Inc. Infrared camera assembly systems and methods
US20110291964A1 (en) * 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
JP2012015774A (ja) 2010-06-30 2012-01-19 Toshiba Corp 立体視映像処理装置および立体視映像処理方法
US8854594B2 (en) 2010-08-31 2014-10-07 Cast Group Of Companies Inc. System and method for tracking
US20120081392A1 (en) * 2010-09-30 2012-04-05 Apple Inc. Electronic device operation adjustment based on face detection
US20120113235A1 (en) 2010-11-08 2012-05-10 Sony Corporation 3d glasses, systems, and methods for optimized viewing of 3d video content
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US8949637B2 (en) 2011-03-24 2015-02-03 Intel Corporation Obtaining power profile information with low overhead
KR101210163B1 (ko) 2011-04-05 2012-12-07 엘지이노텍 주식회사 광학 시트 및 이를 포함하는 표시장치
US8856355B2 (en) 2011-05-09 2014-10-07 Samsung Electronics Co., Ltd. Systems and methods for facilitating communication between mobile devices and display devices
WO2012166135A1 (en) 2011-06-01 2012-12-06 Empire Technology Development,Llc Structured light projection for motion detection in augmented reality
US9087267B2 (en) 2011-06-10 2015-07-21 Image Vision Labs, Inc. Image scene recognition
US10606066B2 (en) 2011-06-21 2020-03-31 Gholam A. Peyman Fluidic light field camera
US20120326948A1 (en) 2011-06-22 2012-12-27 Microsoft Corporation Environmental-light filter for see-through head-mounted display device
CN103648394B (zh) 2011-06-27 2016-11-16 皇家飞利浦有限公司 使用外科工具曲线与x-射线图像的配准的实时3d血管造影
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US9835765B2 (en) 2011-09-27 2017-12-05 Canon Kabushiki Kaisha Optical element and method for manufacturing the same
US8847988B2 (en) 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US9125301B2 (en) 2011-10-18 2015-09-01 Integrated Microwave Corporation Integral heater assembly and method for carrier or host board of electronic package assembly
US8608309B2 (en) 2011-12-30 2013-12-17 A New Vision Llc Eyeglass system
EP2797657B1 (en) 2011-12-30 2019-03-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for detection and avoidance of collisions of robotically-controlled medical devices
US9704220B1 (en) * 2012-02-29 2017-07-11 Google Inc. Systems, methods, and media for adjusting one or more images displayed to a viewer
CN104471463B (zh) 2012-05-03 2018-02-13 诺基亚技术有限公司 图像提供装置、方法和计算机程序
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9113291B2 (en) 2012-06-18 2015-08-18 Qualcomm Incorporated Location detection within identifiable pre-defined geographic areas
US9031283B2 (en) 2012-07-12 2015-05-12 Qualcomm Incorporated Sensor-aided wide-area localization on mobile devices
EP2885708A4 (en) 2012-08-20 2016-11-09 D Kevin Cameron ASSIGNMENT OF TREATMENT RESOURCE
US9177404B2 (en) 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9576183B2 (en) 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
US9584382B2 (en) 2012-11-28 2017-02-28 At&T Intellectual Property I, L.P. Collecting and using quality of experience information
US20140168260A1 (en) 2012-12-13 2014-06-19 Paul M. O'Brien Waveguide spacers within an ned device
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
EP2939065A4 (en) 2012-12-31 2016-08-10 Esight Corp APPARATUS AND METHOD FOR ATTACHING VISION FIELD INCREASE VISIOCASQUE SYSTEMS
US9336629B2 (en) 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
GB201301764D0 (en) 2013-01-31 2013-03-20 Adlens Ltd Actuation of fluid-filled lenses
US9600068B2 (en) 2013-03-13 2017-03-21 Sony Interactive Entertainment Inc. Digital inter-pupillary distance adjustment
WO2014144035A1 (en) * 2013-03-15 2014-09-18 Brian Adams Ballard Method and system for representing and interacting with augmented reality content
JP6232763B2 (ja) 2013-06-12 2017-11-22 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2016529559A (ja) 2013-08-27 2016-09-23 フラメリ・インコーポレーテッド 取り外し可能眼鏡レンズおよびフレームプラットフォーム
US9256072B2 (en) 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
US20150123966A1 (en) 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
KR102189115B1 (ko) 2013-11-11 2020-12-09 삼성전자주식회사 대칭형 다중 프로세서를 구비한 시스템 온-칩 및 이를 위한 최대 동작 클럭 주파수 결정 방법
US9286725B2 (en) 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
JP5973087B2 (ja) * 2013-11-19 2016-08-23 日立マクセル株式会社 投射型映像表示装置
WO2015079610A1 (ja) 2013-11-26 2015-06-04 ソニー株式会社 ヘッドマウントディスプレイ
CA2931776A1 (en) 2013-11-27 2015-06-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
WO2015100714A1 (en) 2014-01-02 2015-07-09 Empire Technology Development Llc Augmented reality (ar) system
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US9383630B2 (en) 2014-03-05 2016-07-05 Mygo, Llc Camera mouth mount
US9871741B2 (en) 2014-03-10 2018-01-16 Microsoft Technology Licensing, Llc Resource management based on device-specific or user-specific resource usage profiles
US9251598B2 (en) 2014-04-10 2016-02-02 GM Global Technology Operations LLC Vision-based multi-camera factory monitoring with dynamic integrity scoring
US20150301955A1 (en) 2014-04-21 2015-10-22 Qualcomm Incorporated Extending protection domains to co-processors
US9626802B2 (en) 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
EP3140780B1 (en) 2014-05-09 2020-11-04 Google LLC Systems and methods for discerning eye signals and continuous biometric identification
EP2952850A1 (en) 2014-06-03 2015-12-09 Optotune AG Optical device, particularly for tuning the focal length of a lens of the device by means of optical feedback
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US20160077338A1 (en) 2014-09-16 2016-03-17 Steven John Robbins Compact Projection Light Engine For A Diffractive Waveguide Display
US9494799B2 (en) 2014-09-24 2016-11-15 Microsoft Technology Licensing, Llc Waveguide eye tracking employing switchable diffraction gratings
US10176625B2 (en) 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
CA2962899C (en) 2014-09-29 2022-10-04 Robert Dale Tekolste Architectures and methods for outputting different wavelength light out of waveguides
US10048835B2 (en) 2014-10-31 2018-08-14 Microsoft Technology Licensing, Llc User interface functionality for facilitating interaction between users and their environments
US10371936B2 (en) 2014-11-10 2019-08-06 Leo D. Didomenico Wide angle, broad-band, polarization independent beam steering and concentration of wave energy utilizing electronically controlled soft matter
WO2016106220A1 (en) 2014-12-22 2016-06-30 Dimensions And Shapes, Llc Headset vision system for portable devices
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
WO2016146963A1 (en) 2015-03-16 2016-09-22 Popovich, Milan, Momcilo Waveguide device incorporating a light pipe
US9955862B2 (en) 2015-03-17 2018-05-01 Raytrx, Llc System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
US10909464B2 (en) 2015-04-29 2021-02-02 Microsoft Technology Licensing, Llc Semantic locations prediction
KR20160139727A (ko) 2015-05-28 2016-12-07 엘지전자 주식회사 글래스타입 단말기 및 이의 제어방법
GB2539009A (en) 2015-06-03 2016-12-07 Tobii Ab Gaze detection method and apparatus
JP6780642B2 (ja) * 2015-06-15 2020-11-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN108464030B (zh) 2015-06-15 2021-08-24 希尔莱特有限责任公司 用于与波束形成天线通信的方法和系统
US9519084B1 (en) 2015-06-18 2016-12-13 Oculus Vr, Llc Securing a fresnel lens to a refractive optical element
US10712573B2 (en) 2015-07-06 2020-07-14 Frank Jones Methods and devices for demountable head mounted displays
US20170100664A1 (en) 2015-10-12 2017-04-13 Osterhout Group, Inc. External user interface for head worn computing
US20170038607A1 (en) 2015-08-04 2017-02-09 Rafael Camara Enhanced-reality electronic device for low-vision pathologies, and implant procedure
WO2017039308A1 (en) 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
US10067346B2 (en) 2015-10-23 2018-09-04 Microsoft Technology Licensing, Llc Holographic display
US9671615B1 (en) 2015-12-01 2017-06-06 Microsoft Technology Licensing, Llc Extended field of view in near-eye display using wide-spectrum imager
US10025060B2 (en) 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset
EP3190447B1 (en) 2016-01-06 2020-02-05 Ricoh Company, Ltd. Light guide and virtual image display device
US9978180B2 (en) 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
US9891436B2 (en) 2016-02-11 2018-02-13 Microsoft Technology Licensing, Llc Waveguide-based displays with anti-reflective and highly-reflective coating
JP6686504B2 (ja) 2016-02-15 2020-04-22 セイコーエプソン株式会社 頭部装着型画像表示装置
US20170256096A1 (en) * 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
EP3435864A4 (en) 2016-03-31 2019-09-18 Zoll Medical Corporation SYSTEMS AND METHODS FOR MONITORING THE MOVEMENT OF A PATIENT
KR20180125600A (ko) 2016-04-07 2018-11-23 매직 립, 인코포레이티드 증강 현실을 위한 시스템들 및 방법들
EP3236211A1 (en) 2016-04-21 2017-10-25 Thomson Licensing Method and apparatus for estimating a pose of a rendering device
US20170312032A1 (en) 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US10215986B2 (en) 2016-05-16 2019-02-26 Microsoft Technology Licensing, Llc Wedges for light transformation
US11228770B2 (en) 2016-05-16 2022-01-18 Qualcomm Incorporated Loop sample processing for high dynamic range and wide color gamut video coding
US10078377B2 (en) 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
PL3494695T3 (pl) 2016-08-04 2024-02-19 Dolby Laboratories Licensing Corporation Rozwiązania akomodacji-wergencji ze śledzeniem pojedynczej głębi
WO2018031621A1 (en) 2016-08-11 2018-02-15 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
US20180067779A1 (en) 2016-09-06 2018-03-08 Smartiply, Inc. AP-Based Intelligent Fog Agent
US20180082480A1 (en) 2016-09-16 2018-03-22 John R. White Augmented reality surgical technique guidance
US10534043B2 (en) 2016-09-26 2020-01-14 Magic Leap, Inc. Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system
EP3320829A1 (en) 2016-11-10 2018-05-16 E-Health Technical Solutions, S.L. System for integrally measuring clinical parameters of visual function
US10489975B2 (en) 2017-01-04 2019-11-26 Daqri, Llc Environmental mapping system
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
EP3376279B1 (en) 2017-03-13 2022-08-31 Essilor International Optical device for a head-mounted display, and head-mounted device incorporating it for augmented reality
US10241545B1 (en) 2017-06-01 2019-03-26 Facebook Technologies, Llc Dynamic distortion correction for optical compensation
US10402448B2 (en) 2017-06-28 2019-09-03 Google Llc Image retrieval with deep local feature descriptors and attention-based keypoint descriptors
US20190056591A1 (en) 2017-08-18 2019-02-21 Microsoft Technology Licensing, Llc Optical waveguide with multiple antireflective coatings
US9948612B1 (en) 2017-09-27 2018-04-17 Citrix Systems, Inc. Secure single sign on and conditional access for client applications
US10437065B2 (en) 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
WO2019148154A1 (en) 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
US10422989B2 (en) 2018-02-06 2019-09-24 Microsoft Technology Licensing, Llc Optical systems including a single actuator and multiple fluid-filled optical lenses for near-eye-display devices
GB201805301D0 (en) 2018-03-29 2018-05-16 Adlens Ltd Improvements In Or Relating To Variable Focusing Power Optical Devices
US10740966B2 (en) * 2018-05-14 2020-08-11 Microsoft Technology Licensing, Llc Fake thickness on a two-dimensional object
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103460255A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 用于本地多用户协作的模块化移动连接式微微型投影仪

Also Published As

Publication number Publication date
WO2019237099A1 (en) 2019-12-12
EP3803545A1 (en) 2021-04-14
US11092812B2 (en) 2021-08-17
EP3803545A4 (en) 2022-01-26
JP7421505B2 (ja) 2024-01-24
US20190377192A1 (en) 2019-12-12
US20210318547A1 (en) 2021-10-14
JP2021527252A (ja) 2021-10-11

Similar Documents

Publication Publication Date Title
US11024093B2 (en) Live augmented reality guides
US10713851B2 (en) Live augmented reality using tracking
US10096157B2 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
US11092812B2 (en) Augmented reality viewer with automated surface selection placement and content orientation placement
CN109791442B (zh) 表面建模系统和方法
US9824485B2 (en) Presenting a view within a three dimensional scene
US10665024B2 (en) Providing recording guidance in generating a multi-view interactive digital media representation
WO2020009948A1 (en) Providing recording guidance in generating a multi-view interactive digital media representation
US11869135B2 (en) Creating action shot video from multi-view capture data
US10523912B2 (en) Displaying modified stereo visual content
WO2017041740A1 (en) Methods and systems for light field augmented reality/virtual reality on mobile devices
US11212502B2 (en) Method of modifying an image on a computational device
CN109710054B (zh) 用于头戴式显示设备的虚拟物体呈现方法和装置
US20230396750A1 (en) Dynamic resolution of depth conflicts in telepresence
US20170052684A1 (en) Display control apparatus, display control method, and program
WO2023049087A1 (en) Portal view for content items

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination