CN107111370B - 现实世界对象的虚拟表示 - Google Patents

现实世界对象的虚拟表示 Download PDF

Info

Publication number
CN107111370B
CN107111370B CN201580071952.5A CN201580071952A CN107111370B CN 107111370 B CN107111370 B CN 107111370B CN 201580071952 A CN201580071952 A CN 201580071952A CN 107111370 B CN107111370 B CN 107111370B
Authority
CN
China
Prior art keywords
virtual proxy
proxy object
real
augmented reality
world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580071952.5A
Other languages
English (en)
Other versions
CN107111370A (zh
Inventor
M·托马斯
C·G·布朗
N·G·法杰特
J·B·克申鲍姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107111370A publication Critical patent/CN107111370A/zh
Application granted granted Critical
Publication of CN107111370B publication Critical patent/CN107111370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

描述了用于在增强现实环境内生成虚拟代理对象并控制虚拟代理对象的位置的方法。在一些实施例中，头戴式显示设备(HMD)可标识为其生成虚拟代理对象的现实世界对象、生成与该现实世界对象相对应的虚拟代理对象并使用HMD显示该虚拟代理对象，使得该虚拟代理对象被感知为存在于向HMD的终端用户显示的增强现实环境内。在一些情况下，图像处理技术可被应用于由嵌入在HMD内的深度相机得到的深度图像，以便标识现实世界对象的边界点，并确定与现实世界对象相对应的虚拟代理对象的维度。

Description

现实世界对象的虚拟表示
背景
增强现实(AR)涉及提供经增强的现实世界环境，其中用计算机生成的虚拟数据来增强或修改对现实世界环境(或表示现实世界环境的数据)的感知。例如，可使用诸如相机或话筒等传感输入设备实时地捕捉表示现实世界环境的数据，并用包括虚拟图像和虚拟声音的计算机生成的虚拟数据来增强该数据。虚拟数据还可包括与现实世界环境有关的信息，诸如与现实世界环境中的现实世界对象相关联的文本描述。一些AR环境内的对象可包括现实对象(即，存在于特定现实世界环境中的对象)和虚拟对象(即，不存在于该特定现实世界环境中的对象)。
为了将虚拟对象逼真地集成到AR环境中，AR系统可执行包括映射和本地化在内的若干任务。映射涉及生成现实世界环境的映射的过程。本地化涉及相对于现实世界环境的映射来定位特定视点或姿态的过程。在一些情况下，AR系统可实时本地化在现实世界环境内移动的移动设备的姿态，以便确定要随该移动设备在现实世界环境中移动而被增强的与该移动设备相关联的特定视图。
概述
描述了用于提供交互式增强现实环境的技术，在该交互式增强现实环境中，虚拟代理对象可被自动地生成，并随后由头戴式显示设备(HMD)的终端用户来控制。在一些实施例中，HMD可标识要为其生成虚拟代理对象的现实世界对象，生成与现实世界对象相对应的虚拟代理对象，并使用HMD来显示该虚拟代理对象使得该虚拟代理对象被感知为存在于向HMD的终端用户显示的增强现实环境内。虚拟代理对象在增强现实环境内的位置可由终端用户使用姿势或音频命令(例如，经由手势或语音命令)来控制。在一些情况下，图像处理技术(例如，特征检测、边缘检测、分段等)可被应用于从嵌入在HMD内的深度相机得到的深度图像和/或从嵌入在HMD内的RGB相机得到的彩色图像，以便标识现实世界对象的边界点并确定与现实世界对象相对应的虚拟代理对象的各维度。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。
附图简述
图1是可在其中实施所公开的技术的联网计算环境的一个实施例的框图。
图2A描绘了与第二移动设备通信的移动设备的一个实施例。
图2B描绘了HMD的一部分的一个实施例。
图2C描绘了HMD的一部分的一个实施例，其中延伸到注视点的注视向量被用于对准远瞳距(IPD)。
图2D描绘了HMD的一部分的一个实施例，其中延伸到注视点的注视向量被用于对准近瞳距(IPD)。
图2E描绘了HMD的一部分的一个实施例，该HMD具有包括凝视检测元件的可移动显示光学系统。
图2F描绘了HMD的一部分的一个替换实施例，该HMD具有包括凝视检测元件的可移动显示光学系统。
图3描绘了包括捕捉设备和计算环境的计算系统的一个实施例。
图4A描绘了其中可安置一个或多个现实世界对象的环境的一个实施例。
图4B描绘了其中第一虚拟代理对象已被适配在桌子上的增强现实环境的一个实施例。
图4C描绘了其中第二虚拟代理对象已被适配在椅子上的增强现实环境的一个实施例。
图5A是描述用于生成和显示虚拟代理对象的方法的一个实施例的流程图。
图5B是描述用于生成和显示虚拟代理对象的方法的替换实施例的流程图。
图6是移动设备的一个实施例的框图。
详细描述
描述了用于在增强现实环境内生成虚拟代理对象并控制虚拟代理对象的位置的技术。在一些实施例中，头戴式显示设备(HMD)可标识将生成其虚拟代理对象的现实世界对象，生成与该现实世界对象相对应的虚拟代理对象，并使用HMD来显示该虚拟代理对象使得该虚拟代理对象被感知为存在于向HMD的终端用户显示的增强现实环境内。虚拟代理对象在增强现实环境内的位置可由终端用户通过基于姿势或基于语音的命令来控制。在一些情况下，图像处理技术(例如，特征检测、边缘检测、分段等)可被应用于从嵌入在HMD内的深度相机得到的深度图像，以便标识现实世界对象的边界点并确定与现实世界对象相对应的虚拟代理对象的维度。使用虚拟代理对象来在增强现实环境内表示现实世界对象的益处包括对使用HMD来显示的图像的渲染更快，对各种不同环境内的现实世界对象的可视化更快，并且HMD的功率消耗降低了。
在一个实施例中，HMD的终端用户可选择将为其生成虚拟代理对象的现实世界对象(例如，通过使用被HMD捕捉到的手势来选择现实世界对象)。在一个示例中，HMD的终端用户可进入家具店，并选择在HMD的视野内的将为其生成虚拟代理对象的沙发或桌子。在该情况下，为了生成对应的虚拟代理对象，HMD可标识沙发或桌子(例如，使用对象识别或通过捕捉固定到该沙发或桌子的AR标签)、获得包括该沙发或桌子的维度在内的该沙发或桌子的模型(例如，通过从服务器下载该模型)、以及基于沙发或桌子的维度来生成虚拟代理对象。在另一示例中，为了生成虚拟代理对象，HMD可通过将矩形棱柱适配在沙发或桌子上来确定沙发或桌子的各维度，并随后基于最佳地适配该沙发或桌子的矩形棱柱的各维度来生成虚拟代理对象。HMD的终端用户可随后旋转和/或定位增强现实环境内(例如，起居室内)的虚拟代理对象，以便在增强现实环境内可视化现实世界对象。
在一个实施例中，虚拟代理对象可从现实世界对象的三维代理模型得到，在该三维代理模型中，点的数目和/或面的数目被限制。在一个示例中，三维代理模型可包括具有最多8个点和最多6个面的三维形状。三维代理模型可包括矩形棱柱、立方体、三角棱柱、正方棱锥、圆柱体、圆锥体或球体。
在一些情况下，虚拟代理对象可基于对齐栅格被布置在增强现实环境内，对齐栅格在增强现实环境内的间隔基于虚拟代理对象的复杂度和/或虚拟代理对象的各维度。在一个实施例中，对齐栅格间隔可被设置为虚拟代理对象的最小维度(例如，最小长度、宽度或高度)。在另一实施例中，对齐栅格间距可基于虚拟代理对象所使用的表面的数目以及虚拟代理对象的大小来确定。虚拟代理对象的表面可与一个或多个对齐属性相关联，使得虚拟代理对象的特定表面可自动对齐到增强现实环境内的特定对象。在一个实施例中，虚拟代理对象的特定表面可自动对齐到增强现实环境内的墙壁(或地板)。在一个示例中，沙发的虚拟代理对象可包括表示沙发底部的第一表面和表示沙发背面的第二表面。在一种情况下，沙发底部可对齐到增强现实环境内的地板(或地面)，且沙发背面可对齐到增强现实环境内的墙壁。在另一示例中，绘画的虚拟代理对象可包括表示该绘画的背面的后表面。在该情况下，后表面可对齐到房间中的垂直墙壁或房间内的成角度的墙壁(例如，房间中相对于地板成45度角的墙壁)。
虚拟代理对象可与现实世界对象的全尺寸虚拟表示相对应，并可被渲染并显示为使得HMD的终端用户感知该虚拟代理对象作为现实世界对象的代理存在于增强现实环境内。虚拟代理对象可变为透明或部分透明，使得虚拟代理对象不遮挡增强现实环境内的任何现实世界对象。在一些情况下，每当虚拟代理对象与增强现实环境内的现实世界对象交互或与其重叠时，虚拟代理对象可变为透明或部分透明。在一些情况下，虚拟代理对象可被排列或布置在增强现实环境内的二维图案中。例如，如果虚拟代理对象与图片帧相对应，则可向HMD的终端用户显示虚拟代理对象阵列，使得该虚拟代理对象阵列覆盖墙壁，并且该阵列中的每一个虚拟代理对象间隔特定量(例如，虚拟代理对象可水平间隔一英尺)。
图1是可在其中实施所公开的技术的联网计算环境100的一个实施例的框图。联网计算环境100包括通过一个或多个网络180互连的多个计算设备。所述一个或多个网络180允许一特定计算设备连接到另一计算设备以及与其通信。所描绘的计算设备包括移动设备11、移动设备12、移动设备19和服务器15。在一些实施例中，此多个计算设备可包括未示出的其他计算设备。在一些实施例中，此多个计算设备可包括比图1所示的计算设备的数目更多或更少的计算设备。一个或多个网络180可包括诸如企业专用网络之类的安全网络、诸如无线开放式网络之类的不安全网络、局域网(LAN)、广域网(WAN)以及互联网。一个或多个网络180中的每个网络可包括集线器、网桥、路由器、交换机以及诸如有线网络或直接有线连接之类的有线传输介质。
可包括补充信息服务器或应用服务器的服务器15可允许客户端从该服务器下载信息(例如，文本、音频、图像和视频文件)或者执行与存储在该服务器上的特定信息相关的搜索查询。一般而言，“服务器”可以包括在客户端-服务器关系中充当主机的硬件设备、或者与一个或多个客户端共享资源或为所述一个或多个客户端执行工作的软件过程。客户端-服务器关系下的计算设备之间的通信可通过由客户端向服务器发送要求访问特定资源或执行特定工作的请求来发起。服务器随后可以执行所请求的动作并且将响应发送回客户端。
服务器15的一个实施例包括网络接口155、处理器156和存储器157，所有这些都彼此通信。网络接口155允许服务器15连接到一个或多个网络180。网络接口155可包括无线网络接口、调制解调器和/或有线网络接口。处理器156允许服务器15执行被储存在存储器157中的计算机可读指令以执行在此讨论的过程。
移动设备19的一个实施例包括网络接口145、处理器146、存储器147、相机148、传感器149、以及显示器150，所有这些都彼此通信。网络接口145允许移动设备19连接到一个或多个网络180。网络接口145可包括无线网络接口、调制解调器和/或有线网络接口。处理器146允许移动设备19执行存储在存储器147中的计算机可读指令以执行在此讨论的过程。相机148可捕捉环境的彩色图像和/或深度图像。移动设备19可包括捕捉环境的图像的面向外的相机以及捕捉移动设备的终端用户的图像的面向内的相机。传感器149可生成与移动设备19相关联的运动和/或定向信息。在一些情况下，传感器149可包括惯性测量单元(IMU)。显示器150可显示数字图像和/或视频。显示器150可包括透视显示器。
在一些实施例中，包括网络接口145、处理器146、存储器147、相机148以及传感器149的移动设备19的各组件可被集成在单芯片基片上。在一示例中，网络接口145、处理器146、存储器147、相机148、传感器149可被集成成为片上系统(SOC)。在其他实施例中，网络接口145、处理器146、存储器147、相机148和传感器149可被集成在单个封装中。
在一些实施例中，通过采用相机148、传感器149，和运行在处理器146上的姿势识别软件，移动设备19可提供自然用户界面(NUI)。使用自然用户界面，人的身体部位和移动可被检测、解释、以及用于控制计算应用的各方面。在一个示例中，利用自然用户界面的计算设备可检测到某人已执行了特定姿势来控制计算设备。
联网计算环境100可为一个或多个计算设备提供云计算环境。云计算指的是基于互联网的计算，其中共享的资源、软件和/或信息经由互联网(或其他全局网络)被按需提供给一个或多个计算设备。基于在计算机网络图中使用的云图，术语“云”可被用作对互联网的比喻以将互联网描绘成对其所表示的底层基础设施的抽象。
在一个示例中，移动设备19包括向头戴式显示设备(HMD)的终端用户提供增强现实环境或混合现实环境的头戴式显示设备。HMD可包括视频透视和/或光学透视系统。终端用户佩戴的光学透视HMD可允许(例如经由透明透镜)对现实世界环境的实际直接查看，并且同时可将虚拟对象的图像投影到终端用户的视野中，由此用虚拟对象来增强终端用户所感知的现实世界环境。
通过利用HMD，终端用户可佩戴着HMD在现实世界环境(例如，起居室或家具店)内四处移动，并感知覆盖有虚拟对象的图像的现实世界的视图。虚拟对象可以看起来保持与现实世界环境的相干空间关系(即，当终端用户在现实世界环境中转动他们的头或移动时，显示给该终端用户的图像可改变，使得虚拟对象看起来像被终端用户感知的那样存在于该现实世界环境内)。虚拟对象还可看起来相对于终端用户的视点是固定的(例如，无论终端用户如何在现实世界环境中转动他们的头或移动，总是出现在终端用户视角的右上角的虚拟菜单)。在一个实施例中，现实世界环境的环境映射可由服务器15(即，在服务器侧)来执行，而相机本地化可在移动设备19上(即，在客户端侧)执行。
在一些实施例中，移动设备(诸如移动设备19)可与云中的服务器(诸如服务器15)通信，并可提供与移动设备相关联的服务器位置信息(例如，经由GPS坐标的移动设备的位置)和/或图像信息(例如，与在移动设备的视野内检测到的对象有关的信息)。作为响应，服务器可基于提供给该服务器的位置信息和/或图像信息向移动设备传送一个或多个虚拟对象。在一个实施例中，移动设备19可指定用于接收一个或多个虚拟对象的特定文件格式，并且服务器15可向移动设备19传送特定文件格式的文件内包含的一个或多个虚拟对象。
在一些实施例中，移动设备(诸如移动设备19)可以包括提供包括虚拟内容阅读器的增强现实环境的HMD。虚拟内容阅读器可以包括在增强现实环境内的虚拟对象，在该增强现实环境内内容可以由HMD的终端用户阅读。在一个实施例中，虚拟内容阅读器可以包括看起来相对于终端用户的视点固定的虚拟对象(即头部锁定虚拟对象)。例如，无论终端用户如何转动他们的头，虚拟内容阅读器可以出现在终端用户的视点的左上角。在另一个实施例中，虚拟内容阅读器可以包括看起来维持在增强现实环境内的相干空间关系的虚拟对象(即世界锁定的虚拟对象)。例如，当终端用户在增强现实环境内转动他们的头或移动时，在HMD上显示给该终端用户的图像可改变，由此虚拟内容阅读器看起来存在于增强现实环境内的特定位置(例如墙上)处。
在一些实施例中，移动设备(诸如，移动设备19)可包括HMD，该HMD标识现实世界对象、从服务器获得现实世界对象的模型、基于该模型确定虚拟代理对象的各维度、基于这些维度生成虚拟代理对象并随后在增强现实环境内显示该虚拟代理对象。在一些情况下，虚拟代理对象的第一表面可与一个或多个对齐属性相关联，使得该虚拟代理对象的第一表面可自动对齐到增强现实环境内的特定对象或现实世界表面。在一个示例中，一旦虚拟代理对象的第一表面进入增强现实环境内的墙壁的阈值距离内(例如，在该墙壁的两英尺内)，该虚拟代理对象的第一表面可自动对齐到该墙壁。
图2A描绘了与第二移动设备5通信的移动设备19的一个实施例。移动设备19可包括透视HMD。如所描绘的，移动设备19经由有线连接6与移动设备5通信。然而，移动设备19还可经由无线连接与移动设备5通信。移动设备5可被移动设备19用来卸载计算密集的处理任务(例如，渲染虚拟对象)，并将可被用来提供增强现实环境的虚拟对象信息和其他数据存储在移动设备19上。移动设备5还可向移动设备19提供与移动设备5相关联的运动和/或定向信息。在一个示例中，运动信息可包括与移动设备5相关联的速度或加速度，并且定向信息可包括欧拉角，其提供包围特定坐标系或参考坐标系的转动信息。在一些情况中，移动设备5可包括运动和定向传感器(诸如惯性测量单元(IMU))，以便获得与移动设备5相关联的运动和/或定向信息。IMU可包括三轴加速度计、三轴陀螺仪和三轴磁传感器。移动设备5可使用IMU确定惯性坐标系。惯性参考坐标系可包括指向北的x轴、指向东的y轴和向下指向地球的z轴。
在一个实施例中，移动设备(诸如移动设备5)可被定位成使得移动设备的定向相对于移动设备的终端用户的身体保持固定(或基本上固定)。在一个示例中，移动设备可被定位在终端用户所穿的裤子或短裤的后兜内。在另一示例中，移动设备可被定位在终端用户所穿的衬衫或外套的前兜内。在另一示例中，移动设备可被绑或夹到绕终端用户的手腕佩戴的带子上。在这些情况下，移动设备相对于终端用户的身体的定向可使用由移动设备生成的加速度计和磁力计数据来确定。移动设备可基于加速度计和磁力计数据生成重力向量即与地球表面正交的向量。重力向量可与从移动设备上的某点指向地面的向量对应。在一个实施例中，虚拟圆柱的轴可与重力向量对应。该轴可与同移动设备相交并平行于重力向量的线对应。移动设备还可基于加速度计和磁力计数据生成北向量即与重力向量正交并指向北部方向的向量。在一些情况下，在校准步骤期间，移动设备可通过请求终端用户面向北来确定面向前方的向量，并使其身体的前方与北向量对准。面向前方的向量可随后相对于由移动设备生成的北东地(NED)坐标系移动。
图2B描绘了HMD(诸如图1的移动设备19)的一部分的一个实施例。仅描绘了HMD200的右侧。HMD 200包括右镜腿202、鼻梁204、镜片216、以及眼镜框214。右镜腿202包括与处理单元236通信的捕捉设备213(例如，前置相机和/或话筒)。捕捉设备213可包括用于记录数字图像和/或视频的一个或多个相机，并可将视觉记录传送到处理单元236。一个或多个相机可捕捉色彩信息、IR信息、和/或深度信息。捕捉设备213还可包括用于记录声音的一个或多个话筒，并可将音频记录传送到处理单元236。
右镜腿202还包括生物测定传感器220、眼睛跟踪系统221、面向身体的相机222、耳机230、运动和定向传感器238、GPS接收器232、电源239、以及无线接口237，所有这些都与处理单元236通信。生物测定传感器220可包括用于确定与HMD 200的终端用户的脉搏或心率相关联的一个或多个电极，以及用于确定与HMD 200的终端用户相关联的体温的温度传感器。在一个实施例中，生物测定传感器220包括压着终端用户太阳穴的脉搏速率测量传感器。运动和定向传感器238可以包括三轴磁力计、三轴陀螺仪、和/或三轴加速度计。在一个实施例中，运动和定向传感器238可包括惯性测量单元(IMU)。GPS接收机可确定与HMD 200相关联的GPS位置。处理单元236可以包括一个或多个处理器和用于存储将要在所述一个或多个处理器上执行的计算机可读指令。存储器还可存储要在一个或多个处理器上执行的其它类型的数据。
在一个实施例中，眼睛跟踪系统221可包括一个或多个面向内的相机。此一个或多个面向内的相机可捕捉HMD的终端用户的眼睛的图像。在另一实施例中，眼睛跟踪系统221可包括眼睛跟踪照明源和相关联的眼睛跟踪图像传感器。在一个实施例中，眼睛跟踪照明源可包括以大约预定IR波长或一定范围的波长发射的一个或多个红外(IR)发射器(诸如红外发光二极管(LED)或激光器(例如，VCSEL))。在一些实施例中，眼睛跟踪传感器可包括用于跟踪闪光位置的IR相机或IR位置敏感检测器(PSD)。关于眼睛跟踪系统的更多信息可在2008年7月22提交的标题为“Head Mounted Eye Tracking and Display System(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920，以及2011年9月26日提交的标题为“Integrated Eye Tracking and Display System(集成眼睛跟踪和显示系统)”的美国专利申请13/245,700中找到。
在一个实施例中，面向身体的相机222可包括一个或多个面向下的相机。此一个或多个面向下的相机可捕捉HMD的终端用户的身体的一部分的图像。例如，此一个或多个面向下的相机可捕捉终端用户的躯干、胸部、腹部或骨盆区的图像。终端用户的身体的图像可被用来确定终端用户的身体相对于HMD的定向。在一个示例中，图像处理技术可被应用于终端用户的身体的图像以确定终端用户的躯干相对于HMD面向的方向。
在一个实施例中，镜片216可包括透视显示器，处理单元236生成的图像由此可被投影和/或显示在透视显示器上。捕捉设备213可被校准，使得捕捉设备213所捕捉的视野对应于HMD 200的终端用户所看到的视野。耳机230可用于输出与虚拟对象的投影图像相关联的声音。在一些实施例中，HMD 200可包括两个或更多个前置相机(例如，每个镜腿上一个相机)，以便从与前置相机所捕捉的视野相关联的立体信息中获得深度。两个或更多个前置相机还可包括3D、IR、和/或RGB相机。也可从利用来自运动技术的深度的单个相机中获取深度信息。例如，可从单个相机获取两个图像，这两个图像与在不同的时间点的、两个不同的空间点相关联。然后，给定与两个不同空间点有关的位置信息的情况下，可执行视差计算。
在一些实施例中，HMD 200可使用注视检测元件和与一个或多个人类眼睛元素(诸如角膜中心、眼球旋转的中心、或瞳孔中心)有关的三维坐标系，来为终端用户眼睛中的每只眼睛执行注视检测。注视检测可被用来标识终端用户正在关注视野内的何处。注视检测元件的示例可包括生成闪光的照明器和用于捕捉表示所生成的闪光的数据的传感器。在一些情况中，角膜中心可以基于两次闪光使用平面几何来确定。角膜中心链接瞳孔中心和眼球的旋转中心，这可被当作用于确定处于某种注视或观看角度的终端用户的眼睛的光轴的固定位置。
图2C描绘了HMD 2的一部分的一个实施例，其中延伸到注视点的注视向量用于对准远瞳距(IPD)。HMD 2是移动设备的一个示例，诸如图1中的移动设备19。如所描绘的，注视向量180l和180r在远离终端用户的注视点处相交(即，当终端用户正在看遥远处的对象时，注视向量180l和180r不相交)。基于Gullstrand示意眼模型示出了每只眼睛的眼球160l、160r的眼球模型。每只眼球被建模成具有旋转中心166的球体，并且包括被建模成具有中心164的球的角膜168。角膜168随着眼球旋转，并且眼球的旋转中心166可被当作固定点。角膜168覆盖虹膜170，瞳孔162处于虹膜170的中心。每个角膜的表面172上是闪光174和176。
如图2C所描绘的，传感器检测区域139(即分别是139l和139r)与眼镜架115内的每一显示光学系统14的光轴相对准。在一个示例中，与该检测区域相关联的传感器可包括能够捕捉表示分别由镜架115左侧的照明器153a和153b生成的闪光174l和176l的图像数据以及表示分别由镜架115右侧的照明器153c和153d生成的闪光174r和176r的数据的一个或多个相机。通过眼镜架115中的显示光学系统14l和14r，终端用户的视野包括现实对象190、192和194以及虚拟对象182和184。
从旋转中心166穿过角膜中心164到瞳孔162而形成的轴178包括眼睛的光轴。注视向量180也被称为从中央凹穿过瞳孔中心162延伸的视线或视轴。在一些实施例中，光轴被确定，并且通过用户校准来确定小型校正以获得被选作注视向量的视轴。对于每一终端用户，虚拟对象可被显示设备显示在不同的水平和垂直位置处的多个预先确定的位置中的每一位置处。在对象在每一位置处的显示期间可以计算每一眼睛的光轴，并且光线被建模成从该位置延伸到用户眼睛中。可以基于必须如何移动光轴以与所建模的光线相对准来确定与水平和垂直分量的注视偏移角。从不同的位置处，与水平或垂直分量的平均注视偏移角可被选作要被应用于每一计算出的光轴的小型校正。在一些实施例中，仅水平分量被用于注视偏移角校正。
如图2C所描绘的，由于当注视向量180l和180r从眼球延伸到注视点处的视野中时这些注视向量变得更加靠近在一起，因此这些注视向量不是完全平行的。在每一显示光学系统14处，注视向量180看起来与光轴相交，传感器检测区域139以这一交点为中心。在这一配置中，光轴与瞳孔间距(IPD)对准。在终端用户看向正前方时，测得的IPD也被称为远IPD。
图2D描绘了HMD 2的一部分的一个实施例，其中延伸到注视点的注视向量用于对准近瞳距(IPD)。HMD 2是移动设备的一个示例，诸如图1中的移动设备19。如所描绘的，左眼的角膜168l向右侧或朝向终端用户的鼻子旋转，并且右眼的角膜168r向左侧或朝向终端用户的鼻子旋转。两个瞳孔正在注视终端用户的特定距离内的现实对象194。始自每只眼睛的注视向量180l和180r进入真实对象194所处的Panum汇合区域195。Panum汇合区域是像人类视觉那样的双眼观察系统中的单视觉的区域。注视向量180l和180r的相交指示终端用户正在看现实对象194。在这样的距离处，随着眼球向内旋转，它们瞳孔之间的距离减少到近IPD。近IPD通常比远IPD小约4毫米。近IPD距离准则(例如，在距终端用户小于四英尺处的注视点)可用来将显示光学系统14的IPD对准切换或调整成近IPD的对准。对于近IPD，每一显示光学系统14可以朝向终端用户的鼻子移动，使得光轴以及检测区域139朝向鼻子移动几毫米，如检测区域139ln和139rn所表示的。关于为HMD的终端用户确定IPD并由此调整显示光学系统的更多信息可在2011年9月30日提交的题为“Personal Audio/Visual System(个人音频/视频系统)”的美国专利申请号13/250,878中找到。
图2E描绘了HMD 2的一部分的一个实施例，该HMD 2具有包括凝视检测元件的可移动显示光学系统。表现为每只眼睛的透镜的事物表示每只眼睛的显示光学系统14(即14l和14r)。显示光学系统包括用于将虚拟内容与通过HMD的透镜看到的实际直接现实世界视图无缝地融合的透视透镜和光学元件(例如，反射镜、过滤器)。显示光学系统14具有一般处于透视透镜中心的光轴，其中光一般被校准来提供无失真视图。例如，在眼睛护理专业人员使一副普通眼镜适合于终端用户的脸部时，该眼睛通常是适合的，使得该眼镜在每一瞳孔与相应镜片的中心或光轴相对准的位置处落在终端用户的鼻子上，从而通常使得校准光到达终端用户的眼睛以得到清晰或无失真的视图。
如所描绘的，至少一个传感器的检测区域139r、139l与其相应显示光学系统14r、14l的光轴相对准，使得检测区域139r、139l的中心捕捉沿着该光轴的光。如果显示光学系统14与终端用户的瞳孔对准，则相应传感器134的每一检测区域139与终端用户的瞳孔相对准。检测区域139的反射光经由一个或多个光学元件被传送到相机的实际图像传感器134，在该实施例中传感器134由处于镜架115内部的虚线示出。在一些实施例中，传感器134可包括用于捕捉终端用户的眼睛或眼睛周围的面部特征的图像的图像传感器或RGB相机。其他面向内的图像传感器也可与镜架115集成以便捕捉与终端用户相关联的固定面部特征，诸如其鼻梁。
在一个实施例中，该至少一个传感器134可以是可见光相机(例如，RGB相机或彩色相机)。在一个示例中，光学元件或光引导元件包括是部分透射且部分反射的可见光反光镜。可见光相机提供终端用户的眼睛的瞳孔的图像数据，而IR光电探测器152捕捉作为频谱的IR部分中的反射的闪光。如果使用可见光相机，则虚拟图像的反射可以出现在该相机所捕捉的眼睛数据中。图像过滤技术可被用于按需移除虚拟图像反射。IR相机对眼睛上的虚拟图像反射是不敏感的。
在另一个实施例中，至少一个传感器134(即，134l和134r)是IR辐射可被定向到的IR相机或位置敏感检测器(PSD)。从眼睛反射的IR辐射可以来自照明器153、其他IR照明器(未示出)的入射辐射或者来自从眼睛反射的环境IR辐射。在一些情况中，传感器134可以是RGB和IR相机的组合，并且光引导元件可包括可见光反射或转向元件和IR辐射反射或转向元件。在一些情况中，相机134可被嵌入在系统14的镜片中。另外，可以应用图像过滤技术来将相机混合到用户视野中以减轻对用户的任何干扰。
如图2E所描绘的，有四组照明器153，照明器153与光电检测器152配对并被屏障154隔开以避免照明器153所生成的入射光与在光电检测器152处接收到的反射光之间的干扰。为了在附图中避免不必要的混乱，附图标记就被示出了代表性的一对。每一照明器可以是生成大约预定波长的窄光束的红外(IR)照明器。光电检测器中的每一个可被选择来捕捉大约该预定波长的光。红外还可以包括近红外。因为照明器或光电检测器可能存在波长漂移或者关于波长的微小范围是可接受的，所以照明器和光电检测器可以具有与要生成或检测的波长有关的容限范围。在传感器是IR相机或IR位置敏感检测器(PSD)的一些实施例中，光电检测器可包括附加数据捕捉设备并且也可被用来监视照明器的操作，例如波长漂移、波束宽度改变等。该光电检测器还用作为传感器134的可见光相机来提供闪光数据。
每一显示光学系统14以及它面向每一眼睛的注视检测元件的布置(例如，诸如相机134及其检测区域139、照明器153以及光电检测器152)可位于可移动内部镜架部分117l、117r上。在该示例中，显示调整机构包括具有附连到内部镜架部分117的传动轴205的一个或多个马达203，内部镜架部分117在由马达203驱动的传动轴205的引导和力量下在镜架115内从左向右滑动或反向滑动。在一些实施例中，一个马达203可以驱动两个内部镜架。
图2F描绘了HMD 2的一部分的一个替换实施例，该HMD 2具有包括凝视检测元件的可移动显示光学系统。如所描绘的，每个显示光学系统14被封装在分开的镜架部分115l、115r中。镜架部分中的每一个可由马达203分开地移动。在一些实施例中，此至少一个传感器134可包括用于捕捉终端用户的眼睛或眼睛周围的面部特征的图像的图像传感器或RGB相机。其他面向内的图像传感器也可与镜架115集成以便捕捉与终端用户相关联的固定面部特征，诸如其鼻梁。
图3描绘了包括捕捉设备20和计算环境12的计算系统10的一个实施例。在一些实施例中，捕捉设备20和计算环境12可以集成在单个移动计算设备中。该单个集成移动计算设备可包括移动设备，诸如图1中的移动设备19。在一个示例中，捕捉设备20和计算环境12可被集成在HMD中。在其它实施例中，捕捉设备20可与第一移动设备(诸如图2A中的移动设备19)集成，而计算环境12可与和第一移动设备通信的第二移动设备(诸如图2A中的移动设备5)集成。
在一个实施例中，捕捉设备20可包括用于捕捉图像和视频的一个或多个图像传感器。图像传感器可以包括CCD图像传感器或CMOS图像传感器。在某些实施例中，捕捉设备20可包括图像传感器和/或IR CMOS图像传感器。捕捉设备20可包括图像相机组件32。图像相机组件32可包括可用来对捕捉区域的深度图像进行捕捉的IR光组件34、深度相机36、以及RGB相机38。在一个示例中，捕捉设备20的IR光组件34可以将红外光发射进入捕捉区域，然后可以使用传感器，用图像相机组件32内的彩色和/或IR光传感组件来检测从捕捉区域中的一个或多个对象的表面反向散射的光。在一些实施例中，脉冲式红外光可被使用，使得出射光脉冲和相应的入射光脉冲之间的时间可被测得并被用来确定从捕捉设备20到捕捉区域中的一个或多个对象上的特定位置的物理距离。捕捉设备20还可包括用于产生准直光和/或用于散射光的光学器件(例如，用于传播来自产生窄光束的IR光源的光的光学散射器)以照亮环境。
如图3所描绘的，捕捉设备20可以包括一个或多个话筒40。该一个或多个麦克风40中的每一个都可包括可以接收声音并将其转换成电信号的换能器或传感器。该一个或多个麦克风可包括麦克风阵列，其中一个或多个麦克风可以按预定布局排列。
捕捉设备20可以包括可以与图像相机组件32可操作地通信的处理器42。处理器42可包括标准处理器、专用处理器、微处理器等。处理器42可以执行指令，所述指令可以包括用于接收和分析图像和/或确定是否已经发生特定姿势的指令(例如，用于控制或操纵虚拟对象的终端用户姿势)的指令。应当理解，至少一些图像分析和/或姿势识别操作可以由诸如捕捉设备20之类的一个或多个捕捉设备内所包含的处理器来执行。
捕捉设备20可以包括存储器44，该存储器44可以存储可以由处理器42执行的指令以及由图像相机组件32的光感测组件捕捉的图像(或图像的帧)。在一个示例中，存储器44可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、非易失性存储器或任何其它合适的存储组件。如所描绘的，存储器44可以是与图像捕捉组件32和处理器42进行通信的分开的组件。在另一实施例中，存储器44可被集成到处理器42和/或图像捕捉组件32中。在其他实施例中，捕捉设备20的组件32、34、36、38、40、42和44中的部分或全部可被容纳在单个外壳中。
捕捉设备20可经由通信链路46与计算环境12进行通信。通信链路46可以是有线连接或诸如无线802.11b、g、a或n的无线连接。在一个实施例中，捕捉设备20可将由例如深度相机36和/或RGB相机38捕捉的图像经由通信链路46提供给计算环境12。
如图3中所描绘的，计算环境12包括与应用196通信的图像和音频处理引擎194。应用196可包括操作系统应用或诸如游戏应用、消息收发应用、或用于生成增强现实环境的应用的其他计算应用。图像和音频处理引擎194包括虚拟数据引擎197、对象和姿势识别引擎190、结构数据198、处理单元191和存储器单元192，所有都彼此通信。图像和音频处理引擎194处理从捕捉设备20接收到的视频、图像和音频数据。为了辅助对象的检测和/或跟踪，图像和音频处理引擎194可利用结构数据198以及对象和姿势识别引擎190。
虚拟数据引擎197处理虚拟对象，并记录与在存储器单元192中存储的现实世界环境的各种映射有关的虚拟对象的位置和朝向。虚拟数据引擎还可向计算系统10的终端用户呈现与供显示的虚拟对象相关联的图像。在一些实施例中，计算系统10可使用从捕捉设备20获得的图像来相对于环境的3D图确定对应于这些图像的六自由度(6DOF)姿态。在一示例中，6DOF姿态可包括与移动设备(例如HMD)在环境内的位置和朝向相关联的信息。6DOF姿态可用于定位移动设备并生成虚拟对象的图像，以使得这些虚拟对象看起来存在于增强现实环境内的合适位置处。关于确定6DOF姿态的更多信息可在题为“DistributedAsynchronous Localization and Mapping for Augmented Reality(增强现实的分布式异步定位和映射)”的美国专利申请13/152,220中找到。关于执行对移动设备的姿态估计和/或定位的更多信息可在题为“Mobile Camera Localization Using Depth Maps(使用深度图像的移动相机定位)”的美国专利申请13/017,474中找到。
处理单元191可以包括用于执行对象、面部和语音识别算法的一个或多个处理器。在一个实施例中，图像和音频处理引擎194可将对象识别和面部识别技术应用于图像或视频数据。例如，对象识别可以用于检测特定对象(例如HMD的终端用户握持的铅笔)，并且面部识别可以用于检测环境内的特定人的面部。图像和音频处理引擎194可将音频和语音识别技术应用于音频数据。例如，音频识别可被用来检测特定的声音。待检测的特定面部、语音、声音和对象可被储存在存储器单元192中所包含的一个或多个存储器中。处理单元191可执行被储存在存储器单元192中的计算机可读指令以执行此处讨论的过程。
图像和音频处理引擎194可以在执行对象识别时利用结构数据198。结构数据198可包括关于要跟踪的目标和/或对象的结构信息。例如，可以存储人类的骨架模型以帮助识别身体部位(例如，手臂、手、和/或手指)。在另一示例中，结构数据198可以包括关于一个或多个无生命对象的结构信息以便帮助识别所述一个或多个无生命对象(例如铅笔或指示笔)。
图像和音频处理引擎194还可在执行姿势识别时利用对象和姿势识别引擎190。在一个示例中，对象和姿势识别引擎190可以包括姿势过滤器的集合，每个姿势过滤器都包括关于可被执行的姿势的信息。对象和姿势识别引擎190可将由捕捉设备20捕捉的数据与姿势库中的姿势过滤器进行比较来标识用户何时执行了一个或多个姿势。在一个示例中，图像和音频处理引擎194可以使用对象和姿势识别引擎190来检测计算系统10的终端用户执行的特定姿势(例如，对象选择姿势)的执行。在一个实施例中，对象和姿势识别引擎190可利用机器学习分类技术。
图4A-4C描绘了可从其生成虚拟代理对象并可在其中显示虚拟代理对象的各种环境的示例。图4A描绘了其中可安置一个或多个现实世界对象的环境400的一个实施例。如所描绘的，环境400包括包含桌子403和椅子404的三维现实世界空间。在一个实施例中，HMD在特定时间点的视野或由HMD在特定时间点捕捉到的现实世界环境可与图4A中描绘的视图相对应。
图4B描绘增强现实环境410的一个实施例，其中第一虚拟代理对象413已被适配在图4A的桌子403上。第一虚拟代理对象413可包括三维对象(例如，矩形棱锥)。第一虚拟代理对象413包括处于第一维度的第一长度边缘422，处于第二维度的第二高度边缘423和处于第三维度的第三宽度边缘424。第一虚拟代理对象413包括六个表面。第一虚拟代理对象413的第一表面417可被标识并分配为侧表面(例如，图4A中的桌子403的一侧)。第一表面417可被分配对齐属性，使得每当第一虚拟代理对象413被定位在增强现实环境内的现实世界墙壁内的阈值距离内时，第一表面417对齐到该墙壁。在一个示例中，如果第一表面417在该墙壁的两英尺内，则第一虚拟代理对象413可定向并对齐到该墙壁。在另一示例中，第一虚拟代理对象413的底部表面可基于图4A中的桌子403的定向被标识为该桌子403的底部，并且在第一虚拟代理对象413的底部表面在地板的六英寸内的情况下被分配对齐属性，使得第一虚拟代理对象413的底部表面对齐到地板。
在一个实施例中，第一虚拟代理对象413的第一边缘、第二边缘和第三边缘可由HMD基于与图4A中的桌子403相关联的边界点来确定。在一个示例中，第一长度边缘422可基于处于第一维度的与桌子403相对应的点之间的最大距离来确定。与桌子403相对应的点之间的最大距离可通过将图像处理技术(诸如分段和对象识别)应用于使用HMD获得的彩色和/或深度图像来确定。类似地，第二高度边缘423可通过处理使用HMD捕捉到的彩色和/或深度图像以及确定处于第二维度的与桌子403相对应的点之间的最大距离来确定。第三宽度边缘424可通过确定处于第三维度的与桌子403相对应的点之间的最大距离来确定。
图4C描绘增强现实环境410的一个实施例，在该实施例中，第二虚拟代理对象414已被适配在图4A的椅子404上。第二虚拟代理对象414包括三维对象(例如，立方体)。第二虚拟代理对象414包括六个表面和八个空间点。第二虚拟代理对象414的第二表面432可被标识并分配为侧表面(例如，图4A中的椅子404的背侧)。第二表面432可被分配对齐属性，使得每当第二虚拟代理对象414被定位在增强现实环境内的现实世界墙壁内的阈值距离内时，第二表面432对齐到该墙壁。在一个示例中，如果第二表面432在该墙壁的六英寸内，则第二虚拟代理对象414可定向并对齐到该墙壁。在另一示例中，第二虚拟代理对象414的底部表面可基于图4A中的椅子404的定向被标识为该椅子404的底部，并且在第二虚拟代理对象414的底部表面在地板的一米内的情况下被分配对齐属性，使得第二虚拟代理对象414的底部表面对齐到地板。
在一个实施例中，第二虚拟代理对象414的维度可通过找出最佳地近似图4A中的椅子404的尺寸的第二虚拟代理对象414的尺寸来确定。在一些情况下，第二虚拟代理对象414的维度可基于完全覆盖图4A中的椅子404的第二虚拟代理对象414的最小尺寸来确定。
在第一虚拟代理对象413和第二虚拟代理对象414已被生成后，它们可由HMD的终端用户定位在不同的增强现实环境内。在一个示例中，第一虚拟代理对象413和第二虚拟代理对象414可基于在家具店内获得的彩色和/或深度图像来生成，并随后由HMD的终端用户定位和重新定位在与起居室相关联的增强现实环境内。在该情况下，HMD的终端用户可以可视化在起居室包括图4A中的桌子403和椅子404的情况下，该起居室看起来将是怎样的。
图5A是描述用于生成和显示虚拟代理对象的方法的一个实施例的流程图。在一个实施例中，图5A的过程可由移动设备(诸如图1中的移动设备19)来执行。
在步骤502，标识在移动设备的视野内的现实世界对象。该移动设备可包括HMD。现实世界对象可由HMD的终端用户使用手势来标识，以标识出该现实世界对象。在步骤504中，基于现实世界对象的标识获得三维模型。在一个实施例中，该三维模型可从服务器(诸如图1中的服务器15)获得。该三维模型可包括第一表面集合。该三维模型可包括例如具有六个表面的三维形状。该三维模型可包括矩形棱柱、立方体、三角棱柱、正方棱锥、圆柱体、圆锥体或球体。
在步骤506，确定现实世界对象的一个或多个维度。在一个实施例中，该一个或多个维度可使用HMD来确定，其中该HMD确定现实世界对象在第一维度内的第一最大跨度和现实世界对象在垂直于第一维度的第二维度内的第二最大跨度。现实世界对象的一个或多个维度可使用由HMD捕捉到的彩色和/或深度图像来确定。例如，彩色和/或深度图像可被用于确定现实世界对象在第一维度内的第一最大跨度以及现实世界对象在第二维度内的第二最大跨度。在另一实施例中，一个或多个维度可通过基于现实世界对象的标识从服务器下载该一个或多个维度来确定。在一些情况下，现实世界对象可基于附连到该现实世界对象的AR标签来标识。在其他情况下，现实世界对象可使用对象识别来标识以将现实世界对象分类为特定对象(例如，该现实世界对象是椅子还是桌子)。
在步骤508，使用该三维模型和该一个或多个维度生成虚拟代理对象。虚拟代理对象可通过将该三维模型缩放到该一个或多个维度来生成。在步骤510，标识三维模型的第一表面。第一表面可基于在步骤502标识出的现实世界对象的定向来标识。在一个示例中，第一表面可包括朝向地面定向的底部表面。在另一示例中，第一表面可包括与现实世界对象的一侧(桌子或椅子的一侧)相关联的侧表面。在步骤512，基于现实世界对象的定向将对齐属性分配给第一表面。在一个示例中，如果第一表面与侧表面相对应，则在第一表面进入增强现实环境内的垂直墙壁的阈值距离内的情况下，对齐属性可迫使第一表面对齐到该垂直墙壁。在另一示例中，如果第一表面与底部表面相对应，则在第一表面进入增强现实环境内的水平表面(例如，桌顶或地板)的阈值距离内的情况下，对齐属性可迫使第一表面对齐到该水平表面。在一些情况下，对齐属性可迫使第一表面对齐到增强现实环境内的成角度的表面(例如，成角度的墙壁)。成角度的表面可包括增强现实环境内具有既不垂直也不水平的定向的表面。
在步骤514，获得与虚拟代理对象在增强现实环境内的放置相对应的定位命令。在一个实施例中，定位命令可包括由该移动设备的终端用户发出的语音命令。在另一实施例中，定位命令可包括由该移动设备的终端用户执行的手势。在步骤516，基于该定位命令和对齐属性确定虚拟代理对象在增强现实环境内的位置。在步骤518，使用移动设备来渲染并显示与虚拟代理对象相对应的一个或多个图像。该一个或多个图像可使用HMD来显示，使得虚拟代理对象表现为被世界锁定在增强现实环境内的该位置处。
图5B是描述用于生成并显示虚拟代理对象的方法的一个替换实施例的流程图。在一个实施例中，图5B的过程可由移动设备(诸如图1中的移动设备19)来执行。
在步骤522中，使用移动设备标识现实世界对象。该移动设备可包括HMD。现实世界对象可包括例如椅子、桌子、沙发、一件家具、绘画或图片帧。在步骤524，确定现实世界对象的高度、长度和宽度。在一个实施例中，可通过将对象识别技术、边缘检测技术、特征检测技术和分段技术应用于使用移动设备捕捉到的彩色和/或深度图像来确定现实世界对象的高度、长度和宽度。在一个示例中，该高度可通过确定在垂直于地面的第一维度内与现实世界对象相关联的两个点之间的最大距离来确定。在另一示例中，现实世界对象的宽度可通过确定在平行于地面的第二维度内与现实世界对象相关联的两个点之间的最大距离来确定。现实世界对象的长度可通过确定现实世界对象在与第二维度正交并与第一维度正交的第三维度内的两个点之间的最大距离来确定。
在一些情况下，现实世界对象的高度和宽度可使用HMD来确定，其中HMD将图像处理技术应用于彩色和/或深度图像以确定现实世界对象在平行于地面的第一维度内的第一最大跨度以及现实世界对象在与地面正交的第二维度内的第二最大跨度。现实世界对象在第一维度内的第一最大跨度可包括宽度，并且现实世界对象在第二维度内的第二最大跨度可包括高度。
在步骤526，确定最大表面数。在一些情况下，最大表面数可由移动设备的终端用户设置。在步骤528，基于最大表面数来确定三维模型。在一个示例中，如果最大表面数包括六个表面，则三维模型可包括矩形棱柱。在另一示例中，如果最大表面数包括八个表面，则三维模型可包括六角棱柱。
在步骤530，使用三维模型以及在步骤524确定的现实世界对象的高度、长度和宽度来生成虚拟代理对象。虚拟代理对象可包括其中三维模型已被缩放成现实世界对象的高度、长度和宽度的虚拟对象。在步骤532，确定虚拟代理对象在增强现实环境内的位置。在一个实施例中，虚拟代理对象的位置可基于由移动设备的终端用户提供的定位命令来确定。定位命令可使用语音命令或手势来提供。
在步骤534，基于虚拟代理对象在增强现实环境内的位置来确定虚拟代理对象的透明程度。在一个实施例中，虚拟代理对象可利用幻象模式，使得每当虚拟代理对象不与增强现实环境内的现实世界对象交互时虚拟代理对象表现为不透明，并且每当虚拟代理对象与增强现实环境内的现实世界对象交互或重叠时虚拟代理对象表现为半透明或透明。在另一实施例中，如果虚拟代理对象会遮挡如由HMD的终端用户查看到的增强现实环境内的现实世界对象，则虚拟代理对象可变为部分透明。在步骤536，使用移动设备渲染并显示与虚拟代理对象相对应的一个或多个图像。该一个或多个图像被显示为使得虚拟代理对象表现为被世界锁定在增强现实环境内的该位置处。在该情况下，随着HMD的终端用户在增强现实环境内转动他的头或移动，在HMD上向该终端用户显示的该一个或多个图像可改变，使得虚拟代理对象看起来存在于增强现实环境内的该位置处。
所公开的技术的一个实施例包括与透视显示器通信的一个或多个处理器。一个或多个处理器标识世界对象，并基于现实世界对象的标识获得三维模型。一个或多个处理器确定现实世界对象在第一维度中的第一最大跨度并确定现实世界对象在与第一维度正交的第二维度中的第二最大跨度。一个或多个处理器通过基于第一最大跨度和第二最大跨度缩放三维模型来生成虚拟代理对象。一个或多个处理器确定虚拟代理对象在增强现实环境内的位置，并渲染与虚拟代理对象相对应的一个或多个图像。透视显示器显示该一个或多个图像，使得虚拟代理对象表现为被世界锁定在增强现实环境内的该位置处。
所公开的技术的一个实施例包括用于使用移动设备来生成并控制增强现实环境内的虚拟代理对象的方法，该方法包括：标识在移动设备的视野内的现实世界对象，基于该现实世界对象的标识获得三维模型，以及确定该现实世界对象的一个或多个维度。确定一个或多个维度包括确定现实世界对象在第一维度中的第一最大跨度并确定现实世界对象在与第一维度正交的第二维度中的第二最大跨度。该方法进一步包括：使用该三维模型和该一个或多个维度生成虚拟代理对象，确定该虚拟代理对象在增强现实环境内的位置，以及使用移动设备显示与该虚拟代理对象相对应的一个或多个图像。该一个或多个图像被显示为使得虚拟代理对象表现为被世界锁定在增强现实环境内的该位置处。
所公开的技术的一个实施例包括获得与现实世界对象相关联的三维模型，并确定现实世界对象的一个或多个维度。确定一个或多个维度包括确定现实世界对象在第一维度中的第一最大跨度并确定现实世界对象在与第一维度正交的第二维度中的第二最大跨度。该方法进一步包括：使用该三维模型和该一个或多个维度生成虚拟代理对象；确定虚拟代理对象在增强现实环境内的位置；基于虚拟代理对象在增强现实环境内的位置检测虚拟代理对象遮挡头戴式显示设备的视野内的对象；响应于检测到虚拟代理对象遮挡头戴式显示设备的视野内的对象，确定虚拟代理对象应当变得部分透明；以及使用头戴式显示设备显示与虚拟代理对象相对应的一个或多个图像。该一个或多个图像被显示为使得虚拟代理对象表现为被世界锁定在增强现实环境内的该位置处，并使得虚拟代理对象表现为部分透明。
图6是移动设备8300(诸如图1中的移动设备19)的一个实施例的框图。移动设备可以包括已经整合了无线接收机/发射机技术的膝上型计算机、袖珍计算机、移动电话、HMD、个人数字助理、以及手持式媒体设备。
移动设备8300包括一个或多个处理器8312以及存储器8310。存储器8310包括应用8330和非易失性存储8340。存储器8310可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。移动设备操作系统处理移动设备8300的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用8330可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、闹钟应用、以及其它应用。存储器8310中的非易失性存储组件8340可以包含诸如音乐、照片、联系人数据、日程安排数据、以及其它文件之类的数据。
一个或多个处理器8312与透视显示器8309进行通信。透视显示器8309可显示与现实世界环境相关联的一个或多个虚拟对象。此一个或多个处理器8312还与下列各项通信：RF发射机/接收机8306，其又耦合到天线8302；红外发射机/接收机8308；全球定位服务(GPS)接收器8365；以及移动/定向传感器8314，其可以包括加速度计和/或磁力计。RF发射机/接收机8308可以通过诸如
Figure BDA0001337735360000211
或IEEE802.11标准之类的各种无线技术标准来实现无线通信。加速度计可能已经结合在移动设备中以实现诸如下列应用：智能用户界面应用，其让用户通过姿势输入命令；以及定向应用，其可以在移动设备被旋转时将显示自动地从竖向改变成横向。可以例如通过微机电系统(MEMS)来提供加速度计，微机电系统是构建在半导体芯片上的微小机械器件(微米尺寸)。可以感测加速度方向、以及定向、振动和震动。此一个或多个处理器8312还与响铃器/振动器8316、用户界面小键盘/屏幕8318、扬声器8320、话筒8322、相机8324、光传感器8326和温度传感器8328进行通信。用户界面小键盘/屏幕可以包括触敏屏幕显示器。
此一个或多个处理器8312控制无线信号的发射和接收。在发射模式期间，此一个或多个处理器8312向RF发射机/接收机8306提供来自话筒8322的语音信号，或其它数据信号。发射机/接收机8306通过天线8302来发射信号。响铃器/振动器8316被用于用信号向用户通知传入呼叫、文本消息、日历提醒、闹钟提醒或其他通知。在接收模式期间，RF发射机/接收机8306通过天线8302接收来自远程站的语音信号或数据信号。所接收到的语音信号被提供给扬声器8320，而接收到的其它数据信号被适当地处理。
另外，可以使用物理连接器8388来将移动设备8300连接到诸如AC适配器或加电对接底座之类的外部电源，以便对电池8304进行再充电。物理连接器8388还可被用作到外部计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操作。
所公开的技术可用各种其它通用或专用计算系统环境或配置来操作。适合结合本技术中使用的公知的计算系统、环境和/或配置的示例包括，但不限于：个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、包含上述系统或设备中的任一个的分布式计算环境等。所公开的技术可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言，如此处所述的软件和程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构和其它类型的结构。硬件或硬件和软件的组合可以替代在此描述的软件模块。
出于本文档的目的，说明书中提及的“一实施例”、“一个实施例”、“一些实施例”或“另一实施例”可被用于描述不同的实施例并且不一定指代同一实施例。
出于本文的目的，术语对象的“集合”指的是一个或多个对象的“集合”。
出于本文档的目的，术语“基于”可读作“至少部分地基于”。
出于本文档的目的，在没有附加上下文的情况下，使用诸如“第一”对象、“第二”对象和“第三”对象之类的数值项可能不暗示对象排序，但可改为用于标识目的以标识不同的对象。
尽管用结构特征和/或方法动作专用的语言描述了本发明主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (20)

1.一种用于在增强现实环境内生成并控制虚拟代理对象的电子设备，包括：
一个或多个处理器，所述一个或多个处理器标识现实世界对象，并基于所述现实世界对象的标识获得三维模型，所述一个或多个处理器确定所述现实世界对象在第一维度中的第一最大跨度并确定所述现实世界对象在与所述第一维度正交的第二维度中的第二最大跨度，所述一个或多个处理器通过基于所述第一最大跨度和所述第二最大跨度缩放所述三维模型来生成所述虚拟代理对象，所述一个或多个处理器确定所述虚拟代理对象在所述增强现实环境内的位置并渲染与所述虚拟代理对象相对应的一个或多个图像，其中所述虚拟代理对象的表面与一个或多个对齐属性相关联，使得在所述虚拟代理对象的特定表面在所述增强现实环境内的特定对象的阈值距离内的情况下，所述虚拟代理对象的所述特定表面能自动对齐到所述增强现实环境内的所述特定对象；以及
与所述一个或多个处理器通信的透视显示器，所述透视显示器显示所述一个或多个图像，使得所述虚拟代理对象表现为被世界锁定在所述增强现实环境内的所述位置处，由此所述虚拟代理对象看上去在所述增强现实环境内维持相干空间关系。
2.如权利要求1所述的电子设备，其特征在于：
所述一个或多个处理器标识所述虚拟代理对象的第一表面，并基于所述现实世界对象的定向将对齐属性分配给所述第一表面，在所述虚拟代理对象的所述第一表面在所述增强现实环境内的水平表面的阈值距离内的情况下，所述对齐属性使得所述第一表面对齐到所述水平表面。
3.如权利要求2所述的电子设备，其特征在于：
所述第一表面包括所述虚拟代理对象的底部表面，并且所述水平表面包括地板。
4.如权利要求1所述的电子设备，其特征在于：
所述一个或多个处理器标识所述虚拟代理对象的第一表面，并基于所述现实世界对象的定向将对齐属性分配给所述第一表面，在所述虚拟代理对象的所述第一表面在所述增强现实环境内的垂直表面的阈值距离内的情况下，所述对齐属性使得所述第一表面对齐到所述垂直表面。
5.如权利要求4所述的电子设备，其特征在于：
所述第一表面包括所述虚拟代理模型的侧表面，并且所述垂直表面包括墙壁。
6.如权利要求1所述的电子设备，其特征在于：
所述一个或多个处理器获得所述现实世界对象的一个或多个深度图像，并使用所述一个或多个深度图像确定所述现实世界对象的高度、长度和宽度；以及
所述一个或多个处理器使用所述三维模型和所述现实世界对象的所述高度、所述长度和所述宽度生成所述虚拟代理对象。
7.如权利要求1所述的电子设备，其特征在于：
所述一个或多个处理器基于所述虚拟代理对象在所述增强现实环境内的位置确定所述虚拟代理对象是否应当变得部分透明；以及
所述透视显示器显示所述一个或多个图像，使得所述虚拟代理对象表现为部分透明。
8.如权利要求1所述的电子设备，其特征在于：
所述三维模型包括矩形棱柱；以及
所述电子设备包括头戴式显示设备。
9.一种用于使用移动设备在增强现实环境内生成并控制虚拟代理对象的方法，包括：
标识在所述移动设备的视野内的现实世界对象；
基于所述现实世界对象的标识获得三维模型；
确定所述现实世界对象的一个或多个维度，所述确定一个或多个维度包括确定所述现实世界对象在第一维度中的第一最大跨度并确定所述现实世界对象在与所述第一维度正交的第二维度中的第二最大跨度；
使用所述三维模型和所述一个或多个维度生成所述虚拟代理对象；
确定所述虚拟代理对象在所述增强现实环境内的位置，其中所述虚拟代理对象的表面与一个或多个对齐属性相关联，使得在所述虚拟代理对象的特定表面在所述增强现实环境内的特定对象的阈值距离内的情况下，所述虚拟代理对象的所述特定表面能自动对齐到所述增强现实环境内的所述特定对象；以及
使用所述移动设备显示与所述虚拟代理对象相对应的一个或多个图像，所述一个或多个图像被显示为使得所述虚拟代理对象表现为被世界锁定在所述增强现实环境内的所述位置处，由此所述虚拟代理对象看上去在所述增强现实环境内维持相干空间关系。
10.如权利要求9所述的方法，其特征在于，进一步包括：
标识所述虚拟代理对象的第一表面；以及
基于所述现实世界对象的定向将对齐属性分配给所述第一表面，在所述虚拟代理对象的所述第一表面在所述增强现实环境内的水平表面的阈值距离内的情况下，所述对齐属性使得所述第一表面对齐到所述水平表面。
11.如权利要求10所述的方法，其特征在于：
所述第一表面包括所述虚拟代理对象的底部表面，并且所述水平表面包括地板。
12.如权利要求9所述的方法，其特征在于，进一步包括：
标识所述虚拟代理对象的第一表面；以及
基于所述现实世界对象的定向将对齐属性分配给所述第一表面，在所述虚拟代理对象的所述第一表面在所述增强现实环境内的垂直表面的阈值距离内的情况下，所述对齐属性使得所述第一表面对齐到所述垂直表面。
13.如权利要求12所述的方法，其特征在于：
所述第一表面包括所述虚拟代理模型的侧表面，并且所述垂直表面包括墙壁。
14.如权利要求9所述的方法，其特征在于：
所述确定一个或多个维度包括确定所述现实世界对象的高度、长度和宽度；以及
所述生成所述虚拟代理对象包括使用所述三维模型和所述现实世界对象的所述高度、所述长度和所述宽度生成所述虚拟代理对象。
15.如权利要求9所述的方法，其特征在于，进一步包括：
基于所述虚拟代理对象在所述增强现实环境内的位置确定所述虚拟代理对象是否应当变得部分透明；以及
所述显示一个或多个图像包括显示所述一个或多个图像使得所述虚拟代理对象表现为部分透明。
16.如权利要求9所述的方法，其特征在于：
所述确定一个或多个维度包括确定完全覆盖所述现实世界对象的三维模型的最小尺寸。
17.如权利要求9所述的方法，其特征在于：
所述三维模型包括最多六个表面。
18.如权利要求9所述的方法，其特征在于：
所述三维模型包括矩形棱柱。
19.如权利要求9所述的方法，其特征在于：
所述移动设备包括头戴式显示设备。
20.一个或多个存储设备，所述一个或多个存储设备包含处理器可读代码，所述处理器可读代码用于将一个或多个处理器编程为执行一种用于在增强现实环境内生成虚拟代理对象并使用头戴式显示设备来控制所述虚拟代理对象的方法，所述方法包括以下步骤：
获得与现实世界对象相关联的三维模型；
确定所述现实世界对象的一个或多个维度，所述确定一个或多个维度包括确定所述现实世界对象在第一维度中的第一最大跨度以及确定所述现实世界对象在与所述第一维度正交的第二维度中的第二最大跨度；
使用所述三维模型和所述一个或多个维度生成虚拟代理对象；
确定所述虚拟代理对象在所述增强现实环境内的位置，其中所述虚拟代理对象的表面与一个或多个对齐属性相关联，使得在所述虚拟代理对象的特定表面在所述增强现实环境内的特定对象的阈值距离内的情况下，所述虚拟代理对象的所述特定表面能自动对齐到所述增强现实环境内的所述特定对象；
基于所述虚拟代理对象在所述增强现实环境内的位置检测所述虚拟代理对象遮挡所述头戴式显示设备的视野内的对象；
响应于检测到所述虚拟代理对象遮挡所述头戴式显示设备的视野内的所述对象，确定所述虚拟代理对象应当变得部分透明；以及
使用所述头戴式显示设备显示与所述虚拟代理对象相对应的一个或多个图像，所述一个或多个图像被显示为使得所述虚拟代理对象表现为被世界锁定在所述增强现实环境内的所述位置处，并使得所述虚拟代理对象表现为部分透明，由此所述虚拟代理对象看上去在所述增强现实环境内维持相干空间关系。
CN201580071952.5A 2014-12-30 2015-12-07 现实世界对象的虚拟表示 Active CN107111370B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/586,504 2014-12-30
US14/586,504 US9728010B2 (en) 2014-12-30 2014-12-30 Virtual representations of real-world objects
PCT/US2015/064171 WO2016109121A1 (en) 2014-12-30 2015-12-07 Virtual representations of real-world objects

Publications (2)

Publication Number Publication Date
CN107111370A CN107111370A (zh) 2017-08-29
CN107111370B true CN107111370B (zh) 2020-06-19

Family

ID=55025424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580071952.5A Active CN107111370B (zh) 2014-12-30 2015-12-07 现实世界对象的虚拟表示

Country Status (5)

Country Link
US (1) US9728010B2 (zh)
EP (1) EP3241188A1 (zh)
KR (1) KR102408318B1 (zh)
CN (1) CN107111370B (zh)
WO (1) WO2016109121A1 (zh)

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US20150206173A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US11205075B2 (en) * 2018-01-10 2021-12-21 Quantum Interface, Llc Interfaces, systems and apparatuses for constructing 3D AR environment overlays, and methods for making and using same
US9916772B1 (en) * 2015-01-29 2018-03-13 Schell Games Llc Atomic and molecular modeling system
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
EP3113106A1 (en) * 2015-07-02 2017-01-04 Nokia Technologies Oy Determination of environmental augmentation allocation data
KR101734287B1 (ko) * 2015-08-04 2017-05-11 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어방법
US10591728B2 (en) * 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US10949882B2 (en) * 2016-04-03 2021-03-16 Integem Inc. Real-time and context based advertisement with augmented reality enhancement
US11062383B2 (en) 2016-05-10 2021-07-13 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
US10311648B2 (en) * 2016-06-22 2019-06-04 Aquifi, Inc. Systems and methods for scanning three-dimensional objects
US10268266B2 (en) * 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
WO2018064213A1 (en) * 2016-09-27 2018-04-05 Duke University Systems and methods for using sensing of real object position, trajectory, or attitude to enable user interaction with a virtual object
CN114356098A (zh) * 2016-09-28 2022-04-15 奇跃公司 由可穿戴设备进行面部模型捕获
US10438389B2 (en) * 2016-11-07 2019-10-08 Htc Corporation Method, device, and non-transitory computer readable storage medium for displaying virtual reality or augmented reality environment according to a viewing angle
US10158634B2 (en) * 2016-11-16 2018-12-18 Bank Of America Corporation Remote document execution and network transfer using augmented reality display devices
US10212157B2 (en) 2016-11-16 2019-02-19 Bank Of America Corporation Facilitating digital data transfers using augmented reality display devices
US10943229B2 (en) 2016-11-29 2021-03-09 Bank Of America Corporation Augmented reality headset and digital wallet
US10339583B2 (en) 2016-11-30 2019-07-02 Bank Of America Corporation Object recognition and analysis using augmented reality user devices
US10685386B2 (en) 2016-11-30 2020-06-16 Bank Of America Corporation Virtual assessments using augmented reality user devices
US10600111B2 (en) 2016-11-30 2020-03-24 Bank Of America Corporation Geolocation notifications using augmented reality user devices
JP2018092313A (ja) * 2016-12-01 2018-06-14 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US10586220B2 (en) 2016-12-02 2020-03-10 Bank Of America Corporation Augmented reality dynamic authentication
US10481862B2 (en) 2016-12-02 2019-11-19 Bank Of America Corporation Facilitating network security analysis using virtual reality display devices
US10311223B2 (en) 2016-12-02 2019-06-04 Bank Of America Corporation Virtual reality dynamic authentication
US10607230B2 (en) 2016-12-02 2020-03-31 Bank Of America Corporation Augmented reality dynamic authentication for electronic transactions
US10109096B2 (en) 2016-12-08 2018-10-23 Bank Of America Corporation Facilitating dynamic across-network location determination using augmented reality display devices
US10109095B2 (en) 2016-12-08 2018-10-23 Bank Of America Corporation Facilitating dynamic across-network location determination using augmented reality display devices
US10210767B2 (en) 2016-12-13 2019-02-19 Bank Of America Corporation Real world gamification using augmented reality user devices
US10217375B2 (en) 2016-12-13 2019-02-26 Bank Of America Corporation Virtual behavior training using augmented reality user devices
EP3555865A4 (en) 2016-12-13 2020-07-08 Magic Leap, Inc. RENDERING OF 3D OBJECTS BY DETECTING CHARACTERISTICS
US10963964B1 (en) 2016-12-28 2021-03-30 Wells Fargo Bank, N.A. Measuring risk tolerance using virtual or augmented reality view of simulated outcome
US20180190022A1 (en) * 2016-12-30 2018-07-05 Nadav Zamir Dynamic depth-based content creation in virtual reality environments
CN108346178A (zh) 2017-01-23 2018-07-31 微软技术许可有限责任公司 混合现实对象呈现
US11379688B2 (en) 2017-03-16 2022-07-05 Packsize Llc Systems and methods for keypoint detection with convolutional neural networks
US10290152B2 (en) * 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
DE102017207995A1 (de) * 2017-05-11 2018-11-15 Homag Gmbh Verfahren zum Anpassen eines virtuellen Objekts
US10311630B2 (en) 2017-05-31 2019-06-04 Verizon Patent And Licensing Inc. Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene
US10347037B2 (en) * 2017-05-31 2019-07-09 Verizon Patent And Licensing Inc. Methods and systems for generating and providing virtual reality data that accounts for level of detail
US10586377B2 (en) * 2017-05-31 2020-03-10 Verizon Patent And Licensing Inc. Methods and systems for generating virtual reality data that accounts for level of detail
US10304251B2 (en) * 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
WO2019017976A1 (en) 2017-07-21 2019-01-24 Hewlett-Packard Development Company, L.P. PHYSICAL INPUT DEVICE IN VIRTUAL REALITY
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US10861236B2 (en) * 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
KR102481884B1 (ko) * 2017-09-22 2022-12-28 삼성전자주식회사 가상 영상을 표시하는 방법 및 장치
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
EP3700182A4 (en) * 2017-10-19 2020-12-30 Sony Corporation ELECTRONIC DEVICE
US11080780B2 (en) 2017-11-17 2021-08-03 Ebay Inc. Method, system and computer-readable media for rendering of three-dimensional model data based on characteristics of objects in a real-world environment
US11164380B2 (en) 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
US10192115B1 (en) 2017-12-13 2019-01-29 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
WO2019118002A1 (en) * 2017-12-15 2019-06-20 Google Llc Methods and systems for generating augmented reality environments
US10008045B1 (en) * 2017-12-21 2018-06-26 Capital One Services, Llc Placement of augmented reality objects using a bounding shape
US10713840B2 (en) * 2017-12-22 2020-07-14 Sony Interactive Entertainment Inc. Space capture, modeling, and texture reconstruction through dynamic camera positioning and lighting using a mobile robot
CN108108023B (zh) * 2018-01-02 2021-02-19 联想(北京)有限公司 一种显示方法和显示系统
US11341350B2 (en) * 2018-01-05 2022-05-24 Packsize Llc Systems and methods for volumetric sizing
US20190221035A1 (en) * 2018-01-12 2019-07-18 International Business Machines Corporation Physical obstacle avoidance in a virtual reality environment
US10500496B2 (en) 2018-01-12 2019-12-10 International Business Machines Corporation Physical obstacle avoidance in a virtual reality environment
DK201870349A1 (en) 2018-01-24 2019-10-23 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
US10838600B2 (en) 2018-02-12 2020-11-17 Wayfair Llc Systems and methods for providing an extended reality interface
CN108492363B (zh) * 2018-03-26 2020-03-10 Oppo广东移动通信有限公司 基于增强现实的结合方法、装置、存储介质及电子设备
FR3080935B1 (fr) * 2018-05-02 2020-05-22 Argo Procede et systeme de generation a la volee d'un contenu de realite augmentee sur un appareil utilisateur.
US10922895B2 (en) 2018-05-04 2021-02-16 Microsoft Technology Licensing, Llc Projection of content libraries in three-dimensional environment
DK201870350A1 (en) 2018-05-07 2019-12-05 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US10950031B2 (en) 2018-05-14 2021-03-16 Apple Inc. Techniques for locating virtual objects relative to real physical objects
US10762219B2 (en) * 2018-05-18 2020-09-01 Microsoft Technology Licensing, Llc Automatic permissions for virtual objects
US10937241B2 (en) * 2018-06-29 2021-03-02 The Travelers Indemnity Company Systems, methods, and apparatus for identifying an augmented reality service
EP3599539B1 (en) 2018-07-26 2023-08-23 Nokia Technologies Oy Rendering objects in virtual views
US11348316B2 (en) * 2018-09-11 2022-05-31 Apple Inc. Location-based virtual element modality in three-dimensional content
US11189054B2 (en) * 2018-09-28 2021-11-30 Apple Inc. Localization and mapping using images from multiple devices
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US10888777B2 (en) 2018-10-01 2021-01-12 International Business Machines Corporation Deep learning from real world and digital exemplars
CN115016638A (zh) * 2018-10-15 2022-09-06 美的集团股份有限公司 提供虚拟指导的方法、计算机系统及计算机可读存储介质
US10726636B2 (en) * 2018-10-16 2020-07-28 Disney Enterprises, Inc. Systems and methods to adapt an interactive experience based on user height
US10397727B1 (en) * 2018-10-19 2019-08-27 Facebook Technologies, Llc Audio source clustering for a virtual-reality system
US10380440B1 (en) 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
US11557060B2 (en) 2018-11-05 2023-01-17 Wayfair Llc Systems and methods for scanning three-dimensional objects
CN109801379B (zh) * 2019-01-21 2023-02-17 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法
US11099634B2 (en) * 2019-01-25 2021-08-24 Apple Inc. Manipulation of virtual objects using a tracked physical object
US10783714B2 (en) * 2019-01-29 2020-09-22 Verizon Patent And Licensing Inc. Methods and systems for automatically tailoring a form of an extended reality overlay object
US11960635B2 (en) * 2019-02-01 2024-04-16 Maxell, Ltd. Virtual object display device and virtual object display method
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
US10964122B2 (en) 2019-03-06 2021-03-30 Microsofttechnology Licensing, Llc Snapping virtual object to target surface
EP4235381A3 (en) * 2019-03-18 2023-11-01 Apple Inc. Virtual paper
US10957108B2 (en) 2019-04-15 2021-03-23 Shutterstock, Inc. Augmented reality image retrieval systems and methods
CN110349269A (zh) * 2019-05-21 2019-10-18 珠海随变科技有限公司 一种目标穿戴物试戴方法及系统
KR20200137594A (ko) * 2019-05-31 2020-12-09 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법
US11030459B2 (en) * 2019-06-27 2021-06-08 Intel Corporation Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11373374B2 (en) 2019-11-07 2022-06-28 Volvo Car Corporation Aligning the augmented reality or virtual reality world with the real world using natural position understanding
CN113243000A (zh) 2019-12-04 2021-08-10 谷歌有限责任公司 用于增强现实对象的捕捉范围
US11003308B1 (en) 2020-02-03 2021-05-11 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11961002B2 (en) 2020-03-05 2024-04-16 Saudi Arabian Oil Company Random selection of observation cells for proxy modeling of reactive transport modeling
US11561674B2 (en) * 2020-03-05 2023-01-24 Saudi Arabian Oil Company User interface for proxy modeling of reactive transport modeling
US20210279967A1 (en) * 2020-03-06 2021-09-09 Apple Inc. Object centric scanning
US11727650B2 (en) * 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11475652B2 (en) 2020-06-30 2022-10-18 Samsung Electronics Co., Ltd. Automatic representation toggling based on depth camera field of view
CN116719413A (zh) * 2020-09-11 2023-09-08 苹果公司 用于操纵环境中的对象的方法
GB202015887D0 (en) 2020-10-07 2020-11-18 Veeride Geo Ltd Hands-free pedestrian navigation system and method
IT202000024013A1 (it) * 2020-10-12 2022-04-12 Ierom S R L Metodo per generare immagini rappresentabili da un visore indossabile da un pilota di un velivolo
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1746822A (zh) * 2004-09-07 2006-03-15 佳能株式会社 用于呈现与虚拟图像合成的图像的信息处理装置及方法
EP2546806A2 (en) * 2011-07-11 2013-01-16 Deutsche Telekom AG Image based rendering for AR - enabling user generation of 3D content
CN103186922A (zh) * 2011-09-30 2013-07-03 微软公司 使用扩增现实显示器表示以前时间段时的场所
CN103760973A (zh) * 2013-12-18 2014-04-30 微软公司 增强现实的信息细节

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001236936A1 (en) 2000-02-11 2001-08-20 Kevin I. Robertson System and method for integrating virtual representation of a real event with a remote participant
US20150154799A1 (en) * 2013-11-29 2015-06-04 At&T Intellectual Property I, L.P. Replacing A Physical Object Perception With A Modified Perception
US8754886B2 (en) 2008-12-29 2014-06-17 Intel Corporation Systems and methods for transporting physical objects from real physical life into virtual worlds
US9164577B2 (en) * 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US8405680B1 (en) 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
JP5624394B2 (ja) * 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US8913085B2 (en) * 2010-12-22 2014-12-16 Intel Corporation Object mapping techniques for mobile augmented reality applications
KR101818024B1 (ko) * 2011-03-29 2018-01-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
US10242456B2 (en) * 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9449342B2 (en) * 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US9041622B2 (en) 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
KR20140055124A (ko) * 2012-10-30 2014-05-09 엘지전자 주식회사 영상표시장치, 및 그 동작방법
US9336629B2 (en) * 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
US20140270477A1 (en) * 2013-03-14 2014-09-18 Jonathan Coon Systems and methods for displaying a three-dimensional model from a photogrammetric scan
US20140282220A1 (en) 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9245387B2 (en) 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
KR102249577B1 (ko) * 2013-05-30 2021-05-07 찰스 안소니 스미스 Ｈｕｄ 객체 설계 및 방법
WO2015006224A1 (en) * 2013-07-08 2015-01-15 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
US9250786B2 (en) * 2013-07-16 2016-02-02 Adobe Systems Incorporated Snapping of object features via dragging
JP6194711B2 (ja) * 2013-09-11 2017-09-13 株式会社リコー 画像形成装置、印刷方法及びプログラム
US9286725B2 (en) * 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
US10579207B2 (en) * 2014-05-14 2020-03-03 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
WO2016077798A1 (en) * 2014-11-16 2016-05-19 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US20160180193A1 (en) * 2014-12-22 2016-06-23 Amazon Technologies, Inc. Image-based complementary item selection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1746822A (zh) * 2004-09-07 2006-03-15 佳能株式会社 用于呈现与虚拟图像合成的图像的信息处理装置及方法
EP2546806A2 (en) * 2011-07-11 2013-01-16 Deutsche Telekom AG Image based rendering for AR - enabling user generation of 3D content
CN103186922A (zh) * 2011-09-30 2013-07-03 微软公司 使用扩增现实显示器表示以前时间段时的场所
CN103760973A (zh) * 2013-12-18 2014-04-30 微软公司 增强现实的信息细节

Also Published As

Publication number Publication date
KR102408318B1 (ko) 2022-06-10
CN107111370A (zh) 2017-08-29
US20160189426A1 (en) 2016-06-30
US9728010B2 (en) 2017-08-08
KR20170100641A (ko) 2017-09-04
EP3241188A1 (en) 2017-11-08
WO2016109121A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
CN107111370B (zh) 现实世界对象的虚拟表示
CN107209950B (zh) 从现实世界材料自动生成虚拟材料
US10643389B2 (en) Mechanism to give holographic objects saliency in multiple spaces
KR102482217B1 (ko) 3d 홀로그래픽 환경에서의 콘텐츠 관리
KR102213725B1 (ko) 모바일 디바이스 착용 시의 머리 움직임 추적
US9105210B2 (en) Multi-node poster location
EP3097460B1 (en) Gaze swipe selection
US9035970B2 (en) Constraint based information inference
US9384737B2 (en) Method and device for adjusting sound levels of sources based on sound source priority
US20140152558A1 (en) Direct hologram manipulation using imu

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant