CN105378801B - 全息图快照网格 - Google Patents

全息图快照网格 Download PDF

Info

Publication number
CN105378801B
CN105378801B CN201480021043.6A CN201480021043A CN105378801B CN 105378801 B CN105378801 B CN 105378801B CN 201480021043 A CN201480021043 A CN 201480021043A CN 105378801 B CN105378801 B CN 105378801B
Authority
CN
China
Prior art keywords
virtual objects
snapshot
mesh space
augmented reality
mesh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480021043.6A
Other languages
English (en)
Other versions
CN105378801A (zh
Inventor
A·G·鲍罗斯
J·斯科特
M·卡普兰
C·奥韦索
C·G·布朗
D·J·麦克洛克
A·李
B·J·芒特
B·J·苏格登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105378801A publication Critical patent/CN105378801A/zh
Application granted granted Critical
Publication of CN105378801B publication Critical patent/CN105378801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

描述了用于使用与现实世界环境、现实世界对象、和/或增强现实环境内的虚拟对象相关联的快照网格空间来在增强现实环境中定位虚拟对象的方法。快照网格空间可包括一个或多个虚拟对象可位于其中的增强现实环境内的二维或三维虚拟空间。在某些实施例中,头戴式显示设备(HMD)可在增强现实环境内标识一个或多个网格空间、检测虚拟对象在该增强现实环境内的安置、确定一个或多个网格空间中的要在其中安置虚拟对象的目标网格空间、确定虚拟对象在目标网格空间内的位置、以及基于虚拟对象在目标网格空间内的位置在增强现实环境内显示该虚拟对象。

Description

全息图快照网格
背景
增强现实(AR)涉及提供经增强的现实世界环境,其中用计算机生成的虚拟数据来增强或修改对现实世界环境(或表示现实世界环境的数据)的感知。例如,可使用诸如相机或话筒等传感输入设备实时地捕捉表示现实世界环境的数据,并用包括虚拟图像和虚拟声音的计算机生成的虚拟数据来增强该数据。虚拟数据还可包括与现实世界环境有关的信息,诸如与现实世界环境中的现实世界对象相关联的文本描述。一些AR环境内的对象可包括现实对象(即,存在于特定的现实世界环境中的对象)和虚拟对象(即,不存在于特定的现实世界环境中的对象)。
为了将虚拟对象逼真地集成到AR环境中,AR系统通常执行包括映射和本地化的若干任务。映射涉及生成现实世界环境的映射的过程。本地化涉及相对于现实世界环境的映射来定位特定的视角或姿态的过程。在一些情况下,AR系统可实时本地化在现实世界环境内移动的移动设备的姿态,以便确定与该移动设备相关联的、需要随该移动设备在现实世界环境中移动而被增强的特定视图。
概述
描述了用于使用与现实世界环境、现实世界对象、和/或增强现实环境内的虚拟对象相关联的快照网格空间来在增强现实环境中安置虚拟对象的技术。快照网格空间可包括增强现实环境内的一个或多个虚拟对象可安置于其中的二维或三维虚拟空间。在某些实施例中,头戴式显示设备(HMD)可在增强现实环境内标识一个或多个网格空间、检测增强现实环境内的虚拟对象的安置、确定一个或多个网格空间的在其中安置虚拟对象的目标网格空间、确定虚拟对象在目标网格空间内的位置、以及基于虚拟对象在所述目标网格空间内的位置来在增强现实环境内显示所述虚拟对象。
提供该概述以便以简化形式介绍概念的选集,所述概念在以下详细描述中被进一步描述。该概述不意图标识所要求保护的主题的关键特征或基本特征,也不意图被用来帮助确定所要求保护的主题的范围。
附图简述
图1是可在其中实施所公开的技术的联网计算环境的一个实施例的框图。
图2A描绘了与第二移动设备通信的移动设备的一个实施例。
图2B描绘了HMD的一部分的一个实施例。
图3描绘了包括捕捉设备和计算环境的计算系统的一个实施例。
图4A描绘了在其中一个或多个虚拟对象可被安置的环境的一个实施例。
图4B描绘了包括快照网格空间的图4A中的环境的一个实施例。
图4C描绘了包括放到图4B的快照网格空间中的虚拟对象的图4A中的环境的一个实施例。
图4D描绘了包括第一个人和相对于第一个人安置的放射状快照网格空间的增强现实环境的一个实施例。
图5A是描述了用于使用快照网格空间在增强现实环境内安置虚拟对象的方法的一个实施例的流程图。
图5B是描述了用于在增强现实环境内标识快照网格空间的过程的一个实施例的流程图。
图5C是描述了用于确定虚拟对象被安置在快照网格空间内的过程的一个实施例的流程图。
图6是移动设备的一个实施例的框图。
详细描述
描述了用于使用与现实世界环境、现实世界对象、和/或增强现实环境内的虚拟对象相关联的快照网格空间来在增强现实环境中定位虚拟对象的技术。快照网格空间可包括增强现实环境内的一个或多个虚拟对象可位于其中的二维或三维虚拟空间。快照网格空间可以与特定房间或环境(例如,起居室或办公室)相关联。快照网格空间可以与现实世界对象(例如,房间内的墙或桌面表面的一部分)或虚拟对象(例如可移动虚拟公告板或虚拟桌面)相关联。在某些实施例中,移动设备,诸如头戴式显示设备(HMD),可在增强现实环境内标识一个或多个网格空间、检测虚拟对象在该增强现实环境内的安置(或重新安置)、确定一个或多个网格空间中的要在其中安置虚拟对象的目标网格空间、确定与目标网格空间相关联的网格间距、基于该网格间距确定虚拟对象在目标网格空间内的位置和朝向、并基于虚拟对象在该目标网格空间内的位置和朝向来在该增强现实环境内显示该虚拟对象。
在某些实施例中,虚拟对象(例如,全息电视、全息网络浏览器、或全息绘画)可被置于增强现实环境内,并接着被自动快照到对应于该增强现实环境内的快照网格空间的网格位置。在某些情况中,快照网格空间可以与现实世界环境(例如,办公室或卧室)相关联,并且虚拟对象可被安置在与该现实世界环境相关联的顶层世界空间内。在某些情况中,快照网格空间可以与增强现实环境内的现实世界对象(例如,桌子或墙壁)相关联,并且虚拟对象可相对于该现实世界对象或该现实世界对象的3D模型来安置。在此情况中,随着现实世界对象在增强现实环境内移动,虚拟对象将跟随现实世界对象移动。在一个示例中,现实世界对象可包括人,并且虚拟对象可相对于人来安置(例如,虚拟对象可以安置在相对于人移动的放射状快照网格空间内)。人可包括HMD的最终用户或在增强现实环境内的特定人。在某些情况中,快照网格空间可以与增强现实环境内的第二虚拟对象(例如,虚拟桌子或虚拟墙壁)相关联,并且虚拟对象可相对于该第二虚拟对象来安置。在此情况中,随着第二虚拟对象在增强现实环境内移动,虚拟对象将跟随(或相对于)第二虚拟对象移动。
在某些环境中,快照网格空间内的虚拟对象在检测到安置事件时(例如在被HMD的最终用户安置并释放后)可被自动快照到快照网格空间内的最靠近的(最接近)网格点。例如,如果HMD的最终用户执行虚拟对象复制和粘贴功能、虚拟对象剪切和粘贴功能、或虚拟对象移动功能,那么安置事件可被触发。在某些情况中,虚拟对象可快照其位置和相对于快照网格空间内的一组网格点(或锚点)的朝向。与快照网格空间相关联的网格间距(或网格点的密度)可基于HMD上运行的应用(例如,虚拟TV查看应用或虚拟网络浏览器应用)和/或虚拟对象相对于快照网格空间的大小的大小来确定(例如,相比于较大虚拟对象,较小虚拟对象可能需要更高的网格间距密度)。网格间距还可基于已经被安置在快照网格空间内(或相对于快照网格空间安置)的其它虚拟对象的大小来设置。在某些情况中,网格间距在快照网格空间的各个区域内可以是不统一的(例如,在网格空间的角或边附近或在其中更可能发生虚拟对象安置的网格空间的区域中可提供较密的网格点)。
在某些实施例中,快照网格空间可包括可调节和/或可移动虚拟空间。例如,附属于工作环境中的办公桌的快照网格空间可被重新定位或移动(例如,被最终用户抓取并拖拽)到该工作环境内的不同的桌子或该工作环境内的墙壁。在另一个示例中,(例如,在从第一公寓移动到第二公寓后)快照网格空间可从第一公寓内的墙壁的一部分剪切并粘贴到第二公寓内的墙壁的一部分。在某些情况中,快照网格空间及其网格间距可被改变大小或调整(例如,被查看该增强现实环境的HMD的最终用户放大或缩小)以容适在现实世界对象和/或虚拟对象的锚定的维度内。
关于使用HMD在三维增强现实环境内放置和/或安排虚拟对象的一个问题是因HMD提供的视图的单参照点,准确安置可能是困难的。此外,在增强现实环境内虚拟对象位置随时间的漂移可能通过打破增强现实环境内的虚拟对象的假象而损害增强现实体验。因此,需要改善在增强现实环境内的虚拟对象的安置。
图1是可在其中实施所公开的技术的联网计算环境100的一个实施例的框图。联网计算环境100包括通过一个或多个网络180互连的多个计算设备。所述一个或多个网络180允许一特定计算设备连接到另一计算设备以及与其通信。所描绘的计算设备包括移动设备11、移动设备12、移动设备19和服务器15。在一些实施例中,所述多个计算设备可以包括未示出的其他计算设备。在一些实施例中,所述多个计算设备可以包括比图1所示的计算设备的数目更多或更少的计算设备。所述一个或多个网络180可以包括诸如企业专用网络之类的安全网络、诸如无线开放式网络之类的不安全网络、局域网(LAN)、广域网(WAN)、以及因特网。所述一个或多个网络180中的每个网络可以包括集线器、网桥、路由器、交换机、以及有线传输介质,比如有线网络或直接线连接。
可包括补充信息服务器或应用服务器的服务器15可允许客户机从该服务器下载信息(例如,文本、音频、图像和视频文件)或者执行与存储在该服务器上的特定信息相关的搜索查询。一般而言,“服务器”可以包括在客户端-服务器关系中充当主机的硬件设备、或者与一个或多个客户机共享资源或为所述一个或多个客户机执行工作的软件过程。客户端-服务器关系下的计算设备之间的通信可以通过由客户端向服务器发送要求访问特定资源或执行特定工作的请求来发起。服务器随后可以执行所请求的动作并且将响应发送回客户端。
服务器15的一个实施例包括网络接口155、处理器156、存储器157和翻译器158,所有这些都彼此通信。网络接口155允许服务器15连接到一个或多个网络180。网络接口155可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器156允许服务器15执行存储在存储器157中的计算机可读指令以执行在此讨论的过程。翻译器158可包括用于将第一文件格式的第一文件翻译成第二文件格式的对应第二文件的映射逻辑(即,第二文件可以是经翻译的版本的第一文件)。可使用文件映射指令来配置翻译器158,该文件映射指令提供用于将第一文件格式的文件(或其部分)映射成第二文件格式的对应文件的指令。
移动设备19的一个实施例包括网络接口145、处理器146、存储器147、相机148、传感器149、以及显示器150,所有这些都彼此通信。网络接口145允许移动设备19连接到一个或多个网络180。网络接口145可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器146允许移动设备19执行存储在存储器147中的计算机可读指令以执行在此讨论的过程。相机148可以捕捉色彩图像和/或深度图像。传感器149可生成与移动设备19相关联的运动和/或朝向信息。在一些情况下,传感器149可包括惯性测量单元(IMU)。显示器150可显示数字图像和/或视频。显示器150可包括透视显示器。
在一些实施例中,包括网络接口145、处理器146、存储器147、相机148以及传感器149的移动设备19的各组件可被集成在单芯片基片上。在一示例中,网络接口145、处理器146、存储器147、相机148、传感器149可被集成成为片上系统(SOC)。在其他实施例中,网络接口145、处理器146、存储器147、相机148、传感器149可被集成在单个封装中。
在一些实施例中,通过采用照相机148、传感器149,和运行在处理器146上的姿势识别软件,移动设备19可提供自然用户界面(NUI)。使用自然用户界面,人的身体部位和移动可被检测、解释、以及用于控制计算应用的各方面。在一个示例中,利用自然用户界面的计算设备可推断与计算设备交互的人的意图(例如,最终用户执行了特定姿势来控制该计算设备)。
联网计算环境100可以为一个或多个计算设备提供云计算环境。云计算指的是基于因特网的计算,其中共享的资源、软件和/或信息通过因特网(或其他全局网络)被按需提供给一个或多个计算设备。基于在计算机网络图中使用的云图来将因特网描绘成对其所表示的底层基础设施的抽象,术语“云”被用作对因特网的比喻。
在一个示例中,移动设备19包括向头戴式显示设备(HMD)的最终用户提供增强现实环境或混合现实环境(例如,以控制在该HMD上运行的应用)的头戴式显示设备。HMD可包括视频透视和/或光学透视系统。最终用户佩戴的光学透视HMD可允许(例如经由透明透镜)对现实世界环境的实际直接查看,并且同时可将虚拟对象的图像投影到最终用户的视野中,由此用虚拟对象来增强最终用户所感知的现实世界环境。
通过利用HMD,佩戴HMD的最终用户可在现实世界环境(例如,起居室)中四处移动,并感知覆盖有虚拟对象的图像的现实世界的视图。虚拟对象可以看起来保持与现实世界环境的相干空间关系(即,当最终用户在现实世界环境中转动他们的头或移动时,显示给该最终用户的图像将改变,使得虚拟对象看起来像被最终用户感知的那样存在于该现实世界环境内)。虚拟对象还可看起来相对于最终用户的视角是固定的(例如,无论最终用户如何在现实世界环境中转动他们的头或移动,总是出现在最终用户视角的右上角的虚拟菜单)。在一个实施例中,现实世界环境的环境映射可由服务器15(即,在服务器侧)来执行,而相机本地化可在移动设备19上(即,在客户机侧)执行。虚拟对象可包括与现实世界对象相关联的文本描述。
在一些实施例中,移动设备(诸如移动设备19)可与云中的服务器(诸如服务器15)通信,并可提供与移动设备相关联的服务器位置信息(例如,经由GPS坐标的移动设备的位置)和/或图像信息(例如,与在移动设备的视野内检测到的对象有关的信息)。作为响应,服务器可基于提供给该服务器的位置信息和/或图像信息向移动设备传送一个或多个虚拟对象。在一个实施例中,一个或多个虚拟对象可由移动设备的最终用户使用手和/或手指姿势来操纵或控制。
在某些实施例中,移动设备的最终用户可通过选择虚拟对象并将虚拟对象移动到增强现实环境内与快照网格空间相关联的区域来在增强现实环境内安置(或重新安置)虚拟对象。快照网格空间可与增强现实环境内的对应的现实世界环境(例如,快照网格空间可包括位于卧室的一部分内的三维快照网格空间)、现实世界对象(例如,快照网格空间可包括位于桌子上方的三维空间)、和/或虚拟对象(例如,快照网格空间可包括位于虚拟桌子的表面上的二维空间)相关联。快照网格空间可被突出显示(例如,虚拟线框网格或快照点的虚拟点网格可被用于突出显示该网格空间)以在将虚拟对象放置在增强现实环境内期间帮助向最终用户标识快照网格空间。一旦虚拟对象已经相对于快照网格空间被安置(例如,通过被最终用户移动并释放),那么虚拟对象可被自动快照到快照网格空间内的最近的网格点。
在某些实施例中,快照网格空间本身可包括可调节和/或可移动虚拟空间。例如,与位于第一家庭环境内的墙壁上的虚拟公告板相关联的二维快照网格空间可被移动(或重新定位)到该家庭环境的不同的墙壁或不同的家庭环境。在此情况中,尽管快照网格空间已经被重新定位,已经被快照到快照网格空间内的各个网格点的虚拟对象将维持它们相对于快照网格空间的位置。
图2A描绘了与第二移动设备5通信的移动设备19的一个实施例。移动设备19可包括透视HMD。如所描绘的,移动设备19经由有线连接6与移动设备5通信。然而,移动设备19还可经由无线连接与移动设备5通信。在一个示例中,HMD的最终用户戴着的HMD可与在该最终用户的邻近度内的第二移动设备(例如,最终用户使用的移动设备)(例如该第二移动设备可在外套口袋里)无线地通信。移动设备5可由移动设备19用来卸载计算密集的处理任务(例如,渲染虚拟对象和/或姿势识别),并将可被用来提供增强现实环境的信息(例如虚拟对象模型)存储在移动设备19上(例如由最终用户使用来控制运行在移动设备上的应用)。移动设备19还可向移动设备5提供与移动设备19相关联的运动和/或朝向信息。在一个示例中,运动信息可包括与移动设备19相关联的速度或加速度,并且朝向信息可包括欧拉角,其提供围绕特定坐标系统或参照系的转动信息。在一些情况中,移动设备19可包括运动和朝向传感器,诸如惯性测量单元(IMU),以便获得与移动设备19相关联的运动和/或朝向信息。
图2B描绘了HMD(诸如图1的移动设备19)的一部分的一个实施例。仅描绘了HMD200的右侧。HMD 200包括右镜腿202、鼻梁204、镜片216、以及眼镜框214。右镜腿202包括与处理单元236通信的捕捉设备213(例如,前置相机和/或话筒)。捕捉设备213可包括用于记录数字图像和/或视频的一个或多个相机,并可将视觉记录传送到处理单元236。一个或多个相机可捕捉色彩信息、IR信息、和/或深度信息。该一个或多个相机可包括一个或多个图像传感器(例如,CCD图像传感器或CMOS图像传感器)。捕捉设备213还可包括用于记录声音的一个或多个话筒,并可将音频记录传送到处理单元236。
右镜腿202还包括生物测定传感器220、眼睛跟踪系统221、耳机230、运动和朝向传感器238、GPS接收器232、电源239、以及无线接口237,所有这些都与处理单元236通信。生物测定传感器220可包括用于确定与HMD 200的最终用户的脉搏或心率相关联的一个或多个电极,以及用于确定与HMD 200的最终用户相关联的体温的温度传感器。在一个实施例中,生物测定传感器220包括压着最终用户太阳穴的脉搏速率测量传感器。运动和朝向传感器238可以包括三轴磁力计、三轴陀螺仪、和/或三轴加速度计。在一个实施例中,运动和朝向传感器238可包括惯性测量单元(IMU)。GPS接收器可确定与HMD 200相关联的GPS位置。处理单元236可以包括一个或多个处理器和用于存储将要在所述一个或多个处理器上执行的计算机可读指令。存储器还可存储要在一个或多个处理器上执行的其它类型的数据。
在一个实施例中,眼睛跟踪系统221可包括面向内的相机。在另一实施例中,眼睛跟踪系统221可包括眼睛跟踪照明源和相关联的眼睛跟踪IR传感器。在一个实施例中,眼睛跟踪照明源可包括以大约预定IR波长或一定范围的波长发射的一个或多个红外(IR)发射器(诸如红外发光二极管(LED)或激光器(例如,VCSEL))。在一些实施例中,眼睛跟踪传感器可包括用于跟踪闪光位置的IR相机或IR位置敏感检测器(PSD)。关于眼睛跟踪系统的更多信息可在2008年7月22提交的标题为“Head Mounted Eye Tracking and Display System(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920,以及2011年9月26日提交的标题为“Integrated Eye Tracking and Display System(集成眼睛跟踪和显示系统)”的美国专利申请13/245,700中找到。
在一个实施例中,镜片216可包括透视显示器,处理单元236生成的图像由此可被投影和/或显示在透视显示器上。捕捉设备213可被校准,使得捕捉设备213所捕捉的视野对应于HMD 200的最终用户所看到的视野。耳机230可用于输出与虚拟对象的投影图像相关联的声音。在一些实施例中,HMD 200可包括两个或更多个前置相机(例如,每个镜腿上一个相机),以便从与前置相机所捕捉的视野相关联的立体信息中获得深度。两个或更多个前置相机还可包括3D、IR、和/或RGB相机。也可从利用来自运动技术的深度的单个相机中获取深度信息。例如,可从单个相机获取两个图像,这两个图像与在不同的时间点的、两个不同的空间点相关联。然后,给定与两个不同空间点有关的位置信息的情况下,可执行视差计算。
在一些实施例中,HMD 200可使用凝视检测元件和与一个或多个人类眼睛元素(诸如角膜中心、眼球旋转的中心、或瞳孔中心)有关的三维坐标系,来为最终用户眼睛中的每只眼睛执行凝视检测。凝视检测可被用来标识最终用户正在关注视野内的何处。凝视检测元件的示例可包括生成闪光的照明器和用于捕捉表示所生成的闪光的数据的传感器。在一些情况中,角膜中心可以基于两次闪光使用平面几何来确定。角膜中心链接瞳孔中心和眼球的旋转中心,这可被当作用于确定处于某种凝视或观看角度的最终用户的眼睛的光轴的固定位置。
图3描绘了包括捕捉设备20和计算环境12的计算系统10的一个实施例。在一些实施例中,捕捉设备20和计算环境12可以集成在单个移动计算设备中。该单个集成移动计算设备可包括移动设备,诸如图1中的移动设备19。在一个示例中,捕捉设备20和计算环境12可被集成在HMD中。在其它实施例中,捕捉设备20可与第一移动设备(诸如图2A中的移动设备19)集成,而计算环境12可与和第一移动设备通信的第二移动设备(诸如图2A中的移动设备5)集成。
在一个实施例中,捕捉设备20可以包括用于捕捉图像和视频的一个或多个图像传感器。图像传感器可以包括CCD图像传感器或CMOS图像传感器。在某些实施例中,捕捉设备20可包括图像传感器和/或IR CMOS图像传感器。捕捉设备20可包括图像相机组件32。图像相机组件32可包括可用来对捕捉区域的深度图像进行捕捉的IR光组件34、深度相机36、以及RGB相机38。在一个示例中,捕捉设备20的IR光组件34可以将红外光发射进入捕捉区域,然后可以使用传感器,用图像相机组件32内的彩色和/或IR光传感组件来检测从捕捉区域中的一个或多个对象的表面反向散射的光。在某些实施例中,可以使用脉冲式红外光,从而出射光脉冲和相应的入射光脉冲之间的时间可以被测量并被用于确定从捕捉设备20到捕捉区域中的一个或多个对象上的特定位置的物理距离。捕捉设备20还可包括用于产生准直光和/或用于散射光的光学器件(例如,用于传播来自产生窄光束的IR光源的光的光学散射器)以照亮环境。
如图3所描绘的,捕捉设备20可以包括一个或多个话筒40。该一个或多个话筒40中的每一个都可以包括可以接收声音并将其转换成电信号的换能器或传感器。该一个或多个话筒可包括话筒阵列,其中一个或多个话筒可以按预定布局排列。
捕捉设备20可以包括可以与图像相机组件32可操作地通信的处理器42。处理器42可包括标准处理器、专用处理器、微处理器等。处理器42可以执行指令,所述指令可以包括用于接收和分析图像和/或确定是否已经发生特定姿势的指令(例如,用于控制或操纵虚拟对象的最终用户姿势)的指令。应当理解,至少一些图像分析和/或姿势识别操作可以由诸如捕捉设备20之类的一个或多个捕捉设备内所包含的处理器来执行。
捕捉设备20可以包括存储器44,该存储器44可以存储可以由处理器42执行的指令以及由图像相机组件32的光感测组件捕捉的图像(或图像的帧)。在一个示例中,存储器44可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、非易失性存储器或任何其它合适的存储组件。如所描绘的,存储器44可以是与图像捕捉组件32和处理器42进行通信的分开的组件。在另一实施例中,存储器44可被集成到处理器42和/或图像捕捉组件32中。在其他实施例中,捕捉设备20的组件32、34、36、38、40、42和44中的部分或全部可被容纳在单个外壳中。
捕捉设备20可以经由通信链路46与计算环境12进行通信。通信链路46可以是有线连接或诸如无线802.11b、g、a或n的无线连接。在一个实施例中,捕捉设备20可将由例如深度相机36和/或RGB相机38捕捉的图像经由通信链路46提供给计算环境12。
如图3中所描绘的,计算环境12包括与应用196通信的图像和音频处理引擎194。应用196可包括操作系统应用或诸如游戏应用、消息收发应用、或用于生成增强现实环境的应用的其他计算应用。图像和音频处理引擎194包括虚拟数据引擎197、对象和姿势识别引擎190、结构数据198、处理单元191和存储器单元192,所有都彼此通信。图像和音频处理引擎194处理从捕捉设备20接收的视频、图像和音频数据。为了辅助对象的检测和/或跟踪,图像和音频处理引擎194可以利用结构数据198以及对象和姿势识别引擎190。
虚拟数据引擎197处理虚拟对象,并记录与在存储器单元192中存储的现实世界环境的各种映射有关的虚拟对象的位置和朝向。虚拟数据引擎还可向计算系统10的最终用户呈现与供显示的虚拟对象相关联的图像。在一些实施例中,计算系统10可使用从捕捉设备20获得的图像来相对于环境的3D图确定对应于这些图像的六自由度(6DOF)姿态。在一示例中,6DOF姿态可包括与移动设备(例如HMD)在环境内的位置和朝向相关联的信息。6DOF姿态可用于定位移动设备并生成虚拟对象的图像,以使得这些虚拟对象看起来存在于增强现实环境内的合适位置处。关于确定6DOF姿态的更多信息可在题为“DistributedAsynchronous Localization and Mapping for Augmented Reality(增强现实的分布式异步定位和映射)”的美国专利申请13/152,220中找到。关于执行对移动设备的姿态估计和/或定位的更多信息可在题为“Mobile Camera Localization Using Depth Maps(使用深度图的移动相机定位)”的美国专利申请13/017,474中找到。
处理单元191可以包括用于执行对象、面部和语音识别算法的一个或多个处理器。在一个实施例中,图像和音频处理引擎194可以将对象识别和面部识别技术应用于图像或视频数据。例如,对象识别可以用于检测特定对象(例如HMD的最终用户握持的铅笔),并且面部识别可以用于检测环境内的特定人的面部。图像和音频处理引擎194可以将音频和语音识别技术应用于音频数据。例如,音频识别可以用于检测特定声音。要检测的特定面部、语音、声音和对象可以存储在存储器单元192中所包含的一个或多个存储器中。处理单元191可执行存储在存储器单元192中的计算机可读指令以执行此处讨论的过程。
图像和音频处理引擎194可以在执行对象识别时利用结构数据198。结构数据198可以包括关于要跟踪的目标和/或对象的结构信息。例如,可以存储人类的骨架模型以帮助识别身体部位(例如,手臂、手、和/或手指)。在另一示例中,结构数据198可以包括关于一个或多个无生命对象的结构信息以便帮助识别所述一个或多个无生命对象(例如铅笔或指示笔)。
图像和音频处理引擎194还可以在执行姿势识别时利用对象和姿势识别引擎190。在一个示例中,对象和姿势识别引擎190可以包括姿势过滤器的集合,每个姿势过滤器都包括关于可被执行的姿势的信息。对象和姿势识别引擎190可将由捕捉设备20捕捉的数据与姿势库中的姿势过滤器进行比较来标识用户何时执行了一个或多个姿势。在一个示例中,图像和音频处理引擎194可以使用对象和姿势识别引擎190来检测计算系统10的最终用户执行的特定姿势的执行。在一个实施例中,对象和姿势识别引擎190可利用机器学习分类技术。
图4A-4D提供了各种环境的示例,其中一个或多个虚拟告对象(例如,全息海报或虚拟闹钟)可被生成并被显示给HMD的最终用户。该一个或多个虚拟对象可包括二维或三维虚拟对象。在某些情况中,可基于HMD的最终用户执行的安置姿势将虚拟对象从增强现实环境内的第一二维空间(例如,对应于桌子表面)转换到第二二维空间(例如,对应于家中特定房间内的墙)。
图4A描绘了在其中一个或多个虚拟对象可被安置的环境400的一个实施例。如所描绘的,环境400包括包含桌子403、椅子404和墙405内的窗402的三维现实世界空间。在一个实施例中,环境400包括工作环境内的办公室。
图4B描绘了包括快照网格空间的图4A中的环境400的一个实施例。如所描绘的,第一快照网格空间414包括位于三维现实世界空间的一部分内的三维网格空间,并且第二快照网格空间412包括位于现实世界对象的表面(即,桌子403顶面)上的二维网格空间。快照网格空间可基于该环境内的二维和三维开放空间来在环境内被标识。在一个示例中,第一快照网格空间414可被标识为环境400中满足虚拟对象的放置的体积要求和/或空间大小要求的三维开放空间(例如,大于八英尺见方的立方体的三维空间)。在另一个示例中,第二快照网格空间412可基于对特定桌子的顶表面的识别(例如,通过在工作环境内的特定人的桌子的对象识别)来被标识。一旦一个或多个快照网格空间(例如,第一快照网格空间414)已经在增强现实环境内被标识,与该一个或多个快照网格空间相关联的位置、朝向、和网格间距可被存储作为增强现实环境的三维映射的一部分。
图4C描绘了包括放到图4B的快照网格空间中的虚拟对象的图4A中的环境400的一个实施例。如所描绘的,第一虚拟对象424已经被安置在第一快照网格空间414中。第一虚拟对象424可包括三维虚拟对象(例如,虚拟球)。第二虚拟对象422已经被安置在第二快照网格空间412中。第二虚拟对象422可包括二维虚拟对象(例如,虚拟钟)。在某些情况下,该第二虚拟对象422可包括带深度的三维对象。
在某些实施例中,第一虚拟对象424可被快照(例如,虚拟磁性地快照)到第一快照网格空间414内最近的网格点(例如,第一虚拟对象的中心可被安置在最近的网格点)并且第二虚拟对象422可被快照到第二快照网格空间412内的最近的网格点。与第一快照网格空间414和第二快照网格空间412相关联的网格间距可基于HMD上运行的虚拟对象应用(例如,虚拟互联网浏览器应用或虚拟篮球游戏应用)和/或位于快照网格空间内的虚拟对象相对于快照网格空间的大小的大小来确定。在某些情况中,与快照网格空间相关联的网格间距在快照网格空间的各区域内可以不统一(例如,在网格空间的边界附近可提供更密集的网格点)。在一个实施例中,在虚拟对象通常或例行地放置在快照网格空间内之处,快照网格空间可包括更密集的网格点区域。
在某些实施例中,快照网格空间可包括可调节和/或可移动虚拟空间。例如,附于工作环境中的工作桌的快照网格空间可被移动到该工作环境内的不同的桌子或表面。在某些情况中,快照网格空间及其网格间距可被调整(例如,被查看该增强现实环境的HMD的最终用户放大或缩小)以容适在锚定现实世界对象(例如,桌子)和/或虚拟对象(例如,虚拟桌子)的维度内。
图4D描绘了包括第一个人29和相对于第一个人29安置的放射状快照网格空间426的增强现实环境401的一个实施例。如所描绘的,放射状快照网格空间426相对于第一个人29的头部来安置,并且虚拟对象425(例如,包括虚拟球体)被相对于放射状快照网格空间426来安置。在此情况中,随着第一个人29在增强现实环境内移动,放射状快照网格426将随第一个人29移动并且虚拟对象425将相对于放射状快照网格空间426移动。第一个人29可包括放射状快照网格空间426的移动锚定点。在一个实施例中,第一个人29可包括在增强现实环境401内的正在被HMD的最终用户查看的一个人。在另一个实施例中,第一个人29可包括HMD的最终用户,并且放射状快照网格426可对应于HMD的位置(例如,HMD的鼻梁,诸如图2B中的鼻梁204)。在某些情况中,放射状快照网格426可相对于一个人的身体的身体部位(例如,一个人的头部的顶部或一个人的胸部中心)来安置。尽管一个放射状快照网格空间被描绘,但其它快照网格区域也可被使用。例如立方体快照网格空间可相对于第一个人29的头部(或其它身体部位)来安置,并且虚拟对象可相对于立方体快照网格空间来安置。
图5A是描述了用于使用快照网格空间在增强现实环境内安置虚拟对象的方法的一个实施例的流程图。在一个实施例中,图5A的过程可由诸如图1中的移动设备19的移动设备来执行。
在步骤502,一种增强现实环境使用移动设备来标识。该移动设备设备可包括HMD。增强现实环境可通过GPS坐标或通过现实世界环境内的特定特征或地标的图像识别来被标识。与增强现实环境相关联的现实世界环境图像可使用捕捉设备(诸如图3中的捕捉设备20)来捕捉。在一个示例中,现实世界环境可包括家或家内的卧室或客厅。
在步骤504,与增强现实环境相关联的3D映射被获取。该3D映射可对应于与增强现实环境相关联的现实世界坐标系。该3D映射可包括各个地标或与环境相关联的其它环境特征的模型。该3D映射可包括顶层世界空间以及位于顶层世界空间内的对象空间。在一个实施例中,该3D映射可对应于房间,诸如图4A中的环境400。
在步骤506,与增强现实环境内的一个或多个现实世界对象相关联的3D模型的第一集合被获取。3D模型的第一集合中的每一者可对应于在增强现实环境内标识的现实世界对象。增强现实环境内的现实世界对象可通过对象和/或图像识别技术来被标识。在一个实施例中,3D模型的第一集合可包括与工作台或桌相关联的第一模型,诸如图4A中的桌子403。
在步骤508中,获取一个或多个虚拟对象。该一个或多个虚拟对象可从虚拟对象服务器(诸如图1中的服务器15)获取。一个或多个虚拟对象可包括已经被放置在增强现实环境内的虚拟对象和/或可在将来的时间被放置到该增强现实环境中的虚拟对象。一个或多个虚拟对象可包括第一虚拟对象。在一个实施例中,第一虚拟对象包括三维虚拟球,诸如图4C中的第一虚拟球对象424。
在步骤510中,一个或多个快照网格空间在增强现实环境内被标识。一个或多个快照网格空间可包括第一快照网格空间。第一快照网格空间可包括二维网格空间,诸如图4B中的第二快照网格空间412,或三维网格空间,诸如图4B中的第一快照网格空间414。在某些实施例中,一个或多个快照网格空间可在增强现实环境内通过对象和/或图像识别技术来被标识以检测合适的开放空间。一个或多个快照网格空间还可被标识为与增强现实环境相关联的3D映射的一部分。用于在增强现实环境内标识快照网格空间的过程的一个实施例稍后参考图5B来描述。
在步骤512,增强现实环境内的第一虚拟对象的安置被检测。在一个实施例中,第一虚拟对象的安置可通过识别由移动设备的最终用户执行的虚拟对象安置姿势来被检测。在步骤514,确定第一虚拟对象正在被安置在第一快照网格空间内。在一个实施例中,如果第一虚拟对象与第一快照网格空间的交叠发生在移动设备的视野内,那么第一虚拟对象可被认为是在第一快照网格空间内。在另一个实施例中,如果与第一虚拟对象相关联的三维位置在第一快照网格空间内,那么第一虚拟对象可被认为是在第一快照网格空间内。用于确定虚拟对象正被安置在快照网格空间内的过程的一个实施例稍后参考图5C来描述。
在步骤516,与第一快照网格空间相关联的网格间距被确定。在一个实施例中,与快照网格空间相关联的网格间距(或网格点的密度)可基于移动设备上运行的应用(例如,利用增强现实环境内的虚拟对象的虚拟TV查看应用或虚拟web浏览器应用)和/或虚拟对象相对于快照网格空间的大小的大小来确定(例如,相比于较大虚拟对象,较小虚拟对象可能需要更高的网格间距密度)。在一个示例中,运行虚拟TV应用的应用可允许HMD的最终用户查看位于增强现实环境内的虚拟TV上的频道和/或广播(即,将在现实TV上可用的相同的频道和/或广播)。在另一个示例中,增强现实应用可管理一个或多个虚拟小块(例如,计算应用图标、电子文件图标、或文件目录图标),并且网格间距可基于与一个或多个虚拟小块相关联的小块大小来设置。网格间距可被设置成使得小块的大小是网格间距的整数倍。
在某些情况中,网格间距可基于已经被安置在快照网格空间内(或相对于快照网格空间安置)的其它虚拟对象的大小来设置。在一个示例中,网格间距可基于已经被安置在快照网格空间内的最小虚拟对象来设置。在某些情况中,网格间距在快照网格空间的各区域内可以是不统一的(例如,在网格空间的角或边附近或在其中已经被发现重复发生虚拟对象安置的网格空间的区域中可提供较密的网格点)。
在一个实施例中,与第一快照网格空间相关联的网格间距可基于第一虚拟对象的大小和第一快照网格空间的大小来确定。在一个示例中,如果全息挂钟被放置在墙上,那么可使用一米的快照网格。在另一个示例中,如果小于挂钟的座钟被放置在桌子上,那么一厘米的快照网格(或小于用于更大的挂钟的网格间距的其它网格间距)可被使用。尽管最初网格间距(或快照网格单元刻度)可基于以下各种输入来确定,诸如:第一虚拟对象的大小、第一快照网格空间的大小、第一虚拟对象的相对于第一快照网格空间的大小的大小、已经被安置在第一快照网格空间内(或相对于第一快照网格空间安置的)其它虚拟对象的大小、第一虚拟对象要放置其中的房间的特性(例如,房间的维度和/或房间内开放空间的量)、用户偏好、和/或生成第一虚拟对象的增强现实应用的要求,但移动设备的最终用户可调节网格间距以适合他们随时间的需求。例如,第一快照网格的网格间距可被改变大小或调整(例如,被查看该增强现实环境的HMD的最终用户放大或缩小)以容适在锚定现实世界对象和/或锚定虚拟对象的维度内。
在某些情况中,网格间距可基于提供增强现实环境的移动设备(例如HMD)的跟踪角分辨率的精度来确定。例如,如果移动设备仅可检测大于最终用户头部(或眼睛)的一度移动的移动,那么网格间距可被设为与跟踪角分辨率相关联的最小可分辨间距。
在步骤518,基于网格间距,第一虚拟对象被分派到第一快照网格空间内的一位置。在一个实施例中,第一虚拟对象可被快照到第一快照网格空间内的最近的网格点。在一个示例中,第一虚拟对象的第一点(例如,中心点)可被快照到第一快照网格空间内的最近的网格点。在某些情况中,第一虚拟对象可快照其位置和相对于第一快照网格空间内的一组网格点(或锚点)的朝向。在步骤520,在移动设备上渲染并显示对应于第一虚拟对象的一个或多个图像。对应于第一虚拟对象的一个或多个图像可被渲染并显示成使得第一虚拟对象被感知为存在于环境中处于空间中对应于第一快照网格空间内的位置的点处。
图5B是描述了用于在增强现实环境内标识快照网格空间的过程的一个实施例的流程图。图5B中描述的过程是用于实现图5A中的步骤510的过程的一个示例。在一个实施例中,图5B的过程可由诸如图1中的移动设备19的移动设备来执行。
在步骤542中,与该一个或多个虚拟对象相关联的一个或多个对象属性被确定。一个或多个对象属性可包括关于以下各项的属性:虚拟对象的大小、虚拟对象的维数(例如,虚拟对象是二维对象还是三维对象)、以及与虚拟对象相关联的位置快照点(例如,虚拟对象的中心点或与虚拟对象相关联的用于将虚拟对象安置在增强现实环境内的其它参照点)。
在步骤544,与二维网格空间相关联的空间参数的第一集合基于一个或多个对象属性来确定。空间参数的第一集合可指定最小区域、最大区域、以及维度要求(例如,在各维度之一中二维网格空间宽于两米)。在步骤546,与三维网格空间相关联的空间参数的第二集合基于一个或多个对象属性来确定。空间参数的第二集合可指定最小体积、最大体积、以及维度要求(例如,在各维度之一中三维网格空间宽于三米)。
在步骤548,一个或多个二维网格空间基于参数的第一集合来标识。在步骤550,一个或多个三维网格空间基于参数的第二集合来标识。一个或多个二维网格空间和一个或多个三维网格空间可使用与增强现实环境相关联的3D映射和/或与增强现实环境内检测到的现实世界对象相关联的3D模型来标识。
在步骤552,与一个或多个二维网格空间相关联的空间属性的第一集合被确定。空间属性的第一集合可包括所标识的网格空间的大小。在步骤554,与一个或多个三维网格空间相关联的空间属性的第二集合被确定。空间属性的第二集合可包括所标识的网格空间的大小。在步骤556,一个或多个二维网格空间基于空间属性的第一集合来区分优先级。一个或多个二维网格空间可基于它们的区域和/或尺寸大小来排序。在步骤558,一个或多个三维网格空间基于空间属性的第二集合来区分优先级。一个或多个三维网格空间可基于它们的区域和/或尺寸大小来排序。
在步骤560,一个或多个二维空间的第一集合和一个或多个三维空间的第二集合可被输出。在一个实施例中,一个或多个二维空间的第一集合可包括在增强现实环境内具有小于最大面积和大于最小面积的面积的网格空间。一个或多个三维空间的第二集合可包括在增强现实环境内具有小于最大体积和大于最小体积的体积的网格空间。
图5C是描述了用于确定虚拟对象正被安置在快照网格空间内的过程的一个实施例的流程图。图5C中描述的过程是用于实现图5A中步骤514的过程的一个示例。在一个实施例中,图5C的过程可由诸如图1中的移动设备19的移动设备来执行。
在步骤572,标识了第一虚拟对象被选择以供安置在增强现实环境内。如果HMD的最终用户执行了触发诸如虚拟对象移动功能或虚拟对象剪切和粘贴功能的安置事件的姿势,那么虚拟对象可被选择以供安置。在步骤573,确定第一虚拟对象是二维对象还是三维对象。如果虚拟对象是二维对象,则步骤574被执行。否则,如果虚拟对象是三维对象,则步骤577被执行。
在一个实施例中,如果第一虚拟对象是二维虚拟对象,那么可仅向HMD的最终用户标识和/或突出显示二维快照网格空间。如果第一虚拟对象是三维虚拟对象,那么可仅向HMD的最终用户标识和/或突出显示三维快照网格空间。
在步骤574中,一个或多个二维快照网格空间在增强现实环境内被突出显示。在某些情况中,可仅突出显示能够将第一虚拟对象包含或以其他方式安置在它们内的二维快照网格空间。在一个实施例中,一个或多个二维快照网格空间的每一个可通过在一个或多个二维快照网格空间的每一个上放置突出显示框和/或突出显示颜色来被突出显示。在某些实施例中,如果第一虚拟对象在一个或多个二维快照网格空间的子集的接近度内或与子集交叠,那么该子集可被突出显示。突出显示可包括在一个或多个二维快照网格空间的子集上投射虚拟线框网格或快照点的虚拟点网格。在步骤575,第一虚拟对象与一个或多个二维快照网格空间的第一快照网格空间的交叠被检测。在步骤576,第一快照网格空间被输出。第一快照网格可在由HMD的最终用户执行虚拟对象释放姿势时被输出。
在步骤577中,一个或多个三维快照网格空间在增强现实环境内被突出显示。在某些情况中,可仅突出显示能够将第一虚拟对象包含或以其他方式安置在它们内的三维快照网格空间。在一个示例中,一个或多个三维快照网格空间的每一个可通过在一个或多个三维快照网格空间的每一个上放置突出显示立方体和/或突出显示颜色来被突出显示。在某些实施例中,如果第一虚拟对象在一个或多个三维快照网格空间的子集的接近度内或与子集交叠,那么该子集可被突出显示。突出显示可包括在一个或多个三维快照网格空间的子集上投射虚拟线框网格或快照点的虚拟点网格。在步骤578,第一虚拟对象与一个或多个三维快照网格空间的第一快照网格空间的交叠被检测。在步骤579,第一快照网格空间被输出。第一快照网格可在由HMD的最终用户执行虚拟对象释放姿势时被输出。
所公开的技术的一个实施例包括与一个或多个处理器通信的透视显示器。一个或多个处理器获取与增强现实环境相关联的一个或多个虚拟对象。一个或多个虚拟对象包括第一虚拟对象。一个或多个处理器在增强现实环境内标识一个或多个快照网格空间。一个或多个快照网格空间包括第一快照网格空间。一个或多个处理器基于第一虚拟对象的一个或多个属性确定与第一快照网格空间相关联的网格间距,并基于网格间距将第一虚拟对象分派到第一快照网格空间内的一位置。透视显示器显示一个或多个图像,使得第一虚拟对象被感知到存在于增强现实环境内处于第一快照网格空间内的所述位置。
所公开的技术的一个实施例包括获取与增强现实环境相关联的一个或多个虚拟对象。一个或多个虚拟对象包括第一虚拟对象。该方法还包括在增强现实环境内标识一个或多个快照网格空间。一个或多个快照网格空间包括第一快照网格空间。该方法还包括,基于第一虚拟对象的一个或多个属性确定与第一快照网格空间相关联的网格间距、基于网格间距将第一虚拟对象分派到第一快照网格空间内的一位置、在第一快照网格空间内的该位置处渲染对应于第一虚拟对象的一个或多个图像,并将所述一个或多个图像显示在移动设备上。
所公开的技术的一个实施例包括获取与增强现实环境相关联的一个或多个虚拟对象。一个或多个虚拟对象包括第一虚拟对象。该方法还包括,确定第一虚拟对象的维数,并基于第一虚拟对象的维数来标识增强现实环境内的一个或多个快照网格空间。一个或多个快照网格空间包括第一快照网格空间。该方法还包括,基于第一虚拟对象的一个或多个属性确定与第一快照网格空间相关联的网格间距、基于网格间距将第一虚拟对象快照到第一快照网格空间内的一位置、在第一快照网格空间内的该位置处渲染对应于第一虚拟对象的一个或多个图像,并将所述一个或多个图像显示在移动设备上。
图6是移动设备8300(诸如图1中的移动设备19)的一个实施例的框图。移动设备可以包括已经整合了无线接收机/发射机技术的膝上型计算机、袖珍计算机、移动电话、HMD、个人数字助理、以及手持式媒体设备。
移动设备8300包括一个或多个处理器8312以及存储器8310。存储器8310包括应用8330和非易失性存储8340。存储器8310可以是任何种类的存储器存储介质类型,包括非易失性和易失性存储器。移动设备操作系统处理移动设备8300的不同操作,并可包含用于操作的用户界面,如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用8330可以是任何种类的程序,如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、闹钟应用、以及其它应用。存储器8310中的非易失性存储组件8340可以包含诸如音乐、照片、联系人数据、日程安排数据、以及其它文件之类的数据。
一个或多个处理器8312与透视显示器8309进行通信。透视显示器8309可显示与现实世界环境相关联的一个或多个虚拟对象。所述一个或多个处理器8312还与下列各项通信:RF发射机/接收机8306,其又耦合到天线8302;红外发射机/接收机8308;全球定位服务(GPS)接收器8365;以及移动/定向传感器8314,其可以包括加速度计和/或磁力计。RF发射机/接收机8308可以通过诸如或IEEE 802.11标准之类的各种无线技术标准来实现无线通信。加速度计可能已经结合在移动设备中以实现诸如下列应用:智能用户界面应用,其让用户通过姿势输入命令;以及定向应用,其可以在移动设备被旋转时将显示自动地从竖向改变成横向。可以,例如,通过微机电系统(MEMS)来提供加速度计,该微机电系统是构建在半导体芯片上的微小机械器件(微米尺寸)。可以感测加速度方向、以及定向、振动和震动。所述一个或多个处理器8312还与响铃器/振动器8316、用户界面小键盘/屏幕8318、扬声器8320、话筒8322、相机8324、光传感器8326和温度传感器8328进行通信。用户界面小键盘/屏幕可以包括触敏屏幕显示器。
所述一个或多个处理器8312控制无线信号的发射和接收。在发射模式期间,所述一个或多个处理器8312向RF发射机/接收机8306提供来自话筒8322的语音信号,或其它数据信号。发射机/接收机8306通过天线8302来发射信号。响铃器/振动器8316被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其它通知等信号。在接收模式期间,RF发射机/接收机8306通过天线8302接收来自远程站的语音信号或数据信号。所接收到的语音信号被提供给扬声器8320,而接收到的其它数据信号被适当地处理。
另外,可以使用物理连接器8388来将移动设备8300连接到诸如AC适配器或加电对接底座之类的外部电源,以便对电池8304进行再充电。物理连接器8388还可被用作到外部计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操作。
所公开的技术可用各种其它通用或专用计算系统环境或配置来操作。适合结合本技术中使用的公知的计算系统、环境和/或配置的示例包括,但不限于,个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、包含上述系统或设备中的任一个的分布式计算环境等。
所公开的技术可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言,如此处所述的软件和程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构和其它类型的结构。硬件或硬件和软件的组合可以替代在此描述的软件模块。
所公开的技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中,程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。
出于本文档的目的,与所公开的技术相关联的每个过程可以持续地并由一个或多个计算设备来执行。该过程中的每个步骤都可由与在其他步骤中所使用的那些计算设备相同或不同的计算设备来执行,且每个步骤不必由单个计算设备来执行。
出于本文的目的,说明书中引述的“一实施例”、“一个实施例”、“某些实施例”或“另一实施例”用于描述不同的实施例并且不必然指的是同一实施例。
出于本文的目的,连接可以是直接连接或间接连接(例如,经由另一方)。
出于本文的目的,术语对象的“集合”指的是一个或多个对象的“集合”。
尽管用结构特征和/或方法动作专用的语言描述了本主题,但可以理解,所附权利要求书中定义的主题不必限于上述具体特征或动作。相反,上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种用于生成增强现实环境的电子设备,包括:
一个或多个处理器,所述一个或多个处理器确定位于所述增强现实环境内的多个虚拟对象,所述多个虚拟对象包括至少两个不同大小的虚拟对象,所述多个虚拟对象包括第一虚拟对象,所述一个或多个处理器在所述增强现实环境内标识第一快照网格空间,所述一个或多个处理器确定所述第一虚拟对象是所述多个虚拟对象的最小的虚拟对象,响应于确定所述第一虚拟对象是在所述增强现实环境内的所述多个虚拟对象的最小的虚拟对象,所述一个或多个处理器基于所述第一虚拟对象的大小自动确定与所述第一快照网格空间相关联的网格间距,所述一个或多个处理器自动确定网格间距而不需所述电子设备的终端用户的干预;以及
与所述一个或多个处理器通信的透视显示器,所述透视显示器显示所述一个或多个图像,使得所述第一虚拟对象被感知到存在于所述增强现实环境内处于所述第一快照网格空间内的一位置。
2.如权利要求1所述的电子设备,其特征在于:
所述一个或多个处理器将所述第一虚拟对象分派到对应于所述第一快照网格空间内的最近网格点的位置。
3.如权利要求1-2中的任一项所述的电子设备,其特征在于:
所述一个或多个处理器基于相对于所述第一快照网格空间的大小的所述第一虚拟对象的大小来自动确定所述网格间距。
4.如权利要求1-2中的任一项所述的电子设备,其特征在于:
所述一个或多个处理器确定所述第一虚拟对象的维数,所述一个或多个处理器基于所述第一虚拟对象的所述维数来在所述增强现实环境内标识所述第一快照网格空间。
5.如权利要求1-2中的任一项所述的电子设备,其特征在于:
所述第一快照网格空间包括所述增强现实环境内的三维空间,所述第一虚拟对象包括三维虚拟对象,所述电子设备包括HMD。
6.如权利要求1所述的电子设备,其特征在于:
所述第一快照网格空间包括位于在所述增强现实环境内相对于人安置的放射状快照网格空间。
7.一种用于在增强现实环境内放置虚拟对象的方法,包括:
确定位于增强现实环境内的多个虚拟对象,所述多个虚拟对象包括至少两个不同大小的虚拟对象,所述多个虚拟对象包括第一虚拟对象;
在所述增强现实环境内标识第一快照网格空间;
确定所述第一虚拟对象是所述多个虚拟对象的最小的虚拟对象;
响应于确定所述第一虚拟对象是所述多个虚拟对象的最小的虚拟对象,基于所述第一虚拟对象的大小自动确定与所述第一快照网格空间相关联的网格间距;
在所述第一快照网格空间内的一位置处渲染对应于所述第一虚拟对象的一个或多个图像;以及
将所述一个或多个图像显示在移动设备上,自动确定与所述第一快照网格空间相关联的网格间距包括自动确定网格空间而不需终端用户的干预。
8.如权利要求7所述的方法,其特征在于:
将所述第一虚拟对象分派到所述第一快照网格空间内的位置包括将所述第一虚拟对象快照到所述位置,所述位置包括所述第一快照网格空间内的最近网格点。
9.如权利要求7-8中的任一项所述的方法,其特征在于:
自动确定与所述第一快照网格空间相关联的网格间距包括基于相对于所述第一快照网格空间的大小的所述第一虚拟对象的大小来自动确定所述网格间距。
10.如权利要求7-8中任一项所述的方法,其特征在于,还包括:
确定所述第一虚拟对象的维数,在所述增强现实环境内标识第一快照网格空间包括基于所述第一虚拟对象的所述维数来标识所述第一快照网格空间。
CN201480021043.6A 2013-04-12 2014-04-09 全息图快照网格 Active CN105378801B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/862,347 US9245387B2 (en) 2013-04-12 2013-04-12 Holographic snap grid
US13/862,347 2013-04-12
PCT/US2014/033406 WO2014168995A1 (en) 2013-04-12 2014-04-09 Holographic snap grid

Publications (2)

Publication Number Publication Date
CN105378801A CN105378801A (zh) 2016-03-02
CN105378801B true CN105378801B (zh) 2018-09-11

Family

ID=50729837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480021043.6A Active CN105378801B (zh) 2013-04-12 2014-04-09 全息图快照网格

Country Status (5)

Country Link
US (1) US9245387B2 (zh)
EP (1) EP2984634B1 (zh)
KR (1) KR102222974B1 (zh)
CN (1) CN105378801B (zh)
WO (1) WO2014168995A1 (zh)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
WO2014194066A1 (en) * 2013-05-30 2014-12-04 Charles Anthony Smith Hud object design and method
GB201310360D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems
WO2014204330A1 (en) * 2013-06-17 2014-12-24 3Divi Company Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
US10228242B2 (en) * 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US20150145887A1 (en) * 2013-11-25 2015-05-28 Qualcomm Incorporated Persistent head-mounted content display
US10007329B1 (en) 2014-02-11 2018-06-26 Leap Motion, Inc. Drift cancelation for portable object detection and tracking
US20190244276A1 (en) * 2014-05-09 2019-08-08 Happy Ray Co. Ltd. Method and System for Matching Graphics
US11983401B1 (en) * 2014-06-04 2024-05-14 ULTRAHAPTICS IP TWO LIMITED, , United Kingd Systems and methods of interacting with a virtual grid in a three-dimensional (3D) sensory space
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9728010B2 (en) 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
US9520002B1 (en) 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
US10318225B2 (en) 2015-09-01 2019-06-11 Microsoft Technology Licensing, Llc Holographic augmented authoring
US20170084084A1 (en) * 2015-09-22 2017-03-23 Thrillbox, Inc Mapping of user interaction within a virtual reality environment
US10089681B2 (en) 2015-12-04 2018-10-02 Nimbus Visulization, Inc. Augmented reality commercial platform and method
US10304247B2 (en) 2015-12-09 2019-05-28 Microsoft Technology Licensing, Llc Third party holographic portal
US10083539B2 (en) * 2016-02-08 2018-09-25 Google Llc Control system for navigation in virtual reality environment
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10373381B2 (en) * 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
US10089071B2 (en) 2016-06-02 2018-10-02 Microsoft Technology Licensing, Llc Automatic audio attenuation on immersive display devices
IL292911B2 (en) 2016-08-11 2023-11-01 Magic Leap Inc Automatic positioning of a virtual object in three-dimensional space
US10044925B2 (en) 2016-08-18 2018-08-07 Microsoft Technology Licensing, Llc Techniques for setting focus in mixed reality applications
US10311543B2 (en) 2016-10-27 2019-06-04 Microsoft Technology Licensing, Llc Virtual object movement
US10895950B2 (en) * 2016-12-09 2021-01-19 International Business Machines Corporation Method and system for generating a holographic image having simulated physical properties
CN108427498A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的交互方法和装置
US10244204B2 (en) 2017-03-22 2019-03-26 International Business Machines Corporation Dynamic projection of communication data
CN106980379B (zh) * 2017-03-30 2020-05-19 联想(北京)有限公司 一种显示方法及终端
US10692287B2 (en) * 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US10817724B2 (en) 2017-05-01 2020-10-27 Microsoft Technology Licensing, Llc Real time object surface identification for augmented reality environments
US10325414B2 (en) 2017-05-08 2019-06-18 Microsoft Technology Licensing, Llc Application of edge effects to 3D virtual objects
US10311637B2 (en) * 2017-05-15 2019-06-04 International Business Machines Corporation Collaborative three-dimensional digital model construction
US10325409B2 (en) 2017-06-16 2019-06-18 Microsoft Technology Licensing, Llc Object holographic augmentation
PL3422145T3 (pl) * 2017-06-28 2020-06-29 Nokia Technologies Oy Zapewnienie treści rzeczywistości wirtualnej
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US10553031B2 (en) 2017-12-06 2020-02-04 Microsoft Technology Licensing, Llc Digital project file presentation
EP3502836B1 (en) * 2017-12-21 2021-09-08 Atos Information Technology GmbH Method for operating an augmented interactive reality system
DK201870346A1 (en) 2018-01-24 2019-09-12 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
WO2019147699A2 (en) * 2018-01-24 2019-08-01 Apple, Inc. Devices, methods, and graphical user interfaces for system-wide behavior for 3d models
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
GB2572786B (en) * 2018-04-10 2022-03-09 Advanced Risc Mach Ltd Image processing for augmented reality
CN112074874A (zh) * 2018-04-16 2020-12-11 巴托普有限两合公司 用于在房间中设置功能元件的方法
US11023093B2 (en) 2018-05-30 2021-06-01 Microsoft Technology Licensing, Llc Human-computer interface for computationally efficient placement and sizing of virtual objects in a three-dimensional representation of a real-world environment
WO2019236344A1 (en) * 2018-06-07 2019-12-12 Magic Leap, Inc. Augmented reality scrollbar
JP6795560B2 (ja) * 2018-08-22 2020-12-02 ファナック株式会社 制御装置および軸送り制御方法
JP6795559B2 (ja) * 2018-08-22 2020-12-02 ファナック株式会社 制御装置および軸送り制御方法
US11079917B2 (en) * 2018-09-18 2021-08-03 Salesforce.Com, Inc. Insights panel for presentation slides in a cloud collaboration platform
WO2020072591A1 (en) * 2018-10-03 2020-04-09 Google Llc Placement and manipulation of objects in augmented reality environment
EP3637374A1 (en) 2018-10-09 2020-04-15 Siemens Healthcare GmbH Method and system for visualising a spatial surface curvature of a 3d-object, computer program product, and computer-readable storage medium
US11030811B2 (en) 2018-10-15 2021-06-08 Orbit Technology Corporation Augmented reality enabled layout system and method
US11080941B2 (en) 2018-12-20 2021-08-03 Microsoft Technology Licensing, Llc Intelligent management of content related to objects displayed within communication sessions
US10885715B2 (en) * 2019-01-14 2021-01-05 Microsoft Technology Licensing, Llc Interactive carry
US10767997B1 (en) 2019-02-25 2020-09-08 Qualcomm Incorporated Systems and methods for providing immersive extended reality experiences on moving platforms
US10929992B2 (en) 2019-03-29 2021-02-23 Wipro Limited Method and system for rendering augmented reality (AR) content for textureless objects
US11217011B2 (en) * 2019-04-19 2022-01-04 Facebook Technologies, Llc. Providing semantic-augmented artificial-reality experience
JP7391950B2 (ja) * 2019-04-23 2023-12-05 マクセル株式会社 ヘッドマウントディスプレイ装置
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
US11055925B1 (en) * 2020-01-31 2021-07-06 Splunk Inc. Techniques for placement of extended reality objects relative to physical objects in an extended reality environment
US11276236B1 (en) * 2020-01-31 2022-03-15 Splunk Inc. Techniques for placement of extended reality objects relative to other extended reality objects in an extended reality environment
US11669988B1 (en) 2020-02-10 2023-06-06 4DMobile, LLC System and method for three-dimensional box segmentation and measurement
US11756129B1 (en) 2020-02-28 2023-09-12 State Farm Mutual Automobile Insurance Company Systems and methods for light detection and ranging (LIDAR) based generation of an inventory list of personal belongings
US11126850B1 (en) * 2020-04-09 2021-09-21 Facebook Technologies, Llc Systems and methods for detecting objects within the boundary of a defined space while in artificial reality
US11676343B1 (en) 2020-04-27 2023-06-13 State Farm Mutual Automobile Insurance Company Systems and methods for a 3D home model for representation of property
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11393432B2 (en) * 2020-09-24 2022-07-19 Snap Inc. Rotational image viewer
CN112494941B (zh) * 2020-12-14 2023-11-28 网易(杭州)网络有限公司 虚拟对象的显示控制方法及装置、存储介质、电子设备
US11740313B2 (en) * 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
US11232644B1 (en) 2020-12-31 2022-01-25 Facebook Technologies, Llc Systems and methods for providing spatial awareness in virtual reality
US12013985B1 (en) 2021-02-25 2024-06-18 Snap Inc. Single-handed gestures for reviewing virtual content
EP4327185A1 (en) 2021-04-19 2024-02-28 Snap, Inc. Hand gestures for animating and controlling virtual and graphical elements
KR20220162956A (ko) * 2021-06-02 2022-12-09 삼성전자주식회사 영상 통화 중 다양한 커뮤니케이션을 지원하는 전자 장치 및 그의 동작 방법
US11682180B1 (en) * 2021-12-09 2023-06-20 Qualcomm Incorporated Anchoring virtual content to physical surfaces
US20240087251A1 (en) * 2022-09-09 2024-03-14 Shopify Inc. Methods for calibrating augmented reality scenes
US11941776B1 (en) * 2023-03-30 2024-03-26 Illuscio, Inc. Systems and methods for improved interactivity with three-dimensional objects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI278772B (en) * 2005-02-23 2007-04-11 Nat Applied Res Lab Nat Ce Augmented reality system and method with mobile and interactive function for multiple users
JP2012073920A (ja) * 2010-09-29 2012-04-12 Ns Solutions Corp 拡張現実感提示装置、情報処理システム、拡張現実感提示方法及びプログラム
CN102598064A (zh) * 2009-10-12 2012-07-18 Metaio有限公司 用于在真实环境的视图中描绘虚拟信息的方法
CN102681811A (zh) * 2011-03-10 2012-09-19 微软公司 照片表示视图的基于主题的增强

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912700A (en) 1996-01-10 1999-06-15 Fox Sports Productions, Inc. System for enhancing the television presentation of an object at a sporting event
US6900779B1 (en) 2000-01-28 2005-05-31 Zheng Jason Geng Method and apparatus for an interactive volumetric three dimensional display
US7324085B2 (en) 2002-01-25 2008-01-29 Autodesk, Inc. Techniques for pointing to locations within a volumetric display
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
WO2005010623A2 (en) 2003-07-24 2005-02-03 Zebra Imaging, Inc. Enhanced environment visualization using holographic stereograms
US20050068290A1 (en) * 2003-09-28 2005-03-31 Denny Jaeger Method for creating and using user-friendly grids
US7188322B2 (en) * 2005-02-25 2007-03-06 International Business Machines Corporation Circuit layout methodology using a shape processing application
DE102007023738A1 (de) 2007-05-16 2009-01-08 Seereal Technologies S.A. Verfahren und Einrichtung zum Rekonstruieren einer dreidimensionalen Szene in einem holographischen Display
US20080288220A1 (en) 2007-05-17 2008-11-20 Dillenberger Donna N Use of a three-dimensional (3d) data center to share service operations
KR101908033B1 (ko) * 2008-07-10 2018-12-10 리얼 뷰 이미징 리미티드 광시야각 디스플레이들 및 사용자 인터페이스들
US9400597B2 (en) * 2008-07-23 2016-07-26 Microsoft Technology Licensing, Llc Presenting dynamic grids
GB2463104A (en) * 2008-09-05 2010-03-10 Skype Ltd Thumbnail selection of telephone contact using zooming
US8411107B2 (en) 2009-08-18 2013-04-02 Autodesk, Inc. Adaptive snapping
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
JP5724543B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
KR20120125938A (ko) * 2011-05-09 2012-11-19 에릭슨 엘지 주식회사 가상현실 구현 방법 및 그를 위한 이동통신 시스템
WO2013006351A2 (en) * 2011-07-01 2013-01-10 3G Studios, Inc. Techniques for controlling game event influence and/or outcome in multi-player gaming environments
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI278772B (en) * 2005-02-23 2007-04-11 Nat Applied Res Lab Nat Ce Augmented reality system and method with mobile and interactive function for multiple users
CN102598064A (zh) * 2009-10-12 2012-07-18 Metaio有限公司 用于在真实环境的视图中描绘虚拟信息的方法
JP2012073920A (ja) * 2010-09-29 2012-04-12 Ns Solutions Corp 拡張現実感提示装置、情報処理システム、拡張現実感提示方法及びプログラム
CN102681811A (zh) * 2011-03-10 2012-09-19 微软公司 照片表示视图的基于主题的增强

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Augmented Viewport: Towards precise manipulation at a distance for outdoor augmented reality wearable computers;Thuong N. Hoang 等;《Recent Trends of Mobile Collaborative Augmented Reality Systems》;20110804;第1.2节第1段,第2.4节,图1b,图4 *

Also Published As

Publication number Publication date
EP2984634A1 (en) 2016-02-17
WO2014168995A1 (en) 2014-10-16
KR20150143659A (ko) 2015-12-23
US9245387B2 (en) 2016-01-26
US20140306993A1 (en) 2014-10-16
EP2984634B1 (en) 2017-10-25
CN105378801A (zh) 2016-03-02
KR102222974B1 (ko) 2021-03-03

Similar Documents

Publication Publication Date Title
CN105378801B (zh) 全息图快照网格
CN105264460B (zh) 全息图对象反馈
US11127210B2 (en) Touch and social cues as inputs into a computer
US20220292789A1 (en) Cross reality system with localization service and shared location-based content
CN105190484B (zh) 个人全息告示牌
KR102408318B1 (ko) 실세계 객체들의 가상 표현들
CN106662989B (zh) 3d全息图环境中的内容的管理
EP2984541B1 (en) Near-plane segmentation using pulsed light source
US10007349B2 (en) Multiple sensor gesture recognition
CN105264548B (zh) 用于生成增强现实体验的难以察觉的标签
CN107209950A (zh) 从现实世界材料自动生成虚拟材料
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
JP2020042802A (ja) 3次元コンテンツ内の場所に基づく仮想要素モダリティ
CN108694073A (zh) 虚拟场景的控制方法、装置、设备及存储介质
CN113194329B (zh) 直播互动方法、装置、终端及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant