CN115087945A - 用于在人工现实中自动触发物理环境的实时可视化的系统、方法和介质 - Google Patents

用于在人工现实中自动触发物理环境的实时可视化的系统、方法和介质 Download PDF

Info

Publication number
CN115087945A
CN115087945A CN202080086666.7A CN202080086666A CN115087945A CN 115087945 A CN115087945 A CN 115087945A CN 202080086666 A CN202080086666 A CN 202080086666A CN 115087945 A CN115087945 A CN 115087945A
Authority
CN
China
Prior art keywords
user
interest
image
physical environment
alert criteria
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080086666.7A
Other languages
English (en)
Inventor
S·A·约翰逊
M·萨尔马尼·拉希米
S·S·尼扎姆丁·巴沙
B·海伍德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of CN115087945A publication Critical patent/CN115087945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

在特定实施例中，计算系统可以在用户所佩戴的设备上显示虚拟现实场景。系统可以捕获用户周围的物理环境的图像并且检测图像中的感兴趣的对象。系统可以基于检测到的对象确定一个或多个警告标准被满足。系统可以至少生成对象的深度测量。系统可以基于深度测量生成表示对象的模型。系统可以基于用户的视点和模型来渲染描绘对象的可视化的输出图像。响应于一个或多个报警标准被满足的确定，系统可以在用户所佩戴的设备上显示输出图像。

Description

用于在人工现实中自动触发物理环境的实时可视化的系统、 方法和介质
技术领域
本发明总体上涉及计算机图形和3D重建技术。
背景技术
人工现实是在呈现给用户之前已经以某种方式被调整的现实形式，人工现实可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实，或其一些组合和/或衍生物。人工现实内容可以包括完全生成的内容或与捕捉到的内容(例如，真实世界照片)相组合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的一些组合，其中任何一种都可以在单个通道中或在多个通道中被呈现(诸如对观看者产生三维效果的立体视频)。人工现实可与例如用于在人工现实中创造内容和/或在人工现实中使用(例如，在人工现实中执行活动)的应用程序、产品、附件、服务或其一些组合相关联。
提供人工现实内容的人工现实系统可以在各个平台上被实现，包括连接到主机系统的头戴式设备(HMD)、独立HMD、移动设备或计算系统，或能够向一个或多个观看者提供人工现实内容的任何其他硬件平台。当用户佩戴HMD时，他的物理环境的视觉被HMD的物理结构遮挡。例如，HMD的显示器可以直接被定位在用户眼睛前面并且非常接近用户眼睛。因此，每当用户需要看到他的物理环境时，他将需要移除HMD。即使HMD的移除是暂时的，这样做也是不方便的并且干扰用户体验。
发明内容
在此描述的实施例自动地向沉浸在人工现实中的用户警告在其物理环境中发生的显著事件。HMD的一个问题是它们阻挡了用户的视觉。这样，当佩戴HMD时，用户可能感觉到与物理世界分离的焦虑感。另外，用户可能关心隐私，因为他不能看到任何人是否已经进入他的环境。为了解决这样的问题，这里描述的实施例提供了当显著事件发生在用户的环境中时自动警告用户的特征。例如，当用户佩戴HMD时，相关联的计算系统可以检测到另一个人已经进入房间，并且作为响应，生成可视警告、可听警告或触觉警告以通知用户存在另一个人。
可以基于指示存在另一个人的任何感官提示来触发警告。例如，可以使用机器学习模型来处理由HMD(或由任何其他链接的相机，诸如家庭安全相机或用户的移动电话)捕获的图像，以检测另一个人的存在。当决定是否触发警告时，还可以考虑该人的运动。例如，如果被检测的人正在对用户进行手势、说话或向用户走来，则可以触发警告。也可以基于音频(例如，门铃、有人讲话等)来触发警告。
警告可以采取各种形式。例如，视觉警告可以包括闪烁图标、消息、被检测的人的直通图像、用户环境的完全直通等。雷达视觉也可以被用来通知用户被检测人的相对位置。在其他实施例中，警告可以是声音(例如，特定音调、计算机生成的话语等)和/或触觉反馈(例如，HMD或手持控制器可以振动等)。
这里公开的实施例仅仅是示例，本发明的范围不限于此。特定实施例可以包括这里公开的实施例的以下各项中的全部、一些或没有：组件、元件、特征、功能、操作或步骤。在涉及方法、存储介质、系统和计算机程序产品的所附权利要求中具体公开了根据本发明的实施例，其中在一个权利要求类别(例如方法)中提及的任何特征也可以在另一个权利要求类别(例如系统)中被要求。所附权利要求中的从属或引用仅针对形式原因被选择。然而，任何因有意引用任何先前权利要求(特别是多个从属权利要求)而产生的任何技术方案也可以要求被保护，使得权利要求及其特征的任何组合被公开并且可以要求保护，不管在所附权利要求中选择的从属权利要求。可以要求保护的技术方案不仅包括所附权利要求中阐述的特征的组合，还包括权利要求中的特征的任何其它组合，其中权利要求中提及的每个特征可以与权利要求中的任何其它特征或权利要求中的其它特征的组合被组合。此外，在此描述或描绘的任何实施例和任何特征可以在单独的权利要求中和/或与在此描述或描绘的任何实施例或特征或与所附权利要求的任何特征的任何组合中要求保护。
在本发明的第一方面中，提供了一种方法，方法包括通过计算机系统：在用户佩戴的设备上显示虚拟现实场景；捕获用户周围的物理环境的图像；检测图像中的感兴趣的对象；基于检测到的对象确定一个或多个警告标准被满足；至少生成对象的深度测量；基于深度测量生成表示对象的模型；基于用户的视点和模型渲染描绘对象的可视化的输出图像；以及响应于一个或多个警告标准被满足的确定，在由用户佩戴的设备上显示输出图像。
在一些实施例中，方法进一步包括：捕获用户周围的物理环境的一个或多个附加图像；以及在一个或多个附加图像中检测感兴趣的对象；其中，一个或多个警告标准被满足的确定进一步基于感兴趣的对象在一个或多个附加图像中被检测到。
在一些实施例中，方法进一步包括：确定图像中的感兴趣的对象正在执行动作；其中一个或多个警告标准被满足的确定进一步基于由感兴趣的对象执行的动作。
在一些实施例中，方法进一步包括：访问用户周围的预定的区域；以及预测感兴趣的对象可能进入预定的区域；其中，一个或多个警告标准被满足的确定进一步基于感兴趣的对象可能进入预定的区域的预测。
感兴趣对象优选地可以是人。
显示输出图像可以优选地代替虚拟现实场景。
输出图像可以优选地与虚拟现实场景一起被显示。
用户佩戴的设备优选地可以是阻止用户直接看到物理环境的头戴式设备。
根据本发明的第二方面，提供了一种或多种包含软件的计算机可读非瞬态存储介质，软件在被执行时可操作以：在用户佩戴的设备上显示虚拟现实场景；捕获用户周围的物理环境的图像；检测图像中的感兴趣的对象；基于检测到的对象确定一个或多个警告标准被满足；至少生成对象的深度测量；基于深度测量生成表示对象的模型；基于用户的视点和模型渲染描绘对象的可视化的输出图像；以及响应于一个或多个警告标准被满足的确定，在由用户佩戴的设备上显示输出图像。
在一些实施例中，软件在被执行时能够进一步操作以：捕获用户周围的物理环境的一个或多个附加图像；以及检测一个或多个附加图像中的感兴趣的对象；其中，一个或多个警告标准被满足的确定进一步基于感兴趣的对象在一个或多个附加图像中被检测到。
在一些实施例中，软件在被执行时能够进一步操作以：确定图像中的感兴趣的对象正在执行动作；其中一个或多个警告标准被满足的确定进一步基于由感兴趣的对象执行的动作。
在一些实施例中，软件在被执行时能够进一步操作以：访问用户周围的预定的区域；预测感兴趣的对象可能进入预定的区域；其中，一个或多个警告标准被满足的确定进一步基于感兴趣的对象可能进入预定的区域的预测。
输出图像可以优选地与虚拟现实场景一起被显示。
用户佩戴的设备优选地可以是阻止用户直接看到物理环境的头戴式设备。
根据本发明的第三方面，提供了一种系统，包括：一个或多个处理器；以及一个或多个计算机可读非瞬态存储介质，其耦合到处理器中的一个或多个处理器并且包括在由处理器中的一个或多个处理器执行时可操作的指令以使系统：在用户佩戴的设备上显示虚拟现实场景；捕获用户周围的物理环境的图像；检测图像中的感兴趣的对象；基于检测到的对象确定一个或多个警告标准被满足；至少生成对象的深度测量；基于深度测量生成表示对象的模型；基于用户的视点和模型渲染描绘对象的可视化的输出图像；以及响应于一个或多个警告标准被满足的确定，在由用户佩戴的设备上显示输出图像。
在一些实施例中，一个或多个处理器在执行指令时能够进一步操作以使系统：捕获用户周围的物理环境的一个或多个附加图像；以及检测一个或多个附加图像中的感兴趣的对象；其中，一个或多个警告标准被满足的确定进一步基于感兴趣的对象在一个或多个附加图像中被检测到。
在一些实施例中，一个或多个处理器在执行指令时能够进一步操作以导致系统：确定图像中的感兴趣的对象正在执行动作；其中一个或多个警告标准被满足的确定进一步基于感兴趣的对象执行的动作。
在一些实施例中，一个或多个处理器在执行指令时能够进一步操作以导致系统：访问用户周围的预定的区域；预测感兴趣的对象可能进入预定的区域；其中，一个或多个警告标准被满足的确定进一步基于感兴趣的对象可能进入预定的区域的预测。
输出图像可以优选地与虚拟现实场景一起被显示。
用户佩戴的设备优选地可以是阻止用户直接看到物理环境的头戴式设备。
附图说明
图1示出了根据特定实施例的由用户佩戴的示例人工现实系统。
图2示出了根据特定实施例的直通特征的示例。
图3示出了根据特定实施例的用于对用户周围的物理环境建模的示例过程。
图4提供了基于环境的3D模型的3D直通渲染的图示。
图5A和图5B示出了在检测到另一个人进入用户的物理环境时呈现给用户的直通可视化的示例。
图6示出了根据特定实施例的用于提供直通特征的示例方法。
图7示出了与AR/VR或社交网络系统相关联的示例网络环境。
图8示出了示例计算机系统。
具体实施方式
人工现实－尤其是虚拟现实－被设计为向用户提供与现实世界分离的沉浸体验。沉浸式体验部分地归因于HMD提供模拟内容并且将真实世界与用户的视觉屏蔽开。然而，当用户沉浸在人工现实中时，用户可能想知道在他的物理环境中发生了什么。例如，用户可能不知道是否有任何人已经进入房间。用户还可能担心动态对象(例如，人、宠物或机器人)是否已进入他的游戏空间并且呈现安全顾虑。缺乏对物理环境的认识可能引起用户的焦虑或分散用户完全沉浸在人工世界中的注意力。此外，当用户通过其他传感手段(例如，通过声音、气味或触摸)感到另一个人的存在时，他可能希望看到该人是谁或该人在哪里以及该人正在做什么。为此，传统HMD系统的用户将需要至少暂时移除HMD。针对具有控制器的系统，用户可能进一步需要放下控制器中的至少一个控制器，以便释放手来移除HMD。这些动作可能显著地破坏用户的沉浸式人工现实体验。
这里描述的实施例监测沉浸在人工现实中的用户的物理环境，并且在检测到值得注意的事件时提供实时警报。在特定实施例中，警报可以包括关于用户环境的视觉信息。可以被称为“直通(passthrough)”的视觉信息允许用户在佩戴HMD时看到他的物理环境。通过使HMD显示信息被头戴式耳机的面向外部的相机捕获，关于用户的物理环境的信息被可视地“通过(passed through)”给用户。然而，简单地显示所捕获的图像将不会按预期工作。由于相机的位置与用户眼睛的位置不一致，因此被相机捕获的图像不能准确地反映用户的视角。此外，由于图像没有深度，如果用户要从拍摄图像的地方移开，简单地显示图像将不会为用户提供适当的视差效果。因此，并不是简单地显示所捕获的图像，直通特征从所捕获的图像中提取关于环境的信息(例如，深度信息)，使用信息以生成环境的3D模型，并且从用户的当前视点重建建模的环境的场景。
图1示出了由用户102佩戴的人工现实系统100的示例。在特定实施例中，人工现实系统100可以包括头戴式设备(“HMD”)104、控制器106和计算系统108。HMD 104可以戴在用户的眼睛上并且通过内部显示器(未示出)向用户102提供可视内容。HMD 104可以具有两个单独的内部显示器，一个内部显示器用于用户102的每只眼睛。如图1所示，HMD 104可以完全覆盖用户的视野。通过作为对用户102的视觉信息的唯一提供者，HMD 104实现了提供沉浸式人工现实体验的目标。然而，这样做的一个结果是用户102将不能看到他周围的物理环境，因为他的视觉被HMD 104遮挡。因此，需要这里描述的直通特征，以向用户提供关于他的物理环境的实时视觉信息。
HMD 104可以具有面向外部的相机，诸如图1所示的两个面向前的相机105A和105B。虽然仅示出了两个面向前的相机105A至B，但是HMD 104可以具有面向任何方向的任何数量的相机(例如，面向上的相机以捕获天花板照明或房间照明，面向下的相机以捕获用户的面部的一部分和/或用户的身体的一部分，面向后的相机以捕获在用户后面的一部分，和/或用于出于眼跟踪目的捕获用户的眼睛注视的内部相机)。面向外部的相机被配置为捕获用户周围的物理环境并且可以连续地这样做以生成帧序列(例如，作为视频)。如先前所解释的，虽然被面向前的相机105A至B捕获的图像可以经由HMD 104直接显示给用户102，但是这样做将不会向用户提供物理环境的准确视图，因为相机105A至B不能物理地位于与用户眼睛相同的位置。这样，在此描述的直通特征使用重新投影技术，重新投影技术生成物理环境的3D表示，然后基于3D表示从用户眼睛的视点渲染图像。
可以基于由相机105A至B观察到的物理对象的深度测量来生成3D表示。深度可以以各种方式测量。在特定实施例中，深度可以基于立体图像来被计算。例如，两个面向前的相机105A至B可以共享重叠的视野并且被配置为同时捕获图像。结果，相同的物理对象可以被两个相机105A至B同时捕获。例如，对象的特定特征可以出现在由相机105A所捕获的图像中的一个像素pA处，并且相同的特征可以出现在由相机105B所捕获的图像中的另一个像素pB处。只要深度测量系统知道两个像素对应于相同的特征，它就可以使用三角测量技术以计算观察的特征的深度。例如，基于相机105A在3D空间内的位置和pA相对于相机105A的视野的像素位置，线可以从相机105A被投影并且穿过像素pA。类似的线可以从另一相机105B被投影并且穿过像素pB。由于两个像素被假设以对应于相同的物理特征，因此两条线应当相交。两条相交线和在两个相机105A和105B之间绘制的假想线形成三角形，其可以被使用以计算观察到的特征与相机105A或相机105B或观察到的特征所在的空间中的点的距离。
在特定实施例中，在环境内的HMD 104的姿势(例如，位置和定向)可能被需要。例如，为了在用户102在虚拟环境中移动时针对用户102渲染适当的显示，系统100将需要在任何时刻确定他的位置和定向。基于HMD的姿势，系统100可进一步确定相机105A和相机105B中的任何一个相机的视点或用户的眼睛中的任何一只眼睛的视点。在特定实施例中，HMD104可以被配备有惯性测量单元(“IMU”)。由IMU生成的数据与由面向外部的相机105A－B所捕获的立体图像一起允许系统100使用例如SLAM(同时定位和映射)或其它合适的技术以计算HMD 104的姿势。
在特定实施例中，人工现实系统100可以进一步具有使用户102能够提供输入的一个或多个控制器106。控制器106可以经由无线连接或有线连接与HMD 104或单独的计算单元108通信。控制器106可以具有任意数量的按钮或任意数量的其它机械输入机制。此外，控制器106可以具有IMU，从而控制器106的位置可以被追踪。基于控制器上的预先确定的图案，控制器106可以进一步被追踪。例如，控制器106可以具有共同形成预先确定的图案的几个红外LED或其它已知的可观察特征。使用传感器或相机，系统100可能能够捕获控制器上的预先确定的图案的图像。基于观察到的这些图案的定向，系统可以计算控制器相对于传感器或相机的位置和定向。
人工现实系统100可以进一步包括计算机单元108。计算机单元可以是物理上与HMD 104分离的独立单元，或者它可以与HMD 104被集成。在计算机108是独立单元的实施例中，其可经由无线链路或有线链路通信地耦合到HMD 104。计算机108可以是高性能设备，诸如台式机或笔记本电脑，或资源受限的设备，诸如移动电话。高性能设备可以具有专用的GPU和高容量电源或恒定电源。另一方面，资源受限的设备可能不具有GPU并且可能具有有限的电池容量。这样，可以由人工现实系统100实际使用的算法取决于其计算机单元108的容量。
图2示出了直通特征的示例。用户102可以佩戴HMD 104，沉浸在虚拟现实环境中。物理的桌子250在用户202周围的物理环境中。然而，由于HMD 104阻挡了用户102的视觉，用户不能直接看到桌子250。为了帮助用户102在佩戴HMD 104时感知他的物理环境，直通特征使用例如HMD 104的面向外部的相机105A－B捕获关于物理环境的信息。所捕获的信息然后可以基于用户102的视点被重新投影至用户102。在HMD 104具有用于用户右眼的右显示器260A和用于用户左眼的左显示器260B的特定实施例中，计算系统108可以基于用户右眼的视点单独地渲染(1)用于右显示器260A的物理环境的重新投影视图250A和基于用户左眼的视点单独地渲染(2)用于左显示器260B的物理环境的重新投影视图250B。
图3示出了根据特定实施例的针对用户周围的物理环境建模的示例过程。关于物理环境的信息可以通过使用任何合适的传感器被捕获。例如，图3示出了间隔已知的距离并且具有共享视野的一对立体相机300A和300B。立体相机300A和300B可以分别同时捕获立体图像310A和310B。同时被捕获的立体图像310A－B中的每对立体图像可以被使用以估计观察到的特征的深度。如上所阐释的，为了使用三角测量来测量深度，计算单元将确定在立体图像310A－B的像素之间的关联330。例如，计算单元将确定立体图像310A－B中的对中的哪两个像素对应于相同的观察到的特征。基于像素关联330以及在相机300A－B之间的已知空间关系，计算单元可以使用三角测量或其它合适的技术以估计由像素捕获的特征的深度340。然后，在环境中可观察的特征的深度测量340可以被使用以构建3D模型350以表示物理环境。
高性能计算单元可以使用GPU和光流技术来解决关联问题，GPU和光流技术被优化用于确定关联。然后，通过使用三角测量技术，关联信息可以被使用以计算深度。基于观察到的特征的计算的深度，计算单元可以确定这些特征位于3D空间中的何处(因为计算单元还知道相机在该3D空间中的何处)。结果可以由密集的3D点云被表示，每个点对应于观察到的特征。然后，密集点云可以被使用以在环境中生成对象的3D模型。当系统渲染用于显示的场景时，系统可以从用户眼睛的视角执行可见性测试。例如，系统可以从对应于用户的每只眼睛的视点将射线投到3D空间中。以这种方式，向用户显示的渲染场景将从用户眼睛的视角被计算，而不是从面向外部的相机的视角被计算。
然而，上述过程针对资源有限的计算设备(例如，移动电话可以是针对HMD的主要计算单元)可能不可行。例如，与具有强大计算资源和充足能源的系统不同，移动电话可能不能依赖于GPU和计算昂贵的算法(例如，光流)以执行深度测量并且生成环境的准确3D模型。因此，为了在资源有限的设备上提供直通，优化的过程被需要。
根据特定实施例，资源受限设备(诸如移动电话)可以利用视频编码器以确定关联。视频编码器(硬件或软件)被设计以用于视频压缩。这在能够捕获视频和显示视频的任何计算设备上是常见的，甚至资源有限的计算设备，如移动电话。视频编码器通过利用通常存在于连续帧之间的时间一致性来实现压缩。例如，在由相对于环境移动的相机所捕获的视频序列中，逐帧的差异可能相当小。出现在一个帧中的大多数对象将继续出现在下一个帧中，由于相机视角的改变，相对于帧仅有微小的偏移。因此，代替在每帧中存储所有像素的全色值，视频编码器预测在一帧(例如，由ft表示在时间t处的帧)中的像素在先前帧(例如，由ft-1表示在时间t-1处的帧)中的像素来自何处，或反之亦然。编码的帧可以被称为运动矢量。在运动矢量中的每个网格或每个单元格对应于运动矢量所表示的帧ft中的像素。每个网格或单元格中的值存储在像素空间中的相对偏移，该相对偏移标识先前帧ft-1中可能对应的像素位置。例如，如果帧ft中在坐标(10，10)处的像素对应于先前帧ft-1中在坐标(7，8)处的像素，那么针对帧ft的运动矢量将具有在坐标(10，10)处的网格或单元格，其指定可被使用以标识像素坐标(7，8)的相对偏移(－3，－2)。
在特定实施例中，两个立体图像310A－B之间的关联可以使用设备的视频编码器被计算。使用针对设备的视频编码器提供的API，用于生成直通特征的计算单元可以指令视频编码器以处理两个立体图像310A和310B。然而，由于视频编码器被设计以发现在高帧速率(例如，每秒30、60、80或100帧)中所捕获的连续帧之间的关联，这意味着连续帧可能非常相似，使得视频编码器发现在两个同时被捕获的立体图像310A-210B之间的关联可以产生次优结果。因此，在特定实施例中，图像310A－B中的一个图像或图像310A－B两者可以基于在两个相机300A和300B之间的已知的物理间隔而经历平移，使得图像310A和310B将更相似。
视频编码器的输出可以是描述使用每像素偏移的在图像310A和图像310B之间的预测的关联的运动矢量。然而，运动矢量可能是有噪声的(即，关联中的许多关联可能是不准确的)。因此，在特定实施例中，运动矢量可以经历一个或多个检验滤波器以标识更可靠的关联预测。例如，一个验证滤波器可以使用相机300A和相机300B的已知几何形状以确定针对每个像素的核线。使用与每个像素相关联的核线，计算设备可以确定由运动矢量标识的对应的像素是否是合理的候选像素。例如，如果对应的像素落在核线的阈值距离之上或核线的阈值距离之内，则可以认为对应的像素是合理的。否则，对应的像素可能被认为是不合理的并且关联结果将被拒绝用于随后的深度计算。
在特定实施例中，验证滤波器可以基于时间观察来评估由运动矢量找到的关联的可靠性。时间滤波处理可以被应用于原始运动矢量或仅被应用于在核滤波处理之后存在的运动矢量的子集。针对经历时间滤波过程的每个关联，系统可以使用三角测量来计算深度值。深度值可以被表示为3D空间中的点云。时间滤波过程可以检查是否相同的点可以通过时间一致地被观察到。例如，计算系统可以具有相机，该相机从特定当前视角捕获图像并且将其与当前视角相关联的、投影到屏幕空间中的点云进行比较。作为示例，给定当前视角，设备可以计算在屏幕空间(例如，特定像素的位置)中用户应该在何处看到点云中的每个点。这可以通过将每个点朝向表示当前视角的点投影来完成。当每个点被投影时，它通过当前透视的屏幕空间。投影的点与屏幕空间相交的位置对应于该点被预期出现的像素位置。通过将投影像素位置与在所捕获的图像中的相同像素位置进行比较，系统可以确定这两个像素是否可能彼此对应。如果是，则点云中的那个点得到肯定的投票；否则，它得到否定的投票。具有足够高的投票的点将被用作可靠点的最终集合。在验证滤波处理之后，系统将具有立体声输出或深度测量的集合。
在特定实施例中，计算设备可以被配置为在运行时间动态地确定其是否能够或可以使用(1)GPU和光流生成深度测量或使用(2)视频编码器和运动矢量生成深度测量。例如，如果设备具有GPU和足够的功率预算(例如，其插入到电源中，具有全电池等)，那么其可以使用其GPU和光流来执行深度测量。然而，如果设备不具有GPU或具有严格的功率预算，那么其可以选择用于计算深度的优化的方法。
一旦计算设备基于深度测量生成了点云，它就可以生成所观察的环境的3D网格表示。针对高性能设备，在环境中对象的精确模型可以被生成(例如每个对象，诸如桌子或椅子，可以具有其自己的3D模型)。然而，对于资源有限的设备，用于生成这种模型的成本和/或用于生成模型的底层深度测量的成本可能被禁止。因此，在特定实施例中，针对环境的3D网格表示可以是在环境中对象的一般轮廓的粗略近似。在特定实施例中，单个3D网格可以被使用以近似所有观察到的对象。概念上，3D网格类似于覆盖环境中的整个可观察表面的覆盖层(blanket)或片(sheet)。在特定实施例中，网可以被初始化为与观看者或相机等距离(例如，1米、2米、2.5米或3米)。由于3D网格距观察者的距离相等，它在用户周围形成半球。3D网格可以根据所观察的物理对象的深度测量被变形，以便对环境的轮廓建模。在特定实施例中，3D网格可以基于观察者的位置和深度测量的点云表示被变形。为了确定3D网格的哪个部分对应于点云中的每个点，计算设备可以从观看者的位置向该点投影概念性射线。每条射线将与3D网格的图元(例如，三角形或其它多边形)相交。结果，在网上的交叉的点基于与射线投影通过的点相关联的深度值被变形。例如，如果点的深度测量值距离观察者2.2米，则与在网上的交叉的点相关联的初始2米深度值可以被改变为2.2米。一旦针对在点云中的每个点完成了该过程，所得到的变形的网将表示观察者观察到的物理环境的轮廓。
图4提供了基于环境的3D模型的3D直通渲染的图示。在特定实施例中，渲染系统可以确定用户102相对于环境的当前观看位置。在特定实施例中，系统可使用SLAM或其它合适的技术计算HMD 104的姿势。基于HMD 104的已知的机械结构，系统然后可以使用与HMD104的姿势的偏移估计用户眼睛400A的视点和用户眼睛400B的视点。然后，系统可以针对用户眼睛400A－B的每只眼睛渲染直通图像。例如，为了针对用户的右眼400A渲染直通图像，系统可以通过虚拟屏幕空间410A的每个像素从右眼400A的估计的视点投影射线420，以看到3D模型的哪个部分将与射线420相交。射线投影过程可以被称为可见性测试，因为目的是确定什么是从所选择的视点400A可见的。在所示的特定示例中，通过特定像素422投影的射线420与在3D模型480上的特定点421相交。这指示相交点421将通过像素422被显示。一旦相交点421被找到，渲染系统可以对映射到相交点421的纹理图像中的对应点进行采样。在特定实施例中，由HMD 104的相机105A－B所捕获的图像可以被使用以生成针对3D模型480的纹理。这样做允许渲染的图像看起来更像实际的物理对象。以类似的方式，渲染系统可以针对用户的左眼400B渲染直通图像。在所示的示例中，射线430可以通过左屏幕空间410B的像素432从左眼视点400B被投射。射线430在位置431处与3D模型490相交。然后，渲染系统可以在对应于在模型490上的位置431的纹理位置处对纹理图像进行采样，并且计算由像素432显示的适当颜色。由于直通图像从用户的视点400A－B被重新渲染，图像将看起来自然并且提供适当的视差效果。
在特定实施例中，使用上述过程生成的物理环境的直通图像可以被显示给用户而无需进一步后期处理。然而，在某些实施例中，可能希望最小化物理环境的视觉表示，以使直通特征对正在进行的虚拟现实体验的干扰更小。因此，在特定实施例中，梯度滤波器可以被应用于渲染的直通图像。在特定实施例中，梯度滤波器可视化在相邻像素之间的颜色或强度变化。因此，梯度通常会突出图像中描绘的对象的边缘或特征。图像的梯度导致对象的基于线的轮廓。基于线的可视化方法减少了将需要被着色的屏幕的量，这意味着用户看到的较高百分比将是虚拟现实内容。使用梯度的另一个好处是它将不支持任何特定的颜色(例如，将不会相对于较亮的颜色强调较暗的颜色)，因为梯度标识对比度。
在特定实施例中，物理对象的轮廓可以用均匀的色调来被显示，以帮助对比来自虚拟现实内容的直通信息。直通特征的特定色调可以被用户选择。色调也可以通过正在显示虚拟现实内容的应用程序被选择。这种灵活性允许应用程序以选择与被提供的虚拟内容的一般色彩方案充分对比的色调。例如，如果游戏具有在火环境(例如，在火山中)中发生的等级，则游戏可以请求直通特征以蓝色被显示。当用户前进到发生在冰世界中的下一级时，游戏可以请求直通特征以红色被显示。
在特定实施例中，直通可视化可以在检测到感兴趣的事件时自动向用户被显示。例如，图5A和图5B示出了在检测到另一个人进入用户的身体环境时被呈现给用户的直通可视化的示例。图5A示出了佩戴HMD 104的用户102。HMD 104可以显示场景510，其可以包括任何数量的虚拟对象，诸如虚拟动物520。如前所述，计算系统可以针对用户的左眼和右眼渲染和显示单独的图像(例如，如图2所示)，但是为了简单起见，图5A仅显示单个图像。场景510中的虚拟对象可以被其开发者预定，而不是基于用户的物理环境内的任何可见对象。例如，在场景510中的虚拟动物520可以基于被内容开发者限定的3D模型被渲染。即使在用户的物理环境中存在桌子530，它也不在显示的场景510中被示出。
图5B示出了被显示以警告用户102已经检测到另一个人540的直通信息545的示例。在特定实施例中，与人工现实设备相关联的计算系统可以使用任何合适的计算机视觉技术以检测其他人540的存在。在特定实施例中，仅对人540的检测可以触发对应的直通可视化545以被显示在场景510中。以此方式，即使物理环境因HMD 104而对用户102不直接可见，用户102也被警告关于人540的存在并且用户102也被提供于相应的视觉信息。
在上述特定示例中，当另一个人的存在被检测到时警报被触发。然而，警报特征可以基于任何合适的触发逻辑被触发。例如，在特定实施例中，触发逻辑可以基于从物理环境的图像中提取的语义信息。例如，由用户102佩戴的HMD 104可以具有一个或多个面向外部的相机(例如，105A－B)，该相机被配置为拍摄用户102的周围环境的连续图像。在特定实施例中，用户102的周围环境的图像可以被与人工现实设备的计算系统通信地链接的一个或多个非HMD相机捕获。例如，计算系统可以被连接到(例如，无线地或经由有线地)移动电话、安全相机系统或独立相机(例如，网络相机)中的一个或多个移动电话、安全相机系统或独立相机。
与所捕捉的图像相关联的语义信息可以使用任何适当的计算机被生成。语义信息可以包括，例如对象(例如，人、成人、儿童、宠物、球、家具等)和/或事件(例如，人在用户处摇摆、在用户的方向上讲话、将相机或电话指向用户、向用户移动、或在用户处投掷对象)。例如，诸如掩码R－CNN的机器学习模型可以被训练以检测、标识和/或生成针对特定感兴趣的对象的实例分割掩码。机器学习模型可以被训练以找到任何类型的有生命的对象(例如，人、成人、儿童、狗、猫、机器人等)或任何类型的无生命的对象(例如，家具、球、杯子等)。机器学习模型还可以学习以检测某些事件(例如，人在用户处摇摆、说话或向用户移动)。在特定实施例中，机器学习模型可以是神经网络。网络可以使用一组具有标记的基础真值的训练图像被训练。例如，描绘人和狗的训练图像可以具有(1)标识人和狗在图像中出现的位置周围的边界框的对应掩码(2)指示包含人和狗的边界框的对应标签或分类，和/或(3)标识图像中对应于人和狗的像素的预生成的实例分割掩码。在每次训练迭代期间，网络可以生成预测(例如，边界框位置、分类和/或实例分割掩码)。使用损失函数，预测可以与基础真值被作比较，并且比较结果可以被使用以更新网络，使得其在下一次迭代中表现更好。在训练迭代的阈值数目之后或直到网络的预测充分接近基础真值(例如，如由损失函数所测量的)，训练可以终止。此时，经训练的机器学习模型可以被使用以实时地从所捕获的图像中检测语义信息。
在特定实施例中，计算系统可以在决定是否触发警报之前评估检测到的语义信息的置信度。由于由机器学习模型做出的预测可能不是完全准确的，所以计算系统可以在触发警报之前验证预测是正确的可能性。例如，机器学习模型可以指示在所捕获的帧内人被检测到。计算系统可以验证是否人在多个帧上一致地被检测到，而不是对单个预测作出反应并且触发警报。例如，如果在接下来的5个帧中人被检测到，则系统将提高人确实出现在用户的物理环境中并且触发警报的置信度。相反，如果在接下来的几个帧中人没有被检测到，则系统可以断定初始检测是错误的并且不触发警报。在特定实施例中，机器学习模型可以输出针对其每个预测的置信度得分。置信度得分可以被计算系统使用以做出触发决定。例如，如果针对单帧预测的置信度得分高(例如，与诸如70％、80％或90％的预定的置信度阈值相比)，则计算系统可以触发警报。然而，如果置信度得分低于阈值，则计算系统可以采用与帧序列相关联的置信度得分的平均值以决定平均得分是否足以(例如，相对于预定的阈值置信度)触发警报。
在特定实施例中，用于呈现警报的触发可以基于针对另一个人(或宠物)是否可能进入用户的游戏空间的预测。游戏空间可以是用户周围的被限定的区域，用户可以期望该区域没有危险。在特定实施例中，游戏空间可以被用户限定(例如，用户可以使用控制器以围绕其自身绘制边界以限定其游戏空间)。备选地，游戏空间可以可以基于计算机视觉技术自动地被限定(例如，其上没有对象的地板空间可以被限定为用户的游戏空间)。在其它实施例中，游戏空间可被限定为围绕用户的半径。
在特定实施例中，在计算系统在所捕获的帧中检测到人之后，它可以追踪人在帧序列上的移动以确定人的轨迹。随时间确定的人的移动轨迹可以被使用以确定人是否可能进入用户的游戏空间。例如，如果其他人在保持其当前移动轨迹的情况下将进入用户的游戏空间，则警报可以被触发。在这种情况下，警报甚至在人实际进入用户的游戏空间之前也可以被触发。在特定实施例中，计算系统还可以标识物理环境中的对象，并且使用这样的信息以确定给出这些对象的放置，所检测的人是否可能进入用户的游戏空间。例如，如果人正在向用户走来，但是存在将人与用户分开的沙发，则计算系统可以确定警报是不必要的。
在特定实施例中，计算系统可以仅在新的、先前未观察到的人进入用户的物理环境时才发出警报。例如，在用户批准的情况下，计算系统可以将在当前帧中检测到的人与在先前帧中检测到的人进行比较，以确定新人是否已经进入场景。例如，当用户戴上HMD时，HMD可以确定另一个坐在沙发上的人正在看用户玩游戏。不需要针对该人发出警报，因为假定用户已经知道该人的存在。稍后，当第二个人进入房间时，计算系统可以将其检测结果与先前已知的结果进行比较，并且断定新的人已经进入房间。作为响应，计算系统可以触发警报以通知用户新人的存在。
在特定实施例中，用于警报的触发可以基于声音。例如，HMD可以具有能够检测声音的麦克风。声音信号可以被处理以帮助计算系统确定关于用户的物理环境的语义信息。例如，如果声音信号与门铃或门上敲击的声音信号匹配，则计算系统可以触发警报并且提供直通画面给用户。作为另一示例，如果声音信号是其他人说话的声音信号，则系统可以类似地触发警报。声音信号还可以与从图像中提取的语义信息结合被使用，以提高系统在其语义预测中的置信度。例如，除了从图像数据确定另一个人正在摇摆之外，计算系统可以进一步确定该人正在说话。基于人正在摇摆和说话两者的组合的知识，系统可以更确信人正在试图引起用户的注意。作为响应，系统可以触发包括人的直通画面的警报。
计算系统可以向用户呈现不同类型的警报。如上面进一步详细描述的，直通画面可以在特定实施例中被呈现。直通特征通过将由面向外部的相机捕获的可视数据重新投影至用户的每只眼睛的屏幕空间中来提供用户周围环境的透视精确的可视化。在高级别处，用于生成直通可视化的过程具有两个阶段：生成物理环境的3D模型并且基于3D模型渲染直通可视化。通过HMD 104的面向外部的相机105A－B，周围物理环境的图像序列可以被捕获。然而，由相机105A－B所捕获的信息将与用户的眼睛将看到的不对准，因为相机不能在空间上与用户的眼睛重合(例如，相机和用户的眼睛具有不同的视点，因为它们被定位在距离彼此一定距离)。这样，简单地向用户显示何为相机所捕获的将不是何为用户应当察觉的准确表示。因此，代替简单地显示何为所捕获的，直通特征将由面向外部的相机105A－B所捕获的信息重新投影给用户。
在特定实施例中，直通画面可以占据HMD的整个显示器。在这样的情况下，用户被带出虚拟现实并被呈现物理环境的直通重建。在其他实施例中，可归因于警报原因的物理环境的仅一部分可以被显示。例如，如果警报由于检测到另一个人而被触发，则直通可视化可以仅包括与检测到的人相关联的视觉信息，而不包括在物理环境中的任何其他对象(例如，类似于图5B中所示的)。这种设计选择使警报特征对用户的沉浸式虚拟现实体验的干扰最小化。为了进一步最小化干扰，特定实施例可以显示检测到的感兴趣的物理对象(例如，人540)的梯度轮廓，而不是对象的全视觉表示(例如，545)。仅显示轮廓使对虚拟环境的遮挡量最小化。
在特定实施例中，代替显示直通可视化，系统可以呈现其他形式的信息性警报。例如，计算系统可以显示被检测人的化身或被检测人的其他视觉表示。为了进一步最小化干扰，系统可以显示文本、图形或可听警报，而不呈现被检测人相对于用户的特定下落。在特定实施例中，系统可以示出指示被检测人相对于用户的位置的雷达。
图6示出了用于提供直通特征的示例方法600。方法可以开始于步骤610处，其中与人工现实设备相关联的计算系统可以在由用户佩戴的设备上显示虚拟现实场景。由用户佩戴的设备可以是阻止用户直接看到物理环境的头戴式设备。在步骤620处，系统可以捕获用户周围的物理环境的图像。图像可以被由用户佩戴的设备上的相机或由通信地链接到计算系统的移动电话捕获。在步骤630处，系统可以检测图像中的感兴趣的对象。例如，系统可以使用机器学习模型或任何合适的计算机视觉技术以检测感兴趣的对象(例如，人)。
在步骤640处，系统可以基于检测到的对象确定是否一个或多个警告标准被满足。如果一个或多个警告标准不被满足，则计算系统可以继续以显示虚拟现实场景并且继续以监测用户的周围环境。另一方面，如果一个或多个警告标准被满足，则计算系统可以生成警报以向用户提供关于其物理环境的信息。在特定实施例中，如果与检测相关联的置信度得分高于预先确定的阈值，那么标准将被满足。作为另一示例，系统可继续以捕获用户周围的物理环境的一个或多个附加图像并且检测感兴趣的对象存在于这些图像中。系统可以基于在一个或多个附加图像中检测到的感兴趣的对象确定警告标准被满足。作为另一示例，系统可以确定图像中的感兴趣的对象正在执行动作(例如，向用户行走、挥动或与用户交谈等)，并且因此确定一个或多个警告标准被满足。作为又一示例，系统可以访问用户周围的预定的区域(例如，由用户限定的安全游戏空间或自动限定的区域)并且预测感兴趣的对象是否可能进入预定的区域。系统可以基于感兴趣的对象可能进入预定的区域的预测确定一个或多个警告标准被满足。
在步骤650处，在系统已经确定一个或多个警告标准被满足之后，它可以生成至少对象的深度测量。例如，系统可以使用立体图像以计算图像中可观察的特征的深度。在步骤660处，系统可以基于深度测量生成表示对象的模型。模型可以是例如3D网格。在步骤670处，系统可以基于用户的视点和模型渲染描绘对象的可视化的输出图像。例如，对象的可视化可以是被检测人的透过可视化。在步骤680处，系统然后可以响应于确定一个或多个警告标准被满足而在用户所佩戴的设备上显示输出图像。输出图像可以代替虚拟现实场景(例如，在整个场景的完全直通可视化的情况下)，或者输出图像可以与虚拟现实场景一起被显示(例如，类似于图5B中所示)。
在适当的情况下，特定实施例可以重复图6的方法的一个或多个步骤。尽管本发明将图6的方法的特定步骤描述和说明为以特定顺序发生，但本发明预期图6的方法的任何合适的步骤以任何合适的顺序发生。此外，尽管本发明描述和示出了用于生成3D直通的示例方法，包括图6的方法的特定步骤，但是本发明设想了用于生成3D直通的任何合适的方法，包括任何合适的步骤，其在适当的情况下可以包括图6的方法的步骤的子集。此外，尽管本发明描述和说明了执行图6的方法的特定步骤的特定组件、设备或系统，但是本发明设想了执行图6的方法的任何适当步骤的任何适当组件、设备或系统的任何适当组合。
图7示出了与AR/VR或社交网络系统相关联的示例网络环境700。网络环境700包括通过网络710彼此连接的客户端系统730、VR(或AR)或社交网络系统760和第三方系统770。尽管图7示出了客户端系统730、VR或社交网络系统760、第三方系统770和网络710的特定布置，但是本发明设想了客户端系统730、VR或社交网络系统760、第三方系统770和网络710的任何适当布置。作为示例而非作为限制，客户端系统730、VR或社交网络系统760和第三方系统770中的两个或多个系统可以通过网络710彼此直接地被连接。作为另一示例，客户端系统730、VR或社交网络系统760和第三方系统770中的两个或多个可以全部或部分地在物理上或逻辑上彼此被共处一地。此外，尽管图7示出了特定数目的客户端系统730、VR或社交网络系统760、第三方系统770和网络710，但是本发明设想了任何合适数目的客户端系统730、VR或社交网络系统760、第三方系统770和网络710。作为示例而非作为限制，网络环境700可以包括多个客户端系统730、VR或社交网络系统760、第三方系统770和网络710。
本发明设想任何合适的网络710。作为示例而非作为限制，网络710的一个或多个部分可以包括自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网的一部分、公共交换电话网(PSTN)的一部分、蜂窝电话网络，或这些中的两个或多个的组合。网络710可以包括一个或多个网络710。
链路750可以将客户端系统730、社交网络系统760和第三方系统770连接到通信网络710或彼此连接。本发明设想任何合适的链节750。在特定实施例中，一个或多个链路750包括一个或多个有线(诸如数字用户线(DSL)或有线数据服务接口规范(DOCSIS))、无线(诸如Wi－Fi或全球微波接入互操作性(WiMAX))或光(诸如同步光网络(SONET)或同步数字体系(SDH))链路。在特定实施例中，一个或多个链路750每个包括自组织网络、内联网、外联网、VPN、LAN、WLAN、WAN、WWAN、MAN、因特网的一部分、PSTN的一部分、基于蜂窝技术的网络、基于卫星通信技术的网络、另一个链路750、或两个或多个此类链路750的组合。链路750不必在整个网络环境700中都是相同的。一个或多个第一链路750可以在一个或多个方面不同于一个或多个第二链路750。
在特定实施例中，客户端系统730可以是包括硬件、软件或嵌入式逻辑组件或两个或多个这样的组件的组合并且能够执行由客户端系统730实现或支持的适当功能的电子设备。作为示例而非作为限制，客户端系统730可以包括计算机系统，诸如台式计算机、笔记本或膝上型计算机、上网本、平板计算机、电子书阅读器、GPS设备、相机、个人数字助理(PDA)、手持电子设备、蜂窝电话、智能电话、增强/虚拟现实设备、其它合适的电子设备或其任何合适的组合。本发明设想任何合适的客户端系统730。客户端系统730可以使网络用户在客户端系统730处以接入网络710。客户端系统730可以使其用户能够与在其它客户端系统730处的其它用户通信。
在特定实施例中，客户端系统730(例如，HMD)可以包括直通引擎732以提供本文所描述的直通特征，并且可以具有一个或多个附加件、插件或其它扩展。在客户端系统730处的用户可以连接到特定服务器(诸如服务器762或与第三方系统770相关联的服务器)。服务器可以接受该请求并与客户端系统730通信。
在特定实施例中，VR或社交网络系统760可以是能够托管在线虚拟现实环境或社交网络的网络可寻址计算系统。VR或社交网络系统760可以生成、存储、接收和发送社交网络数据，诸如，例如用户简档数据、概念简档数据、社交图信息或与在线社交网络相关的其他合适的数据。社交网络或VR系统760可以由网络环境700的其它组件被直接访问或经由网络710被访问。作为示例而非作为限制，客户端系统730可以使用web浏览器或与社交网络或VR系统760相关联的本机应用(例如，移动社交网络应用、消息传送应用、另一个合适的应用或其任何组合)直接访问社交网络或VR系统760或经由网络710访问社交网络或VR系统760。在特定实施例中，社交网络或VR系统760可以包括一个或多个服务器762。每个服务器762可以是跨越多个计算机或多个数据中心的单一服务器或分布式服务器。服务器762可以是各种类型，诸如，例如但不限于，web服务器、新闻服务器、邮件服务器、消息服务器、广告服务器、文件服务器、应用服务器、交换服务器、数据库服务器、代理服务器，用于执行在此描述的功能或过程的另一个服务器，或其任何组合。在特定实施例中，每个服务器762可以包括硬件、软件或嵌入式逻辑组件或用于执行由服务器762实现或支持的适当功能的两个或多个此类组件的组合。在特定实施例中，社交网络或VR系统760可以包括一个或多个数据存储装置764。数据存储装置764可以被用于存储各种类型的信息。在特定实施例中，存储在数据存储装置764中的信息可以根据特定数据结构被组织。在特定实施例中，每个数据存储装置764可以是关系数据库、列数据库、关联数据库或其它合适的数据库。尽管本发明描述或说明了特定类型的数据库，但是本发明设想了任何合适类型的数据库。特定实施例可以提供接口，使客户端系统730、社交网络或VR系统760或第三方系统770能够管理、检索、修改、添加或删除存储在数据存储装置764中的信息。
在特定实施例中，社交网络或VR系统760可以在一个或多个数据存储装置764中存储一个或多个社交图。在特定实施例中，社交图可以包括多个节点－其可以包括多个用户节点(每个对应于特定用户)或多个概念节点(每个对应于特定概念)－以及连接节点的多个边。社交网络或VR系统760可以向在线社交网络的用户提供与其他用户通信和交互的能力。在特定实施例中，用户可以经由社交网络或VR系统760加入在线社交网络，然后将连接(例如，关系)添加到他们想要被连接到的社交网络或VR系统760的多个其他用户。这里，术语“朋友”可以指社交网络或VR系统760的任何其他用户，用户已经通过社交网络或VR系统760与其形成连接、关联或关系。
在特定实施例中，社交网络或VR系统760可以向用户提供对社交网络或VR系统760所支持的各种类型的项目或对象以采取行动的能力。作为示例而非作为限制，项目和对象可以包括社交网络或VR系统760的用户可能属于的组或社交网络、用户可能感兴趣的事件或日历条目、用户可能使用的基于计算机的应用、允许用户经由服务购买或销售项目的交易、与用户可能执行的广告的交互、或其它合适的项目或对象。用户可以与能够在社交网络或VR系统760中或由第三方系统770的外部系统表示的任何东西交互，第三方系统770与社交网络或VR系统760分离并且经由网络710耦合到社交网络或VR系统760。
在特定实施例中，社交网络或VR系统760能够链接各种实体。作为示例而非作为限制，社交网络或VR系统760可以使用户能够以彼此交互以及从第三方系统770或其他实体接收内容，或以允许用户通过应用编程接口(API)或其他通信信道与这些实体交互。
在特定实施例中，第三方系统770可以包括一种或多种类型的服务器、一个或多个数据存储装置、一个或多个接口(包括但不限于API)、一个或多个web服务、一个或多个内容源、一个或多个网络，或任何其它合适的组件，例如服务器可以与其通信的组件。第三方系统770可以由与操作社交网络或VR系统760的实体不同的实体来被操作。然而，在特定实施例中，社交网络或VR系统760和第三方系统770可以彼此结合操作以向社交网络或VR系统760或第三方系统770的用户提供社交网络服务。在这个意义上，社交网络或VR系统760可以提供平台或主干网，诸如第三方系统770的其他系统可以跨因特网使用该平台或主干网以提供社交网络服务和功能给用户。
在特定实施例中，第三方系统770可以包括第三方内容对象提供者。第三方内容对象提供者可以包括一个或多个内容对象的源，其可以被传送至客户端系统730。作为示例而非作为限制，内容对象可以包括关于用户感兴趣的事物或活动的信息，诸如，例如，电影放映时间、电影评论、餐馆评论、餐馆菜单、产品信息和评论、或其它合适的信息。作为另一示例而非作为限制，内容对象可以包括激励内容对象，诸如优惠券、折扣票、礼券或其它合适的激励对象。
在特定实施例中，社交网络或VR系统760还包括用户生成的内容对象，其可以增强用户与社交网络或VR系统760的交互。用户生成的内容可以包括用户能添加、上传、发送或“发布”至社交网络或VR系统760的任何内容。作为示例而非作为限制，用户从客户端系统730向社交网络或VR系统760传递帖子。帖子可以包括诸如状态更新或其它文本数据、位置信息、照片、视频、链接、音乐或其它类似数据或介质的数据。内容也可以由第三方通过“通信信道”(诸如新闻馈送或流)被添加至社交网络或VR系统760。
在特定实施例中，社交网络或VR系统760可以包括各种服务器、子系统、程序、模块、日志和数据存储装置。在特定实施例中，社交网络或VR系统760可以包括以下中的一个或多个：web服务器、动作记录器、API请求服务器、相关性和分级引擎、内容对象分类器、通知控制器、动作日志、第三方内容对象暴露日志、推断模块、授权/隐私服务器、搜索模块、广告定向模块、用户接口模块、用户简档存储器、连接存储器、第三方内容存储器或位置存储器。社交网络或VR系统760还可以包括合适的组件，诸如网络接口、安全机制、负载平衡器、故障转移服务器、管理和网络操作控制台、其它合适的组件或其任何合适的组合。在特定实施例中，社交网络或VR系统760可以包括用于存储用户简档的一个或多个用户简档存储器。用户简档可以包括例如传记信息、人口统计信息、行为信息、社会信息或其它类型的描述性信息，诸如工作经历、教育历史、爱好或偏好、兴趣、姻亲关系或位置。兴趣信息可以包括与一个或多个类别相关的兴趣。类别可以是通用的或特定的。作为示例而非作为限制，如果用户“喜欢”关于鞋子的品牌的物品，则该类别可以是“鞋子”或“衣服”的品牌或一般类别。连接存储器可以被用于存储关于用户的连接信息。连接信息可以指示具有相似或共同的工作经历、组成员资格、爱好、教育历史或以任何方式相关或共享共同属性的用户。连接信息还可以包括在不同用户和内容(内部和外部两者)之间的用户限定的连接。web服务器可以被用于经由网络710将社交网络或VR系统760链接到一个或多个客户端系统730或一个或多个第三方系统770。web服务器可以包括邮件服务器或其它消息传送功能，用于在社交网络或VR系统760与一个或多个客户端系统730之间接收和路由消息。API请求服务器可以允许第三方系统770通过调用一个或多个API以访问来自社交网络或VR系统760的信息。动作记录器可以被用于从web服务器以接收关于用户在社交网络或VR系统760上或在社交网络或VR系统760下的动作的通信。结合动作日志，可以维护第三方内容对象的用户暴露的第三方内容对象日志。通知控制器可以提供关于内容对象的信息给客户端系统730。信息可以作为通知被推送至客户端系统730，或者信息可以响应于从客户端系统730接收的请求而从客户端系统730被拉取。授权服务器可以被使用以实施社交网络或VR系统760的用户的一个或多个隐私设置。用户的隐私设置确定与用户相关联的特定信息如何被共享。授权服务器可以允许用户以选择进入或选择退出，让社交网络或VR系统760记录他们的动作或与其他系统(例如，第三方系统770)共享他们的动作，诸如，例如通过设置适当的隐私设置。第三方内容对象存储器可以被使用以存储从第三方(诸如第三方系统770)接收的内容对象。位置存储器可以被用于存储从与用户相关联的客户端系统730接收的位置信息。广告定价模块可以组合社交信息、当前时间、位置信息或其他合适的信息以提供以通知的形式的相关广告给客户。
图8示出了示例计算机系统800。在特定实施例中，一个或多个计算机系统800执行在此描述或示出的一个或多个方法的一个或多个步骤。在特定实施例中，一个或多个计算机系统800提供在此描述或示出的功能。在特定实施例中，在一个或多个计算机系统800上运行的软件执行在此描述或示出的一个或多个方法的一个或多个步骤，或者提供在此描述或示出的功能。具体实施例包括一个或多个计算机系统800的一个或多个部分。在此，在适当的情况下对计算机系统的引用可以包括计算设备，反之亦然。此外，在适当的情况下对计算机系统的引用可以包括一个或多个计算机系统。
本发明设想计算机系统800的任何合适数量。本发明设想计算机系统800采用任何适当的物理形式。作为示例而非作为限制，计算机系统800可以是嵌入式计算机系统、片上系统(SOC)、单板计算机系统(SBC)(诸如，例如，模块上计算机(COM)或模块上系统(SOM))、台式计算机系统、膝上型或笔记本计算机系统、交互式一体机、大型机、计算机系统网格、移动电话、个人数字助理(PDA)、服务器、平板计算机系统、增强/虚拟现实设备、或这些中的两个或多个的组合。在适当的情况下，计算机系统800可以包括一个或多个计算机系统800；是单一的或分布式的；跨距多个位置；跨距多个机器；跨距多个数据中心；或者驻留在云中，云可以包括在一个或多个网络中的一个或多个云组件。在适当的情况下，一个或多个计算机系统800可以在没有实质的空间或时间限制的情况下执行在此描述或示出的一个或多个方法的一个或多个步骤。作为示例而非作为限制，一个或多个计算机系统800可以以实时或以分批处理模式执行在此描述或示出的一个或多个方法的一个或多个步骤。在适当的情况下，一个或多个计算机系统800可以在不同时间或在不同位置执行在此描述或示出的一个或多个方法的一个或多个步骤。
在特定实施例中，计算机系统800包括处理器802、存储器804、存储装置806、输入/输出(I/O)接口808、通信接口810和总线812。尽管本发明描述和示出了具有在特定布置中的特定数量的特定组件的特定计算机系统，本发明设想了具有在任何适当布置中的任何数量的任何适当组件的任何适当计算机系统。
在特定实施例中，处理器802包括用于执行指令(诸如构成计算机程序)的硬件。作为实例而非作为限制，为了执行指令，处理器802可以从内部寄存器、内部高速缓冲存储器、存储器804或存储装置806检索(或获取)指令；解码并且执行它们；并且然后将一个或多个结果写入至内部寄存器、内部高速缓冲存储器、存储器804或存储装置806。在特定实施例中，处理器802可以包括用于数据、指令或地址的一个或多个内部高速缓冲存储器。本发明预期处理器802在适当的情况下包括任何适当数目的任何适当内部高速缓冲存储器。作为示例而非作为限制，处理器802可以包括一个或多个指令高速缓冲存储器、一个或多个数据高速缓冲存储器、以及一个或多个转换后备缓冲器(TLB)。指令高速缓冲存储器中的指令可以是存储器804或存储装置806中的指令的副本，并且指令高速缓冲存储器可以由处理器802加速对那些指令的检索。数据高速缓冲存储器中的数据可以是存储器804或存储装置806中用于在处理器802处执行以对其进行操作的指令的数据的副本；在处理器802处执行的先前指令的结果用于由在处理器802处执行的后续指令访问或用于写入至存储器804或存储装置806；或其它合适的数据。数据高速缓冲存储器可以由处理器802加速读或写操作。TLB可以加速针对处理器802的虚拟地址转译。在特定实施例中，处理器802可以包括用于数据、指令或地址的一个或多个内部寄存器。本发明预期处理器802在适当的情况下包括任何适当数目的任何适当内部寄存器。在适当的情况下，处理器802可以包括一个或多个算术逻辑单元(ALU)；是一个多核心处理器；或者包括一个或多个处理器802。尽管本发明描述和示出了特定的处理器，但是本发明设想了任何合适的处理器。
在特定实施例中，存储器804包括用于存储针对处理器802执行的指令或针对处理器802操作的数据的主存储器。作为示例而非作为限制，计算机系统800可以将指令从存储装置806或另一源(诸如，例如，另一计算机系统800)加载到存储器804。处理器802然后可以将指令从存储器804加载到内部寄存器或内部高速缓冲存储器。为执行指令，处理器802可从内部寄存器或内部高速缓冲存储器检索指令并将其解码。在执行指令期间或在执行指令之后，处理器802可以将一个或多个结果(其可以是中间结果或最终结果)写入到内部寄存器或内部高速缓冲存储器。然后，处理器802可以将这些结果中的一个或多个写入存储器804。在特定实施例中，处理器802仅执行在一个或多个内部寄存器或内部高速缓冲存储器中或在存储器804(与存储装置806或其它地方相对)中的指令，并且仅对在一个或多个内部寄存器或内部高速缓冲存储器中或在存储器804(与存储装置806或其它地方相对)中的数据进行操作。一个或多个存储器总线(其可以各自包括地址总线和数据总线)可以将处理器802耦合到存储器804。总线812可以包括一个或多个存储器总线，如下所述。在特定实施例中，一个或多个存储器管理单元(MMU)驻留在处理器802和存储器804之间，并且便于由处理器802请求的对存储器804的访问。在特定实施例中，存储器804包括随机访问存储器(RAM)。在适当的情况下，RAM可以是易失性存储器。在适当的情况下，RAM可以是动态RAM(DRAM)或静态RAM(SRAM)。此外，在适当的情况下，RAM可以是单端口RAM或多端口RAM。本发明设想任何合适的RAM。在适当的情况下，存储器804可以包括一个或多个存储器804。尽管本发明描述和示出了特定的存储器，但是本发明设想了任何合适的存储器。
在特定实施例中，存储装置806包括用于数据或指令的大容量存储。作为示例而非作为限制，存储装置806可包括硬盘驱动器(HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带、或通用串行总线(USB)驱动器或这些中的两个或多个的组合。在适当的情况下，存储装置806可以包括可移动或不可移动(或固定)介质。在适当的情况下，存储器806可以在计算机系统800的内部或计算机系统800的外部。在特定实施例中，存储装置806是非易失性的、固态的存储器。在特定实施例中，存储装置806包括只读存储器(ROM)。在适当的情况下，ROM可以是掩模编程的ROM、可编程的ROM(PROM)、可擦除的PROM(EPROM)、电可擦除的PROM(EEPROM)、电可变的ROM(EAROM)或闪存或这些中的两个或多个的组合。本发明设想采用任何适当物理的形式的大容量存储装置806。在适当的情况下，存储装置806可以包括一个或多个便于在处理器802和存储装置806之间通信的存储控制单元。在适当的情况下，存储装置806可以包括一个或多个存储装置806。尽管本发明描述和示出了特定存储，但是本发明设想了任何合适的存储。
在特定实施例中，I/O接口808包括提供用于在计算机系统800与一个或多个I/O设备之间的通信的一个或多个接口的硬件、软件或硬件和软件两者。在适当的情况下，计算机系统800可以包括这些I/O设备中的一个或多个I/O设备。这些I/O设备中的一个或多个可以实现在人与计算机系统800之间的通信。作为示例而非作为限制，I/O设备可以包括键盘、小键盘、麦克风、监测器、鼠标、打印机、扫描仪、扬声器、静态相机、指示笔、输入板、触摸屏、跟踪球、摄像机、另一合适的I/O设备或这些中的两个或多个的组合。I/O设备可以包括一个或多个传感器。本发明设想了任何合适的I/O设备和用于它们的任何合适的I/O接口808。在适当的情况下，I/O接口808可以包括使处理器802能够驱动这些I/O设备中的一个或多个I/O设备的一个或多个设备或软件驱动器。在适当的情况下，I/O接口808可以包括一个或多个I/O接口808。尽管本发明描述和示出了特定的I/O接口，但是本发明设想了任何合适的I/O接口。
在特定实施例中，通信接口810包括提供用于在计算机系统800与一个或多个其它计算机系统800或一个或多个网络之间的通信(诸如，例如，基于分组的通信)的一个或多个接口的硬件、软件或硬件和软件两者。作为示例而非作为限制，通信接口810可以包括用于与以太网或其它基于有线的网络通信的网络接口控制器(NIC)或网络适配器，或者用于与诸如WI－FI网络的无线网络进行通信的无线NIC(WNIC)或无线适配器。本发明设想用于它的任何适当的网络和任何适当的通信接口810。作为示例而非作为限制，计算机系统800可以与自组织网络、个人区域网络(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、或因特网的一个或多个部分、或这些中的两个或多个的组合进行通信。这些网络中的一个或多个网络的一个或多个部分可以是有线或无线的。作为示例，计算机系统800可以与无线PAN(WPAN)(诸如，例如，蓝牙WPAN)、WI－FI网络、WI－MAX网络、蜂窝电话网络(诸如，例如，用于通信的全球系统(GSM)网络)、或其他合适的无线网络、或这些网络中的两个或多个的组合进行通信。在适当的情况下，计算机系统800可以包括用于这些网络的任何的任何合适的通信接口810。在适当的情况下，通信接口810可以包括一个或多个通信接口810。尽管本发明描述和示出了特定的通信接口，但是本发明设想了任何合适的通信接口。
在特定实施例中，总线812包括将计算机系统800的组件耦合到彼此的硬件、软件或硬件和软件两者。作为示例而非作为限制，总线812可以包括加速图形端口(AGP)或其他图形总线、增强型工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、INFINIBAND互连、低引脚计数(LPC)总线、存储器总线、微通道架构(MCA)总线、外围组件互连(PCI)总线、PCI－Express(PCIe)总线、串行高级技术附件(SATA)总线、视频电子标准协会本地(VLB)总线、或其他合适的总线、或这些总线中的两个或多个的组合。在适当的情况下，总线812可以包括一个或多个总线812。尽管本发明描述和示出了特定的总线，但是本发明设想了任何合适的总线或互连。
在此，计算机可读非瞬态存储媒介或介质可以包括一个或多个基于半导体的或其他集成电路(IC)(这样，例如，现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁光盘、磁光驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、安全数字卡或驱动器、任何其他合适的计算机可读非瞬态存储介质、或这些中的两个或多个的任何合适的组合。在适当的情况下，计算机可读非瞬态存储媒介可以是易失性的、非易失性的、或者易失性和非易失性的组合。
本文中，“或”是包含性的并且非排他性的，除非另有明确指示或上下文另有指示。因此，本文中“A或B”是指“A、B或A和B两者”，除非另有明确指示或上下文另有指示。此外，“和”是联合的和各自的两者，除非另有明确指示或上下文另有指示。因此，本文中“A和B”是指“A和B，共同地或分别地”，除非另有明确说明或上下文另有说明。
本发明的范围包括本领域普通技术人员将理解的对本文描述或示出的示例性实施例的所有改变、替换、变化、变更和修改。本发明的范围不限于在此描述或示出的示例性实施例。此外，尽管本发明在此描述和示出了包括特定组件、元件、特征、功能、操作或步骤的相应实施例，但是这些实施例中的任何实施例可以包括本领域普通技术人员将理解的本文任何地方描述或示出的任何组件、元件、特征、功能、操作或步骤的任何组合或排列。此外，在所附权利要求中对设备或系统或设备或系统的组件的引用被适配为、被布置为、能够、被配置为、被使能为、可操作为或可运转为执行特定功能的引用包括设备、系统、组件，无论它或该特定功能是否被激活、开启或解锁，只要该设备、系统或组件如此被适配、被布置、能够、被配置，被使能、可操作或可运转即可。另外，尽管本发明将特定实施例描述或示出为提供特定优点，但特定实施例可以提供这些优点中的全无、一些或全部优点。

Claims (15)

1.一种方法，包括由计算系统：
在由用户佩戴的设备上显示虚拟现实场景；
捕获所述用户周围的物理环境的图像；
检测所述图像中的感兴趣的对象；
基于检测到的所述对象确定一个或多个警告标准被满足；
生成至少所述对象的深度测量；
基于所述深度测量生成表示所述对象的模型；
基于所述用户的视点和所述模型渲染描绘所述对象的可视化的输出图像；以及
响应于所述一个或多个警告标准被满足的所述确定，在由所述用户佩戴的所述设备上显示所述输出图像。
2.根据权利要求1所述的方法，进一步包括：
捕获所述用户周围的所述物理环境的一个或多个附加图像；以及
在所述一个或多个附加图像中检测感兴趣的所述对象；
其中所述一个或多个警告标准被满足的所述确定进一步基于感兴趣的所述对象在所述一个或多个附加图像中被检测到。
3.根据权利要求1或2所述的方法，进一步包括：
确定所述图像中的感兴趣的所述对象正在执行动作；
其中所述一个或多个警告标准被满足的所述确定进一步基于由感兴趣的所述对象执行的所述动作。
4.根据权利要求1、2或3所述的方法，进一步包括：
访问所述用户周围的预定的区域；以及
预测感兴趣的所述对象可能进入所述预定的区域；
其中所述一个或多个警告标准被满足的所述确定进一步基于感兴趣的所述对象可能进入所述预定的区域的所述预测。
5.根据前述权利要求中任一项所述的方法，其中感兴趣的所述对象是人。
6.根据前述权利要求中任一项所述的方法，其中显示所述输出图像代替所述虚拟现实场景；或者优选地，其中所述输出图像与所述虚拟现实场景一起被显示。
7.根据前述权利要求中任一项所述的方法，其中由所述用户佩戴的所述设备是阻止所述用户直接看到所述物理环境的头戴式设备。
8.一个或多个实现有软件的计算机可读非瞬态存储介质，所述软件在被执行时能够操作以：
在由用户佩戴的设备上显示虚拟现实场景；
捕获所述用户周围的物理环境的图像；
检测所述图像中的感兴趣的对象；
基于检测到的所述对象确定一个或多个警告标准被满足；
生成至少所述对象的深度测量；
基于所述深度测量生成表示所述对象的模型；
基于所述用户的视点和所述模型渲染描绘所述对象的可视化的输出图像；以及
响应于所述一个或多个警告标准被满足的所述确定，在由所述用户佩戴的所述设备上显示所述输出图像。
9.根据权利要求8所述的介质，其中所述软件在被执行时能够进一步操作以：
捕获所述用户周围的所述物理环境的一个或多个附加图像；以及
在所述一个或多个附加图像中检测感兴趣的所述对象；
其中所述一个或多个警告标准被满足的所述确定进一步基于感兴趣的所述对象在所述一个或多个附加图像中被检测到。
10.根据权利要求8或9所述的介质，其中所述软件在被执行时能够进一步操作以：
确定所述图像中的感兴趣的所述对象正在执行动作；
其中所述一个或多个警告标准被满足的所述确定进一步基于由感兴趣的所述对象执行的所述动作。
11.根据权利要求8、9或10所述的介质，其中所述软件在被执行时能够进一步操作以：
访问所述用户周围的预定的区域；以及
预测感兴趣的所述对象可能进入所述预定的区域；
其中所述一个或多个警告标准被满足的所述确定进一步基于感兴趣的所述对象可能进入所述预定的区域的所述预测。
12.根据权利要求8至11中任一项所述的介质，其中所述输出图像与所述虚拟现实场景一起被显示。
13.根据权利要求8至12中任一项所述的介质，其中由所述用户佩戴的所述设备是阻止所述用户直接看到所述物理环境的头戴式设备。
14.一种系统，包括：
一个或多个处理器；以及
一个或多个计算机可读非瞬态存储介质，所述一个或多个计算机可读非瞬态存储介质被耦合到所述处理器中的一个或多个处理器，并且包括指令，所述指令当由所述处理器中的一个或多个处理器执行时能够操作以使所述系统：
在由用户佩戴的设备上显示虚拟现实场景；
捕获所述用户周围的物理环境的图像；
检测所述图像中的感兴趣的对象；
基于检测到的所述对象确定一个或多个警告标准被满足；
生成至少所述对象的深度测量；
基于所述深度测量生成表示所述对象的模型；
基于所述用户的视点和所述模型渲染描绘所述对象的可视化的输出图像；以及
响应于所述一个或多个警告标准被满足的所述确定，在由所述用户佩戴的所述设备上显示所述输出图像。
15.根据权利要求14所述的系统，其中所述一个或多个处理器在执行所述指令时能够进一步操作以使所述系统：
捕获所述用户周围的所述物理环境的一个或多个附加图像；以及
检测所述一个或多个附加图像中的感兴趣的所述对象；
其中所述一个或多个警告标准被满足的所述确定进一步基于感兴趣的所述对象在所述一个或多个附加图像中被检测到；和/或优选地选自如下的一项或多项：
i.其中所述一个或多个处理器在执行所述指令时能够进一步操作以使所述系统：
确定所述图像中的感兴趣的所述对象正在执行动作；
其中所述一个或多个警告标准被满足的所述确定进一步基于由感兴趣的所述对象执行的所述动作；
ii.所述一个或多个处理器在执行所述指令时能够进一步操作以使所述系统：
访问所述用户周围的预定的区域；以及
预测感兴趣的所述对象可能进入所述预定的区域；
其中所述一个或多个警告标准被满足的所述确定进一步基于感兴趣的所述对象可能进入所述预定的区域的所述预测；
iii.其中所述输出图像与所述虚拟现实场景一起被显示；
iv.其中由所述用户佩戴的所述设备是阻止所述用户直接看到所述物理环境的头戴式设备。
CN202080086666.7A 2020-01-27 2020-12-24 用于在人工现实中自动触发物理环境的实时可视化的系统、方法和介质 Pending CN115087945A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/773,897 US11200745B2 (en) 2020-01-27 2020-01-27 Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality
US16/773,897 2020-01-27
PCT/US2020/067020 WO2021154431A1 (en) 2020-01-27 2020-12-24 Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality

Publications (1)

Publication Number Publication Date
CN115087945A true CN115087945A (zh) 2022-09-20

Family

ID=74195186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080086666.7A Pending CN115087945A (zh) 2020-01-27 2020-12-24 用于在人工现实中自动触发物理环境的实时可视化的系统、方法和介质

Country Status (6)

Country Link
US (1) US11200745B2 (zh)
EP (1) EP4097568A1 (zh)
JP (1) JP2023511807A (zh)
KR (1) KR20220125353A (zh)
CN (1) CN115087945A (zh)
WO (1) WO2021154431A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11640692B1 (en) * 2020-02-04 2023-05-02 Apple Inc. Excluding objects during 3D model generation
US20220215622A1 (en) * 2020-02-28 2022-07-07 Aurora Solar Inc. Automated three-dimensional building model estimation
US20210334975A1 (en) * 2020-04-23 2021-10-28 Nvidia Corporation Image segmentation using one or more neural networks
US11481960B2 (en) * 2020-12-30 2022-10-25 Meta Platforms Technologies, Llc Systems and methods for generating stabilized images of a real environment in artificial reality
US11580734B1 (en) * 2021-07-26 2023-02-14 At&T Intellectual Property I, L.P. Distinguishing real from virtual objects in immersive reality

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
US7068274B2 (en) 2001-08-15 2006-06-27 Mitsubishi Electric Research Laboratories, Inc. System and method for animating real objects with projected images
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
JP5388392B2 (ja) 2011-07-01 2014-01-15 エンパイア テクノロジー ディベロップメント エルエルシー ジェスチャベースのゲームのための安全スキーム
US9255813B2 (en) 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
GB2501768A (en) 2012-05-04 2013-11-06 Sony Comp Entertainment Europe Head mounted display
EP2967322A4 (en) 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US10176643B2 (en) 2015-03-30 2019-01-08 Capcom Co., Ltd. Method of generating virtual three-dimensional space, video system, method of controlling video system, and non-transitory computer readable storage medium
EP3163407B1 (en) 2015-10-29 2020-08-26 Samsung Electronics Co., Ltd. Method and apparatus for alerting to head mounted display user
US10769849B2 (en) 2015-11-04 2020-09-08 Intel Corporation Use of temporal motion vectors for 3D reconstruction
US20170287215A1 (en) 2016-03-29 2017-10-05 Google Inc. Pass-through camera user interface elements for virtual reality
GB2551396B (en) 2016-06-17 2018-10-10 Imagination Tech Ltd Augmented reality occlusion
WO2018032457A1 (en) * 2016-08-18 2018-02-22 SZ DJI Technology Co., Ltd. Systems and methods for augmented stereoscopic display
KR20180028211A (ko) 2016-09-08 2018-03-16 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US20180088323A1 (en) 2016-09-23 2018-03-29 Sheng Bao Selectably opaque displays
US10691220B2 (en) * 2017-02-14 2020-06-23 Samsung Electronics Co., Ltd. Method for display of information from real world environment on a virtual reality (VR) device and VR device thereof
KR102111501B1 (ko) * 2017-06-19 2020-05-15 주식회사 케이티 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법
US10437065B2 (en) 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
JP7169358B2 (ja) 2017-12-22 2022-11-10 マジック リープ， インコーポレイテッド 高速立体再構成のための視点依存ブリック選択
WO2019143844A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
US10748343B2 (en) 2018-07-16 2020-08-18 Microsoft Technology Licensing, Llc Modifiable simulation of physical object behavior
US10607083B2 (en) * 2018-07-19 2020-03-31 Microsoft Technology Licensing, Llc Selectively alerting users of real objects in a virtual environment
US11004269B2 (en) 2019-04-22 2021-05-11 Microsoft Technology Licensing, Llc Blending virtual environments with situated physical reality

Also Published As

Publication number Publication date
KR20220125353A (ko) 2022-09-14
US11200745B2 (en) 2021-12-14
EP4097568A1 (en) 2022-12-07
JP2023511807A (ja) 2023-03-23
WO2021154431A1 (en) 2021-08-05
US20210233314A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
US11501488B2 (en) Systems, methods, and media for generating visualization of physical environment in artificial reality
US11200745B2 (en) Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality
US11113891B2 (en) Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality
CN116964542A (zh) 用于在虚拟现实中提供空间感知的系统和方法
US20240078754A1 (en) Camera Reprojection for Faces
TW202238531A (zh) 虛擬實境環境中的混合實境物件
US11451758B1 (en) Systems, methods, and media for colorizing grayscale images
CN115087946A (zh) 用于检测无对象空间的系统、方法和介质
US20230120052A1 (en) Adaptable Personal User Interfaces in Cross-Application Virtual Reality Settings
US11410387B1 (en) Systems, methods, and media for generating visualization of physical environment in artificial reality
US11818474B1 (en) Sparse RGB cameras for image capture
US20240062425A1 (en) Automatic Colorization of Grayscale Stereo Images
US20230259194A1 (en) Spatial Anchor Sharing for Multiple Virtual Reality Systems in Shared Real-World Environments
US20240194040A1 (en) Directional Warnings in Co-located Play in Virtual Reality Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination