CN111273766A - 用于生成链接到物品模拟现实表示的示能表示的方法、设备和系统 - Google Patents

Abstract

本公开涉及“用于生成链接到物品模拟现实表示的示能表示的方法、设备和系统”。在一个具体实施中，在包括一个或多个处理器、非暂态存储器和一个或多个显示器的设备中执行生成链接到物品的SR表示的示能表示的方法。该方法包括识别物品；生成对应于物品的示能表示‑物品对；检测选择示能表示‑物品对的输入；以及响应于检测到选择示能表示‑物品对的用户输入，在一个或多个显示器上显示包括物品的SR表示的模拟现实(SR)环境。在一些具体实施中，该方法包括获取包括物品的图像数据帧。

Description

用于生成链接到物品模拟现实表示的示能表示的方法、设备 和系统

技术领域

本公开整体涉及模拟现实(SR)，并且具体地涉及用于生成链接到SR环境中的物品的SR表示的示能表示的系统、方法和设备。

背景技术

当用户观看包括物品的视频流时，用户不能在不使用辅助设备的情况下收集这些物品的更多信息或透视图。例如，当用户正在电视上观看篮球比赛时，用户可能会看到篮球运动员穿着用户感兴趣的特定球鞋。在该示例中，用户会使用单独的设备来访问关于用户在电视上看到的特定球鞋的更多信息。

另外，当用户观看教程(例如，实时视频馈送或预先录制的视频馈送)时，由于教程中的障碍或教程中呈现的角度，用户可能无法看到如何对教程中的物品执行技术。相反，用户会从教程中推断如何在用户的现实世界物品上执行教程中的技术。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1示出了根据一些具体实施，用于生成示能表示-物品对的示例性操作环境。

图2A至图2F示出了根据一些具体实施，用于生成示能表示-物品对的示例性模拟现实(SR)呈现环境。

图3示出了根据一些具体实施，生成示能表示-物品对的方法的流程图。

图4是根据一些具体实施，用于将与第二物品的现实世界交互的指示显示为第一物品上的叠图的示例性操作环境的框图。

图5示出了根据一些具体实施的一种方法的流程图，该方法获取并显示与物品的现实世界交互的指示的SR表示。

图6A和图6B示出了根据一些具体实施，用于将与第二物品的现实世界交互的指示显示为第一物品上的叠图的过程。

图7A至图7D示出了根据一些具体实施，用于将与第二物品的现实世界交互的指示显示为第一物品上的叠图的另一过程。

图8是根据一些具体实施的示例性控制器的框图。

图9是根据一些具体实施的示例性设备的框图。

图10是根据一些具体实施的示例性显示设备的框图。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于生成链接到模拟现实(SR)物品的示能表示的设备、系统和方法。根据一些具体实施，在具有一个或多个处理器、非暂态存储器以及一个或多个显示器的设备处执行该方法。该方法包括识别物品。该方法还包括生成对应于物品的示能表示-物品对。该方法还包括检测选择示能表示-物品对的用户输入。该方法还包括，响应于检测到选择示能表示-物品对的用户输入，在一个或多个显示器上显示包括物品的SR表示的SR环境。在一些具体实施中，该方法包括获取包括物品的图像数据帧。

本文所公开的各种具体实施包括用于将与第二物品的现实世界交互的指示显示为第一物品上的模拟现实(SR)叠图的设备、系统和方法。根据一些具体实施，在具有一个或多个处理器、非暂态存储器以及一个或多个显示器的设备处执行一种方法。该方法包括使用一个或多个显示器向第一物品的第一用户显示SR环境。该方法还包括由第二用户获取与第二物品的现实世界交互的指示。该方法还包括在一个或多个显示器上将与第二物品的现实世界交互的指示的SR表示显示为SR环境之内可见的第一物品上的叠图。

根据一些具体实施，设备包括一个或多个处理器、非暂态存储器、一个或多个显示器以及一个或多个程序；一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行本文所述的方法中的任一种方法的操作的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，该指令当由具有一个或多个显示器的设备的一个或多个处理器执行时，使得设备执行或导致执行本文所述的方法中的任一种方法的操作。根据一些具体实施，一种设备包括：一个或多个显示器；非暂态存储器，以及用于执行或导致执行本文所述的方法中的任一种方法的装置。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

如本文所述，物理环境是指无需电子系统帮助个体就能够感觉和/或个体能够交互的世界。物理环境(例如，物理森林)包括物理元素(例如，物理树、物理结构和物理动物)。个体可直接与物理环境相互作用和/或感觉物理环境，诸如通过触摸、视觉、嗅觉、听觉和味觉。

相比之下，模拟现实(SR)环境是指经由电子系统个体能够感觉和/或个体能够交互的完全或部分由计算机创建的环境。在SR中，监测个体移动的子集，并且响应于该子集，以符合一个或多个物理定律的方式更改SR环境中的一个或多个虚拟对象的一个或多个属性。例如，SR系统可检测到个体向前走几步，并且响应于此，以类似于此类情景和声音在物理环境中会如何改变的方式来调节呈现给个体的图形和音频。也可响应于移动的表示(例如，音频指令)而进行对SR环境中一个或多个虚拟对象的一个或多个属性的修改。

个体可使用他的任何感觉(包括触觉、嗅觉、视觉、味觉和声音)与SR对象进行交互和/或感觉SR对象。例如，个体可与创建多维(例如，三维)或空间听觉环境和/或实现听觉透明性的听觉对象进行交互和/或感知。多维或空间的听觉环境为个体提供了在多维空间中对离散听觉源的感知。在具有或不具有计算机创建的音频的情况下，听觉透明选择性地结合来自物理环境的声音。在一些SR环境中，个体可仅与听觉对象进行交互和/或仅感知听觉对象。

SR的一个示例是虚拟现实(VR)。VR环境是指被设计为仅包括针对至少一种感觉的计算机创建的感官输入的模拟环境。VR环境包括个体可与之交互和/或对其进行感知的多个虚拟对象。个体可通过在计算机创建的环境内模拟个体动作的子集和/或通过对个体或其在计算机创建的环境内的存在的模拟，来与VR环境中的虚拟对象进行交互和/或感知VR环境中的虚拟对象。

SR的另一个示例是混合现实(MR)。MR环境是指被设计为将计算机创建的感官输入(例如，虚拟对象)与来自物理环境的感觉输入或其表示集成的模拟环境。在现实谱系上，混合现实环境介于一端的VR环境和另一端的完全物理环境之间并且不包括这些环境。

在一些MR环境中，计算机创建的感官输入可以适应于来自物理环境的感官输入的变化。另外，用于呈现MR环境的一些电子系统可以监测相对于物理环境的取向和/或位置，以使虚拟对象能够与真实对象(即来自物理环境的物理元素或其表示)交互。例如，系统可监测运动，使得虚拟植物相对于物理建筑物看起来是静止的。

混合现实的一个示例是增强现实(AR)。AR环境是指至少一个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，电子系统可具有不透明显示器和至少一个成像传感器，成像传感器用于捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上显示该组合。个体利用系统经由物理环境的图像或视频间接地查看物理环境，并且观察叠加在物理环境之上的虚拟对象。当系统使用一个或多个图像传感器捕获物理环境的图像，并且使用那些图像在不透明显示器上呈现AR环境时，所显示的图像被称为视频透传。另选地，用于显示AR环境的电子系统可具有透明或半透明显示器，个体可通过该显示器直接查看物理环境。该系统可在透明或半透明显示器上显示虚拟对象，使得个体利用该系统观察叠加在物理环境之上的虚拟对象。又如，系统可包括将虚拟对象投影到物理环境中的投影系统。虚拟对象可例如在物理表面上或作为全息图被投影，使得个体利用该系统观察叠加在物理环境之上的虚拟对象。

增强现实环境也可指其中物理环境的表示被计算机创建的感官信息改变的模拟环境。例如，物理环境的表示的一部分可被以图形方式改变(例如，放大)，使得所改变的部分仍可代表初始捕获的图像但不是忠实再现的版本。又如，在提供视频透传时，系统可改变传感器图像中的至少一者以施加不同于图像传感器捕获的视点的特定视点。再如，物理环境的表示可通过以图形方式将其部分进行模糊处理或消除其部分而被改变。

混合现实的另一个示例是增强虚拟(AV)。AV环境是指计算机创建环境或虚拟环境并入来自物理环境的至少一个感官输入的模拟环境。来自物理环境的感官输入可为物理环境的至少一个特征的表示。例如，虚拟对象可呈现由成像传感器捕获的物理元素的颜色。又如，虚拟对象可呈现出与物理环境中的实际天气条件相一致的特征，如经由天气相关的成像传感器和/或在线天气数据所识别的。在另一个示例中，增强现实森林可具有虚拟树木和结构，但动物可具有从对物理动物拍摄的图像精确再现的特征。

许多电子系统使得个体能够与各种SR环境进行交互和/或感知各种SR环境。一个示例包括头戴式系统。头戴式系统可具有不透明显示器和一个或多个扬声器。另选地，头戴式系统可以被设计成接收外部显示器(例如，智能电话)。头戴式系统可具有分别用于拍摄物理环境的图像/视频和/或捕获物理环境的音频的一个或多个成像传感器和/或麦克风。头戴式系统也可具有透明或半透明显示器。透明或半透明显示器可结合基板，代表图像的光通过该基板被引导到个体的眼睛。显示器可结合发光二极管(LED)、有机发光二极管(OLED)、数字光投影仪、激光扫描光源、硅上液晶，或这些技术的任意组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个实施方案中，透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。又如，电子系统可以是基于投影的系统。基于投影的系统可使用视网膜投影将图像投影到个体的视网膜上。另选地，投影系统还可将虚拟对象投影到物理环境中(例如，投影到物理表面上或作为全息图)。SR系统的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、耳机或耳塞、扬声器布置、输入机构(例如，具有或不具有触觉反馈的控制器)、平板电脑、智能电话，以及台式计算机或膝上型计算机。

图1示出了根据一些具体实施，用于生成示能表示-物品对的示例性操作环境100。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，示例性操作环境100至少包括控制器110、SR设备160和显示设备130。

在一些具体实施中，控制器110被配置为管理和协调用户170的SR体验。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文相对于图8更详细地描述控制器110。在一些具体实施中，控制器110是相对于场景105处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。在另一个示例中，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、电气和电子工程师协会(IEEE)802.11x、IEEE 802.16x、IEEE 802.3x等)与SR设备160通信耦接。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道142(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与显示设备130通信耦接。

在一些具体实施中，SR设备160被配置为向用户170呈现SR体验。在一些具体实施中，SR设备160包括软件、固件和/或硬件的合适组合。在一些具体实施中，控制器110的功能由SR设备160提供和/或与SR设备160结合。在一些具体实施中，SR设备160经由一个或多个有线或无线通信信道146(例如，蓝牙、IEEE 802.11x、IEEE 802.16x、IEEE 802.3x等)与显示设备130通信耦接。

根据一些具体实施，在呈现SR体验时，SR设备160被配置为呈现SR内容并且在用户170虚拟地和/或物理地存在于场景105内时实现场景105的视频透传。例如，如图1所示，用户170能够经由场景105的视频透传看到桌子155和显示设备130两者。在一些具体实施中，在呈现SR体验时，SR设备160被配置为呈现SR内容以及实现场景105的光学透视。例如，如图1所示，用户170能够经由场景105的光学透视看到桌子155和显示设备130两者。

在一些具体实施中，用户170将SR设备160穿戴在他/她头部。因此，SR设备160包括被提供用于显示SR内容的一个或多个显示器(例如，用户170的每只眼睛对应一个显示器)。在一些具体实施中，SR设备160围出了用户170的视场。在一些具体实施中，将SR设备160替换成被配置为呈现SR内容的SR室、壳体或房间，其中用户170不佩戴SR设备160。

在一些具体实施中，用户170将SR设备160保持在他/她的一只或两只手中。例如，用户170将SR设备160的面向外部的图像传感器指向显示设备130。因此，参考前一个示例，当显示设备130处于SR设备160的面向外部的图像传感器的视场中时，SR设备160的显示器显示叠加在显示设备130上的SR内容。

在一些具体实施中，显示设备130被配置为向用户170呈现媒体内容(例如，视频和/或音频内容)。例如，显示设备130呈现篮球赛的实时视频馈送，该篮球赛包括穿着用户170感兴趣的特定篮球鞋150的篮球运动员140。在一些具体实施中，显示设备130对应于电视(TV)或计算设备，诸如台式计算机、信息亭、膝上型计算机、平板电脑、移动电话、投影设备等。在一些具体实施中，显示设备130包括软件、固件和/或硬件的合适组合。下文相对于图10更详细地描述显示设备130。在一些具体实施中，显示设备130的功能由SR设备160提供和/或与SR设备160结合。

图2A至图2F示出了根据一些具体实施的示例性SR呈现情境200。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

图2A示出了示例性SR呈现情境200的第一状态290(例如，与T1或第一时间段相关联)。在第一状态290中，场景205的至少一部分在用户设备220(例如膝上型计算机、平板电脑、移动电话、可穿戴设备等)的面向外部的图像传感器的视场286内。如图2A所示，场景205包括显示设备130显示篮球赛的实时视频馈送216，该篮球赛包括穿着篮球鞋150的篮球运动员140。因此，在图2A中，用户设备220在显示屏226上显示当前由显示设备130呈现的篮球赛的实时视频馈送216的表示236(例如，视频透传、光学透视等)。如图2A所示，篮球赛的实时视频馈送216的表示236包括篮球运动员(例如，篮球赛的实时视频馈送216中的篮球运动员140)的表示222和物品(例如，篮球运动员140在篮球赛的实时视频馈送216中所穿的篮球鞋150)的表示223。

如图2A所示，用户设备220的用户可能对与当前呈现在显示设备130上的篮球赛的实时视频馈送216相关联的物品(例如，篮球运动员140所穿的篮球鞋150)感兴趣。例如，用户可能希望知道关于篮球运动员140所穿的篮球鞋150的更多信息。在另一个示例中，用户可能希望更近地看看篮球运动员140所穿的篮球鞋150。在另一个示例中，用户可能希望看到篮球运动员140所穿的篮球鞋150的额外角度。

在一些具体实施中，与用户设备220通信耦接的控制器110根据实例分割、语义分割和/或其他计算机视觉技术来识别图像数据帧内的物品。在一些具体实施中，用户设备220根据实例分割、语义分割和/或其他计算机视觉技术来识别图像数据帧内的物品。在一些具体实施中，可识别物品对应于诸如鞋、人、动物、场所等的现实世界物品。在一些具体实施中，控制器110识别图像数据帧内的多个物品。在一些具体实施中，用户设备220识别图像数据帧内的多个物品。

在一些具体实施中，用户设备220生成示能表示-物品对224，该示能表示-物品对将和图像数据帧中的篮球运动员140的表示222相对应的篮球鞋150的表示223与视觉示能表示相关联。如图2A所示，示能表示-物品对224对应于可选的视觉示能表示(例如，通过触摸输入、语音命令、手势命令、注视方向等)。在一些具体实施中，当示能表示-物品对224可见时，边界被叠加在图像数据帧中的篮球鞋150的表示223上。然而，在一些具体实施中，示能表示-物品对224可能不可见。

在一些具体实施中，用户设备220对应于其上显示有SR内容的一副AR眼镜、其上显示有SR内容的平板电脑或移动电话，或其上显示有SR内容的头戴式设备(HMD)。在HMD情境中，假设显示设备130存在，则篮球赛的实时视频馈送216的表示236对应于显示设备130的视频透传或光学透视。在该示例中，SR内容与显示设备130所显示的篮球赛的实时视频馈送216的视频透传或光学透视组合。在HMD情境中，假设显示设备130不存在，则将篮球赛的实时视频馈送216投影到用户的视网膜上。在该示例中，SR内容与实时视频馈送216组合，继而被投影到用户的视网膜上。

图2B示出了示例性SR呈现情境200的第二状态292(例如，与T2或第二时间段相关联)。在图2B中，用户设备220在对应于示能表示-物品对224的位置处检测到来自用户的用户输入230(例如，触摸输入，诸如单次轻击手势或双轻击手势)。例如，用户希望收集与篮球鞋150(例如，感兴趣的物品)相关联的更多信息或透视图。在一些具体实施中，用户输入可选自语音命令、手势命令、注视方向等。

在一些具体实施中，假设用户设备220对应于由用户佩戴的一副AR眼镜，则用户设备220检测来自用户的指示选择篮球鞋150(例如，感兴趣的物品)的表示223的语音命令、注视方向、身体姿势方向/手势等。在一些具体实施中，假设用户设备220对应于HMD，则用户设备220检测来自用户的指示在SR环境内选择篮球鞋150(例如，感兴趣的物品)的表示223的语音命令、注视方向、身体姿势方向/手势等。在一些具体实施中，用户设备220可基于由用户设备220的面向外部的图像传感器捕获的场景205的图像或其他传感器信息诸如身体姿势信息、注视方向等来推断用户输入。然而，本领域的技术人员将会认识到，有很多选择物品的方式。为简明起见，本文未提供选择物品的所有此类方法的详尽列表。

响应于检测到图2B中的用户输入230，根据用户偏好、内容、内容介质、用户设备类型、应用程序使用等，用户设备220可按各种不同的方式显示SR环境256。作为非限制性示例，图2C至图2F示出了响应于检测到选择图2B中示能表示-物品对224的用户输入230来查看SR环境256的不同方式，每种SR环境均包括篮球鞋150的SR表示240。

图2C示出了示例性SR呈现情境200的第三状态294a(例如，与T3或第三时间段相关联)。在图2C中，响应于检测到选择图2B中示能表示-物品对224的用户输入230，用户设备220将篮球赛的实时视频馈送216的表示236的显示替换为包括篮球鞋150的SR表示240的SR环境256。与图2A和图2B相反，用户设备220的显示屏226不再显示当前由显示设备130呈现的篮球赛的实时视频馈送216。相反，用户设备220转换为显示包括篮球鞋150的SR表示240的SR环境256。

在第三状态294a中，篮球赛的实时视频馈送216可被暂停在显示设备130上或在用户设备220处被添加书签，使得用户在完成在SR环境256内观看篮球鞋150的SR表示240之后可恢复观看篮球赛的实时视频馈送216。在一些具体实施中，用户可通过用户与现实世界物品进行交互的相同方式，来与篮球鞋150的SR表示240进行交互并加以操纵。在一些具体实施中，可从多个视角和缩放水平查看篮球鞋150的SR表示240。在一些具体实施中，篮球鞋150的SR表示240可以各种方式进行编辑，诸如添加SR内容、移除SR内容、增大/减小SR内容的大小、改变SR内容的颜色等。

图2D示出了示例性SR呈现情境200的另一第三状态294b(例如，与T3或第三时间段相关联)。在图2D中，响应于检测到选择图2B中的示能表示-物品对224的用户输入230，用户设备220连同篮球赛的实时视频馈送216的表示236一起显示画中画(PiP)窗口228。例如，PiP窗口228包括具有篮球鞋150的SR表示240的SR环境256。然而，与图2C相反，用户设备220在显示屏226上同时显示：(A)当前由显示设备130呈现的实时视频馈送216的表示236和(B)包括篮球鞋150的SR表示240的SR环境256。与图2C相比，图2D示出了对图2B中的用户输入230的另选响应。

图2E示出了示例性SR呈现情境200的另一第三状态294c(例如，与T3或第三时间段相关联)。在图2E中，响应于检测到选择图2B中的示能表示-物品对224的用户输入230，用户设备220生成包括篮球鞋150的SR表示240的SR环境256并将其发送至辅助设备246。该过程允许用户在辅助设备246的显示器245上查看包括篮球鞋150的SR表示240的SR环境256，而在用户设备220上中断的实时视频馈送216的表示236继续播放。与图2C至图2D相比，图2E示出了对图2B中的用户输入230的另选响应。

图2F示出了示例性SR呈现情境200的另一第三状态294d(例如，与T3或第三时间段相关联)。在图2F中，响应于检测到选择图2B中的示能表示-物品对224的用户输入230，用户设备220将篮球鞋150的SR表示240显示为篮球赛的实时视频馈送216的表示236上的叠图。篮球鞋150的SR表示240被直接叠加在实时视频馈送216的表示236上，使得用户在实时视频馈送216上的篮球鞋150的位置查看鞋的SR表示240。例如，篮球鞋150的SR表示240的叠图被叠加在实时视频馈送216的表示236上，使得篮球运动员140的表示222看起来在篮球赛的实时视频馈送216的表示236内穿着篮球鞋150的SR表示240。在一些具体实施中，响应于检测到选择图2B中的示能表示-物品对224的用户输入230，用户设备220生成包括篮球鞋150的SR表示240的SR环境256并将其发送至第二用户的辅助设备246。与图2C至图2E相比，图2F示出了对图2B中的用户输入230的另选响应。

图3是根据一些具体实施，生成链接到在图像数据帧中识别的物品的SR表示的示能表示的方法300的流程图表示。在一些具体实施中，方法300由具有一个或多个处理器、非暂态存储器以及一个或多个显示器的设备(例如，图1中所示的SR设备160、图1和图8中所示的控制器110、图2A至图2F中所示的用户设备220、图9中所示的设备901，或它们的适当组合)执行。在一些具体实施中，方法300由处理逻辑部件包括硬件、固件、软件或其组合执行。在一些具体实施中，方法300由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

如框310所示，方法300包括识别图像数据帧中的物品。物品(例如，图2A至图2F中的篮球鞋150)对应于任何现实世界物品，诸如衣服、物体、人、动物、食品、饮料、玩具、家具、电子设备、医疗设备、美容产品等。例如，如图1和图2A至图2F所示，图像数据帧中的篮球鞋150对应于现实世界的服装物品。又如，图像数据帧中的物品对应于人、演员、体育运动员等。例如，在观看篮球比赛时，用户可能想要收集关于特定篮球运动员的更多信息或统计信息而不离开视频馈送。

在一些具体实施中，设备根据实例分割技术、语义分割技术、计算机视觉技术等来识别图像数据帧中的物品。在一些具体实施中，物品由相关联的视频馈送预定义。在一些具体实施中，第三方或物品的所有者提供该物品、示能表示-物品对和/或物品的对应SR表示。在一些具体实施中，物品的SR表示受数字版权管理(DRM)的保护，以便限制对物品的SR表示的操纵。DRM保护可保护物品的外观，使得仅物品的所有者、物品的创建者或授权用户可控制或编辑物品的SR表示的视觉外观。例如，鞋的所有者可能不希望未经授权的用户或第三方改变鞋的SR表示的外观以包括脏话、竞争者的标识、版权保护内容等。

在一些具体实施中，识别物品还包括确定该物品是否可用于在SR环境中向用户显示。在一些具体实施中，如果物品不可用于显示，则设备将推荐类似的或另选的物品。在一些具体实施中，识别物品还包括获取与包括多个物品的视频馈送等相关联的物品清单。在一些具体实施中，设备识别图像数据帧中的两个或更多个物品，使得示能表示被叠加在两个或更多个物品中的每个物品的至少一部分上。

在一些具体实施中，该方法还包括从图像(例如，静态图像诸如杂志、海报、广告牌等)、视频馈送(例如，录制的馈送、实时馈送、来自数据库的视频等)或捕获现实世界图像数据的相机来获取图像数据帧。在一些具体实施中，一副AR眼镜或HMD包括前向相机，该前向相机捕获来自实时事件的现实世界图像数据。该一副AR眼镜或HMD连接到控制器，该控制器识别图像数据帧中的物品并生成对应于图像数据帧中的物品的示能表示-物品对。然而，本领域的技术人员将会认识到，有很多获取图像数据帧的方式。为简明起见，本文未提供选择物品的所有此类方法的详尽列表。

如框320所示，方法300包括生成对应于图像数据帧中的物品的示能表示-物品对(例如，图2A和图2B中所示的示能表示-物品对224)。在一些具体实施中，设备从数据库检索示能表示-物品对。在一些具体实施中，方法300还包括将示能表示与图像数据帧相组合。

如框330所示，方法300包括检测选择示能表示-物品对224的用户输入。例如，图2B示出了用户设备220在对应于示能表示-物品对224的位置处检测来自用户的用户输入230。如上所述，设备根据操作环境检测用户输入有各种方式。在一些具体实施中，用户通过其上显示有SR内容的一副AR眼镜来查看图像数据帧中的物品，使得用户直接在AR眼镜上做出物品选择。在一些具体实施中，用户使用其上显示有SR内容的HMD设备来查看图像数据帧中的物品，使得用户在SR环境内进行选择。在另一个具体实施中，相机可捕获包括身体姿势和用户手势的场景，使得相机推断用户输入。在一些具体实施中，用户输入可选自语音命令、手势命令、注视方向等。

在一些具体实施中，设备识别多种选择输入类型，诸如指向手势、轻击手势、轻扫手势、轻弹手势等。在一些具体实施中，多个选择输入类型对应于不同的命令和动作。例如，第一选择输入类型从视频馈送转换到SR环境。又如，第二选择输入类型将物品保存到SR剪贴板或环境以便稍后查看。

如框340所示，方法300包括响应于检测到选择示能表示-物品对的用户输入来显示包括物品的SR表示(例如，图2C至图2F中所示的篮球鞋150的SR表示240)的SR环境。

作为非限制性示例，图2C至图2F示出了显示包括物品的SR表示的SR环境的示例。在一些具体实施中，如图2C所示，设备220在显示实时视频馈送216的表示和SR环境256之间转换。当设备220从实时视频馈送216的表示236切换到SR环境256时，设备220可暂停实时视频馈送的表示或为其添加书签，以最小化对用户的中断。在一些具体实施中，如图2D所示，设备220可同时显示实时视频馈送236的表示和SR环境256(例如，在PiP窗口228或分屏模式中显示SR环境)。在一些具体实施中，如图2E所示，设备220生成SR环境256并将其发送至辅助设备246。在一些具体实施中，如图2F所示，设备220覆盖图像数据帧上的SR环境，使得用户在实时视频馈送216上的篮球鞋150的位置查看篮球鞋150的SR表示240。例如，篮球鞋150的SR表示240的叠图直接被叠加在实时馈送216的表示236上，使得篮球运动员140的表示222看起来在篮球赛的实时视频馈送216的表示236内穿着篮球鞋150的SR表示240。

在一些具体实施中，用户以与现实世界物品交互的相同方式与物品的SR表示进行交互。在一些具体实施中，可拿起并旋转物品的SR表示以查看物品的不同角度。在一些具体实施中，物品的SR表示对应于立体图像。在一些具体实施中，可从SR环境内的多个视角和缩放级别查看物品的SR表示。在一些具体实施中，SR环境包括示能表示，该示能表示链接到与物品的SR表示相关联的网页(例如，零售点、与物品相关联的信息页面、与物品相关的社交媒体页面等)。

在一些具体实施中，设备生成对应于物品的附加SR内容。在一些具体实施中，附加SR内容作为附件、推荐物品或替换物品与该物品相关。

图4示出了根据一些具体实施的示例性操作环境400。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，示例性操作环境400包括第一用户410、与第一用户410相关联的第一物品412(例如，第一画架)、第一用户410拿着的SR设备160、第二用户420以及与第二用户420相关联的第二物品422(例如，第二画架)。

在一些具体实施中，第一用户410和第二用户420均存在于物理环境场景405中的相同位置内。例如，第一用户410和第二用户420可在同一教室中，使得第二用户420是教员并且第一用户410是接收实时指令的学生。如图4所示，第一用户410可能无法看到由第二用户420在第二物品422(例如，教员的第二画架)上执行的现实世界交互(例如，绘画)。例如，第一用户410可能由于第一用户410视线中的障碍、第一用户410和第二物品422之间的距离、第一用户410和第二物品422之间的角度等而无法看到交互(例如，第一物品412遮挡第一用户410的视线)。

在一些具体实施中，第一用户410和第二用户420可位于不同位置。例如，第一用户410位于第一位置中，同时观看位于第二位置中的第二用户420的实时视频馈送。又如，第一用户410可能正在观看第二用户420的预先录制的视频馈送。

图5是根据一些具体实施，将与第二物品的现实世界交互的指示显示为第一物品上的叠图的方法500的流程图表示。在一些具体实施中，方法500由具有一个或多个处理器、非暂态存储器以及一个或多个显示器的设备(例如，图1和图4中所示的SR设备160，图1和图8中所示的控制器110，图6A、图6B以及图7A至图7D中所示的用户设备220，图9中所示的设备901，或它们的适当组合)执行。在一些具体实施中，方法500由处理逻辑部件包括硬件、固件、软件或其组合执行。在一些具体实施中，方法500由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

如框510所示，方法500包括使用一个或多个显示器向第一物品(例如，与图4中所示的第一用户410相关联的第一物品412、图6A和图6B中所示物品的SR表示630，或图7A至图7D中所示的第一画架714的表示716)的第一用户(例如，图4中所示的第一用户410)显示SR环境。在一些具体实施中，第一物品对应于与诸如膝上型计算机、平板电脑、画架等的教程相关联的物理物品(例如，图7A至图7D中所示的第一画架714)。在一些具体实施中，第一物品对应于物理物品的SR表示(例如，图6A和图6B中所示的键盘的SR表示630)。在一些具体实施中，SR环境可对应于课程、教程、实时事件等。

如框520所示，方法500包括通过第二用户(例如，图4中所示的第二用户420，图6A和图6B中所示的第二用户的手602，或图7A至图7D中所示的第二用户730)获取与第二物品(例如，图4中所示的第二设备422、图6A和图6B中所示的现实世界物品610或图7A至图7D中所示的第二画架740)的现实世界交互的指示。在一些具体实施中，第一用户和第二用户位于相同位置。在一些具体实施中，第一用户和第二用户位于不同位置。

在一些具体实施中，第一物品和第二物品是相同的。在一些具体实施中，第一物品和第二物品是类似物品(例如，第一物品412对应于草图，并且第二物品422对应于画架)。在一些具体实施中，第一物品和第二物品是不同物品(例如，第一物品412对应于平板设备，并且第二物品422对应于画架)。

在一些具体实施中，方法500还包括在SR环境内合成与第二物品的现实世界交互的指示的SR表示。例如，SR表示可对应于输入的SR表示和第二用户与第二物品的交互，诸如显示手指打字、手的手势、手部运动等的SR表示。

如框530所示，方法500包括将与第二物品的现实世界交互的指示的SR表示显示为在SR环境内可见的第一物品上的叠图(例如，图6B中所示的SR表示632，或图7B至图7D中所示的第一SR表示712，以及图7D中所示的第二SR表示724)。在一些具体实施中，方法500还包括由第一用户或第二用户向SR环境内的第一物品或第二物品生成注释。例如，第一用户可在观看由第二用户所教导的课程时实时地记录笔记。在一些具体实施中，注释存储在数据库中。

图6A和图6B示出了根据一些具体实施，用于将现实世界交互的现实世界指示的指示显示为叠图的过程。

图6A示出了根据一些具体实施的示例性SR呈现情境600的第一状态690a(T1或第一时间段)。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

图6A示出了与第一用户(例如，图4中所示的第一用户410)相关联的第一场景606的第一状态690a(T1或第一时间段)。与第一用户相关联的第一场景606包括第一用户操作用户设备220(例如，图2A至图2F中所示的用户设备220)，该用户设备在相关联的面向外部的图像传感器的视场686内显示第一场景606的一部分(例如，桌子614的顶部)的透传视频。例如，如图6A所示，用户设备220在显示屏226上显示第一场景606在相关联的面向外部的图像传感器的视场686之内的部分的表示636。因此，用户设备220显示第一场景606的表示636，包括与桌子614相关联的表示640和看起来位于桌子614顶部上的物品的SR表示630(例如，虚拟键盘)。

图6A还示出了与第二用户(例如，图4中所示的第二用户420)相关联的第二场景608的第一状态690a(T1或第一时间段)，示出了第二用户的手602和现实世界物品610(例如，键盘)。在与第二用户相关联的第二场景608中，第二用户的手602扣在一起，使得第二用户不与现实世界物品610接触或交互。在一些具体实施中，第一用户和第二用户位于相同位置。在一些具体实施中，第一用户和第二用户位于不同位置。

在一些具体实施中，现实世界物品610对应于现实世界物体，诸如键盘、膝上型计算机、电话、物理模型、衣物制品、画笔、车辆等。在一些具体实施中，物品的SR表示630和现实世界物品610是相同的。在一些具体实施中，物品的SR表示630和现实世界物品610与类似物品相关联。例如，现实世界物品610可以是键盘，物品的SR表示630可以是同一现实世界物品的虚拟表示。在一些具体实施中，物品的SR表示630和现实世界物品610与不同物品相关联。例如，现实世界物品610可以是键盘，物品的SR表示630可以是虚拟打字机。

图6B示出了根据一些具体实施的示例性SR呈现情境600的第二状态690b(T2或第二时间段)。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

图6B示出了与第一用户相关联的第一场景606的第二状态690b(T2或第二时间段)以及与第二用户相关联的第二场景608的第二状态690b(T2或第二时间段)。与第二场景608的第一状态690a相比，与第二用户相关联的第二场景608的第二状态690b示出第二用户利用其手602与现实世界物品610进行交互。继续该示例，第二用户通过触摸现实世界物品610上的多个按键来与现实世界物品610进行交互。在一些实施方案中，由第二用户穿戴的外部相机或SR设备160捕获场景608，包括第二用户与现实世界物品610交互。在第一场景606的第二状态690b中，与第一用户相关联的用户设备220响应于第二用户在第二场景608的第二状态690b中与现实世界物品610进行交互，而在显示屏226上显示与现实世界物品610的现实世界交互(例如，第二用户用其手指在键盘上打字)的指示的SR表示632。例如，如图6B所示，SR表示632对应于第一物品(例如，虚拟键盘)上的叠图。

图7A至图7D示出了根据一些具体实施，用于将现实世界交互的现实世界指示的指示显示为叠图的另一过程。

图7A示出了根据一些具体实施的示例性SR呈现情境700。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

图7A示出了与第一用户(例如，图4中所示的第一用户410)相关联的第一场景706的第一状态720a(T1或第一时间段)。与第一用户相关联的第一场景706包括第一用户操作用户设备220(例如，图2A至图2F、图6A和图6B中所示的用户设备220)，该用户设备包括相关联的面向外部的图像传感器的视场786之内的第一场景706的一部分(例如，第一画架714的一部分)。例如，如图7A所示，用户设备220在显示屏226上显示第一场景706在相关联的面向外部的图像传感器的视场786之内的部分的表示736。因此，用户设备220显示包括与第一画架714相关联的表示716的第一场景706的表示736。

图7A还示出了与第二用户730(例如，图4中所示的第二用户420)相关联的第二场景708的第一状态720a(T1或第一时间段)，包括第二用户730拿着第一画笔750(例如，细/薄画笔)和第二画架740。在与第二用户相关联的第二场景708的第一状态720a中，第二用户730未使用第一画笔750与第二画架740进行交互。在一些具体实施中，第一用户和第二用户730位于相同位置。在一些具体实施中，第一用户和第二用户730位于不同位置。

图7B示出了根据一些具体实施的示例性SR呈现情境700的第二状态720b(T2或第二时间段)。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

图7B示出了与第一用户相关联的第一场景706的第二状态720b(T2或第二时间段)以及与第二用户730相关联的第二场景708的第二状态720b(T2或第二时间段)。与第二场景708的第一状态720a相反，第二场景708的第二状态720b示出第二用户730通过使用第一画笔750在第二画架740上绘制点742来与第二画架740进行交互。在一些实施方案中，由第二用户730穿戴的外部相机或SR设备160捕获场景708，包括第一画笔750与第二画架740交互。在第一场景706的第二状态720b中，与第一用户相关联的用户设备220响应于第二用户在第二场景708的第二状态720b中利用第一画笔750与第二画架740进行交互，而在显示屏226上，在第一场景706的表示736之内的第一画架714的表示716上，显示与第二用户730相关联的第一现实世界交互的第一SR表示712。例如，如图7B所示，第一SR表示712对应于第一画架714的表示716上的叠图。在该示例中，第一画架714对应于现实世界物品。

图7C示出了根据一些具体实施的示例性SR呈现情境700的第三状态720c(T3或第三时间段)。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

图7C示出了与第一用户相关联的第一场景706的第三状态720c(T3或第三时间段)以及与第二用户730相关联的第二场景708的第三状态720c。与第二场景708的第一状态720a和第二状态720b相比，第二场景708的第三状态720c示出第二用户730正拿着第二画笔760(例如粗/厚画笔)而不是第一画笔750(例如，细/薄画笔)。例如，第二画笔760产生比第一画笔750更粗的笔触。因此，当第二用户730使用第二画笔760与第二画架740进行交互时，与图7B中利用第一画笔750的现实世界交互相比，用户设备220将显示利用第二画笔760的现实世界交互的不同SR表示。

图7D示出了根据一些具体实施的示例性SR呈现情境700的第四状态720d(T4或第四时间段)。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。

图7D示出了与第一用户相关联的第一场景706的第四状态720d(T4或第四时间段)以及与第二用户730相关联的第二场景708的第四状态720d。与第二场景708的第三状态720c相反，第二场景708的第四状态720d示出第二用户730通过使用第二画笔760在第二画架740上绘制长笔触744来与第二画架740进行交互。如图7D所示，第二画笔760与第二画架740交互的方式与图7B所示的第一画笔750不同。在一些实施方案中，由第二用户730穿戴的外部相机或SR设备160捕获场景708，包括第二画笔760与第二画架740交互。在第一场景706的第四状态720d中，用户设备220响应于第二用户730在第二场景708的第四状态720d中利用第二画笔760与第二画架740进行交互，而在第一画架714的表示716上生成与第二用户730相关联的第二现实世界交互的第二SR表示724。例如，如图7D所示，第二SR表示724对应于第一画架714的表示716上的叠图。如图7D所示，第一SR表示712和第二SR表示724看起来不同，因为图7B中来自第二用户730的第一现实世界交互不同于图7D中来自第二用户730的第二现实世界交互。

图8是根据一些具体实施的控制器110(例如，图1中所示的控制器110)的示例的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。出于该目的，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元802(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备和传感器806、通信接口808(例如，通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或相似类型接口)、一个或多个编程(例如，I/O)接口810、存储器820以及用于互连这些部件和各种其他部件的一条或多条通信总线804。

在一些具体实施中，一条或多条通信总线804包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备和传感器806包括键盘、鼠标、触控板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。

存储器820包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备，并且可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器820任选地包括远离一个或多个处理单元802定位的一个或多个存储设备。存储器820包括非暂态计算机可读存储介质。在一些具体实施中，存储器820或者存储器820的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统830和SR体验模块840。在一些具体实施中，一个或多个指令包括在逻辑部件和非暂态存储器的组合中。

操作系统830包括用于处理各种基础系统服务的过程和用于执行硬件相关任务的过程。

在一些具体实施中，SR体验模块840被配置为管理和协调一个或多个用户的单重或多重SR体验(例如，一个或多个用户的单重SR体验，或一个或多个用户的相应群组的多重SR体验)。为此，在各种具体实施中，SR体验模块840包括数据获取单元842、跟踪单元844、协调单元846、数据传输单元848和识别单元850。

在一些具体实施中，数据获取单元842被配置为从用户设备(例如，图1和图4所示的SR设备160，图2A至图2F、图6A、图6B以及图7A至图7D中所示的用户设备220，图9中所示的设备901等)和显示设备(例如，图1、图2A至图2F和图10中所示的显示设备130)中的至少一者获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。出于该目的，在各种具体实施中，数据获取单元842包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，跟踪单元844被配置为测绘场景105并跟踪用户设备(例如，图1和图4所示的SR设备160，图2A至图2F、图6A、图6B以及图7A至图7D中所示的用户设备220，图9中所示的设备901等)相对于场景或操作环境(例如，图1中所示的场景105，或图4中所示的场景405)中的至少一者的位置/地点。出于该目的，在各种具体实施中，跟踪单元844包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，协调单元846被配置为管理和协调由用户设备(例如，图1和图4所示的SR设备160，图2A至图2F、图6A、图6B以及图7A至图7D中所示的用户设备220，图9中所示的设备901等)呈现给用户的SR体验。出于该目的，在各种具体实施中，协调单元846包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元848被配置为向用户设备(例如，图1和图4所示的SR设备160，图2A至图2F、图6A、图6B以及图7A至图7D中所示的用户设备220，图9中所示的设备901等)和显示设备(例如，图1、图2A至图2F和图10中所示的显示设备130)中的至少一者传输数据(例如，呈现数据、位置数据等)。出于该目的，在各种具体实施中，数据传输单元848包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，识别单元850被配置为根据实例分割、语义分割和/或其他计算机视觉技术来识别视频馈送或图像帧中的至少一个物品。出于该目的，在各种具体实施中，识别单元850包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

尽管数据获取单元842、跟踪单元844、协调单元846、数据传输单元848和识别单元850被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他具体实施中，数据获取单元842、跟踪单元844、协调单元846、数据传输单元848和识别单元850的任何组合可位于独立计算设备中。

此外，图8更多地用作可以存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图8中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图9是根据一些具体实施的设备901(例如，图1和图4中所示的SR设备160，或图2A至图2F、图6A、图6B和图7A至图7D中所示的用户设备220)的示例的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。出于该目的，作为非限制性示例，在一些具体实施中，设备901包括一个或多个处理单元902(例如，微处理器、ASIC、FPGA、GPU、CPU、处理内核等)、一个或多个I/O设备及传感器906、一个或多个通信接口908(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口910、一个或多个显示器912、存储器920、一个或多个任选的面向内部和/或面向外部的图像传感器950，以及用于互连这些部件和各种其他部件的一条或多条通信总线904。

在一些具体实施中，一条或多条通信总线904包括互连和控制系统部件之间的通信的电路。

在一些具体实施中，一个或多个显示器912能够(例如，向图1中所示的用户170，或图4中所示的第一用户410)呈现SR体验或SR内容。在一些具体实施中，一个或多个显示器912还被配置为向用户呈现平面视频内容(例如，与电视剧或电影相关联的二维或“平面”音频视频交织(AVI)、闪速视频(FLV)、Windows媒体视频(WMV)等文件，或图2A至图2F中的示例性SR呈现情境200的实时视频透传等)。在一些具体实施中，一个或多个显示器912对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或类似显示器类型。在一些具体实施中，一个或多个显示器912对应于衍射、反射、偏振、全息等波导显示器。例如，设备901包括与图2A至图2F、图6A、图6B和图7A至图7D中的用户设备220类似的单个显示器。又如，设备901包括与图1和图4中的SR设备160类似的针对用户每只眼睛的显示器。

在一些具体实施中，一个或多个任选的面向外部和/或面向内部的图像传感器950被配置为获取图像数据帧。例如，一个或多个任选的面向外部和/或面向内部的图像传感器950对应于一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、红外(IR)图像传感器、基于事件的相机等。

存储器920包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器920包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器920任选地包括远离一个或多个处理单元902定位的一个或多个存储设备。存储器920包括非暂态计算机可读存储介质。在一些具体实施中，存储器920或者存储器920的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统930和SR呈现模块940。

操作系统930包括用于处理各种基础系统服务的过程和用于执行硬件相关任务的过程。

在一些具体实施中，SR呈现模块940被配置为经由一个或多个显示器912向用户呈现SR内容。出于该目的，在各种具体实施中，SR呈现模块940包括数据获取单元942、SR呈现单元944和数据传输单元946。

在一些具体实施中，数据获取单元942被配置为从与设备901、控制器(例如，图1和图8中所示的控制器110)和显示设备(例如，图1、图2A至图2F和图10中所示的显示设备130)相关联的传感器中的至少一个获取数据(例如，呈现数据、交互数据、位置数据等)。出于该目的，在各种具体实施中，数据获取单元942包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，SR呈现单元944被配置为经由一个或多个显示器912呈现SR内容。出于该目的，在各种具体实施中，SR呈现单元944包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元946被配置为向控制器(例如，图1和图8中所示的控制器110)和显示设备(例如，图1、图2A至图2F和图10中所示的显示设备130)中的至少一个传输数据(例如，呈现数据、位置数据等)。出于该目的，在各种具体实施中，数据传输单元946包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，设备901任选地包括识别单元，其被配置为根据实例分割、语义分割和/或其他计算机视觉技术来识别视频馈送或图像帧中的至少一个物品。出于该目的，在各种具体实施中，识别单元包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

尽管数据获取单元942、SR呈现单元944和数据传输单元946被示为驻留在单个设备(例如，SR设备901)上，但应当理解，在一些具体实施中，数据获取单元942、SR呈现单元944和数据传输单元946的任何组合可位于独立计算设备中。

此外，图9更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图9中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

图10是根据一些具体实施的显示设备130(例如，图1和图2A至图2F中所示的电视(TV)或其他显示器)的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，显示设备130包括一个或多个处理单元1002(例如，微处理器、ASIC、FPGA、GPU、CPU、处理内核等)、一个或多个输入/输出(I/O)设备和传感器1006、一个或多个通信接口1008(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口1010、一个或多个显示器1012、存储器1020以及用于互连这些部件和各种其他部件的一条或多条通信总线1004。在一些具体实施中，显示设备130任选地由遥控设备、语音命令、控制器(例如，图1和图8中所示的控制器110)、用户设备(例如，图1和图4中所示的SR设备160，或图2A至图2F、图6A、图6B和图7A至图7D中所示的用户设备220)等控制。

在一些具体实施中，一条或多条通信总线1004包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备和传感器1006包括一个或多个IR传感器、一个或多个物理按钮、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个深度传感器等中的至少一种。

在一些具体实施中，一个或多个显示器1012对应于全息、DLP、LCD、LCoS、OLET、OLED、SED、FED、QD-LED、MEMS，和/或类似的显示器类型。

存储器1020包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备，并且可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器1020任选地包括远离一个或多个处理单元1002定位的一个或多个存储设备。存储器1020包括非暂态计算机可读存储介质。在一些具体实施中，存储器1020或者存储器1020的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统1030和SR呈现模块1040。在一些具体实施中，一个或多个指令包括在逻辑部件和非暂态存储器的组合中。

操作系统1030包括用于处理各种基础系统服务的过程和用于执行硬件相关任务的过程。在一些具体实施中，SR呈现模块1040被配置为经由一个或多个显示器1012和一个或多个I/O设备和传感器1006(例如，一个或多个扬声器)向用户呈现媒体内容(例如，视频和/或音频内容)。出于该目的，在各种具体实施中，SR呈现模块1040包括数据获取单元1042、呈现单元1044和数据传输单元1046。

在一些具体实施中，数据获取单元1042被配置为从场景105中的传感器，与显示设备130、控制器(例如，图1和图8中所示的控制器110)、用户设备(例如，图1和图4中所示的SR设备160，或图2A至图2F、图6A、图6B和图7A至图7D中所示的用户设备220)相关联的传感器中的至少一个获取数据(例如，呈现数据、用户交互数据等)。出于该目的，在各种具体实施中，数据获取单元1042包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，呈现单元1044被配置为经由一个或多个显示器1012呈现和显示视频内容。出于该目的，在各种具体实施中，呈现单元1044包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

在一些具体实施中，数据传输单元1046被配置为向控制器(例如，图1和图8中所示的控制器110)和用户设备(例如，图1和图4中所示的SR设备160，或图2A至图2F、图6A、图6B和图7A至图7D中所示的用户设备220)中的至少一个传输数据(例如，呈现数据、用户交互数据等)。出于该目的，在各种具体实施中，数据传输单元1046包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。

尽管数据获取单元1042、呈现单元1044和数据传输单元1046被示为驻留在单个设备(例如，显示设备130)上，但应当理解，在其他具体实施中，数据获取单元1042、呈现单元1044和数据传输单元1046的任何组合可位于独立计算设备中。

此外，图10更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图10中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据实施方案而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一用户可以被称为第二用户，并且类似地，第二用户可以被称为第一用户，这改变描述的含义，只要出现的“第一用户”被一致地重命名并且出现的“第二用户”被一致地重命名。第一用户和第二用户两者均为用户，但是他们不是同一用户。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求书中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (18)

1.一种方法，所述方法包括：

在包括一个或多个处理器、非暂态存储器以及一个或多个显示器的设备处：

识别物品；

生成对应于所述物品的示能表示-物品对；

检测选择所述示能表示-物品对的输入；以及

响应于检测到选择所述示能表示-物品对的所述输入，在所述一个或多个显示器上显示包括所述物品的SR表示的模拟现实(SR)环境。

2.根据权利要求1所述的方法，还包括：

获取包括所述物品的图像数据帧。

3.根据权利要求2所述的方法，其中获取所述图像数据帧包括使用所述设备的前向图像传感器来捕获所述图像数据帧。

4.根据权利要求2所述的方法，还包括：

获取对应于所述图像数据帧中的所述物品的物品清单，其中所述物品清单包括与所述物品相关联的多个物品。

5.根据权利要求2所述的方法，还包括：

通过将所述示能表示与所述图像数据帧中的所述物品的至少一部分组合，在所述一个或多个显示器上显示与所述示能表示-物品对相关联的示能表示。

6.根据权利要求2所述的方法，其中识别所述图像数据帧中的所述物品包括对所述图像数据帧执行实例分割或语义分割中的至少一者，以便识别所述图像数据帧中的所述物品。

7.根据权利要求2所述的方法，其中所述SR环境叠加在所述图像数据帧上。

8.根据权利要求2所述的方法，其中所述SR环境替换所述图像数据帧在所述一个或多个显示器上的显示。

9.根据权利要求2所述的方法，还包括：

确定所述输入对应于第一选择输入类型还是第二选择输入类型，其中所述第一选择输入类型使得从在所述设备上显示所述图像数据帧转换为在所述一个或多个显示器上显示所述SR环境，并且其中所述第二选择输入类型使得下载所述物品的所述SR表示。

10.根据权利要求1所述的方法，还包括：

在所述SR环境中生成附加SR内容，其中所述附加SR内容对应于与所述物品相关的附加物品。

11.根据权利要求1所述的方法，其中所述物品的所述SR表示受数字版权管理(DRM)的保护，以便限制对所述物品的操纵。

12.根据权利要求1所述的方法，还包括：

识别第二物品；以及

生成对应于所述第二物品的第二示能表示-物品对。

13.根据权利要求1所述的方法，还包括：

获取所述物品的所述SR表示。

14.根据权利要求1所述的方法，其中所述物品的所述SR表示由与所述物品相关联的实体提供。

15.根据权利要求1所述的方法，其中响应于一个或多个后续输入而在所述SR环境内改变所述物品的所述SR表示。

16.根据权利要求1所述的方法，其中识别所述物品包括确定所述物品是否可用于在所述SR环境中显示给所述设备的用户。

17.一种用于存储一个或多个程序的非暂态存储器，所述一个或多个程序当由具有一个或多个显示器的设备的一个或多个处理器执行时，使得所述设备：

识别物品；

生成对应于所述物品的示能表示-物品对；

检测选择所述示能表示-物品对的输入；以及

响应于检测到选择所述示能表示-物品对的所述输入，在所述一个或多个显示器上显示包括所述物品的SR表示的模拟现实(SR)环境。

18.一种设备，所述设备包括：

一个或多个处理器；

非暂态存储器；

一个或多个显示器；以及

存储在所述非暂态存储器中的一个或多个程序，所述一个或多个程序当由所述一个或多个处理器执行时，使得所述设备：

识别物品；

生成对应于所述物品的示能表示-物品对；

检测选择所述示能表示-物品对的输入；以及

响应于检测到选择所述示能表示-物品对的所述输入，在所述一个或多个显示器上显示包括所述物品的SR表示的模拟现实(SR)环境。

Images