CN117193900A - 通信会话期间的合并3d空间 - Google Patents

Abstract

本公开涉及通信会话期间的合并3D空间。本文所公开的各种具体实施包括提供通信会话的设备、系统和方法，在该通信会话中，参与者查看扩展现实(XR)环境，该XR环境表示第一用户的物理空间的一部分与第二用户的物理空间的一部分合并。基于每个物理环境内的所选竖直表面(例如，墙壁)来对齐相应空间。例如，每个用户可以手动地选择其自己的物理房间的相应墙壁，并且可以向每个用户呈现其中两个房间看起来沿着所选墙壁拼接在一起的视图。在一些具体实施中，对齐并合并房间以给出墙壁被拆卸/擦除并变成进入另一用户的房间的传送门的外观。

Description

通信会话期间的合并3D空间

技术领域

本公开整体涉及提供3D环境的视图的电子设备，这些3D环境包括可至少部分地在多个用户之间共享的内容，包括其中来自不同物理环境的内容看起来在单个环境内组合在一起的视图。

背景技术

各种技术用于使得人们能够在通信会话期间共享音频、图像和3D内容。然而，现有系统可能不提供具有各种期望属性的共享3D环境。

发明内容

本文所公开的各种具体实施包括提供通信会话的设备、系统和方法，在该通信会话中，参与者查看扩展现实(XR)环境，该XR环境表示第一用户的物理环境的一部分与第二用户的物理环境的一部分合并。基于每个物理环境内的至少一个所选表面(例如，墙壁)来对齐相应部分。例如，每个用户可以手动地选择其自己的物理房间的相应墙壁，并且然后可以向每个用户呈现其中两个房间看起来基于所选墙壁拼接在一起的视图。在一些具体实施中，对齐并合并房间以给出所选墙壁被拆卸/擦除并变成进入另一用户的房间的传送门的外观。使用所选表面来使组合XR环境中的合并空间对齐可以提供包括但不限于以下项的优点：改善真实性或合理性、限制每个用户自己的物理空间内的内容的障碍物、改善墙壁和内容的对称性、以及提供合并空间之间的直观的或以其他方式期望定位的边界。

在一些具体实施中，处理器通过执行存储在计算机可读介质上的指令来执行方法。该方法获得第一物理环境的第一表面的指示，该第一物理环境包括第一设备。该方法获得经由第一设备的传感器数据获得的第一物理环境的表示与经由第二设备的传感器数据获得的第二物理环境的表示之间的3D对齐，该第二物理环境包括第二设备。该对齐使第一物理环境的表示的对应于第一表面的部分与第二物理环境的表示的对应于第二物理环境的第二表面的部分对齐。该方法在通信会话期间提供扩展现实(XR)环境的视图，该XR环境包括根据所获得的3D对齐而对齐的第一物理环境的表示和第二物理环境的表示。

根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1A和图1B示出了根据一些具体实施的在不同物理环境中操作的示例性电子设备。

图2A和图2B分别示出了根据一些具体实施的图1A和图1B的物理环境的各部分的形状。

图2C和图2D示出了根据一些具体实施的图2A和图2B的物理环境的各部分的示例性对齐。

图3示出了根据一些具体实施的根据图2C至图2D中示出的对齐来对物理环境的各部分进行组合的XR环境。

图4示出了根据一些具体实施的图3的XR环境的由图1A的电子设备提供的示例性视图。

图5示出了根据一些具体实施的图3的XR环境的由图1B的电子设备提供的示例性视图。

图6示出了根据一些具体实施的来自不同物理环境的空间的示例性对齐。

图7A、图7B和图7C示出了根据一些具体实施的来自不同物理环境的空间的附加示例对齐。

图8是示出根据一些具体实施的用于提供表示第一用户的物理空间的一部分与第二用户的物理空间的一部分合并的XR环境的视图的方法的流程图。

图9是根据一些具体实施的电子设备的框图。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

图1A和图1B示出了在不同物理环境100a、100b中操作的示例性电子设备110a、110b。此类环境可以彼此相距遥远，例如，不位于同一房间、建筑物、综合大楼、城镇等内。在图1A中，物理环境100a是包括第一用户102a、第一用户的桌子120、第一用户的电视130和第一用户的花135的房间。物理环境100a包括墙壁140a、140b、140c、140d(未示出)、地板140e和天花板140f。在图1B中，物理环境100b是包括第二用户102b、第二用户的沙发170和第二用户的窗150的不同的房间。物理环境100b包括墙壁160a、160b、160c、160d(未示出)、地板160e和天花板160f。

电子设备110a-b可各自包括一个或多个相机、麦克风、深度传感器或可分别用于捕获关于其相应物理环境100a-b及这些环境100a-b内的对象的信息并评估该相应物理环境及这些环境内的对象以及捕获关于用户102a-b的信息的其他传感器。每个设备110a-b可使用其从其传感器获得的关于其相应物理环境100a-b和用户102a-b的信息，以提供视觉和音频内容和/或在通信会话期间共享内容。

图2A至图2D提供了示出图1A和图1B的物理环境100a-b的各部分的3D对齐的2D表示。图2A和图2B分别示出了图1A和图1B的物理环境的各部分的基于墙壁的边界。在该示例中，图1A描绘了作为具有四个墙壁140a-d的房间的物理环境100a的一部分。图2A示出了自顶向下(x/y)的类似平面布置图，从而示出了该四墙房间的形状。类似地，图1B描绘了也作为具有四个墙壁160a-d的房间的物理环境100b的一部分。图2B示出了自顶向下(x/y)的类似平面布置图，从而示出了该四墙房间的形状。

图2C使用图2A和图2B的自顶向下(x/y)的类似平面布置图示出了物理环境的各部分的示例性对齐。具体地，墙壁140a与墙壁160c对齐。在该示例中，对齐这些墙壁140a、160c以至少部分地重叠，即它们沿着每个壁的至少多段重叠。此外，在同一平面上彼此相邻地对齐墙壁160b和140b(在图2C中沿同一线示出)。出于说明的目的来提供示例性对齐，并且可另选地实现其他类型的重叠对齐和非重叠对齐。例如，可以在平行但分开的平面(例如，以1英尺、2英尺等分开的平面)上对齐墙壁140a、160c。

该墙壁140a、160c(或其他墙壁)之间的对齐可基于这些待对齐的墙壁的自动或手动选择。例如，用户102a可以提供选择墙壁140a的输入，并且用户102b可以提供选择墙壁160c的输入。在一些具体实施中，基于标准(例如，识别最大墙壁、具有最大开放空间的墙壁、在座椅或家具前方取向的墙壁、最近选择的墙壁等)自动地确定并建议推荐墙壁。此类推荐墙壁可以作为使用建议被识别给用户，然后基于用户输入来确认(或改变)。

图2D使用侧(x/z)视图示出了图2C的示例性对齐。在该示例中，对齐的墙壁140a、160c再次重叠。也在同一平面上对齐地板160e、140e(在图2D中沿同一线示出)。在一些具体实施中，只要可能(例如，每当两个房间均具有平坦、水平的地板表面时)，自动地使用此类地板到地板对齐。在这种情况下，自动地对齐地板160e、140e，并且由于房间是同一高度，因此也对齐天花板160f、140f(在图2D中沿同一线示出)。

在一些具体实施中，基于每个物理环境100a-b中的单个竖直墙壁的自动或手动识别以及一个或多个对齐标准来自动地确定3D空间之间的对齐。例如，考虑到在每个物理环境中选择一个墙壁，此类标准可要求：(a)使空间的地板表面在单个平面上对齐；(2)相对于彼此定位空间以使彼此重叠的所选墙壁的面积最大化；(3)将空间定位成使得所选墙壁的中心彼此重叠；或(4)将空间定位成使得附加墙壁(例如，墙壁140b、160b)彼此对齐(例如，在同一平面上)，或这些或其他对齐标准的某种组合。

图3示出了根据图2C至图2D中示出的对齐来对物理环境100a-b的各部分进行组合的XR环境300。在该示例中，XR环境300包括第二用户102b的描绘302b、第二用户的沙发170的描绘370、第二用户的窗150的描绘350、墙壁160a、160b、160d的描绘360a、360b、360d(未示出)、天花板160f的描绘360f以及地板160e的描绘360e。XR环境300也包括第一用户102a的描绘302a、第一用户的桌子120的描绘320、第一用户的花135的描绘335、墙壁140b、140c、140d的描绘340b、340c、340d(未示出)、天花板140f的描绘340f以及地板140e的描绘340e。

在图3中未描绘对齐的墙壁140a、160c。相反，这些对齐/重叠的墙壁被擦除/排除。相反，XR环境包括来自物理环境100a-b的内容的描绘之间的传送门305(例如，不可见的或图形可视化的平面边界区域)。在一些具体实施中，传送门305不包括任何可见内容。在其他具体实施中，添加图形内容，例如，在传送门305的边缘周围添加图形内容以利用XR环境识别其位置。

图3也示出了如何在XR环境300内对齐墙壁160b、140b的描绘360b、340b。这些描绘360b、340b在同一平面上对齐并且在传送门305处彼此邻接。类似地，地板160e、140e的描绘360e、340e也在同一平面上对齐并且在传送门305处彼此邻接。类似地，天花板160f、140f的描绘360f、340f也在同一平面上对齐并且在传送门305处彼此邻接。

图4和图5示出了图1A和图1B的示例性电子设备110a-b向其相应用户102a-b提供视图400、500。在该示例中，设备110a、110b中的每个设备提供图3的同一共享XR环境300的相应视图。这些视图可基于XR环境300内的视点位置来提供，这些视点位置基于设备110a-b在相应物理环境中的位置来确定，例如，随着设备110a-b在物理环境100a-b内移动，视点可在XR环境300中以对应方向、旋转和量移动。视点可对应于XR环境300内的化身位置。例如，用户102a可在XR环境中通过描绘302a来描绘，并且可看到XR环境300的基于该视点位置的视图。

图4示出了图3的XR环境的由图1A的电子设备100a提供的示例性视图400。在该示例中，视图400包括第一用户的桌子120的描绘420、第一用户的花135的描绘435、墙壁140b、140c的描绘440b、440c、天花板140f的描绘440f以及地板140e的描绘440e。在一些具体实施中，这些描绘420、435、440b、440c、440f、440e可(例如，基于由物理环境100a的设备102a捕获的图像或其他传感器数据)在显示器上显示，例如，作为直通视频图像。在一些具体实施中，这些描绘420、435、440b、440c、440f、440e可以通过光学透视技术来提供，其中使得用户102a能够例如通过透明透镜直接看到对应对象。

视图400附加包括来自第二用户的环境100b的内容的包括在XR环境300中的描绘。具体地，视图400包括第二用户的沙发170的描绘470、第二用户的窗150的描绘450、墙壁160b的描绘460b、地板160e的描绘460e以及天花板160f的描绘460f。这些描绘470、450、460b、460e、460f可(基于由物理环境100b的设备102b捕获的图像或其他传感器数据)在显示器上显示或以其他方式添加(例如，作为扩增或替换内容)。在一些具体实施中，这些描绘作为图像内容在透视设备的一部分(例如，透镜)上显示，例如，作为通过将光引导通过波导进入透镜并朝向用户的眼睛引导而产生的图像，使得用户查看描绘而不是物理环境的原本将可见的部分(例如，墙壁140a)。

在图4的示例中，视图400呈现XR环境300，使得在传送门480的一侧，视图400包括对应于物理环境100a的空间的描绘420、435、440b、440c、440f、440e，并且在传送门480的另一侧，视图包括对应于物理环境100b的空间的描绘470、450、460b、460e、460f。在该示例中，视图400提供这些空间已在边界(示出为传送门480)处彼此合并的感知。

视图400排除墙壁140a和悬挂在该墙壁140a上或以其他方式靠近该墙壁的对象(例如，电视130)中的一些或全部的描绘。在一些具体实施中，排除位于所选墙壁的阈值距离(例如，3英寸、6英寸、12英寸等)内的对象。在一些具体实施中，(例如，通过计算机视觉)识别壁挂对象(例如，图片、电视、镜子、架子等)并将其从视图400排除。各种标准(例如，基于对象类型、对象与墙壁的关系、距离等)可用于确定将对象从XR环境300和XR环境300的视图排除。

以这种方式对齐空间(例如，在由所选竖直表面限定的传送门480处，其中地板表面对齐等)可以提供一个或多个优点。对齐可以提供用户102a自己的空间的描绘和已经与其合并的第二用户的空间的描绘的相对简单且直观的分离。在该视图400中，很少或没有第一用户的环境100a被遮挡，例如，仅排除墙壁140a和电视130。

尽管未示出，但视图400可以包括用户102b的描绘，例如，如果用户102b行走并坐在沙发170的右侧。用户102b的此类描绘可以基于用户102b的图像数据，并且因此可以是用户102b的相对真实的表示。此类描绘可基于从设备110b共享的信息，例如，基于实况图像流或对应于用户102b的至少一部分的在通信会话期间设备110b发送到设备110a的其他数据，或者可基于关于设备110a的信息，例如，基于用户102b的先前获得的用户表示。随着用户102b四处走动、做手势以及做面部表情，可以显示对应的移动、手势以及表情以用于视图400中的用户102b的描绘。例如，随着用户102b走动，坐在物理环境100b中的沙发170上，视图400可以示出用户102b的描绘坐在沙发170的描绘470上。

包括但不限于由用户102b说出的词语的音频也可以从设备110b共享到设备110a并且作为视图400的音频分量来呈现。

图5示出了图3的XR环境的由图1B的电子设备102b提供的示例性视图500。在该示例中，视图500包括第二用户的沙发170的描绘570、第二用户的窗150的描绘550、墙壁160a、160b的描绘560a、560b、天花板160f的描绘560f以及地板160e的描绘560e。在一些具体实施中，这些描绘570、550、560a、560b、560f、560e可(例如，基于由物理环境100b的设备102b捕获的图像或其他传感器数据)在显示器上显示，例如，作为直通视频图像。在一些具体实施中，这些描绘570、550、560a、560b、560f、560e可以通过光学透视技术来提供，其中使得用户102b能够例如通过透明透镜直接看到对应对象。

视图500附加包括来自第一用户的环境100a的内容的包括在XR环境300中的描绘。具体地，视图500包括第一用户的桌子120的描绘520、第一用户的花135的描绘535、墙壁140b的描绘540b、地板140e的描绘540e以及天花板140f的描绘540f。这些描绘520、535、540b、540e、540f可(基于由物理环境100a的设备102a捕获的图像或其他传感器数据)在显示器上显示或以其他方式添加(例如，作为扩增或替换内容)。在一些具体实施中，这些描绘作为图像内容在透视设备的一部分(例如，透镜)上显示，例如，作为通过将光引导通过波导进入透镜并朝向用户的眼睛引导而产生的图像，使得用户查看描绘而不是物理环境的原本将可见的部分(例如，墙壁160c)。

在图5的示例中，视图500呈现XR环境300，使得在传送门580的一侧，视图500包括对应于物理环境100b的空间的描绘570、550、560a、560b、560f、560e，并且在传送门580的另一侧，视图500包括对应于物理环境100a的空间的描绘520、535、540b、540e、540f。视图500提供这些空间已在边界(示出为传送门580)处彼此合并的感知。以这种方式对齐空间(例如，在由所选竖直表面限定的传送门580处，其中地板表面对齐等)可以提供一个或多个优点。该对齐可以提供用户102b自己的空间的描绘和已经与其合并的第一用户102a的空间的描绘的相对简单且直观的分离。在该视图500中，很少或没有第二用户的环境100b被遮挡，例如，仅墙壁160c的一部分被遮挡。

需注意，在视图160中显示墙壁160c的一部分的描绘560c。在该示例中，传送门的尺寸基于墙壁140a和160c在对齐中的重叠量。由于墙壁140a小于墙壁160c，因此墙壁160c的位于传送门外部的一部分包括在视图500中。

尽管未示出，但视图500可以包括用户102a的描绘，例如，如果用户102a与第一用户的花135进行交互。用户102a的此类描绘可以基于用户102a的图像数据，并且因此可以是用户102a的相对真实的表示。此类描绘可基于从设备110a共享的信息，例如，基于实况图像流或对应于用户102a的至少一部分的在通信会话期间设备110a发送到设备110b的其他数据，或者可基于关于设备110b的信息，例如，基于用户102a的先前获得的用户表示。随着用户102a四处走动、做手势以及做面部表情，可以显示对应的移动、手势以及表情以用于视图500中的用户102a的描绘。例如，随着用户102b走动，从物理环境100a中的第一用户的花135摘下一片花瓣，视图500可以示出用户102a的描绘从第一用户的花135的描绘535摘下一朵花。

包括但不限于由用户102a说出的词语的音频也可以从设备110a共享到设备110b并且作为视图500的音频分量来呈现。

在图1至图5的示例中，电子设备110a-b被示出为手持式设备。电子设备110a-b可以是移动电话、平板电脑、膝上型电脑等。在一些具体实施中，电子设备110a-b可由用户穿戴。例如，电子设备110a-b可以是手表、头盔式设备(HMD)、头戴式设备(眼镜)、耳机、耳挂式设备等。在一些具体实施中，设备110a-b的功能通过两个或更多个设备来实现，例如移动设备和基站或头戴式设备和耳挂式设备。各种功能可以分布在多个设备中，包括但不限于功率功能、CPU功能、GPU功能、存储功能、存储器功能、视觉内容显示功能、音频内容生产功能等。可用于实现电子设备110a-b的功能的多个设备可以通过有线或无线通信彼此通信。

图6示出了来自不同物理环境的空间的示例性对齐。在该示例中，不同物理环境的空间610、620的基于墙壁的边界被对齐并且以自顶向下(x/y)的类似平面布置图来描绘。图6示出了示例性对齐。具体地，部分610的所选竖直表面615与部分620的竖直表面625对齐。由于竖直表面615大于竖直表面625，因此竖直表面615中的一些竖直表面与竖直表面625不重叠。在该示例中，对齐竖直表面615、625的中心，使得竖直表面615的中心部分616b与竖直表面625重叠，并且竖直表面615的侧部616a、616c与竖直表面625不重叠。该对齐在重叠的位置处提供空间610、620之间的传送门的位置。

图7A和图7B示出了来自不同物理环境的空间的附加示例对齐。在图7A中，不同物理环境的空间610、620的基于墙壁的边界被对齐并且以自顶向下(x/y)的类似平面布置图来描绘。图7A示出了示例性对齐。具体地，部分610的所选竖直表面715与部分620的竖直表面725对齐。由于竖直表面725大于竖直表面715，因此竖直表面725中的一些竖直表面与竖直表面715不重叠。在该示例中，竖直表面725的第一部分716a与竖直表面715重叠，并且竖直表面725的侧部716b与竖直表面715不重叠。该对齐在重叠的位置处提供空间610、620之间的传送门的位置。在该示例中，物理环境也部分重叠。在一些具体实施中，提供重叠物理环境区域的对齐用于根据指定将如何处理重叠空间的规则来合并空间。例如，重叠空间可以仅包括来自每个用户的环境的可见内容，以用于合并空间的该用户的视图。在另一示例中，每个用户在通过传送门查看该部分时可以从其他物理环境看到该重叠部分(例如，空间在直接查看时看起来与在通过传送门看时不同)。

在图7B中，不同物理环境的空间610、620的基于墙壁的边界被对齐并且以自顶向下(x/y)的类似平面布置图来描绘。图7B示出了示例性对齐。具体地，部分610的所选竖直表面735与部分620的竖直表面745对齐。由于竖直表面745大于竖直表面735，因此竖直表面745中的一些竖直表面与竖直表面735不重叠。在该示例中，对齐竖直表面735、745的中心，使得竖直表面745的中心部分746b与竖直表面735重叠，并且竖直表面745的侧部746a、746c与竖直表面735不重叠。该对齐在重叠的位置处提供空间610、620之间的传送门的位置。

虽然上述示例示出了2个空间的合并，但所公开的技术可应用于合并多于2个空间，例如，3个、4个、5个或更多个空间。在一些具体实施中，一个表面可以显示进入第一空间的第一传送门和到第二空间的第二传送门。在一些具体实施中，第一表面可显示到第一空间的第一传送门，并且第二表面可显示到第二空间的传送门等。例如，图7C示出了三个物理环境610、620、750的合并。在该示例中，竖直表面715和竖直表面725之间的边界处的传送门用于将物理环境610与物理环境620合并，竖直表面752和竖直表面756之间的边界处的传送门用于将物理环境620与物理环境750合并，并且竖直表面754和竖直表面758之间的边界处的传送门用于将物理环境610与物理环境620合并以用于合并。

虽然在上述示例中使用竖直表面，但是其他非竖直或非平面表面也可以用作用于合并空间的边界或传送门。

图8是示出用于提供表示第一用户的物理空间的一部分与第二用户的物理空间的一部分合并的XR环境的视图的方法800的流程图。在一些具体实施中，设备诸如电子设备110a或电子设备110b或两者的组合执行方法800。在一些具体实施中，在移动设备、台式计算机、膝上型电脑、HMD、耳挂式设备或服务器设备上执行方法800。方法800由处理逻辑部件(包括硬件、固件、软件或它们的组合)执行。在一些具体实施中，在执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器上执行方法800。

在框802处，方法800获得第一物理环境的第一表面的指示，该第一物理环境包括第一设备。获得第一表面的指示可以涉及识别第一表面。在一些具体实施中，手动地识别第一表面，例如基于手势、语音、注视或来自用户的其他输入。例如，用户可将手指指向墙壁的近似中心以识别墙壁，并且可在由用户的设备上的面向外的传感器捕获的图像中识别用户的手势。在一些具体实施中，自动地识别第一表面，例如基于一个或多个标准。例如，可通过评估物理环境的传感器数据(例如，图像、深度等)来确定场景理解，并且该场景理解可用于识别具有最适合于对齐/传送门目的的属性的表面。此类标准可包括但不限于家具在物理环境内的位置和取向、候选表面的尺寸或形状、候选表面上的入口/出口/门/窗、用户对表面的先前选择、物理环境中的照明、用户或其他人员在物理环境内的位置、或者物理环境内的用户的当前或预期位置与候选表面之间的潜在障碍物的位置。

在一些具体实施中，识别第一表面涉及经由第一设备接收在通信会话期间(例如，在通信会话的开始或发起阶段)识别第一表面的输入。方法800可基于在第一物理环境的视图中的一个或多个表面上显示(第二物理环境的)第二表面的尺寸的显示可视化以及接收从一个或多个表面中选择第一表面的输入，来识别第一表面。例如，如果第二表面是10英尺宽乘8英尺高，则该尺寸的图形矩形可以被投影到第一环境内的每个墙壁上，使得第一用户可以使墙壁可视化并选择哪个墙壁效果最佳，例如，对于该尺寸的传送门。

在框804处，方法800获得经由第一设备的传感器数据获得的第一物理环境的表示与经由第二设备的传感器数据获得的第二物理环境的表示之间的3D对齐。第二物理环境包括第二设备。该对齐使第一物理环境的表示的对应于第一表面的部分与第二物理环境的表示的对应于第二物理环境的第二表面的部分对齐。

获得3D对齐可以基于第一表面和/或第二表面的一个或多个识别或选择。此类识别或选择可以任何合适的方式进行，诸如关于框802描述的示例性手动或自动选择技术。此外，第一表面的识别(例如，在框802处)和第二表面的识别(例如，在框804处)可以使用相同或不同的表面选择技术，例如，可以手动地选择第一表面，同时可以自动地选择第二表面。

第一表面和第二表面中的一者或两者可以是墙壁、部分墙壁、窗、门、隔板、屏风等。

方法800可确定第一物理环境的第一部分与第二物理环境的第二部分之间的三维(3D)对齐(例如，用于房间合并目的的3D位置关系)。该对齐使第一表面和第二表面对齐。不同物理环境的两个部分之间的对齐的非限制性示例在图2C、图2D、图3、图6、图7A和图7B中示出。该对齐可以与所选表面重叠。该对齐可以定位这些部分，使得表面具有指定位置关系，例如，在彼此平行且分开1英尺的平面上。

在一些具体实施中，基于第一表面和第二表面的尺寸来确定3D对齐。

可基于使第一物理环境和第二物理环境内的水平表面(例如，地板)附加对齐来确定3D对齐。

可基于按照在三个或更多个物理环境中的每个物理环境中识别的表面(例如，墙壁)来使XR环境中的三个或更多个物理环境的各部分的表示对齐，来确定3D对齐。

在框808处，方法800在通信会话期间提供XR环境的视图。该XR环境包括根据所获得的3D对齐而对齐的第一物理环境的表示和第二物理环境的表示。图4和图5示出了通信会话期间的XR环境的视图的示例，在该通信会话中，不同环境的各部分被描绘为合并的。在XR环境内定位第一部分和第二部分，根据在图2C、图2D和图3中示出的所确定的3D对齐来对齐。

在一些具体实施中，XR环境表示彼此相邻的第一部分和第二部分，并且在概念上由替换第一表面的至少一部分和第二表面的至少一部分的传送门分开。在一些具体实施中，从XR环境内的视点位置向第一设备的第一用户提供视图，其中该视图描绘该视点周围的第一物理环境的第一部分和通过基于第一表面在第一物理环境中的位置定位的传送门的第二物理环境的第二部分。

该视图可排除第一表面或第二表面中的一些或全部的描绘。该视图可用描绘第二物理环境的第二部分的内容来替换对应于第一表面(和壁挂)的传感器数据内容。

在一些具体实施中，视图取决于第一设备的移动(例如，第一物理环境中的当前位置)，使得第一设备到第一物理环境内的不同位置的移动改变XR环境内的视点位置。

一些具体实施还涉及基于通信会话期间的用户输入来改变3D对齐。例如，用户可以确定给定墙壁不再是用于传送门的最佳墙壁，并且提供输入以将传送门的位置切换到物理环境内的另一墙壁。

该视图可基于在通信会话之前或期间获得的数据来呈现。在一些具体实施中，第一设备和第二设备在通信会话期间向彼此流式传输实况图像、深度或其他数据以使得彼此能够产生其物理环境作为合并XR环境的各部分的视图。在一些具体实施中，对应于物理环境的第一传感器数据或第二传感器数据的至少一部分在通信会话之前(例如，在先前房间扫描期间)获得并且用于提供视图。

在一些具体实施中，基于图像、深度或其他传感器数据来生成XR环境。该XR环境可包括物理环境内的家具、墙壁、人员或其他对象的一个或多个3D模型，例如，点云、网格或其他3D表示。因此，XR环境可包括表示第一部分和第二部分的3D模型(例如，点云、网格等)。

图9是电子设备900的框图。该设备900示出了电子设备110a或电子设备110b的示例性设备配置。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备1200包括一个或多个处理单元902(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备和传感器906、一个或多个通信接口908(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE、SPI、I2C和/或相似类型的接口)、一个或多个编程(例如，I/O)接口910、一个或多个输出设备912、一个或多个面向内部和/或面向外部的图像传感器系统914、存储器920以及用于互连这些和各种其他部件的一条或多条通信总线904。

在一些具体实施中，该一条或多条通信总线904包括互连系统部件并控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备和传感器906包括以下各项中的至少一者：惯性测量单元(IMU)、加速度计、磁力计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧传感器、血糖传感器等)、一个或多个麦克风、一个或多个扬声器、触觉引擎或一个或多个深度传感器(例如，结构光、飞行时间等)等。

在一些具体实施中，一个或多个输出设备912包括一个或多个显示器，该一个或多个显示器被配置为向用户呈现3D环境的视图。在一些具体实施中，一个或多个显示器912对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或类似显示器类型。在一些具体实施中，一个或多个显示器对应于衍射、反射、偏振、全息等波导显示器。在一个示例中，设备900包括单个显示器。在另一个示例中，设备900包括针对用户的每只眼睛的显示器。

在一些具体实施中，一个或多个输出设备912包括一个或多个音频产生设备。在一些具体实施中，一个或多个输出设备912包括一个或多个扬声器、环绕声扬声器、扬声器阵列或用于产生空间化声音(例如，3D音频效应)的耳机。此类设备可虚拟地将声源放置在3D环境中，包括一个或多个听者的后面、上方或下方。生成空间化声音可涉及变换声波(例如，使用头部相关的传传输函数(HRTF)、混响或消除技术)来模拟自然声波(包括来自墙壁和地板的反射)，该自然声波从3D环境中的一个或多个点发出。空间化的声音可以诱使听者的大脑将声音解释成如同该声音发生在3D环境中的一个或多个点处(例如，来自一个或多个特定声源)，即使实际声音可能由其他位置中的扬声器产生。一个或多个输出设备912可附加地或另选地被配置为生成触觉。

在一些具体实施中，一个或多个图像传感器系统914被配置为获得对应于物理环境的至少一部分的图像数据。例如，一个或多个图像传感器系统914可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合设备(CCD)图像传感器)、单色相机、IR相机、深度相机、基于事件的相机等。在各种具体实施中，一个或多个图像传感器系统914还包括发射光的照明源，诸如闪光灯。在各种具体实施中，一个或多个图像传感器系统914还包括相机上图像信号处理器(ISP)，该相机上ISP被配置为对图像数据执行多个处理操作。

存储器920包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器920包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器920可选地包括与一个或多个处理单元902远程定位的一个或多个存储设备。存储器920包括非暂态计算机可读存储介质。

在一些具体实施中，存储器920或存储器920的非暂态计算机可读存储介质存储可选的操作系统930和一个或多个指令集940。操作系统930包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，指令集940包括由以电荷形式存储的二进制信息定义的可执行软件。在一些具体实施中，指令集940是能够由一个或多个处理单元902执行以实施本文所述技术中的一种或多种的软件。

指令集940包括合并指令集942，该合并指令集被配置为在执行时合并如本文所述的物理环境空间。指令集940还包括显示指令集944，该显示指令集被配置为在执行时生成如本文所述的合并空间的视图。指令集940可被体现为单个软件可执行文件或多个软件可执行文件。

尽管指令集940被示出为驻留在单个设备上，但应当理解，在其他具体实施中，元件的任何组合可位于单独的计算设备中。此外，图9更多地用作存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。指令集的实际数量以及如何在其中分配特征将根据具体实施而变化，并且可以部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

应当理解，上文所描述的具体实施以示例的方式引用，并且本公开不限于上文已特别示出和描述的内容。相反地，范围包括上文所描述的各种特征的组合和子组合两者，以及本领域的技术人员在阅读前述描述时将想到的并且在现有技术中未公开的所述各种特征的变型和修改。

如上所述，本技术的一个方面在于收集并使用可包括用户数据的传感器数据，以改善电子设备的用户体验。本公开设想，在一些情况下，该所收集的数据可包括唯一地识别特定人员或者可用于识别特定人员的兴趣、特点或倾向性的个人信息数据。此类个人信息数据可以包括运动数据、生理数据、人口数据、基于位置的数据、电话号码、电子邮件地址、家庭地址、个人设备的设备特征或任何其他个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改进内容观看体验。因此，使用此类个人信息数据可能使得能够对电子设备进行有计划的控制。此外，本公开还预期个人信息数据有益于用户的其他用途。

本公开还设想到负责此类个人信息和/或生理数据的收集、分析、公开、传送、存储或其他用途的实体将遵守已确立的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法用途之外共享或出售。另外，此类收集应当仅在用户知情同意之后进行。另外，此类实体应采取任何所需的步骤，以保障和保护对此类个人信息数据的访问，并且确保能够访问个人信息数据的其他人遵守他们的隐私政策和程序。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。

不管前述情况如何，本公开还设想用户选择性地阻止使用或访问个人信息数据的具体实施。即本公开预期设想可提供硬件元件或软件元件，以防止或阻止对此类个人信息数据的访问。例如，就为用户定制的内容递送服务而言，本发明的技术可被配置为在注册服务期间允许用户选择“加入”或“退出”参与对个人信息数据的收集。在另一示例中，用户可选择不为目标内容递送服务提供个人信息数据。在又一示例中，用户可选择不提供个人信息，但允许传输匿名信息以用于改进设备的功能。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或绝对最低量的个人信息诸如与用户相关联的设备所请求的内容、对内容递送服务可用的其他非个人信息或公开可用的信息来推断偏好或设置，从而选择内容并将该内容递送至用户。

在一些实施方案中，使用仅允许数据的所有者解密存储的数据的公钥/私钥系统来存储数据。在一些其他具体实施中，数据可匿名存储(例如，无需识别和/或关于用户的个人信息，诸如法定姓名、用户名、时间和位置数据等)。这样，其他用户、黑客或第三方就无法确定与存储的数据相关联的用户的身份。在一些具体实施中，用户可从不同于用于上载存储的数据的用户设备的用户设备访问其存储的数据。在这些情况下，用户可能需要提供登录凭据以访问其存储的数据。

本文阐述了许多具体细节以提供对要求保护的主题的全面理解。然而，本领域的技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他实例中，没有详细地介绍普通技术人员已知的方法、装置或系统，以便不使要求保护的主题晦涩难懂。

除非另外特别说明，否则应当理解，在整个说明书中，利用诸如“处理”、“计算”、“计算出”、“确定”和“标识”等术语的论述是指计算设备的动作或过程，诸如一个或多个计算机或类似的电子计算设备，其操纵或转换表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文论述的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括部件的提供以一个或多个输入为条件的结果的任何合适的布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件将计算系统从通用计算设备编程或配置为实现本发明主题的一种或多种具体实施的专用计算设备。可以使用任何合适的编程、脚本或其他类型的语言或语言的组合来在用于编程或配置计算设备的软件中实现本文包含的教导内容。

本文所公开的方法的具体实施可以在这样的计算设备的操作中执行。上述示例中呈现的框的顺序可以变化，例如，可以将框重新排序、组合和/或分成子块。某些框或过程可以并行执行。

本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。本文包括的标题、列表和编号仅是为了便于解释而并非旨在为限制性的。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

本发明的前述描述和概述应被理解为在每个方面都是例示性和示例性的，而非限制性的，并且本文所公开的本发明的范围不仅由例示性具体实施的详细描述来确定，而是根据专利法允许的全部广度。应当理解，本文所示和所述的具体实施仅是对本发明原理的说明，并且本领域的技术人员可以在不脱离本发明的范围和实质的情况下实现各种修改。

Claims (24)

1.一种方法，包括：

在具有处理器的第一设备处：

获得第一物理环境的第一表面的指示，所述第一物理环境包括所述第一设备；

获得经由所述第一设备的传感器数据获得的所述第一物理环境的表示与经由第二设备的传感器数据获得的第二物理环境的表示之间的三维(3D)对齐，所述第二物理环境包括所述第二设备，其中所述对齐使所述第一物理环境的所述表示的对应于所述第一表面的部分与所述第二物理环境的所述表示的对应于所述第二物理环境的第二表面的部分对齐；以及

在通信会话期间提供扩展现实(XR)环境的视图，所述XR环境包括根据所获得的3D对齐而对齐的所述第一物理环境的所述表示和所述第二物理环境的所述表示。

2.根据权利要求1所述的方法，其中所述第一表面和所述第二表面是墙壁。

3.根据权利要求1所述的方法，其中所述3D对齐将所述第一物理环境的所述表示的对应于所述第一表面的所述部分的至少一部分定位成平行于所述第二物理环境的所述表示的对应于所述第二表面的所述部分的至少一部分。

4.根据权利要求1所述的方法，其中所述视图由所述第一设备从所述XR环境内的视点位置来提供，其中所述视图描绘：

所述视点周围的所述第一物理环境的所述表示；和

通过基于所述第一表面在所述第一物理环境中的位置定位的传送门的所述第二物理环境的所述表示。

5.根据权利要求4所述的方法，其中所述视图排除所述第一物理环境的所述表示的对应于所述第一表面的所述部分的至少一部分的描绘。

6.根据权利要求1所述的方法，其中获得所述第一表面的所述指示包括：

在所述第一物理环境的视图中的一个或多个表面上显示所述第二表面的尺寸的可视化；以及

接收从所述一个或多个表面中选择所述第一表面的输入。

7.根据权利要求1所述的方法，其中获得所述3D对齐基于所述第一表面和所述第二表面的尺寸并且还基于使所述第一物理环境和所述第二物理环境的所述表示内的水平表面对齐。

8.根据权利要求1所述的方法，还包括基于在三个或更多个物理环境中的每个物理环境中识别的墙壁来使所述XR环境中的所述三个或更多个物理环境的表示对齐。

9.一种系统，包括：

非暂态计算机可读存储介质；和

一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述系统执行包括以下项的操作：

获得第一物理环境的第一表面的指示，所述第一物理环境包括所述第一设备；

获得经由所述第一设备的传感器数据获得的所述第一物理环境的表示与经由第二设备的传感器数据获得的第二物理环境的表示之间的三维(3D)对齐，所述第二物理环境包括所述第二设备，其中所述对齐使所述第一物理环境的所述表示的对应于所述第一表面的部分与所述第二物理环境的所述表示的对应于所述第二物理环境的第二表面的部分对齐；以及

在通信会话期间提供扩展现实(XR)环境的视图，所述XR环境包括根据所获得的3D对齐而对齐的所述第一物理环境的所述表示和所述第二物理环境的所述表示。

10.根据权利要求9所述的系统，其中所述第一表面和所述第二表面是墙壁。

11.根据权利要求9所述的系统，其中所述3D对齐将所述第一物理环境的所述表示的对应于所述第一表面的所述部分的至少一部分定位成平行于所述第二物理环境的所述表示的对应于所述第二表面的所述部分的至少一部分。

12.根据权利要求9所述的系统，其中所述视图由所述第一设备从所述XR环境内的视点位置来提供，其中所述视图描绘：

所述视点周围的所述第一物理环境的所述表示；和

通过基于所述第一表面在所述第一物理环境中的位置定位的传送门的所述第二物理环境的所述表示。

13.根据权利要求12所述的系统，其中所述视图排除所述第一物理环境的所述表示的对应于所述第一表面的所述部分的至少一部分的描绘。

14.根据权利要求9所述的系统，其中获得所述第一表面的所述指示包括：

在所述第一物理环境的视图中的一个或多个表面上显示所述第二表面的尺寸的可视化；以及

接收从所述一个或多个表面中选择所述第一表面的输入。

15.根据权利要求9所述的系统，其中获得所述3D对齐基于所述第一表面和所述第二表面的尺寸并且还基于使所述第一物理环境和所述第二物理环境的所述表示内的水平表面对齐。

16.根据权利要求9所述的系统，其中所述操作还包括基于在三个或更多个物理环境中的每个物理环境中识别的墙壁来使所述XR环境中的所述三个或更多个物理环境的表示对齐。

17.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序指令，所述程序指令能够经由一个或多个处理器执行以执行包括以下项的操作：

获得第一物理环境的第一表面的指示，所述第一物理环境包括所述第一设备；

获得经由所述第一设备的传感器数据获得的所述第一物理环境的表示与经由第二设备的传感器数据获得的第二物理环境的表示之间的三维(3D)对齐，所述第二物理环境包括所述第二设备，其中所述对齐使所述第一物理环境的所述表示的对应于所述第一表面的部分与所述第二物理环境的所述表示的对应于所述第二物理环境的第二表面的部分对齐；以及

在通信会话期间提供扩展现实(XR)环境的视图，所述XR环境包括根据所获得的3D对齐而对齐的所述第一物理环境的所述表示和所述第二物理环境的所述表示。

18.根据权利要求17所述的非暂态计算机可读存储介质，其中所述第一表面和所述第二表面是墙壁。

19.根据权利要求17所述的非暂态计算机可读存储介质，其中所述3D对齐将所述第一物理环境的所述表示的对应于所述第一表面的所述部分的至少一部分定位成平行于所述第二物理环境的所述表示的对应于所述第二表面的所述部分的至少一部分。

20.根据权利要求17所述的非暂态计算机可读存储介质，其中所述视图由所述第一设备从所述XR环境内的视点位置来提供，其中所述视图描绘：

所述视点周围的所述第一物理环境的所述表示；和

通过基于所述第一表面在所述第一物理环境中的位置定位的传送门的所述第二物理环境的所述表示。

21.根据权利要求20所述的非暂态计算机可读存储介质，其中所述视图排除所述第一物理环境的所述表示的对应于所述第一表面的所述部分的至少一部分的描绘。

22.根据权利要求17所述的非暂态计算机可读存储介质，其中获得所述第一表面的所述指示包括：

在所述第一物理环境的视图中的一个或多个表面上显示所述第二表面的尺寸的可视化；以及

接收从所述一个或多个表面中选择所述第一表面的输入。

23.根据权利要求17所述的非暂态计算机可读存储介质，其中获得所述3D对齐基于所述第一表面和所述第二表面的尺寸并且还基于使所述第一物理环境和所述第二物理环境的所述表示内的水平表面对齐。

24.根据权利要求17所述的非暂态计算机可读存储介质，其中所述操作还包括基于在三个或更多个物理环境中的每个物理环境中识别的墙壁来使所述XR环境中的所述三个或更多个物理环境的表示对齐。