CN110999281B - 一种用于允许在虚拟景观中探索的方法及装置 - Google Patents

Abstract

本文描述的系统和方法被提供用于管理共享虚拟几何结构中的用户位置，捕获空间可靠系统中的本地用户环境的360°视图，以及计算从第二用户的眼点来看第一用户的视角视图。用户可以在所述共享虚拟几何结构周围移动，并且用户的视角视图可以被更新。一些实施例使用同心几何结构与其他用户进行群组会议。一些实施例可以使用基于网格的几何结构与其他用户一起探索。一些实施例可以降低传输的比特率，以使得系统和方法能够在数据受限的环境中实现。一些实施例支持用户移动和导航共享虚拟几何结构。

Description

一种用于允许在虚拟景观中探索的方法及装置

相关申请的交叉引用

本申请是2017年6月9日提交的题为“支持变化的几何结构和移动用户的空间可靠远程呈现”的美国临时专利申请序列号62/517,686的非临时申请，并且要求在《美国法典》第35章第119(e)条(35U.S.C.§119(e)) 下该美国临时专利申请的益处，该申请的全部内容通过引用并入本文。

背景技术

空间可靠性是系统保持人与对象之间的空间关系的能力。在许多远程呈现系统中，远程呈现会话的参与者具有处于相同会议几何结构的印象。这些系统中的许多系统需要用户之间的固定几何结构(或排布)，并且限制每个会见地点/会话的参与者的数量。许多远程呈现系统可以被分成几个类别，这取决于这些系统合并远程站点(或编译来自远程站点的视图)和针对每个本地站点的用户的方式。

发明内容

方法的一些实施例可以包括：针对多个用户中的每个用户，接收相应用户的本地环境的三维(3D)本地环境扫描；将所述多个本地环境扫描中的每本地一者到共享虚拟几何结构中的相应地点和取向；响应于从控制用户接收环境移动输入，修改相对于所述共享虚拟几何结构的所述控制用户的所述本地环境扫描的所述地点和所述取向中的至少一个；跟踪至少一个观看用户在所述共享虚拟几何结构中的视角地点；以及生成从所述观看用户的所述视角地点来看所述共享虚拟几何结构的二维(2D)视角视频。

对于一些实施例，映射共享虚拟几何结构可以包括：将所述多个本地环境扫描中的每一者对准到共同原点；以及将所述多个本地环境扫描中的每一者定向到共同方向，其中所述共享虚拟几何结构可以与多个本地环境扫描中的每一者重叠。

对于一些实施例，映射共享虚拟几何结构可以包括：将所述多个本地环境扫描中的每一者与网格中的单独的点对准；以及将所述多个本地环境扫描中的每一者定向到共同方向，其中所述多个本地环境扫描中的每一者可以被分配给所述网格中的点。

对于一些实施例，跟踪至少一个观看用户在共享虚拟几何结构中的视角地点可包括：基于所述多个用户中的每个用户的移动来修改所述多个用户中的每个用户在所述共享虚拟几何结构中的地点；基于多个用户命令修改所述共享虚拟几何结构；以及跟踪至少一个观看用户在所修改的共享虚拟几何结构中的地点和取向。

对于一些实施例，生成从观看用户的视角地点来看共享虚拟几何结构的二维(2D)视角视频可包括：确定选自所述多个用户的第一用户与选自所述多个用户的第二用户之间的共享虚拟几何结构中的距离；以及响应于确定第一用户与第二用户之间的距离小于阈值：选择用于所述2D视角视频的表示的分辨率；以及基于所选择的分辨率创建2D视角视频。

对于一些实施例，一种方法还可以包括计算组合视频，该组合视频将背景图像与来自观看用户的视角地点的共享虚拟几何结构的2D视角视频组合。

对于一些实施例，一种方法可以进一步包括将组合视频传送到选自多个用户的第一用户。

对于一些实施例，一种方法可进一步包括：在第二用户的地点和收听方向改变之后，从第一用户接收与该第一用户的地点和收听方向相对应的音频信号；计算与所述第二用户的地点和收听方向相对应的音频信号；以及将所计算的音频信号传送给第二用户。

对于一些实施例，一种方法可进一步包括：从另一用户接收2D视角视频；对从另一用户接收的所述2D视角视频进行解码，以生成解码的2D 视角视频；用附加内容增强解码的2D视角视频以生成增强的2D视角视频；对增强的2D视角视频进行编码以生成编码的2D视角视频；将所述编码的 2D视角视频传送给服务器。

对于一些实施例，一种方法可进一步包括：向所述多个用户中的每一者传送所述共享虚拟几何结构内的多个其他用户中的至少一者的位置；以空间可靠的方式从第一用户接收与第二用户的地点、观看方向和位置变化对应的二维(2D)视频；以及向第二用户传送从第一用户接收的2D视频和背景。

对于一些实施例，一种方法可进一步包括：计算组合2D视角视频，所述组合2D视角视频将背景与所述2D视角视频中的一者组合；显示所组合的2D视角视频。

对于一些实施例，一种方法可进一步包括：从选自所述多个用户中的一者的远程用户接收信息，以改变本地环境几何结构在所述共享虚拟几何结构内的地点；选择针对与由从远程用户接收的信息所指示的地点相关联的背景的新背景；以及用新背景替换所组合的2D视角视频的背景。

对于一些实施例，一种方法可进一步包括：检测从选自所述多个用户的第二用户的视角地点来看遮挡选自所述多个用户的第一用户的视野的对象；从共享虚拟几何结构中移除对象；以及生成从第二用户的视角地点来看不具有共享虚拟几何结构的对象的更新的2D视角视频。

对于一些实施例，一种方法可进一步包括：接收所述2D视角视频中的一者；显示接收的2D视角视频。

装置的一些实施例可以包括：处理器；以及存储指令的非暂时性计算机可读介质，当在处理器上执行所述指令时，所述指令可操作以执行上面列出的方法。

附图说明

图1是示出根据一些实施例的针对用户的具有六边形布置中的六边形单元的示例棋盘格状空间的示意平面图。

图2是示出根据一些实施例的针对用户的具有捕获相机的矩形布置中的正方形单元的示例棋盘格状空间的示意平面图。

图3是示出根据一些实施例的棋盘格状空间中的示例六边形单元的示意性视角视图，该棋盘格状空间示出了位于中间的人如何被邻近的人看到。

图4是示出根据一些实施例的示例棋盘格状空间的示意视角视图，在该棋盘格状空间中用户转向和移动以看到其他用户。

图5A是示出根据一些实施例的具有正方形单元的示例8照相机捕获环境的示意性平面图。

图5B是示出根据一些实施例的具有8个相机的示例方形捕获环境的示意性视角视图。

图6是示出根据一些实施例的用于表示虚拟几何结构中的用户的一组示例界面的系统图。

图7是示出根据一些实施例的用于捕获和渲染虚拟会议环境的一组示例界面的系统图。

图8是根据一些实施例的从参与者的视点来看被渲染到房间中的一组示例性的六个远程参与者的示意图。

图9是示出根据一些实施例的被渲染到统一几何结构的一组示例远程参与者的示意性平面图。

图10A是示出根据一些实施例的在移除阻挡壁之前的一组示例性的捕获的用户空间的示意性平面图。

图10B是示出根据一些实施例的在移除阻挡壁之后的一组示例性的捕获的用户空间的示意性平面图。

图11是示出根据一些实施例的针对四个站点处的七个参与者，在远程呈现系统中从用户的视点来看的一组示例几何结构和连接的示意性平面图。

图12是示出根据一些实施例的针对在四个站点处的七个参与者的，在远程呈现系统中从用户的视点来看针对一个用户访问另一用户的一组示例几何结构和连接的示意平面图。

图13是示出根据一些实施例的使用空间可靠的会议配置和同心几何结构的具有五个用户的一组示例性的三个会见站点的示意性平面图可靠。

图14是示出根据一些实施例的通过其原点和基本方向对准的一组示例的三个会议空间的示意性平面图。

图15是示出根据一些实施例的用于通过将子空间对准到单独的网格点并匹配它们的基本方向来形成统一几何结构的示例的示意性平面图。

图16是示出根据一些实施例的九个自由定位的参与者的一组示例连接和视点的示意性平面图。

图17是示出根据一些实施例的用于使用棋盘格状空间进行会议和探索的示例过程的流程图。

图18A和18B是示出根据一些实施例的用于用户与虚拟棋盘格状空间接口以便以统一配置召开会议的示例过程的一组流程图。

图19A和19B是示出根据一些实施例的用于用户与虚拟棋盘格状空间接合以探索统一配置的示例过程的一组流程图。

图20是示出根据一些实施例的其中可以实现一个或多个公开的实施例的示例通信系统的系统图。

图21描述了根据一些实施例的可以在通信系统内使用的示例无线发射/接收单元(WTRU)。

图22示出了根据一些实施例的可以在通信系统内使用的示例性网络实体。

在各个附图中描绘并结合各个附图描述的实体、连接、布置等是通过示例而非限制的方式来呈现的。因此，关于特定附图“描绘”了什么、特定附图中的特定元素或实体“是”或“具有”什么的任何和所有陈述或其他指示，以及任何和所有类似陈述(可以孤立且在上下文之外被解读为绝对的且因此是限制性的—)可以仅被适当地解读为建设性地在其前加上诸如“在至少一个实施例中…”从句。"为了简洁和清楚地呈现，在附图的详细描述中，不重复这个隐含的在前从句。

具体实施方式

空间可靠的远程呈现的目的是使远程呈现会话的参与者具有处于相同会见几何结构的印象。一些先前的系统使用与基于外部(非可穿戴)2D显示器的系统的空间取向。2D显示器缺乏针对感知深度(例如，运动视差)或沉浸和空间取向的提示。一些先前的基于2D显示器的系统在所有会见站点使用标准化背景和会见表来创建共享会议空间的幻觉。一些先前的系统通过在每个会见站点使用多个相机并且通过使用来自正面视角的视图来编译远程视图，来处理水平视差的问题。

虽然一些3D显示技术已经改进了远程呈现系统的空间可靠性，但是这些系统中的许多系统需要用户之间的固定几何结构(或排布)并且限制每个会见站点/会话的参与者的数量。

基于增强现实(AR)和虚拟现实(VR)眼镜的系统可以支持空间可靠的感知。来自远程地方的视图可以被引向用户的眼点(eye-point)，并且沉浸可以通过使用户能够观看整个360度全景来支持(尽管由于AR眼镜的受限视场，子视图可能一次相对较窄)。

如眼睛所感知的，AR眼镜可以避免来自外部显示器(或来自远程空间的视图)的深度和方向与来自本地空间的深度和方向的不完美求和。当在本地3D空间处的2D显示器上看到远程空间的视图时，不完美求和的一个示例发生，由此产生了展平失真(“不真实性(cardallboard)”")和方向丢失(“蒙娜丽莎(Mona Lisa)效应”)。利用AR眼镜，可以控制本地和远程视图的合并，并且可以支持具有立体深度的视图。

许多远程呈现系统可以被分成几个类别，这取决于它们合并远程站点和每个本地站点的用户(或编译来自远程站点的视图)的方式。一些系统使用窗口范例，而其它系统使用基于代理的系统。

一些系统通过标准化会见室布局、设备和外观(例如背景的颜色和纹理)来支持空间可靠性，以便为参与者产生共享相同空间的幻觉。本地会见表也被扩展到远程站点处的表。

许多先前的系统不向用户提供通过真实窗口看到的正确的以用户为中心的视图(从观看者的眼点和视角来看的视图)。这些系统中的大多数通过相机视图来近似该视图，相机视图不与用户的眼点对准。一些系统通过以3D 方式实时重构每个会见站点的方式，提供以用户为中心的视图(甚至是针对每个站点的多个人)，并且向每个接收者提供以用户为中心/依赖于用户的视图，。这样的系统可能具有用于3D重构的高处理能力要求。进一步的挑战是硬件复杂度和当传送3D捕获数据时的高比特率要求。

参与者之间的目光接触可以通过向本地空间中的每个远程用户分配具有显示器(用于面部)和相机(用于眼睛)的代理设备而以相当简单的方式来实现。然而，如果几何结构在会见站点之间不相同，则除了直接的视线接触 (一个或多个)之外的任何其他视线方向的感知是模糊的，使得例如参与者左边的人在不同站点不相同。此外，如果使用外部2D显示器，则不提供对真实的以用户为中心的视图(来自正确眼点的各个视图)的支持。

一些先前的系统使用一种方法，该方法对每个远程站点及其参与者进行实时3D重构，并且提供以用户中心的视图作为该3D模型的视角。这样的系统可能难以为多个本地参与者提供各自的3D视图、提供多个3D视图显示器、或提供对全息显示器的支持。这样的设备可能受到质量、价格或可用性的限制，并且先前的系统可能利用自动立体显示器在每个站点仅支持一个用户。用户可以佩戴AR/VR眼镜，其能够将代理相机视图直接引入每个接收器的眼点。AR眼镜可以提供围绕用户的多达360度全景(甚至在立体中(S3D))。

3D虚拟世界，例如第二人生(Second Life)和OpenQwaq(以前称为 Teleplace)，是化身所表示的人之间的交互方式。已经尝试通过使化身和环境接近他们的真实世界样的示例而使交互自然化。化身共享相同的空间环境，这消除了合并单独的会见环境的挑战。这样的系统缺乏对对象和空间的物理感知，并且为视频会议创建不自然的环境。

这种系统与真实世界交互的一个差别在于控制化身的方式。在虚拟世界中，他们的移动可能不是直接从人类复制的，而是化身被远程控制，诸如通过鼠标和键盘交互。这种方法往往妨碍用户体验是真实的和亲自的。通过运动捕获或类似技术来自动化化身控制的许多先前系统缺乏质量和自然性。

本文公开的用于空间可靠的远程呈现的方法和系统支持具有多个移动参与者(或用户)的多个会见站点之间的可调节几何关系的灵活系统。这样的方法和系统的一些实施例可以用于在用户选择的、具有真实感的3D捕获的或3D建模的用户环境内部的群组会议和访问。这样的方法和系统的一些实施例可以用于具有从单独的用户空间编译的动态统一几何结构的统一虚拟景观内部的社交交互和空间探索，这可以实现基于接近度的交互(由用户之间或空间之间的距离和/或方向触发)，并且通过虚拟3D建模环境、3D对象和其他数字信息来扩展。

将越多的会见空间和参与者集合到一起，则通过在移动和到处观看方面的无限制自然体验来支持参与者变得越具有挑战性。如果统一分别捕获的空间，则它们的位置和取向可被优化以获得参与者之间的最大可见性并避免与其他参与者和家具的虚拟碰撞。

统一几何结构取决于参与站点的变化的数量、布局和方向，以及他们的占用者的变化的数量、位置和取向。几何结构可以是复杂的和动态的，因此可以要求先进的管理方法和系统。

许多先前的系统中的问题

许多先前的空间可靠系统具有以下几个问题。这些先前的空间可靠系统中的许多系统在每个站点仅支持一个用户。这些先前的系统中的许多系统也缺乏对大量用户的支持。用户位置相对于本地空间、坐标系以及站点和用户之间的几何结构是固定的(先验的)。用户被捕获并以真实的身体比例显示。捕获设置的位置和维度确定本地坐标系(包括原点和基本方向)。每个用户必须坐在相对于捕获装置的本地空间中的特定位置。对于许多这样的先前系统，除了通过转动他或她的头部来改变他或她的观看方向之外(诸如用户坐在旋转座上)，用户缺乏相对于本地坐标移动的自由。许多这样的先前系统也缺乏对用户移动性的支持，并且缺乏对会见空间移动性的支持(诸如在统一的站点几何结构内修改它们自身的空间位置和取向以及它们的会见空间/ 站点)。

提供空间一致视频的许多沉浸式会议系统限制了用户的数量并且限制了几何结构的灵活性。许多这样的系统还具有建立和管理用于空间可靠交互的动态空间的问题。许多这样的系统缺乏对大量站点的支持。例如，许多基于虚拟窗口界面的先前空间可靠的系统仅支持四个或更少的站点。而且，许多这样的系统缺乏在允许个体移动以及他们的站点的虚拟重定位的同时维持空间可靠的交互的能力。

许多先前的空间可靠的远程呈现系统能够支持仅在少量的空间定向的参与者(例如，多达六个参与者)之间的会议和交互。许多先前的系统支持每个站点仅一个用户的正确视点。这些用户通常不能自由移动，而是被绑定到与会见设置相关的某些精确位置。此外，对于许多先前的系统，会议站点的最大数量被限制为仅几个节点。虽然这些限制可能不适用于虚拟世界中的会议，但是这样的系统在视觉上和对于化身(用户的虚拟代表)的控制两者上都缺乏自然性。

虽然许多先前的远程呈现系统支持群组会议(人们会见以讨论话题)，但是先前的空间可靠的远程呈现系统限制了参与的站点和用户的数量。因此，可能不支持大量人的社交网络。许多虚拟世界系统缺少对交互的用户上下文，诸如用户的物理外表和环境。

许多先前的空间可靠的远程呈现系统对用户移动性的支持有限。本文公开的系统和方法支持会见空间移动性以及用于大量站点和用户之间的社交交互的空间可靠的功能。与虚拟世界不同，本文公开的一些示例系统使得用户能够以自然的方式物理地和虚拟地移动和导航至最终用户。这样的移动性可以在远程空间的具有真实感的捕获内部，通过单独地访问它们，或者通过在从单独空间编译的度量景观(具有真实世界状的尺度和取向)内部导航。

用户的物理上下文可由相机或传感器捕获，这可实时发生。房间大小的空间可以使用诸如2011年由C.Kuster等在视觉、建模和可视化(VMV)的 2011期第17-24页上发表的切换自由相机模式：一种用于交互式自由视点视频、的混合相机系统捕获捕获相机。和由Andrew Maimone&Henry Fuchs 在2012年10月15-17日举办的3DTV会议上发表的用于远程呈现的房间大小的场景的实时体积3D捕获中公开的现有3D捕获和重构方法来实时地并且以自然规模来捕获和建模。一个挑战是将那些多个捕获的空间和它们的占用者组合成统一的3D几何结构，并且在网络上提供空间取向。另一个挑战可能是由于处理能力、连接带宽和时延限制而将大量空间集合在一起。本文公开的系统和方法支持具有大量空间和用户的群组会议和社交网络两者中的空间可靠性。

实时捕获的3D数据的编码和传输可以使用比实时视频大较多的带宽。例如，由传感器测量的视频深度数据(诸如红绿蓝深度(RGB-D)或飞行时间 (ToF)数据)的原始数据比特率可以是300MB/s(每帧9.83MB)。表示实时捕获的深度传感器数据(颜色加深度)的压缩数据的量可能大于来自视频相机的视频馈送。与多相机系统相比，多传感器系统可能具有类似的问题。因此，对于传输少量视频而不是实时3D数据的空间可靠系统，比特率可以被降低。

许多先前的空间可靠的远程呈现系统具有对用户移动性的有限支持和理解。本文公开的系统和方法扩展移动性以包括用户四处移动以及相对于其他参与者移动和定向其本地捕获的空间的渲染的能力。移动性的类型可以被分类为两类：物理移动性和虚拟移动性。物理移动性可以包括用户改变他或她在会议空间内的位置(用户的移动性)。虚拟移动性可以包括让用户虚拟地访问(将他/她自己“瞬息移动”到)另一会见空间，以及让系统或用户以统一虚拟几何结构改变他或她的会见空间的地点。因此，虚拟移动性可以具有用于用户移动性和会见空间移动性的子类。许多先前的系统不支持会议空见移动性，因为许多先前的系统仅支持固定设定中的少量站点。

许多先前的系统不支持多个或大量会议地点和参与者之间的空间可靠性，尤其是通过当前基于外部显示的实现。许多创建虚拟世界的先前系统可以支持大量用户，但是缺乏对空间可靠性的支持。本文公开的系统和方法支持更自然的视觉外观和交互方式，同时支持大量用户而不限制会见空间中的位置。

许多先前的系统缺乏对用户在动态空间可靠几何结构内部进行调整、访问、导航和交互的支持，并且缺乏通过对准大量3D捕获的站点和用户(例如，每站点数百个站点，甚至每站点多个用户)来形成具有真实感的空间可靠几何结构的方式。许多先前的系统对用户移动性的支持有限，而不支持会议空间移动性。对于本文所公开的一些实施例，对用于移动物理空间的虚拟渲染的会见空间移动性的支持不受物理约束的限制。此外，许多先前的系统缺乏对具有许多空间的大型会见会话的支持。对于本文所公开的系统和方法，可以降低比特率以支持分布式和动态几何结构。

本文公开的方法和系统的一些实施例使用物理地点的3D扫描作为构建块(或几何结构元素)。一些实施例将本地环境置于共享虚拟几何结构中，或者与其他虚拟几何结构重叠或者相邻。一些实施例使用地点跟踪来使得能够从各种数量的用户和地点的可变视点进行构建。一些实施例允许在共享空间的不同元素之间进行修改和移动。一些实施例基于统一几何结构中的跟踪位置来交换低比特率2D视频投影。

棋盘格状空间

一些使用棋盘格状空间的系统支持多个站点和用户之间的空间可靠的几何关系。这些虚拟几何结构可以通过重复称为单元的几何结构并且从若干视点提供每个用户的表示来形成。该单元可以是例如六边形或正方形，如图1和2所示。使用全向捕获设置，系统可以相对自由地放置每个单元及其占用者以便灵活地彼此相关。用户在他们的真实环境中被捕获并且他们的表示彼此相邻地定位到相邻单元中。单元之间的顶点类似于相邻用户之间的虚拟窗口。单元的内容是在他或她的物理环境中捕获的用户。

图1是示出根据一些实施例的针对用户的具有六边形布置的六边形单元152的示例棋盘格状空间150的示意平面图。图1和2示出了用户在六边形152或正方形202(其可以在3×3网格之外重复)的棋盘格状虚拟空间150、 200中交互的示例。图2是示出根据一些实施例的针对用户的具有捕获相机的矩形布置中的正方形单元202的示例棋盘格状空间200的示意平面图。

图3是示出根据一些实施例的棋盘格状空间300中的示例六边形单元的示意视角视图，该棋盘格状空间300示出位于中间的人如何被邻近的人看到。图3示出了中间的用户302如何被他或她的相邻用户304、306、308、 310、312、314看到。图4是示出根据一些实施例的示例棋盘格状空间400 的示意视角视图，其中用户转向和移动以看到其他用户。图4示出用户402、 404转向和移动以看到不同的人406、408、410。虽然从每个单元仅示出四个视图，但是更多视图可以与其他单元形状一起使用。每个相邻者从他们自己的视点看到中间的用户，就像在现实世界中会见的人。图4描绘了能够在彼此之间移动并且从变化的视点看到现有或新的相邻者的用户。图4可以被扩展以示出如图3所示的用户的斜视图。

图5A和5B示出了示例性的正方形网格设置。图5A是示出根据一些实施例的具有正方形单元的示例8相机捕获环境500的示意性平面图。图5A 示出了用于捕获用户502的相机504、506、508、510、512、514、516、518 的视线。通过由全向相机设置(其从用户周围的所有方向捕获用户的视图)捕获每个用户并且从相应方向提供视图来形成各自的视点。对于一些实施例，全向相机设置使用FOV小于360°的相机。视图(远程人的面部)由每个相机(远程人的眼睛)上的AR眼镜示出。图5B是示出根据一些实施例的具有8个相机的示例正方形捕获环境550的示意性视角视图。图5B示出了可以用于将相机554、556、558、560、562、564、566、568保持在适当位置以用于捕获用户552的示例性轻量框架。对于一些实施例，用户可能具有仅对于他或她的最近邻居的空间可靠的视点，在他们的背景内部并且与所述背景一起捕获，并且对于远离的那些用户的视点不被支持。一些实施例可以具有更远相邻者的视图。

在大多数先前的空间可靠的系统中，用户被绑定到与远程呈现终端有关的某些空间位置(诸如外部显示器和相机)，以便向远程伙伴发送正确的空间定向视图或从远程伙伴接收正确的空间定向视图。相机捕获设置定义每个本地用户的位置。对于一些系统，用户能够在棋盘格状的虚拟几何结构内与所捕获的场景一起移动。然而，例如，当在本地空间内移动时，用户不能通过改变视点来得到支持。用户和他或她的本地空间被绑定到相同的(尽管是动态的)坐标系。

系统组件和体系结构

图6是示出根据一些实施例的用于在虚拟几何结构中表示用户的一组示例界面的系统图。图6示出了用于创建用于用户交互的虚拟几何结构的系统600。本文公开的系统和方法可以被实现为分散式应用，其中，用于来管理虚拟星座(或几何结构)与用户表示602的工具可以在云服务器中实现，并且用户捕获和显示工具604、606、608、610可以在每个本地站点处实现，其中，每个用户站点经由网络连接到云。

图7是示出根据一些实施例的用于捕获和渲染虚拟会议环境的一组示例界面的系统图700。图7示出了应用于会议和探索选项的通信接口。用户终端组件736被示为朝向图7的底部，而服务器组件734被示为在图7的顶部。

用户终端组件

对于一些实施例，用户终端组件736包括捕获设置732、重构和视角处理器730、定位和跟踪组件720、交互设备726、交互和应用控制器724、 (本地)全景渲染器718、AV译码器728和AV解码器716以及(终端)显示器 722。捕获设置732在安装期间并根据用户的请求来校准捕获设置的传感器，并执行本地空间的实时宽基3D捕获，例如，每一传感器产生子视图的深度和纹理图。

对于一些实施例，重构和视角处理器730将所接收的经校准的深度和纹理集合组合成现实世界比例的本地空间的3D重构，通过规则或通过用户交互来指定本地空间的原点，通过规则(例如，罗盘北向)或通过用户交互来指定本地空间的取向，并且使用所导出/给定的原点和定向以及现实世界比例来设置本地坐标系。为了支持在其他空间中可视化本地用户764(实现用户在其他空间中的虚拟访问)，从虚拟几何中的每个用户的眼点朝向统一几何中的本地用户764的位置产生虚拟视角视频，使得视频被裁剪为仅包含本地用户。可以移除本地用户周围的背景并使其透明。而且，可以在本地空间中的每个远程用户的眼点周围360度(全全景)产生视频。对于一些实施例，用户的视角视频的本地背景可以被另一背景替换。对于一些实施例，可以显示更新的视角视频。对于一些实施例，可以基于用户在本地空间内的地点来更新背景。对于一些实施例，视角视频可以是全景视频，例如具有广角或360 度视图的视频。

对于一些实施例，定位和跟踪组件720使用可穿戴或外部组件(例如，通过AR/VR眼镜的定位系统)来定位和跟踪相对于本地和/或统一几何或坐标系的本地空间中的用户。交互和应用控制器724使得能够通过用户指向、选择、做手势和控制手动输入760来使用系统功能。交互和应用控制器724 也与终端显示器722连接，并且可以包含用户应用逻辑和软件，例如，可以由用户的接近度触发的功能。接近度也可以是对几何结构中的取向/方向敏感的矢量值。对于一些实施例，手动输入760和手势762可由交互设备726接收。交互设备726可以生成作为交互应用控制器724的输入的动作和数据754。交互应用控制器724可以生成作为终端显示器722的输入的数据(其可以包括图标和菜单)752。对于一些实施例，交互应用控制器724可以利用通信总线传递交互数据742。对于一些实施例，可以从用户接收用于移动环境的输入。对于一些实施例，可以从用户接收用于修改本地环境扫描的地点和/或取向的输入。对于一些实施例，可以基于来自用户的这样的输入(输入可以包括手动输入、语音命令、手势、姿势和身体运动，并且可以由共享虚拟几何结构和用户位置的地图来辅助)来调整本地环境扫描到共享虚拟几何结构中的地点和取向的映射。

对于一些实施例，(本地)全景渲染器718可以基于用户期望的内容来执行不同的渲染。如果用户想要在他或她自己的环境中看到其他用户，则本地全景渲染器718可以接收来自本地用户的眼点的每个远程用户的视角视频，并且将视角视图增强到用户自己的本地环境的360度全景(而不从服务器接收全景视频)。如果用户想要在远程环境中看到其他用户，则本地全景渲染器718可以接收所选择的360度远程全景及由服务器增强的远程用户。对于这两个视觉选项，本地全景渲染器718向用户的AR/VR眼镜722渲染用于接收的或本地处理的360度全景740的子视图750，其对应于统一虚拟几何结构744中的用户位置和观看方向748。

对于一些实施例，AV译码器728译码输出视角分量，而AV解码器解码传入视角或360度全景视频(以及空间音频)。显示器(可以是AR/VR眼镜)722与其他用户向选定空间显示空间定向的视点，并且显示用于用户交互和应用控制的菜单和数据752。对于一些实施例，传感器数据758可以从终端显示器722传递到定位和跟踪组件720。

服务器组件

对于一些实施例，服务器组件可以包括服务器数据库702、用户和会话管理器704、连接和数据管理器706、移动性和几何结构管理器708、全景和访问管理器710、比特率降低管理器712、外部接口管理器714、以及连接到一个或多个管理器的连接总线。用户和会话管理器704可以管理登录/登出系统的用户和站点。一个站点可以由一个或多个用户占用。具有其用户的站点可以与会议和/或探索选项一起参与。

对于一些实施例，连接和数据管理器706形成连接并在用户之间分派数据，使用所选服务或会话的知识，并且如果形成连接并分派数据，则可以使用其他用户的接近度/距离(例如，支持与实际上邻近的用户的交互以降低比特率和计算)。

对于一些实施例，移动性和几何结构管理器708可形成并维护用于会议和探索的统一坐标系(或统一虚拟几何结构744)，并支持用户在探索模式中找到并占据他或她的住所的位置(统一坐标系中的会见空间的位置)。

移动性和几何管理器708可以根据来自用户和会话管理器704以及全景和访问管理器710的数据，形成和维护用于变化的数量的并行会议的统一坐标系(或统一虚拟几何结构744)。移动性和几何结构管理器708可将参与会议会话的站点对准到虚拟会议设置(诸如，例如，通过覆盖子空间原点并根据规则或根据用户选择来定向(或旋转)空间)。因此，通过参与站点和其占用者之间的统一坐标系，实现了空间可靠的会议。

移动性和几何结构管理器708可以根据来自用户和会话管理器704以及全景和访问管理器710的数据，形成和维护用于探索的统一坐标系(或统一虚拟几何结构744)。移动性和几何结构管理器708可以将所捕获的用户空间对准到空间可靠的虚拟景观(或在网格中对准的子空间的并集)以用于社交交互。因此，可以创建子空间(站点)的动态虚拟景观上的统一坐标系(或统一虚拟几何结构744)，从而实现站点与其占用者之间的空间可靠的视点。

移动性和几何结构管理器708可以支持用户对虚拟景观的探索以找到并占据他或她的住所的位置(例如，通过示出虚拟景观的地图)。移动性和几何结构管理器708可以示出关于占用位置的持有者的信息(包括目录和搜索工具)。移动性和几何结构管理器708可以支持用户空间的移动性和定位，包括将用户空间(或住所)移动和定向到新位置(或住所)。

对于一些实施例，全景和访问管理器710可以使用所有空间在统一虚拟几何结构744中的位置，来为每个用户形成所有空间的空间可靠可靠的全景。对于会议选项，全景和访问管理器710可以针对每个捕获的空间从对应于每个参与者在统一虚拟几何结构744中的位置(或本地位置数据738)的位置形成一组单独的360°全景视图。对于探索选项，全景和访问管理器710可以形成如从外部看到的所捕获的空间的受限视场(FoV)全景。对于会议和探察选项，全景和访问管理器形成GPS的全景视图或在视觉捕获空间之外的以其他方式跟踪的用户。为了用户选择要访问的站点，全景和访问管理器710 利用用于背景的选择全景(用户自己环境或远程环境的视图)来编译从用户到其他用户的视角视图。背景全景的附加选项可包括虚拟模型或虚拟世界景观 (例如，经由外部接口管理器714来接入)。

对于一些实施例，比特率降低管理器712可以降低和/或压缩数据流。这样的数据减少和压缩可以通过编码和解码去往/来自用户终端的AV数据 (例如，编译的用户全景740、背景和用户视角746、以及空间音频)，传送视角视频而不是更高比特率的3D数据756，根据用户与连接的节点/参与者的接近度或距离来减少译码/传送/渲染的数据分量的分辨率(例如，对于远距离的对象，细节水平可以被降低)，以及基于他或她所面向的取向来修剪来自当前参与者的视野之外的其他参与者的传入连接(以及接收的数据)。对于一些实施例，音频/视频(AV)数据可被解码、用与用户相关的附加内容来增强、以及被重新编码。这种重新编码的AV数据可被传送到服务器。

对于一些实施例，外部接口管理器714将系统连接到外部数据和服务 (包含将与会议或探索选项一起使用的虚拟模型或虚拟世界环境)。

会议

本文公开的系统和方法的一些实施例包括两种功能操作模式：会议和探索。这些模式的性质和使用可以根据将单独的几何结构组合成统一的空间可靠的几何结构的方式而不同。

对于会议模式，用户能够在一组用户之间进行会议(群组会议)。对于会议的一些实施例，单独捕获的用户空间和他们的占用者被统一为同心虚拟几何结构。在以同一中心的几何结构中，所有统一用户空间在虚拟几何结构的至少一个点中重叠。在它们的虚拟空间位置出现，用户能够虚拟地访问和定向地查看(多达360度)参与的站点。会议支持虚拟鸡尾酒会类型的网络交互。与现实生活的鸡尾酒会中的人不同，参与者实际上被带到空间，如图8 所示。

图8是根据一些实施例的从参与者的视点来看被渲染到房间中的一组示例性的六个远程参与者的示意图。图8示出了七个用户虚拟地聚集在会议室或办公室800中的示例。在图8的顶部示出的远程参与者802、804、806、 808、810、812作为在图8的底部的用户814、816、818、820、822、824 被渲染到由地图示出的本地空间中。从第七用户826的视角来看，在图的顶部示出了六个用户802、804、806、808、810、812。

图9是示出根据一些实施例的被渲染成统一几何结构的一组示例远程参与者的示意性平面图900。图9示出了三个本地站点被组合以形成统一几何结构908的示例。用户在每个本地空间902、904、906中的位置可以由电子装置来捕获。与远程参与者910、912、914、916、918、920的真实背景分离的它们的空间可靠(或正确)的视角视图可以被形成并被传送到每个本地参与者，并且根据统一几何结构908被定位。正确的以用户为中心的视图可以由AR/VR眼镜在每个用户的眼点处显示。

对于一些实施例，为了将所有参与者编译成一个空间，用一组传感器来3D捕获和重构每个单独的会议空间902、904、906。图9示出了从本地参与者934的视角来看，三个远程会议室902、904、906及其六个参与者910、 912、914、916、918、920,所述六个参与者作为参与者922、924、926、928、 930、932被组成到本地参与者的空间908(在图9的底部示出)中。为了简化图9，房间布局、取向和用户位置被示为对于所有空间都是相等的。对于一些实施例，可以创建二维视角视频，其将背景图像与从本地用户的视角来看的一个或多个远程用户的视角视频组合。对于一些实施例，这种组合的视频可以被传送到另一用户或服务器。

实际上，会见空间具有不同的形状和大小，并且如果它们被编译成统一几何结构，则它们的取向和重叠被调整(这可以被完成以提高参与者之间的可见性)。而且，用户能够“访问”参与的站点。对于一些实施例，可以移除本地用户周围的背景并使其透明。背景可以被另一用户站点的背景所替代，从而使得用户能够“访问”另一用户站点。

除了他们自己的本地空间之外，用户能够选择在任何远程空间的空间取向中看到彼此。因此，用户可以用来自远程空间的背景替换本地背景。通过不同时示出远程空间，系统减轻了先前提到的将不同种类的空间、它们的家具和固定装置合并成一个空间的不一致性问题。用户可以发现，看到真实环境完整而看不到它们被人工合并是更自然的。

探索

探索模式支持会见空间移动性。对于探索模式，用户空间和他们的占有者被统一到2D平面(或网格)上的不同点中，从而形成可扩展的景观，这使得能够与邻近相邻者(在邻近地点中的用户)交互。这种结构通过允许用户修改他们在景观中的地点并且因此还修改到其他用户的距离来实现新型社交联网。探索支持3D景观中的大用户群的空间可靠的交互。不同于可以支持用于大量用户的空间可靠的环境的虚拟世界，所公开的系统支持用户环境的具有真实感的3D捕获的景观中的交互。

图10A和10B示出了一些实施例以说明探索空间。图10A是示出根据一些实施例的在移除阻挡壁之前的一组示例性的捕获的用户空间的示意性平面图。景观被示为位于2D平面上的单独的2D用户空间或被示为“被褥中的拼块”。图10A示出了在移除墙壁之前五个用户空间1002、1004、1006、 1008、1010的示例虚拟景观1000。图10B是示出根据一些实施例的在移除阻挡壁之后的一组示例性的捕获的用户空间的示意性平面图。图10B示出了这五个用户空间的移除了墙壁的虚拟景观1050。通过保持所捕获的空间分离，图10B描绘了避免重叠和合并用户空间的系统。图10B示出了一组示例办公室和会议室用户空间。

形成统一的虚拟几何结构

统一虚拟几何结构的一个区别因素可以是单独捕获的空间及其占用者的对准是同心的还是基于网格的。同心几何结构意味着子空间的原点在 3D表面上的一点上对准，或者对于一些实施例在2D平面上对准。基于网格的几何结构可以通过将子空间的原点对准不同的(2D)网格点来形成。对于一些实施例，网格点可以是等间隔的，但是对于其他实施例，网格点可以以不规则的间隔移位。对于会议和探索两者，多个所捕获的会见空间被组合成几何结构的并集，其中每个所捕获的空间的原点被设置到统一几何结构(或几何结构的并集)中的位置。

设定和对准原点

如果将捕获的子空间对准同心或基于网格的几何结构，则为每个子空间设置参考点(或原点)，以便相对于彼此定位和定向子空间。手动定义是一种选择，但是对于示例实施例，系统利用确定性算法来设置子空间原点。

对于一些实施例，基于每个捕获区域(或场地(floor)布局)的几何中心来设置捕获的子空间的原点。对于另一实施例，基于所捕获的3D体积的几何中心在场地上的垂直投影来设置原点。

对于会议，可以使用同心几何结构来对准。对于每个远程呈现会话，可以平移、旋转和统一单独的几何结构。可以通过将单独的几何结构的原点对准一个全局原点来形成统一。统一几何结构(组合的旋转几何结构的并集) 的大小可能受到单独几何结构的最大维度的限制。

对于探索，基于网格的几何结构可以用于对准。可以旋转单独的几何结构以与全局基本方向(例如，地图北向)匹配。通过将其原点对准到不同的 2D点，单独的几何结构可以被统一为一个动态虚拟几何结构，以形成具有相等或不相等的网格点间隔的网格(对于单独的实施例)。单独几何结构在统一几何结构中的地点可以通过将其原点移动到不同的2D点来改变。

将同心几何结构应用于会议

具有同心几何结构的会议的一些实施例支持有限数量的用户之间的空间可靠的会议。会议可以由使用地址簿或共享会议链接的系统来建立。一些会议实施例提供统一几何结构中的空间可靠的交互，其形成为多个所捕获的会议空间的同心并集。随着协作人员和会议的设置的变化(甚至在会话期间)，形成统一几何结构的过程是动态的，并且在使用期间可能重复发生。

可以通过为每个捕获的房间空间设置原点并且通过将空间的原点对准在相同的2D坐标上来重叠空间，来形成子空间的同心并集。空间围绕原点旋转以针对空间定向的远程呈现会话调整用户的相对位置，其中用户近似均匀地分布并且具有彼此的可见性。各种算法和规则可以用于设置子空间原点和用于设置空间分布旋转的条件。参与者与每个房间的家具和固定装置的几何关系可以被优化。

用于会议的示例配置

图11是示出根据一些实施例的针对四个站点的七个参与者，在远程呈现系统1100中从用户的视点的一组示例几何结构和连接的示意性平面图。对于一些实施例，相同的虚拟统一几何结构被所有会见站点使用。图11示出了从本地用户(1号)的视点来看的七方会见中的连接捕获设置1102、1104、 1106、1108的示例。图8所示的会见设置也与图11所示的示例相关。每个都具有变化的数量的本地用户的会见站点被示为圆圈。在每个圆圈中示出了物理的本地人和远程参与者(的图像)。

对于一些实施例，每个远程用户由虚拟相机(使用所形成的3D重构) 捕获并且显示给本地用户(通过在他或她的AR眼镜上示出视图2'至7')。背景可以是本地用户的环境或由本地用户选择的另一环境。对于图11，没有撇号的框中的数字指示用户在该会见站点。带有撇号的框中的数字指示该用户的图像在该会见站点被使用。图11中的大圆指示会见站点的物理视图。图 11中连接两个正方形的长线是虚拟相机与显示器之间的连接的实例(对于图 11中所示的实例连接，针对用户1和3)，但举例来说，可使用任何基于服务器或对等递送。

会议中的虚拟访问功能

支持虚拟访问是会议中的特征，其使得用户能够在自己的环境中或者在任何远程环境中以空间定向的方式看到远程参与者。该功能使得能够访问任何远程参与者(在他们的真实物理背景中看他们(指的是“托管”访问/空间的人)。

图12是示出根据一些实施例的针对三个场所处的七个参与者，从用户的视点针对在远程呈现系统中用户访问另一用户的一组示例几何结构和连接的示意性平面图。图12示出了本地用户在远程空间1208中用由虚拟360°相机捕获的全景替换他或她的环境1202(在该示例中对于用户6和7)。可以利用从所选择的3D重构(站点)到所选用户的眼点(诸如访问用户的虚拟位置) 的360°投影来形成虚拟全景。全景图中被示出的部分适合用户所面向的取向和他的AR/VR眼镜的视场。图12示出了用户1在示例远程呈现系统1200 中访问(选择站点号4的背景)站点编号4以用于四个站点1202、1204、1206、 1208处的七个参与者。

对于图12，没有撇号的框中的数字指示用户在该会见站点。带有撇号的框中的数字指示该用户的图像在该会见站点被使用。实线的大圆表示会见站点的物理视图。虚线圆圈描绘了从远程空间捕获的全景。远程用户(在该示例中为数字6和7)被示为环境的一部分。通过在本地空间编号1(1202)中指示没有撇号的用户编号6和7，强调本地用户编号1访问站点编号4(1208) (或在其真实环境/环境中看到站点4处的本地用户)的事实。图12中连接两个正方形的长线是虚拟相机与显示器之间的连接的实例(对于图12中所示的实例连接，针对用户1和3)，但举例来说，可使用任何基于服务器或对等递送。

形成同心几何结构的示例

图13是示出根据一些实施例的使用空间可靠的会议配置和同心几何结构的具有五个用户的一组示例性三个会见站点1302、1304、1306的平面示意图可靠。确定一组用户空间(或房间内部)1300，其中每个空间中有零个或多个用户。零用户表示参与会议的用户已经离开会议的场景，该场景可以是临时的。下面描述这种情况。对于一些实施例，房间(可能排除浴室或其他私人区域)可以被本地捕获并由3D传感器重构。每个所捕获空间1302、1304、1306的原点可由“x”示出。可以坐在座椅上的用户被标记为实心黑圈。每个捕获空间1302、1304、1306还可示出房间的基本方向。图13中地图北向所示的基本方向不一定是真实的罗盘方向。可以由系统或用户设置基本方向，由此组合空间导致参与者之间的良好可见性。

图14是示出根据一些实施例的通过其原点和基本方向对准的一组示例的三个会议空间的示意性平面图。图14示出了图13所示的会见空间1402、 1404、1406的组合几何结构1400。单独的会见空间(或几何结构)可以按照其原点对准，并且旋转以对准其基本方向。箭头指示对准期间的平移和旋转。

利用经对准和旋转的会见空间集合，空间可靠的会议(或交互)可以在参与者之间发生。每个参与者可以从他或她自己的会见空间内的他或她的视点看到其他参与者，或者可以通过用来自远程站点的背景替换本地背景以在 AR/VR显示器上可视化来对远程环境进行“访问”。

对于一些实施例，如果组合本地几何结构，则用户可能落在一个或多个其他捕获(或远程)空间之外。落在远程空间外的用户可具有小于针对该空间的360°的视角。此外，为了看到用于一些实施例的空间，可以从AR/VR 显示器移除最近的墙壁。用户可能不会以自然的方式看到该墙壁的纹理(尽管该空间内的那些用户可能看到并讨论该墙壁的纹理)。对于那些在他们的本地空间之外移动的用户，强调了所描述的现象。

如果受限视图干扰用户，则可以引导他或她移动到如此靠近其他用户，以使得视点落入所观看(或访问)的子空间内。或者，用户是满意的并且可以被引导来看在一些更大的空间中被渲染的远程参与者，而没有所描述的问题。

用于探索的示例配置

用于探索的一个示例实施例支持大量用户之间的可见性、导航和空间可靠的交互。参见图10B的示例设置的图示，其中五个用户设置被组合在虚拟景观中。单独的用户空间被引入半永久性景观。这种景观让用户了解他们的朋友、联系人和其他人的所捕获的会见空间的地点。多个实施例可被用于支持搜索和寻找期望的联系人、目录、地图、简档和推荐。

探索可用于虚拟2D景观中的社交连接性，并且对于一些实施例，支持用户和用户空间一起导航以及相对于统一几何结构四处移动。另外，探索可以使得用户能够将所捕获的个人空间移动到虚拟景观中的新地点。

与物理世界中一样，可以在虚拟景观使用罗盘方向。真实的基本北向可被用作所捕获的空间中的每一者的基本方向。如果不可检测到，则用户可以手动地设置基本北向。

在一个示例实施例中，用户子空间(它们的原点)被对准到2D平面上的不同点。根据全局地图来定向(或旋转)本地空间，其中为虚拟2D平面和本地空间设置北向。本地空间可以形成邻域和其他公共结构。通过在形成这种结构时支持用户的偏好，可以以对用户感觉自然的方式支持社交网络和其他服务。

用于形成基于网格的几何结构的示例

探索是系统支持的另一种服务。为了探索，用户将他或她的捕获的本地空间定位到统一的2D几何结构中，并看到将他们的捕获的空间定位在附近的那些朋友、熟人或陌生人。由于每个用户相对于他或她自己的空间被跟踪为统一几何结构的一部分，因此用户可以相对于他或她所捕获的空间四处移动并在空间可靠的取向上看到其他用户。

例如，五个用户可以分布在三个房间布局上，如图13所示，对于统一几何结构，基本方向可以用于对准。不是将子空间的原点对准在一个共同 2D点，而是将它们对准到单独的2D网格点中。每个子空间可以通过围绕每个本地原点旋转它们而另外与全球北向对准。

图15是示出根据一些实施例的用于通过将子空间对准到单独的网格点并匹配它们的基本方向来形成统一几何结构的示例的示意性平面图。图15 示出了与全球北向对准的三个空间1502、1504、1506的示例环境1500。在该示例中，网格点是等间隔的，但是对于其他实施例，网格点可以以不规则的间隔被移位。图15还示出了由用户移动或转动空间的选项。上述统一过程可以导致半永久但动态的地理环境，该地理环境的用户可以发现易于导航、记住他们自己和他们的朋友的地点、并且决定是否改变他们的当前地点。

在示例过程中，形成视觉上和功能上一致的几何结构，如图10A和 10B所示，将单独的子空间分开足够远以避免重叠(诸如，例如，通过形成具有大于3D捕获的子空间的最大支持直径的位移的点的网格)。

图10B的所捕获的子空间可以在尺寸上受限制以避免视觉渲染的重叠。例如，可以画出子空间之间的分隔，使得该线与任何两个参与者距离相等。这个原理可以导致泰森多边形图(Voronoi)棋盘格状布置，其中每个参与者是他或她自己的图块的质心。该操作还切掉用户空间之间的墙壁，并且使虚拟几何结构成为连续的体积(类似于图10B或具有多组内部的家具店)。

用于避免连续性问题的另一方法可以将分段用户组合到连续虚拟世界或3D景观中的捕获和跟踪位置，而不是具有不连续的物理视图的编译。因此，用户空间可能不具有真实感。

在探索中满足空间移动性功能

会见空间移动性被支持以供探索，其中3D捕获的子空间形成3D景观，其中系统可允许用户将他或她自己的空间从一个地方移动到另一个地方 (类似于子空间的转向和移动，如图15中所示)。可以添加虚拟结构以将景观变成混合现实空间中的更多空间。特别地，可以添加虚拟基础结构(诸如地形或地板)以填充单独的子空间之间的间隙。所添加的虚拟元素可以包括市政结构和道路，并且系统可以支持用于满足空间移动性和重定位的相应限制和规则。

像在现实世界中移动一样，移动会见空间可能是比仅仅在房间中行走更持久的动作。移动会见空间使得能够由用户建立半永久结构和社交关系，并且选择与所捕获的其朋友和联系人的行踪相关的默认地点(类似于改变现实世界中的某人的住所)。将大量尺寸可变的房间内部组合成景观并且支持景观内的会见空间移动性两者可以使用清楚且简洁的策略来支持用户之间的良好、连续的可见性。

在用户之间形成连接

对于一些实施例，在空间上可靠的几何结构中在每个用户之间形成连接。对于一些实施例，形成各自的视点(或视角视频)并在每个参与者之间传送。会议和探索选项可以用于这两个实施例，因为这两个实施例都不取决于 2D几何结构是同心的还是基于网格的；在这两种情况下，用户在统一几何结构中具有他们各自的动态2D位置。

然而，由于探索可以用于在大的可扩展几何结构中的许多用户的交互，因此在每个参与者周围可能存在实际的最大距离(半径)，在此之后，那些更远的用户不被连接或示出(类似于真实世界中的情形)。除了降低连接的数量之外，这个实际的最大距离可以用于降低通信比特率。

图16是示出根据一些实施例的九个自由定位的参与者的一组示例连接和视点的示意性平面图。图16示出了连接到其他用户的每个用户1602、 1604、1606、1608、1610、1612、1614、1616、1618的示例环境1600(类似于航线连接图)。N个节点之间的双向连接的数量N遵循梅特卡夫定律 (Metcalfe’s law)，如方程1所示。

对于图16所示的例子，

在所有参与者位于统一坐标系(类似于图16)中的情况下，可使用三角法导出其视点、观看角度及距离。当形成、编译、传送和渲染每个参与者的各自视图时，可以使用这些参数和用户的观看方向(其可以通过嵌入在 AR/VR眼镜中的传感器获得)。图16中的说明可用于同心和基于网格的几何结构两者，而不管一些用户是否共享相同空间。对于一些实施例，用户具有针对每个本地空间分配和跟踪的统一几何结构中的唯一位置和视点。

扩展用户移动性

与先前的系统和方法相比，本文公开的系统和方法扩展了用户移动性。除了用户四处移动的能力之外，系统的一些实施例支持相对于其他参与者移动和定向本地捕获的空间的渲染的能力。用户移动性被扩展以使得用户能够离开其所捕获的子空间。支持用户移动性避免了在交互期间将用户限制在固定位置和所面向的取向。更有挑战性的目标是支持用户也在捕获区域之外移动，甚至在室外移动。

在本文公开的一些系统中，对移动性的支持基于在其捕获的环境中跟踪用户。由于可穿戴AR/VR眼镜可以用作本文公开的系统中的显示器，因此跟踪可以包括检测用户的视点取向。嵌入或连接到AR/VR眼镜的传感器可以执行该跟踪。可以针对每个3D捕获系统和针对统一的虚拟几何结构来校准跟踪系统。

例如，如果用户临时离开捕获的房间以访问他或她的厨房或外面的邮箱，则跟踪可以发生在捕获的空间之外。如果用户外出，则例如通过GPS 进行跟踪使得用户能够继续他或她的协作会话，这可能具有减少的模态。

支持虚拟移动性意味着用户的物理位置、运动和转向确定他或她在一些远程空间内的虚拟位置和取向。向用户提供远程用户和空间的正确的空间定向视点。当用户的眼点在远程空间内时，他或她可以被分类为虚拟地访问该空间。在本文公开的系统和方法中，通过向用户提供虚拟360度全景视图来支持虚拟访问。

在用于会议和探索的一些实施例中，用户可以从空间外部看到捕获的远程空间。对于一些实施例，在AR/VR显示器上未示出阻挡去往和来自所捕获空间的视图的墙壁和垂直对象，以使得用户能够看到在实际用户空间中不可用的视图。对于一些实施例，可以以透明模式生成这样的阻挡对象。对于一些实施例，可以生成或更新本地空间的视角视频，而没有可能遮挡本地空间内的用户的视野的阻挡对象。

管理比特率

基于前面提到的梅特卡夫定律，n个参与者之间的连接数增加接近n²的数量级。随着N的增加，在没有有效措施的情况下，连接的数量和传输的比特的数量都可能使用许多资源。

可以执行若干动作以减少网络负载，诸如根据共享虚拟几何结构中的与远程节点的接近度/距离减少分辨率、减少传入连接和接收的数据、以及以算法方式减少/压缩数据流。空间2D分辨率可以近似地与平方距离的倒数成比例地降低(而不改变角分辨率或感知的精度)。位于实际最大距离(或半径) 之外的用户可能未被示出或连接到本地用户。基于所捕获的所面向的取向 (类似于用户不使用来自他或她未观察的方向的视觉信息)，可以从参与者的背面减少传入连接和所接收的数据的减少。用于减少或压缩数据流的一个示例是通过发送视角视频而不是3D数据(深度加纹理)。

以动态空间可靠几何结构管理大量用户的连接和视点可以使用若干数据结构和算法中的一个。例如，可以使用已知的图论算法。

支持空间音频

空间可靠的几何结构也可支持空间音频。可以利用多声道扬声器系统来产生针对每个用户位置的空间音频场。如果用户佩戴AR/VR眼镜，则可以利用与眼镜组合或嵌入眼镜的麦克风以高质量记录讲话和环境音频两者。一些实施例可以使用外部定向麦克风来进行音频捕获。

也可从那个方向听到被增强到虚拟位置的用户。如果用户集中于一些远程参与者，则他们可以集中于相应的音频源。系统可以从用户的面向方向检测用户焦点，并且使用检测到的用户焦点来控制其他视频和/或音频源。例如，该方法可以用于支持群组对话期间的双方侧通话。还可以根据共享虚拟几何结构中与远程参会者的接近度/距离来控制音量。

传送按需的视角视频

在一个示例实施例中，来自远程参与者的空间定向视图作为视角视频被传送。因为从指定位置按需请求视角视频，所以位置信息被发送到传送侧。按需传送视角视频降低了比特率，但是设置了时延要求。对双向传输和处理延迟的要求也可设置对网络传输和视角捕获过程的要求。双向传输和处理延迟减慢了系统对用户视点变化的反应(类似于在每个远端移动他或她的相机)，但是这些延迟可能不会导致接收或传送的视频中的延迟。因此，在空间可靠度方面可能存在瞬间降级，但在实际对话中可能不存在瞬间降级。在电话会议情况下，用户移动可以是适度的，使得失真也可以是小的。

对于高质量的会议，大多数延迟可能由语音和视频处理引起。对于本文所公开的系统，往返延迟可以包括向远程端发送用户位置数据(上行链路)、改变视角视频的视点、以及流传输视频(和音频)下行链路。对于本文所公开的系统，由于上行链路发送的位置数据的量相对较小，所以上行链路延迟对往返延迟的贡献比上述更对称的情况中的小。

如果所接收的内容(视点)不根据用户运动而改变，则对于许多电话会议系统，可能不会发生上述交互延迟。在支持接收器和发射器之间的交互的远程呈现系统中，例如对于各自的视点和目光接触，往返延迟可能变得更大。

类似于其它视频应用，2D或立体3D(即S3D)显示器可以用于示出按需视角。与基于3D传输的先前系统相比，如果用户位置在每一时刻可用，则可通过使用2D或S3D视频来降低比特率。如果位置改变，则可以发送新的2D视频或S3D信息。

系统过程和功能

本文公开的一些方法和系统支持每个站点的多个用户、多个用户位置 (尽管对于空间定向的远程呈现和交互，一些用户位置可能比其他用户位置更好)、捕获区域之外的用户移动性、捕获的本地空间的虚拟移动性、大量用户以及非对称和对称应用。

本文公开的用于空间可靠远程呈现的一些系统和方法支持具有多个移动参与者的多个会议站点之间的灵活的、系统或用户可调整的几何结构关系，从而解决了具有对任何参与站点的虚拟访问的群组会议(本文称为会议) 以及基于动态的、统一的空间几何结构内的会见空间移动性的大量用户之间的社交交互(本文称为探索)两者。

在本文公开的系统和方法的一些实施例中，一个或多个用户在各种地理地点占据他们的本地空间(私人或办公室房间)。空间由沿着房间墙壁或空间内部的多个3D传感器实时捕获，使得系统可以从用户空间中的每一个形成高质量重构。此外，用户位置可以由电子和/或图像处理装置具体地分配和跟踪。

该系统形成统一的虚拟几何结构，该几何结构将具有其占用者的本地空间带入彼此相关的几何取向。用户可以佩戴AR/VR眼镜，其使得他们能够根据所形成的几何结构以空间可靠的方式看到在他们周围被渲染的其他人(在房间中和在远程站点处的那些人)。

在会议期间，用户能够相对于其在以同心统一几何结构对准的本地捕获空间移动，其中同心几何结构是统一坐标系的一个示例选项。在探索期间，系统或用户能够在基于网格的统一几何结构中移动本地捕获的空间，该基于网格的统一几何结构通过将子空间对准或移动到统一坐标系中的各个网格位置来形成。

用户可以独立于他或她的本地空间移动，该本地空间可以在从所有其他用户空间形成的虚拟几何结构/景观中移动。本文公开的系统和方法扩展移动性并启用功能。具体地，支持会见空间的移动性使得能够构建和管理统一的虚拟景观，这使得能够实现针对大量用户的基于接近度的交互功能。接近度可以指用户之间的距离和/或虚拟几何结构中的所捕获空间之间的距离，这两者都可以触发交互。作为矢量值的接近度可以实现基于距离和基于方向的交互。

图17是示出根据一些实施例的用于使用棋盘格状空间进行会议和探索的示例过程的流程图。为了简化图17，流程图1800不指示如何在用户终端和服务器之间划分操作。开始会议或探索会话1802，并且可以将新的站点和用户注册到该会话1804。可以捕获本地用户位置1806。可以生成会话中的站点和用户之间的统一几何结构，并且可以将本地用户位置映射到该几何结构1808。可以从其他用户的眼点捕获每个用户的空间可靠(SF)视图(和音频)1810。可以形成会话中用户之间的连接1812。本地捕获的SF数据(例如视频和音频)可以被编码并被发送到相应的远程对等体和用户1814。SF视图可以被接收并被渲染给远程用户1816。音频和视频可以被渲染到用户终端 1818，并且用户运动和其他输入可以被监视1820。如果判定过程1822确定不存在设置改变，则一些实施例返回以从其他用户的眼点重新捕获每个本地用户的空间可靠的视图(和音频)1810并且继续重复该过程。如果存在设置改变并且判定过程1824确定会话没有完成，则一些实施例注册新的站点和用户1804并继续。如果会话完成，则会话结束1826。

会议流程

图18A和18B是示出根据一些实施例的用于用户与统一配置中的会议的虚拟棋盘格状空间对接的示例过程1900的一组流程图。新的参与者(或用户)可以开始会议1892并且可以登录到会话中1904。可以读取(或手动执行)针对用户动作的输入(包括要访问的站点，通过创建对其他用户进行排序整理(collate)的全景来支持)1906。可以导出在本地空间中的用户位置1908 和面向的方向1910。可以执行用户空间的3D捕获和重构1912。可以形成用于全景的虚拟背景以递送给其他参与者1914。可以形成用户视角以进行递送 1916。如果判定过程1918确定不是所有用户都登录到会话中，则一些实施例可以将新用户登录到会话1904。否则，可以与协作用户形成连接1920。统一几何结构可以通过以与会话中的其他用户空间同心的方式(通过旋转)对准用户空间来形成1922。用户的位置和子空间原点可以在统一几何结构中导出1924。可以从终端(视频和定向/空间音频)接收1926用户视角。连接符B1930连接图18A的流程图1900和图18B的流程图1950。可形成编译的全景，以用于访问从对应于本地用户的位置和视点的角度示出远程用户空间的用户(或替换其本地视图的用户)1952。可以使用那些用户的本地视图为他们选择用户视角1954。可以形成和更新用户之间的连接1956。比特率可以被降低，并且AV数据可以被传送到每个用户1958。AV数据可以被解码1960，并且用户的面向方向可以被导出(例如，通过AR眼镜)1962。可以根据用户的面向方向向他或她渲染全景子视图1964，并且可以播放定向/空间音频。可以向用户显示子视图1966。如果判定过程1968确定用户已经登出，则会话可以结束1970。否则，一些实施例经由连接符A 1928返回以读取针对用户动作的输入1906。

探索流程图

图19A和19B是示出根据一些实施例的用于用户与虚拟棋盘格状空间对接以探索统一配置的示例过程200的一组流程图。新参与者可以开始探索2002，并且可以登录到会话中2004。针对用户动作的输入可以被读取或手动输入2006。可以导出并更新本地空间中的用户位置2008。对于一些实施例，用户位置更新可以被确定为递增的位置改变，而对于另一实施例，用户位置更新可以被确定为绝对位置。对于一些实施例，用户的更新位置可作为增量位置传递到服务器，而另一实施例可将用户的更新位置作为绝对位置传递到服务器。

可以导出并更新本地用户的面向方向(例如，通过AR/VR眼镜)2010。可以执行2012用户空间的3D捕获。可以重构用户空间，并且可以导出(或由本地用户输入)用户空间的原点2014。本地用户可以选择虚拟景观中的位置以被指定为他或她的住所2016。用户还可以搜索虚拟景观的地图以找到占用和空缺的位置。可以通过将用户空间对准到网格点中(包括旋转)来形成和更新统一虚拟几何结构2018。本地用户的位置可以被映射到统一的虚拟几何结构中(这可以包括更新统一的虚拟几何结构)2020。如果选择的话，可以使用外部组件完成虚拟景观(地形或场景的视图)2022。可以形成从本地用户的眼点来看的景观的360度全景(包括在形成2D视频之前从3D捕获结果中移除墙壁以及可选地移除遮挡对象)2024。图19A的流程图2000使用连接符B 2028与图19B的流程图2050连接。根据虚拟几何结构，可以形成到相邻(或远程)用户的音频/视频(AV)连接2052。比特率可以被降低，并且AV数据可以根据本地用户的位置被传送2054。AV数据可被解码2056。可以根据本地用户的面向方向来渲染给他或她的全景子视图2058，并且可以播放定向/空间音频。如果判定过程2060确定本地用户没有登出，则一些实施例返回以读取针对本地用户动作的输入2006，如流程图连接符A所示(2026)。否则，本地用户可以登出会话(包括从几何结构中移除用户、停止传输和关闭连接) 2062，并且一些实施例可以经由连接符C(2030)返回以将新的本地或远程用户(或参与者)登录到会话中2004。

扩展在同心几何结构之外的移动性(在会议中)

一些实施例是对称的，其中在统一空间中设置和跟踪用户位置，并且通过组合单独的相机和/或3D传感器捕获的空间来形成坐标，其中基于用户的跟踪位置来捕获去往和来自用户的视图，并且其中用户停留在捕获的空间内。

扩展在基于网格的几何结构中的用户移动性(在探索中)

另一实施例是非对称的，并且支持在捕获空间之外的用户移动性。这种变化可以扩展用于会议的同心几何结构之外的移动性，并且可以扩展用于探索的基于网格的几何结构中的用户移动性。如果用户离开他或她的本地空间，则他或她仍可相对于该空间被定位和跟踪，并且系统可继续从其他空间和用户提供音频和空间可靠的视图。移到外面的用户可以通过音频与其他协作参与者继续会议。例如，如果继续跟踪用户，则该外部空间可以是另一房间。例如，用户可以在庭院或家庭外由GPS跟踪。如果参与电话会议的用户没有被可视地捕获，则静止图像(例如，较早捕获的视角)或一些符号(一个或多个)(例如，化身)可以与音频(可选地，取决于用户的距离和方向的空间音频)一起被显示给其他参与者。用户可以通过物理地移动到他或她的本地捕获空间之外，来探索他或她的空间是其中一部分的虚拟景观/几何结构。

非对称实施例的益处包括支持用户的空间感知和继续进行音频会议。使用户能够探索环境的周围环境的其他益处包括使用户能够知道虚拟周围环境和虚拟邻居，以具有相邻3D岛的更近的、不对称的视图，并且接收用户的周围环境中可用的摘要(teaser)、广告和其他信息。用户可以使用从探索中获得的这样的知识，例如，来改变他或她自己的3D岛在基于网格的几何结构或景观中的地点。

组合共心和基于网格的几何图形(会议岛)

对于一些实施例，统一的虚拟几何结构包含具有同心和基于网格的对准两者的捕获的子空间。这样的实施例可以被称为会议岛。这样的实施例可以支持具有半永久组协作设置(比基于时间会话的设置更永久)的内部的基于网格的几何结构。这些会议岛可以具有访问其他空间/房间的永久或半永久权限。这样的实施例可以与作为同一公寓中的居民的人(不仅仅是具有远程呈现会话的人)相比较。会议岛可能受到亲密朋友或家庭成员的青睐。这样的实施例可以是扩展和丰富社交交互的方式。对应的多用途几何结构的形成和管理可使用早先描述的用于同心和基于网格的几何结构的方法。

一些系统可以使得用户能够通过使用透视AR眼镜来看到另一用户的眼睛。如果使用更多的遮挡(其可以是不透明的)AR眼镜，则AR眼镜的图像可以被用户眼睛的图像替换。用户眼睛的可见性也可以通过其他技术手段来提供。

用于实施例的示例网络

在本文所述的一些实施例中，无线发射/接收单元(WTRU)可以被用作会议管理器的用户设备(例如AR/VR护目镜)。

图20是示出了可以实现一个或多个所公开的实施例的示例通信系统 100的图。通信系统100可以是向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址系统。通信系统100可以使多个无线用户能够通过共享包括无线带宽的系统资源来访问这样的内容。例如，通信系统100可以采用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT-UW-DTS-s OFDM)、唯一字OFDM (UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。

如图20所示，通信系统100可包括无线发射/接收单元(WTRU)102a、 102b、102c、102d、RAN104、CN106、公共交换电话网(PSTN)108、因特网110和其他网络112，但是应当理解，所公开的实施例考虑了任何数量的 WTRU、基站、网络和/或网络部件。WTRU 102a、102b、102c、102d的每一者可为配置为在无线环境中操作和/或通信的任何类型设备。举例来说，WTRU 102a、102b、102c、102d(其中任何一个可以被称为“站”和/或“STA”) 可以被配置成传送和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理 (PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或MiFi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器 (HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等等。WTRU 102a、102b、 102c及102d中的任何一个可互换地称为UE。

通信系统100还可以包括基站114a和/或基站114b。基站114a、114b 的每一个可为任何类型的设备，其被配置成与WTRU 102a、102b、102c、 102d的至少一个无线对接，以促进对一个或多个通信网络的接入，例如CN 106/115、因特网110和/或其他网络112。举例来说，基站114a、114b可以是基站收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b 各自被描绘为单个部件，但是将理解，基站114a、114b可以包括任何数目的互连基站和/或网络部件。

基站114a可以是RAN104/113的一部分，其还可以包括其它基站和/ 或网络部件(未示出)，例如基站控制器(BSC)、无线网络控制器(RNC)、中继节点等。基站114a和/或基站114b可以被配置为在一个或多个载波频率(其可以被称为小区(未示出))上传送和/或接收无线信号。这些频率可以在许可频谱、未许可频谱、或者许可和未许可频谱的组合中。小区可以向特定地理区域提供无线服务的覆盖，该特定地理区域可以是相对固定的或者可以随时间而改变。小区可以进一步被划分为小区扇区。例如，与基站114a相关联的小区可以被划分为三个扇区。因此，在一些实施例中，基站114a可以包括三个收发信机，即，小区的每个扇区一个收发信机。在实施例中，基站 114a可以采用多输入多输出(MIMO)技术，并且可以针对小区的每个扇区使用多个收发信机。例如，波束成形可以用于在期望的空间方向上传送和/或接收信号。

基站114a、114b可经由空中接口116与WTRU 102a、102b、102c、 102d中的一个或多个通信，该空中接口116可以是任何合适的无线通信链路 (例如，射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等)。空中接口116可以使用任何合适的无线接入技术(RAT)来建立。

更具体地说，如上所述，通信系统100可以是多址系统，并且可以采用一个或多个信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、 SC-FDMA等。例如，RAN 104/113中的基站114a和WTRU 102a、102b、 102c可以实现诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)的无线电技术，其可以使用宽带CDMA(WCDMA)建立空中接口115/116/117。 WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。

在一个实施例中，基站114a和WTRU 102a、102b、102c可以实现诸如演进型UMTS陆地无线电接入(E-UTRA)的无线电技术，无线电技术可以使用长期演进(LTE)和/或高级LTE(LTE-A)和/或高级LTE Pro(LTE-A Pro) 来建立空中接口116。

在一个实施例中，基站114a和WTRU 102a、102b、102c可以实现诸如NR无线电接入的无线电技术，无线电技术可以使用新无线电(NR)来建立空中接口116。

在一实施例中，基站114a和WTRU 102a、102b、102c可以实现多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可以一起实现LTE无线电接入和NR无线电接入，例如使用双连接(DC)原理。因此， WTRU 102a、102b、102c所使用的空中接口的特征可在于多种类型的无线电接入技术和/或发送去往/来自多种类型的基站(例如eNB和gNB)的传输。

在其它实施例中，基站114a及WTRU102a、102b、102c可实施无线技术，例如IEEE802.11(即无线保真(WiFi)、IEEE 802.16(即全球微波接入互操作性(WiMAX))、CDMA2000、CDMA20001X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强型数据速率(EDGE)、GSM EDGE(GERAN)等。

图20中的基站114b可以是例如无线路由器、家庭节点B、家庭e节点B或接入点，并且可以利用任何合适的RAT来促进本地区域中的无线连接，该本地区域诸如营业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等。在一些实施例中，基站114b和WTRU 102c、 102d可以实施诸如IEEE 802.11的无线电技术以建立无线局域网(WLAN)。在实施例中，基站114b和WTRU 102c、102d可以实现诸如IEEE 802.15的无线电技术以建立无线个人区域网(WPAN)。在又一实施例中，基站114b和 WTRU 102c、102d可利用基于蜂窝的RAT(例如WCDMA、CDMA2000、 GSM、LTE、LTE-A、LTE-A Pro、NR等)来建立微微小区或毫微微小区。如图20所示，基站114b可以直接到因特网110。因此，基站114b可不需要经由CN106/115接入因特网110。

RAN104/113可与CN106/115通信，CN106/115可被配置为提供语音、数据、应用及/或网际协议语音(VoIP)服务至WTRU 102a、102b、102c、102d 中的一个或多个的任何类型的网络。数据可具有变化的服务质量(QoS)要求，例如不同吞吐量要求、时延要求、容错要求、可靠性要求、数据吞吐量要求、移动性要求等。CN106/115可提供呼叫控制、计费服务、基于移动地点的服务、预付费呼叫、因特网连接、视频分发等，和/或执行例如用户认证的高级安全功能。尽管图20中未示出，但是应当理解，RAN 104/113和/或CN 106/115可以与采用与RAN 104/113相同的RAT或不同的RAT的其它RAN 直接或间接通信。例如，除了连接到可以利用NR无线电技术的RAN104/113 之外，CN106/115还可以与采用GSM、UMTS、CDMA2000、WiMAX、E-UTRA 或WiFi无线电技术的另一RAN(未示出)通信。

CN106/115亦可作为WTRU 102a、102b、102c、102d的网关以接入 PSTN 108、因特网110、和/或其它网络112。PSTN 108可以包括提供普通老式电话业务(POTS)的电路交换电话网。因特网110可以包括使用公共通信协议的互连计算机网络和设备的全球系统，所述公共通信协议例如是TCP/IP 因特网协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或因特网协议(IP)。网络112可以包括由其他服务提供商拥有和/或运营的有线和/或无线通信网络。例如，网络112可以包括连接到一个或多个RAN的另一个CN，所述RAN可以使用与RAN 104/113相同的RAT或不同的RAT。

通信系统100中的WTRU 102a、102b、102c、102d中的一些或所有可包括多模能力(例如WTRU 102a、102b、102c、102d可包括多个收发信机，用于通过不同的无线链路与不同的无线网络通信)。例如，图20所示的WTRU 102c可以被配置成与可以采用基于蜂窝的无线电技术的基站114a通信，以及与可以采用IEEE 802无线电技术的基站114b通信。

图21是示例WTRU 2202的系统图。如图21所示，WTRU 2202可以包括处理器2218、收发信机2220、发射/接收部件2222、扬声器/麦克风2224、键盘2226、显示器/触摸板2228、不可移除存储器2230、可移除存储器2232、电源2234、全球定位系统(GPS)芯片组2236以及其他外围设备2238。收发信机2220可以被实现为解码器逻辑2219的组件。例如，收发信机2220和解码器逻辑2219可以在单个LTE或LTE-A芯片上实现。解码器逻辑可以包括处理器，该处理器可操作以执行存储在非暂时性计算机可读介质中的指令。作为替代或附加，解码器逻辑可以使用定制和/或可编程数字逻辑电路来实现。

处理器2218可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器2218可执行信号编码、数据处理、功率控制、输入/输出处理和/或使WTRU2202能够在无线环境中操作的任何其他功能。处理器2218可耦合到收发信机2220，收发信机2220 可耦合到发射/接收部件2222。虽然图21将处理器2218和收发部件2220描绘为单独的组件，但是处理器2218和收发信机2220可以一起集成在电子封装或芯片中。

发射/接收部件2222可以被配置为通过空中接口2216向基站(或对于一些实施例为其他WTRU 2202)传送信号或从其接收信号。例如，在一些实施例中，发射/接收部件2222可以是被配置为传送和/或接收RF信号的天线。在另一实施例中，作为示例，发射/接收部件2222可以是被配置为传送和/ 或接收IR、UV或可见光信号的发射器/检测器。在又一实施例中，发射/接收部件2222可以被配置为传送和接收RF和光信号。发射/接收部件2222可以被配置为传送和/或接收无线信号的任何组合。

此外，尽管发射/接收部件2222在图21中被描述为单个部件，但是 WTRU 2202可以包括任意数量的发射/接收部件2222。更具体地，WTRU 2202可以使用MIMO技术。因此，在一些实施方案中，WTRU 2202可以包括两个或更多个发射/接收部件2222(例如多个天线)，用于通过空中接口 2216传送和接收无线信号。

收发信机2220可以被配置为对要由发射/接收2222传送的信号进行调制，以及对由发射/接收传输2222接收的信号进行解调。如上所述，WTRU 2202可以具有多模式能力。因此，收发器2220可以包括多个收发信机，用于使得WTRU 2202能够经由多个RAT(例如UTRA和IEEE 802.11)进行通信。

WTRU 2202的处理器2218可连接到扬声器/麦克风2224、键盘2226 和/或显示器/触摸板2228(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并可从其接收用户输入数据。处理器2218还可以向扬声器/麦克风2224、键盘2226和/或显示器/触摸板2228输出用户数据。此外，处理器2218可以从任何类型的合适的存储器访问信息，并将数据存储在所述存储器中，所述存储器诸如不可移除存储器2230和/或可移除存储器2232。不可移除存储器2230可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储设备。可移除存储器2232可以包括用户识别模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方案中，处理器 2218可以从存储器访问信息并将数据存储在存储器中，所述存储器不是物理地位于WTRU 2202上，例如位于服务器或家用计算机(未示出)上。

处理器2218可从电源2234接收电力，并且可被配置成分发和/或控制电力给WTRU2202中的其他组件。电源2234可以是用于为WTRU 2202供电的任何合适的设备。作为示例，电源2234可以包括一个或多个干电池(例如，镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。

处理器2218还可以耦合到GPS芯片组2236，GPS芯片组2236可以被配置来提供关于WTRU 2202的当前地点的地点信息(例如经度和纬度)。除了来自GPS芯片组2236的信息之外或作为其替代，WTRU 2202可以通过空中接口2216从基站接收地点信息，和/或基于从两个或更多个邻近基站接收的信号的定时来确定其地点。WTRU 2202可以通过任何合适的地点确定方法来获取地点信息，同时保持与实施例一致。

处理器2218还可以耦合到其他外围设备2238，外围设备2238可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备2238可以包括加速度计、电子罗盘、卫星收发信机、数字相机(用于照片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提头戴式耳机、

模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、活动跟踪器等。外围设备138可以包括一个或多个传感器，传感器可以是陀螺仪、加速度计、霍尔效应传感器、磁力计、取向传感器、接近传感器、温度传感器、时间传感器中的一个或多个；地理定位传感器；高度计、光传感器、触摸传感器、磁力计、气压计、姿态传感器、生物测定传感器和/或湿度传感器。

WTRU 2202可以包括全双工无线电设备，对于该全双工无线电设备，一些或所有信号(例如，与用于UL(例如，用于传输)和下行链路(例如，用于接收)的特定子帧相关联的信号)的传输和接收可以是并发的和/或同时的。该全双工无线电设备可以包括经由硬件(例如，扼流)或经由处理器(例如，单独的处理器(未示出)或经由处理器2218)的信号处理来减少和/或基本上消除自干扰的干扰管理单元。在一实施例中，WTRU 2202可以包括传送和接收一些或所有信号(例如与用于UL(例如用于传输)或下行链路(例如用于接收)的特定子帧相关联的信号)的半双工无线电设备

图22描绘了可以在通信系统内使用的示例网络实体2390。如图22 所示，网络实体2390包括通信接口2392、处理器2394和非暂时性数据存储 2396，所有这些部件通过总线、网络或其他通信路径2398通信地链接。

通信接口2392可以包括一个或多个有线通信接口和/或一个或多个无线通信接口。关于有线通信，通信接口2392可以包括一个或多个接口，例如以太网接口。关于无线通信，通信接口2392可以包括诸如一个或多个天线、被设计和配置用于一种或多种类型的无线(例如，LTE)通信的一个或多个收发信机/芯片组和/或相关领域的技术人员认为合适的任何其他组件之类的组件。并且进一步关于无线通信，通信接口2392可以按比例配备并且具有适于作用在无线通信(例如，LTE通信、WiFi通信等)的网络侧(与客户端侧相对)上的配置。因此，通信接口2392可以包括用于为覆盖区域中的多个移动站、UE或其它接入终端提供服务的适当设备和电路(可能包括多个收发信机)。

处理器2394可以包括相关领域的技术人员认为合适的任何类型的一个或多个处理器，一些示例包括通用微处理器和专用DSP。

数据存储器2396可以采取任何非暂时性计算机可读介质或这样的介质的组合的形式，一些示例包括闪存、只读存储器(ROM)和随机存取存储器 (RAM)，仅举几个例子，因为可以使用相关领域的技术人员认为合适的任何一种或多种类型的非暂时性数据存储器。如图22所示，数据存储器2396包含可由处理器2394执行以实现本文所述的各种网络实体功能的各种组合的程序指令2397。

在一些实施例中，这里描述的网络实体功能由具有与图22的网络实体2390的结构类似的结构的网络实体来执行，在一些实施例中，一个或多个这样的功能由多个网络实体的集合组合来执行，其中每个网络实体具有与图22的网络实体2390的结构类似的结构，并且当然地，其他网络实体和/ 或网络实体的组合可以在各种实施例中用于执行这里描述的网络实体功能，因为前述列表是作为示例而非限制来提供的。

鉴于图20-22以及图20-22的对应描述，本文关于以下各项中的一者或多者描述的功能中的一者或多者或全部：WTRU102 a-d、基站114a-b和/ 或这里描述的一个或多个任何其他设备可以由一个或多个仿真设备(未示出) 执行。仿真设备可以是被配置为仿真本文描述的功能中的一个或多个或全部的一个或多个设备。例如，仿真设备可以用于测试其他设备和/或模拟网络和 /或WTRU功能。

仿真设备可以被设计为在实验室环境和/或运营商网络环境中实现对其他设备的一个或多个测试。例如，一个或多个仿真设备可以执行一个或多个或全部功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。一个或多个仿真装置可执行一个或多个或所有功能，同时被临时实现/部署为有线和/或无线通信网络的一部分。仿真装置可出于测试目的而直接耦合到另一装置，和/或可使用空中无线通信执行测试。

一个或多个仿真设备可以执行一个或多个功能(包括所有功能)，而不被实现/部署为有线和/或无线通信网络的一部分。例如，仿真设备可以在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个组件的测试。一个或多个仿真设备可以是测试设备。仿真设备可以使用直接RF耦合和/或经由RF电路(例如，其可以包括一个或多个天线)的无线通信来传送和/或接收数据。

方法的一些实施例可以包括：针对多个用户中的每个用户，接收相应用户的本地环境的三维(3D)本地环境扫描；将所述多个本地环境扫描中的每本地一者映射到共享虚拟几何结构中的相应地点和取向；响应于从控制用户接收环境移动的输入，修改相对于所述共享虚拟几何结构的所述控制用户的所述本地环境扫描的所述地点和所述取向中的至少一者；跟踪至少一个观看用户在所述共享虚拟几何结构中的视角地点；以及生成从观看用户的视角地点来看共享虚拟几何结构的二维(2D)视角视频。

对于一些实施例，映射共享虚拟几何结构可以包括：将所述多个本地本地环境扫描中的每一者对准到共同原点；以及将所述多个本地环境扫描中的每一者定向到共同方向，其中共享虚拟几何结构可以与多个本地环境扫描中的每一者重叠。

对于一些实施例，映射共享虚拟几何结构可以包括：将所述多个本地环境扫描中的每一者与网格中的单独的点对准；以及将所述多个本地环境扫描中的每一者定向到共同方向，其中所述多个本地环境扫描中的每一者可以被分配给所述网格中的点。

对于一些实施例，跟踪共享虚拟几何结构中的至少一个观看用户的视角地点(用于生成视角视图的共享虚拟几何结构中的地点和方向)可以包括：基于所述多个用户中的每一者的移动来修改所述多个用户中的每一者在所述共享虚拟几何结构中的地点；基于多个用户命令(其可以包括手动输入、语音命令、姿势和身体运动，并且可以由共享虚拟几何结构和用户位置的地图辅助)来修改共享虚拟几何结构；以及跟踪至少一个观看用户在修改后的共享虚拟几何结构中的地点和取向。

对于一些实施例，生成从观看用户的视角地点来看共享虚拟几何结构的二维(2D)视角视频可包括：确定选自所述多个用户的第一用户与选自所述多个用户的第二用户之间的共享虚拟几何结构中的距离；以及响应于确定共享虚拟几何结构中的第一用户和第二用户之间的距离小于阈值：选择用于表示所述2D视角视频的分辨率；以及基于所选择的分辨率创建2D视角视频。

对于一些实施例，一种方法还可以包括计算组合视频，该组合视频将背景图像与来自观看用户的视角地点的共享虚拟几何结构的2D视角视频组合。

对于一些实施例，一种方法可以进一步包括将组合视频传送到选自多个用户的第一用户。

对于一些实施例，一种方法可进一步包括：在第二用户的地点和收听方向改变之后，从第一用户接收与第一用户的地点和收听方向相对应的音频信号；计算与所述第二用户的地点和收听方向相对应的音频信号；以及将所计算的音频信号传送给第二用户。

对于一些实施例，一种方法可进一步包括：从另一用户接收2D视角视频；对从另一用户接收的2D视角视频进行解码以生成解码的2D视角视频；用附加内容增强解码的2D视角视频以生成增强的2D视角视频；对增强的2D视角视频进行编码以生成编码的2D视角视频；将编码的2D视角视频传送给服务器。

对于一些实施例，一种方法可进一步包括：向所述多个用户中的每一者传送所述共享虚拟几何结构内的多个其他用户中的至少一者的位置；以空间可靠的方式从第一用户接收与第二用户的地点、观看方向和位置变化对应的二维(2D)视频；以及向第二用户传送从第一用户接收的2D视频和背景。

对于一些实施例，一种方法可进一步包括：计算组合的2D视角视频，所述组合的2D视角视频将背景与所述2D视角视频中的一者组合；显示所组合的2D视角视频。

对于一些实施例，一种方法可进一步包括：从选自所述多个用户中的一者的远程用户接收信息，以改变本地环境几何结构在所述共享虚拟几何结构内的地点；选择用于与由从远程用户接收的信息指示的地点相关联的背景的新背景；以及用新背景替换组合的2D视角视频的背景。

对于一些实施例，一种方法可进一步包括：检测从选自所述多个用户的第二用户的视角地点来看遮挡选自所述多个用户的第一用户的视野的对象；从共享虚拟几何结构中移除所述对象；以及生成从第二用户的视角地点来看不具有共享虚拟几何结构的所述对象的更新的2D视角视频。

对于一些实施例，一种方法可进一步包括：接收所述2D视角视频中的一者；显示接收的2D视角视频。

装置的一些实施例可以包括：处理器；以及存储指令的非暂时性计算机可读介质，当在处理器上执行所述指令时，所述指令可操作以执行上面列出的方法。

方法的一些实施例可以包括：为多个用户提供空间可靠的视频会议；接收每个参与者的本地环境的3D扫描；计算共享虚拟几何结构；以及管理共享几何结构内的用户的地点。

对于一些实施例，管理共享几何结构内的用户的地点可以包括：在虚拟几何结构中指定初始位置；基于各个移动修改虚拟几何结构中的位置；基于来自用户的命令修改所述几何结构；跟踪会议参与者的位置和取向；从对应于所述地点的第一参与者接收视角2D视频；接收第二参会者的观看方向，并以空间可靠的方式跟随所述第二参会者的可能位置变化；计算组合单个 360背景与第二参会者的视角视频的全景图像；将所述全景图像传送到第二参会者；以及构造共享虚拟几何结构，其中共享虚拟几何结构可以与每个参与者的本地几何结构重叠，并且共享虚拟几何结构可以将各个本地几何结构分配到网格中的位置，以及其中构造共享虚拟几何结构可以基于共同原点来对准本地几何结构并且可以提供本地几何结构的取向到共同方向。

注意，所描述的实施例中的一个或多个的各种硬件部件被称为“模块”，其实现(即，执行、实施等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现方式的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列 (FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于执行被描述为由相应模块执行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令、软件指令等的形式或包括它们，并且可以存储在任何合适的非暂时性计算机可读介质中，诸如通常被称为RAM、ROM等。

尽管以上以特定的组合描述了特征和部件，但是本领域的普通技术人员将理解，每个特征或部件可以单独使用或与其它特征和部件以任何组合使用。另外，本文描述的方法可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。计算机可读存储介质的示例包括但不限于，只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储器设备、诸如内部硬盘和可移除硬盘等磁介质、磁光介质、以及诸如CD-ROM盘和数字多功能盘(DVD) 等光介质。与软件相关联的处理器可以用于实现在WTRU、UE、终端、基站、RNC或任何主机计算机中使用的射频收发信机。

Claims (19)

1.一种允许在虚拟空间中探索的方法，该方法包括：

针对参与视频会议的多个用户中的每一者，接收相应用户的本地环境的三维(3D)本地环境扫描；

将多个本地环境扫描中的每一者映射到虚拟空间中的相应网格地点和取向；

响应于从控制用户接收环境移动的输入，调节从所述控制用户的所述本地环境扫描到所述虚拟空间的映射，以便于修改相对于所述虚拟空间的所述控制用户的所述本地环境扫描的所述地点和所述取向中的至少一者；

跟踪至少一个观看用户在所述虚拟空间中的视角地点；以及

生成从所述观看用户的所述视角地点来看所述虚拟空间的视角视频。

2.根据权利要求1所述的方法，其中映射所述虚拟空间包括：

将所述多个本地环境扫描中的每一者对准到共同原点；以及

将所述多个本地环境扫描中的每一者定向到共同方向，以及

其中，所述虚拟空间与所述多个本地环境扫描中的每一者重叠。

3.根据权利要求1所述的方法，其中映射所述虚拟空间包括：将所述本地环境扫描映射到棋盘格状空间中的不同的相应单元。

4.根据权利要求1所述的方法，其中，跟踪所述虚拟空间中的至少一个观看用户的所述视角地点包括：

基于所述多个用户中的每一者的移动，修改所述多个用户中的每一者在所述虚拟空间中的所述地点；

基于多个用户命令修改所述虚拟空间；以及

跟踪至少一个观看用户在所修改的虚拟空间中的所述地点和所述取向。

5.根据权利要求1至4中任一项所述的方法，其中，生成从所述观看用户的所述视角地点来看所述虚拟空间的所述视角视频包括：

确定选自所述多个用户中的第一用户与选自所述多个用户中的第二用户之间的虚拟空间中的距离；以及

响应于确定所述第一用户与所述第二用户之间的所述距离小于阈值：

选择用于表示所述视角视频的分辨率；以及

基于所选择的分辨率来创建所述视角视频。

6.根据权利要求1至4中任一项所述的方法，该方法还包括：计算组合视频，该组合视频组合背景图像与来自所述观看用户的所述视角地点的所述虚拟空间的所述视角视频。

7.根据权利要求6所述的方法，该方法还包括：将所述组合视频传送到选自所述多个用户的第一用户。

8.根据权利要求1至4中任一项所述的方法，该方法还包括：

在第二用户的地点和收听方向改变之后，从第一用户接收与第一用户的地点和收听方向相对应的音频信号；

计算与所述第二用户的所述地点和收听方向相对应的音频信号；以及

将所计算的音频信号传送至所述第二用户。

9.根据权利要求1至4中任一项所述的方法，该方法还包括：

从另一用户接收视角视频；

对从另一用户接收的所述视角视频进行解码以生成解码的视角视频；

用附加内容增强所述解码的视角视频以生成增强的2D视角视频；

对所述增强的视角视频进行编码以生成编码的视角视频；以及

将所述编码的视角视频传送至服务器。

10.根据权利要求1至4中任一项所述的方法，该方法还包括：

计算组合背景与所述视角视频中的至少一者的组合的视角视频；以及

显示所述组合的视角视频。

11.根据权利要求10所述的方法，该方法还包括：

从选自所述多个用户中的一者的远程用户接收信息，该信息用于改变本地环境几何结构在所述虚拟空间内的地点；

选择用于与由从所述远程用户接收的所述信息指示的地点相关联的背景的新背景；以及

用所述新背景替换所述组合的视角视频的所述背景。

12.根据权利要求1至4中任一项所述的方法，该方法还包括：

检测从选自所述多个用户的第二用户的视角地点来看遮挡选自所述多个用户的第一用户的视野的对象；

从所述虚拟空间中移除所述对象；以及

生成从所述第二用户的所述视角地点来看没有所述虚拟空间的所述对象的更新的视角视频。

13.根据权利要求1至4中任一项所述的方法，该方法还包括：

接收所述视角视频中的至少一者；以及

显示所接收的所述至少一个视角视频。

14.根据权利要求1至4中任一项所述的方法，所述映射被执行以避免所述本地环境扫描在所述虚拟空间中的重叠。

15.根据权利要求1至4中任一项所述的方法，其中，所述视角视频包括至少一个二维(2D)视角视频。

16.根据权利要求1至4中任一项所述的方法，其中，所述映射的所述调节被执行以便于修改相对于所述虚拟空间的所述控制用户的所述本地环境扫描的所述地点。

17.一种用于允许在虚拟空间中探索的装置，该装置包括：

处理器；以及

存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时可操作以执行一种方法，该方法包括：

针对参与视频会议的多个用户中的每一者，接收相应用户的本地环境的三维(3D)本地环境扫描；

将所述多个本地环境扫描中的每一者映射到虚拟空间中的相应网格地点和取向；

响应于从控制用户接收环境移动的输入，调节从所述控制用户的所述本地环境扫描到所述虚拟空间的映射，以便于修改相对于所述虚拟空间的所述控制用户的所述本地环境扫描的所述地点和所述取向中的至少一者；

跟踪至少一个观看用户在所述虚拟空间中的视角地点；以及

生成从所述观看用户的所述视角地点来看所述虚拟空间的视角视频。

18.根据权利要求17所述的装置，所述映射被执行以避免所述本地环境扫描在所述虚拟空间中的重叠。

19.根据权利要求17或18所述的装置，其中，所述视角视频包括至少一个二维(2D)视角视频。

Images