CN114258668A

CN114258668A - 沉浸式远程会议和远程呈现

Info

Publication number: CN114258668A
Application number: CN202080058984.2A
Authority: CN
Inventors: O·奥伊曼
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2019-06-25
Filing date: 2020-06-25
Publication date: 2022-03-29
Also published as: US20220417308A1; US11528312B2; US20240098129A1; US20220174108A1; US11652862B2; WO2020264088A1

Abstract

实施方案可涉及用户设备(UE)，该用户设备被配置为确定实时传输协议(RTP)媒体流和补充信息增强(SEI)消息，该实时传输协议媒体流包括与同时拍摄的位置的多个图像相关的可视化数据，并且该补充信息增强消息用于显示该可视化数据的至少部分；UE还被配置为基于可视化数据和SEI消息向用户设备的用户视觉地显示该可视化数据的该部分。还描述了其他实施方案或要求对其进行保护。

Description

沉浸式远程会议和远程呈现

相关申请的交叉引用

本公开要求于2019年6月25日提交并且名称为“SESSION DESCRIPTION PROTOCOL(SDP)-BASED METHODS FOR IMMERSIVE TELECONFERENCING AND TELEPRESENCE”的美国临时专利申请号62/866,488的优先权的权益。以上说明的专利申请全文以引用方式并入本文。

背景技术

随着蜂窝宽带的增加，远程呈现和远程会议变得越来越普遍。在一些用例中，多个用户可经由用户设备(UE)(诸如蜂窝电话、平板电脑、头戴式耳机或一些其他设备)从远程位置加入会议。

附图说明

图1描绘了与本文的各种实施方案的第一示例用例相关的简化架构。

图2描绘了与本文的各种实施方案的第二示例用例相关的简化替代架构。

图3描绘了根据本文的各种实施方案的可能的接收器架构的概览。

图4描绘了与本文的实施方案相关的示例性过程流程。

图5示出了根据各种实施方案的网络系统的示例性架构。

图6示出了根据各种实施方案的平台(或“设备”)的示例。

图7示出了根据各种实施方案的基带电路和无线电前端模块(RFEM)的示例性部件。

具体实施方式

在以下具体实施方式中，参考形成本发明的一部分的附图，其中类似的数字表示整个附图中类似的部件，并且在附图中以举例的方式示出了其中可实践本公开的主题的实施方案。应当理解，在不脱离本公开的范围的情况下，可使用其他实施方案并且可进行结构性或逻辑性变更。因此，以下具体实施方式将不具有限制意义。

出于本公开的目的，短语“A或B”是指(A)、(B)或(A和B)。出于本公开的目的，短语“A、B或C”是指(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。描述可使用短语“在一个实施方案中”或“在多个实施方案中”，其可各自指相同或不同实施方案中的一者或多者。此外，与本公开的实施方案一起使用的术语“包含”、“包括”、“具有”等同义。

术语“耦接”及其衍生词可用于本文。“耦接”可指如下中的一者或多者。“耦接”可表示直接物理接触或电接触的两个或更多个元件。然而，“耦接”还可表示两个或更多个元件彼此间接接触，但仍彼此协作或进行交互，并且可意味着一个或多个其他元件耦接或连接在被称为彼此耦接的元件之间。术语“直接耦接”可表示直接接触的两个或更多个元件。

各种操作可以最有助于理解要求保护的主题的方式依次描述为多个离散操作。然而，不应将描述的顺序理解为暗示这些操作必然依赖于顺序。

通常，本文的实施方案涉及基于SDP和基于实时传输协议(RTP)的过程以支持沉浸式远程会议和远程呈现。例如，实施方案可涉及协商沉浸式媒体交换能力的SDP过程。本文的实施方案可提供许多益处，诸如简化互操作性和SDP处理。

图1描绘了与本文的实施方案的第一示例用例相关的简化架构100。应注意，该用例是关于具有两个远程个体105a和105b的远程会议来描述的，但是在其他实施方案中，该架构可包括更多或更少的个体。具体地，在图1中，一组同事可能正在会议室110开会。会议室可包括会议桌(用于实际出席的参与者)、相机和视图屏幕。出于本公开的目的，相机将被描述为“360度相机”，其能够捕获相机周围全360度视场的视频。具体地，相机可包括多个单独的相机或镜头，其能够相对于相机以不同角度或视场捕获视频。然而，应当理解，在其他实施方案中，相机可能不是全360度相机，而可被配置为捕获小于全360度视场的视场。

在105a和105b处的两个其他个体可能与会议室110不在相同位置，并且可能希望通过远程会议加入会议。例如，会议室110中的参与者可使用屏幕来显示来自个体105a和105b的共享展示和/或视频流。在该示例用例中，个体105a可使用具有头戴式显示器(HMD)和捕获其视频的相机的UE从远程位置(诸如他们的家)加入视频会议。个体105a可通过例如转动其头部来欣赏会议室110的360度视图。个体105b可使用诸如移动电话之类的UE从远程位置(诸如机场)加入会议。个体105b还可通过转动电话来欣赏其移动电话屏幕上的会议室的360度视图，并且可进一步使用其移动相机来捕获自己的视频。

在该示例用例中，个体105a和105b可以能够看到会议室110中的屏幕作为360度视频的一部分。他们还可选择使用自己的显示设备对焦各种传入视频流(例如展示或其他远程参与者的相机馈送)中的一个或多个视频流。

通常，上述用例可在两种可能的配置中实现。第一配置如上文关于图1所述。在该配置中，可在没有诸如会议服务器的媒体感知网络元件的支持的情况下建立会议室110与各种个体105a和105b(或可使用一个或多个UE加入的其他个体)之间的通信。在该实施方案中，诸如音频或视频的通信可通过会话音频/视频流125在会议室110与个体105a/105b之间直接传输。具体地，会话音频或视频流可在会议室与个体105a/105b的UE之间提供音频或视频数据(例如，个体105a或105b的数据)。

另外，个体105a/105b可向会议室110提供视口相关信息115，该会议室又可在120提供视口依赖音频或视频流。如本文所使用的，术语“视口”可涉及由UE显示的会议室110的视场。例如，术语“视口”可涉及会议室110的缩放级别、特定方向等。更具体地，诸如个体105a/105b的个体可通过多种机制，(如与UE的交互(例如，在UE的触摸屏上滑动或一些其他交互)、UE的旋转以及诸如口头命令、手势等命令)来改变其视口。可经由视口相关信息115传送该改变。作为响应，可改变视口依赖音频或视频流120以包括提供到个体105a/105b的UE的对视频信息(诸如视场、缩放级别、音频流的立体声方面等)的对应改变。

图2描绘了与本文的各种实施方案的第二示例用例相关的简化替代架构200。类似于架构100，架构200可包括会议室210和个体205a/205b，其可与会议室110和个体105a和105b类似。在第二种情况下，呼叫是使用网络功能建立的，这可由媒体资源功能(MRF)或媒体控制单元(MCU)执行。具体地，MRF/MCU可以由会议服务器230提供，该会议服务器可通信地位于个体205a/205b与会议室210之间。在一些实施方案中，会议服务器230可以是可操作以提供MRF或MCU功能的互联网协议(IP)多媒体子系统(IMS)服务器。

在该示例用例中，服务器230可从会议室210接收视口独立流240。具体地，服务器230可接收不基于特定视口方向的音频或视频数据。服务器230还可与会议室210通信地耦接，以提供会话音频或可视化数据流235，该会话音频或可视化数据流可通常类似于上文关于图1描述的流125。

服务器230还可经由诸如视口依赖流220、视口相关信息215和会话音频/视频流225的数据流与个体205a和205b通信地耦接，该视口依赖流、视口相关信息和会话音频/视频流可分别类似于视口依赖流120、视口相关信息115和会话音频/视频流125。

通常，架构100或200的用例可使得加入远程会议和远程呈现会议的个体205a/205b通过双向音频和单向沉浸式视频获得沉浸式体验，例如，佩戴HMD参与会议的远程用户可发送音频和可选的2D视频(例如，展示、屏幕共享和/或用户本身的捕获)，但接收由连接到固定网络的会议室中的全向相机捕获的立体声或沉浸式语音/音频和沉浸式视频。

应当理解，这些架构是示例性架构，并且其他实施方案可包括两种架构的方面或附加方面。例如，在一些实施方案中，个体的UE可与会议室直接耦接，而另一个体的UE可与服务器通信地耦接。在一些实施方案中，当个体的UE可与会议室直接耦接以获得会话音频或可视化数据流时，该个体的UE可与服务器通信地耦接以获得视口相关信息。还应理解，如本文所使用的，“与会议室耦接”的概念用于描述与例如服务器或其他电子设备的通信耦接，该服务器或其他电子设备正在提供或接收来自会议室的扬声器或相机的音频或视频数据。

架构100或200可具有许多示例性特征。一个这样的特征可以是可允许多个单用户参与者，诸如个体105a/105b/205a/205b。单用户之间的通信可被构造为用于IMS(MTSI)的多媒体电话服务或如由第三代合作伙伴计划(3GPP)规范定义的远程呈现通信。在其他实施方案中，通信可被构造为多流MTSI(MSMTSI)。在使用MSMTSI的实施方案中，可在单独的媒体流中传输媒体数据。

另一个这样的特征可以是涉及多个物理位置的多方会议场景中每个位置(例如，在会议室110或210中的相应一个会议室中)的单个360度相机的呈现。如上所述，相机可拍摄多个二维图像。然后可将图像“拼接”在一起或组合成具有更宽(例如，360度)视场的图像。各种实施方案可使用：相机内拼接，其中图像通过相机本身拼接在一起；或基于网络的拼接，其中图像通过服务器(诸如服务器230)拼接在一起。

在相机拼接的情况下，可例如在视口独立流240中将拼接的沉浸式视频从会议室210发送到服务器，并且然后例如通过视口依赖流220、会话音频/视频流225或两者从服务器230发送到个体205a或205b。如果用例是会议室210与用户(例如，个体105a/105b/205a/205b)之间的一对一会话会议，则可能不需要充当媒体网关的服务器，诸如服务器230。

在基于网络的拼接的用例中，可例如在视口独立流240中将各种二维图像从会议室210发送到服务器230。服务器可执行图像的解码、拼接和重新编码以产生沉浸式视频(例如，具有更大视场的视频或图像)，然后如上所述将其分配给远程参与者。

在一些实施方案中，可能期望架构100或200的各种元件(诸如会议室110/210中的相机或电子器件、个体105a/105b/205a/205b的UE或服务器230)支持MTSI或IMS远程呈现编解码器、协议或与沉浸式语音/音频和沉浸式视频的编码、递送和消耗相关的传输能力。还可能期望诸如会议室110或210的相机或电子器件或服务器230之类的元件能够发送视口依赖流、视口独立流或两者。还可能期望构建架构，以便递送视口方向的变化，并且以减少或消除延迟倾向信令的方式(诸如SIP重新协商)更新相关视口依赖流。还可能期望架构建立合适的坐标系以用作架构100或200的各种元件之间的传递视口方向的标准方式。

通常，本文的实施方案可包括与用于沉浸式远程会议的3GPP技术规范(TS)26.114v16.2.0(2019年6月)的图4.1中描绘的MTSI服务架构类似的方面或元件。此外，可观察到以下情况。

对于相机内拼接，拼接的沉浸式视频可从会议室发送到会议服务器(例如，MSMTSIMRF)或直接发送到一个或多个RTP流(例如，经由SDP建立的)中的远程参与者(例如，一对一会话)。如果使用基于块或子图片的递送优化，则可使用多个RTP流。在这些实施方案中，RTP流可以是例如图1或图2的视口依赖流120/220或视口独立流240。

对于基于网络的拼接，可在会议服务器与会议室之间(例如，使用MSMTSI，经由SDP)建立多个RTP流，例如，作为多个视口独立流240，其中每个流可携带特定的二维图像或视频捕获。然后例如在视口依赖流220中可将这些RTP流从会议室发送到会议服务器，并且会议服务器可执行解码、拼接和重新编码以产生包含沉浸式视频的一个或多个RTP流，然后将其分发给远程参与者(例如，再次经由MSMTSI)。如果使用基于块或子图片的递送优化，则可将多个RTP流用于沉浸式视频。

图3描绘了根据本文的各种实施方案的可能的接收器架构的概览。具体地，图3提供了可能的接收器架构的概览，该可能的接收器架构在MTSI或IMS远程呈现UE中重建球形视频，诸如可由个体105a/105b/205a/205b等使用。可以理解，图3可能不表示实际具体实施，而是可被认为描绘了接收器功能的逻辑集合。通常，图3的一些或全部元件可在基带接收器中实现。在其他实施方案中，各种元件可在射频(RF)收发器的处理器或元件中实现或由其实现，或在UE内的其他地方实现。

最初，RTP接收器300可接收一个或多个RTP流301。可从例如服务器(诸如服务器230)或会议室(诸如上述会议室110或210)接收RTP流301。更具体地，可在视口依赖流(诸如视口依赖流120或220)中接收一个或多个RTP流301。基于一个或多个接收到的RTP流301，RTP接收器300可解析、可能解密或另外处理一个或多个RTP流301以生成基本流303，该基本流被提供给高效率视频编码(HEVC)解码器305。HEVC解码器305可从基本流303获得解码器输出信号。解码器输出信号可包含图像数据，该图像数据在本文中可称为“纹理”307。HEVC解码器305还可获得解码器元数据309。解码器元数据309可包括一个或多个补充信息增强(SEI)消息(例如，在全向视频特定SEI消息中携带的信息)，以供UE在渲染阶段使用。特别地，解码器元数据309可由纹理-球体映射函数310使用以基于解码的输出信号(例如，纹理307)生成球形视频311(或其一部分)。然后，视口渲染模块315可通过考虑来自传感器的视口位置信息、显示特性以及诸如初始视口信息的其他可能元数据，从球形视频信号311(或其一部分)生成视口。然后可将渲染的信号提供给UE的显示器，诸如触摸屏、目镜或一些其他显示器，使得UE的用户可查看渲染的图像。

对于360度视频，潜在解决方案可考虑以下原理中的一个或多个原理。具体地，RTP流301可包含具有全向视频特定SEI消息的HEVC比特流。全向视频特定SEI消息可类似于在国际标准化组织/国际电工委员会(ISO/IEC)标准23008-2(2017)中定义的那些消息。基本流303可基于全向媒体格式(OMAF)规范ISO/IEC 23090-2(2019)第10.1.2.2条。

通常，具有解码器渲染元数据的基本流303中的SEI消息可包括各种信息。例如，SEI消息可包括分区封装信息，例如，携带分区封装格式指示和任何覆盖限制。SEI消息还可包括投影映射信息，该投影映射信息指示使用的投影格式，例如等距柱状投影(ERP)或立方图投影(CMP)。SEI消息还可包括与填充有关的信息，例如，封装的图片中是否存在垫料或保护带。SEI消息还可包括与帧封装布置有关的信息，其指示用于立体内容的帧封装格式。SEI消息还可包括内容预旋转信息，该内容预旋转信息指示在编码器侧的投影和分区封装之前施加到球体信号的球体旋转量(如果有)。

然后可使用与相关SEI消息相关的解码器元数据信息309来渲染输出信号，例如解码的图片或“纹理”307。解码器元数据309可在执行渲染操作时使用，诸如分区封装、投影去映射和旋转以创建针对用户每只眼睛的球形内容(如果需要)。

在一些实施方案中，对于点对点会话和多方会议场景都可支持视口依赖处理。例如在视口相关信息115或215中，可通过从MTSI接收器(例如，个体的UE，诸如个体105a/105b/205a/205b)发送RTP控制协议(RTCP)反馈或具有期望视口信息的RTP标头扩展消息来实现视口依赖处理。然后，对应视口依赖信息可由MTSI发送器(例如，在视口依赖流120中的会议室110)或由服务器230(例如，在视口依赖流220中)编码和发送。

该处理流程可为期望视口提供比视口独立方法更高的分辨率。通常，基于分块和子图片编码的视口依赖处理可基于由MTSI和基于IMS的远程呈现所支持的基于RTP/RTCP的协议。

为了实现视口依赖虚拟现实(VR)服务视为可接受的视频质量，可能期望MTSI和IMS远程呈现中支持VR的视频编解码器与OMAF、3GPP TS 26.118 v 15.1.0(2018年12月)或两者保持一致。可能期望MTSI客户端(如可由UE使用)和MTSI网关(如可由服务器230使用)编解码器要求与这些推荐的对VR支持的视频编解码器要求保持一致。

与用于运输解码器渲染元数据的SEI消息的协商相关的过程可能类似于互联网工程任务组(IETF)征求意见稿(RFC)7798(2016年3月)中关于HEVC的RTP有效载荷格式中描述的过程。特别地，该过程可涉及使用“sprop-sei”参数在SDP中公开与用于全向媒体的解码器渲染元数据相关的SEI消息，这可允许传输描述比特流特性的一个或多个SEI消息。当存在时，解码器可依赖于在整个会话期间的SEI消息中描述的比特流特性。在一些实施方案中，MTSI客户端和MTSI网关都可支持用于VR支持的RTP有效载荷格式。

如上所述，SEI消息可存在于解码器元数据309中。SEI消息可包括以下一个或多个消息：等距柱状投影SEI消息；立方图投影SEI消息；球体旋转SEI消息；和分区封装SEI消息。对于一对一视频电话场景或多方视频会议场景中的立体视频支持，可能需要对帧封装布置SEI消息的子集的支持。

图4描绘了与本文的实施方案相关的示例性过程流程。应当理解，对于相机内拼接，拼接的沉浸式视频可从会议室(例如，会议室110或210)发送到服务器(例如，服务器230)或直接发送到如上所述的(例如，经由SDP建立的)一个或多个RTP流中的远程参与者(例如，到个体105a/105b/205a/205b)。另外，在一些实施方案中，如果使用基于块或子图片的递传优化，则可使用多个RTP流。

图4的处理流程中可能存在3个通信元件。具体地，该处理流程可包括在405处的个体的UE，其可类似于例如个体105a/105b/205a/205b等的UE。该处理流程还可包括服务器430，该服务器可类似于例如服务器230。该处理流程还可包括会议室410处的电子设备，该会议室可类似于例如会议室110或210。

最初，在402处，在405处的UE可向服务器430发送SDP提议，指示包括360度视频支持的沉浸式媒体能力。在一些实施方案中，在405处的UE还可包括SDP提议中的视口依赖处理能力，例如基于本文所述的各种实施方案。如果提议了视口依赖处理，则在402处的SDP提议可包括两个或更多个RTP流，例如一个RTP流是用于基本360度视频，而另一个是视口优化RTP流，其具有对应于期望视口的高质量360度视频。

在404处，服务器430可利用确认服务器430的沉浸式媒体能力的SDP应答回应UE405，该沉浸式媒体能力包括360度视频支持。在一些实施方案中，服务器430还可包括在404处的SDP应答中的视口依赖处理能力的指示。如果接受或包括视口依赖处理，则来自服务器430的SDP应答可包括多个RTP流。

在406处，会议室410可向服务器430提供视口独立信息，并且然后在408处，服务器430可将RTP媒体流与包含360度视频的沉浸式媒体流播到405处的UE。360度视频传输可基于携带SEI消息的HEVC的RTP有效载荷格式。

在一些实施方案中，在410处，在405处的UE可使用专用RTCP反馈消息来发信号告知期望的视口信息。在该实施方案中，在412处，服务器430可回应在405处UE。实际传输的视口上的信息也可包括在RTP媒体流中。如果两个RTP流协商，那么含有高质量360度视频的视口优化RTP流可包含该信息。

应当理解，该实施方案旨在作为一个示例性实施方案，并且其他实施方案可包括更多或更少的元件、与所描绘的顺序不同的元件等。还应理解，尽管本文中的元件被描述为与360度视频相关，但在其他实施方案中，媒体流可与如上所述的较窄视场相关。

图5示出了根据各种实施方案的网络的系统500的示例性架构。以下描述是针对结合3GPP技术规范提供的LTE系统标准和5G或NR系统标准操作的示例性系统500提供的。然而，就这一点而言示例性实施方案不受限制，并且所述实施方案可应用于受益于本文所述原理的其他网络，诸如未来3GPP系统(例如，第六代(6G))系统、IEEE 802.16协议(例如，WMAN、WiMAX等)等。

如图5所示，系统500包括UE 501a和UE 501b(统称为“UE 501”)，其可类似于例如个体105a/105b/205a/205c的UE或405处描述的UE。在该示例中，UE 501被示出为智能电话(例如，能够连接到一个或多个蜂窝网络的手持式触摸屏移动计算设备)，但也可以包括任何移动或非移动计算设备，诸如消费电子设备、移动电话、智能电话、功能手机、平板电脑、可穿戴计算机设备、个人数字助理(PDA)、寻呼机、无线手持设备、台式计算机、膝上型计算机、车载信息娱乐(IVI)、车载娱乐(ICE)设备、仪表板、平视显示器(HUD)设备、板载诊断(OBD)设备、dashtop移动装备(DME)、移动数据终端(MDT)、电子发动机管理系统(EEMS)、电子/发动机控制单元(ECU)、电子/发动机控制模块(ECM)、嵌入式系统、微控制器、控制模块、发动机管理系统(EMS)、联网或“智能”家电、MTC设备、M2M、IoT设备等。

在一些实施方案中，UE 501中的任一个UE可以是IoT UE，这种UE可包括被设计用于利用短期UE连接的低功率IoT应用的网络接入层。IoT UE可利用诸如M2M或MTC的技术来经由PLMN、ProSe或D2D通信、传感器网络或IoT网络与MTC服务器或设备交换数据。M2M或MTC数据交换可以是机器启动的数据交换。IoT网络描述了互连的IoT UE，这些UE可包括具有短暂连接的唯一可识别的嵌入式计算设备(在互联网基础设施内)。IoT UE可执行后台应用程序(例如，保持活动消息、状态更新等)以促进IoT网络的连接。

UE 501可被配置为连接，例如，与RAN 510通信地耦接。在实施方案中，RAN 510可以是NG RAN或5G RAN、E-UTRAN或传统RAN，诸如UTRAN或GERAN。如本文所用，术语“NG RAN”等可指在NR或5G系统500中操作的RAN 510，而术语“E-UTRAN”等可指在LTE或4G系统500中操作的RAN 510。UE 501分别利用连接(或信道)503和504，每个连接包括物理通信接口或层(下文进一步详细讨论)。

在该示例中，连接503和504被示出为空中接口以实现通信耦接，并且可与蜂窝通信协议一致，蜂窝通信协议诸如GSM协议、CDMA网络协议、PTT协议、POC协议、UMTS协议、3GPPLTE协议、5G协议、NR协议和/或本文所讨论的任何其他通信协议。在实施方案中，UE 501可经由ProSe接口505直接交换通信数据。ProSe接口505可另选地称为SL接口505，并且可包括一个或多个逻辑信道，包括但不限于PSCCH、PSSCH、PSDCH和PSBCH。

UE 501b被示出为被配置为经由连接507接入AP 506(也称为“WLAN节点506”、“WLAN 506”、“WLAN终端506”、“WT 506”等)。连接507可包括本地无线连接，诸如与任何IEEE802.11协议一致的连接，其中AP 506将包括无线保真

路由器。在该示例中，示出的AP 506连接到互联网而没有连接到无线系统的核心网络(下文进一步详细描述)。在各种实施方案中，UE 501b、RAN 510和AP 506可被配置为利用LWA操作和/或LWIP操作。LWA操作可涉及由RAN节点511a-b配置为利用LTE和WLAN的无线电资源的处于RRC_CONNECTED状态的UE 501b。LWIP操作可涉及UE 501b经由IPsec协议隧道来使用WLAN无线电资源(例如，连接507)来认证和加密通过连接507发送的分组(例如，IP分组)。IPsec隧道传送可包括封装整个原始IP分组并添加新的分组头，从而保护IP分组的原始头。

RAN 510包括启用连接503和504的一个或多个AN节点或RAN节点511a和511b(统称为“多个RAN节点511”或“RAN节点511”)。如本文所用，术语“接入节点”、“接入点”等可描述为网络与一个或多个用户之间的数据和/或语音连接提供无线电基带功能的装备。这些接入节点可被称为BS、gNB、RAN节点、eNB、NodeB、RSU、TRxP或TRP等，并且可包括在地理区域(例如，小区)内提供覆盖的地面站(例如，陆地接入点)或卫星站。如本文所用，术语“NG RAN节点”等可指在NR或5G系统500中操作的RAN节点511(例如gNB)，而术语“E-UTRAN节点”等可指在LTE或4G系统500中操作的RAN节点511(例如eNB)。根据各种实施方案，RAN节点511可被实现为专用物理设备诸如宏小区基站和/或用于提供与宏小区相比具有较小覆盖区域、较小用户容量或较高带宽的毫微微小区、微微小区或其他类似小区的低功率(LP)基站中的一者或多者。

在一些实施方案中，多个RAN节点511的全部或部分可被实现为在服务器计算机上运行的一个或多个软件实体，作为可称为CRAN和/或虚拟基带单元池(vBBUP)的虚拟网络的一部分。在这些实施方案中，CRAN或vBBUP可实现RAN功能划分诸如PDCP划分，其中RRC和PDCP层由CRAN/vBBUP操作，而其他L2协议实体由各个RAN节点511操作；MAC/PHY划分，其中RRC、PDCP、RLC和MAC层由CRAN/vBBUP操作，并且PHY层由各个RAN节点511操作；或“下部PHY”划分，其中RRC、PDCP、RLC、MAC层和PHY层的上部部分由CRAN/vBBUP操作，并且PHY层的下部部分由各个RAN节点511操作。该虚拟化框架允许多个RAN节点511的空闲处理器内核执行其他虚拟化应用程序。在一些具体实施中，单独的RAN节点511可表示经由单独的F1接口(图5未示出)连接到gNB-CU的单独的gNB-DU。在这些具体实施中，gNB-DU可包括一个或多个远程无线电头端或RFEM，并且gNB-CU可由位于RAN 510中的服务器(未示出)或由服务器池以与CRAN/vBBUP类似的方式操作。除此之外或另选地，RAN节点511中的一个或多个RAN节点可以是下一代eNB(ng-eNB)，该下一代eNB是向多个UE 501提供E-UTRA用户平面和控制平面协议终端并且经由NG接口(下文讨论)连接到5GC的RAN节点。

在V2X场景中，RAN节点511中的一个或多个RAN节点可以是RSU或充当RSU。术语“道路侧单元”或“RSU”可指用于V2X通信的任何交通基础设施实体。RSU可在合适的RAN节点或静止(或相对静止)的UE中实现或由其实现，其中在UE中实现或由其实现的RSU可被称为“UE型RSU”，在eNB中实现或由其实现的RSU可被称为“eNB型RSU”，在gNB中实现或由其实现的RSU可被称为“gNB型RSU”等等。在一个示例中，RSU是与位于道路侧的与RF电路耦接的计算设备，该计算设备向通过的车辆UE 501(vUE 501)提供连通性支持。RSU还可包括内部数据存储电路，其用于存储交叉路口地图几何形状、交通统计、媒体，以及用于感测和控制正在进行的车辆和行人交通的应用程序/软件。RSU可在5.9GHz直接近程通信(DSRC)频带上操作以提供高速事件所需的极低延迟通信，诸如防撞、交通警告等。除此之外或另选地，RSU可在蜂窝V2X频带上操作以提供前述低延迟通信以及其他蜂窝通信服务。除此之外或另选地，RSU可作为Wi-Fi热点(2.4GHz频带)操作和/或提供与一个或多个蜂窝网络的连接以提供上行链路和下行链路通信。计算设备和RSU的射频电路中的一些或全部可封装在适用于户外安装的耐候性封装件中，并且可包括网络接口控制器以提供与交通信号控制器和/或回程网络的有线连接(例如，以太网)。

多个RAN节点511中的任一个都可作为空中接口协议的终点，并且可以是多个UE501的第一联系点。在一些实施方案中，多个RAN节点511中的任一个都可执行RAN 510的各种逻辑功能，包括但不限于无线电网络控制器(RNC)的功能，诸如无线电承载管理、上行链路和下行链路动态无线电资源管理和数据分组调度以及移动性管理。

在实施方案中，UE 501可被配置为根据各种通信技术，使用OFDM通信信号在多载波通信信道上彼此或者与RAN节点511中的任一个AN节点进行通信，所述通信技术诸如但不限于OFDMA通信技术(例如，用于下行链路通信)或SC-FDMA通信技术(例如，用于上行链路和ProSe或侧链路通信)，但是实施方案的范围在这方面不受限制。OFDM信号可包括多个正交子载波。

在一些实施方案中，下行链路资源网格可用于从RAN节点511中的任一个节点到UE501的下行链路传输，而上行链路传输可利用类似的技术。网格可以是时频网格，称为资源网格或时频资源网格，其是每个时隙中下行链路中的物理资源。对于OFDM系统，此类时频平面表示是常见的做法，这使得无线资源分配变得直观。资源网格的每一列和每一行分别对应一个OFDM符号和一个OFDM子载波。时域中资源网格的持续时间与无线电帧中的一个时隙对应。资源网格中最小的时频单位表示为资源元素。每个资源网格包括多个资源块，这些资源块描述了某些物理信道到资源元素的映射。每个资源块包括资源元素的集合；在频域中，这可以表示当前可以分配的最少量资源。使用此类资源块来传送几个不同的物理下行链路信道。

根据各种实施方案，UE 501和RAN节点511通过许可介质(也称为“许可频谱”和/或“许可频带”)和未许可共享介质(也称为“未许可频谱”和/或“未许可频带”)来传送数据(例如，传输数据和接收数据)。许可频谱可包括在大约400MHz至大约3.8GHz的频率范围内操作的信道，而未许可频谱可包括5GHz频带。

为了在未许可频谱中操作，UE 501和RAN节点511可使用LAA、eLAA和/或feLAA机制来操作。在这些具体实施中，UE 501和RAN节点511可执行一个或多个已知的介质感测操作和/或载波感测操作，以便确定未许可频谱中的一个或多个信道当在未许可频谱中传输之前是否不可用或以其他方式被占用。可根据先听后说(LBT)协议来执行介质/载波感测操作。

LBT是一种机制，装备(例如，UE 501、RAN节点511等)利用该机制来感测介质(例如，信道或载波频率)并且在该介质被感测为空闲时(或者当感测到该介质中的特定信道未被占用时)进行传输。介质感测操作可包括CCA，该CCA利用至少ED来确定信道上是否存在其他信号，以便确定信道是被占用还是空闲。该LBT机制允许蜂窝/LAA网络与未许可频谱中的现有系统以及与其他LAA网络共存。ED可包括感测一段时间内在预期传输频带上的RF能量，以及将所感测的RF能量与预定义或配置的阈值进行比较。

通常，5GHz频带中的现有系统是基于IEEE 802.11技术的WLAN。WLAN采用基于争用的信道接入机制，称为CSMA/CA。这里，当WLAN节点(例如，移动站(MS)诸如UE 501、AP 506等)打算传输时，WLAN节点可在传输之前首先执行CCA。另外，在多于一个WLAN节点将信道感测为空闲并且同时进行传输的情况下，使用退避机制来避免冲突。该退避机制可以是在CWS内随机引入的计数器，该计数器在发生冲突时呈指数增加，并且在传输成功时重置为最小值。被设计用于LAA的LBT机制与WLAN的CSMA/CA有点类似。在一些具体实施中，DL或UL传输突发(包括PDSCH或PUSCH传输)的LBT过程可具有在X和Y ECCA时隙之间长度可变的LAA争用窗口，其中X和Y为LAA的CWS的最小值和最大值。在一个示例中，LAA传输的最小CWS可为9微秒(μs)；然而，CWS的大小和MCOT(例如，传输突发)可基于政府监管要求。

LAA机制建立在LTE-Advanced系统的CA技术上。在CA中，每个聚合载波都被称为CC。一个CC可具有1.4、3、5、10、15或20MHz的带宽，并且最多可聚合五个CC，因此最大聚合带宽为100MHz。在FDD系统中，对于DL和UL，聚合载波的数量可以不同，其中UL CC的数量等于或低于DL分量载波的数量。在一些情况下，各个CC可具有与其他CC不同的带宽。在TDD系统中，CC的数量以及每个CC的带宽通常对于DL和UL是相同的。

CA还包含各个服务小区以提供各个CC。服务小区的覆盖范围可不同，例如，因为不同频带上的CC将经历不同的路径损耗。主要服务小区或PCell可为UL和DL两者提供PCC，并且可处理与RRC和NAS相关的活动。其他服务小区被称为SCell，并且每个SCell可为UL和DL两者提供各个SCC。可按需要添加和移除SCC，而改变PCC可能需要UE 501经历切换。在LAA、eLAA和feLAA中，SCell中的一些或全部可在未许可频谱(称为“LAA SCell”)中操作，并且LAA SCell由在许可频谱中操作的PCell协助。当UE被配置为具有多于一个LAA SCell时，UE可在配置的LAA SCell上接收UL授权，指示同一子帧内的不同PUSCH起始位置。

PDSCH将用户数据和较高层信令承载到多个UE 501。除其他信息外，PDCCH承载关于与PDSCH信道有关的传输格式和资源分配的信息。它还可以向UE 501通知关于与上行链路共享信道有关的传输格式、资源分配和HARQ信息。通常，可以基于从UE 501中的任一个UE反馈的信道质量信息在RAN节点511中的任一个RAN节点上执行下行链路调度(向小区内的UE 501b分配控制和共享信道资源块)。可在用于(例如，分配给)多个UE 501中的每个UE的PDCCH上发送下行链路资源分配信息。

PDCCH使用CCE来传送控制信息。在被映射到资源元素之前，可以首先将PDCCH复数值符号组织为四元组，然后可以使用子块交织器对其进行排列以进行速率匹配。可以使用这些CCE中的一个或多个来传输每个PDCCH，其中每个CCE可以对应于分别具有四个物理资源元素的九个集合，称为REG。四个正交相移键控(QPSK)符号可以映射到每个REG。根据DCI的大小和信道条件，可以使用一个或多个CCE来传输PDCCH。可存在四个或更多个被定义在LTE中具有不同数量的CCE(例如，聚合级，L＝1、2、4或8)的不同的PDCCH格式。

一些实施方案可以使用用于控制信道信息的资源分配的概念，其是上述概念的扩展。例如，一些实施方案可利用将PDSCH资源用于控制信息传输的EPDCCH。可使用一个或多个ECCE来传输EPDCCH。与以上类似，每个ECCE可以对应于九个包括四个物理资源元素的集合，称为EREG。在一些情况下，ECCE可以具有其他数量的EREG。

RAN节点511可被配置为经由接口512彼此通信。在系统500是LTE系统(例如，当CN520是EPC时)的实施方案中，接口512可以是X2接口512。X2接口可被限定在连接到EPC 520的两个或更多个RAN节点511(例如，两个或更多个eNB等)之间，和/或连接到EPC 520的两个eNB之间。在一些具体实施中，X2接口可包括X2用户平面接口(X2-U)和X2控制平面接口(X2-C)。X2-U可为通过X2接口传输的用户分组提供流控制机制，并且可用于传送关于eNB之间的用户数据的递送的信息。例如，X2-U可提供关于从MeNB传输到SeNB的用户数据的特定序号信息；关于针对用户数据成功将PDCP PDU从SeNB按序递送到UE 501的信息；未递送到UE501的PDCP PDU的信息；关于SeNB处用于向UE传输用户数据的当前最小期望缓冲器大小的信息；等等。X2-C可提供LTE内接入移动性功能，包括从源eNB到目标eNB的上下文传输、用户平面传输控制等；负载管理功能；以及小区间干扰协调功能。

在系统500是5G或NR系统的实施方案中，接口512可以是Xn接口512。Xn接口被限定在连接到5GC 520的两个或更多个RAN节点511(例如，两个或更多个gNB等)之间、连接到5GC520的RAN节点511(例如，gNB)与eNB之间，和/或连接到5GC 520的两个eNB之间。在一些具体实施中，Xn接口可包括Xn用户平面(Xn-U)接口和Xn控制平面(Xn-C)接口。Xn-U可提供用户平面PDU的非保证递送并支持/提供数据转发和流量控制功能。Xn-C可提供管理和错误处理功能，用于管理Xn-C接口的功能；在连接模式(例如，CM-CONNECTED)下对UE 501的移动性支持包括用于管理一个或多个RAN节点511之间的连接模式的UE移动性的功能。该移动性支持可包括从旧(源)服务RAN节点511到新(目标)服务RAN节点511的上下文传输；以及对旧(源)服务RAN节点511到新(目标)服务RAN节点511之间的用户平面隧道的控制。Xn-U的协议栈可包括建立在IP传输层上的传输网络层，以及UDP和/或IP层的顶部上的用于承载用户平面PDU的GTP-U层。Xn-C协议栈可包括应用层信令协议(称为Xn应用协议(Xn-AP))和构建在SCTP上的传输网络层。SCTP可在IP层的顶部，并且可提供对应用层消息的有保证的递送。在传输IP层中，使用点对点传输来递送信令PDU。在其他具体实施中，Xn-U协议栈和/或Xn-C协议栈可与本文所示和所述的用户平面和/或控制平面协议栈相同或类似。

RAN 510被示出为通信地耦接到核心网—在该实施方案中，通信地耦接到核心网(CN)520。CN 520可包括多个网络元件522，其被配置为向经由RAN 510连接到CN 520的客户/用户(例如，UE 501的用户)提供各种数据和电信服务。CN 520的部件可在一个物理节点或单独的物理节点中实现，包括用于从机器可读或计算机可读介质(例如，非暂态机器可读存储介质)读取和执行指令的部件。在一些实施方案中，NFV可用于经由存储在一个或多个计算机可读存储介质中的可执行指令来将上述网络节点功能中的任一个或全部虚拟化(下文将进一步详细描述)。CN 520的逻辑实例可被称为网络切片，并且CN 520的一部分的逻辑实例可被称为网络子切片。NFV架构和基础设施可用于将一个或多个网络功能虚拟化到包含行业标准服务器硬件、存储硬件或交换机的组合的物理资源上(另选地由专有硬件执行)。换句话讲，NFV系统可用于执行一个或多个EPC部件/功能的虚拟或可重新配置的具体实施。

一般来讲，应用服务器530可以是提供与核心网络一起使用IP承载资源的应用程序的元件(例如，UMTS PS域、LTE PS数据服务等)。应用服务器530还可被配置为经由EPC520支持针对UE 501的一种或多种通信服务(例如，VoIP会话、PTT会话、群组通信会话、社交网络服务等)。

在实施方案中，CN 520可以是5GC(称为“5GC 520”等)，并且RAN 510可经由NG接口513与CN 520连接。在实施方案中，NG接口513可被划分成两部分：NG用户平面(NG-U)接口514，该接口在RAN节点511和UPF之间承载流量数据；和S1控制平面(NG-C)接口515，该接口是RAN节点511和AMF之间的信令接口。

在实施方案中，CN 520可以是5G CN(称为“5GC 520”等)，而在其他实施方案中，CN520可以是EPC。在CN 520是EPC(称为“EPC 520”等)的情况下，RAN 510可经由S1接口513与CN 520连接。在实施方案中，S1接口513可被划分成两部分：S1用户平面(S1-U)接口514，该接口在RAN节点511和S-GW之间承载流量数据；和S1-MME接口515，该接口是RAN节点511和MME之间的信令接口。

图6示出了根据各种实施方案的平台600(或“设备600”)的示例。在实施方案中，计算机平台600可适于用作UE 501、应用服务器530、个体105a/105b/205a/205b的UE或405处的UE和/或本文所讨论的任何其他元件/设备。平台600可包括示例中所示的部件的任何组合。平台600的部件可被实现为集成电路(IC)、IC的部分、分立电子设备或适配在计算机平台600中的其他模块、逻辑、硬件、软件、固件或它们的组合，或者被实现为以其他方式结合在较大系统的底盘内的部件。图6的框图旨在示出计算机平台600的部件的高级视图。然而，可省略所示的部件中的一些，可存在附加部件，并且所示部件的不同布置可在其他具体实施中发生。

应用电路605包括电路，诸如但不限于一个或多个处理器(或处理器核心)、高速缓存存储器，以及LDO、中断控制器、串行接口(诸如SPI)、I2C或通用可编程串行接口模块、RTC、计时器(包括间隔计时器和看门狗计时器)、通用I/O、存储卡控制器(诸如安全数字(SD)MMC或类似控制器)、USB接口、MIPI接口和JTAG测试访问端口中的一者或多者。应用电路605的处理器(或核心)可与存储器/存储元件耦接或可以包括存储器/存储元件，并且可以被配置为执行存储在存储器/存储装置中的指令，以使各种应用程序或操作系统能够在系统600上运行。在一些具体实施中，存储器/存储元件可以是片上存储器电路，该电路可包括任何合适的易失性和/或非易失性存储器，诸如DRAM、静态随机存取存储器(SRAM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存存储器、固态存储器和/或任何其他类型的存储器设备技术，诸如本文讨论的那些。

作为示例，应用电路605的处理器可包括基于

Architecture^TM的处理器，例如Quark^TM、Atom^TM、i3、i5、i7或MCU级处理器，或可购自加利福尼亚州圣克拉拉市

公司的另一个此类处理器。应用电路605的处理器还可以是以下中的一者或多者：AdvancedMicro Devices(AMD)

处理器或加速处理单元(APU)；来自

Inc.的A5-A9处理器、来自

Technologies,Inc.的Snapdragon^TM处理器、Texas Instruments,

Open Multimedia Applications Platform(OMAP)^TM处理器；来自MIPSTechnologies，Inc.的基于MIPS的设计，诸如MIPS Warrior M级、Warrior I级和Warrior P级处理器；获得ARM Holdings，Ltd.许可的基于ARM的设计，诸如ARM Cortex-A、Cortex-R和Cortex-M系列处理器；等。在一些具体实施中，应用电路605可以是片上系统(SoC)的一部分，其中应用电路605和其他部件形成为单个集成电路或单个封装，诸如

公司(

Corporation)的Edison^TM或Galileo^TMSoC板。

除此之外或另选地，应用电路605可以包括电路，诸如但不限于一个或多个现场可编程设备(FPD)诸如FPGA等；可编程逻辑设备(PLD)，诸如复杂PLD(CPLD)、大容量PLD(HCPLD)等；ASIC，诸如结构化ASIC等；可编程SoC(PSoC)；等等。在此类实施方案中，应用电路605的电路可包括逻辑块或逻辑构架，以及可被编程用于执行各种功能诸如本文所讨论的各种实施方案的过程、方法、功能等的其他互连资源。在此类实施方案中，应用电路605的电路可包括用于在查找表(LUT)等中存储逻辑块、逻辑构架、数据等的存储器单元，例如EPROM、EEPROM、闪存存储器、静态存储器(例如，SRAM、防熔断器等)。

基带电路610可被实现为例如焊入式衬底，其包括一个或多个集成电路、焊接到主电路板的单个封装集成电路或包含两个或更多个集成电路的多芯片模块。在下文中参照图7讨论基带电路610的各种硬件电子元件。

RFEM 615可包括毫米波(mmWave)RFEM和一个或多个子毫米波射频集成电路(RFIC)。在一些具体实施中，该一个或多个子毫米波RFIC可与毫米波RFEM物理地分离。RFIC可包括到一个或多个天线或天线阵列的连接件(参见例如下文图7的天线阵列711)，并且RFEM可连接到多个天线。在另选的具体实施中，毫米波和子毫米波两者的无线电功能均可在结合毫米波天线和子毫米波两者的相同的物理RFEM 615中实现。

存储器电路620可包括用于提供给定量的系统存储器的任何数量和类型的存储器设备。例如，存储器电路620可包括以下各项中的一者或多者：

易失性存储器，其包括随机存取存储器(RAM)、动态RAM(DRAM)和/或同步动态RAM(SDRAM)；和非易失性存储器(NVM)，其包括高速电可擦除存储器(通常称为闪存存储器)、相变随机存取存储器(PRAM)、磁阻随机存取存储器(MRAM)等。存储器电路620可根据联合电子设备工程委员会(JEDEC)基于低功率双倍数据速率(LPDDR)的设计诸如LPDDR2、LPDDR3、LPDDR4等进行开发。存储器电路620可被实现为以下中的一者或多者：焊入式封装集成电路、单管芯封装、双管芯封装(DDP)或四管芯封装(Q17P)、套接存储器模块、包括微DIMM或迷你DIMM的双列直插存储器模块(DIMM)，并且/或者经由球栅阵列(BGA)焊接到母板上。在LP具体实施中，存储器电路620可以是与应用电路605相关联的片上存储器或寄存器。为了提供对信息诸如数据、应用程序、操作系统等的持久存储，存储器电路620可包括一个或多个海量存储设备，其可尤其包括固态磁盘驱动器(SSDD)、硬盘驱动器(HDD)、微型HDD、电阻变化存储器、相变存储器、全息存储器或化学存储器等。例如，计算机平台600可结合得自

和

的三维(3D)交叉点(XPOINT)存储器。

可移除存储器电路623可包括用于将便携式数据存储设备与平台600耦接的设备、电路、外壳/壳体、端口或插座等。这些便携式数据存储设备可以用于海量存储的目的，并且可以包括例如闪存存储器卡(例如，SD卡、微型SD卡、xD图片卡等)，以及USB闪存驱动器、光盘、外部HDD等。

平台600还可包括用于将外部设备与平台600连接的接口电路(未示出)。经由该接口电路连接到平台600的外部设备包括传感器电路621和机电式部件(EMC)622，以及耦接到可移除存储器电路623的可移除存储器设备。

传感器电路621包括目的在于检测其环境中的事件或变化的设备、模块或子系统，并且将关于所检测的事件的信息(传感器数据)发送到一些其他设备、模块、子系统等。此类传感器的示例尤其包括：包括加速度计、陀螺仪和/或磁力仪的惯性测量单元(IMU)；包括三轴加速度计、三轴陀螺仪和/或磁力仪的微机电系统(MEMS)或纳机电系统(NEMS)；液位传感器；流量传感器；温度传感器(例如，热敏电阻器)；压力传感器；气压传感器；重力仪；测高仪；图像捕获设备(例如，相机或无透镜孔径)；光检测和测距(LiDAR)传感器；接近传感器(例如，红外辐射检测器等)、深度传感器、环境光传感器、超声收发器；麦克风或其他类似的音频捕获设备；等。

EMC 622包括目的在于使平台600能够改变其状态、位置和/或取向或者移动或控制机构或(子)系统的设备、模块或子系统。另外，EMC 622可以被配置为生成消息/信令并向平台600的其他部件发送消息/信令以指示EMC 622的当前状态。EMC 622的示例包括一个或多个电源开关、继电器(包括机电继电器(EMR)和/或固态继电器(SSR))、致动器(例如，阀致动器等)、可听声发生器、视觉警告设备、马达(例如，DC马达、步进马达等)、轮、推进器、螺旋桨、爪、夹钳、钩和/或其他类似的EMC。在实施方案中，平台600被配置为基于从服务提供方和/或各种客户端接收到的一个或多个捕获事件和/或指令或控制信号来操作一个或多个EMC 622。

在一些具体实施中，该接口电路可将平台600与定位电路645连接。定位电路645包括用于接收和解码由GNSS的定位网络发射/广播的信号的电路。导航卫星星座(或GNSS)的示例可包括美国的GPS、俄罗斯的GLONASS、欧盟的伽利略系统、中国的北斗导航卫星系统、区域导航系统或GNSS增强系统(例如，NAVIC、日本的QZSS、法国的DORIS等)等。定位电路645包括各种硬件元件(例如，包括用于促进OTA通信的硬件设备诸如开关、滤波器、放大器、天线元件等)以与定位网络的部件诸如导航卫星星座节点通信。在一些实施方案中，定位电路645可包括微型PNT IC，其在没有GNSS辅助的情况下使用主定时时钟来执行位置跟踪/估计。定位电路645还可以是基带电路610和/或RFEM 615的一部分或与之交互以与定位网络的节点和部件通信。定位电路645还可向应用电路605提供位置数据和/或时间数据，该应用电路可使用该数据来使操作与各种基础设施(例如，无线电基站)同步，以用于逐个拐弯导航应用程序等。

在一些具体实施中，该接口电路可将平台600与近场通信(NFC)电路640连接。NFC电路640被配置为基于射频识别(RFID)标准提供非接触式近程通信，其中磁场感应用于实现NFC电路640与平台600外部的支持NFC的设备(例如，“NFC接触点”)之间的通信。NFC电路640包括与天线元件耦接的NFC控制器和与NFC控制器耦接的处理器。NFC控制器可以是通过执行NFC控制器固件和NFC堆栈向NFC电路640提供NFC功能的芯片/IC。NFC堆栈可由处理器执行以控制NFC控制器，并且NFC控制器固件可由NFC控制器执行以控制天线元件发射近程RF信号。RF信号可以为无源NFC标签(例如，嵌入贴纸或腕带中的微芯片)供电以将存储的数据传输到NFC电路640，或者发起在NFC电路640和靠近平台600的另一个有源NFC设备(例如，智能电话或支持NFC的POS终端)之间的数据传输。

驱动电路646可包括用于控制嵌入在平台600中、附接到平台600或以其他方式与平台600通信地耦接的特定设备的软件元件和硬件元件。驱动电路646可包括各个驱动器，从而允许平台600的其他部件与可存在于平台600内或连接到该平台的各种输入/输出(I/O)设备交互或控制这些I/O设备。例如，驱动电路646可包括：用于控制并允许接入显示设备的显示驱动器、用于控制并允许接入平台600的触摸屏接口的触摸屏驱动器、用于获取传感器电路621的传感器读数并控制且允许接入传感器电路621的传感器驱动器、用于获取EMC622的致动器位置并且/或者控制并允许接入EMC 622的EMC驱动器、用于控制并允许接入嵌入式图像捕获设备的相机驱动器、用于控制并允许接入一个或多个音频设备的音频驱动器。

电源管理集成电路(PMIC)625(也称为“电源管理电路625”)可以管理提供给平台600的各种部件的电力。具体地讲，相对于基带电路610，PMIC 625可控制电源选择、电压缩放、电池充电或DC-DC转换。当平台600能够由电池630供电时，例如，当设备包括在UE 501中时，通常可包括PMIC 625。

在一些实施方案中，PMIC 625可以控制或以其他方式成为平台600的各种省电机制的一部分。例如，如果平台600处于RRC_Connected状态，在该状态下该平台仍连接到RAN节点，因为它预期不久接收流量，则在一段时间不活动之后，该平台可以进入被称为非连续接收模式(DRX)的状态。在该状态期间，平台600可以在短时间间隔内断电，从而节省功率。如果不存在数据业务活动达延长的时间段，则平台600可以转换到RRC_Idle状态，其中该设备与网络断开连接，并且不执行操作诸如信道质量反馈、切换等。平台600进入非常低的功率状态，并且执行寻呼，其中该设备再次周期性地唤醒以收听网络，然后再次断电。平台600可不接收处于该状态的数据；为了接收数据，该平台必须转变回RRC_Connected状态。附加的省电模式可以使设备无法使用网络的时间超过寻呼间隔(从几秒到几小时不等)。在此期间，该设备完全无法连接到网络，并且可以完全断电。在此期间发送的任何数据都会造成很大的延迟，并且假定延迟是可接受的。

电池630可为平台600供电，但在一些示例中，平台600可被安装在固定位置，并且可具有耦接到电网的电源。电池630可以是锂离子电池、金属-空气电池诸如锌-空气电池、铝-空气电池、锂-空气电池等。在一些具体实施中，诸如在V2X应用中，电池630可以是典型的铅酸汽车电池。

在一些具体实施中，电池630可以是“智能电池”，其包括电池管理系统(BMS)或电池监测集成电路或与其耦接。BMS可包括在平台600中以跟踪电池630的充电状态(SoCh)。BMS可用于监测电池630的其他参数，诸如电池630的健康状态(SoH)和功能状态(SoF)以提供故障预测。BMS可将电池630的信息传送到应用电路605或平台600的其他部件。BMS还可包括模数(ADC)转换器，该模数转换器允许应用电路605直接监测电池630的电压或来自电池630的电流。电池参数可用于确定平台600可执行的动作，诸如传输频率、网络操作、感测频率等。

耦接到电网的电源块或其他电源可与BMS耦接以对电池630进行充电。在一些示例中，可用无线功率接收器替换功率块，以例如通过计算机平台600中的环形天线来无线地获取电力。在这些示例中，无线电池充电电路可包括在BMS中。所选择的具体充电电路可取决于电池630的大小，并因此取决于所需的电流。充电可使用航空燃料联盟公布的航空燃料标准、无线电力联盟公布的Qi无线充电标准，或无线电力联盟公布的Rezence充电标准来执行。

用户接口电路650包括存在于平台600内或连接到该平台的各种输入/输出(I/O)设备，并且包括被设计成实现与平台600的用户交互的一个或多个用户接口和/或被设计成实现与平台600的外围部件交互的外围部件接口。用户接口电路650包括输入设备电路和输出设备电路。输入设备电路包括用于接受输入的任何物理或虚拟装置，尤其包括一个或多个物理或虚拟按钮(例如，复位按钮)、物理键盘、小键盘、鼠标、触控板、触摸屏、麦克风、扫描仪、头戴式耳机等。输出设备电路包括用于显示信息或以其他方式传达信息(诸如传感器读数、致动器位置或其他类似信息)的任何物理或虚拟装置。输出设备电路可以包括任何数量和/或组合的音频或视觉显示器，其尤其包括一个或多个简单视觉输出/指示器(例如，二进制状态指示器(例如，发光二极管(LED))和多字符视觉输出，或更复杂的输出诸如显示设备或触摸屏(例如，液晶显示器(LCD)、LED显示器、量子点显示器、投影仪等)，其中由平台600的操作生成或产生字符、图形、多媒体对象等的输出。输出设备电路还可包括扬声器或其他音频发射设备、打印机等。在一些实施方案中，传感器电路621可用作输入设备电路(例如，图像捕获设备、运动捕获设备等)并且一个或多个EMC可用作输出设备电路(例如，用于提供触觉反馈的致动器等)。在另一个示例中，可包括NFC电路以读取电子标签和/或与另一个支持NFC的设备连接，该NFC电路包括与天线元件耦接的NFC控制器和处理设备。外围部件接口可包括但不限于非易失性存储器端口、USB端口、音频插孔、电源接口等。

尽管未示出，但平台600的部件可使用合适的总线或互连(IX)技术彼此通信，所述技术可包括任何数量的技术，包括ISA、EISA、PCI、PCIx、PCIe、时间触发协议(TTP)系统、FlexRay系统或任何数量的其他技术。总线/IX可以是专有总线/IX，例如，在基于SoC的系统中使用。可包括其他总线/IX系统，诸如I2C接口、SPI接口、点对点接口和电源总线等等。

图7示出了根据各种实施方案的基带电路710和RFEM 715的示例性部件。基带电路710对应于图6的基带电路610。RFEM 715对应于图6的RFEM 615。如图所示，RFEM 715可包括RF电路706、前端模块(FEM)电路708、至少如图所示耦接在一起的天线阵列711。

基带电路710包括电路和/或控制逻辑部件，其被配置为执行使得能够经由RF电路706实现与一个或多个无线电网络通信的各种无线电/网络协议和无线电控制功能。无线电控制功能可包括但不限于信号调制/解调、编码/解码、RF移位等。在一些实施方案中，基带电路710的调制/解调电路可包括快速傅里叶变换(FFT)、预编码或星座映射/解映射功能。在一些实施方案中，基带电路710的编码/解码电路可包括卷积、咬尾卷积、turbo、维特比或低密度奇偶校验(LDPC)编码器/解码器功能。调制/解调和编码器/解码器功能的实施方案不限于这些示例，并且在其他实施方案中可包括其他合适的功能。基带电路710被配置为处理从RF电路706的接收信号路径所接收的基带信号以及生成用于RF电路706的发射信号路径的基带信号。基带电路710被配置为与应用电路605(参见图6)连接，以生成和处理基带信号并且控制RF电路706的操作。基带电路710可处理各种无线电控制功能。

基带电路710的前述电路和/或控制逻辑部件可包括一个或多个单核或多核处理器。例如，该一个或多个处理器可包括3G基带处理器704A、4G/LTE基带处理器704B、5G/NR基带处理器704C，或用于其他现有代、正在开发或将来待开发的代(例如，第六代(6G)等)的一些其他基带处理器704D。在其他实施方案中，基带处理器704A-704D的一部分或全部功能可包括在存储器704G中存储的模块中，并且经由中央处理单元(CPU)704E来执行。在其他实施方案中，基带处理器704A-704D的一些功能或全部功能可被提供为加载有存储在相应存储器单元中的适当比特流或逻辑块的硬件加速器(例如，FPGA、ASIC等)。在各种实施方案中，存储器704G可存储实时OS(RTOS)的程序代码，该程序代码当由CPU 704E(或其他基带处理器)执行时，将使CPU 704E(或其他基带处理器)管理基带电路710的资源、调度任务等。RTOS的示例可包括由

提供的Operating System Embedded(OSE)^TM，由Mentor

提供的Nucleus RTOS^TM，由Mentor

提供的Versatile Real-Time Executive(VRTX)，由Express

提供的ThreadX^TM，由

提供的FreeRTOS、REX OS，由Open Kernel(OK)

提供的OKL4，或任何其他合适的RTOS，诸如本文所讨论的那些。此外，基带电路710包括一个或多个音频数字信号处理器(DSP)704F。音频DSP 704F包括用于压缩/解压缩和回声消除的元件，并且在其他实施方案中可包括其他合适的处理元件。

在一些实施方案中，处理器704A-704E中的每个处理器包括相应的存储器接口以向存储器704G发送数据/从该存储器接收数据。基带电路710还可包括用于通信地耦接到其他电路/设备的一个或多个接口，诸如用于向基带电路710外部的存储器发送数据/从该基带电路外部的存储器接收数据的接口；用于向应用电路605发送数据/从该应用电路接收数据的应用电路接口；用于向图7的RF电路706发送数据/从该RF电路接收数据的RF电路接口；用于从一个或多个无线硬件元件(例如，NFC部件、

低功耗部件、

部件等)发送数据/从这些无线硬件元件接收数据的无线硬件连接接口；以及用于向PMIC 625发送电力或控制信号/从该PMIC接收电力或控制信号的电源管理接口。

在另选的实施方案(其可与上述实施方案组合)中，基带电路710包括一个或多个数字基带系统，该一个或多个数字基带系统经由互连子系统彼此耦接并且耦接到CPU子系统、音频子系统和接口子系统。数字基带子系统还可经由另一个互连子系统耦接到数字基带接口和混合信号基带子系统。互连子系统中的每个可包括总线系统、点对点连接件、片上网络(NOC)结构和/或一些其他合适的总线或互连技术，诸如本文所讨论的那些。音频子系统可包括DSP电路、缓冲存储器、程序存储器、语音处理加速器电路、数据转换器电路诸如模数转换器电路和数模转换器电路，包括放大器和滤波器中的一者或多者的模拟电路，和/或其他类似部件。在本公开的一个方面，基带电路710可包括具有一个或多个控制电路实例(未示出)的协议处理电路，以为数字基带电路和/或RF电路(例如，RFEM 715)提供控制功能。

尽管图7未示出，但在一些实施方案中，基带电路710包括用以操作一个或多个无线通信协议的各个处理设备(例如，“多协议基带处理器”或“协议处理电路”)和用以实现PHY层功能的各个处理设备。在这些实施方案中，PHY层功能包括前述无线电控制功能。在这些实施方案中，协议处理电路操作或实现一个或多个无线通信协议的各种协议层/实体。在第一示例中，当基带电路710和/或RF电路706是毫米波通信电路或一些其他合适的蜂窝通信电路的一部分时，协议处理电路可操作LTE协议实体和/或5G/NR协议实体。在第一示例中，协议处理电路将操作MAC、RLC、PDCP、SDAP、RRC和NAS功能。在第二示例中，当基带电路710和/或RF电路706是Wi-Fi通信系统的一部分时，协议处理电路可操作一个或多个基于IEEE的协议。在第二示例中，协议处理电路将操作Wi-Fi MAC和逻辑链路控制(LLC)功能。协议处理电路可包括用于存储程序代码和用于操作协议功能的数据的一个或多个存储器结构(例如，704G)，以及用于执行程序代码和使用数据执行各种操作的一个或多个处理内核。基带电路710还可以支持多于一个无线协议的无线电通信。

本文讨论的基带电路710的各种硬件元件可被实现为例如焊入式衬底，其包括一个或多个集成电路(IC)、焊接到主电路板的单个封装集成电路或包含两个或更多个IC的多芯片模块。在一个示例中，基带电路710的部件可适当地组合在单个芯片或单个芯片组中，或设置在同一电路板上。在另一个示例中，基带电路710和RF电路706的组成部件中的一些或全部可以一起实现，诸如例如SoC或系统级封装(SiP)。在另一个示例中，基带电路710的组成部件中的一些或全部可以实现为与RF电路706(或RF电路706的多个实例)通信地耦接的单独的SoC。在又一个示例中，基带电路710和应用电路605的组成部件中的一些或全部可一起被实现为安装到同一电路板的单独的SoC(例如，“多芯片封装”)。

在一些实施方案中，基带电路710可以提供与一种或多种无线电技术兼容的通信。例如，在一些实施方案中，基带电路710可以支持与E-UTRAN或其他WMAN、WLAN、WPAN的通信。其中基带电路710被配置为支持多于一种的无线协议的无线电通信的实施方案可以称为多模式基带电路。

RF电路706可使得能够使用调制的电磁辐射通过非固体介质与无线网络通信。在各种实施方案中，RF电路706可以包括开关、滤波器、放大器等，以促进与无线网络的通信。RF电路706可包括接收信号路径，该接收信号路径可包括用于下变频从FEM电路708接收的RF信号并向基带电路710提供基带信号的电路。RF电路706还可包括发射信号路径，该发射信号路径可包括用于上变频由基带电路710提供的基带信号并向FEM电路708提供用于发射的RF输出信号的电路。

在一些实施方案中，RF电路706的接收信号路径可包括混频器电路706a、放大器电路706b和滤波器电路706c。在一些实施方案中，RF电路706的发射信号路径可包括滤波器电路706c和混频器电路706a。RF电路706还可包括合成器电路706d，该合成器电路用于合成由接收信号路径和发射信号路径的混频器电路706a使用的频率。在一些实施方案中，接收信号路径的混频器电路706a可以被配置为基于合成器电路706d提供的合成频率来将从FEM电路708接收的RF信号下变频。放大器电路706b可被配置为放大经下变频信号，并且滤波器电路706c可为低通滤波器(LPF)或带通滤波器(BPF)，其被配置为从经下变频信号中移除不想要的信号以生成输出基带信号。可将输出基带信号提供给基带电路710以进行进一步处理。在一些实施方案中，尽管这不是必需的，但是输出基带信号可以是零频率基带信号。在一些实施方案中，接收信号路径的混频器电路706a可包括无源混频器，但是实施方案的范围在这方面不受限制。

在一些实施方案中，发射信号路径的混频器电路706a可被配置为基于由合成器电路706d提供的合成频率来对输入基带信号进行上变频，以生成用于FEM电路708的RF输出信号。基带信号可由基带电路710提供，并且可由滤波器电路706c滤波。

在一些实施方案中，接收信号路径的混频器电路706a和发射信号路径的混频器电路706a可包括两个或更多个混频器，并且可被布置为分别用于正交下变频和正交上变频。在一些实施方案中，接收信号路径的混频器电路706a和发射信号路径的混频器电路706a可包括两个或更多个混频器，并且可被布置用于镜像抑制(例如，Hartley镜像抑制)。在一些实施方案中，接收信号路径的混频器电路706a和发射信号路径的混频器电路706a可被布置为分别用于直接下变频和直接上变频。在一些实施方案中，接收信号路径的混频器电路706a和发射信号路径的混频器电路706a可被配置用于超外差操作。

在一些实施方案中，输出基带信号和输入基带信号可以是模拟基带信号，尽管实施方案的范围在这方面不受限制。在一些另选实施方案中，输出基带信号和输入基带信号可以是数字基带信号。在这些另选的实施方案中，RF电路706可包括模数转换器(ADC)和数模转换器(DAC)电路，并且基带电路710可包括数字基带接口以与RF电路706进行通信。

在一些双模式实施方案中，可以提供单独的无线电IC电路来处理每个频谱的信号，但是实施方案的范围在这方面不受限制。

在一些实施方案中，合成器电路706d可以是分数N合成器或分数N/N+1合成器，但是实施方案的范围在这方面不受限制，因为其他类型的频率合成器也可以是合适的。例如，合成器电路706d可以是Δ-∑合成器、倍频器或包括具有分频器的锁相环路的合成器。

合成器电路706d可被配置为基于频率输入和分频器控制输入来合成输出频率，以供RF电路706的混频器电路706a使用。在一些实施方案中，合成器电路706d可以是分数N/N+1合成器。

在一些实施方案中，频率输入可由电压控制振荡器(VCO)提供，尽管这不是必须的。可由基带电路710或应用电路605根据所需的输出频率提供分频器控制输入。在一些实施方案中，可基于由应用电路605指示的信道，从查找表中确定分频器控制输入(例如，N)。

RF电路706的合成器电路706d可包括分频器、延迟锁定环路(DLL)、复用器和相位累加器。在一些实施方案中，分频器可以是双模分频器(DMD)，并且相位累加器可以是数字相位累加器(DPA)。在一些实施方案中，DMD可以被配置为将输入信号除以N或N+1(例如，基于进位)，以提供分数除法比。在一些示例实施方案中，DLL可包括级联的、可调谐的、延迟元件、鉴相器、电荷泵和D型触发器集。在这些实施方案中，延迟元件可以被配置为将VCO周期分成Nd个相等的相位分组，其中Nd是延迟线中的延迟元件的数量。这样，DLL提供了负反馈，以帮助确保通过延迟线的总延迟为一个VCO周期。

在一些实施方案中，合成器电路706d可被配置为生成载波频率作为输出频率，而在其他实施方案中，输出频率可以是载波频率的倍数(例如，载波频率的两倍，载波频率的四倍)并且可与正交发生器和分频器电路一起使用以在该载波频率上生成相对于彼此具有多个不同相位的多个信号。在一些实施方案中，输出频率可为LO频率(fLO)。在一些实施方案中，RF电路706可包括IQ/极性转换器。

FEM电路708可包括接收信号路径，该接收信号路径可包括电路，该电路被配置为对从天线阵列711接收的RF信号进行操作，放大所接收的信号并且将所接收的信号的放大版本提供给RF电路706以进行进一步处理。FEM电路708还可包括发射信号路径，该发射信号路径可包括电路，该电路被配置为放大由RF电路706提供的用于发射的信号以用于由天线阵列711中的一个或多个天线元件发射。在各种实施方案中，可以仅在RF电路706中、仅在FEM电路708中或者在RF电路706和FEM电路708两者中完成通过发射或接收信号路径的放大。

在一些实施方案中，FEM电路708可包括TX/RX开关，以在发射模式与接收模式操作之间切换。FEM电路708可包括接收信号路径和发射信号路径。FEM电路708的接收信号路径可包括LNA以放大接收到的RF信号并且提供经放大的接收到的RF信号作为输出(例如，给RF电路706)。FEM电路708的发射信号路径可包括用于放大输入RF信号(例如，由RF电路706提供)的功率放大器(PA)，以及用于生成RF信号以便随后由天线阵列711的一个或多个天线元件传输的一个或多个滤波器。

天线阵列711包括一个或多个天线元件，每个天线元件被配置为将电信号转换成无线电波以行进通过空气以及将所接收的无线电波转换成电信号。例如，由基带电路710提供的数字基带信号被转换成模拟RF信号(例如，调制波形)，该模拟RF信号将被放大并经由包括一个或多个天线元件(未示出)的天线阵列711的天线元件传输。天线元件可以是全向的、定向的或是它们的组合。天线元件可形成如已知那样和/或本文讨论的多种布置。天线阵列711可包括制造在一个或多个印刷电路板的表面上的微带天线或印刷天线。天线阵列711可形成为各种形状的金属箔的贴片(例如，贴片天线)，并且可使用金属传输线等与RF电路706和/或FEM电路708耦接。

应用电路605的处理器和基带电路710的处理器可用于执行协议栈的一个或多个实例的元件。例如，可单独地或组合地使用基带电路710的处理器来执行层3、层2或层1功能，而应用电路605的处理器可利用从这些层接收到的数据(例如，分组数据)并进一步执行层4功能(例如，TCP和UDP层)。如本文所提到的，层3可包括RRC层。如本文所提到的，层2可包括MAC层、RLC层和PDCP层。如本文所提到的，层1可包括UE/RAN节点的PHY层。

实施例

实施例1可包括新的SDP属性，以指示作为RTP流的一部分运输360视频的能力，包括以下中的一项或多项：携带沉浸式媒体元数据信息作为RTP有效载荷格式的一部分的能力，例如，使用补充信息增强(SEI)消息，例如接着将全向视频特定SEI消息中携带的信息用于接收器处的渲染阶段。

实施例2可包括新的SDP属性，以指示作为RTP流的一部分运输360视频的视口依赖处理能力，包括以下中的一项或多项：使用RTCP反馈消息发信号告知期望视口的能力；和/或使用RTP标头扩展消息发信号告知实际传输视口的能力。

实施例3可包括根据实施例2或本文的某个其他实施例所述的SDP属性，其中因此可以协商两个或更多个RTP流。

实施例4可包括单个SDP属性，该单个SDP属性结合实施例1和实施例2或本文的某个其他实施例中的能力。

实施例5可包括根据实施例3或本文的某个其他实施例所述的SDP属性，其中一个RTP流用于基本360视频，并且另一个是视口优化RTP流，其具有对应于期望视口的高质量360视频。

实施例6可包括根据实施例1或本文的某个其他实施例所述的SDP属性，其中全向视频特定SEI消息可包括以下中的一个或多个消息：等距柱状投影SEI消息、立方图投影SEI消息、球体旋转SEI消息和分区封装SEI消息。

实施例7可包括方法，该方法包括：接收SDP提议消息，该SDP提议消息用于指示在RTP流中支持360视频的能力；以及基于SDP提议消息对SDP应答消息进行编码以用于传输，该SDP应答消息用于指示对这些能力的确认。

实施例8可包括根据实施例7或本文的另一实施例所述的方法，其中SDP提议消息还包括视口依赖处理能力。

实施例9可包括根据实施例8或本文的另一实施例所述的方法，其中当SDP应答消息包括视口依赖处理能力时，SDP提议消息包括两个或更多个RTP流。

实施例10可包括根据实施例8至9或本文的另一实施例所述的方法，其中在SDP提议消息中的相同SDP属性中指示用于支持360视频的能力和视口依赖处理能力。

实施例11可包括根据实施例8至10或本文的另一实施例所述的方法，其中SDP应答包括接受视口依赖处理能力。

实施例12可包括根据实施例8至11或本文的另一实施例所述的方法，还包括基于SDP提议消息对包含360视频的沉浸式媒体进行编码，以用于传输。

实施例13可包括根据实施例8至12或本文的另一实施例所述的方法，其中从UE接收SDP提议消息。

实施例14可包括根据实施例8至13或本文的另一实施例所述的方法，其中该方法由会议服务器或其一部分执行。

实施例15可包括方法，该方法包括：对SDP提议消息进行编码以用于传输，该SDP提议消息用于指示在RTP流中支持360视频的能力；以及基于该SDP提议消息接收SDP应答消息，该SDP应答消息用于指示对这些能力的确认。

实施例16可包括实施例15或本文的另一实施例所述的方法，其中SDP提议消息还包括视口依赖处理能力。

实施例17可包括实施例16或本文的另一实施例所述的方法，其中当SDP应答消息包含视口依赖处理能力时，SDP提议消息包括两个或更多个RTP流。

实施例18可包括实施例16至17或本文的另一实施例所述的方法，其中在SDP提议消息中的相同SDP属性中指示用于支持360视频的能力和视口依赖处理能力。

实施例19可包括实施例16至18或本文的另一实施例所述的方法，其中SDP应答包括接受视口依赖处理能力。

实施例20可包括实施例16至19或本文的另一实施例所述的方法，所述方法还包括基于SDP提议消息接收包含360视频的沉浸式媒体。

实施例21可包括根据实施例16至20或本文另一实施例所述的方法，其中从会议服务器接收SDP应答消息。

实施例22可包括根据实施例16至21或本文的另一实施例所述的方法，其中该方法由UE或其一部分执行。

实施例23包括电子设备，该电子设备包括：第一电路，用于基于第一实时传输协议(RTP)流对与同时拍摄的位置的多个图像相关的第一可视化数据进行解码；第二电路，该第二电路用于基于从用户设备(UE)接收到的会话描述协议(SDP)提议对所述UE支持沉浸式查看能力的指示进行解码；以及第三电路，该第三电路用于基于SDP提议经由第二RTP流来传输与该第一可视化数据相关的第二可视化数据，其中该第二可视化数据包括用于显示该第二可视化数据的至少一部分的补充信息增强(SEI)消息。

实施例24包括根据实施例23所述的电子设备，其中该第一RTP流包括与该多个图像中的两个或更多个图像相关的可视化数据。

实施例25包括根据实施例23所述的电子设备，其中该第一RTP流包括与该多个图像中的图像相关的可视化数据，并且其中该电子设备还包括：第四电路，该第四电路用于基于第三RTP流对与该多个图像中的另一图像相关的第三可视化数据进行解码；以及第五电路，该第五电路用于将第一可视化数据和第三可视化数据拼接在一起。

实施例26包括根据实施例23至25中任一项所述的电子设备，其中该SEI消息是等距柱状投影SEI消息、立方图投影SEI消息、球体旋转SEI消息或分区封装SEI消息。

实施例27包括根据实施例23至25中任一项所述的电子设备，该电子设备还包括第六电路，该第六电路用于基于从UE接收的RTP控制协议(RTCP)反馈消息对第一可视化数据的期望查看方向的指示进行解码。

实施例28包括根据实施例27所述的电子设备，其中该第二可视化数据是基于该期望查看方向的指示的第一可视化数据的一部分。

实施例29包括根据实施例23至25中任一项所述的电子设备，其中第一、第二和第三电路是处理器的电路。

实施例30包括电子设备，该电子设备包括：第一电路，该第一电路用于基于接收的实时传输协议(RTP)流确定基本流，该实时传输协议流包括与同时拍摄的位置的多个图像相关的可视化数据；第二电路，该第二电路用于基于所述基本流对所述可视化数据和补充信息增强(SEI)消息进行解码；第三电路，该第三电路用于基于所述可视化数据和SEI消息生成所述可视化数据到视场的映射；以及第四电路，该第四电路用于向显示设备输出与可视化数据到视场的该映射相关的数据。

实施例31包括根据实施例30所述的电子设备，其中该电子设备是第三代合作伙伴计划(3GPP)网络的用户设备(UE)，并且其中该UE包括显示设备。

实施例32包括根据实施例30的电子设备，其中该SEI消息是等距柱状投影SEI消息、立方图投影SEI消息、球体旋转SEI消息或分区封装SEI消息。

实施例33包括根据实施例30至32中任一项所述的电子设备，该电子设备还包括第五电路，用于在RTP控制协议(RTCP)反馈消息中促进传输该第一可视化数据的期望查看方向的指示。

实施例34包括根据实施例30至32中任一项所述的电子设备，其中该RTP流是包括与该多个图像中的第一图像相关的第一可视化数据的第一RTP流，并且其中该基本流还基于已解码的第二RTP流，该已解码的第二RTP流包括与该多个图像中的第二图像相关的第二可视化数据。

实施例35包括根据实施例30至32中任一项所述的电子设备，其中该RTP流包括与该多个图像中的至少第一图像和第二图像相关的可视化数据。

实施例36包括根据实施例30至32中任一项所述的电子设备，其中该可视化数据是包括SEI消息的高效率视频编码(HEVC)比特流。

实施例37包括一种方法，该方法包括：从用户设备(UE)向(IP)多媒体子系统(IMS)服务器传输会话描述协议(SDP)提议，该会话描述协议提议包括UE支持沉浸式视频的指示；由所述UE基于从所述服务器接收的SDP应答确定服务器支持沉浸式视频的指示；基于所述SDP提议和所述SDP响应，确定实时传输协议(RTP)媒体流和补充信息增强(SEI)消息，所述实时传输协议媒体流包括与同时拍摄的位置的多个图像相关的可视化数据，并且所述补充信息增强消息用于显示所述可视化数据的至少一部分；以及该UE基于该可视化数据和该SEI消息向用户设备的用户直观显示该可视化数据的该部分。

实施例38包括根据实施例37所述的方法，其中SDP提议包括UE支持视口依赖处理的指示。

实施例39包括根据实施例37所述的方法，其中SDP应答包括服务器支持视口依赖处理的指示。

实施例40包括根据实施例37至39中任一项所述的方法，该方法还包括在RTP控制协议(RTCP)反馈消息中从该UE向该服务器传输该可视化数据的期望视场的指示。

实施例41包括根据实施例40所述的方法，其中该RTP媒体流的该可视化数据基于该期望视场的指示。

实施例42包括根据实施例37至39中任一项所述的方法，其中该可视化数据基于全向媒体格式(OMAF)视频简档。

实施例43可包括一种装置，该装置包括用于执行实施例1至42中任一项所述或与之相关的方法或本文所述的任何其他方法或过程的一个或多个元素的装置。

实施例44可包括一种或多种非暂态计算机可读介质，该一种或多种非暂态计算机可读介质包括指令，这些指令在由电子设备的一个或多个处理器执行时使得该电子设备执行根据实施例1至42中任一项所述或与之相关的方法或本文所述的任何其他方法或过程的一个或多个元素。

实施例45可包括一种装置，该装置包括用于执行根据实施例1至42中任一项所述或与之相关的方法或本文所述的任何其他方法或过程的一个或多个元素的逻辑部件、模块或电路。

实施例46可包括根据实施例1至42中任一项所述或与之相关的方法、技术或过程，或其部分或部件。

实施例47可包括一种装置，该装置包括：一个或多个处理器以及一个或多个计算机可读介质，该一个或多个计算机可读介质包括指令，这些指令在由一个或多个处理器执行时，使得该一个或多个处理器执行实施例1至42中任一项所述或与之相关的方法、技术或过程或其部分。

实施例48可包括根据实施例1至42中任一项所述或与之相关的信号，或其部分或部件。

实施例49可包括根据实施例1至42中任一项所述或与之相关的数据报、分组、帧、段、协议数据单元(PDU)或消息，或其部分或部件，或者在本公开中以其他方式描述。

实施例50可包括根据实施例1至42中任一项所述或与其相关的编码有数据的信号，或其部分或部件，或在本公开中以其他方式描述。

实施例51可包括根据上述实施例1至42中任一项所述或与其相关的编码有数据报、分组、帧、段、PDU或消息的信号，或其部分或部件，或在本公开中以其他方式描述。

实施例52可包括携带计算机可读指令的电磁信号，其中由一个或多个处理器执行计算机可读指令将使该一个或多个处理器执行实施例1至42中任一项所述或与其相关的方法、技术或过程，或其部分。

实施例53可包括一种计算机程序，该计算机程序包括指令，其中由处理元件执行程序将使处理元件执行根据实施例1至42中任一项所述或与之相关的方法、技术或过程，或其部分。

实施例54可包括根据本文所示和所述的无线网络中的信号。

实施例55可包括根据本文所示和所述的在无线网络中进行通信的方法。

实施例56可包括根据本文所示和所述的用于提供无线通信的系统。

实施例57可包括如本文所示和所述的用于提供无线通信的设备。

除非另有明确说明，否则上述示例中的任一者可与任何其他示例(或示例的组合)组合。一个或多个具体实施的前述描述提供了说明和描述，但是并不旨在穷举或将实施方案的范围限制为所公开的精确形式。鉴于上面的教导内容，修改和变型是可能的，或者可从各种实施方案的实践中获取修改和变型。

Claims

1.一种电子设备，所述电子设备包括：

第一电路，所述第一电路用于基于第一实时传输协议(RTP)流对与同时拍摄的位置的多个图像相关的第一可视化数据进行解码；

第二电路，所述第二电路用于基于从用户设备(UE)接收的会话描述协议(SDP)提议对所述UE支持沉浸式查看能力的指示进行解码；以及

第三电路，所述第三电路用于基于所述SDP提议经由第二RTP流来传输与所述第一可视化数据相关的第二可视化数据，其中所述第二可视化数据包括用于显示所述第二可视化数据的至少部分的补充信息增强(SEI)消息。

2.根据权利要求1所述的电子设备，其中所述第一RTP流包括与所述多个图像中的两个或更多个图像相关的可视化数据。

3.根据权利要求1所述的电子设备，其中所述第一RTP流包括与所述多个图像中的图像相关的可视化数据，并且其中所述电子设备还包括：

第四电路，所述第四电路用于基于第三RTP流对与所述多个图像中的另一图像相关的第三可视化数据进行解码；以及

第五电路，所述第五电路用于将所述第一可视化数据和所述第三可视化数据拼接在一起。

4.根据权利要求1至3中任一项所述的电子设备，其中所述SEI消息是等距柱状投影SEI消息、立方图投影SEI消息、球体旋转SEI消息或分区封装SEI消息。

5.根据权利要求1至3中任一项所述的电子设备，所述电子设备还包括第六电路，所述第六电路用于基于从所述UE接收的RTP控制协议(RTCP)反馈消息对所述第一可视化数据的期望查看方向的指示进行解码。

6.根据权利要求5所述的电子设备，其中所述第二可视化数据是基于所述期望查看方向的所述指示的所述第一可视化数据的部分。

7.根据权利要求1至3中任一项所述的电子设备，其中所述第一电路、所述第二电路和所述第三电路是处理器的电路。

8.一种电子设备，所述电子设备包括：

第一电路，所述第一电路用于基于接收的实时传输协议(RTP)流确定基本流，所述实时传输协议流包括与同时拍摄的位置的多个图像相关的可视化数据；

第二电路，所述第二电路用于基于所述基本流对所述可视化数据和补充信息增强(SEI)消息进行解码；

第三电路，所述第三电路用于基于所述可视化数据和所述SEI消息生成所述可视化数据到视场的映射；以及

第四电路，所述第四电路用于向显示设备输出与所述可视化数据到所述视场的所述映射相关的数据。

9.根据权利要求8所述的电子设备，其中所述电子设备是第三代合作伙伴计划(3GPP)网络的用户设备(UE)，并且其中所述UE包括所述显示设备。

10.根据权利要求8所述的电子设备，其中所述SEI消息是等距柱状投影SEI消息、立方图投影SEI消息、球体旋转SEI消息或分区封装SEI消息。

11.根据权利要求8至10中任一项所述的电子设备，所述电子设备还包括第五电路，所述第五电路用于在RTP控制协议(RTCP)反馈消息中促进传输所述第一可视化数据的期望查看方向的指示。

12.据权利要求8至10中任一项所述的电子设备，其中所述RTP流是包括与所述多个图像中的第一图像相关的第一可视化数据的第一RTP流，并且其中所述基本流还基于已解码的第二RTP流，所述已解码的第二RTP流包括与所述多个图像中的第二图像相关的第二可视化数据。

13.根据权利要求8至10中任一项所述的电子设备，其中所述RTP流包括与所述多个图像中的至少第一图像和第二图像相关的可视化数据。

14.根据权利要求8至10中任一项所述的电子设备，其中所述可视化数据是包括所述SEI消息的高效率视频编码(HEVC)比特流。

15.一种方法，包括：

从用户设备(UE)向(IP)多媒体子系统(IMS)服务器传输会话描述协议(SDP)提议，所述会话描述协议提议包括所述UE支持沉浸式视频的指示；

由所述UE基于从所述服务器接收的SDP响应确定服务器支持沉浸式视频的指示；

基于所述SDP提议和所述SDP响应，确定实时传输协议(RTP)媒体流和补充信息增强(SEI)消息，所述实时传输协议媒体流包括与同时拍摄的位置的多个图像相关的可视化数据，并且所述补充信息增强消息用于显示所述可视化数据的至少部分；以及

由所述UE基于所述可视化数据和所述SEI消息向所述用户设备的用户视觉地显示所述可视化数据的所述部分。

16.根据权利要求15所述的方法，其中所述SDP提议包括所述UE支持视口依赖处理的指示。

17.根据权利要求15所述的方法，其中所述SDP响应包括所述服务器支持视口依赖处理的指示。

18.根据权利要求15至17中任一项所述的方法，所述方法还包括在RTP控制协议(RTCP)反馈消息中从所述UE向所述服务器传输所述可视化数据的期望视场的指示。

19.根据权利要求18所述的方法，其中所述RTP媒体流的所述可视化数据基于所述期望视场的所述指示。

20.根据权利要求15至17中任一项所述的方法，其中所述可视化数据基于全向媒体格式(OMAF)视频简档。