CN117795951A - 360度视频会议中无遮挡区域的会话描述协议（sdp）信令传输 - Google Patents

Abstract

包括：接收对应于360度视频的第一视频输入；接收一个或更多个第二视频输入；在第一视频输入中限定一个或更多个无遮挡区域，每个无遮挡区域指示视频的没有被另一个图像或视频叠加的区域；经由第三代合作伙伴计划(3GPP)叠加属性在会话描述协议(SDP)中用信令传输一个或更多个无遮挡区域的位置信息，其中，3GPP叠加属性用信令传输相应的3GPP叠加是旨在用于无遮挡区域还是专用于特定叠加；将SDP传输至接收方；以及呈现输出视频，该输出视频包括第一视频输入以及在不包括一个或更多个无遮挡区域的区域内叠加的一个或更多个第二视频输入。

Description

360度视频会议中无遮挡区域的会话描述协议(SDP)信令传输

相关申请的交叉引用

本申请基于2022年2月7日提交的美国专利申请第63/307,550号和2022年12月1日提交的美国专利申请第18/073,207号，并要求其优先权，上述美国专利申请的公开内容通过引用整体并入本文中。

技术领域

本公开内容提供了一种使用会话描述协议(SDP)用信令传输360度视频会议中的无遮挡区域的方法。360度视频中的无遮挡区域是360度视频的不应被任何叠加(overlay)覆盖的区域，因为其包含重要信息。

背景技术

第三代合作伙伴计划(3GPP)TS26.114定义了一个用于移动手机的视频会议系统。在其新版本中，该规范支持与支持捕获和传输360度视频的终端进行视频会议。该标准还支持向360度视频添加叠加。360度视频及其叠加可以与来自电话会议中其他远程参与者的其他二维视频一起得到呈现。

3GPP TS26.114中定义的当前5G媒体流架构为移动网络上的视频会议提供一般框架。远程参与者(例如，用户B)接收到来自房间A的360度视频和来自用户C的二维视频。用户可能想在他/她的终端上看到这两个视频。然而，如果用户想最大限度地利用设备显示的优势，房间A的360度视频可能需要占用用户B的设备的整个屏幕，并且然后，来自用户C的二维视频必须叠加在房间A的360度视频的上面。

目前的标准没有定义任何方法来用信令传输房间A的无遮挡区域。这些区域是房间A的360度视频的如下区域，这些区域应该有重要的信息(房间里的参与者，或演示显示)，并且不应该被来自接收远程终端中的其他用户的叠加视频(例如，用户C的二维视频)遮挡。

发明内容

下面介绍本公开内容的一个或更多个实施方式的简化概要，以提供对这样的实施方式的基本理解。本概要不是对所有设想的实施方式的广泛概述，并且既不旨在确定所有实施方式的重要或关键要素，也不旨在划定任何或所有实施方式的范围。它的唯一目的是以简化的形式介绍本公开内容的一个或更多个实施方式的一些构思，作为后面介绍的更详细描述的前序。

本公开内容提供了一种用于用信令传输无遮挡区域的方法。

根据一些实施方式，提供了一种由至少一个处理器执行的方法。该方法包括接收对应于360度视频的第一视频输入。该方法还包括接收一个或更多个第二视频输入。该方法还包括在第一视频输入中限定一个或更多个无遮挡区域，每个无遮挡区域指示视频的没有被另一图像或视频叠加的区域。该方法还包括经由3GPP叠加属性在会话描述协议(SDP)中用信令传输一个或更多个无遮挡区域的位置信息，其中，该3GPP叠加属性用信令传输相应的3GPP叠加是旨在用于无遮挡区域还是专用于特定叠加。该方法还包括：将SDP传输至接收方；以及呈现输出视频，该输出视频包括第一视频输入以及在不包括一个或更多个无遮挡区域的区域中叠加的一个或更多个第二视频输入。

根据一些实施方式，一种装置包括：至少一个存储器，其被配置成存储程序代码；以及至少一个处理器，其被配置成读取程序代码并按照程序代码的指示进行操作。程序代码包括第一接收代码，其被配置成使至少一个处理器接收对应于360度视频的第一视频输入。该程序编码器还包括第二接收代码，其被配置成使至少一个处理器接收一个或更多个第二视频输入。程序编码器还包括限定代码，其被配置成使至少一个处理器在第一视频输入中限定一个或更多个无遮挡区域，每个无遮挡区域指示视频的没有被另一图像或视频叠加的区域。该程序编码器还包括用信令传输代码，其被配置成使至少一个处理器经由3GPP叠加属性在会话描述协议(SDP)中用信令传输一个或更多个无遮挡区域的位置信息，其中，该3GPP叠加属性用信令传输相应的3GPP叠加是旨在用于无遮挡区域还是专用于特定叠加。该程序编码器还包括传输代码，其被配置成使至少一个处理器将SDP传输至接收方。该程序编码器还包括呈现代码，该呈现代码被配置成使至少一个处理器呈现输出视频，该输出视频包括第一视频输入以及在不包括一个或更多个无遮挡区域的区域中叠加的一个或更多个第二视频输入。

根据一些实施方式，一种存储指令的非暂态计算机可读存储介质，所述指令在由至少一个处理器执行时使至少一个处理器接收对应于360度视频的第一视频输入。指令还使至少一个处理器接收一个或更多个第二视频输入。指令还使至少一个处理器在第一视频输入中限定一个或更多个无遮挡区域，每个无遮挡区域指示视频的没有被另一图像或视频叠加的区域。指令还使至少一个处理器经由3GPP叠加属性在会话描述协议(SDP)中用信令传输一个或更多个无遮挡区域的位置信息，其中，该3GPP叠加属性用信令传输相应的3GPP叠加是旨在用于无遮挡区域还是专用于特定叠加。指令还使至少一个处理器将SDP传输至接收方。指令还使至少一个处理器呈现输出视频，该输出视频包括第一视频输入以及在不包括一个或更多个无遮挡区域的区域中叠加的一个或更多个第二视频输入。

其他实施方式将在接下来的描述中阐述，并且部分地，将从描述中明显，以及/或者可以通过实践本公开内容的所提出的实施方式了解其他实施方式。

附图说明

本公开内容的实施方式的上述和其他特征和方面将从以下结合附图的描述中变得明显，在附图中：

图1是根据本公开内容的各种实施方式的示例网络设备的图。

图2是根据本公开内容的各种实施方式的用于限定无遮挡区域的示例过程的流程图。

图3是根据本公开内容的各种实施方式的无遮挡区域和遮挡区域的图。

图4是根据本公开内容的各种实施方式的360度视频系统的图。

图5是根据本公开内容的各种实施方式的360度视频系统的图。

具体实施方式

以下对示例实施方式的详细描述参照附图。不同附图中的相同附图标记可以标识相同或相似的元素。

上述公开内容提供了图示和描述，但并不旨在是详尽的或将实现方式限制为所公开的精确形式。可以根据上述公开内容进行修改和变化，或者可以从实现方式的实践中获得修改和变化。此外，一个实施方式的一个或更多个特征或部件可以并入另一个实施方式(或另一个实施方式的一个或更多个特征)或与之结合。此外，在下面提供的操作的流程图和描述中，应当理解可以省略一个或更多个操作，可以增加一个或更多个操作，可以同时(至少部分地)执行一个或更多个操作，以及可以调换一个或更多个操作的顺序。

明显的是，本文中所述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码并不是对实现方式的限制。因此，本文中对系统和/或方法的操作和行为进行了描述，而没有提及具体的软件代码。应当理解的是，可以基于本文中的描述设计软件和硬件来实现这些系统和/或方法。

即使在权利要求书中列举和/或在说明书中公开了特征的特定组合，这些组合也不旨在限制可能的实现方式的公开内容。事实上，这些特征中的许多特征可以以没有具体在权利要求书中列举和/或在说明书中公开的方式进行组合。尽管下面列出的每个从属权利要求可能仅直接从属于一个权利要求，但可能的实现方式的公开内容包括每个从属权利要求与权利要求组中的每个其他权利要求的组合。

除非明确描述为关键的或必要的，否则本文中使用的任何元素、动作或指令都不应被理解为关键的或必要的。另外，正如本文中所使用的，冠词“一(a)”和“一个(an)”旨在包括一个或更多个项目，并且可以与“一个或更多个”互换使用。如果只意指一个项目，则使用术语“一个(one)”或类似语言。此外，如本文中使用的，术语“具有(has)”、“具有(have)”、“具有(having)”、“包括(include)”、“包含(including)”等旨在作为开放式术语。此外，短语“基于”旨在是指“至少部分基于”，除非另有明确说明。此外，诸如“[A]和[B]中的至少一个”或“[A]或[B]中的至少一个”的表达应理解为包括仅A、仅B或A和B二者。

当使用传统方法进行具有360度视频的视频会议时，目前的系统依赖于将360度视频转录到二维空间，并将二维绘图与其他相关信息叠加。例如，当用户在具有某种演示的360度会议中时，目前的系统需要选择显示会议(360度视频)、演示(二维视频)或者显示会议视频与绘制在会议的部分上的演示的某种叠加呈现。由于远程工作的发生率越来越高，同事之间的合作需求需要一种更好的方式来看到虚拟会议的参与者和主题二者。

本公开内容描述了360度视频中被标记为无遮挡区域的感兴趣区域。每个区域的位置和面积被传送到接收方，以便每个接收方知道这些区域在用来自其他终端的视频和图像进行呈现时应保持无遮挡。例如，会议室中每个参与者的脸可以是该会议室的360度视频中的一个感兴趣区域。

这些感兴趣区域是动态的，并且在视频会议会话期间可能会改变。例如，新的参与者可能加入会议室，以及/或者其他人离开会议室。因此，无遮挡区域的数目和/或尺寸可能在视频会议会话期间发生变化。

在一些实施方式中，使用360度视频的全局坐标系作为任何无遮挡区域的参考。无遮挡区域由其在该坐标系中的位置和其在该坐标系中的面积限定。例如，球状的矩形区域是由它的中心，以及它围绕中心的偏航和俯仰范围来限定的。类似地，在各种坐标系中，可以使用该坐标系的参数来限定某个区域。

在一些实施方式中，360度视频的无遮挡区域可以经由3gpp_overlay属性在SDP中用信令传输。添加附加的标志使得可以用信令传输决定的3GPP叠加是旨在用于无遮挡区域还是专用于特定叠加。例如：

a＝3gpp_overlay：overlay__id SP type SP(sphere_relative_overlay_config/viewport_relative_overlay_config)[SP overlay_info][for_additional_overlays]。

for_additional_overlay标志具有以下语义：

1.如果for_additional_overlay标志不被包括或被设置为0，则该叠加具有专用媒体，该媒体用overlay_id值标识。

2.如果for_additional_overlay被包括并被设置为1，则该叠加是无遮挡叠加，并且接收方可以用这来叠加任何需要的媒体。该叠加将不会导致任何重要信息的损失，因为该区域被特别标记为无遮挡区域。

SDP可以包括上述公告中的一个或更多个，每个公告代表一个无遮挡区域。此外，利用SDP，可以更新、移除区域或者可以通过在会话期间提供新的SDP行来在会话期间添加新的区域。

通过使用SDP限定清晰的无遮挡区域的图，接收终端知道不在这些区域上呈现任何叠加。每个无遮挡区域的数目、位置和尺寸可以在会话期间被更新。该信息可以在源处被提取，并且然后从源递送，或者其可以在MRF处添加。

图1示出了用于使用360度视频会议方法的实施方式的示例性系统100。示例性系统100可以是各种系统之一，例如个人计算机、移动设备、计算机集群、服务器、嵌入式设备、ASIC、微控制器或能够运行代码的任何其他设备。总线110将示例性系统100连接在一起，使得所有的部件可以彼此通信。总线110连接处理器120、存储器130、存储部件140、输入部件150、输出部件160和接口部件。

处理器120可以是单个处理器、内部有多个处理器的处理器、处理器集群(多于一个)和/或分布式处理。处理器执行存储在存储器130和存储部件140两者中的指令。处理器120作为计算设备操作，为文本规范化装置执行操作。存储器130是快速存储装置，并且对存储器设备中的任何一个的检索可以通过使用缓存存储器来实现，缓存存储器可以与一个或更多个CPU密切相关联。存储部件140可以是任何长期存储装置例如HDD、SSD、磁带或任何其他长期存储格式中的一者。

输入部件150可以是来自用户接口部件例如摄像装置或文本捕获设备的任何文件类型或信号。输出部件160将处理后的信息输出至通信接口170。通信接口可以是扬声器或可以向用户或另一个观察者例如另一个计算系统显示信息的其他通信设备。

图2示出了执行视频会议的过程的示例性实施方式的流程图。

如图2中所示，该过程可以包括接收对应于360度视频会议的第一视频输入。

如图2中进一步所示，该过程可以包括接收一个或更多个第二视频输入。

如图2中进一步所示，该过程可以包括在第一视频输入中限定一个或更多个无遮挡区域。无遮挡区域指示视频的不被任何图像或视频交叠的区域。

如图2中进一步所示，该过程可以包括经由3GPP叠加属性在会话描述协议中用信令传输一个或更多个无遮挡区域的位置信息。

如图2中进一步所示，该过程可以包括将SDP传输至接收方。

如图2中进一步所示，该过程可以包括呈现输出视频，该输出视频包括第一视频输入以及在不包括一个或更多个无遮挡区域的区域中叠加的一个或更多个第二视频输入。

图3示出了遮挡区域320和无遮挡区域310的实施方式。在屏幕300上，空间可以被分配为无遮挡区域310或遮挡区域320。无遮挡区域310是屏幕300的其中内容或其他信息正在被绘制/呈现或以其他方式输出至的区域。这个无遮挡区域310可能没有被呈现在其上面或以其他方式叠加的其他内容。同时，遮挡区域320是没有内容的，具有低优先级的内容，或已被标记为可能具有被放置在其上面的其他内容的区域。无遮挡区域是由其在该坐标系中的位置和其在该坐标系中的区域限定的。例如，球状的矩形区域是由其中心以及围绕中心的其偏航范围和俯仰范围限定的。类似地，在各种坐标系中，区域可以用坐标系的参数来限定。在一些实施方式中，屏幕300的区域、整个屏幕或多个屏幕可以被标记为遮挡区域或无遮挡区域。

可以使用各种机制来用信令传输无遮挡区域。例如，在一些实施方式中，用信令传输无遮挡区域可以是作为会话描述的一部分将这样的区域的坐标作为无遮挡区域列表中的项目发送。在其他实施方式中，用信令传输无遮挡区域可以通过在场景描述中限定某个节点来完成，其限定了无遮挡区域及其属性(例如，是透明的且不包含任何媒体对象)。在其他实施方式中，用信令传输无遮挡区域可以通过限定单独的场景描述来执行，该场景描述仅限定了无遮挡区域。360度视频的无遮挡区域可以在SDP a＝3gpp_occludefree属性中用信令传输。视频组件可以具有该区域的位置和大小(范围)。由于该组件由3gpp_occludefree限定，因此ITT4RT知道该用信令传输不包含任何实际媒体，但被用于用信令传输不应被覆盖的区域。

在一些实施方式中，场景描述可以包括每个无遮挡区域的节点。节点的纹理属性可以被设置为不透明度为0(完全透明)的α通道。替选地，可以对于无遮挡节点限定新的MIME类型。例如，在glTF场景描述中，如果对于某个纹理，alphaMode＝MASK，并且alphaCutOff＝1.1，那么这个对象就是透明的(不呈现)。可以向glTF规范添加新的属性，以明确地用信令传输这些区域为无遮挡区域。

图4详细介绍了使用中的360度视频系统的实施方式。在示例性的实施方式中，正在进行360度视频演示。该视频演示例如可以是视频会议、视频聊天、视频或其中有视觉和音频信息的其他信息交换。在本实施方式中，用户B 460从用户A400接收360度视频，以及从用户C 450接收二维视频。用户可能想在他/她的终端上看到这两个视频。然而，如果用户想最大限度地利用设备显示的优势，房间A的360度视频可能需要占据用户B的设备的整个屏幕，并且然后，来自用户C的二维视频必须叠加在房间A400的360度视频之上。在这个实施方式中，用户B 460的视频馈送420是以用户A400的视频作为背景的组合，其然后限定有无遮挡区域和遮挡区域。用户A400的视频的这些区域从发送方传输至接收方，或通过其他软件解决方案或设备共享。在此，用户B 460将他们的视频信息发送至用户C 450和用户A400。此外，用户A400和用户C 450在他们自己之间发送他们各自视频信息中的每一者以及向用户B460发送他们各自视频信息中的每一者。无遮挡区域可以用单独的场景描述对象而不是常规场景描述来描述。这个附加的场景描述仅包含关于无遮挡区域的信息，并且因此不用于呈现，但提供无遮挡区域的图。

在接收到关于其他用户的视频显示的信息后，区域被限定为遮挡或无遮挡，并且然后在用户B的屏幕410上呈现两者的组合。图4中所示的用户B的屏幕410使用用户A的视频400作为背景，其中至少一个区域标记为无遮挡区域460，并且另一个区域标记为遮挡区域430。在图4中，遮挡区域430具有绘制在该区域上的用户C的视频440。在某些情况下，屏幕中的一个或更多个的布置因为新的信息例如，附加的用户、更多的演示信息被绘制或例如用户成为焦点或另外需要更多的屏幕空间而可能需要改变。在具有附加信息的情况下，每个用户的屏幕将需要重新限定遮挡区域或无遮挡区域，以改变和说明不断变化的情况。例如，参照图4，如果附加的用户要加入演示，则所有用户的现有屏幕将不得不重新限定遮挡区域或无遮挡区域，并重新呈现用户屏幕中的每一个，以确保关键信息不被遮挡。

图5详细示出了在使用中的360度视频系统的实施方式。在示例性实施方式中，正在进行360度视频演示。该视频演示例如可以是视频会议、视频聊天、视频或其中有视觉和音频信息的其他信息交换。在本实施方式中，用户B 460从用户A500接收360度视频，以及从用户C 540接收二维视频。用户可能想在他/她的终端上看到这两个视频。然而，如果用户想最大限度地利用设备显示的优势，房间A的360度视频可能需要占据用户B的设备的整个屏幕，并且然后，来自用户C的二维视频必须叠加在房间A的360度视频之上。在这个实施方式中，用户B的视频馈送520是以用户A的视频500作为背景的组合，其然后限定有无遮挡区域和遮挡区域。用户A的视频500的这些区域通过MRF 550从发送方传输至接收方，或通过其他软件解决方案或设备共享。MRF 550可以用于为对话会话创建单个场景描述。该场景描述向每个远程客户端描述整个场景。相同的场景描述可选地可以包括附加的节点以用信令传输无遮挡区域，或者其可以包括仅包含无遮挡区域的节点的单独的根节点。

在此，用户B将他们的视频信息发送给用户C和用户A。另外，用户A和用户C在他们自己之间发送他们各自的视频信息中的每一个以及向用户B发送他们各自的视频信息中的每一个。无遮挡区域可以用单独的场景描述对象而非常规场景描述来描述。这个附加的场景描述仅包含关于无遮挡区域的信息，并且因此，不用于呈现，但提供无遮挡区域的图。

在接收到关于其他用户的视频显示的信息后，区域被限定为遮挡或无遮挡，然后在用户B的屏幕510上呈现两者的组合。图5中所示的用户B的屏幕510使用用户A的视频500作为背景，其中至少一个区域标记为无遮挡区域560，并且另一个标记为遮挡区域530。在图5中，遮挡区域530具有绘制在该区域上的用户C的视频440。在某些情况下，屏幕中的一个或更多个的布置因为新的信息例如，附加的用户，更多的演示信息被绘制、或例如用户成为焦点或另外需要更多的屏幕空间而可能需要改变。在具有附加信息的情况下，每个用户的屏幕将需要重新限定遮挡区域或无遮挡区域，以改变和说明不断变化的情况。例如，使用图5，如果附加的用户加入演示，则所有当前用户的屏幕将不得不重新限定遮挡区域或无遮挡区域，并重新呈现用户屏幕中的每一个，以确保关键信息不被遮挡。

上述公开内容提供了图示和描述，但不旨在是详尽的或将实现方式限制为所公开的精确形式。根据上述公开内容可以进行修改和变化，或者可以从实现方式的实践中获得修改和变化。

一些实施方式可以涉及在任何可能的集成技术细节水平上的系统、方法和/或计算机可读介质。此外，上述的上面的部件中的一个或更多个可以作为存储在计算机可读介质上并可由至少一个处理器(和/或可以包括至少一个处理器)执行的指令来实现。该计算机可读介质可以包括计算机可读非暂态存储介质(或媒介)，其上有用于使处理器执行操作的计算机可读程序指令。

计算机可读存储介质可以是可以保留和存储供指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、或上述的任何合适组合。计算机可读存储介质的更具体示例的非详尽列表包括以下内容：便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用盘(DVD)、记忆棒、软盘、机械编码设备(例如其上记录有指令的穿孔卡或凹槽中的凸起结构)、以及上述的任何合适的组合。如本文中所使用的计算机可读存储介质不应理解为是暂态信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光缆的光脉冲)、或通过线传输的电信号。

本文中描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络例如因特网、局域网、广域网和/或无线网络下载到外部计算机或外部存储设备。该网络可以包括铜质传输线缆、光传输光纤、无线传输部件、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令，以便存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行操作的计算机可读程序代码/指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据，或者以一种或更多种编程语言(包括面向对象编程语言例如Smalltalk、C++等，以及程序性编程语言例如“C”编程语言或类似编程语言)的任何组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立软件包执行，部分在用户的计算机上且部分在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN)，或者可以至外部计算机的连接(例如，通过使用因特网服务提供商的因特网))连接至用户的计算机。在一些实施方式中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息使电子电路个性化来执行计算机可读程序指令，以便执行各方面或操作。

这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令实现流程图和/或一个或多个框图块中指定的操作。这些计算机可读程序指令也可以存储在计算机可读存储介质中，其可以指示计算机、可编程数据处理装置和/或其他设备以特定方式操作，使得其中存储有指令的计算机可读存储介质包括制造品，该制造品包括实现流程图和/或一个或多个框图块中指定的操作的各个方面的指令。

计算机可读程序指令也可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使在计算机、其他可编程装置或其他设备上执行一系列操作，从而产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或一个或多个框图块中指定的操作。

附图中的流程图和框图示出了根据各种实施方式的系统、方法和计算机可读介质的可能实现方式的架构、功能和操作。在这方面，流程图或框图中的每个块可以表示包括用于实现指定逻辑操作的一个或更多个可执行指令的模块、区段或指令部分。该方法、计算机系统和计算机可读介质可以包括附加的块、较少的块、不同的块，或与附图中描绘的块不同布置的块。在一些替选实现方式中，块中指出的操作可以不按附图中指出的顺序发生。例如，连续显示的两个块实际上可以同时或基本上同时执行，或者取决于所涉及的功能，这些块有时可以按相反的顺序执行。还将注意到，框图和/或流程图图示的每个块，以及框图和/或流程图图示中的块的组合可以由基于特殊用途硬件的系统实现，该系统执行指定的操作或动作或执行特殊用途硬件和计算机指令的组合。

明显的是，本文中所述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码并不是对实现方式的限制。因此，本文中对系统和/或方法的操作和行为进行了描述，而没有提及具体的软件代码——可以理解的是，可以基于本文中的描述设计软件和硬件以实现这些系统和/或方法。

Claims (20)

1.一种由至少一个处理器执行的方法，所述方法包括：

接收对应于360度视频的第一视频输入；

接收一个或更多个第二视频输入；

在所述第一视频输入中限定一个或更多个无遮挡区域，每个无遮挡区域指示所述视频的没有被另一图像或视频叠加的区域；

经由第三代合作伙伴计划(3GPP)叠加属性在会话描述协议(SDP)中用信令传输所述一个或更多个无遮挡区域的位置信息，其中，所述3GPP叠加属性用信令传输相应的3GPP叠加是旨在用于无遮挡区域还是专用于特定叠加；

将所述SDP传输至接收方；以及

呈现输出视频，所述输出视频包括所述第一视频输入以及在不包括所述一个或更多个无遮挡区域的区域中叠加的所述一个或更多个第二视频输入。

2.根据权利要求1所述的方法，其中，每个无遮挡区域的所述位置信息基于相应的无遮挡区域在坐标系中的位置。

3.根据权利要求1所述的方法，其中，所述一个或更多个第二视频输入是360度视频或二维视频。

4.根据权利要求1所述的方法，还包括更新所述SDP中的每个无遮挡区域，其中，更新每个无遮挡区域包括：

在会话期间移除或添加新的无遮挡区域；以及

在所述会话期间提供一个或更多个新的SDP行。

5.根据权利要求4所述的方法，其中，更新每个无遮挡区域中的每一个的尺寸。

6.根据权利要求1所述的方法，还包括向所述SDP添加标志，以用信令传输所选3GPP叠加属性是否旨在用于无遮挡区域，或者所决定的3GPP叠加是否专用于特定叠加。

7.根据权利要求4所述的方法，其中，响应于所述SDP中的所述更新，改变所述输出视频的呈现。

8.一种装置，包括：

至少一个存储器，其被配置成存储程序代码；以及

至少一个处理器，其被配置成读取所述程序代码并按照所述程序代码的指示进行操作，所述程序代码包括：

第一接收代码，其被配置成使所述至少一个处理器接收对应于360度视频的第一视频输入；

第二接收代码，其被配置成使所述至少一个处理器接收一个或更多个第二视频输入；

限定代码，其被配置成使所述至少一个处理器在所述第一视频输入中限定一个或更多个无遮挡区域，每个无遮挡区域指示所述视频的没有被另一图像或视频叠加的区域；

用信令传输代码，其被配置成使所述至少一个处理器经由第三代合作伙伴计划(3GPP)叠加属性在会话描述协议(SDP)中用信令传输所述一个或更多个无遮挡区域的位置信息，其中，所述3GPP叠加属性用信令传输相应的3GPP叠加是旨在用于无遮挡区域还是专用于特定叠加；

传输代码，其被配置成使所述至少一个处理器将所述SDP传输至接收方；以及

呈现代码，其被配置成使所述至少一个处理器呈现输出视频，所述输出视频包括所述第一视频输入以及在不包括所述一个或更多个无遮挡区域的区域中叠加的所述一个或更多个第二视频输入。

9.根据权利要求8所述的装置，其中，每个无遮挡区域的所述位置信息基于相应的无遮挡区域在坐标系中的位置。

10.根据权利要求8所述的装置，其中，所述一个或更多个第二视频输入是360度视频或二维视频。

11.根据权利要求8所述的装置，其中，所述程序代码还包括更新代码，所述更新代码被配置成使所述至少一个处理器执行以下操作：

更新所述SDP中的每个无遮挡区域；

在会话期间移除或添加新的无遮挡区域；以及

在所述会话期间提供一个或更多个新的SDP行。

12.根据权利要求11所述的装置，其中，每个无遮挡区域的尺寸被更新。

13.根据权利要求8所述的装置，其中，所述程序代码还包括添加代码，所述添加代码被配置成使所述至少一个处理器向所述SDP添加标志，以用信令传输所选3GPP叠加属性是否旨在用于无遮挡区域或所决定的3GPP叠加是否专用于特定叠加。

14.根据权利要求11所述的装置，其中，响应于所述SDP中的所述更新，所述程序代码还被配置成使所述至少一个处理器改变所述输出视频的呈现。

15.一种存储指令的非暂态计算机可读存储介质，所述指令在由至少一个处理器执行时使所述至少一个处理器执行以下操作：

接收对应于360度视频的第一视频输入；

接收一个或更多个第二视频输入；

在所述第一视频输入中限定一个或更多个无遮挡区域，每个无遮挡区域指示所述视频的没有被另一图像或视频叠加的区域；

经由第三代合作伙伴计划(3GPP)叠加属性在会话描述协议(SDP)中用信令传输所述一个或更多个无遮挡区域的位置信息，其中，所述3GPP叠加属性用信令传输相应的3GPP叠加是旨在用于无遮挡区域还是专用于特定叠加；

将所述SDP传输至接收方；以及

呈现输出视频，所述输出视频包括所述第一视频输入以及在不包括所述一个或更多个无遮挡区域的区域中叠加的所述一个或更多个第二视频输入。

16.根据权利要求15所述的非暂态计算机可读存储介质，其中，每个无遮挡区域的所述位置信息基于相应的无遮挡区域在坐标系中的位置。

17.根据权利要求15所述的非暂态计算机可读存储介质，其中，所述一个或更多个第二视频输入是360度视频或二维视频。

18.根据权利要求15所述的非暂态计算机可读存储介质，其中，所述指令还使所述至少一个处理器更新所述SDP中的每个无遮挡区域，其中，更新每个无遮挡区域包括：

在会话期间移除或添加新的无遮挡区域；以及

在所述会话期间提供一个或更多个新的SDP行。

19.根据权利要求18所述的非暂态计算机可读存储介质，其中，每个无遮挡区域的尺寸被更新。

20.根据权利要求15所述的非暂态计算机可读存储介质，其中，所述指令还使所述至少一个处理器向所述SDP添加标志，以用信令传输所选3GPP叠加属性是否旨在用于无遮挡区域或者所决定的3GPP叠加是否专用于特定叠加。