CN112369017A

CN112369017A - 用于利用基于网络的媒体处理的虚拟现实内容拼接控制的方法和装置

Info

Publication number: CN112369017A
Application number: CN201980045958.3A
Authority: CN
Inventors: S·S·马特; 由宇; E·B·阿克苏; K·卡马施斯里达
Original assignee: Nokia Technologies Oy
Current assignee: Nokia Technologies Oy
Priority date: 2018-07-11
Filing date: 2019-07-10
Publication date: 2021-02-12
Also published as: EP3821597A4; WO2020012072A1; US10861132B2; EP3821597A1; US20200020077A1

Abstract

方法、装置和计算机程序产品提供了信令机制，该信令机制可以结合在运动图像专家组‑I(MPEG‑I)基于网络的媒体处理(NBMP)中定义的媒体处理管道中的媒体接口和交换机制来使用。特别地，方法、装置和计算机程序产品提供了NBMP媒体接口机制，该NBMP媒体接口机制使得虚拟现实(VR)拼接能够在支持NBMP的系统内实现而与所使用的拼接算法无关。

Description

用于利用基于网络的媒体处理的虚拟现实内容拼接控制的方法和装置

本申请要求于2018年7月11日提交的题为“用于利用基于网络的媒体处理的虚拟现实内容拼接控制的方法和装置(METHOD AND APPARATUS FOR VIRTUAL REALITY CONTENTSTITCHING CONTROL WITH NETWORK BASED MEDIA PROCESSING)”的美国临时申请No.62/686,571的优先权，其内容通过引用全部并入本文中。

技术领域

示例性实施例通常涉及基于网络的媒体处理中的视频拼接。

背景技术

全景(360度)拼接是通过组合来自多个相机镜头位置的图像来构造单像或立体的全景图像的过程。给定具有多个相机镜头的约束装备配置，借助于已知的相机校准参数和所期望的立体输出差异，从来自相邻相机的条带创建左右透视等矩形图像。在拼接多个图像时的问题是视差会导致干扰伪影(例如，接合(seam))，这些伪影可以呈现为拼接条带之间的间断。用于解决此问题的一些方法包括使用诸如快速线性梯度域方法、或诸如深度或光流的慢速方法之类的不同策略来在条带之间进行融合。

在拼接过程中，需要诸如相机参数之类的某些信息、以及用于拼接过程的客观和主观要求。另外，被用于拼接的内容可以是碎片的和异构的。例如，可用于拼接的一些内容可以从单体相机、多鱼眼相机、或装备上的一组相机捕获。来自不同的源的相机可能无法被同步并且可能无法被统一地格式化。因此，指示来自不同的源的内容的内容特性的输入源内容参数对于拼接过程很重要，以便有效地且以最小的错误量来执行拼接。

发明内容

根据示例性实施例，提供了方法、装置和计算机程序产品，以提供了信令机制，该信令机制可以结合在运动图像专家组-I(MPEG-I)基于网络的媒体处理(NBMP)中定义的媒体处理管道中的媒体接口和交换机制来使用。特别地，根据示例性实施例，提供了方法、装置和计算机程序产品，以提供NBMP媒体接口机制，该NBMP媒体接口机制使得虚拟现实(VR)拼接能够在支持NBMP的系统内实现而与所使用的拼接算法无关。

在一个示例性实施例中，提供了一种方法，该方法包括捕获媒体内容。该媒体内容包括一个或多个视频。该方法还包括根据基于网络的媒体处理接口机制来传送媒体内容。该基于网络的媒体处理接口机制定义将要与媒体内容一起被传送的一组拼接输入参数。

在这种方法的一些实现中，基于网络的媒体处理接口机制定义将要与媒体内容一起被传送的一组摄取内容特性。在一些实施例中，一组摄取内容特性包括贡献源内容信息。在一些实施例中，一组拼接输入参数包括接合位置选择准则和收敛点选择准则。在一些实施例中，接合位置选择准则包括默认接合位置、接合厚度、以及接合自由度。

在另一个示例性实施例中，提供了一种装置，该装置包括至少一个处理器和至少一个存储器，该至少一个存储器包括用于一个或多个程序的计算机程序代码，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使得该装置捕获媒体内容。该媒体内容包括一个或多个视频。该计算机程序代码进一步被配置为与至少一个处理器一起使得该装置根据基于网络的媒体处理接口机制来传送媒体内容。该基于网络的媒体处理接口机制定义将要与媒体内容一起被传送的一组拼接输入参数。

在这种装置的一些实现中，基于网络的媒体处理接口机制定义将要与媒体内容一起被传送的一组摄取内容特性。在一些实施例中，一组摄取内容特性包括贡献源内容信息。在一些实施例中，一组拼接输入参数包括接合位置选择准则和收敛点选择准则。在一些实施例中，接合位置选择准则包括默认接合位置、接合厚度、以及接合自由度。

在另一个示例性实施例中，提供了一种装置，该装置包括用于捕获媒体内容的部件。该媒体内容包括一个或多个视频。该装置还包括用于根据基于网络的媒体处理接口机制来传送媒体内容的部件。该基于网络的媒体处理接口机制定义将要与媒体内容一起被传送的一组拼接输入参数。

在另一个示例性实施例中，提供了一种计算机程序产品，该计算机程序产品包括在其中存储有计算机可执行程序代码指令的至少一个非暂时性计算机可读存储介质，该计算机可执行程序代码指令包括程序代码指令，该程序代码指令被配置为在执行时捕获媒体内容。该媒体内容包括一个或多个视频。该计算机可执行程序代码包括程序代码指令，该程序代码指令被配置为在执行时根据基于网络的媒体处理接口机制来传送媒体内容。该基于网络的媒体处理接口机制定义将要与媒体内容一起被传送的一组拼接输入参数。

在这种计算机程序产品的一些实现中，基于网络的媒体处理接口机制定义将要与媒体内容一起被传送的一组摄取内容特性。在一些实施例中，一组摄取内容特性包括贡献源内容信息。在一些实施例中，一组拼接输入参数包括接合位置选择准则和收敛点选择准则。在一些实施例中，接合位置选择准则包括默认接合位置、接合厚度、以及接合自由度。

在一些实施例中，提供了一种方法，该方法包括接收媒体内容。该媒体内容包括一个或多个视频并且是根据基于网络的媒体处理接口机制来传送的。该基于网络的媒体处理接口机制定义将要与媒体内容一起被传送的一组拼接输入参数。该方法还包括将一个或多个视频拼接成一个或多个拼接视频。

在另一个示例性实施例中，提供了一种装置，该装置包括至少一个处理器和至少一个存储器，该至少一个存储器包括用于一个或多个程序的计算机程序代码，该至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使得该装置至少接收媒体内容。该媒体内容包括一个或多个视频并且是根据基于网络的媒体处理接口机制来传送的。该基于网络的媒体处理接口机制定义将要与媒体内容一起被传送的一组拼接输入参数。该计算机程序代码进一步被配置为将一个或多个视频拼接成一个或多个拼接视频。

在另一个示例性实施例中，提供了一种装置，该装置包括用于接收媒体内容的部件。该媒体内容包括一个或多个视频并且是根据基于网络的媒体处理接口机制来传送的。该基于网络的媒体处理接口机制定义将要与媒体内容一起被传送的一组拼接输入参数。该装置还包括用于将一个或多个视频拼接成一个或多个拼接视频的部件。

在另一个示例性实施例中，提供了一种计算机程序产品，该计算机程序产品包括在其中存储有计算机可执行程序代码指令的至少一个非暂时性计算机可读存储介质，该计算机可执行程序代码指令包括程序代码指令，该程序代码指令被配置为在执行时接收媒体内容。该媒体内容包括一个或多个视频并且是根据基于网络的媒体处理接口机制来传送的。该基于网络的媒体处理接口机制定义将要与媒体内容一起被传送的一组拼接输入参数。该计算机可执行程序代码指令还包括程序代码指令，该程序代码指令被配置为在执行时将一个或多个视频拼接成一个或多个拼接视频。

附图说明

因此，已经概括地描述了本公开的某些示例性实施例，在下文中将参考附图，这些附图并非是按比例绘制的，并且其中：

图1示出其中可以部署根据本发明的示例性实施例的实现的示例性系统环境；

图2是可以根据本公开的示例性实施例来具体配置的装置的框图；

图3是示出根据本公开的示例性实施例的诸如由图2的装置执行的一组操作的流程图；

图4是示出根据本公开的示例性实施例的诸如由图2的装置执行的一组操作的流程图；

图5示出其中可以部署根据本发明的示例性实施例的实现的示例性架构；

图6示出根据本公开的示例性实施例的示例性拼接场景；

图7A至图7F示出根据本公开的示例性实施例的诸如由图2的装置执行的一组操作；

图8是示出根据本公开的示例性实施例的诸如由图2的装置执行的一组操作的流程图。

具体实施方式

现在将在下文中参考附图更全面地描述本发明的一些实施例，在附图中示出了本发明的一些但并非所有的实施例。实际上，本发明的各种实施例可以采用许多不同的形式来体现，并且不应被解释为限于本文所阐述的实施例；相反，提供这些实施例是为了使本公开满足适用的法律要求。在本文中，相同的附图标记指代相同的元件。如本文所使用的，术语“数据”、“内容”、“信息”和类似术语可以互换使用以指代根据本发明的实施例的能够被发送、接收和/或存储的数据。因此，任何这种术语的使用不应被视为限制本发明实施例的精神和范围。

另外，如本文所使用的，术语“电路”是指：(a)仅硬件电路实现(例如，采用模拟电路和/或数字电路的实现)；(b)电路和包括被存储在一个或多个计算机可读存储器上的软件和/或固件指令的计算机程序产品的组合，其一起工作以使得装置执行本文所描述的一个或多个功能；以及(c)电路，诸如微处理器或微处理器的一部分，其需要软件或固件来操作，即使该软件或固件并非在物理上存在。“电路”的这一定义适用于本文中该术语的全部使用，包括在任何权利要求中的使用。作为另一示例，如本文所使用的，术语“电路”还包括包括一个或多个处理器和/或其部分以及随附的软件和/或固件的实现。作为另一示例，如本文所使用的，术语“电路”例如还包括用于移动电话的基带集成电路或应用处理器集成电路、或服务器、蜂窝网络设备、其他网络设备、和/或其他计算设备中的类似的集成电路。

如本文所定义的，“计算机可读存储介质”是指非暂时性物理存储介质(例如，易失性或非易失性存储器设备)，其可以与“计算机可读传输介质”(其是指电磁信号)区分开。

该方法、装置和计算机程序产品可以与各种视频格式结合使用，这些视频格式包括高效视频编码标准(HEVC或H.265/HEVC)、高级视频编码标准(AVC或H.264/AVC)、即将发布的通用视频编码标准(VVC或H.266/VVC)，和/或可以与各种视频和多媒体文件格式结合使用，这些视频和多媒体文件格式包括国际标准化组织(ISO)基本媒体文件格式(ISO/IEC14496-12，其可以被缩写为ISOBMFF)、MPEG-4文件格式(ISO/IEC 14496-14，也被称为MP4格式)、用于NAL(网络抽象层)单元结构视频(ISO/IEC 14496-15)和第三代合作伙伴计划(3GPP文件格式)(3GPP技术规范26.244，也被称为3GP格式)的文件格式。ISOBMFF是用于派生所有在上面提及的文件格式的基础。虽然结合HEVC描述了示例性实施例，然而，本公开不限于HEVC，而是基于一个可能的基础给出描述，在该基础之上可以部分地或完全地实现本公开的示例性实施例。

基于网络的360虚拟现实(VR)拼接是MPEG-I NBMP标准化的使用实例。NBMP需要可互操作的媒体格式，以用于实现基于云的多媒体内容处理，诸如用于资源密集型和对延迟敏感的使用实例。NBMP旨在使得能够更靠近边缘处理模块，以用于所期望的媒体的低延迟摄取、处理以及传送为输出。

通常，所有拼接方法都包括一些标准操作，诸如图像对齐和合成。存在一些用于对齐相邻帧(在水平相机装备设置中是2帧，在球形相机装备设置中是更多帧)的技术，诸如直接像素匹配或基于特征的配准方法。合成是用于将帧弯曲成最终合成表面的步骤。接合区是从多个重叠的相邻帧融合的像素级。

全景(360度)拼接是通过组合来自具有不同的相机镜头位置的多个相机的图像来构造单像或立体的全景图像的过程。给定具有多个相机镜头的约束装备配置，利用已知的相机校准参数和所期望的立体输出差异来从来自相邻相机的条带创建左右透视等矩形(或其他投影)图像。然而，来自拼接多个图像的视差可能会导致干扰伪影(例如，接合)，诸如以拼接条带之间的间断的形式。用于解决这些伪影的一些方法包括使用诸如快速线性梯度域方法、或诸如深度或光流的慢速方法之类的不同策略来在条带之间进行融合。

在拼接过程中，需要诸如相机参数之类的关键信息、以及用于拼接过程的客观和主观要求，其可采取配置参数的形式。另外，被用于拼接的内容可以是碎片的和异构的。例如，可用于拼接的一些内容可以从单体相机、多鱼眼相机、或装备上的一组相机捕获。来自不同的源的相机可能无法被同步并且可能无法被统一地格式化。因此，指示来自不同的源的内容的内容特性的输入源内容参数(其可以包括媒体数据摄取标识符)对于拼接过程很重要，以便有效地且以最小的错误量来执行拼接。相机参数、配置要求、以及输入源内容参数的信令独立于VR拼接操作本身。

如图1中所示，NBMP客户端102A和102B可以将诸如视频之类的媒体内容传送到NBMP服务器106A。NBMP客户端102A和102B可以是能够捕获对象或场景的任何设备，诸如任何形式的相机，包括与任何类型的计算设备(例如，移动设备)一起被包括的相机。NBMP服务器106A可以是被配置为处理(包括但不限于拼接)由NBMP客户端102A和102B所提供的媒体内容的服务器。NBMP客户端102A和102B作为示例被提供。然而，可以存在一个或多个NBMP客户端。媒体内容是根据NBMP接口104来提供的。NBMP接口104可以是使得虚拟现实(VR)拼接能够在支持NBMP的系统内实现而与在NBMP服务器106A上使用的拼接算法无关的NBMP媒体接口机制。NBMP服务器106A可以将媒体内容提供给另一个NBMP服务器106B，以在需要时卸载拼接任务。

图2示出了可以被提供以体现NBMP客户端或NBMP服务器的示例性装置。如图2中所示，示例性实施例的装置10包括处理电路12、存储器14、通信接口16以及可选的用户接口18，或与其相关联或以其他方式与其通信。在图2中并未示出诸如NBMP客户端中的相机之类的一些组件。

处理电路12可以经由总线与存储器设备14通信，以在装置10的组件之间传递信息。存储器设备可以是非暂时性的，并且例如可以包括一个或多个易失性和/或非易失性存储器。换句话说，例如，存储器设备可以是电子存储设备(例如，计算机可读存储介质)，其包括被配置为存储可由机器(例如，如处理电路之类的计算设备)获取的数据(例如，比特)的门。存储器设备可以被配置为存储信息、数据、内容、应用、指令等，以使得装置能够执行根据本公开的示例性实施例的各种功能。例如，存储器设备可以被配置为缓冲输入数据以由处理电路进行处理。附加地或可替代地，存储器设备可以被配置为存储由处理电路执行的指令。

在一些实施例中，装置10可以被体现在如上所述的各种计算设备中。然而，在一些实施例中，该装置可以被体现为芯片或芯片组。换句话说，该装置可以包括一个或多个物理封装(例如，芯片)，其包括在结构配件(例如，基板)上的材料、组件和/或导线。该结构配件可以为在其上包括的组件电路提供物理强度、尺寸保护、和/或电相互作用的限制。因此，在一些情况下，该装置可以被配置为在单个芯片上实现本公开的实施例，或者将本公开的实施例实现为单个“芯片上系统”。由此，在一些情况下，芯片或芯片组可以构成用于执行用于提供本文所描述的功能的一个或多个操作的部件。

处理电路12可以采用多个不同的方式来体现。例如，处理电路可以被实现为一个或多个各种硬件处理部件，诸如协处理器、微处理器、控制器、数字信号处理器(DSP)、具有或不具有随附DSP的处理单元、或各种其他电路，包括集成电路，例如，ASIC(专用集成电路)、FPGA(现场可编程门阵列)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等。如此，在一些实施例中，处理电路可以包括一个或多个被配置为独立地执行的处理核。多核处理电路可以在单个物理封装内实现多处理。附加地或可替代地，处理电路可以包括经由总线协作配置的一个或多个处理器，以实现独立的指令执行、流水线和/或多线程。

在示例性实施例中，处理电路12可以被配置为执行被存储在存储器设备14中或以其他方式可由处理电路访问的指令。可替代地或附加地，处理电路可以被配置为执行硬编码的功能。由此，无论是通过硬件或软件方法而配置还是通过其组合而配置，在相应地进行配置时，处理电路都可以表示能够执行根据本公开的实施例的操作的实体(例如，物理地体现在电路中)。因此，例如，当处理电路被体现为ASIC、FPGA等时，处理电路可以是用于进行本文所描述的操作的专门配置的硬件。可替代地，作为另一个示例，当处理电路被体现为指令的执行器时，这些指令可以具体地配置处理器以在执行这些指令时执行本文所描述的算法和/或操作。然而，在一些情况下，处理电路可以是特定设备(例如，图像或视频处理系统)的处理器，该特定设备被配置为通过处理电路的进一步配置通过用于执行本文所描述的算法和/或操作的指令来使用本发明的实施例。处理电路尤其可以包括时钟、算术逻辑单元(ALU)以及被配置为支持处理电路的操作的逻辑门。

通信接口16可以是诸如以硬件或硬件和软件的组合而体现的设备或电路之类的被配置为接收和/或发送数据(包括视频比特流)的任何部件。就此而言，通信接口例如可以包括天线(或多个天线)以及用于支持与无线通信网络的通信的支持硬件和/或软件。附加地或可替代地，通信接口可以包括用于与天线交互以导致经由天线的信号发送或处理经由天线接收的信号接收的电路。在一些环境中，通信接口可以可替代地或还支持有线通信。如此，例如，通信接口可以包括用于支持经由电缆、数字用户线路(DSL)、通用串行总线(USB)或其他机制进行通信的通信调制解调器和/或其他硬件/软件。

在一些实施例中，诸如在装置10被配置为对视频比特流进行编码的情形下，装置10可以可选地包括用户接口18，用户接口18继而可以与处理电路12进行通信，以向用户提供输出，诸如通过输出编码的视频比特流，以及在一些实施例中接收用户输入的指示。如此，用户接口可以包括显示器，以及在一些实施例中，还可以包括键盘、鼠标、操纵杆、触摸屏、触摸区域、软键、麦克风、扬声器、或其他输入/输出机制。可替代地或附加地，处理电路可以包括用户接口电路，其被配置为控制一个或多个用户接口单元的至少一些功能，该一个或多个用户接口单元诸如是显示器，以及在一些实施例中是扬声器、振铃器、和/或麦克风等。处理电路和/或包括处理电路的用户接口电路可以被配置为通过被存储在处理电路可访问的存储器(例如，存储器设备14等)上的计算机程序指令(例如，软件和/或固件)来控制一个或多个用户接口单元的一个或多个功能。

现在转到图3，其示出了根据示例性实施例的由NBMP客户端102执行的操作。如框20中所示，NBMP客户端102包括用于捕获媒体内容的部件，诸如相机和/或处理电路12。媒体内容包括一个或多个视频。如框22中所示，NBMP客户端102包括用于根据基于网络的媒体处理接口机制来传送媒体内容的部件，诸如通信接口16和/或处理电路12。

类似地，如图4中所示，其示出了根据示例性实施例的由NBMP服务器106执行的操作。如框30中所示，NBMP客户端102包括用于接收媒体内容的部件，诸如通信接口16和/或处理电路12。媒体内容包括一个或多个视频，并且媒体内容是根据基于网络的媒体处理接口机制来传送的。如框32中所示，NBMP服务器106包括用于将一个或多个视频拼接成一个或多个拼接视频的部件，诸如处理电路12。拼接视频可以是全景视频。随后将结合图5至图8来描述关于将一个或多个视频拼接成一个或多个拼接视频的细节。

如框34中所示，NBMP服务器106包括用于传送一个或多个拼接视频的部件，诸如处理电路12和/或通信接口16。可以将一个或多个拼接视频传送到播放设备、另一个NBMP服务器、或媒体接收器客户端。播放设备可以是能够播放拼接视频的任何设备，或者被连接到能够播放拼接视频的设备的任何设备，诸如虚拟现实耳机、播放服务器、计算机、视频播放设备、游戏控制台、和/或移动设备等。

NBMP媒体接口机制可以实现接合位置移位结合收敛点选择准则，以便获得所期望的VR拼接。所期望的VR拼接可以通过促进包含或遮挡特定感兴趣的对象或人(OOI/POI)来获得。在一般级别，以下信息可以被信号发送到NBMP服务器106或任何其他VR拼接实体：应当被优先考虑或应当被遮挡的OOI/POI、接合自由度(例如，以度为单位)或视场重叠、以及场景OOI/POI信息(方位角、仰角、时间戳、用于每个OOI/POI的ID等)。

NBMP媒体接口机制还可以定义可互操作的媒体格式，该媒体格式描述了输入源内容和输出产品参数。输出产品参数是用于基于网络的VR拼接的规范性VR拼接参数。拼接视频是基于从规范性参数得出的要求的。输入源内容参数使得能够利用对于基于网络的VR拼接系统可用的多样化和异构的内容(诸如视频、图像等)，以使得VR拼接过程可以有效地生成拼接输出。

在一些实施例中，由NBMP客户端所提供的用于媒体内容的输入格式描述与源内容一起在带内被信号发送，或者以诸如JavaScript对象标记(JSON)、可扩展标记语言(XML)、会话描述协议(SDP)、和/或二进制格式之类的格式在带外被信号发送。

在一些实施例中，如果NBMP客户端是具有多个相机的捕获装备设置，则可以利用针对已有的立体全景拼接配置的基于深度的方法，以及内容创建者定义的镜头偏好和其他场景特定的语义信息，以最小化接合区中的伪像。输出规范性参数或用于描述要求和参数的元数据的信令是在实现NBMP通用模式的特定模式中被定义的。

在一些实施例中，NBMP媒体接口机制可以定义以下信息可以被发送到NBMP服务器106：

·感兴趣点的中心位置(方位角、仰角)和/或随时间中心定向的集合。拼接全景图是基于输入角度来定中心的。例如，重要的感兴趣点位于拼接图像的中心，以减少投影的影响。一些过渡效果可以被添加在角度切换点处或者可以信号发送在角度切换点的一些过渡效果。多个相机中的主相机以及方向的信令通常包括VR捕获设置。

·相机参数：相机镜头型号，包括内在值和外在值。

·瞳距(IPD)。

在一些实施例中，可以包括NBMP客户端102上的一些附加特征，这些附加特征可以进一步增强NBMP服务器106的操作效率。示例包括：

·具有嵌入式对象跟踪信息的相机源流的支持AI的编码，以便获得OOI/PIO场景信息，而无需解码和分析用于VR拼接的输入源内容。

·具有相当大的视场重叠的捕获相机通过提供移动接合部分的更大自由度来增加VR拼接场景成形的灵活性。

·输入参数还提供摄取源和媒体特性。同步状态还有助于提高在NBMP范围内拼接工作流程定义的效率。

现在转到图5，其示出了用于VR拼接的示例性架构。NBMP客户端102用作视频控制器客户端，其根据NBMP接口机制发起VR拼接请求并传送媒体内容。NBMP客户端102信号发送信息，该信息使得服务器能够以资源有效利用来执行VR拼接以及能够基于由NBMP客户端102所传送的参数来进行设计选择。NBMP接口机制定义了需要由NBMP客户端102传送的数据。由NBMP接口机制定义的示例性数据组包括摄取内容特性，在下面提供了摄取内容特性的示例：

摄取内容特性：

·<协议><URI>/<描述格式>

οRTSP/HTTP/，包括IP地址/DNS名称的URI，XML/SDP/JSON

·有关于一个或多个相机的贡献源内容信息(例如，相机星座)

ο相机星座：

■内在参数

■外在参数

ο每个相机或相机星座图像传感器的快门类型

οOOI/POI信息(以到每个OOI/POI的中心的方位角、仰角来表示)

ο相机星座同步偏移(如果同步，则为“0”；如果不同步，则以毫秒为单位来表示；如果未知，则为“-1”)

ο捕获设置(例如，环境光、曝光等)

ο每图像传感器的轨道标识符(立体/单像)

ο媒体/视频帧速率控制(每输入的FPS)，因为捕获设备根据块大小/段时长可以具有不同的速率

ο媒体编码和传送特性

■编解码器

■段/基本流

■帧速率/比特速率/等。

URI是定义用于获得用于拼接的内容的位置和协议的统一资源标识符(URI)、统一资源定位符(URL)、或统一资源名称(URN)。关于一个或多个相机的贡献源内容信息提供了贡献相机传感器和捕获特性以及内容场景信息(感兴趣的对象、他们的位置等)的。另外，可以提供相机传感器同步信息，该相机传感器同步信息指示了在启动拼接过程之前服务器是否应当首先对齐来自星座中的不同相机的内容。相机传感器同步信息使得能够有效使用服务器上的资源。在一些实施例中，可以在不同步的情况下使用同步算法(例如，首先使用基于音频的时间对齐，然后进行视觉配准)以提高计算效率。

由NBMP接口机制定义的示例性数据组包括拼接输入参数，在下面提供了拼接输入参数的示例：

·接合位置选择准则

ο默认接合位置(例如，以度来表示)

ο接合厚度

οseam_extent_of_freedom(例如，相邻视图中的重叠，以度来表示)

·收敛点选择准则

οConvergence_steps_preview

ο每对象的object_inclusion_flag或偏好

ο每对象的object_occlusion_flag或偏好

关于基于由NBMP客户端102所信号发送的偏好的接合选择和收敛点选择，接合位置选择取决于内容捕获和传送格式。在默认情况下，将感兴趣的对象放置在拼接接合以外避免了任何变形的风险。拼接接合提供了修改场景的机会。此外，收敛点的确定指示了在接合处的深度信息。可以结合OOI/POI偏好信息来利用收敛点的确定，以选择用于接合的像素。示例性接合选择信息包括指示用于给定相机星座的接合的默认接合位置、以度来表示的厚度、接合的宽度等。

更厚的接合在场景成形方面提供了更大的灵活性，但是也需要更多的计算资源。位置和厚度可以基于per_object_flag来调整。在一些实施例中，object_inclusion_flag指示了收敛点是否应当被包括或被排除。在一些实施例中，代替使用标志，可以使用权重。

在下面以JSON模式格式提供了示例性的一组拼接参数数据：

大多数参数的含义被嵌入到描述字段中的代码中。另外，framepacktype指示用于帧类型的类型，在该实施例中，其包括顶部和底部或并排。

如图5的框40中所示，为了执行拼接，NBMP服务器106从确定用于重叠区域的收敛点开始。这提供了一般场景几何信息，以帮助做出拼接决定。有关相机视场重叠的信息以及默认接合信息可以被用于拼接。

在下面以如NBMP的格式提供了VR拼接样本工作流程定义，以示出在上面提及的拼接参数。NBMP中的通用媒体处理功能包含模式块，诸如inputSpec、OutputSpec和ParamsSpec。VR拼接工作流程定义输入、输出和参数的实际值。为了易于阅读，在下面的示例将所有参数模式分别分组成“camera_parameters”、“stitching_parameters”、以及“output_parameters”。在“params”特性下的实际样本值演示了用于VR拼接服务的所有参数的一部分。

图6示出了示例性拼接场景。根据视场重叠，可以至少根据场景成形要求来变换接合位置和调整厚度。例如，与特定OOI重叠的接合可以被用于修改接合中的像素选择，以使得该特定OOI可以被包括在内或排除在外。与一个收敛点相比，OOI可以位于更小的深度处，但与第二收敛点相比更大的深度处。因此，这可以被用于选择特定的收敛点以用于从接合中包含或遮挡OOI。如框42中所示，NBMP服务器106执行拼接，并且可以将拼接媒体内容提供给媒体接收器客户端46。随后将描述关于媒体接收器客户端46的细节。

图7A至7F示出了根据拼接参数偏好的接合移位和收敛点选择。在一些实施例中，OOI/POI信息是从NBMP客户端102接收的。拼接偏好信息和相机视场重叠提供了用于定位接合和对特定收敛点进行优先排序的自由度。在一些实施例中，还可以具有用于检查特定OOI包含或遮挡是否已成功的验证循环。

图7A提供了该过程的概述。如框70中所示，根据NBMP接口提供了场景描述信息、收敛选择信息、以及指示用于VR拼接的准则的信息。

图7B示出了如框72中所示的收敛点。例如，如73A和73B中所示，提供了相机1C1和相机2C2。这两个相机之间的距离是相机的基线宽度。收敛是向原始输入内插的一个接合区的区域(或像素)。不同的收敛确定相对于到相机中心的像素距离的融合效果或权重。基于给定的收敛值和来自两个相机中心的估计深度值，遮挡仅通过从一个相机投影一个像素而发生。收敛可以通过所估计的深度来定义，并且收敛数量还可以手动来定义；或者通过给定帧中的匹配像素对的差异来估计。在此示例中示出了三个收敛点73C、73D和73E。在框73F中示出了两个相机的重叠区域。

图7C示出了如框74中所示的示例性接合定位。在框75中示出了示例性接合。图7D示出了如框76中所示的示例性收敛点选择。在这种情况下，收敛点73C被选择。收敛点选择可以是基于根据NBMP接口而信号发送的偏好的。图7E示出了如框78中所示的示例性接合创建。图7F示出了包括一个或多个VR拼接输出视频的媒体内容被提供。

媒体接收器客户端46向NBMP服务器106进行注册并信号发送所需的输出格式参数，以确保由NBMP服务器106产生的VR拼接输出媒体内容可以被播放设备消费。在一些实施例中，附加地或可替代地，所需的输出格式参数可以由NBMP客户端102来信号发送。在下面示出了输出格式参数的示例：

这些参数的含义被嵌入到相应的描述字段中的代码中。

图8是示出在由NBMP服务器106执行的拼接过程中根据拼接参数的接合移位和收敛点选择的流程图。

如框80A、80B和80C中所示，NBMP服务器106包括被配置为根据NBMP接口机制来接收拼接要求、OOI和POI信息、以及相机星座信息的部件，诸如处理电路12、或通信接口16等。如框82中所示，NBMP服务器106包括被配置为确定针对特定OOI/POI遮挡/包含的接合位置移位的部件，诸如处理电路12等。在默认接合位置以外的OOI/POI可能会被标记为包括在内。如果不需要改变接合位置，如框82A中所示，则NBMP服务器106包括被配置为如框84中所示地确定用于所选择的接合位置的候选收敛点的部件，诸如处理电路12等。如果需要改变接合位置，则NBMP服务器106包括用于如框82B中所示地修改接合位置以确保遮挡对象在接合区中的部件，以及然后如框84中所示地确定用于所选择的接合位置的候选收敛点的部件，诸如处理电路12。

如框86中所示，NBMP服务器106包括被配置为诸如基于OOI/POI包含准则来选择收敛点的部件，诸如处理电路12等。在NBMP服务器106选择了用于所选择的接合位置的候选收敛点之后，如框88中所示，NBMP服务器106包括被配置为基于所选择的收敛点的深度来生成接合的部件，诸如处理电路12等。进而，NBMP服务器106包括被配置为如框89中所示地生成拼接输出视频的部件，诸如处理电路12等。NBMP服务器106可以将拼接输出视频与拼接参数一起输出，如先前结合图4所描述的。

如上所述，图3-8包括根据某些示例性实施例的装置10、方法和计算机程序产品的流程图。将理解，这些流程图的每个框以及这些流程图中的框的组合可以通过各种方式来实现，诸如硬件、固件、处理器、电路、和/或与包括一个或多个计算机程序指令的软件的执行相关联的其他设备。例如，在上面描述的一个或多个过程可以由计算机程序指令来体现。就此而言，体现在上面描述的过程的计算机程序指令可以由采用本发明的实施例的装置的存储器设备14存储，并由该装置的处理电路12执行。将理解，任何这种计算机程序指令可以被加载到计算机或其他可编程装置(例如，硬件)上以产生机器，从而使得所得到的计算机或其他可编程装置实现在流程图框中指定的功能。这些计算机程序指令还可以被存储在计算机可读存储器中，其可以引导计算机或其他可编程装置以特定方式工作，从而使得被存储在计算机可读存储器中的指令产生制造品，而其执行实现了在流程图框中指定的功能。这些计算机程序指令还可以被加载到计算机或其他可编程装置上，以导致在计算机或其他可编程装置上执行一系列操作以产生计算机实现的过程，从而使得在计算机或其他可编程装置上执行的指令提供用于实现在流程图框中指定的功能的操作。

因此，在这些实例中定义了一种计算机程序产品，其中，计算机程序指令(诸如计算机可读程序代码部分)由至少一个非暂时性计算机可读存储介质存储，其中计算机程序指令(诸如计算机可读程序代码部分)被配置为在执行时执行在上面描述(诸如结合图3-8的流程图)的功能。在其他实施例中，计算机程序指令(诸如计算机可读程序代码部分)不需要由非暂时性计算机可读存储介质存储或以其他方式由非暂时性计算机可读存储介质来体现，而是可以由具有计算机程序指令(诸如计算机可读程序代码部分)的暂时性介质来体现，该计算机程序指令仍被配置为在执行时执行在上面描述的功能。

因此，流程图框支持用于执行特定功能的部件的组合，以及用于执行特定功能的操作的组合。还将理解，流程图的一个或多个框以及流程图中的框的组合可以由执行特定功能的基于专用硬件的计算机系统、或专用硬件和计算机指令的组合来实现。

在一些实施例中，可以修改或进一步放大上述操作中的某些操作。此外，在一些实施例中，可以包括附加的可选操作，诸如由虚线框所表示的那些操作。对上述操作的修改、添加、或放大可以采用任何顺序和采用任何组合来执行。

受益于前述描述和相关联的附图中呈现的教导的本领域技术人员将会想到本文阐述的本发明的许多修改和其他实施例。因此，应当理解，本发明不限于所公开的具体实施例，并且那些修改和其他实施例旨在被包括在所附权利要求的范围内。此外，虽然前述描述和相关联的附图在元件和/或功能的某些示例性组合的上下文中描述了示例性实施例，但是应当理解，可以由替代实施例来提供元件和/或功能的不同组合，而不背离所附权利要求的范围。就此而言，例如，如可在一些所附权利要求中所阐述的，与在上面明确描述的元件和/或功能的不同组合也被考虑。虽然在本文中使用了特定术语，但是它们仅在一般和描述性意义上被使用，而不是出于限制的目的。

Claims

1.一种方法，包括：

捕获媒体内容，其中，所述媒体内容包括一个或多个视频；以及

根据基于网络的媒体处理接口机制来传送所述媒体内容，其中，所述基于网络的媒体处理接口机制定义将要与所述媒体内容一起被传送的一组拼接输入参数。

2.根据权利要求1所述的方法，其中，所述一组拼接输入参数包括权重，并且其中，所述基于网络的媒体处理接口机制定义将要与所述媒体内容一起被传送的一组摄取内容特性。

3.根据权利要求2所述的方法，其中，所述一组摄取内容特性包括贡献源内容信息。

4.根据权利要求1至3中任一项所述的方法，其中，所述一组拼接输入参数包括接合位置选择准则和收敛点选择准则。

5.根据权利要求4所述的方法，其中，所述接合位置选择准则包括默认接合位置、接合厚度、以及接合自由度。

6.一种装置，包括至少一个处理器和至少一个存储器，所述至少一个存储器包括用于一个或多个程序的计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少：

7.根据权利要求6所述的装置，其中，所述一组拼接输入参数包括权重，并且其中，所述基于网络的媒体处理接口机制定义将要与所述媒体内容一起被传送的一组摄取内容特性。

8.根据权利要求7所述的装置，其中，所述一组摄取内容特性包括贡献源内容信息。

9.根据权利要求6至8中任一项所述的装置，其中，所述一组拼接输入参数包括接合位置选择准则和收敛点选择准则。

10.根据权利要求9所述的装置，其中，所述接合位置选择准则包括默认接合位置、接合厚度、以及接合自由度。

11.一种计算机程序产品，包括在其中存储有计算机可执行程序代码指令的至少一个非暂时性计算机可读存储介质，所述计算机可执行程序代码指令包括程序代码指令，所述程序代码指令被配置为在执行时执行根据权利要求1至5中任一项所述的方法。

12.一种装置，包括：

用于捕获媒体内容的部件，其中，所述媒体内容包括一个或多个视频；以及

用于根据基于网络的媒体处理接口机制来传送所述媒体内容的部件，其中，所述基于网络的媒体处理接口机制定义将要与所述媒体内容一起被传送的一组拼接输入参数。

13.根据权利要求12所述的装置，其中，所述一组拼接输入参数包括权重，并且其中，所述基于网络的媒体处理接口机制定义将要与所述媒体内容一起被传送的一组摄取内容特性。

14.根据权利要求13所述的装置，其中，所述一组摄取内容特性包括贡献源内容信息。

15.根据权利要求12至14中任一项所述的装置，其中，所述一组拼接输入参数包括接合位置选择准则和收敛点选择准则。

16.根据权利要求15所述的装置，其中，所述接合位置选择准则包括默认接合位置、接合厚度、以及接合自由度。

17.一种方法，包括：

接收媒体内容，其中，所述媒体内容包括一个或多个视频，其中，所述媒体内容是根据基于网络的媒体处理接口机制来传送的，其中，所述基于网络的媒体处理接口机制定义将要与所述媒体内容一起被传送的一组拼接输入参数；以及

将所述一个或多个视频拼接成一个或多个拼接视频。

18.根据权利要求17所述的方法，其中，所述一组拼接输入参数包括权重，并且其中，所述基于网络的媒体处理接口机制定义将要与所述媒体内容一起被传送的一组摄取内容特性。

19.根据权利要求18所述的方法，其中，所述一组摄取内容特性包括贡献源内容信息。

20.根据权利要求17至19中任一项所述的方法，其中，所述一组拼接输入参数包括接合位置选择准则和收敛点选择准则。

21.根据权利要求20所述的方法，其中，所述接合位置选择准则包括默认接合位置、接合厚度、以及接合自由度。

22.一种装置，包括至少一个处理器和至少一个存储器，所述至少一个存储器包括用于一个或多个程序的计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少：

将所述一个或多个视频拼接成一个或多个拼接视频。

23.根据权利要求22所述的装置，其中，所述一组拼接输入参数包括权重，并且其中，所述基于网络的媒体处理接口机制定义将要与所述媒体内容一起被传送的一组摄取内容特性。

24.根据权利要求23所述的装置，其中，所述一组摄取内容特性包括贡献源内容信息。

25.根据权利要求22至24中任一项所述的装置，其中，所述一组拼接输入参数包括接合位置选择准则和收敛点选择准则。

26.根据权利要求25所述的装置，其中，所述接合位置选择准则包括默认接合位置、接合厚度、以及接合自由度。

27.一种计算机程序产品，包括在其中存储有计算机可执行程序代码指令的至少一个非暂时性计算机可读存储介质，所述计算机可执行程序代码指令包括程序代码指令，所述程序代码指令被配置为在执行时执行根据权利要求17至21中任一项所述的方法。

28.一种装置，包括：

用于接收媒体内容的部件，其中，所述媒体内容包括一个或多个视频，其中，所述媒体内容是根据基于网络的媒体处理接口机制来传送的，其中，所述基于网络的媒体处理接口机制定义将要与所述媒体内容一起被传送的一组拼接输入参数；以及

用于将所述一个或多个视频拼接成一个或多个拼接视频的部件。

29.根据权利要求28所述的装置，其中，所述一组拼接输入参数包括权重，并且其中，所述基于网络的媒体处理接口机制定义将要与所述媒体内容一起被传送的一组摄取内容特性。

30.根据权利要求29所述的装置，其中，所述一组摄取内容特性包括贡献源内容信息。

31.根据权利要求28至30中任一项所述的装置，其中，所述一组拼接输入参数包括接合位置选择准则和收敛点选择准则。

32.根据权利要求31所述的装置，其中，所述接合位置选择准则包括默认接合位置、接合厚度、以及接合自由度。