CN103621073A - 传送三维内容的方法及设备 - Google Patents

Abstract

提供一种用于传送3D内容的方法，所述3D内容包含被分成相同数量的片段并在两个组播流中发送的2D部分和元数据部分，该方法包括步骤：接收带有对应于2D部分开始片段和元数据部分开始片段的开始时间点的对3D内容的请求；安排在第一组播流中发送包括2D部分开始片段的2D部分的至少一个片段，和安排在第二组播流中发送包括元数据部分的开始片段的元数据部分的至少一个片段，其中，2D部分开始片段的发送和元数据部分开始片段的发送是同步的。

Description

传送三维内容的方法及设备

技术领域

本发明涉及网络通信，更具体地说，涉及传送3D内容的方法及设备。

背景技术

视频点播（VoD）或音频和视频点播（AVoD）系统允许客户端按需要选择和播放视频或音频内容。经常使用IPTV技术把点播视频带到电视和个人计算机上。

有时，有限的发送资源，如VoD服务器端的带宽等不允许同时有大规模的客户端。

为了更高效地利用有限的资源，在已公布的PCT申请WO2008083523中描述了一个解决方案，其为2D视频内容（或缩短描述的2D内容）的VoD服务器提供一种安排方法。2D内容被分成多个部分或块。该方法为请求客户端重新安排所请求的2D内容的部分的发送，使用组播发送，以便在请求相同2D内容的客户端中共享一些部分。具体而言，该方法包括步骤：接收对2D内容的请求，生成传送2D内容的安排表，所述2D内容的安排表对于2D内容的初始部分带有第一延迟并且对于2D内容的后续部分带有第二延迟。生成安排表的步骤包括：选择第一延迟，使从接受请求到传送2D内容的初始部分的时间周期最少，选择第二延迟，以满足与请求相关联的延迟参数，同时也为开始传送后续部分增加延迟。在此，第二延迟让后续部分尽可能晚发送，但可这样选择，使得客户端收到的内容可持续播放或至少没有不可接受的中断。

在3D系统中，客户端的左眼视图和右眼视图（或被称为左视图和右视图）一起用来生成立体视图。为了将左视图和右视图发送到客户端，最直接的方法是把左眼视图和右眼视图作为完全独立的数据流发送。另一种方法是发送2D视频附加元数据，元数据代表第三维中的信息。

有2类2D附加元数据：2D附加δ（或2D附加差值）和2D附加深度（或2D+Z）。对于2D附加δ，它是作为MPEG2和MPEG4的一部分，特别是关于多视图视频编码扩展的H.264实现的标准化方法。它利用左视图或右视图（有时也被称为左信道和右信道）作为2D版本（或称为2D部分），左右视图间优化的优化的差值或视差（δ）被作为客户端数据、第二流、独立流或增强层注入到视频流。所以利用2D版本和δ可以生成立体视图。δ数据可是空间立体视差、时间预测，双向或优化的运动补偿。关于2D附加深度，每个2D图像帧用深度图补充，所述深度图指示2D图像中的特定像素是否需要在屏幕平面前或后显示。MPEG标准支持2D附加深度。MPEG-C部分3允许深度图被作为“辅助视频”对待，并用现有视频编码技术（如H.264/AVC）进行压缩。

在3D系统中，使用最多的格式是2D附加元数据，其容易经有线、卫星、互联网或地面广播集成到现有内容分配和管理系统，如VoD。它向下兼容传统的2D机顶盒并独立于显示格式。在这些3D系统中，2D和元数据通常通过单一信道或数据流复用和发送。因此，可通过一些现有2D内容传送系统很容易地提供3D VoD服务。许多公司以这种方式提供3D VoD服务，如Numericable、Virgin Media、Philip等。

在两个不同信道或数据流中发送2D附加元数据允许2D视频播放器和3D视频播放器共存。拥有2D视频播放器的观众通常只能接受2D数据和观看2D视频。他可选择是否接收相关的元数据，而这在2D和元数据复用的情况下是不可以的。拥有3D视频播放器的观众可接收2D和元数据。

但是，发送2D附加元数据的传统方法不能充分利用带宽，因此，希望提出一种方法能在请求相同3D内容的客户端中高效地发送3D内容。

发明内容

根据本发明的一个方面，提供一种传送3D内容的方法，该3D内容包含被分成相同数量的片段并在两个组播流中发送的2D部分和元数据部分，该方法包括步骤：接收带有对应于2D部分开始片段和元数据部分开始片段的开始时间点的对3D内容的请求；安排在第一组播流中发送包括2D部分开始片段的2D部分的至少一个片段，和安排在第二组播流中发送包括元数据部分的开始片段的元数据部分的至少一个片段，其中，2D部分开始片段的发送和元数据部分开始片段的发送是同步的。

根据本发明另一方面，提供一种根据开始时间点的请求传送3D内容的设备，所述3D内容包括2D部分和元数据部分，其被分成相同数量的片段，该设备包括：2D安排模块（102），用于安排在第一组播流中发送包括对应于3D内容的开始时间点的2D部分开始片段的2D部分的至少一个片段；元数据安排模块（103），用于安排在第二组播流中发送包括对应于3D内容的开始时间点的元数据部分开始片段的元数据部分的至少一个片段，其中，2D安排模块（102）和元数据安排模块（103）使2D部分开始片段的发送和元数据部分开始片段的发送同步。

在下面带有附图的本发明的详细描述中将会发现本发明的更多方面和优点。请理解，下面的描述涉及的实施例不限制本发明的范围。

附图说明

图1是示出根据本发明的实施例的为2D客户端和3D客户端传送内容的系统的图；

图2是示出根据本发明的实施例的安排处理的示例的图；

图3是示出根据本发明的实施例的安排3D内容的2D部分和元数据部分发送的方法的图；

图4A和4B是示出根据本发明的实施例的2D临时安排和元数据临时安排示例的图；

图5A和5B是示出根据本发明的实施例的基于图4A和4B所示的临时安排的2D最终安排和元数据最终安排示例的图。

具体实施方式

现在结合附图详细描述本发明实施例。在下面的描述中，为了清楚和简明，省略一些已知功能和配置的详细描述。

本发明目的是在3D VoD系统中高效地发送3D视频，其中3D视频的2D部分和元数据部分通过两个独立信道或数据流发送。

图1是示出根据本发明的实施例的为2D客户端和3D客户端传送内容的系统的图。图中，虚线表示诸如对2D或3D视频的请求的信号的流动，实线表示诸如2D部分和元数据部分的数据的数据的流动。系统包括用于安排2D视频和3D视频在VoD系统中的发送的VoD服务器101和代表2D客户端和3D客户端的多个设备。VoD服务器101包括2D安排模块102、元数据安排模块103和请求分支模块104。它们的功能如下：

-请求分支模块104用于接收来自2D客户端和3D客户端的请求，然后把接收到的请求相应地转发到2D安排模块102和元数据安排模块103。即，如果2D客户端或3D客户端请求2D视频，通过请求分支模块104将请求转发到2D安排模块102；如果3D客户端请求3D视频，通过请求分支模块将请求转发到2D安排模块102和元数据安排模块103。

-2D安排模块102用于在收到来自客户端的对2D视频或3D视频的请求后，确定为客户端传送2D部分的临时安排和最终安排；以及

-元数据安排模块103用于在收到来自客户端的对3D视频的请求后，确定为客户端传送元数据部分的临时安排和最终安排。

在此，收到2D视频请求时，只有2D安排模块102运行以确定临时安排来传送相应3D视频的2D部分。临时安排被服务器用作最终安排来安排2D部分的发送。接收到3D视频请求时，2D安排模块102和元数据安排模块103独立运行以为2D部分和元数据部分确定两个临时安排，并且合作运行以在两个临时安排的基础上（后面将给出详细描述），为2D部分和元数据部分确定两个最终安排，服务器使用两个最终安排来安排2D部分和元数据部分的发送。

图2是示出根据本发明的实施例的安排处理的示例的图。其目的是提供：1）接收请求和开始内容传送之间的最小启动延迟；2）请求相同内容的客户端间最大程度的共享带宽。

如图2所示，处理以步骤201开始，然后到步骤202。在步骤202，对于相同内容的2D请求指数i和元数据请求指数j被设为0，然后到步骤203。在步骤203，服务器听取客户端的请求。如果是来自2D客户端的对2D内容的请求，则到步骤204，如果是来自3D客户端的对3D内容的请求，则到步骤205。在步骤204，服务器为2D客户端确定安排（即最终安排）并基于所确定的安排来安排2D内容的发送，然后到步骤206。在步骤206，2D请求的指数i加1，然后处理进行到步骤203。在步骤205，服务器为3D客户端确定两个安排，分别负责3D内容的2D部分和元数据部分，并基于所确定的两个安排来安排2D部分和元数据部分的发送；进行到步骤207。在步骤207，2D请求指数和元数据请求指数分别增加1；处理进行到步骤203。

根据本发明的原则，上述方法通过使用组播来允许3D客户端（即观看3D内容的客户端）与2D部分的2D客户端共享带宽。此外，对于2D部分或元数据部分，通过使用组播使其数据在观看相同内容的客户端间共享。所以可以降低对服务器带宽的需要。

在上述方法中，关于为2D客户端确定2D内容的安排，可以使用WO2008083523中描述的方法。这是因为2D部分和元数据部分是在分别的组播流中发送的。对2D客户端请求的2D部分的发送不需要与元数据部分的发送同步，因为2D客户端不需要元数据来生成立体视图。

此外，关于为3D客户端确定3D内容的安排，2D部分和元数据部分的发送需要同步，即，3D内容的2D部分和元数据部分中具有相同序列号的片段需要在同一时间点或在对客户端来说具有可接受差别的两个时间点发送，以生成立体视图。否则，3D客户端不能基于2D部分和元数据部分生成立体视图。

图3是示出根据本发明的实施例的安排3D内容的2D部分和元数据部分的发送的方法的图。目的是减小带宽需求和最小化利用2D内容部分和元数据部分的同步组播流的3D内容发送的启动延迟。该方法可添加到上述之一中。

为提高清晰度，下面给出几个概念和定义。

·片段：假设3D内容的2D部分逻辑上被分成N个片段，所有片段有相同的大小（即，时间长度）；3D内容的元数据部分也被分成具有相同大小的N个片段。在此，片段数量决定安排方案的粒度。

·带宽限制：假设在服务器端用于2D部分和元数据部分的发送带宽受限制。带宽限制表示为多个平均速率。2D部分的平均速率表示为b2D；元数据部分的平均速率表示为b_metadata。

·流和请求：流（Si）是具有响应于请求（Ri）的发送安排的给定内容的一组所选片段。当2D客户端做出请求时，请求将被转发到2D安排模块。服务器将据此安排流。所安排的流指示什么时间和哪个片段将被发送。每个来自2D客户端的2D内容请求对应一个安排的流。当3D客户端做出请求时，请求将被转发到2D安排模块和元数据安排模块。服务器为该请求安排两个流，一个给2D部分，一个给元数据部分。每个来自3D客户端的3D内容请求对应两个安排的流。

·时隙：时隙是适合于片段的持续时间。相应于相同时隙的片段在相同时间发送。每个时隙可“持有”特定数量的片段（即，其容量，由带宽限制决定）。如果时隙需要“持有”比其容量更多的片段，时隙被称为过载时隙；而如果时隙需要“持有”比其容量更少的片段，时隙被称为负载时隙。例如，假设时隙是1s，一个时隙内最多可发送5个片段；如果在一特定时隙，发送器需要发送大于5个片段，那么这个时隙是过载时隙；否则，如果需要发送少于5个片段，时隙是负载时隙。

在图3所示的步骤301和302中，一接收到对3D内容的请求，服务器就为3D内容的2D部分确定临时安排（我们称之为2D临时安排），为3D内容的元数据部分确定临时安排（我们称之为元数据临时安排）。具体而言，在步骤301，除了确定后续发送时间点，服务器还基于带宽限制为所请求的3D内容的2D部分确定最小启动延迟，即，2D部分的第一时间点。我们把其表示为d_2D。平移后，可确定请求R_K的最小初始延迟d_k。把用于传送临时安排中片段的时间点表示为U={U_K1，U_K2，……U_ky}，用于传送片段平移后的片段的时间点表示为V={V_K1，V_K2，……V_ky}，得到

$d_k=\max \{0,\underset{i\∈[1,y]}{\max }\{v_{\mathrm{ki}}-u_{\mathrm{ki}}\left\}\right\}$ 和d_2D=d_k。

在步骤302，除了确定后续发送时间点外，服务器还基于带宽限制为所请求的3D内容的元数据部分确定最小启动延迟，即，元数据部分的第一时间点。我们把其表示为d_metadata。对于第一元数据请求，安排带有元数据部分所有片段的持续组播流。如果相关2D请求不是第一2D请求（例如，R1/R1_3D客户端），那么为元数据部分安排的持续流被延迟d_2D。对于非第一元数据请求，其确定与非第一2D请求类似。

在步骤303，服务器调整2D临时安排和元数据临时安排以为所请求的3D内容生成2D最终安排和元数据最终安排。具体地说，服务器通过选择d_2D和d_metadata间比较大的一个来确定统一的最小启动延迟d_min（或称为2D部分和元数据部分的统一的第一时间点）。

d_min=max{d_2D，d_metadata}

至于2D部分，2D最终安排如下获得。首先，2D临时安排被延迟d_min，即，片段的发送时间点表示为U_k’={U_K1+d_min，U_K2+d_min，……U_ky+d_min}。

至于元数据部分，以与2D最终安排相似的方法获得元数据最终安排。

在步骤304和305，服务器基于2D最终安排来安排2D部分的发送，基于元数据最终安排来安排元数据部分的发送。

通过图4A、4B的示例以及图5A和5B进一步说明本发明，图4A、4B分别示出3D内容的2D部分临时安排和元数据部分临时安排，图5A和5B分别示出3D内容的2D部分的最终安排和元数据部分的最终安排。图中，每个小圈表示一个请求。实线上的数字表示相应片段的序号。2D部分和元数据部分都被分成20个片段。从客户端有4个请求，一个来自2D客户端，三个来自3D客户端。来自2D客户端的请求表示为R0。来自3D客户端的请求表示为2D请求（R1，R2，R3）和元数据请求（R1_3D，R2_3D，R3_3D）。

2D部分或元数据部分的临时安排包括：指示将在新创建的组播流中发送2D部分或元数据部分的哪个片段的信息，指示何时将在新创建的组播流中发送所述片段的一个或多个时间点，以及一个或多个现有组播流，可从所述一个或多个现有组播流中获得没在新组播流中发送的剩余片段。图4A示出2D部分临时安排的示例。2D视频部分被分成标有0至19序号的20个片段。在时间点a0、a1、a2和a3发生四个2D视频和3D视频请求。以具有对应于片段0的开始时间点的R2请求为例，R2客户端的2D部分的临时安排包括指示将在新的组播流中发送片段0-4和8-12的信息，指示将何时发送片段0和8的两个时间点。客户端R2能从R1客户端的现有组播流中得到片段5-7，从R0客户端的现有组播流中得到片段13-19。换言之，对于请求R2，系统除了现有组播流不发送片段5-7和13-19，响应于请求R2，现有组播流最早在与发送开始片段0的同一时间发送这些片段。因此服务器端的带宽使用大大优化。

临时安排包括指示将何时发送每个片段（如果需要在新组播流中发送它的话）和将在何时何地得到它（如果不需要在新组播流中发送它的话）的信息。根据一种变型，没必要在临时安排中包括关于将在何时获得所述片段和在哪些现有组播流中获得所述片段的信息，因为服务器只关心何时发送所述片段。然而，为了协助客户端接收在现有组播流中传输的片段，这些信息可被单独地发送到客户端。这样，服务器101可以包含用于将这样的信息通知给请求客户端的信息模块（图1中未示出）。

同样的方法可用于相互独立的2D临时安排和元数据临时安排的确定。作为示例，WO2008083523中描述的方法可用于分别确定2D临时安排和元数据临时安排。关于2D部分，2D临时安排可以包括用于开始传送2D部分初始片段（即，图4A中序号0的片段）的第一时间点，和用于开始传送2D部分的一些后续片段的一个或多个后续发送时间点，其中，第一时间点最小化从接收请求到开始传送2D部分初始片段的延迟，并且一个或多个后续发送时间点满足传送延迟限制，同时也增加开始发送2D部分后续片段的延迟。一个或多个后续发送时间点让后续片段尽可能晚发送，以便可与其它请求客户端共享后续片段。然而，后续时间点应按此方法选择：客户端收到的内容可被持续播放，或无不可接受的中断。

以图4A中R3客户端为例，2D临时安排包括开始传送片段0-1的第一时间点a3和两个后续发送时间点，分别对应开始传送片段5-6和13-14。2D部分的剩余片段可从现有组播流中得到（从与客户端R2链接的流中得到片段2-4和8-12，从与R1链接的流中得到片段7，从与客户端R0链接的流中得到片段15-19）。至于元数据临时安排，它包括与2D临时安排中的内容相似的内容。假设带宽是3*b_2D，这意味着在4个流中，同时只能发送最多3个片段。换言之，在时间点a3，不能传送2D部分的初始片段0，因为在同一时间正在进行客户端R2片段2、客户端R1片段7和客户端R0的片段15的发送。必须在第一可能后续时隙处延迟为客户端R3传送初始片段0（见图5A，其中片段0与客户端R2的片段3和客户端R0的片段16在同一时隙发送）。

以图4B中的R3_3D客户端（即，R3客户端）为例，R3_3D客户端的元数据临时安排包括用于发送片段0-2的第一时间点（即，用于开始传送3D内容的元数据部分的片段0的时间点），和用于开始传送片段5-6的后续发送时间点。元数据的剩余片段可从现有组播流中得到（从链接到客户端R2-3D的流中得到片段3-4，从链接到R1-3D的流中得到片段7-19）。如果对带宽做出与2D部分一样的假设，三个组播流的发送将不会有问题，并且传送元数据的片段0时不需有延迟。

由于2D部分和元数据部分需要合作工作以生成立体视图，2D部分和元数据部分的第一片段的初始发送需要同步。因此，以下描述将更多地关注于在最终安排中确定2D部分和元数据部分的第一时间点。在图5B中，元数据部分的初始片段0的传送被延迟了一个时隙，以与2D部分的初始片段0的传送同步。然后可得到2D部分和元数据部分的最终安排，以传送客户端R3-3D所请求的3D内容。

做一个实验来评价本发明的性能。未使用本发明所引入的方法，当720个客户端试图从具有6倍视频回放率带宽的服务器中请求2小时的3D内容时，只能服务6个客户端。不能服务其它客户端，直到一个当前正在被服务的客户端完成内容后。最严重的情况下，必须等待2小时。然而，在使用本发明的实验中，通过VOD服务器提供一个2小时的3D内容。2D部分和元数据部分都被分成N个块，N=7200。这样每个块持续1秒。有720个客户端正通过发送请求到服务器以请求2小时的3D内容。这些到达服务器的请求服从泊松分布，平均到达间隔是10秒。带宽限制是6倍视频回放率。在所有客户端均为3D的情况下，平均启动延迟仅为17.6秒，并且80%的启动延迟小于30秒，90%的启动延迟小于50秒。

2D或3D客户端可从某片段而不是初始片段开始请求2D内容（即2D部分）或3D内容，本发明仍适用于这样的情况。此外，2D或3D客户端可从某时间点而不是直接指示片段序号的时间点开始请求2D内容或3D内容。在这种情况下，服务器将通过对比接收到的时间点和片段的时间点来确定2D部分和元数据部分的开始片段。

Claims (11)

1.一种用于传送3D内容的方法，所述3D内容包含被分成相同数量的片段并在两个组播流中发送的2D部分和元数据部分，该方法包括步骤：

接收带有对应于2D部分开始片段和元数据部分开始片段的开始时间点的对3D内容的请求；以及

安排在第一组播流中发送包括2D部分开始片段的2D部分的至少一个片段，和安排在第二组播流中发送包括元数据部分的开始片段的元数据部分的至少一个片段，其中，2D部分开始片段的发送和元数据部分开始片段的发送是同步的。

2.根据权利要求1所述的方法，其中，安排发送2D部分的至少一个片段和安排发送元数据部分的至少一个片段的步骤包括：

确定指示用于发送2D部分的至少一个片段的至少一个时间点的2D部分的临时安排和指示用于发送元数据部分的至少一个片段的至少一个时间点的元数据部分的临时安排；以及

基于2D部分临时安排和元数据部分临时安排确定2D部分的最终安排和元数据部分的最终安排。

3.根据权利要求2所述的方法，其中，确定最终安排的步骤包括：在根据2D部分临时安排发送2D部分开始片段的时间点和根据元数据临时安排发送元数据部分开始片段的时间点间选择比较晚的一个来作为在2D部分最终安排和在元数据部分最终安排中发送2D部分开始片段和元数据部分开始片段的时间点。

4.根据权利要求1至3中任一项所述的方法，其中，所请求的3D内容的开始时间点是3D内容的初始时间，2D部分的开始片段和元数据部分的开始片段是2D部分的初始片段和元数据部分的初始片段。

5.根据权利要求1至4中任一项所述的方法，其中如果2D部分的开始片段或元数据部分的开始片段被发送后，2D部分或元数据部分的至少一个片段中的片段在响应于对相同片段的较早请求的组播流中，则不发送2D部分或元数据部分的至少一个片段中的所述片段。

6.根据权利要求5所述的方法，其中，它还包括，如果片段未被发送，则发送关于何时和在哪个组播流中可得到该片段的信息。

7.一种用于根据开始时间点的请求传送3D内容的设备，所述3D内容包括2D部分和元数据部分，其被分成相同数量的片段，该设备包括：

2D安排模块（102），用于安排在第一组播流中发送包括对应于3D内容的开始时间点的2D部分开始片段的2D部分的至少一个片段；以及

元数据安排模块（103），用于安排在第二组播流中发送包括对应于3D内容的开始时间点的元数据部分开始片段的元数据部分的至少一个片段，其中，2D安排模块（102）和元数据安排模块（103）使2D部分开始片段的发送和元数据部分开始片段的发送同步。

8.根据权利要求7所述的设备，其中，2D安排模块（102）用于确定2D部分的临时安排，其指示用于发送2D部分的至少一个片段的至少一个时间点，元数据安排模块（103）用于确定元数据部分的临时安排，其指示用于发送元数据部分的至少一个片段的至少一个时间点；并且

2D安排模块（102）和元数据安排模块（103）基于2D部分的临时安排和元数据部分的临时安排，分别用来确定2D部分的最终安排和元数据部分的最终安排。

9.根据权利要求8所述的设备，其中，确定最终安排包括在根据2D部分临时安排发送2D部分开始片段的时间点和根据元数据临时安排发送元数据部分开始片段的时间点间选择比较晚的一个来作为在2D部分最终安排和在元数据部分最终安排中发送2D部分开始片段和元数据部分开始片段的时间点。

10.根据权利要求7所述的设备，其中，还包括请求分支模块（104），用于接收来自2D客户端和3D客户端的请求，并相应地将请求转发到2D安排模块（102）和元数据安排模块（103）。

11.根据权利要求7所述的设备，其中，还包括通知模块，用于在2D部分或元数据部分的至少一个片段中的片段未被发送时，通知何时和在响应于对相同片段的较早请求的哪个组播流中可以得到该片段。

Images