CN105049862A - 用于传输编码媒体数据的方法和设备 - Google Patents

Abstract

本发明涉及一种用于在层模型的基础上传输编码媒体数据的方法，其具有以下步骤：a）将媒体数据划分到基本层和至少一个附加增强层上；b）经由至少两个网络接入传输基本层和至少一个增强层；c）选择具有足以传输基本层的网络质量和/或稳定性的传输基本层的第一网络接入；以及d）取决于第一网络接入的带宽以及网络接入的质量和稳定性，从网络接入之中选择至少一个第二网络接入，以用于传输至少一个增强层。本发明还涉及一种用于在层模型的基础上传输编码媒体数据的方法，其具有以下步骤：A）经由至少一个网络接入接收被划分到基本层和至少一个附加增强层上的媒体数据；以及B）将因而成功传输的层中的基本层和至少一个扩展层组合到可解码媒体数据中。本发明还涉及一种用于施行所提到的方法中的一个或全部这二者的设备。

Description

用于传输编码媒体数据的方法和设备

本发明涉及用于传输编码媒体数据的方法和设备。

对于可缩放视频编解码器（SVC）（例如H.264SVC或H.265SVC）而言，附加于基本层的层确保了较高视频质量水平并实现了对已经编码的视频流的视频质量的适配。

如今，RTCP，作为从（一个或多个）目标节点到（一个或多个）源节点的RTP内的带内反馈信道，承载可从其得到源节点处的实际端到端网络服务质量（例如分组丢失率、延迟、抖动）的信息。基于该信息，编码器能够开始或重新开始源节点处的附加层的生成以用于传输，降低图像频率或帧率，或增加压缩比以降低带宽消耗。为了促进这一点，通过源节点连接与目标节点连接之间的关系来标识端到端链路。该概念还适用于点到多点连接，例如用于视频分发服务。

专用于H.264SVC的另一已知概念是（移动）设备或终端在其上注册其能力（例如屏幕尺寸、分辨率等）的智能路由器。还考虑了朝向设备的可用带宽。视频源生成SVC编解码器的所有层。该视频流经由针对每一个个体目标设备基于注册信息决定将向该设备继续传递多少层的智能路由器而继续传递。因此，针对每一个连接端点转发各个视频流。

PPP-多链路[RFC1990]描述了例如将多个链路捆绑到链路层中的一个虚拟链路中。这隐藏了关于所使用的接入技术之间的差异的信息，并且，没有关于不同链接质量的输运层的进一步适配是可能的。

多路径-TCP[RFC6824]允许通过使用子流或部分流来耗尽不同网络路径。然而，针对应用提供了仅一个单个输运服务（即，可靠输运）。

本发明所解决的一个问题是提供用于传输编码媒体数据的方法、设备和系统的问题，这能够至少部分地克服现有技术的前述缺点。

根据本发明，该问题由独立权利要求的特征解决。在从属权利要求中提供本发明的有利实施例和发展。

本发明的一个基本思想是：基于当前网络质量来同时利用多于一个网络接入以自动控制SVC层的传输。网络质量可以例如在端到端的基础上（例如，如由RTCP定义的那样）或者局部地在每一个接入技术中加以评估，例如可以利用信号与噪声距离或信噪比（SNR）。

因此，根据本发明的第一方面，提出了一种用于在层模型的基础上传输编码媒体数据的方法，包括以下步骤：

a）将媒体数据划分到基本层和至少一个附加增强层上；

b）经由至少两个网络接入传输基本层和至少一个增强层；

c）选择具有足以传输基本层的网络质量和/或稳定性的传输基本层的第一网络接入点；以及

d）取决于第一网络接入点的带宽以及网络接入的质量和稳定性，从网络接入之中选择至少一个第二网络接入点，以传输至少一个增强层。

就本发明而言，媒体数据特别是但不仅仅是音频数据和/或视频数据和/或文本数据和/或视频文本数据和/或会议数据和/或应用特定数据等。同样包括的是诸如组合式音频/视频数据和/或会议数据和/或演示数据和/或游戏情形数据等之类的多媒体数据，以及特别地诸如电话数据和/或视频电话数据和/或串流数据等之类的实时通信数据。媒体数据优选地包括多层编解码器的视频和/或音频，特别是根据H.264SVC的视频编解码器。就本发明而言，基本层和增强层是内容承载子层，其中基本层至少包含解码所要求的数据，并且其中一个或多个增强层包含用于解码源介质的质量特征的数据。就本发明而言，网络接入可以是任何数据传输路径且还可以包括网络接入点、节点、协议、接口、层等。基本层可以具有在具有最佳网络质量和/或稳定性的网络接入的分配方面的优先级。在该情况中，可以将具有比被分配给增强层的网络接入更好的网络质量和/或稳定性的网络接入分配给基本层。要理解的是，步骤c）和d）可以在步骤b）之前实施。步骤c）和d）还可以在第二网络接入被省略或经历干扰时或者在更好的网络接入可用的情况下被重复地实施。可以为此目的连续监视网络环境。应当理解的是，经由至少一个第二网络接入传输至少一个增强层。这还可以意味着：取决于相应网络接入的要求和能力，划分成多个第二网络接入而传输单个增强层，经由单个第二网络接入传输一个或多个增强层，或者经由多个第二网络接入传输若干增强层。

在本发明的该方面的一个优选实施例中，该方法考虑针对编解码器的部分层的优先级的编解码器特定参数化。

在本发明的该方面的一个优选实施例中，该方法具有附加步骤：

e）确定可用网络接入点的信噪比；以及

f）通过包括所确定的信噪比的度量来近似可用网络接入点的网络质量。

信噪比（SNR）被定义为信号水平与噪声水平之比。步骤e）和f）可以被整合到步骤c）和/或d）中。

在本发明的该方面的一个优选实施例中，该方法具有附加步骤：

g）在传输片段之前，在编码媒体数据的每一个片段前添加序列号。

由于根据本发明，多个网络接入（即，传输路径）被用于传输还可具有不同等待时间等的使用数据，因此添加序列号也可以使接收器侧处的组装更容易。

本发明的另一方面涉及一种用于在层模型的基础上传输编码媒体数据的方法，其具有以下步骤：

A）经由至少一个网络接入接收被划分到基本层和至少一个附加增强层上的媒体数据；以及

B）将因而成功传输的层中的基本层和至少一个增强层组合到可解码媒体数据中。

显然，该方面中的方法涉及接收器侧，而前一方面涉及发射器侧。因此，该方面中的传输方法不需要具有但也可以具有用于传输的步骤。因此，该方面的传输方法还可以一般地理解为用于处理编码媒体数据的方法。根据该发明方面中的方法而接收的数据优选地为已借助于根据之前的发明方面的方法而提供的数据。通过组合它们，可解码数据至少接收基本层（否则解码将不会是可能的），并取决于传输成功，接收一个或多个增强层。

在本发明的该方面的一个优选实施例中，该方法具有附加步骤：

C）缓冲媒体数据的所接收到的数据片段，以及

D）以正确的顺序组合所接收到且经缓冲的数据片段，优选地基于每个数据片段前的序列号。

根据前述发明方面的方法优选地提供至少一个增强层以实现以下特征中的一个或多个：

-相比于基本层较大的传输错误冗余，

-相比于基本层较大的视频分辨率，

-至少3维视频分辨率，

-相比于基本层较高的图像重复率，

-相比于基本层较好的音频接收质量，

-多信道、特别是立体声、环绕或空间音频接收质量。

较高图像重复率还包括下述情况：其中，当基本层仅具有静止图像或化身（avatar）时，移动图像可以经由增强层而传输。

本发明的另一方面涉及一种用于施行根据前述发明方面之一的方法的设备。具体地，该设备是或者包括服务器（130）和/或移动终端（110）。要理解的是，该方法或该方法的各个段由被实现在该设备中的功能单元控制。功能单元可以被实现在一个单个设备上，或者它们可以以任何期望的方式分布到若干设备。如果涉及第一发明方面的方法的功能单元被实现在发射器侧上，并且如果涉及第二发明方面的方法的功能单元被实现在接收器侧上，则这是有用的。然而，第一发明方面的方法的至少部分可以被实现在接收器侧上和/或第二发明方面的方法的至少部分可以被实现在发射器侧上。还应当注意的是，诸如路由器、网关、切换交换局和中心等之类的传输路径上的项可以表示发射器和接收器这两侧。这样的项还可以实现本发明的这两个方面，并且情况还可以是：一个这样的项根据经由相应传输路径而传输的层处置数据片段的仅一部分。换言之，根据本发明的设备包括覆盖根据本发明的方法的仅一个方面的各个单元，以及覆盖这两个方面的部分或整体的各个单元，以及其中一个方面的部分和/或整体和/或这两个方面的部分和/或整体分布到多个设备的系统。

发明解决方案的方法可以与现有技术组合且还可以改进如用户所感知的总体体验。诸如测量SNR和将其用作用于评估网络质量的度量之类的技术允许与RTCP相比更准确的对最新网络质量的近似。相比于诸如PPP多链路、链路管理/QoS/层和组合在接收器中之类的现有方法，当传输编码媒体数据时，根据本申请的公开内容的多个网络接入的使用灵活得多。

更确切地表述，（移动）设备经由至少一个网络接入连接到分发可缩放视频编解码器的所有层的视频源。此外测量的是网络接入的可用性及其当前个体输运容量、可靠性和质量。根据本发明，该信息被输出到功能单元，其中所感知到的用户体验被评估，例如经由根据ITU-T推荐G.107的E模型通过对例如期望平均意见得分（MOS）的近似。

本申请中描述的过程实现了针对（移动）设备和所穿过的网络元件的可缩放视频编解码器的不同使用，如果——优选地——具有变化的网络条件的多于一个网络接入可用的话。关于可缩放视频的路由和传输的不同层的控制自动地且在串流期间发生而无需用户交互。除了在通信开始处针对各个媒体层的要求的描述和用于业务处置的最终指南之外，不要求手动配置。

根据本发明的方法在使用智能电话时的移动场景中特别有利。其还实现了使用可缩放编解码器的视频串流，经由增强层的具体要求利用了详细信息并且还实现了如用户所感知到的可用增强层的不同子集的质量的近似。该方法还确定或使用关于网络接入的可用性及其当前和实际输运容量、可靠性和质量的信息。这被通过带内频谱测量以及频谱测量和能力的相关性的认知而使得对无线接入来说是可能的。诸如决定管理器或输运认知层之类的功能单元可以在该信息的基础上主动生成转发行为。此外，在不同增强层的重要性的基础上选择不同输运能力（例如可靠输运、错误修正和优先化）。基于网络能力，用于针对特定增强层的不同QoS类别的支持也是可能的。

因此，本申请公开了一种基于实际网络条件（即，网络可用性和网络属性）的针对这些层的自动控制机制。本发明由用于在发射器和接收器侧上传输编码媒体数据的相应方法或这些方法的组合、用于施行方法之一的相应设备和用于施行（一个或多个）方法的系统实现。本发明还可以由以下各项体现：包括程序命令的计算机程序，所述程序命令在计算机程序安装或运行在计算机上时使计算机实施所描述的方法中的至少一个的方法序列；存储在计算机可读介质上且可优选地直接安装到计算机的内部存储器中且具有用于在计算机程序运行在计算机上时实施所描述的方法中的至少一个的方法序列的程序代码的软件产品；和/或具有可与可编程计算机一起操作以便管理通信过程的电可读控制信号的数字存储介质，其中控制信号被设计和适配成使计算机实施所描述的方法中的至少一个的过程步骤。

本发明的附加特征、任务、优点和细节将从具体示例性实施例的以下描述及其在所包括的附图中的各图中的演示变得更加明显。要理解的是，各个示例性实施例的特征、任务、优点和细节可转移到其它示例性实施例且被视为同样结合该其它示例性实施例而被公开，除非这出于技术或物理原因而显然不适用。因此，各种示例性实施例的特征根本上可以与其它示例性实施例组合，并且该组合也可以被视为本发明的示例性实施例。

以下基于优选示例性实施例并且参考附图更加详细地描述本发明。附图为：

图1是根据本发明的系统的示意框图；

图2A至2C是用于图示根据本发明的一个实施例的发明方法的序列图的相继段；

图3A至3C是用于图示根据本发明的另一实施例的发明方法的序列图的相继段。

附图是示意性演示且不一定按照比例。各图中的图示及其描述应当被视为本发明的原理的示例性说明而决不应当限制本发明。

图1示出系统的示意框图，该系统具体地为根据本发明的一个实施例的通信系统100。

在通信系统100中，终端110经由网络环境120连接到服务器130。特别地，终端110具有网卡112以及已使用终端处的WLAN连接点114建立无线电连接的无线电接口（未详细示出）。另一方面，服务器130具有网卡132以及已使用服务器侧处的WLAN连接点134建立无线电连接的无线电接口（未详细示出）。网络环境120具有诸如以太网（eth）122之类的有线网络和诸如WLAN（wlan）124之类的无线电网络。

终端110与用户（未详细示出）相关联且能够再现多媒体内容。所示的示例中的终端110具有带有再现应用（播放器）117的计算机单元116且连接到屏幕118。在该示例中，计算机单元116被配置为紧凑的工作站，但本发明不限于此。计算机单元116还可以被配置为膝上型计算机、平板计算机、智能电话、游戏控制台，作为HiFi系统的一部分或者以任何其它合适的方式。特别地，计算机单元116可以具有集成屏幕，使得其不需要依赖于外部屏幕118来再现媒体数据。

服务器130位于与终端110相距一定距离处并除了其它以外具有决定管理器136和SVC串流器应用138，其每一个可以通过软件和/或硬件而实现。决定管理器136和应用138还可以被指定为每一个独自或协作的功能项或功能单元。SVC串流器138是多媒体应用的示例并将被简称定名为应用138（在图2A至3C中还称为“复合应用”）。

终端110因而经由多个网络接入122、124连接到充当视频源的服务器130。服务器130分发可缩放视频编解码器（SVC）的所有层。SVC提供例如基本层和两个附加子层，这两个附加子层还被定名为增强层（图2A、3A中的增强层#1、增强层#2）。此外测量的是网络接入的可用性及其当前个体输运容量、可靠性和质量。该信息被分发到功能单元，其中所感知到的用户体验被评估，例如经由根据ITU-T推荐G.107的E模型通过对例如期望平均意见得分（MOS）的近似。

针对数据传输，使用网络容许层（NTL）150。NTL150的结构、其子层及其实现的细节和解释被包含在已经与本专利申请同日提交的专利申请（申请人参考号：2013P00135）中，并且在本文中对其全部内容作出参考。在网络容许层NTL150的架构中提供的是两个交互子层（其在此还被定名为功能层），具有自适应绑定和控制项的对象模型。如图1中所示，将内容认知层（CAL）160提供为NTL150的“上”子层并且将输运认知层（TAL）180提供为NTL150的“下”子层。TAL180被提供以经由异构网络承载数据输运能力，而CAL160被提供以根据移动设备的情境适配所传输的数据内容。TAL180和CAL160还可以理解为功能单元。

根据图1中的图示，可缩放视频编解码器（SVC）的三个层在CAL160的水平处可用，即，第一SVC层171、第二SVC层172和第三SVC层173，其可以被选择性地或加性地使用。根据图1中的信息，SVC层171、172、173在其图像分辨率、其可靠性（可靠度）和其平均（avg）和最大（max）传输速率方面不同于彼此。可被选择性地或加性地使用的两个输运小网（netlet）191、192和连接性层196在TAL180水平处可用。输运小网191、192通过其可靠性程度和可能地还有其分段值而不同于彼此。连接性层196通过与服务器侧网卡132和——经由无线电接口（未详细示出）——服务器侧WLAN连接点134二者建立连接来控制网络接入。连接性层196对应于Sillberg架构的多个网络接入且不同于网络接入层。连接性层196向上与两个输运小网191、192链接。具有高可靠性程度（1）的第一输运小网191越过子层边界而连接到同样具有高可靠性（1）的第一SVC层171，并经由连接性层196连接到服务器130的网卡132。具有低可靠性程度（0）的第二输运小网192越过子层边界而连接到同样具有低可靠性程度（0）的第二SVC层172和第三SVC层173，并经由连接性层196连接到服务器130的网卡132和服务器侧WLAN单元134二者。值得注意的是，具有或要求高可靠性程度的第一输运小网191不能经由WLAN网络wlan0而连接。

在发射器侧（服务器130）上，CAL160从应用138接收经编码的分层/多描述性数据流。CAL160具有关于应用138和关于所使用的编解码器以及各个层/描述对如用户所感知到的质量所具有的影响的精确技术信息。CAL160通过检查编码流来识别和分离不同层/描述。经由相应SVC层171、172、173之一，连同描述所传送的数据的重要性和针对所传送的数据的要求的元信息一起将分离的流或聚合物逐片段地传送至TAL180。TAL180因而能够基于可用的网络接入132、134和总的可用带宽动态地适配所传输的层/描述的数目。另外，可以通过使用诸如重传或转发错误修正之类的附加保护机制来确保高重要性的层/描述的分发。基于应用数据的层/描述的分离来提供附加机制以便允许接收器侧上的数据流的同步，以便向应用转发有效数据流。这是通过在去往TAL180的流中在每个片段前添加附加序列号来实现的。

在接收器侧（终端110）上提供附加缓冲器以允许分离的数据流的同步并允许有效应用层数据流的转发。这可以是由传输应用138提供的相同数据流，但也可以是在其中层的部分或全部层由于网络过载或者由于TAL180中的决定而丢失的数据流。

所演示的方法使用基于数据片段的序列号对数据流重新排序的新的定序缓冲器。由于该缓冲器引入了附加延迟，因此其关于应用和网络参数而定维度。

以下将基于图2A至2C中的若干相继部分中所示的序列图详细描述功能单元（决定管理器136、TAL180、可能地CAL160）中的视频数据流的拆分以及接收器（终端110）中的组合和同步。

图2A至2C示出根据本发明的过程200，其根据基于三个相继段中的序列图的一个实施例。换言之，图2A中所示的过程200的段之后跟随图2B中所示的段，并且图2B中所示的段之后跟随图2C中所示的段。处理序列总是从上到下。

NTL架构的之前提到的组件及其部分层被演示为实体或项。假定两个网络接入n、m可用。如图1中所示，连接经由122、124在接口112、114处终止。

过程200以选择阶段“S”开始。最初，设备110与连接性层196连接（步骤201、202）。连接性层对应于Sillberg架构的多个网络接入。“网络接入”意味着多个网络接入。其向决定管理器136继续传递该信息（步骤206,207）连同关于可用网络接入n、m的信息。终端110自身直接向决定管理器136传输其自身能力、要求和参数的描述（步骤209）。在应用开始（步骤210）并传送其要求（步骤211）之后，将这些要求从CAL180继续传递到决定管理器136（步骤212）。后者比较应用的要求与网络接入的那些要求（步骤215）并从它们之中选择几个可使用的通信模式且将其传输至协作的NTL子层CAL160和TAL180二者（步骤217,218）。作为示例，TAL180现在选择网络接入n和m（步骤220）并配置它们（步骤221）。在确认选择（步骤222,223）之后，应用138接收正在使用的通信模式（步骤225）。

通信阶段“C”此后开始，并且应用138通过传输使用信息（步骤230,231）而开始。连接性层196相应地在网络接入n和m之上分发该信息（步骤235,236）。由于这两个网络接入n和m都可用，因此应用数据可以跨基本层和两个增强层（增强层#1，增强层#2）分布且因此可以被以增强的视频质量传输。使用网络接入n和m的通信阶段C因此是具有增强视频质量的通信阶段，参见从这点起的图2B。

在通信阶段C期间，连接性层196连续地重复更新网络状态，如图2B中所示，并将其传输至决定管理器136（步骤239）。

终端110经由接口监视来检测网络接口n的干扰或质量缺陷（步骤240）。这触发重评价阶段“R”，其以终端110关断网络接口n（步骤241）而开始。连接性层196在其上向决定管理器136传输网络状态的更新（步骤242）。后者评价当前情形（步骤245）且现在向协作的NTL子层CAL160和TAL180传输可能的通信模式（步骤247,248）。TAL180现在仅选择网络接入m（步骤250）并配置它（步骤251）。在确认选择（步骤252,253）之后，应用138接收正在使用的通信模式（步骤255）并通过传输使用信息开始新的通信阶段“C”（步骤260），于是连接性层196经由网络接入m对应地分发该信息（步骤265）。由于仅网络接入m仍旧可用，因此应用数据仅可以经由基本层且因而仅以基本质量而传输。因此，使用仅网络接入m的通信阶段C是具有基本视频质量的通信阶段。

稍后，如现在在图2C中开始所示的，网络接入n再次稳定（步骤270），并且设备（终端）271在现在触发的重评价阶段“R”中再次经由该接口而连接（步骤271）。其再次向决定管理器136传送连接性层196（步骤272）。后者评价当前情形（步骤275）并基于其认知经由网络接入n和m重新建立连接性的原始利用（步骤277至283，其在内容上对应于步骤217至223，使得在这点上可以省略重申解释）。该方法的进一步的进程现在再次对应于具有增加的视频质量的通信阶段“C”（步骤290至296，其在内容上对应于步骤230至236，使得在这点上同样可以省略重申解释）。过程200以应用138的结束（步骤299）而结束。

图3A至3C示出根据本发明的过程300，其根据基于三个相继段中的序列图的另一实施例。换言之，图3A中所示的过程300的段之后跟随图3B中所示的段，并且图3B中所示的段之后跟随图3C中所示的段。处理序列总是从上至下。

根据图3A至3C中的演示的过程300与图2A至2C中所示的过程200的不同之处在于在前者实施例中没有提供内容认知层CAL。以标号“3”开始的所有过程步骤3xx在内容上对应于图2A至2C中所示的过程200的过程步骤2xx，因此为了避免重复，对对应描述的内容作出完全参考。然而，由于在本实施例中缺少内容认知层CAL，因此在过程300中省略了涉及CAL的那些步骤；因此，本实施例没有先前实施例的步骤211、212、217、222、247、252、277、282的等同物。通过诸如应用或决定管理器之类的功能单元，可以将决定过程输入文档（DPID）定义为对应于步骤211、212（图2A）。DPID是应用的一般要求文档、和输运属性文档以及设备属性文档的一般要求文档。所有在一起，DPID形成决定管理器利用可选的策略使用从其执行要求和输运能力之间的最佳可能调节的决定空间。

要理解的是，当应用本实施例时，CAL160需要被想象为在图1中缺失。以抽象方式提供的CAL的功能性可以被集成到应用中，例如媒体串流H.265SVC。

另外要理解的是，本发明不限于两种网络类型：以太网和WLAN。

还要理解的是，如图1中所示在服务器130中锚定且根据图2A至3C施行服务器侧上的过程或处理步骤的应用138还可以分布到一个服务器和一个终端或者仅被实现在一个终端中。在这方面，服务器130的SVC串流应用138的部分还可以被实现在诸如终端110之类的终端的应用中。

通过同时使用多于一个网络接入，例如固定和WLAN网络、固定和蜂窝（HDSP、UMTS、LTE、……）或WLAN和蜂窝，根据本发明的功能单元还具有下述灵活性：根据当前网络条件和指南经由不同网络接入来路由或重新路由可缩放视频编解码器的不同层，以便处置业务。作为结果，功能单元认知到针对传输不同SVC层以及所使用的输运指南的最小要求，并依照用于可用无线网络接入的频带中的频谱测量将其匹配到实际网络条件。基于该匹配，其还确定将多少（有依赖性的）层传输至端点以及是否要求用于错误修正的附加机制。

本申请中公开的方法还示出当仅单个网络接入可用或存在时的优点，因为附加层可以在确定缺乏网络质量和关联的小可使用带宽的情况下被挂起。现有技术基于应用质量的反应适配（reactiveadaptation）而没有认知到实际网络条件。适配对应地为迟缓的。可以通过添加频谱测量并且还不使用SNR的新度量来更好地评估网络连接的条件，这允许应用质量和输运属性的有针对性的适配。

功能单元立即被告知实际网络条件中的改变并相应地检查其决定。作为结果，网络接入点的丢失、恢复或不稳定性采取超过网络质量指示的优先级。取决于具体的网络配置，功能单元——如本申请中公开的那样——可以优选地在媒体服务器、视频会议服务器上采用，或者如果不同（管理）网络域被覆盖的话，在“使用中继遍历在NAT周围”（TURN,traversalusingrelaysaroundNAT）服务器、“会话边界控制器”（SBC）、组合接入路由器/应用层网关（ALG）或“媒体认知网络元件”（MANE）上采用。另一方面，随着（移动）设备的处理能力增长（例如通过多核技术），功能单元还可以被集成到设备中，这使用如本申请中公开的用于交互式视频或先前记录的视频的视频上载的技术。由于如以上提到的在网络元件中固有的功能单元可以包括实际总体业务情形的概览，因此其还可以考虑负载平衡以便提供跨连接设备的网络资源的适当利用。

本申请中公开的方法支持应用内容和要求（如CAL所提供）和网络属性（如通过网络监视或观察而提供）的附加认知以便适配TAL的输运服务。在所使用的网络接入的属性和当前条件以及用于特定流的应用的要求的基础上选择输运协议。输运服务的适配在此包括诸如重新排序、重传、拥塞控制或FEC之类的协议机制的细粒度选择。以此方式，可以总是针对特定应用子流选择输运服务和网络接入的最优组合而不牵涉决定作出过程中的应用。附加网络智能导致更好的总体用户体验而不需要预留网络内的QoS资源，该需要如今在当前公共网络中不可用。

然而，其确实要求监视相应网络接入的网络质量，这可以由类似于RTCP和/或局部SNR测量的协议来提供。

使用H.264/SVC编解码器的视频串流允许已经编码的视频流关于可用网络资源的适配。特别地，一个或多个层可能被部分或全部丢弃，这导致较低重放质量、分辨率或图像频率。即使由用户感知到的质量降低，也不存在诸如伪像、冻结或跳跃之类的不合期望的干扰。连同关于这样的适配对用户感知到的质量的影响的信息一起，可以关于网络条件优化视频重放。必须无错误地传输以回放视频的诸如基本层之类的视频流的重要层可以是使用诸如FEC或分组重传之类的附加机制来保护的。允许各个层的分离的脚本在H.264/SVC标准[H264]的附件G“Advancedvideocodingforgenericaudiovisualservices”的基础上实现。在每一层内的每一帧的应用报头之前插入序列号以实现接收侧上的同步。分离的流然后被传送至输运认知层TAL180，在该示例中针对输运认知层TAL180使用开源软件NENA。

基于小网的节点架构（NENA-<http://nena.intend-net.org>http://nena.intend-net.org）是允许节点同时与若干网络链接或同时连接到若干网络的运行时网络。这些网络可以基于使用专用网络协议的不同协议族。

应用经由从网络操作的细节抽象的API接入这些协议：取代于提供网络地址和协议，应用指定全局唯一的名称作为URI和对所查询的通信服务的要求，以便发起与关联于该名称的内容、服务或网络主机的通信。NENA中的协议或完整协议栈被封装在所谓的小网中。“小网选择”组件使用所请求的名称和应用要求作为选择准则来执行网络和小网的选择。复用器形成协议族的基本层，执行小网复用，并实现——取决于族——寻址和传送机制。网络接入表示物理或逻辑网络接口卡。因此，多个虚拟网络的复用必须经由NENA外部的相同物理网络执行。

已经结合以上描述的发明解释的过程还可以适用于可缩放和多描述编解码器以及视频和音频编解码器的增强层。

除了在另行陈述时或在出于技术原因而不可能时之外，关于所示的实施例描述的本发明的特征还可以存在于本发明的其它实施例中。

Claims (8)

1.用于在层模型的基础上传输编码媒体数据的方法，包括以下步骤：

a）将媒体数据划分到基本层和至少一个附加增强层上；

b）经由至少两个网络接入传输基本层和至少一个增强层；

c）选择具有足以传输基本层的网络质量和/或稳定性的传输基本层的第一网络接入；以及

d）取决于第一网络接入的带宽以及网络接入的质量和稳定性，从网络接入之中选择至少一个第二网络接入，以用于传输至少一个增强层。

2.根据权利要求1所述的方法，其特征在于所述方法考虑针对编解码器的部分层的优先级的编解码器特定参数化。

3.根据权利要求1或2所述的方法，其特征还在于以下步骤：

e）确定可用网络接入点的信噪比；以及

f）通过包括所确定的信噪比的度量来近似可用网络接入的网络质量。

4.根据前述权利要求之一所述的方法，其特征还在于以下步骤：

g）在传输片段之前，在编码媒体数据的每个片段前添加序列号。

5.用于在层模型的基础上传输编码媒体数据的方法，包括以下步骤：

A）经由至少一个网络接入接收被划分到基本层和至少一个附加增强层上的媒体数据；以及

B）将因而成功传输的层中的基本层和至少一个增强层组合到可解码媒体数据中，

其中媒体数据优选地是使用根据前述权利要求之一的方法来提供的。

6.根据权利要求5所述的方法，其特征还在于以下步骤：

C）缓冲媒体数据的所接收到的数据片段，以及

D）以正确的顺序组合所接收到且经缓冲的数据片段，优选地基于每个数据片段前的序列号。

7.根据前述权利要求之一所述的方法，其特征在于至少一个增强层实现以下特征中的一个或多个：

-相比于基本层较大的传输错误冗余，

-相比于基本层较大的视频分辨率，

-至少3维视频分辨率，

-相比于基本层较高的图像重复率，

-相比于基本层较好的音频接收质量，

-多信道、特别是立体声、环绕或空间音频接收质量。

8.用于施行根据前述权利要求之一的方法的设备，其中所述设备具有服务器（130）和/或移动终端（110）。