CN102036061A - 视频数据传输处理、发送处理方法、装置和网络系统 - Google Patents

Abstract

本发明实施例提供一种视频数据传输处理、发送处理方法、装置和网络系统。该数据传输处理方法包括接收来自源传输网络发往目标传输网络的源码流；根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容错码流；向所述目标传输网络发送获取到的所述容错码流。本发明实施例中，数据服务器能够根据数据传输网络系统中至少两个传输网络所对应的丢包率，获取与要发送的码流对应的容错辅助信息，使得数据转发节点能够根据不同传输网络丢包率，利用该容错辅助信息快速地生成符合后续传输网络丢包特性的容错码流，能够提高不同的网络丢包率环境下码流的容错能力。

Description

视频数据传输处理、发送处理方法、装置和网络系统

技术领域

本发明实施例涉及视频数据传输技术领域，尤其涉及一种视频数据传输处理、发送处理方法、装置和网络系统。

背景技术

现有的视频传输应用环境中存在多种不同的网络，包括有线网络和无线网络，它们具有不同的数据出错概率即信号传输的可靠性不同。例如，一视频传输网络中，视频服务器提供的视频码流经过媒体网关(Media Gateway)中转，媒体网关抽取并发送其他网络所需要的视频子码流。对于视频流应用，网络传输的延迟和丢包都会造成视频数据包的不可用，从而使得解码视频质量的严重下降。一般而言，有线网络的丢包率较小，传输速率较高，而无线网络(例如WLAN、通过基站的3G、GPRS等网络)则与之相反。有线网络的数据丢包率较低，其丢包主要是由网络中路由器的拥塞造成；而在无线网络中，有限的带宽、高延迟、高比特出错率导致了高丢包率。

由于无线环境下的出错概率远大于有线环境，为了使视频用户在访问视频数据时能够在这些不同网络间进行无缝切换，视频服务器应该提供具有差错控制功能。现有的差错控制技术包括容错转码，其是在视频服务器提供适合有线网络的码流，然后在网络边界点加入转码器，给视频码流提供适合目标网络的冗余。以视频代理器作为转码器对原始码流解码再编码，增加了转码器的复杂度，也增加了系统延时。现有的差错控制技术还包括冗余帧编码，其目的是利用冗余信息保护一系列压缩后的图像，使其具有错误复原能力或者减小通信错误对其的影响。但是该方法是在分别给定丢包率的情况下产生冗余帧，可能造成网络资源的浪费。如在视频服务器到第一数据转发节点的有线信道以及第一数据转发节点到第二数据转发节点的无线信道中，前一段信道的出错概率低于后一段信道，然而为了使第二数据转发节点之后的用户能获得较好的视频解码质量，视频服务器要在码流中添加较多的冗余，从而导致了在视频服务器到第一数据转发节点的信道中的带宽浪费。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有技术中在丢包率不同的至少两个传输网络中，固定使用一个丢包率生成码流，要么根据较高丢包率生成码流，则由于冗余过度，导致带宽资源利用率低；要么根据较低丢包率生成码流，则在网络条件变差时导致视频质量下降。

发明内容

本发明实施例提供一种视频数据传输处理、发送处理方法、装置和网络系统，以提高不同的网络丢包率环境下码流的容错能力。

本发明实施例提供一种视频数据传输处理方法，包括：

接收来自源传输网络发往目标传输网络的源码流；

根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容错码流；

向所述目标传输网络发送获取到的所述容错码流。

本发明实施例提供一种视频数据发送处理方法，包括：

在向数据传输网络系统发送源码流之前，根据所述数据传输网络系统中至少两个传输网络所对应的丢包率，获取与所述源码流对应的容错辅助信息；所述容错辅助信息用于为所述数据传输网络系统中的数据转发节点对接收到的码流进行容错编码处理、以获取容错码流提供参考；

向所述数据转发节点发送所述容错辅助信息。

本发明实施例提供一种数据转发节点设备，包括：

第一接收模块，用于接收来自源传输网络发往目标传输网络的源码流；

编码处理模块，用于根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容错码流；

第一发送模块，用于向所述目标传输网络发送获取到的所述容错码流。

本发明实施例提供一种网络设备，包括：

第一获取模块，用于在向数据传输网络系统发送源码流之前，根据所述数据传输网络系统中至少两个传输网络所对应的丢包率，获取与所述源码流对应的容错辅助信息；所述容错辅助信息用于为所述数据传输网络系统中的数据转发节点对接收到的码流进行容错编码处理、以获取容错码流提供参考；

第二发送模块，用于向所述数据转发节点发送所述容错辅助信息。

本发明实施例提供一种网络系统，包括：

数据转发节点设备，用于接收来自源传输网络发往目标传输网络的源码流，根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理获取容错码流后，向所述目标传输网络发送获取到的所述容错码流；

网络设备，用于在向数据传输网络系统发送源码流之前，根据所述数据传输网络系统中至少两个传输网络所对应的丢包率，获取与所述源码流对应的容错辅助信息，向所述数据转发节点发送所述容错辅助信息；所述容错辅助信息用于为所述数据传输网络系统中的数据转发节点对接收到的码流进行容错编码处理、以获取容错码流提供参考。

本发明实施例提供的视频数据传输处理、发送处理方法、装置和网络系统，数据服务器能够根据数据传输网络系统中至少两个传输网络所对应的丢包率，获取与要发送的码流对应的容错辅助信息，使得数据转发节点能够根据不同传输网络丢包率，利用该容错辅助信息快速地生成符合后续传输网络丢包特性的容错码流，能够提高不同的网络丢包率环境下码流的容错能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中容错辅助信息的提取及使用方法示意图；

图2为本发明数据发送处理方法实施例流程图；

图3为本发明数据传输处理方法实施例流程图；

图4为本发明实施例视频传输过程中丢包率增高的应用场景示意图；

图5为本发明实施例视频传输过程中丢包率降低的应用场景示意图；

图6为本发明方法实施例在3％丢包率下冗余添加性能示意图；

图7为本发明方法实施例在5％丢包率下冗余添加性能示意图；

图8为本发明方法实施例在10％丢包率下冗余添加性能示意图；

图9为本发明方法实施例在20％丢包率下冗余添加性能示意图；

图10为本发明方法实施例前向纠错描述信息用于FEC冗余分配示意图；

图11为本发明数据转发节点设备实施例结构示意图；

图12为本发明网络设备实施例一结构示意图；

图13为本发明网络设备实施例二结构示意图；

图14为本发明网络系统实施例组成示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着网络技术的不断发展，各种类型的网络例如有线网络和无线网络可以进行网络融合，通过形成综合的网络体系来满足用户的不同需求。但是由于各种类型的网络具有不同的丢包率，网络传输的丢包会造成例如视频数据包的不可用，从而使得解码视频质量的严重下降。为了满足不同网络的丢包率，考虑若能够充分合理地利用网络资源，并提供较好的视频质量，每次经历变化都可以快速地做出反应，根据实际的条件改变码流的容错能力，例如：改变码流冗余率和改变前向纠错(Forward Error Correction；以下简称：FEC)保护力度等等，便可以提高不同的网络丢包率环境下码流的容错能力。

综上所述，本发明各实施例针对数据码流在网络传输中面临不同丢包率的情况，提出一种错误弹性可伸缩的编码与传输方案，图1为本发明实施例中容错辅助信息的提取及使用方法示意图，如图1所示，首先，在编码端进行分析和计算，根据网络环境和视频特征，生成详细的描述信息用于辅助后期容错码流的生成，该信息定义为容错辅助信息；该容错辅助信息可以嵌入在码流中或是通过其他途径传递给各数据转发节点；然后，考虑传输过程中网络的变化，数据转发节点根据后续网络的丢包率，利用该容错辅助信息快速地生成符合后续网络丢包特性的容错码流。本发明实施例通过引入容错辅助信息，数据转发节点就可以根据辅助信息以及相应的丢包率进行快速转码，这样不仅可以充分利用系统带宽资源，并且延迟少，操作复杂度低有利于实时应用。图1中，数据转发节点可以是流服务器、媒体网关、路由器等设备；容错辅助信息可以用于码流的冗余帧添加、和FEC等等。

图2为本发明数据发送处理方法实施例流程图，如图2所示，该方法包括：

步骤100，数据服务器在向数据传输网络系统发送源码流之前，根据所述数据传输网络系统中至少两个传输网络所对应的丢包率，获取与所述源码流对应的容错辅助信息；

本实施例中所述的数据传输网络系统包括用于提供数据源的数据服务器，还包括多个用于对发送的数据进行中转的数据转发节点以及用户设备终端，数据服务器、数据转发节点和终端设备之间通过各种传输网络连接，传输网络为数据传输提供通道。基于网络融合技术，数据传输网络系统中的至少两个传输网络具有不同的丢包率，数据服务器例如视频服务器为了使得发送出去的视频码流能够适应不同传输网络的网络丢包特性，保证数据传输可靠性，视频服务器在向数据传输网络系统中的某一数据转发节点发送视频码流前，要获取到所发送的源码流对应的容错辅助信息，所述容错辅助信息包括与数据传输网络系统中至少两个传输网络例如源传输网络和目标传输网络各自的丢包率分别对应的容错数据集合的描述信息，容错数据集合用于标识源码流中需要调整的容错数据，且描述信息表示的各个容错数据集合满足以下条件：低丢包率对应的容错数据集合为高丢包率对应的容错数据集合的子集。该容错辅助信息用于为数据传输网络系统中的数据转发节点对接收到的码流进行容错编码处理、以获取符合后续的传输网络对应丢包率的容错码流提供参考，也就是说数据转发节点能够根据容错辅助信息，针对该数据转发节点后续的传输网络的丢包率进行快速转码，利用该容错辅助信息快速地生成符合后续网络丢包特性的容错码流。

视频服务器是要根据数据传输网络系统中至少两个传输网络所对应的丢包率，生成容错辅助信息，也就是说，容错辅助信息所描述的信息可以适应于不同丢包率的传输网络，数据转发节点在接收到上一个传输网络发送的码流后，能够在容错辅助信息的辅助下，从中找出对应于上下传输网络两种丢包率所要进行的容错操作规则，并根据指示进行容错转码形成容错码流。当然，不同的特性的数据码流应对应有不同的容错辅助信息，以满足需求。在本发明实施例中，数据服务器可以是视频服务器、点播服务器等设备。

步骤101，所述数据服务器向所述数据转发节点发送所述容错辅助信息。

数据服务器在获取到所要发送的视频码流对应的容错辅助信息后，将该容错辅助信息发送给数据传输网络系统中各数据转发节点，供数据转发节点容错编码用。

数据服务器在将视频数据发送给与其连接的数据转发节点前，为了适应该数据转发节点之间的传输网络的丢包率，应该对源码流进行容错编码，当然是要结合之前获取到的容错辅助信息来生成。数据服务器在根据与数据转发节点之间的传输网络对应的丢包率以及容错辅助信息，生成与源码流对应的容错码流后，可以将该容错码流和容错辅助信息一同发送给数据转发节点。当然，容错码流和容错辅助信息也可以分别独立发送。

本发明实施例提供的数据发送处理方法，数据服务器根据数据传输网络系统中至少两个传输网络所对应的丢包率，获取与要发送的码流对应的容错辅助信息，并将容错辅助信息发送给数据转发节点，使得数据转发节点能够根据不同传输网络丢包率，利用该容错辅助信息快速地生成符合后续传输网络丢包特性的容错码流，不仅能够提高不同的网络丢包率环境下码流的容错能力，而且延迟少，操作复杂度低有利于实时应用。

图3为本发明数据传输处理方法实施例流程图，如图3所示，该方法包括：

步骤200，接收来自源传输网络发往目标传输网络的源码流；

在数据服务器根据数据传输网络系统中至少两个传输网络例如一数据转发节点的源传输网络和目标传输网络所对应的丢包率，获取到与源码流对应的容错辅助信息，并将容错辅助信息发送给数据转发节点后，数据转发节点接收到该容错辅助信息。本实施例中涉及的源传输网络和目标传输网络是指从数据的流向而言，数据转发节点两端的传输网络。数据转发节点接收到的源码流可以是数据服务器发送的，也可以是其他数据转发节点发送的。例如数据服务器一同将源码流经由数据转发节点发送给终端设备，本实施例中可以将所述的数据服务器与数据转发节点之间的传输网络称之为源传输网络，数据转发节点与终端设备之间的传输网络称之为目标传输网络，也就是说数据服务器发送的源码流是要通过源传输网络发往目标传输网络的。

步骤201，根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容错码流；

由于网络组建时该数据转发节点已经获知源传输网络和目标传输网络各自的丢包率，因此数据转发节点接收到数据服务器发送的源码流后，可以根据源传输网络和目标传输网络各自的丢包率，并结合容错辅助信息，对该源码流进行快速转码，利用该容错辅助信息快速地生成符合后续网络丢包特性的容错码流，针对丢包率变化快速地做出反应，根据实际的条件改变码流的容错能力，例如码流冗余率和FEC保护力度等等。所述的容错编码过程应该有别于视频编码过程，容错编码是复杂度较低的容错能力改变的操作，可以是直接的码流拷贝，或者是添加部分编码过程等。

步骤202，向所述目标传输网络发送获取到的所述容错码流。

数据转发节点获取到适合后续传输网络的容错码流后，将该容错码流通过目标传输网络发送给终端设备或其他的数据转发节点。另外，该数据转发节还可以将容错辅助信息与容错码流一起或单独转发给其他的数据转发节。

本实施例提供的数据传输处理方法，数据转发节点能够根据数据服务器发送的对应于数据码流的容错辅助信息，对需要进行转发的码流进行容错编码获得容错码流，以适应后续传输网络丢包率的网络特性。能够充分合理地利用网络资源，每次经历变化都可以快速地做出反应，根据实际的条件改变码流的容错能力。

上述各实施例中涉及的容错辅助信息可以适用于多种应用环境，以下分别给出应用容错辅助信息进行自适应冗余帧调整和FEC保护的应用实例。

对于自适应冗余帧调整的实施例，数据服务器根据数据传输网络系统中至少两个传输网络所对应的丢包率，获取供数据转发节点对接收到的码流进行自适应冗余帧调整、以获取符合后续的传输网络对应丢包率的容错码流用的容错辅助信息，所述的容错辅助信息包括与数据传输网络系统中至少两个传输网络各自的丢包率分别对应的冗余帧集合的描述信息，所述的冗余帧集合用于标识所述码流中的多个数据帧中需要生成冗余帧的数据帧，且描述信息表示的各个冗余帧集合满足以下条件：低丢包率对应的冗余帧集合为高丢包率对应的冗余帧集合的子集。由此可知，所述的冗余帧集合为上述实施例中所述容错数据集合的一个实例。对应于数据转发节点而言，数据转发节点可以根据源传输网络和目标传输网络各自的丢包率，以及与源码流对应的容错辅助信息，对接收到的源码流中包括的多个数据帧进行自适应冗余帧调整，获取符合目标传输网络对应丢包率的容错码流。

在本实施例中，可将容错辅助信息应用于码流的自适应冗余帧添加，具体实施步骤如下：首先，在数据服务器的编码过程中估计信源信道的总体失真，提取不同丢包率前提下每帧的冗余描述信息；其次，将这些极少数的信息附加在码流中进行传输或者单独传递给数据转发节点；然后，数据转发节点就可以根据冗余描述信息指对不同丢包率进行自适应冗余添加或删除。

上述的冗余描述信息即为容错辅助信息的一个实例，其提取过程包括：首先，针对至少两个传输网络的丢包率，分别在不生成冗余帧以及生成冗余帧的两种情况下，对码流中各数据帧对应的两组信源信道失真信息进行计算；然后，应用率失真模型，对计算获得的两组信源信道失真信息所对应的数据帧在对应的丢包率条件下是否需要生成冗余帧进行判断，获得判断结果，即利用率失真模型为不同的丢包率分别选取性能最好的冗余帧产生方式；最后，根据判断结果，获得采用合理的方式组织并描述与各丢包率分别对应的冗余帧集合的描述信息。以下进行详细介绍。

其中，信源信道的失真采用改进的递归优化像素级估计(RrcursiveOptimal Per-pixel Estimate；以下简称：ROPE)算法来进行估计。假设一个视频帧的码流在传输的过程中被封装在一个数据包中，因此在当前的丢包率为p的情况下，对每个视频帧而言，其丢失的概率也是p。若原始视频序列第n帧中第i个像素的值为

，其编码端重建值为

解码端重建值为

则信源信道总体失真可表述为和的均方差。由于在编码端得不到码流经过差错信道传输后解码端的精确重建值，可将

看做一个差错信道下的随机信号，信源信道总体失真变成：

其中，表示信源失真，

表示信道失真，公式(1)中的第三项是信源失真和信道失真的相关。此外，公式(2)给出了信源信道总体失真的另外一种表示方式，可以看到，估计信源信道总体失真就是要估计

的一阶矩和二阶矩。本发明实施例提供一种基于像素估计该一阶矩和二阶矩的方法——ROPE。假设解码端采用的错误隐藏方法是FC，则可以采用递推的方式按照像素编码模式计算一阶矩和二阶矩：

帧内预测(Intra prediction；以下简称：Intra)编码块中的像素：

$E\left\{{\tilde{f}}_n^i\right\}\left\{I\right\}=(1-p){\hat{f}}_n^i+\mathrm{pE}\left\{{\tilde{f}}_{n-1}^i\right\}---\left(3\right)$

$E\left\{{\left({\tilde{f}}_n^i\right)}^2\right\}\left\{I\right\}=(1-p){\left({\hat{f}}_n^i\right)}^2+\mathrm{pE}\left\{{\left({\tilde{f}}_{n-1}^i\right)}^2\right\}---\left(4\right)$

帧间预测(Inter prediction；以下简称：Inter)编码块中的像素：

$E\left\{{\tilde{f}}_n^i\right\}\left\{P\right\}=(1-p)({\hat{e}}_n^i+E\{{\tilde{f}}_{n-1}^j\left\}\right)+\mathrm{pE}\left\{{\tilde{f}}_{n-1}^i\right]---\left(5\right)$

$E\left\{{\left({\tilde{f}}_n^i\right)}^2\right\}\left\{P\right\}=(1-p)E\left\{{({\hat{e}}_n^i+E\{{\tilde{f}}_{n-1}^j\left\}\right)}^2\right\}+\mathrm{pE}\left\{{\left({\tilde{f}}_{n-1}^i\right)}^2\right\}$

$=(1-p)({\left({\hat{e}}_n^i\right)}^2+2{\hat{e}}_n^{i}E\{{\tilde{f}}_{n-1}^j\}+E\{{\left({\tilde{f}}_{n-1}^j\right)}^2\left\}\right)$

$+\mathrm{pE}\left\{{\left({\tilde{f}}_{n-1}^i\right)}^2\right\}---\left(6\right)$

其中Inter编码中当前帧的第i个像素是参考上一帧(参考帧)中根据运动补偿得到的对应位置j的像素，预测误差

量化后变成

在本实施例计算当前帧像素的信源信道总体失真过程中，必须考虑当前帧有冗余帧的情况，与ROPE方法不同的是，此时冗余帧中的像素的模式与当前帧同一位置的像素的模式可能不同，即使同一个Inter模式，其运动矢量也可能不同，因此本实施例在计算像素的一阶矩和二阶矩时，考虑到这些模式的组合提出了如下的递推公式：

1)冗余帧和当前帧的像素都在Intra块中：

$E\left\{{\tilde{f}}_n^i\right\}\left\{I\right\}=(1-p){\hat{f}}_n^i+p(1-p){\hat{f}}_{r_n}^i+p^{2}E\left\{{\tilde{f}}_{n-1}^i\right\}---\left(7\right)$

$E\left\{{\left({\tilde{f}}_n^i\right)}^2\right\}=\left\{I\right\}=(1-p){\left({\hat{f}}_n^i\right)}^2+p(1-p){\left({\hat{f}}_{r_n}^i\right)}^2+p^{2}E\left\{{\left({\tilde{f}}_{n-1}^i\right)}^2\right\}---\left(8\right)$

2)冗余帧和当前帧的像素都在Inter块中：

$E\left\{{\tilde{f}}_n^i\right\}\left\{\mathrm{PP}\right\}=(1-p)({\hat{e}}_n^i+E\{{\tilde{f}}_{n-1}^j\left\}\right)$

$+p(1-p)E\left\{{({\hat{e}}_{r_n}^i+E\{{\tilde{f}}_{n-1}^{j_r}\left\}\right)}^2\right\}+p^{2}E\left\{{\left({\tilde{f}}_{n-1}^i\right)}^2\right\}---\left(9\right)$

$E\left\{{\left({\tilde{f}}_n^i\right)}^2\right\}\left\{\mathrm{PP}\right\}=(1-p)E\left\{{({\hat{e}}_n^i+E\{{\tilde{f}}_{n-1}^j\left\}\right)}^2\right\}$

$+p(1-p)E\left\{{({\hat{e}}_{r_n}^i+E\{{\tilde{f}}_{n-1}^{j_r}\left\}\right)}^2\right\}+p^{2}E\left\{{\left({\tilde{f}}_{n-1}^i\right)}^2\right\}---\left(10\right)$

$=(1-p)({\left({\hat{e}}_n^i\right)}^2+2{\hat{e}}_n^{i}E\{{\tilde{f}}_{n-1}^j\}+E\{{\left({\tilde{f}}_{n-1}^j\right)}^2\left\}\right)$

$+p(1-p)({\left({\hat{e}}_{r_n}^i\right)}^2+2{\hat{e}}_{r_n}^{i}E\{{\tilde{f}}_{n-1}^{j_r}\}+E\{{\left({\tilde{f}}_{n-1}^{j_r}\right)}^2\left\}\right)+p^{2}E\left\{{\left({\tilde{f}}_{n-1}^i\right)}^2\right\}$

3)冗余帧中的像素在Intra块中，当前帧的像素在Inter块中：

$E\left\{{\tilde{f}}_n^i\right\}\left\{\mathrm{IP}\right\}=(1-p)({\hat{e}}_n^i+E\{{\tilde{f}}_{n-1}^j\left\}\right)+p(1-p){\hat{f}}_{r_n}^i+p^{2}E\left\{{\tilde{f}}_{n-1}^i\right\}---\left(11\right)$

$E\left\{{\left({\tilde{f}}_n^i\right)}^2\right\}\left\{\mathrm{IP}\right\}=(1-p)({\left({\hat{e}}_n^i\right)}^2+2{\hat{e}}_n^{i}E\{{\tilde{f}}_{n-1}^j\}+E\{{\left({\tilde{f}}_{n-1}^j\right)}^2\left\}\right)$

$+p(1-p){\left({\tilde{f}}_{r_n}^i\right)}^2+p^{2}E\left\{{\left({\tilde{f}}_{n-1}^i\right)}^2\right\}---\left(12\right)$

4)冗余帧中的像素在Inter块中，当前帧的像素在Intra块中：

$E\left\{{\tilde{f}}_n^i\right\}\left\{\mathrm{PI}\right\}=(1-p){\hat{f}}_n^i$

$+p(1-p)E\left\{{({\hat{e}}_{r_n}^i+E\{{\tilde{f}}_{n-1}^{j_r}\left\}\right)}^2\right\}+p^{2}E\left\{{\left({\tilde{f}}_{n-1}^i\right)}^2\right\}---\left(13\right)$

$E\left\{{\left({\tilde{f}}_n^i\right)}^2\right\}\left\{\mathrm{PI}\right\}=(1-p){\left({\hat{f}}_n^i\right)}^2$

$+p(1-p)E\left\{{({\hat{e}}_{r_n}^i+E\{{\tilde{f}}_{n-1}^{j_r}\left\}\right)}^2\right\}+p^{2}E\left\{{\left({\tilde{f}}_{n-1}^i\right)}^2\right\}$

$=(1-p){\left({\hat{f}}_n^i\right)}^2$

$+p(1-p)({\left({\hat{e}}_{r_n}^i\right)}^2+2{\hat{e}}_{r_n}^{i}E\{{\tilde{f}}_{n-1}^{j_r}\}+E\{{\left({\tilde{f}}_{n-1}^{j_r}\right)}^2\left\}\right)+p^{2}E\left\{{\left({\tilde{f}}_{n-1}^i\right)}^2\right\}---\left(14\right)$

在当前帧中，Inter块的像素i参考前一帧(参考帧)中像素j，预测误差

量化为

在冗余帧中，Inter块的像素i参考前一帧(参考帧)中像素j_r，预测误差

量化为

下面考虑整帧的总的信源信道失真(M是每帧中的像素个数)：

$D=\underset{i=0}{\overset{M}{\mathrm{\Σ}}}E\left\{d_n^i\right\}$

$=\underset{i=0}{\overset{M}{\mathrm{\Σ}}}\{{\left(f_n^i\right)}^2+E\{{\left({\tilde{f}}_n^i\right)}^2\}+2f_n^{i}E\{{\tilde{f}}_n^i\left\}\right\}---\left(15\right)$

利用公式(15)以及公式(3)-公式(14)，可以分别计算出当前帧在生成冗余帧和不生成冗余帧的两种情况下的信源信道总体失真，进一步，将不编冗余帧和编一个冗余帧看成两种模式，分别为mode1和mode2，利用率失真准则进行模式选择：

RDcost(mode1)＝D₁+λR₁                            (16)

RDcost(mode2)＝D₂+λR₂                                (17)

D₁是利用公式(3)-公式(6)以及公式(15)计算出来的没有冗余帧时的该帧信源信道总体失真；D₂是利用公式(7)-公式(14)以及公式(15)计算出来的有一个冗余帧时的该帧信源信道总体失真。R₁是当前帧的码率，R₂是含有冗余帧时的总码率。式中λ是有错情况下的拉格朗日参数，具体计算方法请参看下面实施例。当mode1的代价函数值大于mode2的代价函数值时，可以为当前帧分配一个冗余帧。

根据以上所述方法，对不同的丢包率生成不同的冗余帧集合：

是对应X％丢包率下产生的冗余帧P_{r_X}的集合。

为了使生成的冗余帧在不同丢包率下具有可伸缩性，这些集合必须满足以下条件：

在实际操作过程中，编码生成冗余信息时，首先生成20％丢包率下的冗余帧集合

然后，依次对10％，5％，3％丢包率下的每一帧加如下约束：如果比当前丢包率高的情况下下该帧生成了冗余帧，则该帧在当前丢包率下才可能生成冗余帧；否则该帧必然不产生冗余帧。实验表明，加了这个约束之后与各个丢包率独立生成冗余帧相比，性能没有明显下降。然后通过一定的方式，对某一帧在哪些丢包率下需要生成冗余帧的信息进行描述并传输，使得数据转发节点可以利用这些信息快速为码流添加或删除冗余帧，来适应不同的丢包率。

数据转发节点根据源传输网络和所述目标传输网络各自的丢包率，以及与源码流对应的容错辅助信息，对源码流中包括的多个数据帧进行自适应冗余帧调整具体可以包括以下三种情况：

若源传输网络对应的第一丢包率小于目标传输网络对应的第二丢包率，则根据描述信息表示的、与第一丢包率对应的第一冗余帧集合和与第二丢包率对应的第二冗余帧集合，在携带有与第一丢包率对应的冗余帧的源码流中，添加第二冗余帧集合比第一冗余帧集合多出的冗余帧。图4为本发明实施例视频传输过程中丢包率增高的应用场景示意图，如图4所示，视频服务器端生成的是符合当前丢包率的低冗余码流(3％)以及冗余描述信息，而在数据转发节点处针对后端较高的丢包率(例如5％、20％)，根据冗余描述信息的指示，确定当前丢包率(5％、20％)下需要添加冗余但却没有冗余的帧，再通过帧拷贝或者生成不同质量副本等操作为其添加冗余帧。此操作复杂度低，可以保证整个系统的效率达到最优，并且能够提高传输视频的质量。

若源传输网络对应的第一丢包率大于目标传输网络对应的第二丢包率，则根据描述信息表示的、与第一丢包率对应的第一冗余帧集合和与第二丢包率对应的第二冗余帧集合，在携带有与第一丢包率对应的冗余帧的源码流中，丢弃第一冗余帧集合比所述第二冗余帧集合多出的冗余帧。图5为本发明实施例视频传输过程中丢包率降低的应用场景示意图，如图5所示，视频服务器端生成的是最高丢包率(20％)情况下对应的码流以及冗余描述信息。在切换到某一较低丢包率的信道时，可以根据丢包率从码流中丢弃相应的冗余帧。例如第一转码器(即数据转发节点)将高冗余码流转为适合有线局域网(丢包率3％)中传输的码流，第二转码器将高冗余码流直接传输或者变为次高冗余的码流(丢包率10％)再传输给基站，第三转码器将高冗余码流转为较低冗余的码流(丢包率5％)传输给无线节点。在这种方案下，虽然保存在视频服务器中的是最大冗余率的码流，但是由于不需要重新编码生成冗余帧，可以提供灵活的错误弹性，对整个系统的效率而言益处明显。

若源传输网络对应的第一丢包率等于目标传输网络对应的第二丢包率，则可以不做任何调整直接进行数据转发。

本发明实施例采用基于像素的失真估计算法，能精确地完成自适应冗余帧分配，再加入可伸缩性的约束，能够产生一个具有错误弹性可伸缩的冗余。更进一步，对每帧使用极少数比特(例如3比特)来记录这些冗余描述信息，具体地，冗余描述信息可以在附加在每一帧的数据中，也可以对一个图像组(Group Of Pictures；以下简称：GOP)或一个视频统一进行描述，将该描述信息附加在GOP的头端或视频的头端，使得面向不同丢包率的应用时，整个传输系统的带宽效率达到最高。

以下本实施针对上述实施例中丢包率增高的应用进行了实验，实验环境如下：验平台：H.264/AVC参考软件JM 10.2；序列：Foreman；视频尺寸QCIF；帧率15Hz；量化参数QP＝20、24、28、32、36、40；Intra周期为40；GOP结构为IPPP...；编码4000帧；丢包率：3％、5％、10％、20％，本发明实施例采用的丢包工具中一帧为一个包；多次解码：在不同的丢包率下，对丢包文件进行随机偏移，解码三次取其峰值信噪比(Peak Signal-to-Noise Ratio；以下简称：PSNR)平均值。

通过以上的不同量化参数QP产生的码流经过一定的丢包率可以得到一条率失真(Rate-Distortion；以下简称：RD)曲线，利用前四个QP点，采用本发明实施例提供的方法可以算出两条曲线之间的平均PSNR差值。

首先，在不含冗余的码流中按照上述实施例的算法添加与丢包率相对应的冗余帧。表1展示该码流相对不添加冗余帧的码流在该丢包率下的性能提升，0％vsX％行展示的是X％丢包率下产生的含有冗余帧的码流与无冗余帧的码流在X％丢包率下的性能提升。例如，在信道丢包率3％下，如果按照冗余帧辅助信息中3％丢包率下对应的添加冗余帧方式添加冗余，其性能比不添加冗余帧好0.84dB。由此可知，采用本算法生成的含冗余帧码流在不同丢包率下性能均有提升，并且，随着丢包率的增大，性能提升越显著。对于较低的丢包率(3％)，可以获得接近1dB的客观质量提升；对于高的丢包率(20％)，可以获得接近8dB的客观质量提升。

表1不同丢包率下冗余帧性能的比较

	ΔPSNR(dB)	ΔBitRate(％)
			0％vs3％	0.84	-16.82
0％vs5％	2.42	-45.75
			0％vs10％	5.59	-99.97
0％vs20％	7.62	＜-100.00

其次，为了体现上述实施例中不同丢包率下冗余帧可伸缩的性能，在应用时只存储冗余较少的码流，再根据实际传输信道的丢包率，按照上述实施例的方法自适应的添加冗余。表2中Y％vsX％行展示的是信道丢包率为X％时，直接传输Y％丢包率下产生的冗余码流与传输自适应的添加冗余生成符合X％丢包率的冗余码流的性能比较。例如，5％vs10％行展示了在信道丢包率10％下，如果利用冗余描述信息添加冗余生成符合10％丢包率的码流，其性能比直接传输在丢包率为5％时生成的码流要提高1.05dB。并且，信道丢包率越高，性能提升越明显，对于中等丢包率(10％)，可以获得接近1dB的客观质量提升；对于高的丢包率(20％)，可以获得接近0.7dB的客观质量提升。该实验结果表明，采用本算法生成的不同丢包率下的冗余帧集合具有可伸缩性，即根据相应的丢包率可以快速自适应添加冗余帧以提高解码质量。

表2不同丢包率下冗余帧可伸缩性能的比较

	ΔPSNR(dB)	ΔBitRate(％)
			5％vs10％	1.05	-18.33
10％vs20％	0.71	-18.47

再次，表3展示了利用冗余描述信息进行容错保护与自适应帧内刷新方式进行容错保护的性能比较。其中，各行表示利用这两种方式进行容错保护的码流在各种丢包率下的解码性能比较。在低丢包率下，本实施例算法性能略有下降，但是在高丢包率下，本实施例算法性能有提高。综合考虑其算法的编码复杂度，由于帧内刷新转码是在转码器中执行级联的解码与编码操作，复杂度高，而本发明实施例只需要在转码器中执行拷贝帧的操作，复杂度极低。值得注意的是：自适应帧内刷新编码模式选择算法用在转码中时，理论上其性能会比本文中实现的自适应帧内刷新方法性能下降，原因是转码过程的输入是已经压缩过码流的重建，利用该重建经过再次编码，性能会比直接在原始序列编码时采用帧内刷新模式选择算法性能下降。因此，本发明实施例利用冗余描述信息进行容错保护的算法如果与转码过程中使用帧内刷新相比，性能会有进一步提升。

表3自适应冗余帧添加与自适应帧内刷新性能比较

ARP vs AIR	ΔPSNR(dB)	ΔBitRate(％)
			At PLR 3％	-0.31	6.89
At PLR 5％	-0.02	1.97
			At PLR 10％	0.89	-17.65
At PLR 20％	0.59	-14.70

图6为本发明方法实施例在3％丢包率下冗余添加性能示意图，图7为本发明方法实施例在5％丢包率下冗余添加性能示意图，图8为本发明方法实施例在10％丢包率下冗余添加性能示意图，图9为本发明方法实施例在20％丢包率下冗余添加性能示意图，图6至图9展示的是不同丢包率、针对名为“Foreman”的测试序列，测试视频的分辨率为176x144的情况下，根据冗余描述信息自适应的添加冗余对解码性能的影响以及与自适应帧内刷新方式进行容错保护的性能比较。rdtYlostX表示根据Y％丢包率的冗余描述信息生成的码流在X％丢包率下解码的RD曲线，air_X％表示以X％作为目标丢包率在编码端进行自适应帧内刷新编码模式选择，并且在X％丢包率下解码的RD曲线。

从上图中可以更直观的看到本发明实施例带来的有益效果包括：丢包率越高对不加冗余的码流影响越大，而在低丢包率下，丢包本来就少，即使加入冗余帧性能提升也有限，因此在高丢包率下，本发明实施例带来的客观质量的提升比低丢包率大。低码率下增加冗余帧带来的客观质量提升不及高码率。由于视频在低码率下质量不高，前后帧之间细微差别被大的量化消除了，此时用差错隐藏的方法对丢失帧进行掩盖效果不会太差，因此加入冗余帧并不能使客观质量提升较大。而高码率下，利用错误隐藏方法掩盖丢失帧的效果不好，此时加入冗余帧会使视频质量提升较大。不同的丢包率需要加入不同数量的冗余帧。如在10％丢包率下，如果采用与5％丢包率相对应的冗余帧添加策略，其性能仍有提升空间，此时一个更好的策略就是采用与10％丢包率相对应的冗余帧添加策略。本发明实施例算法与自适应帧内刷新编码模式选择算法相比，编码性能没有明显下降。在低丢包率下，本发明实施例性能略有损失，但是在高丢包率下，本发明实施例性算法性能有优势。但是本发明实施例算法复杂度远远低于帧内刷新。

对于FEC保护的实施例，数据服务器根据数据传输网络系统中至少两个传输网络所对应的丢包率，获取供数据转发节点对接收到的码流中各个数据源块(Source Block，指统一进行FEC保护的数据单元，是一个或多个数据包的组合)进行前向纠错冗余调整、以获取符合后续的传输网络对应丢包率的容错码流用的容错辅助信息，所述容错辅助信息包括与所述源传输网络和所述目标传输网络各自的丢包率分别对应的前向纠错集合的前向纠错描述信息，所述前向纠错集合包括分别对应于所述各个数据源块在不同丢包率下应分配的前向纠错冗余，且所述前向纠错描述信息表示的各个前向纠错集合满足以下条件：低丢包率对应的前向纠错集合为高丢包率对应的前向纠错集合的子集。由此可知，所述的前向纠错集合为上述实施例中容错数据集合的一个实例。。本实施例提出的FEC描述信息可以用来为FEC提供协助，具体实施步骤如下：首先，在数据服务器例如视频服务器端生成视频码流时同时生成FEC描述信息，指示不同丢包率下各个数据源块应实际分配的FEC冗余；并且，为了使FEC描述信息可以支持可伸缩的FEC调整操作，在生成该描述是增加一定的约束，即丢包率增加时各个数据源块的FEC冗余不可减少；然后，将这些FEC描述信息附加在码流中进行传输或者单独传递给数据转发节点。

对于数据转发节点而言，数据转发节点可以根据源传输网络和目标传输网络各自的丢包率，以及与源码流对应的FEC描述信息，对源码流中各个数据源块进行前向纠错冗余调整，获取符合目标传输网络对应丢包率的容错码流。具体地包括，若源传输网络对应的第一丢包率小于目标传输网络对应的第二丢包率，则根据FEC描述信息，在源码流中各个数据源块所携带的前向纠错冗余的基础上，增加对应的前向纠错冗余；若源传输网络对应的第一丢包率大于目标传输网络对应的第二丢包率，则根据FEC描述信息，在源码流中各个数据源块所携带的前向纠错冗余的基础上，丢弃对应的前向纠错冗余。若源传输网络对应的第一丢包率等于目标传输网络对应的第二丢包率，则可以不做任何处理直接进行数据转发。

图10为本发明方法实施例前向纠错描述信息用于FEC冗余分配示意图，如图10展示了FEC描述信息在视频传输系统中的一个应用实例：视频服务器生成视频码流并携带FEC描述信息，来表征每个视频数据源块在给定丢包率前提下应添加的FEC冗余。数据转发节点根据后续传输网络的丢包率为各个视频数据源块安排不同冗余率以实现的FEC不等保护。如图所示的例子中，将一个GOP的视频数据包分为三个数据源块(如图中白色部分)，分别为不同的数据源块添加不同的冗余(如图灰色部分)，这样通过数据转发节点传输出去的码流都可以在当前丢包率下达到最优的性能，且操作复杂度相对较低。

本实施例提供的方法中，数据服务器可以在发送的码流中或单独发送用于描述数据FEC分配情况的容错辅助信息，使得相关数据节点能够根据容错辅助信息对不同重要性等级的数据源块进行不同的FEC保护，既保证数据的传输的可靠性，而且能够提高带宽资源的利用率。

图11为本发明数据转发节点设备实施例结构示意图，如图11所示，该数据转发节点设备是连接不同网络的节点，具有一定的存储和计算能力，可以是流服务器、媒体网关、路由器等设备等，其包括第一接收模块11、编码处理模块12和第一发送模块13，其中第一接收模块11用于接收来自源传输网络发往目标传输网络的源码流；编码处理模块12用于根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容错码流；第一发送模块13用于向所述目标传输网络发送获取到的所述容错码流。

具体地，在数据服务器根据数据传输网络系统中至少两个传输网络所对应的丢包率，获取到与源码流对应的容错辅助信息，并将容错辅助信息发送给数据转发节点后，数据转发节点通过第一接收模块11接收到该容错辅助信息。由于网络组建时该数据转发节点已经获知源传输网络和目标传输网络各自的丢包率，因此第一接收模块11接收到数据服务器发送的源码流后，可以通过编码处理模块12根据源传输网络和目标传输网络各自的丢包率，并结合容错辅助信息，对该源码流进行快速转码，利用该容错辅助信息快速地生成符合后续网络丢包特性的容错码流，针对丢包率变化快速地做出反应，根据实际的条件改变码流的容错能力，例如调整码流冗余率和FEC保护力度等等。编码处理模块12获取容错码流后，应用第一发送模块13将容错码流通过目标传输网络发送给终端设备或其他数据转发节点。

进一步地，编码处理模块12可以根据容错辅助信息调整码流冗余率和FEC保护力度等，具体可以通过编码处理模块12所包括的至少一个的子模块完成，包括：

第一处理子模块121用于根据源传输网络和目标传输网络各自的丢包率，以及与源码流对应的容错辅助信息，对源码流中包括的多个数据帧进行自适应冗余帧调整，获取容错码流，容错辅助信息包括与源传输网络和目标传输网络各自的丢包率分别对应的冗余帧集合的描述信息，冗余帧集合用于标识源码流中的多个数据帧中需要生成冗余帧的数据帧，且描述信息表示的各个冗余帧集合满足以下条件：低丢包率对应的冗余帧集合为高丢包率对应的冗余帧集合的子集。本实施例不需要对码流进行高复杂度的转码，在数据转发节点存储每个丢包率下的容错辅助信息，再利用该信息实现可伸缩的冗余分配。可以在有线网络中传输编码效率最高的码流，在数据转发节点根据容错辅助信息，快速的添加或删除冗余帧

第二处理子模块122用于根据源传输网络和目标传输网络各自的丢包率，以及与源码流对应的容错辅助信息，对源码流中各个数据源块进行前向纠错冗余调整，获取容错码流，所述容错辅助信息包括与所述源传输网络和所述目标传输网络各自的丢包率分别对应的前向纠错集合的前向纠错描述信息，所述前向纠错集合包括分别对应于所述各个数据源块在不同丢包率下应分配的前向纠错冗余，且所述前向纠错描述信息表示的各个前向纠错集合满足以下条件：低丢包率对应的前向纠错集合为高丢包率对应的前向纠错集合的子集。本发明实施例的数据转发节点可以是流服务器、媒体网关、路由器等设备

本实施例提供的数据转发节点设备能够根据数据服务器发送的对应于数据码流的容错辅助信息，对需要进行转发的码流进行容错编码获得容错码流，以适应后续传输网络丢包率的网络特性。能够充分合理地利用网络资源，每次经历变化都可以快速地做出反应，根据实际的条件改变码流的容错能力。

图12为本发明网络设备实施例一结构示意图，如图12所示，该网络设备包括第一获取模块21和第二发送模块22，其中，第一获取模块21用于在向数据传输网络系统发送源码流之前，根据数据传输网络系统中至少两个传输网络所对应的丢包率，获取与源码流对应的容错辅助信息，容错辅助信息用于为数据传输网络系统中的数据转发节点对接收到的码流进行容错编码处理、以获取容错码流提供参考；第二发送模块22用于向数据转发节点发送容错辅助信息。

具体地，网络设备在向数据传输网络系统中的某一数据转发节点发送视频码流前，要通过第一获取模块21获取到所发送的源码流对应的容错辅助信息，该容错辅助信息用于为数据传输网络系统中的数据转发节点对接收到的码流进行容错编码处理、以获取符合后续的传输网络对应丢包率的容错码流提供参考，也就是说数据转发节点能够根据容错辅助信息，针对该数据转发节点后续的传输网络的丢包率进行快速转码，利用该容错辅助信息快速地生成满足后续网络丢包特性的容错码流。第一获取模块21获取到容错码流后，通过第二发送模块22将容错辅助信息发送给数据传输网络系统中各数据转发节点，供数据转发节点容错编码用。该容错辅助信息可以是与附件在码流中携带或者单独发送。

本发明实施例提供的网络设备可以为上述各实施例中涉及的数据服务器根据数据传输网络系统中至少两个传输网络所对应的丢包率，获取与要发送的码流对应的容错辅助信息，并将容错辅助信息发送给数据转发节点，使得数据转发节点能够根据不同传输网络丢包率，利用该容错辅助信息快速地生成符合后续传输网络丢包特性的容错码流，提高不同的网络丢包率环境下码流的容错能力。

图13为本发明网络设备实施例二结构示意图，如图13所示，该网络设备包括第一获取模块21和第二发送模块22，其中第一获取模块21至少包括以下一个子模块，所述的子模块包括：

第一获取子模块211用于根据数据传输网络系统中至少两个传输网络所对应的丢包率，获取供数据转发节点对接收到的码流进行自适应冗余帧调整、以获取容错码流用的容错辅助信息，容错辅助信息包括与数据传输网络系统中至少两个传输网络各自的丢包率分别对应的冗余帧集合的描述信息，冗余帧集合用于标识码流中的多个数据帧中需要生成冗余帧的数据帧，且描述信息表示的各个冗余帧集合满足以下条件：低丢包率对应的冗余帧集合为高丢包率对应的冗余帧集合的子集。

第二获取子模块212用于根据数据传输网络系统中至少两个传输网络所对应的丢包率，获取供数据转发节点对接收到的码流中各个数据源块进行前向纠错冗余调整、以获取容错码流用的容错辅助信息，所述容错辅助信息包括与数据传输网络系统中至少两个传输网络各自的丢包率分别对应的前向纠错集合的前向纠错描述信息，所述前向纠错集合包括分别对应于所述各个数据源块在不同丢包率下应分配的前向纠错冗余，且所述前向纠错描述信息表示的各个前向纠错集合满足以下条件：低丢包率对应的前向纠错集合为高丢包率对应的前向纠错集合的子集。

另外，本实施例提供的网络设备中的第二发送模块22还用于在根据与数据转发节点之间的传输网络对应的丢包率以及容错辅助信息，生成与源码流对应的容错码流后，将容错码流和容错辅助信息一同发送给数据转发节点。

本发明实施例提供的网络设备可以为上述各实施例中涉及的数据服务器，其根据数据传输网络系统中至少两个传输网络所对应的丢包率，获取与要发送的码流对应的容错辅助信息，使得数据转发节点能够根据不同传输网络丢包率，利用该容错辅助信息快速地生成符合后续传输网络丢包特性的容错码流，不仅能够提高不同的网络丢包率环境下码流的容错能力，而且延迟少，操作复杂度低有利于实时应用。

图14为本发明网络系统实施例组成示意图，如图14所示，该网络系统包括网络设备1、数据转发节点设备2和终端设备3，其中，数据转发节点设备2用于接收来自源传输网络发往目标传输网络的源码流，并根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理获取容错码流后，再向所述目标传输网络发送获取到的所述容错码流；网络设备1用于在向数据传输网络系统发送源码流之前，根据所述数据传输网络系统中至少两个传输网络所对应的丢包率，获取与所述源码流对应的容错辅助信息，并向所述数据转发节点发送所述容错辅助信息；所述容错辅助信息用于为所述数据传输网络系统中的数据转发节点对接收到的码流进行容错编码处理、以获取容错码流提供参考。

网络设备1提供数据源，数据转发节点设备2用于对发往终端设备3的数据进行转发，每次经历变化都可以快速地做出反应，根据实际的条件改变码流的容错能力，利用该容错辅助信息快速地生成符合后续网络丢包特性的容错码流。网络系统还包括多个传输网络4，分别设置在网络设备1、数据转发节点设备2和终端设备3之间，用于为网络设备1和数据转发节点设备2，以及数据转发节点设备2之间提供数据传输通道。本实施例提供的网络系统中涉及的数据转发节点设备和网络设备，可以分别采用上述各实施例提供的数据转发节点设备和网络设备，其结构和功能请详见上述实施例描述，此处不再赘述。本发明实施例的数据转发节点可以是流服务器、媒体网关、路由器等设备，网络设备可以为上述各实施例中涉及的数据服务器。

本实施例提供的网络系统中，网络设备能够根据数据传输网络系统中至少两个传输网络所对应的丢包率，获取与要发送的码流对应的容错辅助信息，使得数据转发节点能够根据不同传输网络丢包率，利用该容错辅助信息快速地生成符合后续传输网络丢包特性的容错码流，不仅能够提高不同的网络丢包率环境下码流的容错能力，而且延迟少，操作复杂度低有利于实时应用。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (21)

1.一种视频数据传输处理方法，其特征在于，包括：

接收来自源传输网络发往目标传输网络的源码流；

根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容错码流；

向所述目标传输网络发送获取到的所述容错码流。

2.根据权利要求1所述的视频数据传输处理方法，其特征在于，所述容错辅助信息包括与所述源传输网络和所述目标传输网络各自的丢包率分别对应的容错数据集合的描述信息，所述容错数据集合用于标识所述源码流中需要调整的容错数据。

3.根据权利要求2所述的视频数据传输处理方法，其特征在于，所述描述信息表示的各个容错数据集合满足以下条件：低丢包率对应的容错数据集合为高丢包率对应的容错数据集合的子集。

4.根据权利要求2或3所述的视频数据传输处理方法，其特征在于，所述根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容错码流包括：

根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流中包括的多个数据帧进行自适应冗余帧调整，获得容错码流；所述容错数据集合为用于标识所述源码流中的多个数据帧中需要生成冗余帧的数据帧的冗余帧集合。

5.根据权利要求4所述的视频数据传输处理方法，其特征在于，所述根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流中包括的多个数据帧进行自适应冗余帧调整包括：

若所述源传输网络对应的第一丢包率小于所述目标传输网络对应的第二丢包率，则根据所述描述信息表示的、与所述第一丢包率对应的第一冗余帧集合和与所述第二丢包率对应的第二冗余帧集合，在携带有与所述第一丢包率对应的冗余帧的所述源码流中，添加所述第二冗余帧集合比所述第一冗余帧集合多出的冗余帧；或

若所述源传输网络对应的第一丢包率大于所述目标传输网络对应的第二丢包率，则根据所述描述信息表示的、与所述第一丢包率对应的第一冗余帧集合和与所述第二丢包率对应的第二冗余帧集合，在携带有与所述第一丢包率对应的冗余帧的所述源码流中，丢弃所述第一冗余帧集合比所述第二冗余帧集合多出的冗余帧。

6.根据权利要求2或3所述的视频数据传输处理方法，其特征在于，所述根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容错码流包括：

根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流中各个数据源块进行前向纠错冗余调整，获取容错码流；所述容错数据集合为前向纠错集合，所述前向纠错集合包括分别对应于所述各个数据源块在不同丢包率下应分配的前向纠错描述信息。

7.根据权利要求6所述的视频数据传输处理方法，其特征在于，所述根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流中各个数据源块进行前向纠错冗余调整包括：

若所述源传输网络对应的第一丢包率小于所述目标传输网络对应的第二丢包率，则根据所述前向纠错描述信息，在所述源码流中各个数据源块所携带的前向纠错冗余的基础上，增加对应的前向纠错冗余；或

若所述源传输网络对应的第一丢包率大于所述目标传输网络对应的第二丢包率，则根据所述前向纠错描述信息，在所述源码流中各个数据源块所携带的前向纠错冗余的基础上，丢弃对应的前向纠错冗余。

8.根据权利要求1或2或3所述的视频数据传输处理方法，其特征在于，所述方法还包括：

与所述容错码流一起或单独转发所述容错辅助信息。

9.一种视频数据发送处理方法，其特征在于，包括：

在向数据传输网络系统发送源码流之前，根据所述数据传输网络系统中至少两个传输网络所对应的丢包率，获取与所述源码流对应的容错辅助信息；所述容错辅助信息用于为所述数据传输网络系统中的数据转发节点对接收到的码流进行容错编码处理、以获取容错码流提供参考；

向所述数据转发节点发送所述容错辅助信息。

10.根据权利要求9所述的视频数据发送处理方法，其特征在于，所述向所述数据转发节点发送所述容错辅助信息包括：

在根据与所述数据转发节点之间的传输网络对应的丢包率以及所述容错辅助信息，生成与所述源码流对应的容错码流后，将所述容错码流和所述容错辅助信息发送给所述数据转发节点。

11.根据权利要求9所述的视频数据发送处理方法，其特征在于，所述容错辅助信息包括与所述数据传输网络系统中至少两个传输网络各自的丢包率分别对应的容错数据集合的描述信息，所述容错数据集合用于标识所述源码流中需要调整的容错数据。

12.根据权利要求11所述的视频数据发送处理方法，其特征在于，所述描述信息表示的各个容错数据集合满足以下条件：低丢包率对应的容错数据集合为高丢包率对应的容错数据集合的子集。

13.根据权利要求11或12所述的视频数据发送处理方法，其特征在于，所述根据所述数据传输网络系统中至少两个传输网络所对应的丢包率，获取与所述源码流对应的容错辅助信息包括：

根据所述数据传输网络系统中至少两个传输网络所对应的丢包率，获取供所述数据转发节点对接收到的码流进行自适应冗余帧调整、以获取容错码流用的容错辅助信息，所述容错数据集合为用于标识所述源码流中的多个数据帧中需要生成冗余帧的数据帧的冗余帧集合；或

根据所述数据传输网络系统中至少两个传输网络所对应的丢包率，获取供所述数据转发节点对接收到的码流中各个数据源块进行前向纠错冗余调整、以获取容错码流用的容错辅助信息，所述容错数据集合为前向纠错集合，所述前向纠错集合包括分别对应于所述各个数据源块在不同丢包率下应分配的前向纠错描述信息。

14.根据权利要求13所述的视频数据发送处理方法，其特征在于，所述根据所述数据传输网络系统中至少两个传输网络所对应的丢包率，获取供所述数据转发节点对接收到的码流进行自适应冗余帧调整、以获取容错码流用的容错辅助信息包括：

针对所述至少两个丢包率，分别在不生成冗余帧以及生成冗余帧的两种情况下，对所述码流中各数据帧对应的两组信源信道失真信息进行计算；

应用率失真模型，对计算获得的两组信源信道失真信息所对应的数据帧在对应的丢包率条件下是否需要生成冗余帧进行判断，获得判断结果；

根据所述判断结果，获得所述与所述至少两个丢包率分别对应的冗余帧集合的描述信息。

15.一种数据转发节点设备，其特征在于，包括：

第一接收模块，用于接收来自源传输网络发往目标传输网络的源码流；

编码处理模块，用于根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理，获得容错码流；

第一发送模块，用于向所述目标传输网络发送获取到的所述容错码流。

16.根据权利要求15所述的数据转发节点设备，其特征在于，所述编码处理模块包括：

第一处理子模块，用于根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流中包括的多个数据帧进行自适应冗余帧调整，获取容错码流，所述容错辅助信息包括与所述源传输网络和所述目标传输网络各自的丢包率分别对应的冗余帧集合的描述信息，所述冗余帧集合用于标识所述源码流中的多个数据帧中需要生成冗余帧的数据帧；或

第二处理子模块，用于根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流中各个数据源块进行前向纠错冗余调整，获取容错码流，所述容错辅助信息包括与所述源传输网络和所述目标传输网络各自的丢包率分别对应的前向纠错集合的前向纠错描述信息，所述前向纠错集合包括分别对应于所述各个数据源块在不同丢包率下应分配的前向纠错冗余。

17.根据权利要求16所述的数据转发节点设备，其特征在于，所述描述信息表示的各个冗余帧集合满足以下条件：低丢包率对应的冗余帧集合为高丢包率对应的冗余帧集合的子集；或者

所述前向纠错描述信息表示的各个前向纠错集合满足以下条件：低丢包率对应的前向纠错集合为高丢包率对应的前向纠错集合的子集。

18.一种网络设备，其特征在于，包括：

第一获取模块，用于在向数据传输网络系统发送源码流之前，根据所述数据传输网络系统中至少两个传输网络所对应的丢包率，获取与所述源码流对应的容错辅助信息；所述容错辅助信息用于为所述数据传输网络系统中的数据转发节点对接收到的码流进行容错编码处理、以获取容错码流提供参考；

第二发送模块，用于向所述数据转发节点发送所述容错辅助信息。

19.根据权利要求18所述的网络设备，其特征在于，所述第一获取模块包括：

第一获取子模块，用于根据所述数据传输网络系统中至少两个传输网络所对应的丢包率，获取供所述数据转发节点对接收到的码流进行自适应冗余帧调整、以获取容错码流用的容错辅助信息，所述容错辅助信息包括与所述数据传输网络系统中至少两个传输网络各自的丢包率分别对应的冗余帧集合的描述信息，所述冗余帧集合用于标识所述码流中的多个数据帧中需要生成冗余帧的数据帧；或

第二获取子模块，用于根据所述数据传输网络系统中至少两个传输网络所对应的丢包率，获取供所述数据转发节点对接收到的码流中各个数据源块进行前向纠错冗余调整、以获取容错码流用的容错辅助信息，所述容错辅助信息包括与所述数据传输网络系统中至少两个传输网络各自的丢包率分别对应的前向纠错集合的前向纠错描述信息，所述前向纠错集合包括分别对应于所述各个数据源块在不同丢包率下应分配的前向纠错冗余。

20.根据权利要求19所述的网络设备，其特征在于，所述描述信息表示的各个冗余帧集合满足以下条件：低丢包率对应的冗余帧集合为高丢包率对应的冗余帧集合的子集；或者

所述前向纠错描述信息表示的各个前向纠错集合满足以下条件：低丢包率对应的前向纠错集合为高丢包率对应的前向纠错集合的子集。

21.一种网络系统，其特征在于，包括：

数据转发节点设备，用于接收来自源传输网络发往目标传输网络的源码流，根据所述源传输网络和所述目标传输网络各自的丢包率，以及与所述源码流对应的容错辅助信息，对所述源码流进行容错编码处理获取容错码流后，向所述目标传输网络发送获取到的所述容错码流；

网络设备，用于在向数据传输网络系统发送源码流之前，根据所述数据传输网络系统中至少两个传输网络所对应的丢包率，获取与所述源码流对应的容错辅助信息，向所述数据转发节点发送所述容错辅助信息；所述容错辅助信息用于为所述数据传输网络系统中的数据转发节点对接收到的码流进行容错编码处理、以获取容错码流提供参考。

Images