CN1998238B - 用于产生发送帧的设备和方法 - Google Patents

Abstract

一种用于由信息信号产生发送帧的设备，所述信息信号包括第一信息帧和第二信息帧，包括：提供器(105)，用于提供指示在用替换帧替换第一信息帧时的重构失真的第一重构失真值，以及提供指示在用替换帧替换第二信息帧时的重构失真的第二重构失真值；单元(107)，用于依赖于第一重构失真值或者依赖于第二重构失真值将第一信息帧或者第二信息帧插入到发送帧中。根据本发明，可以实现速率-失真优化后的速率降低。

Description

用于产生发送帧的设备和方法 

技术领域

本发明属于通信领域，并且尤其涉及在例如因特网的通信网络上的信号传输领域。 

背景技术

因特网上的视频流-或者其中很多用户共享资源的任何其它类型的网络-始终面临如下问题：在路径上的一点或多点上，网络节点处的输入速率可能高于输出速率。这导致了该节点的不断增加的缓冲器充满度，并最终导致分组丢失。对于视频信号，如果可以支持比输出链路多的业务量到达，则视频数据必须被变码到较低速率，或者视频分组必须被丢弃。 

变码是计算昂贵的并且随机丢弃对视频质量有负面影响。可扩展视频提供了首先丢弃视频比特流的较不重要部分的机会，这导致了随着业务量增长的适度退化。 

视频分组的服务质量(QOS)标记以及网络节点中的优先级机制支持重要性受控的数据丢弃。分组的标记(重要性)在传输前由发送方确定，并且不包括实际传输情况。这在分组的重要性沿着传输路径可能改变时是不利的。 

以下通过示例，将考虑具有时间可伸缩性的视频流，该流具有如下的图像组结构：IBBPBBP...。如果网络节点丢弃了B-帧，则其它帧不受影响。然而，如果丢弃了I-帧之后的P-帧，则由于直到下一个I-帧的所有随后的帧(B-帧和P-帧)都依赖于所丢弃的帧，则其将受到影响。因此，如果第一个P-帧不得不被丢弃是已知的，则所有随后的帧的重要性改变。通常，尽管仅存在少数不同重要性标记，但是具有相同标记的不同帧将对在接收机处的重构质量具有不同影响。 

如由C.香农的速率失真理论可知，信息失真随着速率降低而增加。在此情况下，术语“失真”指的是对例如具有特定速率的信号的采样和在速率降低后的信号的采样之间的差异的某些测量。 

例如，如果图像组中的特定帧被丢弃，则可以观察到与由帧丢弃实现的速率降低相关联的增长的失真。在接收机处，当例如通过插入包含丢失帧也包含的一些信息的先前接收的帧来重构丢失帧的隐蔽策略时，与丢失帧相关联的信息丢失在接收机处可以至少被部分地补偿。因此，在接收机处应用隐蔽策略之后，所产生的重构失真可能不同于在未应用任何隐蔽策略时的失真。在下文中，术语“重构失真”表示在应用例如用其它帧替换丢失帧的隐蔽策略之后，在接收机处观察到的所得到的信息失真。 

Ralph Keller，Sumi Choi，Dan Decasper，Marcel Dasen，GeorgeFankhauser，和Bernhard Plattner在“An Active Router ArchitectureFor Multicast Video Distribution”，Proc.Infocom 2000，Tel Aviv，Israel，March 2000中描述了一种用于可缩放视频的丢弃策略，该策略可以在主动路由器上实现。然而，由于在应用其中公开的丢弃策略之后，失真可能显著提高，所以不以速率-失真最佳的方式作出丢弃判定。G.Ravindra，N.Balakrishnan，K.R.Ramakrishnan在“Active RouterApproach For Selective Packet Discard Of Streamed MPEG VideoUnder Low Bandwidth Conditions”，Proc.ICME 2000，New York，July 2000中公开了一种视频帧丢弃策略，该策略丢弃所有依赖于先前丢弃的帧的那些帧。然而，该丢弃判定没有以速率-失真最佳的方式考虑很多同时的视频流，使得特定视频流遭受了比其它视频流高得多的失真。 

发明内容

本发明的目的是提供一种速率降低的速率-失真优化的构思。 

该目的由用于产生发送帧的设备或者通信网络节点装置、或者用于产生发送的设备或者用于重构丢失帧的设备、或者用于产生发送帧 的方法、或者用于转发的方法、或者用于产生发送信号的方法、或者用于重构丢失帧的方法或者计算机程序来实现。 

根据本发明的一个方面，提供了一种用于根据信息信号产生发送帧的设备，所述信息信号包括多个信息帧，所述设备包括：提供器，被配置成提供多个重构失真值，每一个重构失真值指示在用替换帧替换信息帧时所产生的重构失真；插入装置，用于将不丢弃的信息帧插入发送帧中，该插入装置被配置成最小化成本函数，所述成本函数反映在将帧的组合从发送帧中丢弃时所得到的速率降低和考虑全部丢弃的帧时的总重构失真的附加增长的组合，所述插入装置被进一步配置成根据成本函数的最小化来确定最小化成本函数的丢弃模式，所述丢弃模式指示不插入到发送帧中的信息帧的组合，所述插入装置被进一步配置成丢弃由丢弃模式指示的信息帧的组合。 

根据本发明又一方面，提供了一种通信网络节点装置，包括：用于接收信息信号的接收机；用于根据信息信号产生发送帧的设备；和用于基于发送帧产生发送信号的装置。 

根据本发明的又一方面，提供了一种用于根据信息信号产生发送帧的方法，所述信息信号包括多个信息帧，所述方法包括：提供多个重构失真值，每一个重构失真值指示在用替换帧替换信息帧时的重构失真；最小化成本函数，其中所述成本函数反映在将帧的组合从发送帧中丢弃时所产生的速率降低和考虑全部丢弃的帧时的总重构失真的附加增长的组合；根据成本函数的最小化来确定最小化成本函数的丢弃模式，其中所述丢弃模式指示将不被插入到发送帧中的信息帧的组合；丢弃由丢弃模式指示的信息帧的组合；以及将不被丢弃的信息帧插入到发送帧中。 

根据本发明的又一方面，提供了一种用于转发信号的方法，所述方法包括：接收信息信号；根据信息信号产生发送帧；以及基于发送帧产生发送信号。 

本发明基于如下发现：当考虑到在接收机处用例如先前发送的信息帧的替换帧替换未被发送的信息帧时在接收机处所得到的附加重构 失真时，作出是发送信息帧还是不发送信息帧的判定时，可以实现速率-失真最佳的速率降低。换言之，本发明明确地利用了有关在应用了隐蔽策略之后在接收机处所得到的重构失真的信息，以便补偿帧丢失，使得例如将仅不发送在多个信息帧中与最小重构失真相关联的特定信息帧，以便实现期望的速率降低。 

例如，如果要经由不支持与信息信号相关联的数据速率的通信链路发送包括多个信息帧的信息信号，则速率降低可能被执行。根据本发明，提供仅包括信息信号所包含的信息帧的一个子集的发送帧，其中在对每个未被插入到发送帧中的信息帧明确利用这样产生的附加重构失真时，即所述附加重构失真在执行例如用其它帧替换丢失帧的隐蔽策略时在接收机处被观察到，确定未被插入到发送帧中的信息帧。根据本发明，对于未被插入到发送信号中的帧仅选择特定帧组合，该组合与在执行隐蔽策略时在接收机处的最小附加重构失真相关联。以此方式，可以实现与例如最小可实现的附加重构失真相关联的速率降低。 

本发明还提供了一种多个信息信号的共同速率-失真最佳的速率降低的构思，所述多个信息信号例如是要经公共通信链路发送的信息信号。根据本发明，在明确利用与不发送特定信息信号的特定信息帧相关联的重构失真信息，并且根据所选择的隐蔽策略用另一替换帧替换丢失信息帧时，对于所有信息信号共同作出例如应当丢弃或者不应当丢弃哪个信息信号的哪个信息帧的判定。确定每个信息信号的丢弃模式，其中该丢弃模式指示不被发送的信息信号，使得可以总体实现 与最小附加重构失真相关联的所需的数据速率降低。换言之，为了速率降低，将不发送仅仅那些对在接收机处感知的质量影响最小的信息帧。 

在例如重业务量负载的情况下，可以在例如主动网络节点上应用本发明的速率-失真优化的帧丢弃策略。本发明的方法例如依赖于随着比特流，例如随着视频比特流发送的辅助信息(side information)。该辅助信息可以包括包含例如每个图像的帧大小(用字节表示)的速率矢量，以及安排给例如失真矩阵的失真值，该失真矩阵优选地在均方差(MSE)意义上描述给定特定帧丢失模式时图像组的所观察到的重构失真。与基于服务质量的方法相比，本发明方案提供了较大的灵活性并且支持动态帧重要性控制。当比较本发明的速率-失真优化的丢弃构思和基于优先级的丢失策略时，可以观察到由例如高达7dB的改善所反映的明显更好的重构质量。 

此外，速率降低的本发明的速率-失真优化的构思使得速率能够动态适应于变化的传输特性。为此，还可以考虑有关指示例如与附加失真相关联的期望的帧丢失速率的信道状态信息，以便降低数据速率。当与传统的速率适应机制相比较时，可以实现例如不同用户的不同信息信号的改善质量。此外，由于例如关于重构失真值的信息在信号源处已经可以得到，所以所提出的速率-优化的速率降低方案易于实现。此外，不需要客户机软件的修改。 

本发明的另一个优点是不需要与显著的复杂度和增长的延迟相关联的变码。此外，由于在通信网络的路由节点处可以应用简单的丢弃策略，以便例如考虑不同的传输延迟或者用于存储要转发的信息帧的有限的缓冲器大小，所以可以实现简化的通信网络上的传输方案。此外，可以实现关于节点的重构失真值的附加信息的透明传输，其中该节点没有实施本发明机制。 

本发明的另一个优点是通过利用如下事实可以实现全部的用户所感知的质量：在明确考虑服务历史时，判定还可以基于关于对于速率降低模式的以前的降质判定的了解。 

本发明的另一个优点是本发明的速率-优化的速率降低构思仅与低实现复杂度相关联，并从而与低成本相关联。 

附图说明

参照以下附图详细描述本发明的其它实施例，附图中： 

图1示出了用于产生发送帧的本发明设备的框图； 

图2展示了本发明的主动网络节点； 

图3a展示了拉格朗日乘数的本发明内插； 

图3b展示了拉格朗日乘数的本发明内插； 

图4a展示了本发明方法的性能； 

图4b展示了本发明方法的性能； 

图5a展示了本发明方法的性能； 

图5b展示了本发明方法的性能； 

图6总结了用于确定本发明方法的性能的信号特征；和 

图7示出了本发明通信网络场景。 

具体实施方式

图1示出了用于根据信息信号产生发送帧的本发明设备的框图。如图1中所示，信息信号包括仅作为示例的、按时间排列的第一信息帧101和第二信息帧103。 

该设备包括用于提供重构失真值的提供器105，其中提供器105耦接于用于将第一信息帧或者第二信息帧插入到发送帧中的单元107。用于插入的单元107包括用于接收信息信号的输入和用于提供发送帧的输出。 

一般而言，用于插入的单元107可以被配置成将M个信息帧中的N个信息帧插入到发送帧中，其中M是大于或等于N的数，并且其中M指示信息信号所包含的信息帧数。 

图1中所示的设备被配置成以速率-失真优化的方式，根据信息信号产生发送帧。为此，提供器105被配置成提供指示在用替换帧替 换第一信息帧时的重构失真的第一重构失真值，并且提供指示在用替换帧替换第二信息帧时的重构失真的第二重构失真值。例如，第一重构失真值指示在用例如接收机接收的在前信息帧替换第一信息帧时的重构失真。因此，第二重构失真值可以指示在用例如接收机接收的其它在前信息帧替换第二信息帧时的重构失真。 

为了实现速率降低，单元107被配置成依赖于第一重构失真值或者依赖于第二重构失真值，将第一信息帧或者第二信息帧插入到发送帧中。 

一般而言，提供器105可以被配置成提供指示在用任一替换帧替换信息信号所包含的任一信息帧时的多个重构失真的多个重构失真值，使得基于所提供的重构失真值，用于插入的单元107可以仅将来自信息信号所包含的信息帧的集合的信息帧的特定子集插入到发送帧中，其中未被插入的信息帧的子集与最小附加重构失真相关联，该最小附加重构失真是在例如丢失帧(即，未发送帧)被在前帧替换以便重构信息时在接收机处观察到的附加重构失真。 

例如，用于插入的单元107被配置成依赖于优化目的而将第一信息帧或者第二信息帧插入到发送帧中，其中优化目的可以是共同的速率和附加重构失真降低。例如，优化目的可以是速率降低和在执行隐蔽策略时，例如在用其它帧替换所发送的帧时在接收机处观察到的附加重构失真之间的折衷。 

例如，可以丢弃未被插入到发送帧中的信息帧。然而，可以预先存储未被包括在当前发送帧中的信息帧，使得未被包括的帧可以被包括在例如在以后时刻的在后发送帧中，以便减少信息丢失。 

根据本发明的另一方面，用于插入的单元107可以被配置成为了速率和附加重构失真降低，确定不将信息信号的哪个信息帧插入到发送帧中。例如，用于插入的单元107可以被配置成确定指示信息信号所包含的帧和未被插入到发送帧中的帧的组合的丢弃模式。因此，用于插入的单元107可以被配置成确定将信息信号的哪个信息帧插入到发送帧中以便传输。为此，用于插入的单元107可以包括用于确定不 将哪个信息帧插入到发送帧中，以便可以实现例如与最小附加重构失真相关联的速率降低的单元。 

一般而言，信息信号可以包括多个信息帧，其中提供器105可以被配置成提供指示在用任一替换帧替换任一信息帧时的不同重构失真的不同重构失真值。在此情况下，用于插入的单元107可以被配置成为了速率和附加重构失真降低，确定指示未被插入到发送帧中的信息帧的组合的丢弃模式。 

例如，信息信号可以进一步包括第三信息帧，其中提供器105可以被配置成提供指示在用替换帧替换第三信息帧时的重构失真的第三重构失真值。在考虑第三重构失真值时，用于插入的单元107可以被配置成确定信息信号的哪个信息帧未被插入到发送帧中，以便以速率-失真优化的方式实现速率和附加重构失真降低。 

为了确定信息信号的哪个信息帧未被插入到发送帧中，用于插入的单元107可以被配置成最小化成本函数，以便可以以最小成本实现速率降低，其中该速率降低与在未发送所选择的信息帧和例如用其它信息帧在接收机处替换未被发送的所选信息帧时所得到的附加重构失真相关联。 

根据本发明的另一方面，图1中所示的本发明设备可以进一步包括选择器，用于选择信息信号的帧，哪些帧将被插入到发送信号中或者哪些帧将不被插入到发送信号中。例如，可以将随后选择的信息帧直接插入到发送帧中，使得在发送帧中，可以保持所选的帧在信息信号中出现的顺序。然而，用于插入的单元107可以被配置成重新排列所选的信息帧在发送帧中出现的顺序，以及根据帧速率，例如以帧速率的降序或者升序排列所选的帧。为此，可以考虑例如网络拥塞或者当前可用的带宽。 

根据本发明的另一方面，用于插入的单元107可以被配置成解决优化问题，以便确定信息信号的哪些信息帧将不被插入到发送帧中，或者以便确定哪些信息帧将被插入到发送帧中。可以将优化问题建立为成本函数，该成本函数将被最小化，以便确定信息信号的哪个信息 帧将不被插入到发送帧中。成本函数可以例如将附加重构失真反映作为与降低的数据速率相关联的附加成本。然而，成本函数还可以反映速率降低和在考虑全部丢弃(或扔掉)的帧时的总重构失真的附加增加的组合。 

用于插入的单元107可以被配置成最小化成本函数，以便确定信息信号的哪些信息帧将不被插入到发送帧中。 

根据本发明的另一方面，用于插入的单元107可以被配置成例如参照预定的帧组合，以便为了与特定重构失真相关联的特定数据速率降低，确定哪个帧组合应不被插入到发送信号中。通过最小化上述的成本函数的任一个，例如可以先验地计算预定设置。例如依赖于所需的数据速率降低，可以解决指示要被丢弃的帧组合的预先计算的设置。因此，可以迅速确定特定帧组合或者特定帧，以便为了在接收机处应用隐蔽策略时，以最小的附加重构失真实现例如最小速率降低，丢弃特定帧组合或者特定帧。 

根据本发明的另一方面，用于插入的单元107可以被配置成借助于计算最小化成本函数。例如，用于插入的单元107可以确定要被丢弃的帧的所有可能组合，以便确定速率降低和与其相关联的附加重构失真，并且选择要被丢弃的帧的特定组合，使得成本函数为其最小值。 

例如，成本函数可以包括与未将信息信号的特定信息帧插入到发送帧中相关联的重构失真值和在未插入特定帧时保存的比特数的差值。换言之，成本函数可以包括在接收机处已经执行了任何隐蔽策略之后不发送特定信息帧时的重构失真值和数据速率的降低的差值。在此情况下，用于插入的单元107可以被配置成确定特定信息帧，使得成本函数被最小化。 

在上述实施例中，对于单个用户场景或者换言之对于包含多个信息帧的单个信息信号，满足了速率-失真优化的速率降低的本发明构思。然而，可以将本发明构思应用于与例如多个用户相关联的多个信息信号，其中将经由共享媒体，例如，经由到远程接收机的公共通信链路，发送其每一个都包括多个信息帧的多个信息信号。 

根据本发明的另一方面，本发明设备可以被进一步配置成根据其它信息信号产生其它发送帧，其中其它信息信号包括其它第一信息帧和其它第二信息帧。换言之，如已经对于信息信号所讨论的，其它信息信号可以包括多个帧。优选地，用于提供的单元105被配置成提供指示在用替换帧替换其它第一信息帧时的重构失真的其它第一重构失真值，以及提供指示在用替换帧替换其它第二信息帧时的重构失真的其它第二重构失真值。 

因此，用于插入的单元107可以被配置成依赖于其它第一重构失真值或者依赖于其它第二重构失真值，将其它第一信息帧或者其它第二信息帧插入到其它发送帧中。 

为了速率和附加重构失真降低而确定不将其它信息信号的哪个信息帧插入到其它发送信号中，用于插入的单元107可以被配置成例如参照与例如其它信息信号所包含的丢弃帧相关联的重构失真值。 

因此，其它信息信号可以包括其它第三信息帧，其中提供器105可以被配置成提供在用替换帧替换其它第三信息帧时的其它第三重构失真值。一般而言，其它信息信号可以包括多个其它信息帧，其中提供器105被配置成提供多个其它重构失真值，每一个其它重构失真值都与附加重构失真相关联，该附加重构失真是在应用依赖于帧替换的隐蔽策略时在接收机处用另一替换帧替换其它信息信号的相关信息帧时的附加重构失真。例如，替换帧可以是先前发送的同种帧，例如，图像组中的B-帧或者P-帧。同样的考虑适用于信息信号。 

一般而言，用于插入的单元107可以被配置成为了速率和附加重构失真降低，确定将不被插入到其它发送信号中的信息帧的组合(例如，丢弃模式)。 

根据以上描述，用于插入的单元107可以被进一步配置成最小化成本函数，以便确定其它信息信号的哪些信息帧将不被插入到其它发送帧中。 

此外，用于插入的单元107可以被配置成为了共同的速率和附加重构失真降低，共同确定信息信号的哪个信息帧将不被插入到发送帧 中，以及其它信息信号的哪个信息帧将不被插入到其它发送帧中。换言之，考虑了与总附加重构失真降低相关联的总速率降低。例如，当经公共通信链路，即经共享媒体传送发送帧和其它发送帧时，这是有利的。在此情况下，公共通信链路的带宽确定总的可用数据速率。 

通常，可以共同考虑多个信息信号，以便在同时考虑对于例如带宽或者发送功率的所分配网络资源在例如用户的信息信号之间的公平的同时，为每个信息信号确定适合的丢弃模式。 

如果要经公共通信链路传送发送帧和其它发送帧，则本发明设备可以包括用于对信息信号的信息帧和其它信息信号的信息帧进行排队的缓冲器，其中用于确定的单元107可以被配置成依赖于缓冲器长度或者依赖于缓冲器充满度，确定信息信号的哪个信息帧将不被插入到发送帧中，以及其它信息信号的哪个信息帧将不被插入到其它发送帧中。 

根据本发明的另一方面，用于插入的单元107可以被配置成通过最小化成本函数，确定信息信号的哪个信息帧将被插入到发送帧中，以及其它信息信号的哪个信息帧将被插入到其它信息帧中。 

成本函数可以包括例如与未将信息信号的特定帧插入到发送帧中相关联的重构失真值和与未将其它信息信号的特定帧插入到其它发送帧中相关联的重构失真值的第一和，与在未将信息信号的特定帧插入到发送帧中时保存的比特数和在未将其它信息信号的特定帧插入到其它发送帧时保存的比特数的第二和的差值。换言之，第一和包括与用替换帧替换未被发送的信息帧相关联的重构失真值之和，而第二和包括在未发送信息帧时保存的比特数或者字节数的总数。随后用于插入的单元107被配置成确定信息信号的特定帧和其它信息信号的特定帧，使得成本函数被最小化。以下将详细讨论该问题。 

根据本发明的另一方面，用于插入的单元107可以被进一步配置成建立成本函数。例如，用于插入的单元107可以被配置成确定上述和和/或上述和的差值。 

为了最小化成本函数，该成本函数可以是拉格朗日成本函数，该 设备可以进一步包括优化器，以便确定哪个信息帧将不被插入到发送帧中，或者以便确定哪个其它信息帧将不被插入到其它发送帧中。 

根据本发明的另一方面，用于插入的单元107可以被进一步配置成将例如辅助信息的帧信息插入到发送帧中，帧信息指示将不被插入到发送帧中的信息帧的类型。例如，帧信息指示在视频信号的情况下是否尚未将I-帧、或B-帧或P-帧插入到发送帧中。 

为了将重构失真值提供给用于插入的单元107，提供器105可以被配置成接收该重构失真值，例如，被配置成当远程发送机被配置成经由通信网络发送重构失真值或者指示重构失真值的信息时，从该远程发送机接收第一重构失真值或第二重构失真值。 

然而，提供器105可以被配置成根据信息信号的第一信息帧或第二信息帧所包含的信息类型，估计第一重构失真值或第二重构失真值。在此情况下，术语“信息帧类型”指的是信息帧所包含的信息类型。例如，在视频信号的情况下或者在图像的情况下，指示该信息类型的信息指的是例如视频帧的类型。同样的考虑适用于其它信息信号的情况，或者，通常适用于多个信息信号，每一个信息信号包含多个信息帧。 

此外，提供器105可以被配置成提供多个重构失真值，所述值的每一个指示在用不同的替换帧替换第一信息帧时的重构失真，并且可以被配置成提供多个重构失真值，所述值的每一个指示在用不同的替换帧替换第二信息帧时的重构失真。换言之，提供器105可以被配置成确定在用所有可能的替换帧替换例如特定信息帧时的重构失真值。 

根据本发明的另一方面，提供器105可以被配置成确定重构失真值。例如，提供器105可以被配置成仿真在接收机处应用的例如帧替换的隐蔽策略。提供器105可以被配置成用特定替换帧，例如用先前发送的同种帧，替换将被丢弃的帧，并且解码包括替换帧的所得到的信息信号，以便确定重构失真。例如，用于确定重构失真的解码方案可以是在接收机处应用的源解码方案。此外，提供器105可以解码原始信息信号，并且将解码后的原始信息信号与在应用了隐蔽策略后所得到的解码后的信息信号相比较，以便确定重构失真值。 

本发明还提供了一种用于根据信息信号产生发送信号的设备，其中信息信号包括如上所述的信息帧。 

本发明设备可以包括提供器，用于提供指示在用替换帧替换信息帧时的重构失真值。例如，用于产生发送信号的设备可以包括上述提供器。 

此外，本发明设备可以包括用于组合信息信号和重构失真值以便获得发送信号的组合器。 

提供器还可以包括用于确定重构失真值的单元，其中用于确定的单元可以被配置成确定在用其它替换帧替换信息帧时的其它重构失真值。 

此外，用于确定的单元可以被配置成确定MSE失真值以便确定重构失真值。 

例如，用于确定的单元可以被配置成确定在用在前的信息帧替换信息帧时所得到的重构失真值。 

根据本发明的另一方面，用于确定的单元可以被配置成解码通过用替换帧替换信息帧而根据信息信号获得的测试信号，以便确定重构失真值。例如，如果信息信号由源编码原始信号产生，则用于确定的单元可以被配置成源解码测试信号，并且将源解码后的测试信号与原始信号相比较以便确定重构失真值。 

要注意的是，上述用于插入的单元所包含的用于确定的单元也可以包含用于产生发送信号的设备所包含的用于确定的单元的功能。 

此外，用于产生发送信号的设备可以包括源编码器，用于源编码原始信号以便获得信息信号，其中，源编码器被配置成确定与例如帧替换的隐蔽策略相关联的重构失真值。 

此外，组合器可以被配置成将重构失真值加在信息帧上，以便获得发送信号。 

该设备可以被进一步配置成根据其它信息信号产生其它发送信号，该信息信号包括其它信息帧，其中该提供器可以被配置成提供在用替换帧替换其它信息帧时所得到的重构失真值。此外，组合器可以 被配置成组合其它信息信号和重构失真值以便获得其它发送信号。 

为了进行通信，该设备可以进一步包括发送机，用于传送发送信号或者用于发送其它发送信号。 

本发明还提供通信网络节点，包括：用于接收信息信号的接收机，如上所述的用于根据信息信号产生发送帧的设备和用于基于发送帧产生发送信号的单元。 

用于产生发送信号的装置可以被配置成将例如辅助信息的帧信息加到发送帧上，以便获得发送信号。如上所述，帧信息可以指示未被插入到发送信号中的信息帧的类型。例如，帧信息可以由远程接收机使用，该远程接收机用于通过用同种替换帧替换丢失帧，例如，用包括同种信息的信息帧替换丢失帧，重构丢失的信息帧。 

此外，用于产生发送信号的装置可以被配置成将重构失真值加在发送帧之上以便获得发送信号。如上所述，重构失真值可以指示在用替换帧替换信息帧时的重构失真。 

可以经由例如通信网络从远程发送机发送重构失真值。在此情况下，接收机可以被配置成接收重构失真值，或者检测在从远程接收机接收的信号中的重构失真值。 

此外，接收机可以被配置成例如在多用户传输的场景中接收其它信息信号。在此情况下，如上所述，用于产生发送帧的设备可以被配置成根据其它信息信号产生其它发送帧。在此情况下，用于产生的装置可以被配置成基于其它发送帧产生其它发送信号。 

此外，用于产生的装置可以被配置成将帧信息加在发送帧之上，以便获得发送信号，帧信息指示未被插入到发送帧中的信息帧的类型。因此，用于产生的装置可以被配置成将重构失真值加在其它发送帧之上，以便获得其它发送信号，该重构失真值指示在用替换帧替换信息帧时的重构失真。 

根据本发明的另一方面，用于产生的装置可以被配置成产生包括发送信号和时间上跟随在该发送信号之后的其它发送信号的组合发送信号。例如，用于产生的装置可以被配置成将其它发送信号布置在将 发送的信号帧中的发送信号之后。 

此外，该设备可以包括用于传送发送信号或发送帧或信号帧的发送机。 

该发送机可以是无线或有线发送机。例如，在无线传输的情况下，发送机可以包括任何WLAN系统的发送机功能，例如，信道编码、调制等。因此，本发明接收机被配置成接收所发送的信号、解调和通过应用例如任何信道解码方案解码该信号。 

此外，本发明提供了一种重构接收帧中的丢失帧的设备，如上所述，该接收帧包括例如辅助信息的帧信息，所述帧信息指示至少两种帧的一种丢失帧。例如，帧信息包括有关未包括在包含图像组的视频信号的可接收形式中的B-帧或P-帧的信息。 

用于重构丢失帧的设备可以包括用于检测接收帧的帧信息的装置和用于响应于帧信息而产生丢失帧的替换帧以便重构丢失帧的装置，其中替换帧的类型优选地匹配于该种丢失帧。例如，帧信息指示B-帧丢失。在此情况下，用于产生的装置可以被配置成用先前接收的B-帧或者先前接收的I-帧来替换丢失的B-帧，这在此情况下是隐蔽策略。 

下面，将参照图3-8描述本发明的其它实施例。 

我们考虑了以下场景，其中K个视频流到达主动网络节点，并在同一输出链路上离开该节点。主动网络节点是必须将输入数据流转发到一个或多个输出链路(有线或无线)、且具有比仅转发分组所需的计算资源多的计算资源的实体。示例是可编程的或主动的路由器、蜂窝网络的基站、或电缆网的电缆前端。 

本发明的帧丢弃策略依赖于随视频比特流一起发送的辅助信息。以下我们假设：以图像组(GoP)来组织视频，并且主动网络节点知道GoP的帧结构。信息可以随比特流一起被信号发送，或者由以前的GoP可以推知。视频k的GoP结构通过GoP长度L^k和在两个I-或P-帧之间的B-帧数B^k来描述。作为示例，考虑导致GoP结构IB₁B₂，P₁B₃B₄P₂B₅B₆的L^k＝9和B^k＝2。速率矢量由GoP中的每个帧的帧大小 构成。视频k中的帧n的帧大小被表示为R_e ^k(n)，并且可以在发送方处在编码过程期间被提取。因此，平均编码速率被给出为在视频k的长度为N_k且帧速率为f^k的整个视频序列上R_e ^k(n)的平均值： 

$R_e^k\frac{f^k}{N_k}\underset{n=1}{\overset{N_k}{\mathrm{\Σ}}}{R}_e^k\left(n\right)---\left(1\right)$

失真矩阵由在用在前帧替换丢失帧时观察到的重构失真值构成。视频k的帧n的重构失真被给出为D^k(n)。因此在解码器处的平均失真被给出为： 

$D^k\left(n\right)=\frac{1}{N_k}\underset{n=1}{\overset{N_k}{\mathrm{\Σ}}}{D}^k\left(n\right)---\left(2\right)$

如果正确接收了每个视频帧，则帧失真D^k(n)对应于在编码器处的量化步骤造成的编码失真D_e ^k(n)。在由于解码而帧丢失的情况下，帧失真将大于编码失真。假设在帧丢失的情况下，解码器应用隐蔽策略，其中显示最近解码的帧来替代丢失的帧。依赖于丢失帧的所有帧被看作是也丢失了。失真矩阵包含所有失真值，该失真值是在帧丢弃给定的前述隐蔽策略的情况下推导出在解码器处的期望失真所需的值。 

下列示例示出了L^k＝9和B^k＝2的GoP的失真矩阵。 

$\begin{array}{c}R:\\ I:\\ P_1:\\ P_2:\\ B_1:\\ B_3:\\ B_5:\end{array}\left[\begin{array}{ccccccccc}{D}_I^R& D_{B_1}^R& D_{B_2}^R& D_{P_1}^R& D_{B_3}^R& D_{B_4}^R& D_{P_2}^R& D_{B_5}^R& D_{B_6}^R\\ /& D_{B_1}^I& D_{B_2}^I& D_{P_1}^I& D_{B_3}^I& D_{B_4}^I& D_{P_2}^I& D_{B_5}^I& D_{B_6}^I\\ /& /& /& /& D_{B_3}^{P_1}& D_{B_4}^{P_1}& D_{P_2}^{P1}& D_{B_5}^{P_1}& D_{B_6}^{P_1}\\ /& /& /& /& /& /& /& D_{B_5}^{P_2}& D_{B_6}^{P_2}\\ /& /& D_{B_2}^{B_1}& /& /& /& /& /& /\\ /& /& /& /& /& D_{B_4}^{B_3}& /& /& /\\ /& /& /& /& /& /& /& /& D_{B_6}^{B_5}\end{array}\right]---\left(3\right)$

失真矩阵D_Floss ^Frep中的项是在作为隐蔽策略的一部分用F_rep替换帧F_loss时观察到的MSE值。失真矩阵左边的列示出了矩阵每一行的替换帧F_rep。例如，D_B1 ^I表示在GoP的第一B-帧丢失并因此用该GoP的I-帧替换时的附加重构失真。R是来自前一GoP的帧，该帧在当前GoP的I-帧丢失时被用作当前GoP中的所有帧的替换帧。根据该矩阵，可以为任意可能的丢失模式确定所得到的失真。将GoP的总失真计算作为单个帧丢失失真的和。在编码视频期间可以确定该矩阵。B-帧B₂、 B₄和B₆将从不被用作GoP中的任一其它帧的替换帧，因此其不会出现在失真矩阵中。失真矩阵的列数对应于GoP长度L^k。失真矩阵中的相关项数可以被确定为： 

$L^k+(L^k-1)+\underset{i=0}{\overset{\frac{L^k}{B^k+1}1}{\mathrm{\Σ}}}(B^k+i(B^k+1))---\left(4\right)$

其可以被简化为： 

$\frac{1}{2}{L}^k(3+\frac{L^k}{B^k+1})---\left(5\right)$

如上所述，考虑了以下场景，其中K个视频流到达主动网络节点并在同一输出链路上离开该节点。该输出链路具有传输速率R_out。该输出链路具有大小为B_max的链路缓冲器，并且当前的缓冲器充满度被表示为B(t)。丢弃策略基于当前的缓冲器充满度。如果缓冲器为空，则将不会丢弃帧。当缓冲器充满时，则应当丢弃对在接收机处所感知的质量具有最小影响的那些帧。必须为所有视频流共同作出丢弃哪些帧的判定。假设上述的速率矢量和失真矩阵，主动网络节点可以执行速率-失真优化的帧丢弃。为此，节点确定缓冲器当前有多满，并且最小化确定最佳丢弃模式的拉格朗日成本函数： 

$J_p\left(n\right)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{\Δ}{D}_p^k\left(n\right)-\mathrm{\λ}\left(n\right)\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{\Δ}{R}_p^k\left(n\right)---\left(6\right)$

其中ΔD_p ^k(n)是丢弃模式p的、在视频k中引入的附加失真，且ΔR_p ^k(n)是丢弃模式p的、所保存的字节数。为了简单，仅作为示例用视频序列的帧索引n替换连续时间t，这意味着仅在帧持续时间的倍数处作出丢弃判定。 

如果到达主动节点的当前帧是I-帧，则我们可以丢弃该帧或者将其发送到输出链路。如果我们丢弃它，这意味着不可以解码所有随后的P-帧和B-帧，并且不得不将其也丢弃。该丢弃策略导致了该GoP的失真的显著增加，但是同时允许我们将该GoP的发送速率降到0。如果我们在时间n不丢弃I-帧，则我们仍可以判定丢弃所有随后的P-帧。这将导致失真降低，同时速率节省将较小。如果我们判定不丢弃随后的P-帧，则我们可以判定丢弃所有B-帧。再者，附加失真将被降 低，同时速率节省将小。从而，如果当前到来的帧是I-帧，则有总共4个丢弃选择{I，P，B，N}，其中N代表没有丢弃。如果当前帧是P-帧，则该选择被减少到{P，B，N}。如果当前帧是B-帧，则该选择也是{P，B，N}。请注意在此情况下P代表在当前的B-帧之后发送的下一P-帧。可以想象到B-帧的其它丢弃模式。然而，由于在丢弃单个B-帧时的速率节省通常很小，所以我们以下假设：丢弃B-帧总是意味着丢弃该B-帧和同一GoP中的所有随后的B-帧。类似地，丢弃P-帧总是意味着丢弃直到下一I-帧的所有P-帧和B-帧。丢弃I-帧导致丢弃整个GoP。如果我们将视频k在时间n时的可能丢弃模式的集合表示为A^k(n)，那么对于K个视频，我们得到了 $P\left(n\right)=\underset{k=1}{\overset{K}{\mathrm{\Π}}}{A}^k\left(n\right)$ 个不同的丢弃模式。丢弃模式之一将最小化(6)。该模式表示在时间n时的最佳丢弃策略。为了执行该最小化，我们不得不确定(6)中的拉格朗日乘数λ(n)的合理值。 

根据本发明，我们将λ(n)确定为缓冲器充满度B(n)的函数。如果缓冲器是空的，则我们确定地不想丢弃任何视频帧。这必须通过λ(n)的适当选择反映出来。如果缓冲器是满的，则由于这些帧在输出链路缓冲器中的排队总是失败，所以应当选择λ(n)使得所有可能的帧都被丢弃。为了确定在任何缓冲器水平上λ(n)的适当值，我们下面定义没有丢弃发生的最小缓冲器充满度B_min。通过线性内插在λ_min (n)和λ_max(n)之间而获得λ(n)在B_min和B_max之间的值。图3a将λ_min(n)和λ_max(n)之间的线性内插表示为当前缓冲器充满度B(n)的函数，并且我们获得： 

$\mathrm{\λ}\left(n\right)=\frac{B_{\max }-B\left(n\right)}{B_{\max }-B_{\min }}{\mathrm{\λ}}_{\min }\left(n\right)+\frac{B\left(n\right)-B_{\min }}{B_{\max }-B_{\min }}{\mathrm{\λ}}_{\max }\left(n\right)---\left(7\right)$

线性内插是内插λ(n)的最简单的方式。在缓冲器充满度接近B_max时导致更迅速的丢弃的内插函数可以通过λ(n)的二次内插来实现，如示出了对于当前缓冲器水平B(n)在λ_min(n)和λ_max(n)之间λ(n)的二次内插的图3b所示。 

通过3个控制点A、B、和C，我们可以用 

A＝(A_x，A_y)＝(B_min，λ_min(n)) 

B＝(B_x，B_y)＝(B_max，λ_min(n)) 

C＝(C_x，C_y)＝(B_max，λ_max(n)) 

定义λ(n)的二次贝塞尔曲线 

P_x＝(1-t)²A_x+2t(1-t)B_x+t²C_x  (7a) 

P_y＝(1-t)²A_y+2t(1-t)B_y+t²C_y  (7b)。 

通过将参数t从0变到1，内插的点P＝(P_x，P_y)在该曲线上从A移动到C。对于给定的B(n)，我们确定t，然后根据(7a)和(7b)确定λ(n)＝P_y。 

为了确定λ_min(n)，我们为每一丢弃模式进行估计(6)，并且选择λ_min(n)，从而为在所有K个视频流中没有丢弃的丢弃模式，获得(6)的最小值。这意味着： 

$J_{p_n}\left(n\right)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ΔD}}_{p_n}^k\left(n\right)-{\mathrm{\λ}}_{\min }\left(n\right)\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{\Δ}{R}_{p_n}^k\left(n\right)$

$\≤\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{\Δ}{D}_p^k\left(n\right)-{\mathrm{\λ}}_{\min }\left(n\right)\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{\Δ}{R}_p^k\left(n\right)$

对于p＝1...P且p≠p_n    (8) 

其中p_n表示在所有视频流中没有发生帧丢弃的模式。由于J_pn(n) 等于0，所以这导致了 

${\mathrm{\λ}}_{\min }\left(n\right)\≤\frac{\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{\Δ}{D}_p^k\left(n\right)}{\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{\Δ}{R}_p^k\left(n\right)}$

对于p＝1...P且p≠p_n    (9) 

并且我们挑选在满足(9)中的所有不等式的同时尽可能大的λ_min (n)。以非常类似的方式获得λ_max(n)的该值。为此，现在(6)的最小化导致丢弃尽可能多的帧的判定(丢弃模式p_a)，这导致了 

$J_{p_a}\left(n\right)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{\Δ}{D}_{p_a}^k\left(n\right)-{\mathrm{\λ}}_{\max }\left(n\right)\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{\Δ}{R}_{p_a}^k\left(n\right)$

$\≤\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{\Δ}{D}_p^k\left(n\right)-{\mathrm{\λ}}_{\max }\left(n\right)\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{\Δ}{R}_p^k\left(n\right)$

对于p＝1...P且p≠p_a    (10) 

这导致了 

${\mathrm{\λ}}_{\max }\left(n\right)\≥\frac{\underset{k=1}{\overset{K}{\mathrm{\Σ}}}(\mathrm{\Δ}{D}_{p_a}^k\left(n\right)-\mathrm{\Δ}{D}_p^k\left(n\right))}{\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\left(\mathrm{\Δ}{R}_{p_a}^k\left(n\right)-\mathrm{\Δ}{R}_p^k\left(n\right)\right)}$

对于p＝1...P且p≠p_a    (11) 

并且我们挑选在满足(11)中的所有不等式的同时尽可能小的λ_max(n)。 

我们研究在与基于优先级的丢弃相比时，通过使用所提出的RD优化的丢弃策略可以实现对平均重构质量多大的提高。在仿真中，我们假设已经使用公开的H.264编解码器编码的4个视频流到达主动网络节点并且必须在同一输出链路上被发送出去。图6总结了4个视频的主要特征。 

4个视频的总平均速率是290kbps。由于不同的帧类型和在序列中的变化活动，所以在特定时刻的实际速率变化极大。4个视频的GoP长度分别是L₁＝18、L₂＝22、L₃＝26、和L₄＝24帧。所有视频的GoP结构是对应于B^k＝1的IBPBP...。输出链路缓冲器的大小被设置成32KByte。对于3000帧的视频会话长度执行仿真。为此，连续重复视频序列。以帧周期的倍数增加仿真时间。这意味着：每个帧周期4个新帧到达用于转发的网络节点和作出丢弃判定，其中4个新帧的每一个来自一个视频。 

在两种情况(RD优化的丢弃和基于优先级的丢弃)下，输出链路缓冲器以完全相同的方式工作。如果视频帧将要被发送到输出链路上，则其首先被放置在输出缓冲器中。在缓冲器太满而不能容纳该帧，则将其丢弃。如果多于一帧将要被同时发送到输出链路缓冲器，则我们假设：根据分组的内容(I-帧、B-帧、或P-帧)标记该分组。如果缓冲器不能容纳所有帧，则其将总是首先丢弃B-帧。如果缓冲器对于剩余的帧仍然不够空，则接着丢弃P-帧，并且根据同样的精神，最终丢弃I-帧。该丢弃机制对应于用于比较的基于优先级的丢弃策略。 

对于RD优化的丢弃策略，使用相同的输出链路缓冲器，但是主动网络节点预先判定将哪些帧发送到缓冲器。通过(6)的最小化判定将被丢弃的这些帧不被传递给缓冲器。尽管优化，仍有可能发生比缓 冲器可以容纳的数据多的数据被传递给缓冲器，这导致数据的额外丢失。因此，在已经确定了优化的丢弃模式之后还发生间或的随机丢弃是可能的。 

在实验中，在我们的丢弃判定期间，我们使用前一GOP的I-帧作为(3)中的替换帧R。然而，当测量在接收机处的重构失真时，仅作为示例我们使用最近成功解码的帧作为对丢弃的帧的替换帧。 

图4a示出了通过在本文中提出的RD-优化的视频帧丢弃构思而获得的改进。在4个视频序列上平均PSNR值。当输出比特率R_out大于输入速率(290kbps)时，RD-优化的丢弃和基于优先级的丢弃性能相似。这被认为是在此情况下缓冲器将很少上溢并且在两种情况下仅丢失非常少的帧。然而，如果输出速率小于4个视频的总平均速率，则可以看到：就重构的视频质量而言，RD-优化的丢弃带来了巨大的改进。如果我们选择R_out＝150kbps的输出链路速率，则我们看到大约7.5dB的改进。 

仅当缓冲器水平大于B_min时，RD-优化的丢弃策略才开始丢弃视频帧。 

已经介绍了我们使用拉格朗日乘数的线性和二次内插的RD-优化的丢弃方法(RDOD)。在仿真中，我们进一步比较了RDOD和基于优先级的随机丢弃(PRD)。上面已经介绍了PRD的工作原理。与传统的PRD相比，如果在缓冲器100％充满之前开始基于优先级的丢弃，则可以预期性能改善。在缓冲器负载超过当前阈值B₁时丢弃以前的一些B帧且在其超过阈值B₂时丢弃一些P帧，使得I帧相对于B和P帧优先级甚至更高。我们称该方法为基于优先级的早期随机丢弃(PRED)。在仿真中，阈值B₁和阈值B₂被设置为B_max的70％和90％。 

图4b示出了视频重构质量vs.输出链路速率，其中展示了由RD-优化的视频帧丢弃构思获得的本发明改进。PSNR值在4个视频序列上进行平均。当输出比特率R_out大于平均的输入速率(290kbps)时，RD-优化的丢弃和基于优先级的丢弃性能相似。这被认为是在此情况下缓冲器将很少上溢并且在两种情况下仅丢失非常少的帧。然而，如 果输出速率小于4个视频的总平均速率，则可以看到：就重构的视频质量而言，RD-优化的丢弃带来了巨大的改进。λ(n)的二次内插(RDOD_QI)带来了比线性内插(RDOD_L1)更好的性能。如果我们选择R_out＝150kbps的输出链路速率，则我们看到在RDOD_QI和PRED之间大约8dB的改进。 

λ(n)的计算依赖于λ_min(n)和λ_max(n)，并因此依赖于B_min 的选择。图4a示出了作为B_min的函数的重构视频质量。可以观察到只要我们选择足够小的B_min，则B_min对于重构质量具有小的影响。图4a中用于仿真的输出速率为200kbps和250kbps。 

优选地，仅在缓冲器水平大于B_min时，RD-优化的丢弃策略将开始丢弃视频帧。这里我们假设B_max始终对应于100％充满度。如上所述，λ(n)的计算依赖于λ_min(n)和λ_max(n)，并因此依赖于B_min 的选择。图4b示出了RDOD_QI的、作为B_min的函数的重构视频质量。可以观察到只要我们选择足够小的B_min，则B_min对于重构质量具有小的影响。图5a中用于仿真的输出速率为200kbps和250kbps。 

如上所述，每次当新输入的数据变得可用时可以重新计算λ(n)。当我们使用RDOD_QI时，我们观察到：只要缓冲器充满度B(n)小于B_max，则λ(n)变化小。为了降低计算的复杂度，我们考虑计算λ(n)一次，并且在我们刷新λ(n)的值之前，将该λ(n)用于随后的m帧。 

例如，可以确定与每个第n帧相关联的每个第n时刻的λ(n)，并将其用于例如随后的n-1帧。因此，由于不确定所有帧的λ(n)而是确定每个第n帧的λ(n)，所以可以实现复杂度降低。此外，可以仅在例如(可发送的和可接收的)重构失真值显著变化时确定λ(n)，这导致了进一步的复杂度降低。此外，可以适应性地降低计算λ(n)的速率。例如，在传输的开始，确定每个帧的λ(n)。随后，例如，当计算例如每个第n帧(例如每个第2帧或每个第3帧)的λ(n)时，可以确定所得到的误差。如果所得到的误差是可接受的，则计算每个第n帧的λ(n)就足够了，其中可以适应性地(逐步地)确定n。因 此，可以实现在精确度和复杂度之间的折衷。此外，可以仅在多个例如视频流的信息信号变化时确定λ(n)，这导致了进一步的复杂度降低。 

图5b示出了作为λ的刷新间隔的函数的平均视频重构质量。如图5b所示，在以大约50个视频帧重复λ(n)时，观察到仅0.3dB的质量下降。 

可以将本发明RD-优化的视频帧丢弃策略应用于主动网络节点。RD-优化使用速率矢量和失真矩阵来确定在网络负载重的情况下应当丢弃哪些帧。将速率矢量和失真矩阵作为辅助信息随视频的每个GoP一起发送。仅从网络节点自身提取的信息是缓冲器充满度水平。当将本发明方案与基于优先级的丢弃相比较时可以实现显著的质量改善。 

本发明包括一种实现了速率-失真优化的视频帧丢弃策略的系统和方法，该策略在业务量负载重的情况下可以应用于主动网络节点。本发明方法依赖于随着视频比特流一起发送的辅助信息。 

辅助信息由包含每个图像的帧大小(用字节表示)的速率矢量以及描述给定特定帧丢失模式时图像组的所观察到的重构失真(用MSE表示)的失真矩阵组成。该辅助信息可以被主动网络节点用来以速率-失真(RD)优化的方式，动态判定在节点过载的情况下应当丢弃哪个视频流的哪些帧。 

我们提出了拉格朗日成本函数，该成本函数使用速率矢量和失真矩阵以及当前缓冲器充满水平，以发现最佳丢弃模式。 

为了更简单的设置，可以仅发送部分失真矩阵。例如，矩阵的第一行包含有关在前图像组的一个参考图像(R)的失真值，该值对于优化在某些情况下已经是足够的信息。 

可以由编码器选择参考图像R在GoP中的位置，以反映任何预期的传输路径质量。这对于对I-帧作出判定的丢弃判定是重要的，该判定依赖于与前一GoP中的最后原始图像相比的失真。即，在坏条件下(假设高的丢弃百分比)，R应当参考前一GoP的I-帧，在正常条件下，R应当代表中间P-帧。如果预料到非常好的条件，则R应当 是前一GoP的最后帧。 

从到来的分组可以观察到已经在前面的网络设备上执行的帧丢弃判定。它们限制了在当前网络节点上帧丢弃的自由度，并且降低了作出判定的复杂度。 

此外，可以在一个节点内存储在一个GoP内执行的判定。这简化了寻找在同一GoP内的下一帧的判定，即自由度的数量被在前的丢弃判定降低了并且简化了计算。 

此外，应当将应用于前一GoP的丢弃策略存储在一个节点内。因此，依赖于R的选择，对于丢弃I-帧所作出的判定必须使用修改的失真值以便考虑实际失真。 

除此之外，应当包括服务历史以获得整个流的总的降低的质量，以便考虑到全部用户所感知的服务质量而作出判定，例如，如果流经受了过高比例的丢弃，该流应获得较高的优先级。这种服务历史可以由对于成本函数中的失真矩阵的值的附加因数来表示。 

与基于QoS的方法相比，本发明方案提供了较大的灵活性，并且支持动态的帧重要性控制。当比较本发明的速率-失真优化的丢弃构思和基于优先级的丢弃策略时，观察到明显更好的重构质量。对于仿真建立，获得了高达7dB的改善。 

上述失真矩阵的信令例如可以被实现为对于RTP协议的扩展(RTP净荷首标)。 

如上所述，本发明解决了如何在优化例如用户的视频流的接收质量的时，使网络节点的多个输入视频流动态适应于变化的传输条件(即，输出数据速率)的问题。 

仅作为示例，本发明提供了在主动网络节点和移动基站上的速率-失真优化的视频帧丢弃。特别地，本发明系统和方法支持在网络节点中视频分组业务量的调整(shaping)。由于考虑了有关用户感知的质量的视频特性，所以在与已知的现有技术方法相比时优化了本发明方法。此外，本发明构思依赖于可以随着视频比特流一起发送的辅助信息，其中辅助信息可以包括包含例如用字节表示的帧大小的速率矢量 以及描述图像组的重构失真(用MSE表示)的失真矩阵。 

与基于服务质量的方法相比，本发明方案提供了更大的灵活性和支持动态的帧重要性控制。更具体地，QoS(QoS＝服务质量)供给与例如在共享的无线网络资源上的视频流的缓冲问题相关联。因此，对于视频数据，可以应用计算昂贵的变码或者桶丢弃，该桶丢弃常常是对视频质量具有深度影响的随机帧丢弃。在可缩放视频的情况下，已知的现有技术方法首先丢弃重要性较小的部分，这导致了质量的极大降低。此外，QoS标记支持分组的这种重要性控制的丢弃和标记(或重要性)。这可以在传输前由发送方判定，然而，其中没有考虑实际的传输条件。但是，分组的重要性沿着传输路径而变化，分组的重要性依赖于其它分组的丢弃，此外，仅少数QoS-标记可用。 

本发明支持在网络节点中通过例如丢弃分组来调整视频分组业务量。由于考虑到视频特性，例如用户感知的质量，本发明的丢弃模式的被优化。主动网络节点可以使用可以随着视频比特流一起发送的辅助信息，动态判定应当丢弃哪个视频流的哪些帧。例如，主动网络节点包括上述的本发明设备之一。此外，判定还可以包括会话历史，以便考虑全局的公平性。 

图7展示了本发明通信网络场景，其中应用向网络提供附加信息(层间通告)。 

如图7所示，网络节点/网关接收随同有关速率-失真矩阵或速率矢量的辅助信息一起的多个视频流，其中判定算法被用来根据速率失真矩阵所包含的速率失真值，确定帧丢弃策略。 

要注意的是，所有上述实施例还可以相互组合，以便提高结合了本发明方法的设备的功能。此外，本发明还提供了用于产生发送帧的方法、用于产生发送信号的方法、用于重构丢失帧的方法或者用于转发的方法，从而可以执行本发明构思。 

此外，依赖于本发明方法的某些实现需要，可以以硬件或软件来实现本发明方法。可以使用数字存储媒体来执行该实现，具体地，所述数字存储媒体是具有存储在其上的电可读控制信号的盘或CD，该 盘或CD可以与可编程计算机系统协作，使得本发明方法被执行。因此，通常本发明是具有存储在机器可读的载体上的程序代码的计算机程序产品，程序代码被配置成在计算机程序产品运行在计算机上时执行至少一个本发明方法。换言之，因此本发明方法是具有用于在计算机程序运行在计算机上时，执行本发明方法的程序代码的计算机程序。 

Claims (13)

1.一种用于根据信息信号产生发送帧的设备，所述信息信号包括多个信息帧，所述设备包括：

提供器(105)，被配置成提供多个重构失真值，每一个重构失真值指示在用替换帧替换信息帧时所产生的重构失真；

插入装置(107)，用于将不丢弃的信息帧插入发送帧中，该插入装置(107)被配置成最小化成本函数，所述成本函数反映在将帧的组合从发送帧中丢弃时所得到的速率降低和考虑全部丢弃的帧时的总重构失真的附加增长的组合，所述插入装置(107)被进一步配置成根据成本函数的最小化来确定最小化成本函数的丢弃模式，所述丢弃模式指示不插入到发送帧中的信息帧的组合，所述插入装置(107)被进一步配置成丢弃由丢弃模式指示的信息帧的组合。

2.根据权利要求1所述的设备，其中所述成本函数包括与未将信息信号的特定信息帧插入到发送帧中相关联的重构失真值与在未将所述特定信息帧插入到发送帧中时保存的比特数之间的差值，并且所述插入装置(107)被配置成确定所述特定信息帧，使得所述成本函数被最小化。

3.根据权利要求1所述的设备，所述设备被进一步配置成根据其它信息信号产生其它发送帧，所述其它信息信号包括多个其它信息帧，

其中所述提供器(105)被配置成提供其它多个重构失真值，每个其它重构失真值指示在用替换帧替换其它信息信号的信息帧时的重构失真，

其中所述插入装置(107)被配置成为了共同的速率和总重构失真降低，共同确定不将信息信号的哪个信息帧插入到发送帧中，以及不将所述其它信息信号的哪个信息帧插入到所述其它发送帧中。

4.根据权利要求3所述的设备，其中将经由公共通信链路传送发送帧和其它发送帧，其中所述设备包括缓冲器，用于对信息信号的信息帧和所述其它信息信号的信息帧进行排队，并且

其中所述插入装置(107)被配置成根据缓冲器充满度，确定不将信息信号的哪个信息帧插入到发送帧中，以及不将所述其它信息信号的哪个信息帧插入到所述其它发送帧中。

5.根据权利要求3所述的设备，其中所述成本函数包括与未将信息信号的特定帧插入到发送帧中相关联的重构失真值和与未将其它信息信号的特定帧插入到所述其它发送帧中相关联的重构失真值的第一和、与在未将信息信号的特定帧插入到发送帧中时保存的比特数和在未将所述其它信息信号的特定帧插入到所述其它发送帧中时保存的比特数的第二和之间的差值，

其中所述插入装置(107)被配置成确定信息信号的特定帧和所述其它信息信号的特定帧，使得成本函数被最小化。

6.根据权利要求1所述的设备，其中所述插入装置(107)被进一步配置成将帧信息插入到发送帧中，所述帧信息指示将不被插入到发送帧中的信息帧的类型。

7.根据权利要求1所述的设备，其中所述提供器(105)被配置成从远程发送机接收多个重构失真值。

8.根据权利要求1所述的设备，其中所述提供器(105)被配置成根据信息帧所包含的信息类型来估计重构失真值。

9.根据权利要求1所述的设备，其中信息信号表示一组图片，并且所述多个信息帧是I-帧或P-帧或B-帧。

10.根据权利要求1所述的设备，其中信息信号表示一组图片，并且排列所述多个重构失真值，以形成在均方差意义上描述丢弃模式的总重构失真的失真矩阵。

11.一种通信网络节点装置，包括：

用于接收信息信号的接收机；

根据权利要求1至10之中任一项所述的、用于根据信息信号产生发送帧的设备；和

用于基于发送帧产生发送信号的装置。

12.一种用于根据信息信号产生发送帧的方法，所述信息信号包括多个信息帧，所述方法包括：

提供多个重构失真值，每一个重构失真值指示在用替换帧替换信息帧时的重构失真；

最小化成本函数，其中所述成本函数反映在将帧的组合从发送帧中丢弃时所产生的速率降低和考虑全部丢弃的帧时的总重构失真的附加增长的组合；

根据成本函数的最小化来确定最小化成本函数的丢弃模式，其中所述丢弃模式指示将不被插入到发送帧中的信息帧的组合；

丢弃由丢弃模式指示的信息帧的组合；以及

将不被丢弃的信息帧插入到发送帧中。

13.一种用于转发信号的方法，所述方法包括：

接收信息信号；

按照权利要求12，根据信息信号产生发送帧；以及

基于发送帧产生发送信号。

Images