CN108028922A - 视频编码 - Google Patents

Abstract

一种发送设备，其用于生成要通过网络发送至接收设备的视频的多个经编码的部分，所述发送设备被配置为：通过反馈信道从所述接收设备接收错误消息，所述错误消息指示所述多个经编码的部分中已经在所述接收设备处丢失的至少一个经编码的部分；响应于所述接收所述错误消息而编码恢复部分；以及通过所述网络将所述恢复部分发送至所述接收设备；其中：所述错误消息包括这样的信息，所述信息涉及在所述接收设备处成功地解码的经解码的部分，并且所述恢复部分是相对于所述经解码的部分编码的。

Description

视频编码

背景技术

在图1中示意性地示出了要编码的视频数据的流。所述流包括多个帧(F)101、102、103，每个帧表示在不同的相应时刻的视频图像。如本领域技术人员所熟知的，出于编码的目的，每个帧(F)101、102、103被划分成多个部分并且每个部分还被细分为更小的子部分，每个部分或子部分包括多个像素。例如，根据一种术语，要编码的视频流中的每个帧被划分为包括多个像素的宏块(MB)104(例如，每个宏块104可以是8×8像素的区域)。

发射机处的编码器对视频数据进行编码以用于通过基于分组的网络发送至接收机。接收机处的解码器接着能够解码经编码的视频数据。针对所采用的编码/解码方法的一般术语是编码解码器。

在一些系统中，接收机处的解码器可以被布置为经由反馈信道(优选地经由相同的基于分组的网络)向发射机的编码器发送反馈。

视频编码解码器的目标是降低发送视频信号所需的比特率，同时保持最高的可能质量。该目标通过利用统计冗余度(视频信号中的相似性)以及(与人类视觉系统的敏感度相关的)感知不相干性来实现。

大多数当今的视频编码解码器是基于这样的架构的，其包括从其他像素块对像素块的预测，预测残差的变换，变换系数的量化，以及量化指标的熵编码。这些步骤有助于降低冗余度和不相关性。

预测通常能够从不同于当前帧的视频帧中的像素(帧间预测)以及从相同帧中的像素(帧内预测)来执行。也就是说，帧内编码帧是仅仅使用该帧本身中的信息来编码的。例如，可以使用诸如离散余弦变换之类的已知技术来利用跨帧图像的空间冗余度。以该方式编码的帧被称为I-帧。

另一方面，帧间编码的帧是使用来自自身以外的帧的信息编码的。也就是说，帧间编码的帧仅仅可以指示帧与先前的帧之间的差异。因此，帧间编码的帧与编码绝对像素值相比需要较少的比特来编码，因此节省了比特率。帧间编码的帧可以被称为P-帧(尽管其他类型的帧间编码的帧存在并且是本领域已知的，但为了清楚起见在本文中仅提及了P帧)。

帧内预测编码通常比帧间编码需要更多的比特，但对比编码绝对值仍然表现出节省。针对视频的合适的帧间和帧内编码技术的细节是本领域技术人员熟知的。

在常规系统中，可以使用反馈信道以使得发射机上的编码器能够确定帧在接收机处被经历为丢失。有两种方式可以实现这种效果。第一，在负反馈方案中，发射机可以将帧在接收机处被经历为丢失的信号(丢失报告)发送回发射机上的编码器。第二，在正反馈方案中，反馈信道也可以用于将向编码器发送回帧在接收机处被成功接收的信号(确认)，因此编码器可以在其没有接收到确认时确定帧被丢失。通常而言，丢失的帧引起经解码的视频中的严重失真，除非采取措施否则所述失真将长时间持续。一种这样的动作是迫使编码器生成“恢复帧”，所述恢复帧在被接收并解码时将停止错误传播。

帧可以在其没有被成功接收和/或没有被接收机成功解码时被认为在接收机处“丢失”。因此，帧可能由于网络上的分组丢失而在接收机处“丢失”。可替代地，帧可能由于帧数据的损坏而在接收机处“丢失”(即，帧被接收机接收，但是被接收的帧包含导致其无法被解码的数据错误)，并且该损坏无法使用纠错来纠正。通常而言，帧(或者更一般地部分帧)可以在其还没有在接收机处被接收并解码的情况下被认为在接收机处丢失。

在负反馈方案中，恢复帧是关键帧(即，全部被内部编码)。

在正反馈方案中，编码器被通知关于每个成功接收的帧并且因此具有与被解码器成功解码的最后帧相关的信息。因此，在该方案中，恢复帧也可以是关于已知在解码器中可用的无错帧(之所以已知是无错的是因为其自身已经被确认为被接收并且其历史中相关的任何其他内容已经被确认)被帧间编码的帧。与前者相比，后者通常在给定质量下得出较低的比特率。与发送恢复帧相关联的缺陷是比特率过高(速率尖峰)或者可替代地是源编码失真的增加。比特率过高进而会引起新的损失或者迫使编码器掉帧，并且急剧增加的源编码失真可能在感知上是令人困扰的。

发明内容

如所提及的，反馈信道例如可以用于以信号通知帧在接收机处丢失。通常而言，丢失的帧引起解码视频的严重失真，除非采取措施否则所述失真会长时间持续。

本发明认识到，能够在无需发送完全帧内编码的关键帧的情况下使能在负反馈方案中恢复将会是有利的。

为了缓解前面所提及的问题，本发明提供了一种发送设备，其用于生成要通过网络发送至接收设备的视频的多个经编码的部分，所述发送设备被配置为：通过反馈信道从所述接收设备接收错误消息，所述错误消息指示所述多个经编码的部分中还没有在所述接收设备处被接收且被解码的至少一个经编码的部分；响应于所述接收所述错误消息而编码恢复部分；以及通过所述网络将所述恢复部分发送至所述接收设备；其中：所述错误消息包括这样的信息，所述信息涉及能够从在所述接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的经解码的部分，并且所述恢复部分是相对于所述经解码的部分编码的。

本发明还提供了一种接收设备，其用于通过网络从发送设备接收视频的多个经编码的部分，所述接收设备被配置为：生成错误消息，所述错误消息指示视频的所述多个经编码的部分中还没有在所述接收设备处被接收且被解码的至少一个经编码的部分；通过反馈信道将所述错误消息发送至所述发送设备；通过所述网络从所述发送设备接收恢复部分；其中：所述错误消息包括这样的信息，所述信息涉及能够从在所述接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的经解码的部分，并且所述恢复部分是相对于所述经解码的部分编码的。

本发明还提供了一种用于通过网络在发送设备与多个接收设备之间路由视频的多个经编码的部分的服务器，所述服务器包括一个或多个服务器单元，所述服务器单元被配置为：通过反馈信道从多个接收设备中的至少两个相应的接收设备接收错误消息，每个相应的错误消息包括丢失部分数据和经解码部分数据，所述丢失部分数据指示所述多个经编码的部分中还没有在所述多个接收设备中的相应的一个接收设备处被接收且被解码的至少一个经编码的部分，所述经解码部分数据指示能够从在所述多个接收设备中的所述相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的相应的经解码的部分；基于所接收的错误消息来生成集合错误消息；将所述集合错误消息发送至所述发送设备；通过所述网络从所述发送设备接收恢复部分；以及将所述恢复部分发送至所述多个接收设备，其中：所述集合错误消息包括对集合目标部分和集合经解码的部分的指示，所述集合目标部分是所述多个经编码的部分中的基于在所述错误消息的每一个相应的错误消息中包括的丢失部分数据所确定的一个经编码的部分，所述集合经解码的部分是基于在所述相应的错误消息中的每一个错误消息中包括的经解码部分数据所确定的；并且所述恢复部分是基于所述集合错误消息的，这在于所述恢复部分包括相对于所述集合经解码的部分而被编码的所述集合目标部分。

在实施例中，多个经编码的部分中的至少一个经编码的部分被标记以用于在接收设备处存储，并且所述经解码的部分是从所述多个经编码的部分中的所述至少一个经编码的部分解码的经解码的部分。

在实施例中，多个经编码的部分中的至少一个经编码的部分被存储在接收设备处的缓冲器中，并且所述经解码的部分是从所述多个经编码的部分中的所述至少一个经编码的部分解码的经解码的部分。

在实施例中，所述经解码的部分是最新近解码的部分。

在实施例中，视频的所述多个经编码的部分是所述视频的多个经编码的帧。

提供了该发明内容以用简化形式引入了在以下的具体实施方式中进一步进行描述的概念的选择。该发明内容不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用来帮助确定所要求保护的主题的范围。所请求保护的主题不限于解决在背景技术部分所述的任何或全部缺点的实现。

附图说明

为了更好地理解本发明并且示出其如何实现，通过示例对附图进行参考，其中：

图1是视频流的示意表示。

图2示出了帧丢失恢复的常规方法。

图3示出了根据本发明的帧丢失恢复。

图4示出了发射设备的示意图。

图5示出了接收设备的示意图。

图6示出了根据本发明的实现会议场景的系统。

图7示出了根据本发明的实现会议场景的可替代的系统。

具体实施方式

如在上文中参考图1所描述的，为了将针对视频的比特率最小化，通常使用先前的帧作为参考来对视频帧进行编码。利用该编码方案，只有与先前帧的差异是必须要传送的。如果参考帧丢失(例如由于分组丢失)，则随后的帧无法被正确地解码。对先前帧进行参考的帧被称为P帧。视频例如可以是直播视频通话，或者是单向视频流等。网络可以是用于使用任何合适的协议传送视频数据的任何合适的网络，例如，网络可以是互联网。

图2示出了负反馈方案中的常规帧丢失恢复。当接收机发现参考帧丢失时，其向发送方传送画面丢失指示(PLI)。发送方通过传送瞬时解码刷新(IDF)帧对此作出反应。接收机在接收到IDR画面之前丢弃损坏的参考帧以及随后的多个帧(这会导致视频冻结)。IDR画面是独立编码的帧，即它并不参考任何先前编码的帧。因此，该类型的恢复基本上是视频流重启。

该常规帧丢失恢复的一种缺陷在于，对于相同的质量水平而言，IDR帧消耗显著高于P帧的比特率。或者等同地，IDR帧在相同比特率下将具有显著较低的质量。

为了解决以上所概述的问题，本发明引入了一种使用长期参考(LTR)帧的方案。多个帧可以被存储在接收机处并且LTR帧是已经被标记以用于在接收机处存储的帧。因此，如果参考帧在接收机处丢失，则接收机在随后的帧将参考被成功解码的帧(即，在丢失发生之前的帧)的情况下将仍然能够解码随后的帧。就这一点而言，已知所编码的帧被成功接收且没有由于损坏而被接收设备拒绝，则在丢失发生之前的帧(或部分)可以用作参考。帧可能由于本领域已知的各种原因而损坏。

图3示出了根据本发明的帧丢失恢复。如前所述，当接收机发现参考帧丢失时，其向发送方传送PLI。然而，在该情况下，PLI包括与解码器处的最后已知良好帧(LKG)和解码器处的当前帧(CFD)相关的信息。LKG优选地指示被解码器成功接收并解码的最后帧，但是应当注意，LKG通常是指在解码器处可用的任何成功解码的帧(如在上文中所描述的)。类似地，CFD优选地指示丢失的参考帧，但是一般可以指示解码器希望解码的任何当前帧。利用LKG信息，发送方能够对恢复帧进行编码，所述恢复帧是基于LKG编码的CFD(即，相对于LKG的帧间编码的CFD)。因为其是帧间编码的帧而不是帧内编码的帧，所以该帧间编码的恢复帧的发送通常需要比现有技术的IDR显著更低的比特率。通常而言，CFD可以被当做“目标”帧，而LKG则可以被当做“源”帧。也就是说，CFD是解码器需要的帧，而LKG则是CFD要相对于其进行帧间编码的帧。

应当理解的是，尽管LKG在一些时间点处被解码，但是LKG在PLI错误消息被发送的时间处并不一定要实际上已经被解码。重要的是LKG是能够被解码的帧(或部分)。即，已知是在需要时能够被解码的帧。实现该目的的一种示例方式是分组的初始检查(例如，校验和)。以该方式，接收机能够在实际执行完整(例如，H264)解码之前确定帧是否将能够被解码。就此而言，错误消息能够包含与“经解码的部分”相关的信息，即使所讨论的部分在错误消息被发送时还没有被解码。

在本文中对帧的指示进行参考。这可以是用于指示帧的明确的帧编号，但是并不一定如此。通常而言，所需要的是在一定程度上与经编码的数据的每个片段相联系的标识符。例如，该标识符可以是分组序列号(例如，未经压缩)或者是整个分组的散列。

图4示出了根据本发明的发射机401。发射机401包括用于从数据源402接收原始视频数据的输入端403，编码器404以及通信接口405。数据源402可以是发射机401可以从其访问原始视频数据的任何合适的源。例如，输入端403可以连接至可以通过其从外部源访问原始视频数据的有线或无线网络。可替代地，数据源402可以是经由输入端403向发射机401提供原始视频数据的视频相机。例如，网络相机可以向发射机401提供原始视频数据以用于在视频通话应用场景中编码。

输入端403可操作地连接至编码器404，并且编码器404可操作地连接至通信接口405。在操作中，编码器404经由输入端403接收原始视频数据，并且对原始视频数据进行编码并将其提供至通信接口405。如在上文中概述的，视频数据编码机制是已知的并且不再加以描述。

通信接口405被布置为通过网络发送经编码的视频数据。所述网络可以是任何合适的有线或无线网络(例如，互联网)。

图5示出了根据本发明的接收机501。接收机501包括通信接口502、缓冲器503、解码器504和输出端505。通信接口502可操作地耦合至缓冲器503。缓冲器503可操作地耦合至解码器504。解码器504可操作地耦合至输出端505。

通信接口502被布置为通过网络从发射机401接收经编码的视频数据，并且将经编码的视频数据提供至缓冲器503。缓冲器503存储准备好由解码器504解码的经编码的视频数据。解码器504从缓冲器503取得经编码的视频数据，对经编码的视频数据进行解码，并且将其提供至输出端505。

输出端505被布置为将经解码的视频数据输出至视频播放设备506，所述视频播放设备506可以是能够解译经解码的视频数据并输出视频的任何合适的视频播放机。

如果参考帧在接收机501处丢失，则接收机501经由反馈信道向发射机发送分组丢失指示(PLI)。反馈信道优选地可以是和发射机401的通信接口405与接收机501的通信接口502之间的“主要”网络相同的网络。然而，这不是必须的；反馈信道可以由发射机401与接收机501之间的额外的网络来提供。该额外的网络可以部分或完全与发送经编码的视频数据的主要网络相符。

如先前所描述的，PLI包括与解码器处的最后已知良好帧(LKG)以及解码器处的当前帧(CFD)相关的信息。也就是说，PLI向发射机通知两件事：(1)哪个参考帧已经在解码器处丢失；(2)解码器成功解码的最新近的帧。因此，PLI使得发射机能够将CDF作为相对于LKG进行帧间编码的恢复帧来编码，并且将该恢复帧发送至接收机。接收机接着能够使用该恢复帧来构建缺失的帧。即，接收机缺失了参考帧，并且恢复帧允许基于LKG来构建该缺失的帧。

一般而言，LKG实际上可以是在接收机处被成功解码的任何帧，并且可以不一定是最新近的。

为了发射机对相对于LKG帧间编码的恢复帧进行编码，发射机需要访问LKG帧。这可以以多种方式来实现。首先，LKG帧有可能由接收机经由反馈信道显示地发送，但是由于其可能要求大的比特率而并不是优选的。针对发射机的可替代形式是(临时地)对帧进行存储(例如，在本地存储器中)。在该情况下，发射机则能够从存储器访问LKG并且使用该所存储的帧来生成恢复帧。

类似地，为了接收机重构恢复帧(其是关于LKG被帧间编码的)，接收机需要访问LKG。如在上文中所提及的，本发明可以使用长期参考帧(LTR帧)，其是被标记以用于在接收机处存储的帧。在该情况下，接收机将LTR帧本地地存储在LTR缓冲器中。该存储优选地可以是临时的。例如，LTR缓冲器可以仅包含特定数量的LTR帧并且当新的LTR帧被存储时丢弃最旧的LTR帧。在这些实施例中，LKG是LTR帧，例如最新近存储的LTR帧。

已经参考涉及通过网络进行通信的单个发射机和单个接收机的布置对以上实施例进行了描述。然而，本发明通常还应用于会议场景，其中视频流被分配至多个接收机。例如，在系统中实现的服务器(例如，会议服务器)可以聚合从多个接收机发送的PLI以限制发射机处的回复帧请求的频率。

如在本文中所使用的，术语“聚合”用于指代服务器可以通过其从接收自接收机的多个PLI生成单个PLI的过程。也就是说，服务器考虑所接收的多个PLI并且确定单个、新的PLI以经由反馈信道转发至发射机。就此而言，由服务器所确定的单个PLI是“集合(collective)”PLI。

图6示出了根据本发明的实现会议场景的系统601。系统601包括发射机602、服务器603(例如会议服务器，CS)、以及多个接收机604a、604b、604c。发射机602可操作地耦合至服务器603。服务器603可操作地耦合至接收机604a、604b、604c中的每个。应当注意的是，在视频会议设置中，每个发射机也可以充当接收机(且反之亦然)。因此，接收机604a、604b、604c中的每个也可以输出它们自己的经编码的视频流。为了清楚起见，图6仅考虑来自单个发射机602的单个视频流，所述视频流经由服务器603被提供至多个接收机604a、604b、604c。然而，应当理解的是，可以通过网络同时实现在图6中所示出的系统的多个、重叠的实例。

如先前的实施例，发射机602被布置为编码并通过网络输出视频流。然而，在该情况下，经编码的视频流被输出至服务器603，所述服务器603进而将经编码视频流的实例输出至多个接收机604a、604b、604c中的每个。接收机604a、604b、604c中的每个也被布置为经由相应的反馈信道向服务器603提供反馈。图6将反馈信道示出为使用相同的网络，但是应当理解的是，可以以与先前的实施例类似的方式来实现分别的反馈信道。服务器603还被布置为经由反馈信道向发射机602提供反馈，所述反馈信道同样可以是相同网络的一部分或者可以是分别的专用反馈信道。

当接收机604a检测到帧丢失时，其向服务器603发送PLI(并且针对其他接收机604b、604c是类似的)。服务器603接着根据先前的实施例那样从发射机602请求对流的恢复。然而，在具有多个接收机604a、604b、604c的会议场景中，发射机602将从接收机604a、604b、604c中的每个接收分别的恢复请求，这大大增加了发射机602将需要生成的恢复帧的数量。这冒着使得发射机602过载的风险。因此，本发明提供了服务器603，其被布置为聚合来自不同接收机604a、604b、604c的PLI并且以受限速率(例如，最大为每秒钟一次)来发送恢复请求。因此，如果服务器603在一秒的间隔期间接收到与同一发射机602相关的多个PLI，则仅一个PLI将被发送至发射机602。

在实现会议场景的常规系统中，每个接收机从发射机请求恢复帧并且该恢复帧是不参考任何其他帧的帧内编码的帧。在该情况下，恢复帧的可行性不依赖于接收机处的任何帧的可用性(即，确保了帧内编码的恢复帧的可编码性)。因此，在服务器处实现的聚合逻辑可以是简明的——如果PLI相同则延迟和/或丢弃它们。这是一些现有技术的系统操作的方式(例如，Microsoft Lync)。

在本发明中，恢复帧是相对于在接收机处可用的另一帧被帧间编码的。因此，即使两个接收机请求相同的帧，也不足以简单地丢弃一个PLI，这是因为发射机则可以相对于在接收机之一处不可用的帧来对恢复帧进行编码。

考虑到以上问题，本发明提供了依赖于PLI中的以下额外信息的聚合逻辑：最后已知良好(LKG)帧和解码器处的当前帧(CFD)。

在该方案中，服务器603被布置为对一个时间周期期间来自接收机604a、604b、604c的PLI进行聚合，并且接着在该时间周期结束时向发射机602提供单个“聚合的”PLI。该过程接着进行重复。因此，针对接收机602处的刷新帧的请求被限制为每个时间周期一次(例如，所述时间周期可以是一秒)。

与在上文中所描述的标准PLI相同，聚合的PLI包括与聚合的LKG帧和聚合的CFD相关的信息。

聚合的LKG被计算为MIN(接收机LKG)。也就是说，聚合的LKG等于由服务器603在所述时间周期期间从任何接收机604a、604b、604c接收到的最小LKG。该最小LKG是跨接收机最旧的(最早生成的)LKG。也就是说，该最小LKG是由接收机提交至服务器的LKG中最旧的一个。

聚合的CFD被计算为MAX(接收机CFD)。也就是说，聚合的CFD等于由服务器603在所述时间周期期间从任何接收机604a、604b、604c接收到的最大CFD。该最大CFD是跨接收机最新近的(最后生成的)CFD。也就是说，该最大CFD是由接收机提交至服务器的CFD中最新的一个。

聚合的LKG和聚合的CFD的这些定义将编码器不可用的参考帧的数量最大化，这是因为其将使得范围[LKG,CFD]中的参考帧无效。

取决于丢失模式和信道延迟，CFD和LKG数量对于不同接收机通常是不同的。因此，PLI聚合不再像现有技术的情况中那样“延迟和/或丢弃”。恢复帧必须使用在所有接收机可用的参考。因此，如果聚合了多个PLI，则所得出的单个PLI应当包含最旧(最小)的LKG以便确保流针对所有接收机被恢复。

聚合的CFD是通过在接收机PLI中取最大CFD而生成的。这可能针对报告了较旧的CDF的接收机而产生不必要的恢复帧，这是因为它们的损失可能已经被较旧的CFD和最新近的CFD之间的帧所恢复。然而，需要保证针对所有接收机的恢复。

在PLI到达发射机的时刻，恢复损失的帧可能已经被发送。使用该CFD，发射机能够检测到该情形并且避免不必要的恢复帧。

作为在上文中所描述场景的一个示例：如果接收机604a提交接收机PLI{CFD＝frame10,LKG＝frame4}，而接收机604b提交接收机PLI{CFD＝frame9,LKG＝frame4}，则服务器603将仅向发射机602发送一个PLI{collective CFD＝frame10,collective LKG＝frame4}。在该情况下，发射机602接着将从帧4生成帧间解码的恢复帧10，所述帧间解码的恢复帧10被发送至服务器603并且被转发至接收机604a和604b两者。接收机604a、604b两者都能够使用该恢复帧来恢复帧10处的流，因为它们都具有可用的帧4。应当注意的是，在该情况下，接收机604b不恢复帧9。替代地，接收机604b恢复帧10处的流。

作为另外的示例：如果接收机604a提交接收机PLI{CFD＝frame8,LKG＝frame5}，而接收机604b提交接收机PLI{CFD＝frame9,LKG＝frame6}，则服务器603将仅向发射机602发送一个PLI{collective CFD＝frame9,collective LKG＝frame5}。在该情况下，发射机602接着将从帧5生成帧间编码的恢复帧9，所述帧间编码的恢复帧9被发送至服务器603并且被转发至接收机604a和604b两者。接收机604a、604b两者都能够使用该恢复帧来恢复帧9处的流，因为它们都具有可用的帧5。应当注意的是，在该情况下，对于接收机604b而言，帧5本身不是“最后已知良好”的，但是仍然在缓冲器中对接收机604b可用。

参考以上示例，应当注意的是，由服务器所确定的集合CFD最为普遍地仅需要满足使得帧编号等于或大于接收机CFD中的至少一个的要求(即，集合CFD必须是接收机CFD之一或者较新近被路由的帧)。这仍然会引起允许特定接收机恢复的集合PLI。类似地，由服务器所确定的集合LKG最为普遍地仅需要满足使得帧编号等于或小于接收机LKG之一(即，集合LKG必须是接收机LKG之一或者是较不新近被路由的帧)。在这里，术语“较新近”被理解为指示具有较高帧编号的帧。因此，最新近接收的帧是所接收到的最后的帧。假定帧序列的顺序被保持，这意味着最新近接收的帧具有截止该时间点所接收帧中的最高帧编号。

已经参考帧编号给出了以上示例。然而，应当理解的是，明确的帧编号不是必需的。所需要的仅仅是与所编码的数据的每个片段相联系的标识符。例如，该标识符可以是分组序列号(未经压缩)或者是整个分组的散列。应当注意的是，在散列的情况下，可以要求处理反馈的服务器是与路由视频流的相同的服务器。

在本文中给出的示例是指发送设备和服务器。然而，应当理解的是，服务器的功能可以在发送设备自身时实现。也就是说，可以在发送设备处实现聚合步骤。发送设备可以被布置为接收多个接收机PLI并且生成能够从其编码恢复帧的集合LKG和集合CFD。

图7示出了根据本发明的实现会议场景的系统701。系统701类似于在图6所示出的系统601，但是路由和反馈功能已经被分离。就此而言，系统701类似地包括发射机702、服务器703(例如会议服务器，CS)，以及多个接收机704a、704b、704c。然而，在图7中，服务器是被配置为从发射机702向多个接收机704a、704b、704c中的每个路由视频帧的路由服务器703。系统701还包括可操作地耦合至接收机704a、704b、704c中的每个以及发射机702的反馈服务器705。在该分离功能的情况下，反馈服务器705被配置为提供反馈功能而路由服务器703被配置为提供路由功能。

甚至比图7所示的更加一般地，服务器601可以使用一个或多个服务器单元来实现。也就是说，如在本文所使用的术语“服务器”被理解为如对单个服务器那样等同地应用于分布式服务器。在分布式服务器的情况下，每个服务器单元可以被配置为实行在本文中所描述的一个或多个步骤。应当注意的是，关于图7所给出的示例仅仅是一种可能性。例如，路由服务器703在图7中被示出为单个实体，但是本领域技术人员认识到，在发射机与接收机之间可以存在多个服务器或服务器单元。

尽管已经参考视频的帧对本发明进行了描述，但是如本领域技术人员所熟知的，出于编码的目的，每个帧(F)101、102、103被划分为多个部分并且每个部分还可以被细分为更小的子部分，每个部分或子部分包括多个像素。例如，根据一个术语，所要编码的视频流中的每个帧被划分为包括多个像素的宏块(MB)104(例如，每个宏块104可以是8×8像素的区域)。在上文中所描述的方法一般也使用于视频的部分。

通常而言，在本文所描述的功能中的任何功能可以使用软件、固件、硬件(例如，固定逻辑电路)或者这些实现的组合来实现。如在本文中所使用的术语“模块”、“功能”、“组件”和“逻辑”一般表示软件、固件、硬件或者其组合。在软件实现的情况下，所述模块、功能、或逻辑表示在处理器(例如，一个或多个CPU)上执行时执行指定任务的程序代码。所述程序代码可以存储在一个或多个计算机可读存储器设备中。在下文中所描述的技术的特征是独立于平台的，这意味着该技术可以在具有多种处理器的多种商业计算平台上实现。

例如，发射机还可以包括使得该发射机的硬件执行操作的实体(例如，软件)，例如处理器功能块等。例如，发射机可以包括计算机可读介质，其可以被配置为保存使得该发射机执行操作的指令。额外地，接收机还可以包括使得该接收机的硬件执行操作的实体(例如，软件)，例如处理器功能块等。例如，接收机可以包括计算机可读介质，其可以被配置为保存使得该接收机执行操作的指令。

一种这样的计算机可读介质的配置是信号承载介质，其被配置为例如经由网络而将指令(例如，作为载波)发送至计算设备。计算机可读介质还可以被配置为计算机可读存储介质，并且因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪速存储器、硬盘存储器，以及可以使用磁、光学和其他技术来存储指令和其他数据的其他存储器设备。

尽管已经用特定于结构特征和/或方法动作的语言对本发明进行了描述，但应当理解的是，在所附权利要求中所限定的主题不一定限于在上文中所描述的具体特征或动作。相反，在上文中所描述的具体特征和动作是作为实现所述权利要求的示例形式而公开的。

Claims (15)

1.一种服务器，其用于通过网络在发送设备与多个接收设备之间路由视频的多个经编码的部分，所述服务器包括一个或多个服务器单元，被配置为：

通过反馈信道从所述多个接收设备中的至少两个相应的接收设备接收错误消息，每个相应的错误消息包括丢失部分数据以及已接收部分数据，所述丢失部分数据指示所述多个经编码的部分中还没有在所述多个接收设备中的相应的一个接收设备处被接收且被解码的至少一个经编码的部分，所述已接收部分数据指示能够从在所述多个接收设备中的相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的相应的经解码的部分；

基于所接收的错误消息来生成集合错误消息；

基于所述集合错误消息来获得恢复部分；

其中：

所述集合错误消息包括对集合目标部分和集合经解码的部分的指示，所述集合目标部分是所述多个经编码的部分中的基于在所述错误消息的每一个相应的错误消息中包括的丢失部分数据所确定的一个经编码的部分，所述集合经解码的部分是基于在所述相应的错误消息中的每一个错误消息中包括的经解码部分数据所确定的；并且

所述恢复部分是基于所述集合错误消息的，这在于所述恢复部分包括相对于所述集合经解码的部分而被编码的所述集合目标部分。

2.根据权利要求1所述的服务器，其中，所述集合目标部分是所指示的经编码的部分中还没有在所述多个接收设备中的所述相应的一个接收设备处被接收且被解码的最新近的一个经编码的部分，或者是所述多个经编码的部分中与所指示的经编码的部分中还没有在所述多个接收设备中的所述相应的一个接收设备处被接收且被解码的所述最新近的一个经编码的部分相比更新近的一个经编码的部分，并且所述集合经解码的部分被确定为所指示的经解码的部分中能够从在所述多个接收设备中的所述相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的最不新近的一个经解码的部分，或者是所述多个经编码的部分中与所指示的经解码的部分中能够从在所述多个接收设备中的所述相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的所述最不新近的一个经解码的部分相比更不新近的一个经编码的部分。

3.根据权利要求2所述的服务器，其中，所述集合目标部分是所指示的经编码的部分中还没有在所述多个接收设备中的所述相应的一个接收设备处被接收且被解码的最新近的一个经编码的部分，并且所述集合经解码的部分被确定为所指示的经解码的部分中能够从在所述多个接收设备中的所述相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的最不新近的一个经解码的部分。

4.根据任一前述权利要求所述的服务器，其中，所述集合目标部分是所述多个经编码的部分中与所指示的经编码的部分中还没有在所述多个接收设备中的所述相应的一个接收设备处被接收且被解码的至少一个经编码的部分相比更新近的一个经编码的部分，并且所述集合经解码的部分是所述多个经编码的部分中与所指示的经解码的部分中能够从在所述多个接收设备中的所述相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的至少一个经解码的部分相比更不新近的一个经编码的部分。

5.根据任一前述权利要求所述的服务器，其中，所述多个经编码的部分中的至少一个经编码的部分被标记以用于存储在每个接收设备处，并且每个相应的经解码的部分是能够从所述多个经编码的部分中在相应的接收设备处存储的所述至少一个经编码的部分成功地解码的经解码的部分。

6.根据权利要求1-4中的任一项所述的服务器，其中，所述多个经编码的部分中的至少一个经编码的部分被存储在每个接收设备处的相应的缓冲器中，并且每个相应的经解码的部分是能够从所述多个经编码的部分中在所述相应的缓冲器处存储的所述至少一个经编码的部分成功地解码的经解码的部分。

7.根据任一前述权利要求所述的服务器，其中，视频的所述多个经编码的部分是所述视频的多个经编码的帧。

8.一种系统，其包括根据任一前述权利要求所述的服务器以及发送设备；其中，所述发送设备被配置为：

从所述服务器接收所述集合错误消息；

响应于所述的接收所述错误消息而编码恢复部分；以及

通过所述网络将所述恢复部分发送至所述服务器。

9.一种用于在通过网络在发送设备与多个接收设备之间路由视频的多个经编码的部分的系统中提供反馈的方法，所述方法包括以下步骤：

通过反馈信道从所述多个接收设备中的至少两个相应的接收设备接收错误消息，每个相应的错误消息包括丢失部分数据以及经解码部分数据，所述丢失部分数据指示所述多个经编码的部分中还没有在所述多个接收设备中的相应的一个接收设备处被接收且被解码的至少一个经编码的部分，所述经解码部分数据指示能够从在所述多个接收设备中的所述相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的相应的经解码的部分；

基于所接收的错误消息来生成集合错误消息；

基于所述集合错误消息来获得恢复部分；以及

将所述恢复部分发送至所述多个接收设备，

其中：

所述集合错误消息包括对集合目标部分和集合经解码的部分的指示，所述集合目标部分是基于在所述错误消息的每一个相应的错误消息中包括的丢失部分数据所确定的所述多个经编码的部分中的一个经编码的部分，所述集合经解码的部分是基于在所述相应的错误消息中的每一个错误消息中包括的经解码部分数据所确定的；并且

所述恢复部分是基于所述集合错误消息的，这在于所述恢复部分包括相对于所述集合经解码的部分编码的所述集合目标部分。

10.根据权利要求9所述的方法，其中，所述集合目标部分是所指示的经编码的部分中还没有在所述多个接收设备中的所述相应的一个接收设备处被接收且被解码的最新近的一个经编码的部分，或者是所述多个经编码的部分中与所指示的经编码的部分中还没有在所述多个接收设备中的所述相应的一个接收设备处被接收且被解码的所述最新近的一个经编码的部分相比更新近的一个经编码的部分，并且所述集合经解码的部分被确定为所指示的经解码的部分中能够从在所述多个接收设备中的所述相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的最不新近的一个经解码的部分，或者是所述多个经编码的部分中与所指示的经解码的部分中能够从在所述多个接收设备中的所述相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的所述最不新近的一个经解码的部分相比更不新近的一个经编码的部分。

11.根据权利要求10所述的方法，其中，所述集合目标部分是所指示的经编码的部分中还没有在所述多个接收设备中的所述相应的一个接收设备处被接收且被解码的最新近的一个经编码的部分，并且所述集合经解码的部分被确定为所指示的经解码的部分中能够从在所述多个接收设备中的所述相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的最不新近的一个经解码的部分。

12.根据权利要求9-11中的任一项所述的方法，其中，所述集合目标部分是所述多个经编码的部分中与所指示的经编码的部分中还没有在所述多个接收设备中的所述相应的一个接收设备处被接收且被解码的至少一个经编码的部分相比更新近的一个经编码的部分，并且所述集合经解码的部分是所述多个经编码的部分中与所指示的经解码的部分中能够从在所述多个接收设备中的所述相应的一个接收设备处被接收并且没有由于损坏而被拒绝的所述经编码的部分中的一个经编码的部分成功地解码的至少一个经解码的部分相比更不新近的一个经编码的部分。

13.根据权利要求9-12中的任一项所述的方法，其中，所述多个经编码的部分中的至少一个经编码的部分被标记以用于存储在每个接收设备处，并且每个相应的经解码的部分是能够从所述多个经编码的部分中在相应的接收设备处存储的所述至少一个经编码的部分成功地解码的经解码的部分。

14.根据权利要求9-12中的任一项所述的方法，其中，所述多个经编码的部分中的至少一个经编码的部分被存储在每个接收设备处的相应的缓冲器中，并且每个相应的经解码的部分是能够从所述多个经编码的部分中在所述相应的缓冲器处存储的所述至少一个经编码的部分成功地解码的经解码的部分。

15.一种用于通过网络在发送设备与多个接收设备之间路由视频的多个经编码的部分的计算机程序产品，所述计算机程序产品包括代码，所述代码在计算机可读存储介质上实施并且被配置为当由一个或多个处理器执行时，执行根据权利要求9-14中的任一项所述的方法。