CN101636983B

CN101636983B - 用于减少视频传输时的分组丢失的影响的方法和系统

Info

Publication number: CN101636983B
Application number: CN2008800079340A
Authority: CN
Inventors: J·丘; T·M·摩尔; G-W·沈; Z·Z·袁; R·克林恩; A·贾亚孙达
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2007-03-14
Filing date: 2008-02-28
Publication date: 2013-02-13
Anticipated expiration: 2028-02-28
Also published as: US7957307B2; KR20090119898A; CN101636983A; WO2008112441A1; US20080225735A1; EP2132908A1; BRPI0808629A2; RU2009134145A

Abstract

一种纠错系统基于帧间依赖性、帧大小、分组丢失概率、历史分组丢失模式、中央处理单元(CPU)负载和可用网络带宽来确定将施加到发送端点发送到接收端点的视频数据帧的纠错保护级别，其中纠错保护级别的施加基于所预测的分组丢失影响以及帧的重要性。在接收端点处，当对于特定帧检测到分组丢失时，该接收端点将尝试使用连同视频数据一起接收到的保护分组来恢复该帧。

Description

用于减少视频传输时的分组丢失的影响的方法和系统

背景

诸如因特网等的计算机网络已彻底改变了人们获取信息的方式。例如，现代计算机网络支持使用电子邮件通信以便在能够访问该计算机网络的人之间传输信息。正在开发越来越多的能够通过网络进行具有实时成分的数据交换的系统。例如，视频流可以在通过网络连接的计算机之间传输以使得网络条件可影响信息如何被呈现给用户。数据通常通过计算机网络来以分组传输。不幸的是，当正通过计算机网络传送的一个或多个分组无法到达其目的地时发生分组丢失。多个因素可导致分组丢失：过度利用的网络、信号劣化、有故障的硬件等。当分组丢失发生时，用户就可能注意到性能问题。例如，在视频流的上下文中，分组丢失可导致在视频帧序列中可见的“伪像”或失真。

网络分组丢失是常见的。它发生在公共因特网、DSL、电缆、无限局域网（WLAN）、3G无线以及许多其他种类的网络上。因特网上的所估计的分组丢失率是5％，而某些无线网络可具有超过10％的分组丢失率。诸如传输控制协议（TCP）等可靠的网络传输协议将在传输介质丢弃分组时重发该分组，由此保证分组传递。诸如不可靠数据报协议（UDP）等不可靠协议不保证分组送达并且不重发丢弃的分组。重发分组花费时间且消耗额外的带宽。由于视频通信的实时特性，视频信号通常使用不可靠协议来发送并因此将遭受网络分组丢失。

对于实时视频通信，发送端点有时以每秒20到30帧或更多的速率跨网络将视频帧发送到接收端点。帧基于网络所允许的最大传输单元（MTU）（例如，对于以太网是1500字节）来被分成各分组。视频帧可足够小以适合在一个分组中，或足够大而需要许多分组。对于某些视频压缩器/解压器（编解码器），如果丢弃帧中的分组中的任一个，则接收端点由于遗漏数据而必须丢弃整个帧。

另外，编解码器通常使用依赖性结构来减少发送端点通过网络来传送的视频数据量。例如，被称为帧内（I）帧的帧基于其内容来完全编码。后续帧基于与先前帧的增量（差信号）来压缩。这些帧通常被称为预测（P）帧。某些编解码器引入甚至更复杂的依赖性结构。例如，编解码器可偶然发送被称为超预测帧（SP帧）的特殊P帧，与常规P帧形成对比，该SP帧不依赖直接前导P帧或I帧而依赖较老的SP帧或I帧。这些SP帧的内容通常较不与参考帧相关并由此携带更多视频数据。另一种类型的帧是包含与先前和后续帧两者的增量的中间或双向（B）帧。这些类型的帧间依赖性减少了发送端点通过网络来传送的数据量，但这些依赖性也夸大了网络分组丢失的影响。例如，如果丢弃I帧，则接收端点将遗漏对于依赖该I帧的所有后续P帧的数据，并且用户将看见视频伪像直到下一I帧到达。如果网络分组丢失是1％，则10个分组的I帧根据以下公式具有10％机率被丢弃：

P_I=1-(1-P)^N

其中PI是丢失I帧的概率，P是丢失任何分组的概率，而N是帧中的分组数量。如果I帧具有10％机率被丢弃，则依赖该I帧的后续帧具有10％机率具有视频伪像，即使所有后续帧都正确地到达接收端点。

一种减少分组丢失的影响的传统方法是前向纠错（FEC）。前向纠错（FEC）是用于数据传输的差错控制系统，藉此发送端点向其消息添加允许接收端点检测并纠正差错（在某一限度内）而无需向发送端点要求附加数据的冗余数据。前向纠错的优点在于通常可避免数据重传（以平均较高的带宽要求为代价）并因此在诸如在传输实时视频数据时等其中重传是相对昂贵的或不可能的情形中应用。不同的FEC算法具有不同的带宽要求并且提供针对丢失分组的不同保护级别，因此不同的FEC算法适用于不同的条件。

不幸的是，发送端点难以确定哪一个FEC算法将提供对于特定网络连接的最佳视频体验。发送端点通常还具有使得对FEC算法的高效选择有利的带宽和计算资源限制。另外，许多发送端点负责将视频数据同时发送到许多不同的接收端点，从而使得针对每一个端点执行的确定可能在发送端点处的可用资源方面变得非常昂贵。

概述

提供了一种被称为纠错系统的用于减少分组丢失对视频传输的的影响的方法和系统。该纠错系统基于帧间依赖性、帧大小、分组丢失概率、历史分组丢失模式、中央处理单元（CPU）负载和可用网络带宽来确定将施加到发送端点发送到接收端点的视频数据帧的纠错保护级别，其中该纠错保护级别的施加基于所预测的分组丢失影响以及帧的重要性。该纠错系统使用所确定的保护级别来产生保护分组。发送端点将保护分组连同包含视频帧的分组一起传送到接收端点。在接收端点处，当对于特定帧检测到分组丢失时，该接收端点将尝试基于由给定保护分组使用的保护编码方案，使用所接收到的任何保护分组来恢复该帧。

提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

附图简述

图1是示出一个实施例中的纠错系统的组件的框图。

图2A和2B示出一个实施例中的视频流中的示例性帧序列。

图3示出一个实施例中的其中发送端点将视频数据传送到接收端点的典型的联网环境。

图4示出一个实施例中的用于将视频数据发送到多个接收端点的联网环境。

图5是示出一个实施例中的系统的传送数据组件的处理的流程图。

图6是示出一个实施例中的具有多个接收端点的视频会议环境中的系统的传送数据组件的处理的流程图。

详细描述

概览

提供了一种被称为纠错系统的用于减少分组丢失对视频传输的影响的方法和系统。该纠错系统基于帧间依赖性、帧大小、分组丢失概率、历史分组丢失模式、中央处理单元（CPU）负载和可用网络带宽来确定将施加到发送端点发送到接收端点的视频数据帧的纠错保护级别，该纠错保护级别的施加基于所预测的分组丢失影响以及帧的重要性。发送端点可对帧施加范围从零（没有保护）到N（大于零的任意数字）的保护级别，其中每一个后续数字涉及更高的保护级别。通常，每一个后续保护级别包括较大的恢复数据并消耗额外的计算资源以创建该恢复数据。用于预测分组丢失对视频质量的影响的数学模型在2006年10月31日提交的题为“Dynamic Modification of Video Properties（对视频特性的动态修正）”的美国专利申请第11/591,297号中描述，该申请通过引用结合于此。通过使用该模型和其他数学模型，纠错系统可确定将提供目标分组丢失水平的保护级别。

该纠错系统将所选保护级别传递给诸如Turbo编解码器或Reed-Solomon编解码器等信道保护压缩解压器以产生所选级别的保护分组。发送端点将保护分组连同包含视频帧的分组一起传送到接收端点。例如，发送端点可将保护分组附加在视频帧分组之后或者可将该保护分组作为单独净荷在不同的连接上发送。在接收端点处，当对于特定帧检测到分组丢失时，该接收端点将尝试基于由给定保护分组使用的保护编码方案，使用所接收到的任何保护分组来恢复该帧。由此，该纠错系统提供了基于发送端点和接收端点之间的连接的特性来选择适当的保护级别的高效方式。

该纠错系统导致接收到的分组的效率提升。例如，在现有系统中，服务器可以按300kbps的速率发送数据，但由于丢失的I帧数，用户所察觉到的实际接收速率可能仅等于128kbps视频速率。通过使用该纠错系统，丢失或到达时已被破坏的更多I帧由接收端点来恢复。因此，以300kbps的速率发送的服务器可产生270kbps或甚至更高的接收速率（因为可能仍然存在较不重要的帧的某些分组丢失）。因此，使用该纠错系统的效率高得多。这导致对于发送端点的带宽成本节省、CPU节省以及接收端点的用户的改进的体验。

以下描述阐述了可在单个发送端点和接收端点之间应用的分组丢失减少技术。然后，这些和其他技术在其中单个发送端点提供供发送到许多接收端点的数据的视频会议服务器的上下文中描述。最后，描述用于执行这些技术的分组格式。

单链路技术

如上所述，存在范围从零（没有保护）到N（大于零的任意数字）的若干可能的保护级别，其中每一个后续数字涉及更高的保护级别。本领域的普通技术人员将会认识到该纠错系统可应用许多不同类型的纠错以产生特定保护级别，这些纠错诸如异或（XOR）逻辑运算、Reed-Solomon算法、Viterbi算法等。每一保护级别在大小和计算强度两方面都稍微更加昂贵以计算保护数据。因此期望针对任何特定一组条件挑选最优保护级别。所需保护级别可基于帧大小和历史分组丢失百分比来确定。较大的帧大小具有较高的携带该帧的数据的至少一个分组将丢失的概率，并因此需要较高的保护级别。类似地，随着历史分组丢失水平上升，需要较高的保护级别来向接收端点提供足够的信息以恢复丢失分组。

在某些实施例中，接收端点向发送端点提供历史分组丢失的指示。视频数据通常通过不确认分组的不可靠链路来发送。然而，通常存在反向信道，接收端点通过该反向信道周期性地（例如，每五秒钟）与发送端点进行通信以指示历史分组丢失。一种确定分组丢失的方式是通过将序列号指派给由发送端点发送的每一个分组。接收端点然后通过对多少序列号未到达进行计数来确定分组丢失。

在某些实施例中，纠错系统试图将帧拆分成均匀大小的分组。对于某些纠错算法，保护分组必须与视频帧的最大分组一样大。因此，通过将帧数据均匀地分布在分组上，纠错系统减小了保护分组的大小。纠错分组可跟随视频数据并且具有基于保护级别的数量。例如，如果纠错系统施加保护级别一，则一个纠错分组将跟随视频数据。如果纠错系统施加保护级别二，则两个分组将跟随视频数据，以此类推。减小保护分组的大小还节省了带宽。

在某些实施例中，如果视频帧的最后一个分组比其他分组短，则纠错系统向该最后一个分组添加填充物以使其具有类似于该视频帧的其他分组的大小。例如，10,000字节的帧可被拆分成七个1,500字节的分组，其中最后一个分组仅仅是1,000字节。纠错将向该最后一个分组添加5,00字节的填充物以使其大小与其他分组中的每一个相同。在某些实施例中，为了节省带宽，纠错系统不将填充物从发送端点传送到接收端点。相反，接收端点基于前导分组的大小或基于最后一个分组的首部中的信息来添加填充物。例如，如果接收端点接收到具有指示总分组大小应该是1,500字节的首部的1,000字节的分组，则该接收端点将添加5,00字节的填充物。填充字节可包含诸如0等预先选择的值。

在某些实施例中，纠错系统预先计算在保护分组中发送的保护数据。执行纠错计算可能是昂贵的，并且预先计算将昂贵的处理偏移到端点较不忙碌的时间。例如，对于任何给定帧大小和分组丢失水平，端点甚至能够在发送端点连接到接收端点之前计算要使用的适当的保护级别。发送端点可从该信息中构造出包含保护级别与预期分组丢失水平和帧大小之间的映射的表。然后，在传输期间，发送端点可基于特定帧大小和历史分组丢失水平来查找要使用的适当保护级别。本质上，差错保护级别变成自适应且随时间变化的。

在某些实施例中，纠错系统主要对I帧和SP帧施加保护。如上所述，发送端点可使用依赖性结构来发送视频数据以使得许多其他帧（例如，P和B帧）依赖I和SP帧。如果P帧丢失，则在视频中可能只存在几毫秒的间隙（例如，如果帧率是30帧/秒，则间隙为33毫秒，或者如果帧率是15帧/秒，则间隙为66毫秒），而如果I帧丢失，则可能丢失一秒钟或更多的视频。即使P和B帧中的某一些将到达，但如果没有该遗漏的I帧，将没有足够的信息来在该时间段期间维护连贯的视频流。各实验已示出用户将察觉到比例行的小丢失更糟糕的一个大丢失。因此，丢失I或SP帧将对在接收端点处显示的视频的质量具有更多可注意到的影响。I和SP帧由于其较大的大小以及将其从发送端点传送到接收端点所需的相应增加的分组数而也更有可能丢失。因此，纠错系统可向I和SP帧提供增加的保护。

在某些实施例中，纠错系统不基于视频数据的特性来添加保护分组。例如，如果帧大小太小或者所需比特率太低，则添加保护分组的开销可能太高。事实上，对于小的帧大小，由添加保护导致的增加的分组计数可使得分组丢失的可能性更大。类似地，如果所需比特率太低（例如，50kbps），则向数据流添加保护分组的开销可足够大（例如，8kbps）而使得更值得采用其他保护方法（诸如重传分组等）。

会议

视频会议服务器通常从发送端点接收供广播至许多接收端点的视频数据。例如，演示用户可给出视频会议服务器转发给许多接收端点的演示，其中每一个端点表示该会议的参与者。在该环境中，在发送端点和视频会议服务器之间，以及在视频会议服务器和任何接收端点之间可能发生分组丢失。为了缩放良好，视频会议服务器通常被设计成减少对于每一个端点的计算开销。视频会议服务器为每一个端点花费的甚至少量的计算开销也可能在服务器向数千个接收端点发送数据时变成显著的负担。用于处理该环境中的分组丢失以及用于优化由视频会议服务器执行的处理的其他技术将在以下描述。

在某些实施例中，纠错系统不单独为每一下行链路确定要使用的保护级别。相反，可对每一下行链路执行初始计算，并且可选择最差的下行链路以便选择将用于所有下行链路的纠错级别。或者，下行链路可被分类在哪些下行链路需要级别一保护，哪些下行链路需要级别二保护等的桶中。然后只形成一次纠错分组，并且然后为每一下行链路添加正确数量的分组。例如，如果特定下行链路具有保护级别一，则将只向该下行链路添加第一个纠错分组。另一种可能的优化是可将最差情况下行链路通知给发送者。在该示例中，如果该最差下行链路需要保护级别三，则发送者将负责随每一视频帧发送三个纠错分组。视频会议服务器然后可一起转发每一下行链路所需要的那样多的纠错分组。通过这样做，纠错分组的计算可被卸载到发送者并且视频会议服务器可在其确定较低的保护级别对于特定下行链路是可接受的情况下从比特流中移除差错保护分组。

在某些实施例中，发送端点分阶段施加保护。通过使用分阶段的保护级别，发送端点发送具有第一保护级别的第一保护分组，以及处于更高保护级别的一个或多个附加保护分组。当发生分组丢失时，接收端点可基于分组丢失程度和所需保护级别来选择要使用的保护分组以恢复丢失的分组。分阶段通过创建一次保护分组并按需对许多接收端点应用保护分组来减少由视频会议服务器执行的处理。例如，接收端点可将一个保护分组发送到具有低分组丢失率的接收端点，并且将相同的保护分组加上附加保护分组发送到具有高分组丢失率的接收端点。具有高分组丢失率的接收端点然后可使用这些附加保护分组来执行更大量的差错恢复。

在某些实施例中，视频会议服务器向发送端点发送指示最差情况接收端点的分组丢失的分组丢失报告。基于该分组丢失报告，发送者基于最差情况接收端点来以一保护级别保护帧并包括多个保护分组。在接收到视频数据后，视频会议服务器可基于关于每一个接收端点所经历的历史分组丢失的信息而不将所有保护分组转发给所有接收端点。例如，一个接收端点可能需要单个保护分组而另一个接收端点可能需要两个保护分组以实现目标有效分组丢失水平。发送端点可提供两个保护分组，但视频会议服务器可仅将第一个保护分组发送到一个端点而将两个保护分组发送到另一个端点。这同时向两个端点提供它们需要的保护级别，同时减少了视频会议服务器所消耗的带宽和计算开销。

在某些实施例中，视频会议服务器与发送者共享产生保护分组的负担。例如，发送者可提供处于第一级别的保护分组，并且视频会议服务器可负责为需要额外保护（例如，基于历史分组丢失）的那些接收端点添加额外的保护级别。本领域的普通技术人员将会认识到许多不同的方法都可用于在发送端点和视频会议服务器之间分摊计算开销。

在某些实施例中，纠错系统在周期性的基础上动态地确定对于特定接收端点使用的保护级别。例如，视频会议服务器可从每一个接收端点接收周期性（例如，每五秒钟）的分组丢失报告，并且该视频会服务器可基于该报告来选择对所传送的数据施加的保护级别。特定连接的条件可随时间而改变或者正在发送的数据的类型（例如，帧大小）可改变以使得不同的保护级别更加有效。

分组格式

以下描述描述了一种用于实现此处所描述的纠错技术的分组格式。典型的分组包含格式自适应首部和净荷。该首部包含描述分组的净荷并且描述该分组如何与通过网络发送的其他分组相关的信息。该首部可包含指定分组特性的一系列标志。净荷包含视频帧的视频数据以及保护帧的纠错数据。

视频帧：

保护帧：

标志：

F 第一个分组

H 存在序列首部

K 关键帧

O 固定为一

L 最后一个分组的标记位

S SP帧

C 高速缓存的帧

M 模式

P 净荷类型：1=元数据，0=视频

Ver 净荷首部版本

H-FC 高位帧计数

H-RF 高位参考计数

M 扩展模式

FC 帧计数

RFC 参考帧计数

H分组号以分组数为单位的高位帧大小

L分组号以分组数为单位的低位帧大小

偏移量最后一个内容分组对于当前FEC分组的偏移量

H-L分组大小以字节为单位的最后一个帧分组大小

L-L分组大小以字节为单位的最后一个帧分组大小

在该示例分组格式中，标志V指定分组包含视频数据还是保护数据（例如，FEC）。对于视频分组，P＝0，而对于保护分组，P＝1。分组包含指示该分组是携带特定帧的数据的第一个（F=1）分组还是最后一个（L=1）分组的标志。分组还包含指示如上所述的可由接收端点用来添加适当的填充物的最后一个分组的大小的成员（例如，H-L分组大小和L-L分组大小）。分组还包含担当接收端点可用于确定是否遗漏任何分组的序列号的成员（例如，H分组号和L分组号）。参考帧号成员标识当前编码的帧依赖其以便解码的帧，诸如参考I帧的P帧等。分组还包含关于保护分组的成员偏移量，其指示当前分组是一系列多个保护分组中的哪一个保护分组。该成员因为保护分组也可能丢失而使用，并且如果如果保护分组以偏移量二到达（指示最后一个内容分组在两个分组之前），则接收端点可确定第一个保护分组已丢失。在某些实施例中，版本信息用于允许传统客户机与较新版本的发送端点或视频会议服务器互操作。

附图

以下描述示出了参考各附图描述的实施例的细节。

图1是示出一个实施例中的纠错系统的组件的框图。纠错系统100包括产生视频数据组件110、分组化视频数据组件120、确定保护级别组件130、创建纠错数据组件140、分组化纠错数据组件150、传送数据组件160、接收数据组件170以及恢复丢失数据组件180。产生视频数据组件110诸如通过从视频输入设备（例如，摄像头）中捕捉数字信号或回放包含视频数据的文件来产生视频数据。分组化视频数据组件120将视频数据分成适于通过网络来传输的分组。如上所述，分组可包含描述所传送的数据并由接收者用来作出关于所接收到的数据的各种判定的首部信息。确定保护级别组件130基于诸如视频数据帧大小和从接收端点接收到的历史分组丢失的指示等因素来确定对视频数据施加的适当的保护级别。

创建纠错数据组件140基于所确定的保护级别和视频数据来创建纠错数据。分组化纠错数据组件150将纠错数据分成适于通过网络来传输的分组。纠错系统可基于用于产生纠错数据的纠错算法来划分所得纠错分组。纠错系统可使用不止一个纠错算法来产生施加变化的纠错级别的纠错数据分组。传送数据组件160将视频数据和纠错分组从发送端点传送到接收端点。接收数据组件170从发送端点接收数据并确定任何分组是否已丢失。如果分组丢失，则恢复丢失数据组件180使用任何接收到的纠错分组来恢复任何丢失的视频数据分组。

在其上实现该系统的计算设备可包括中央处理单元、存储器、输入设备（例如，键盘和定点设备）、输出设备（例如，显示设备）和存储设备（例如，盘驱动器）。存储器和存储设备是可以用实现该系统的计算机可执行指令来编码的计算机可读介质，这意味着包含该指令的计算机可读介质。此外，数据结构和消息结构可被存储或经由诸如通信链路上的信号等数据传送介质发送。可以使用各种通信链路，诸如因特网、局域网、广域网、点对点拨号连接、蜂窝电话网络等。

该系统的实施例可以在各种操作环境中实现，这些操作环境包括个人计算机、服务器计算机、手持式或膝上型设备、多处理器系统、基于微处理器的系统、可编程消费电子产品、数码照相机、网络PC、小型计算机、大型计算机、包括任何上述系统或设备中任一种的分布式计算环境等。计算机系统可以是蜂窝电话、个人数字助理、智能电话、个人计算机、可编程消费电子产品、数码照相机、机顶盒、IP摄像头等。

该系统可以在由一个或多个计算机或其他设备执行的诸如程序模块等计算机可执行指令的通用上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。通常，程序模块的功能可以在各个实施例中按需进行组合或分布。

图2A和2B示出了一个实施例中的视频流中的示例性帧序列。可使用编码器来以减少图像数据的冗余的方式压缩视频流中的帧。图2A示出了由I帧202-204、SP帧206-208、P帧210-216和B帧218-228组成的帧序列200。I帧202-204是独立的，这表现在I帧在不参考先前或后续帧的情况下进行编码并且一旦被解码就可用于呈现完整的图像。如图2A所示，I帧202-204或者直接或者间接地用作SP帧206-208、P帧210-216和B帧218-228的预测参考。SP帧206-208是可预测的，这表现在这些帧是参考最近的在前I帧或其它SP帧来编码的。类似地，P帧210-216也是可预测的，这表现在这些帧参考更早先的帧，该更早先的帧可以是最近的在前I帧或SP帧。如图2A所进一步示出的，B帧218-228使用被称为双向预测的技术来编码，其中图像数据参考先前的和后续的帧来编码。

每一帧中的数据量可视地在图2A中描绘，其中I帧202-204包含最大的数据量，而SP帧206-208、P帧210-216和B帧218-228各自提供依次更大的压缩量。如此处所使用的，术语“压缩模式”指的是当一特定帧类型（例如，I帧、SP帧、P帧、B帧等）被编码以便通过网络连接来传输时编码器的状态。本领域的技术人员和其他人将会认识到，编码器可出于创建不同的帧类型的目的而被配置成支持不同的压缩模式。虽然将帧序列200编码为各种帧类型减少了传送的数据量，但图像数据的压缩可使差错保存。I帧202可在通信地连接的计算机之间以一组分组来传输。然而，如果I帧202中的任一个分组在传输中丢失，则I帧202不是受该差错影响的唯一的帧。相反，该差错可持续至直接或间接参考该I帧202的其它帧。例如，如图2B的时间线250所描绘的那样，在事件252处当I帧202经受一差错时，该差错存留直到当接收到后续I帧204时的事件254。在这种情况下，在事件252和254之间接收到的帧经受通常是视频伪像的形式的质量劣化，因为帧通常使用由端点正确地接收的最后一个I帧来解码。

类似于以上所提供的描述，当与SP帧相关联的分组丢失时，差错可持续至其它帧。例如，如时间线250所描绘的那样，在事件256处当SP帧206经受分组丢失时，该差错存留直到当接收到下一个I帧204时的事件254。由于与I帧相比，对于SP帧存在更少的依赖性，所以分组丢失的影响也更小。当P帧经受分组丢失时，只有参考经受分组丢失的P帧的B帧和其它P帧受到该差错的影响。最后，B帧中的差错并不存留，因为B帧不被其它帧类型参考。该观察启发了这样的事实：在某些实施例中，可选择性地添加纠错数据并且具体而言，可将纠错数据限于参考视频帧（例如，可只保护I帧或I和SP帧）。

图3示出了一个实施例中的其中发送端点将视频数据传送到接收端点的典型的联网环境。联网环境300包括用对等网络连接来通信地连接的发送计算机302和接收计算机304。就此，发送计算机302和接收计算机304通过网络306来传送数据。如上所述，发送计算机302可以是与用户相关联的网络端点。或者，发送计算机302可通过将视频流中继给接收计算机304来用作联网环境300中的节点。本领域的技术人员及其他人将认识到，网络306可被实现为局域网（“LAN”）、诸如通常也被称为因特网或万维网（“WWW”）的全球网络等广域网（“WAN”）、蜂窝网络、IEEE 802.11、蓝牙无线网络等等。

在图3所示的实施例中，视频流使用输入设备308来从应用层305输入到发送计算机302中。输入设备308可以是能够捕捉图像流的任何设备，包括但不限于，摄像机、数码照相机、蜂窝电话等。当视频流被输入到发送计算机304中时，使用编码器/解码器310来压缩视频流的帧。本领域的技术人员将会认识到，编码器/解码器310以减少帧序列中的图像数据的冗余的方式来执行视频压缩。因为视频比特流通常包括仅递增地彼此不同的帧序列，所以显著的压缩通过基于与其他帧的区别来编码至少某些帧来实现。如上所述，视频流中的帧可被编码为I帧、P帧、SP帧和B帧，但也可利用其他帧类型（例如，单向B帧等）。然而，当差错导致分组丢失或其它视频劣化时，将视频流编码为压缩的帧可能使差错保持，由此导致视频伪像在多个帧上存留。

一旦编码器/解码器310通过减少帧序列中的图像数据的冗余来压缩视频流，网络设备312及相关联的媒体传输层313组件（未示出）就传送该视频流。视频数据帧可根据实时传输协议（“RTP”）所指示的标准来分组化和传送。本领域的技术人员和其他人将会认识到，RTP是可用于传输实时数据的一个示例性因特网标准协议。在任何情况下，当接收到视频流时，接收计算机304上的编码器/解码器310使得该流被解码并在呈现设备314上呈现给用户。呈现设备314可以是能够呈现图像数据的任何设备，包括但不限于计算机显示器（例如CRT或LCD屏幕）、电视机、监视器、打印机等。

控制层316为诸如支持视频流传输的应用程序等具有实时特性的应用程序提供服务质量支持。质量控制器318通过收集包括但不限于分组丢失率、往返时间等与视频流相关联的统计数据来提供服务质量反馈。仅作为示例，质量控制器318所收集的数据可由差错恢复组件320用来标识将在执行差错恢复时使用的分组。其他数据可出于该目的而在交换视频流的端点之间周期性地传输。可使用控制层316的组件来基于所收集的服务质量信息来修改视频流的特性。

图4示出了一个实施例中的用于将视频数据发送到多个接收端点的联网环境。联网环境400包括多点控制单元401（例如，视频会议服务器）、多个视频会议端点，这些端点包括发送设备402和接收设备404-408。此外，联网环境400包括发送设备402和多点控制单元401之间的对等网络连接410，以及多点控制单元401和接收设备404-408之间的多个下游网络连接412-416。一般而言，多点控制单元401收集关于将参与视频会议的设备的能力的信息。基于所收集的信息，可建立网络端点之间的视频流的特性。

图5是示出一个实施例中的该系统的传送数据组件的处理的流程图。在框510，该组件接收帧大小和对于接收端点的历史分组丢失的指示。在框520，该组件基于所接收到的帧大小和历史分组丢失的指示来确定要施加的适当的保护级别，并且基于所确定的保护级别来创建保护分组。在框530，该组件将数据分组传送到接收端点。在框540，该组件将所创建的保护分组发送到接收端点。在判定框550，接收端点的接收数据组件确定是否已丢失任何数据分组。如果已丢失数据分组，则该组件在框560处继续，否则该组件完成。在框560，该组件使用冗余的所传送的数据来恢复丢失的数据，并且然后完成。

图6是示出一个实施例中的具有多个接收端点的视频会议环境中的系统的传送数据组件的处理的流程图。在框610，该组件接收将通过网络来传送的视频数据。在框620，该组件确定将该视频数据传送到每一个接收端点所需的最高保护级别以使得每一个接收端点都能够恢复任何丢失的视频数据。在框630，该组件基于所确定的保护级别来创建附随该数据的保护分组。在框640，该组件选择第一个接收端点。在框650，该组件确定将该视频数据传送到所选接收端点所需的保护级别以使得所选接收端点都能够恢复任何丢失的视频数据。基于该判定，该组件在传送视频数据时包括所创建的保护分组中的一个或多个。在框660，该组件将视频数据和保护分组传送到该接收端点。在判定框670，如果存在更多的接收端点，则该组件循环到框640以选择下一个接收端点，否则该组件完成。

结论

从上文将会认识到，虽然在此已出于说明目的描述了纠错系统的具体实施例，但是可以做出各种修改而不背离本发明的精神和范围。例如，尽管已描述了UDP作为纠错系统能够与其一起使用的一种类型的协议，但也可使用许多其他协议，诸如实时协议（RTP）和实时控制协议（RTCP）等。因此，本发明只由所附权利要求来限制。

Claims

1.一种计算机系统中的用于当在发送端点和接收端点之间发送数据时减少分组丢失的影响的方法，所述方法包括：

接收数据大小和先前时间段期间的分组丢失率的指示（510）；

基于所接收到的数据大小和所述分组丢失率的指示来确定要施加的保护级别（520）；

向所述接收端点发送包含所述数据的一个或多个数据分组（530）；以及

基于所确定的保护级别来向所述接收端点发送一个或多个保护分组（540），其中所述一个或多个保护分组包括所述接收端点可用于恢复丢失数据分组的信息，从而使得当数据分组丢失时所述接收端点能够在不与所述发送端点进行额外通信的情况下使用所述保护分组来获取所述数据的全部；

所述方法还包括：

使用分阶段的保护级别，发送端点发送具有第一保护级别的第一保护分组，以及处于更高保护级别的一个或多个附加保护分组；

当发生分组丢失时，接收端点可基于分组丢失程度和所需保护级别来选择要使用的保护分组以恢复丢失的分组。

2.如权利要求1所述的方法，其特征在于，至少一个保护级别对所述数据应用异或运算。

3.如权利要求1所述的方法，其特征在于，至少一个保护级别对所述数据应用Reed-Solomon算法。

4.如权利要求1所述的方法，其特征在于，包括创建将保护级别映射到帧大小和分组丢失率的表，并且其中确定要施加的保护级别包括在所述表中查找所述保护级别。

5.如权利要求1所述的方法，其特征在于，所述保护分组包括分阶段的保护级别。

6.如权利要求1所述的方法，其特征在于，接收分组丢失率包括从所述接收端点接收分组丢失报告。

7.如权利要求1所述的方法，其特征在于，确定要施加的保护级别包括确定视频帧的类型，并且包括对其他帧所依赖的帧类型施加较高的保护级别。

8.如权利要求1所述的方法，其特征在于，确定要施加的保护级别包括不对大小低于阈值或包含低于预定比特率的视频数据的数据施加保护。

9.如权利要求1所述的方法，其特征在于，所述发送端点是为多个接收端点服务的视频会议服务器。

10.一种用于减少分组丢失对通过网络经由视频会议服务器从发送端点传送到接收端点的视频会议数据的影响的计算机系统，所述计算机系统包括：

被配置成从所述发送端点接收视频会议数据的视频会议数据接收组件（170）；

被配置成基于所述视频会议数据来产生纠错数据的纠错组件（140），其中所述纠错数据提供用于恢复所述视频会议数据的丢失部分的信息并基于一个或多个保护级别来被分成各分组；

被配置成将从所述发送端点接收到的视频会议数据转发给多个接收端点的视频会议数据发送组件（160），其中所述视频会议数据发送组件基于所述视频会议数据和与所述接收端点的连接的特性来确定向每一个接收端点发送所述纠错数据的分组中的哪一些，从而使得所述纠错数据不是为每一个接收端点单独产生的。

11.如权利要求10所述的系统，其特征在于，所述纠错组件从所述发送端点接收所述纠错数据。

12.如权利要求10所述的系统，其特征在于，所述纠错组件在所述视频会议服务器处创建所述纠错数据。

13.如权利要求10所述的系统，其特征在于，所述发送端点创建所述纠错数据的一部分而所述视频会议服务器创建所述纠错数据的另一部分。

14.如权利要求10所述的系统，其特征在于，所述纠错组件将所需保护级别的指示发送到所述发送端点并且基于所述所需保护级别来从所述发送端点接收纠错数据。

15.如权利要求10所述的系统，其特征在于，所述视频会议数据发送组件周期性地重新确定向每一个接收端点发送所述纠错数据的分组中的哪一些。

16.如权利要求10所述的系统，其特征在于，被发送到所述接收端点的分组包括包含关于纠错数据在数字视频比特流中的存在和位置的信息的格式自适应首部。

17.如权利要求10所述的系统，其特征在于，所述纠错组件基于特定视频帧的类型来确定对于该视频帧是否应产生纠错数据。

18.如权利要求10所述的系统，其特征在于，所述纠错组件基于关于所述网络的历史条件的统计数据来产生纠错数据。

19.如权利要求10所述的系统，其特征在于，至少一个接收端点基于从所述视频会议服务器接收到的信息来确定是否使用纠错数据来恢复一个或多个无效分组。

20.如权利要求10所述的系统，其特征在于，所述视频会议数据包括版本信息，从而使得传统客户机能够与较新的视频会议服务器互操作。

21.如权利要求10所述的系统，其特征在于，包括形成包括首部和净荷的分组的媒体传输分组化器，其中所述首部向接收端点指示当前帧对视频比特流中的其他帧的任何依赖性。

22.一种用于控制计算机系统在接收端点处恢复丢失分组的方法，所述方法包括：

从发送端点接收视频数据（540），其中所述视频数据被分成一个或多个数据分组；

从所述发送端点接收纠错数据（540），其中所述纠错数据基于一个或多个保护级别被分成一个或多个保护分组；

确定由所述发送端点发送的至少一个数据分组未被所述接收端点接收到（550）；

应用来自所述一个或多个保护分组的纠错数据来恢复未被接收到的至少一个数据分组（560）；

所述方法还包括：

23.如权利要求22所述的方法，其特征在于，包括基于数据分组的首部中的信息来向所述数据分组添加填充物。

24.如权利要求22所述的方法，其特征在于，包括周期性地向所述发送端点发送分组丢失的指示。

25.如权利要求22所述的方法，其特征在于，确定至少一个数据分组未被接收到包括检测对应于每一个接收到的数据分组的序列号。

26.如权利要求22所述的方法，其特征在于，每一个保护分组都包括由所述保护分组中的纠错数据提供的保护级别的指示。