CN103152545B - 一种处理纠错请求的方法、视频服务器和视频会议系统 - Google Patents

Abstract

本发明公开了一种在视频会议系统中处理来自视频客户端的纠错请求的方法，包括步骤：为每个视频客户端分配权重值；根据视频客户端的数量和所分配的权重值来确定两个或者更多个阈值；确定多个响应时间段；以及接收来自视频客户端的纠错请求，确定视频客户端所处的阈值范围，并以与所确定的阈值范围相对应的响应时间段来对视频客户端的纠错请求进行处理。本发明还可以适于处理该纠错请求的视频服务器以及包括该视频服务器的视频会议系统。

Description

一种处理纠错请求的方法、视频服务器和视频会议系统

技术领域

本发明涉及视频通信领域，尤其涉及用于在包括视频服务器和视频客户端的视频会议系统中进行通信的方法、以及相应的视频服务器和视频会议系统。

背景技术

视频会议使得相互远离的各方能够通过使用音频和视频信号而进行面对面会议。视频会议系统可以包括一个或者多个视频会议端点和视频服务器。视频会议的参与方通过视频会议端点与处于其它地点的参与者进行交互。视频会议端点可以是能够与其他视频终端和/或视频服务器进行实时、双向音频/视频/数据通信的网络上的视频终端。当然，视频会议端点可以仅提供语音、提供语音和视频、或者提供语音、数据和视频通信等。视频会议端点通常包括可显示来自一个或者多个远程地点的视频图像的显示单元以及播放来自远程地点的音频信号的扬声器。在操作中，视频会议端点从本地地点向一个或者多个远程地点发送音频、视频和/或数据，并且在其显示单元上显示从一个或者多个远程地点接收的视频和/或数据，以及在其扬声器上输出从一个或者多个远程地点接收的音频。目前市场上存在有各种视频会议端点，举例而言，视频会议端点可以包括从Polycom, Inc.公司获得的POLYCOM ® VSX®和HDX® 系列端点产品。

视频会议有时由视频服务器进行管理，该视频服务器可以例如为多点控制单元（MCU）。MCU可以是可位于网络节点、终端或任何其他位置中的会议控制实体。MCU可以根据一定准则从访问端口接收和处理几个媒体通道，并且通过其他端口向所连接的通道分配信号。在一些情况下，MCU也可以被认为是端点。一些MCU包括两个逻辑单元：媒体控制器（MC）和媒体处理器（MP）。目前市场上存在有各种MCU，举例来说，MCU可以包括可从Polycom, Inc.公司获得的RMX®系列产品。在诸如但不限于H.320、H.324和H.323标准的国际电信联盟（“ITU”）标准中，可以找到有关视频端点和MCU的更详细定义。

在现有的视频会议中，由于视频端点处于不同的位置处，这些视频端点和视频服务器（MCU）之间的网络通信状况也可能不同，一些视频端点和MCU之间的通信状况良好，而另一些视频端点和MCU之间的通信状况较差并且有可能在传输过程中发生丢包。如果不幸的是，具有较差通信状况的视频端点丢失了关键的数据包，例如无法通过其他所接收的数据包来恢复的数据包、或者显示视频所必需的数据包（例如构成GOF（帧组）中的I帧的数据包），则视频端点可以向MCU发送诸如重新传送所丢失的数据包（或者重新传输I帧）的请求之类的纠错请求。MCU通常会对该纠错请求进行处理，重新传输所丢失的数据包或者I帧等以便该视频端点可以继续进行正常的会议。

由于视频会议的实时性，通常需要尽量在所有参与视频会议的视频端点之间保持一致。因此如果一个视频端点需要进行纠错，则MCU可以暂时停止其它视频端点的视频显示，或者发送命令给其它视频端点（例如，将I帧重新传输给所有视频端点）以便同步这些视频端点上的会议进度。然而如果一个视频端点和MCU之间的网络状况较差而导致比较频繁地发送纠错请求时，根据现有处理方式，会导致参与视频会议的其他视频端点的会议过程频繁突然停顿，从而导致在这些其他视频端点上的会议参与者感觉到不适。另外MCU也会耗费过多资源来处理这些纠错请求，从而降低了MCU的效率。

因此，需要一种新的在视频会议系统中处理来自视频端点的纠错请求的技术，其可以平衡所有视频会议参与者对会议的满意度，并同时可以提高MCU的效率。

发明内容

鉴于上述问题，这里公开了一种克服上述问题或者至少部分地解决或者减缓上述问题的在视频会议系统中处理来自视频客户端的纠错请求的方法、视频服务器以及视频会议系统。

根据本发明的一个方面，提供了一种在包括视频服务器和至少一个视频客户端的视频会议系统中处理来自视频客户端的纠错请求的方法，包括：为至少一个视频客户端中的每个视频客户端分配权重，权重值的大小基于相应视频客户端和视频服务器的通信状况而确定；根据视频客户端的数量和所分配的权重值来确定一个或者更多个阈值；以及接收来自视频客户端的纠错请求，并且根据分配给视频客户端的权重值和所确定的一个或者多个阈值来对来自视频客户端的纠错请求进行处理。

可选地，在处理纠错请求的方法中，确定多个响应时间段，每个响应时间段与由一个或者更多个阈值所划分的阈值范围之一相对应。因此，对来自所述视频客户端的纠错请求进行处理还包括：通过比较为视频客户端分配的权重值和所确定的一个或者更多个阈值来确定视频客户端所处的阈值范围，以及根据与所确定的阈值范围相对应的响应时间段来对来自视频客户端的纠错请求进行处理。

处理来自视频客户端的纠错请求的方法可以不同的响应时间来为具有不同网络状况的视频客户端的纠错请求进行处理。这样，一些处于较差网络状况下的视频客户端频繁发出纠错请求可以较长的响应时间间隔进行处理，从而避免了对其他视频客户端的干扰，提高了会议参与者对视频会议系统的整体满意度。另外，通过以不同的响应时间间隔来处理纠错请求，也减少了视频服务器用于处理纠错请求的负载，提高了视频服务器的运行效率。

可选地，在为每个视频客户端分配权重时，还可以基于每个视频客户端加入视频会议系统的时长来确定所述权重值的大小，以及在确定阈值时也可以进一步考虑每个视频客户端加入视频会议系统的时长。由于视频客户端在刚加入视频会议系统时，由于网络链接还不稳定和/或新加入的会议参与方同样值得其它会议参与者来等待，因此可以为刚刚加入视频会议系统的视频客户端分配较重要的权重，以便该视频客户端的纠错请求可以在较短的时间内被处理，这样可以进一步提高会议参与者对视频会议系统的满意度。

可选地，所确定的阈值包括与好的通信状况相对应的第一阈值，以及与差的通信状况相对应的第二阈值。所确定的响应时间段包括由第一阈值和第二阈值所划分的第一响应时间段、第二响应时间段和第三响应时间段。第一响应时间段可以短于第二响应时间段，而第三响应时间段可以非常长或者为无限长。可选地，第三响应时间段的长度可以是第二响应时间段的长度的两倍。这样，对于来自具有比较差通信状况的视频客户端的频繁纠错请求，可以不对其进行处理，从而避免了由于该视频客户端而严重影响其它的会议参与者，从而整体上保证了视频会议的满意度。

可选地，相应客户端和视频服务器的通信状况由相应客户端与视频服务器的通信过程中的丢包率所反映。为每个视频客户端分配权重的步骤还包括：为加入视频会议系统的时长小于预定时间的视频客户端分配第一权重值；为在与视频服务器的通信过程中不丢包的视频客户端分配小于第一权重值的第二权重值；为在通信过程中发生丢包的视频客户端分配取决于丢包率和小于第二权重值的第三权重值的权重值，而且所分配的权重值随着丢包率的上升而下降。而且将第一阈值确定为使得第一权重值大于第一阈值；以及将第二阈值确定为使得第二权重值大于第二阈值。这样，可以根据视频客户端和视频服务通信期间的丢包率和视频客户端加入视频会议的时长来确定每个视频客户端的权重，并且可以确保刚加入视频会议的视频客户端的纠错请求得到快速处理，而且通常不丢包的视频客户端的纠错请求也可以得到较快请求。

可选地，可以以预定时间间隔重复为每个视频客户端分配权重值的步骤以及确定一个或者更多个阈值的步骤。这样，可以根据视频客户端的网络状况来定期更新纠错请求处理策略。

可选地，纠错请求可以是重新发送I帧请求。

还可以提供了一种视频服务器，包括：通信接口，被配置为与一个或者多个视频客户端进行通信以组成视频会议；音频和视频处理器，被配置为处理来自视频会议中的各视频客户端的音频和视频信号，并在各视频客户端之间转发所述音频和视频信号；控制器，被配置管理视频会议，并且还被配置为处理来自视频客户端的纠错请求。控制器还包括权重分配部件，适于为每个视频客户端分配权重，其中权重值的大小基于相应客户端和视频服务器的通信状况而确定。控制器还包括阈值确定部件，适于根据视频客户端的数量和所分配的权重值来确定一个或者更多个阈值；以及纠错请求处理部件，适于接收来自视频客户端的纠错请求，通过根据为视频客户端分配的权重值和所确定的一个或者更多个阈值来对来自视频客户端的纠错请求进行处理。

还可以提供一种视频会议系统，其包括根据本发明的视频服务器以及一个或者多个视频客户端。视频客户端经由视频服务器来相互发送和接收音频和/或视频信号，而视频客户端在未能正确获取I帧数据时，向视频服务器发送I帧请求，以便由视频服务器对该I帧请求进行处理。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施方式的视频会议系统的框图；

图2示出了根据本发明一个实施方式的视频服务器的框图；

图3示出了根据本发明一个实施方式的视频服务器中的控制器的框图；以及

图4示出了根据本发明一个实施方式的用于处理来自视频客户端的纠错请求的方法的流程图。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步的描述。

图1示出了根据本发明一个实施方式的视频会议系统100的框图。视频会议系统100包括视频服务器（MCU）120和一个或者多个视频端点（EP）130A-130N，MCU和EP经由网络110进行相互链接。

网络110可以是单个网络或者两个或更多网络的组合，并且可以是任意类型的网络，包括分组交换网络、电路交换网络、综合业务数字网络（ISDN）、PSTN、异步传输模式（ATM）、国际互联网、局域网以及可以通过其来进行数据传输的任何其他类型网络。

一般而言，视频会议系统100可以根据各种多媒体通信协议经由网络110在视频端点130A-E和视频服务器120之间进行多媒体通信。这些多媒体通信协议可以是诸如H.320、H.324、H.323和STP之类的任何通信协议。

视频端点130可以是能够与其他视频端点130和/或视频服务器120进行实时、双向音频/视频/数据通信的网络上的任何实体。例如，视频端点130可以实现为计算机、PDA（个人数字助理）、蜂窝式电话、具有麦克风的电视机和相机等。视频端点可以具有允许视频端点上的用户在会议期间进行语音交互的麦克风和扬声器，以及允许用户在会议期间进行视频交互的显示器和相机。视频端点130可以提供语音、数据、视频、信令、控制或者这些信号的组合。

视频服务器（MCU）120可以适于管理视频会议，例如，当在一个或者多个视频端点130A-130E之间建立视频会议时，视频端点130可以经由MCU 120来发送和接收音频和/或视频信号，并且还可以传输信令、控制信息以及数据信号。

在视频会议系统100中，由于各个视频端点130A-130E处于不同的位置，因此它们与视频服务器120之间的网络链接的通信质量也会有所不同。例如，如图1所示，视频端点130A和视频服务器120之间的链路具有较好的通信质量，而视频端点130E和视频服务器120之间的链路具有较差的通信质量。在视频端点130E和视频服务器120之间的通信很可能发生数据包丢失，从而使得视频端点130E不能正确地进行视频会议。在一些实施方式，视频端点130E可能由于丢失了构成GOF（视频帧组）中的I帧的数据包，而不能正确获取I帧数据来解码会议视频并呈现时。此时，视频端点130E可以向视频服务器120发送诸如重新发送I帧的请求之类的纠错请求，以便由视频服务器120对该纠错请求进行处理。

应当注意的是，上面对视频会议系统100的描述仅仅包括与本发明的具体实施方式部分相关的元件，而根据布置和应用需要，视频会议系统100还可以包括其他未被描述的部分而不脱离本发明所附权利要求的保护范围。

图2示出了视频服务器120的框图。视频服务器120可以是例如多点控制单元（MCU）。视频服务器120可以包括通信接口210、音频处理器220、视频处理器230和控制器240。应当注意的是，图2中仅仅示出了与此处给出的实施方式相关联的部件。视频服务器120还可以包括其他部件，而且音频处理器220和视频处理器230可以合并为一个音频视频处理器，所有这些都在本发明的保护范围之内。

通信接口210可以通过网络110接收来自多个视频端点130A-F的通信。通信接口210可以根据包括H.320、H.321、H.323、H.324和SIP等协议在内的各种通信协议进行通信。此外，通信接口210还可以根据包括H.261、H.263、H.264、G.711、G.722和MPEG等压缩标准在内的各种压缩标准来处理通信。通信接口210可以从其他视频服务器和视频端点接收控制和数据信息，并且向其他视频服务器和视频端点发送控制和数据信息，以便与一个或者多个视频端点进行通信以构成视频会议系统。通信接口210可以多路复用或者去多路复用在视频端点130A-F和视频服务器120之间传输的不同信号和/或“信令和控制”。例如，通信接口210可以向音频处理器220发送压缩的音频信号，并且从音频处理器220接收压缩的音频信号。通信接口210可以向视频处理器230发送压缩的视频信号，并且从视频处理器230接收压缩的视频信号。通信接口210可以向控制器240发送“控制和信令”，并且从控制器240接收“控制和信令”。

音频处理器220可以经由通信接口210并通过音频通信222从多个视频端点130A-F接收压缩的音频流。音频处理器220可以解码压缩的音频流、分析解码的流，选择某些流并且混合所选择的流。经混合的流可以被压缩并且送回到通信接口210，然后由通信接口210发送到不同的视频端点130A-F。发送给不同视频端点的音频流可以是不同的。例如音频流可以根据不同的通信标准和视频端点的需要来进行格式化。

视频处理器230可以接收从多个视频端点130A-F向视频服务器120发送的并通过通信接口210接收并处理的压缩的视频流。在一个实施例中，视频处理器230可以包括一个或者多个输入模块232A-X、一个或者多个输出模块234A-X和视频共用接口236。输入模块232A-X可以处理来自一个或者多个视频端点130A-F的压缩的输入视频流。压缩的输出视频流可由几个输入流构成以形成用于在指定视频端点处呈现的会议的视频流。可选地，各输入模块232A-X包括对压缩的输入视频流进行解码的解码器2322。输出模块234A-X可以生成用于视频端点130A-F的压缩视频输出。可选地，各输出模块234A-X包括用于对输出视频流进行编码的编码器2342，以便生成视频端点130A-F特定的会议视频呈现。在一个实施方式中，一个输出模块234可以服务于多个视频端点，甚至可以服务于所有参与会议的视频端点。输出模块234经由共用接口236接收来自相应输入模块232的视频数据。共用接口236可以包括任意适当类型的接口，包括时分多路复用（TDM）接口，基于分组的接口和/或共享存储器等。共用接口236上的数据可以被完全解压缩或者部分解压缩。

应当注意的是，上面对音频处理器220和视频处理器230的描述仅仅是示例性的而并不是限制。本发明并不受限于音频处理器220和视频处理器230的具体结构，所有被配置为处理来自所述视频会议中的各视频客户端的音频和视频信号、并在各视频客户端之间转发所述音频和视频信号的音频处理器和视频处理器都在本发明的保护范围之内。

控制器240可以控制视频服务器120的操作以及其内部各部件（包括但不限于音频处理器220、视频处理230等部件）的操作。这里不对控制器240所完成的常规控制功能进行详细描述，在通过应用在此并入的申请号为201110077748.8的中国专利申请中公开各种控制器230的细节。

下面参考图3来对控制器240处理来自视频端点的纠错请求所涉及的部件来进行详细描述。如上所述，纠错请求是指在视频会议过程中由于本身错误或者通信问题而导致在视频端点处不能呈现视频会议内容时，由视频端点发送到视频服务器的要求解决会议故障的请求。由于视频会议期间的故障通常由于在通信过程中丢失数据包而导致的，因此纠错请求通常包括请求视频服务器重新传输丢失的数据包。视频端点可能由于丢失了构成GOF（视频帧组）中的I帧的数据包，而不能正确获取I帧数据来解码会议视频流并呈现时。此时，视频端点130E向视频服务器120发送诸如重新发送I帧的请求，以便由视频服务器120，尤其是视频服务器120中的控制器240处理该请求并重新发送I帧。如图3所示，控制器240包括权重分配部件310、阈值确定部件320、响应时间段确定部件330以及纠错请求处理部件340。

权重分配部件310为参与视频会议的每个视频端点分配权重。每个视频端点的权重值决定了该视频端点的纠错请求被处理的优先级别，因此，权重值的大小通常根据视频端点和视频服务器之间的通信状况来确定。对于具有较好通信状况的视频端点，可以向其分配使得纠错处理被较快处理的权重值，反之亦然。

可以存在有多个指标来反映视频端点和视频服务器之间的通信状况，例如视频端点和视频服务器之间的平均数据传输速率等。通信状况可以由视频端点与视频服务器的通信过程中的丢包率来反映。如果在通信过程中不会丢包，则说明通信状况非常好，而丢包率越高则通信状况越差。不需要特定的指标，而且还可以采用各种指标的组合，所有这些都在本发明的保护范围之内。

另外，根据本发明的一个实施方式，权重值分配部件310在为每个视频端点分配权重时，还可能需要考虑每个视频端点加入视频会议的时长。由于视频端点在刚加入视频会议时，在该位置处的参与者与其他会议参与者之间的交互可能较为重要，因此，可能期望向刚加入视频会议的视频端点分配较优的权重，以便该视频端点的纠错请求可以尽快被处理。可以存在多种方式来定义这类刚加入的视频端点。例如，可以将加入视频会议的时长短于5秒的视频端点确定为刚加入会议的视频端点。当然，也可以限定其它时长，比如10秒、15秒等，所有这些都在本发明的保护范围之内。

阈值确定部件320可以用于确定一个或者更多个阈值。这些阈值可以用于对视频端点进行归类。将视频端点的权重值和由阈值确定部件320所确定的各阈值进行比较，可以将处于同一阈值范围区间中的视频端点归为一类。可以有多种方式来确定阈值，而阈值确定的原则在于可以明确地对视频端点归类。例如可以将具有非常好的通信状况的视频端点归为一类（例如，在通信过程中不会丢包的视频端点），将具有良好通信状况的视频端点归为一类（例如，丢包率低于5%的视频端点），以及将通信状况较差的视频端点归为一类（例如，丢包率大于30%的视频端点）。

另外，如果权重分配部件310还考虑了每个视频端点加入视频会议的时长在为每个视频端点分配权重，则阈值确定部件320在确定阈值时，还可能期望确定便于将刚加入视频会议的视频端点归为一类来处理的阈值。

应当理解，基于上述描述，可以获得多种用于确定阈值的方式并在阈值确定部件320中采用。所有基于为每个视频端点分配的权重来确定阈值并根据阈值来对参与会议的视频端点进行归类的阈值确定方式都在本发明的保护范围之内。

响应时间段确定部件330可以确定多个响应时间段，每个响应时间段与每个由阈值确定部件320所确定的阈值所划分的阈值范围相对应。例如，如果阈值确定部件320确定了整数N个阈值，由这N个阈值划分的阈值范围为N+1个，因此响应时间段确定部件330所确定的响应时间段数目也应该为与阈值范围数目相对应的N+1个。如上所述，由阈值确定部件320所确定的阈值可以适于为视频会议中的视频端点归类，因此，在每个阈值范围相对应的响应时间段也可以与所归类的视频端点相关联。与其纠错请求需要尽快处理类别的视频端点相对应的响应时间段应该较短，反之亦然。

当视频服务器120接收到来自视频端点的纠错请求时，网络接口210可以将该请求发送到控制器240来进行处理，而控制器240会由纠错请求处理部件340来处理该请求。纠错请求处理部件340接收在接收到该纠错请求时，可以从权重分配部件310获取为发送纠错请求的视频客户端分配的权重。然后，可以通过将所获取的权重值和由阈值确定部件320所确定的一个或者更多个阈值进行比较来确定该权重值所处的阈值范围。然后，可以从响应时间段确定部件330获取与所确定的阈值范围相对应的响应时间段。最后，可以根据所确定的响应时间段来对该视频端点的纠错请求进行处理。例如在所确定的响应时间段内接收到多个来自该视频端点的纠错请求，则可以仅仅对第一个纠错请求进行处理。或者说，在处理了来自该视频端点的一个纠错请求之后，如果在所确定的响应时间段中又接收到来自同一个视频端点的后续纠错请求，则可以忽略该纠错请求。

控制器340可以为会议中的每个视频端点分配权重，并可以根据权重值的大小来以不同的响应时间来处理来自视频端点的纠错请求。这样，一些需要尽快处理（例如刚刚加入会议的视频端点）和因为意外而偶尔出错的视频端点（例如，具有良好通信状况的视频端点）的纠错请求会被尽快处理。而那些由于通信状况较差而导致频繁出错的视频端点的纠错请求会被忽略，从而不会导致其它视频会议参与方由于视频服务器对纠错请求的处理而感到不适。根据该处理方式，可以兼顾视频会议中的各个参与方，从而提高对视频会议的整体满意度。另外，由于视频服务器不再对每个纠错请求都进行处理，因此也可以大大降低了视频服务器处理纠错请求的负载。

由于视频端点和视频服务器之间的通信状况可以随时间而发生改变。因此，可选地，权重分配部件310和阈值确定部件320可以定期检查视频端点和视频服务器之间的通信状况，并且据此来更新为每个视频端点分配的权重以及由此确定的阈值大小。

一般而言，视频端点和视频服务器之间的通信状况越好，为视频端点所分配的权重值就越高，而视频端点和视频服务器之间的通信状况越好，为视频端点所分配的权重值就越低。本发明以此为例来进行描述，可选地，相反的权重值分配方式，即视频端点和视频服务器之间的通信状况越好，为视频端点所分配的权重值就越低的分配方式也可以在向每个视频端点分配权重时采用。

在一些应用中，考虑到参与视频会议的视频端点数量，可能没有必要将视频端点划分为较多的类别，因此，阈值确定部件320可以仅仅确定两个阈值，即与好的通信状况相对应的第一阈值，以及与差的通信状况相对应的第二阈值。第一阈值高于第二阈值。

响应时间段确定部件330还可以确定三个响应时间段，第一响应时间段对应于由第一阈值和更高的值所确定的阈值范围，第二响应时间段对应于由第一阈值和第二阈值所确定的阈值范围，以及第三响应时间段对应于由第二阈值以及更低的值所确定的阈值范围。第一响应时间段短于所述第二响应时间段，而且第二响应时间段短于第三响应时间段。

对于来自较差通信状况的视频端点（即，具有权重值小于第二阈值的视频端点）所发送的纠错请求，视频服务器可以在相当长的时间内来处理该请求，也就是说，第三响应时间段的长度非常长。可选地，第三响应时间段的长度为第二响应时间段的长度的两倍。

下面以视频端点和视频服务器的通信状况由视频端点与视频服务器的通信过程中的丢包率来反映为例来进一步说明根据本发明一个实施方式的视频服务器。

权重值分配部件310可以为刚加入视频会议的视频端点分配第一权重值。举例而言，第一权重值可以为500000。权重值分配部件310还可以为在与视频服务器的通信过程中不丢包的视频端点分配第二权重值。第二权重值通常可以小于第一权重值，举例而言，第二权重值可以是1000。

对于在与视频服务器的通信过程中发生丢包的视频端点，权重值分配部件310分配取决于丢包率和第三权重值的权重值。第三权重值可以小于第二权重值，而且为每个视频端点分配的权重值随着丢包率的上升而下降。举例来说，第三权重值W3被设置为100。而为每个视频端点分配的权重值如下面的表格1所示：

表格1

丢包率（%）	权重值
		≤1%	W3×1.5
≤3%	W3
		≤5%	W3×0.8
≤8%	W3×0.5
		≤10%	W3×0.5
≤15%	W3×0.3
		≤20%	W3×0.2
≤30%	W3×0.15
		≤50%	W3×0.10
>50%	W3×0.05

在采用了LPR（丢包恢复）技术的视频端点处，由于视频端点本身可以恢复部分丢失的数据包，因此，这些视频端点分配的权重值高于未采用LPR的视频端点。表格2中示出了向采用LPR的每个视频端点所分配的权重值。

表格2

丢包率（%）	权重值
		≤1%	W3×2.5
≤3%	W3×2
		≤5%	W3×1.5
≤8%	W3
		≤10%	W3
≤15%	W3×0.8
		≤20%	W3×0.5
≤30%	W3×0.5
		≤50%	W3×0.2
>50%	W3×0.05

有关LPR的技术可以在专利号为US7876685的美国专利中获得，该专利的内容通过引用在此并入。

在权重分配部件310为每个视频端点分配了权重之后，阈值确定部件320可以确定第一阈值H1和第二阈值H2。根据一个实施方式，可以如下所述来定义第一阈值H1和第二阈值H2：

第一阈值H1=（视频端点的数量×0.4）×第二权重；以及

第二阈值H2=（视频端点的数量×0.5）×第三权重。

阈值确定部件320可以采用多种方式来定义第一阈值和第二阈值，只要第一阈值确定为使得第一权重值大于第一阈值以及将第二阈值确定为使得第二权重值大于第二阈值即可。也就是说，刚加入视频会议的视频端点的权重应该大于第一阈值，而通信状况良好的视频端点，即丢包率为0的视频端点的权重值可以至少大于第二阈值。

响应时间段确定部件330所确定的第一响应时间段可以为3秒，第二响应时间段可以为30秒，而第三响应时间段可以为60秒。这样，纠错请求处理部件340在接收到来自视频端点的纠错请求时，可以从权重分配部件310获取为发送纠错请求的视频客户端分配的权重，可以将该权重值与第一阈值和第二阈值进行比较，如果权重值大于第一阈值，则可以根据第一响应时间段（即，3秒）来对该纠错请求进行处理，即如果所处理的、来自同一个视频端点的前一个纠错请求距今在第一响应时间段之前，则可以对该纠错请求进行处理，否则忽略该请求。如果权重值在第一阈值和第二阈值之间，则可以根据第二响应时间段（即，30秒）来对该纠错请求进行处理。如果权重值小于第二阈值，则可以根据第三响应时间段（即，60秒）来对该纠错请求进行处理。

图4示出了根据本发明一个实施方式的用于处理来自上述视频客户端的纠错请求的方法400的流程图。该方法可以适于在参考图2所述的视频服务器120中，尤其是在图3所示的视频服务器120的控制器240中执行。

如上所述，纠错请求可以指在视频会议过程中由于本身错误或者通信问题而导致在视频端点处不能呈现视频会议内容时，由视频端点发送到视频服务器的要求解决会议故障的请求。纠错请求可以包括请求视频服务器重新传输丢失的数据包。更具体而言，纠错请求通常包括重新发送I帧的请求

所说明的方法400始于步骤S410，其中为参与视频会议系统的每个视频端点分配权重。每个视频端点的权重值决定了该视频端点的纠错请求被处理的优先级别。权重值的大小可以根据视频端点和视频服务器之间的通信状况来确定。对于具有较好通信状况的视频端点，可以向其分配使得纠错处理被较快处理的权重值，反之亦然。

如上所述，视频端点和视频服务器之间的通信状况可以由视频端点与视频服务器的通信过程中的丢包率来反映。应当理解的是，本发明不局限于特定的指标，而且如上所述，而且还可以采用各种指标的组合，所有这些都在本发明的保护范围之内。

另外，可选地，在步骤S410中在为每个视频端点分配权重时，可能期望考虑每个视频端点加入视频会议的时长。由于视频端点在刚加入视频会议时，在该位置处的参与者与其他会议参与者之间的交互可能较为重要，因此，可能期望向刚加入视频会议的视频端点分配较优的权重，以便该视频端点的纠错请求可以尽快被处理。可以存在多种方式来定义这类刚加入的视频端点。例如，可以将加入视频会议的时长短于5秒的视频端点确定为刚加入会议的视频端点。当然，也可以限定其它时长，比如10秒、15秒等，所有这些都在本发明的保护范围之内。步骤S410通常可以在控制器240的权重值分配部件310中执行。

随后，在步骤S420中，确定一个或者更多个阈值。这些阈值可以用于对视频端点进行归类。将在步骤S410中确定的权重值处于由这些阈值所划分的同一阈值范围区间中的视频端点归为一类。可以有多种方式来确定阈值，而阈值确定的原则在于可以明确地对视频端点归类。例如可以将具有非常好的通信状况的视频端点归为一类（例如，在通信过程中不会丢包的视频端点），将具有良好通信状况的视频端点归为一类（例如，丢包率低于5%的视频端点），以及将通信状况较差的视频端点归为一类（例如，丢包率大于30%的视频端点）。

另外，如果在步骤S410中还考虑了每个视频端点加入视频会议系统的时长在为每个视频端点分配权重，则在步骤S420中确定阈值时，可能期望确定便于将刚加入视频会议的视频端点归为一类来处理的阈值。

应当理解，基于上述描述，可以得知在步骤S420中可以采用多种用于确定阈值的方式。所有基于为每个视频端点分配的权重来确定阈值并根据阈值来对参与会议的视频端点进行归类的阈值确定方式都在本发明的保护范围之内。步骤S420可以在控制器340的阈值确定部件320中执行。

在步骤S430中，可以确定多个响应时间段，每个响应时间段与步骤S420中所确定的阈值所划分的阈值范围相对应。例如，如果在步骤S420中确定了N个阈值，由这N个阈值划分的阈值范围为N+1个，因此在步骤S430所确定的响应时间段数目也应该为与阈值范围数目相对应的N+1个。在步骤S430中确定的响应时间段也可以与所归类的视频端点相关联。与其纠错请求需要尽快处理类别的视频端点相对应的响应时间段应该较短，反之亦然。步骤S430可以在控制器240的响应时间段确定部件330中执行。

随后，当在步骤S440中接收到来自视频端点的纠错请求时，在步骤S450中获取在步骤S410中为该视频客户端分配的权重，在步骤S460中将所获取的权重值和在步骤S420中所确定的阈值进行比较来确定该权重值所处的阈值范围，并在步骤S470中获取在步骤S430处确定的、与阈值范围相对应的响应时间，随后在步骤S480中可以根据所确定的响应时间段来对该视频端点的纠错请求进行处理。例如在所确定的响应时间段内接收到多个来自该视频端点的纠错请求，则可以仅仅对第一个纠错请求进行处理。或者说，在处理了来自该视频端点的一个纠错请求之后，如果在所确定的响应时间段中又接收到来自同一个视频端点的后续纠错请求，则忽略该纠错请求。

在针对一个视频端点的纠错请求完成上述步骤S440-S480的处理之后，该方法可以进入步骤S490，其中进行等待以新的纠错请求（可以来自相同的视频端点或者不同的视频端点），并对在有新的纠错请求时，可以重复上述步骤S440-S480的处理。步骤S440-S480可以在控制器240的纠错请求处理部件340中执行

根据本发明的纠错请求处理方法400，可以通过为会议系统中的每个视频端点分配权重，并根据权重值的大小来以不同的响应时间来处理来自视频端点的纠错请求。这样，一些需要尽快处理（例如刚刚加入会议的视频端点）和因为意外而偶尔出错的视频端点（例如，具有良好通信状况的视频端点）的纠错请求会被尽快处理。而那些由于通信状况较差而导致频繁出错的视频端点的纠错请求会被忽略，从而不会导致其它视频会议参与方由于视频服务器对纠错请求的处理而感到不适。根据该处理方式，可以兼顾视频会议中的各个参与方，从而提高对视频会议的整体满意度。

由于视频端点和视频服务器之间的通信状况会随时间而发生改变，因此，可选地，在方法S400中，还定期重复步骤S410和S420以便更新为每个视频端点分配的权重以及所确定的阈值大小。

一般而言，视频端点和视频服务器之间的通信状况越好，为视频端点所分配的权重值就可以越高，而视频端点和视频服务器之间的通信状况越好，为视频端点所分配的权重值就可以越低。本发明以此为例来进行描述，当然，相反的权重值分配方式，即视频端点和视频服务器之间的通信状况越好，为视频端点所分配的权重值就可以越低的分配方式也可以在当向每个视频端点分配权重时采用。

在一些应用中，考虑到参与视频会议的视频端点数量，没有必要将视频端点划分为较多的类别，因此，根据本发明的一个实施方式，在步骤S420中可以确定两个阈值，即与好的通信状况相对应的第一阈值，以及与差的通信状况相对应的第二阈值。第一阈值高于第二阈值。

步骤S430可以确定三个响应时间段，第一响应时间段对应于由第一阈值和更高的值所确定的阈值范围，第二响应时间段对应于由第一阈值和第二阈值所确定的阈值范围，以及第三响应时间段对应于由第二阈值以及更低的值所确定的阈值范围。第一响应时间段可以短于所述第二响应时间段，而且第二响应时间段可以短于第三响应时间段。

下面以视频端点和视频服务器的通信状况由视频端点与视频服务器的通信过程中的丢包率来反映为例来进一步说明根据本发明一个实施方式的纠错请求处理方法400。

在步骤S410中，可以为刚加入视频会议的视频端点分配第一权重值。举例而言，第一权重值可以为500000。在步骤S410中，还可以为在与视频服务器的通信过程中不丢包的视频端点分配第二权重值。第二权重值可以小于第一权重值，举例而言，第二权重值可以是1000。

在步骤S410中，对于在与视频服务器的通信过程中发生丢包的视频端点，可以分配取决于丢包率和第三权重值的权重值。第三权重值可以小于第二权重值，而且为每个视频端点分配的权重值可以随着丢包率的上升而下降。举例来说，第三权重值W3可以被设置为100。而为每个视频端点分配的权重值与上面给出的表格1一致。可选地，在采用了LPR（丢包恢复）技术的视频端点处，由于视频端点本身可以恢复部分丢失的数据包，因此，这些视频端点分配的权重值可以可以高于为不具有LPR的视频端点所分配的权重值。为每个利用LPR的视频端点分配的权重值如上面的表格2所示。有关LPR的技术可以在专利号为US7876685的美国专利中获得，该专利的内容通过引用在此并入。

在步骤S410为每个视频端点分配了权重之后，在步骤S420中可以确定第一阈值H1和第二阈值H2。根据一个实施方式，可以如下所述来定义第一阈值H1和第二阈值H2：

第一阈值H1=（视频端点的数量×0.4）×第二权重；以及

第二阈值H2=（视频端点的数量×0.5）×第三权重。

在步骤S420中可以采用多种方式来定义第一阈值和第二阈值，只要第一阈值确定为使得第一权重值大于第一阈值以及将第二阈值确定为使得第二权重值大于第二阈值即可。也就是说，刚加入视频会议的视频端点的权重应该大于第一阈值，而通信状况良好的视频端点，即丢包率为0的视频端点的权重值至少应该大于第二阈值。

在步骤S430中所确定的第一响应时间段为3秒，第二响应时间段为30秒，而第三响应时间段为60秒。

步骤S440-S480的处理同上，这里就不在进行赘述。

应当注意的是，在上述控制器的各个部件中，根据其要实现的功能而对其中的部件进行了逻辑划分，但是，本发明不受限于此，可以根据需要对各个部件进行重新划分或者组合，例如，可以将一些部件组合为单个部件，或者可以将一些部件进一步分解为更多的子部件。

此处描述的方法、设备和系统可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的控制器中的一些或者全部部件的一些或者全部功能。此处描述的方法、设备和系统还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (21)

1.一种在包括视频服务器和至少一个视频客户端的视频会议中处理来自视频客户端的纠错请求的方法，包括：

为所述至少一个视频客户端中的每个视频客户端分配权重值，所述权重值的大小基于相应视频客户端和视频服务器的通信状况而确定；

根据该视频会议中视频客户端的数量和所分配的权重值的大小来确定一个或者更多个阈值；

确定多个响应时间段，每个响应时间段与由所述一个或者更多个阈值所划分的阈值范围之一相对应；

接收来自视频客户端的纠错请求，并且通过以下方式对来自所述视频客户端的纠错请求进行处理：

通过比较为所述视频客户端分配的权重值和所确定的一个或者更多个阈值来确定所述视频客户端所处的阈值范围，以及

根据与所确定的阈值范围相对应的响应时间段来对来自所述视频客户端的纠错请求进行处理。

2.如权利要求1所述的方法，其中在为每个视频客户端分配权重值时，还根据每个视频客户端加入所述视频会议的时长来确定所述权重值的大小。

3.如权利要求2所述的方法，其中在确定所述一个或者更多个阈值时，还进一步考虑了每个视频客户端加入所述视频会议的时长。

4.如权利要求1所述的方法，其中所述一个或者多个阈值包括与好的通信状况相对应的第一阈值，以及与差的通信状况相对应的第二阈值，

所述响应时间段包括与由第一阈值以及与好于第一阈值所对应的通信状况相对应的权重值所确定的第一阈值范围相对应的第一响应时间段，与由第一阈值和第二阈值所确定的第二阈值范围相对应的第二响应时间段，以及与由第二阈值以及与差于第二阈值所对应的通信状况相对应的权重值所确定的第三阈值范围相对应的第三响应时间段，其中所述第一响应时间段短于所述第二响应时间段，而且所述第二响应时间段短于所述第三响应时间段。

5.如权利要求4所述的方法，其中所述第三响应时间段的长度为第二响应时间段的两倍。

6.如权利要求2-5中的任一个所述的方法，其中所述相应客户端和视频服务器的通信状况包括所述相应客户端与视频服务器的通信过程中的丢包率。

7.如权利要求6所述的方法，其中为每个视频客户端分配权重还包括：

为加入所述视频会议的时长小于预定时间的视频客户端分配第一权重值；

为在与所述视频服务器的通信过程中不丢包的视频客户端分配第二权重值，所述第二权重值小于第一权重值；

为在与所述视频服务器的通信过程中发生丢包的视频客户端分配大小取决于丢包率和第三权重值的权重值，所述第三权重值大小小于第二权重值大小，而且所分配的权重值大小随着丢包率的上升而下降。

8.如权利要求7所述的方法，其中所述确定一个或者更多个阈值包括：

将第一阈值确定为使得所述第一权重值大小大于所述第一阈值；以及

将第二阈值确定为使得所述第二权重值大小大于所述第二阈值。

9.如权利要求1所述的方法，其中所述纠错请求为重新发送I帧请求。

10.如权利要求1所述的方法，还包括：

以预定时间间隔重复为每个视频客户端分配权重以及确定一个或者更多个阈值。

11.一个视频服务器，包括：

通信接口，被配置为与一个或者多个视频客户端进行通信以组成视频会议；

音频和视频处理器，被配置为处理来自所述视频会议中的各视频客户端的音频和/或视频信号，并在各视频客户端之间转发所述音频和/或视频信号；

控制器，被配置管理所述视频会议，并且还被配置为处理来自视频客户端的纠错请求，所述控制器还包括：

权重分配部件，适于为所述一个或者多个视频客户端中的每个视频客户端分配权重值，所述权重值的大小基于相应客户端和视频服务器的通信状况而确定；

阈值确定部件，适于根据所述视频客户端的数量和所分配的权重值大小来确定一个或者更多个阈值；

响应时间段确定部件，适于确定多个响应时间段，每个响应时间段与由所述一个或者更多个阈值所划分的阈值范围之一相对应；

纠错请求处理部件，适于接收来自视频客户端的纠错请求，通过比较为视频客户端分配的权重值和所确定的一个或者多个阈值来确定所述视频客户端所处的阈值范围，并以与所确定的阈值范围相对应的响应时间段来处理来自所述视频客户端的纠错请求。

12.如权利要求11所述的视频服务器，其中所述权重分配部件被配置为还根据每个视频客户端加入所述视频会议的时长来为每个视频客户端分配权重。

13.如权利要求12所述的视频服务器，其中所述阈值确定部件被配置为还进一步考虑了每个视频客户端加入所述视频会议的时长来确定所述一个或者更多个阈值。

14.如权利要求11所述的视频服务器，其中由所述阈值确定部件所确定的阈值包括与好的通信状况相对应的第一阈值，以及与差的通信状况相对应的第二阈值，以及

由所述响应时间段确定部件确定的响应时间段包括与由第一阈值以及与好于第一阈值所对应的通信状况相对应的权重值所确定的第一阈值范围相对应的第一响应时间段，与由第一阈值和第二阈值所确定的第二阈值范围相对应的第二响应时间段，以及与由第二阈值以及与差于第二阈值所对应的通信状况相对应的权重值所确定的第三阈值范围相对应的第三响应时间段，其中所述第一响应时间段短于所述第二响应时间段，而且所述第二响应时间段短于所述第三响应时间段。

15.如权利要求14所述的视频服务器，其中所述第三响应时间段的时长为第二响应时间段时长的两倍。

16.如权利要求12-15中的任一个所述的视频服务器，其中所述相应视频客户端和视频服务器的通信状况包括所述相应视频客户端与视频服务器的通信过程中的丢包率。

17.如权利要求16所述的视频服务器，其中所述权重分配部件被配置为：

为加入所述视频会议的时长小于预定时间的视频客户端分配第一权重值；

为在与所述视频服务器的通信过程中不丢包的视频客户端分配第二权重值，所述第二权重值大小小于第一权重值大小；

为在与所述视频服务器的通信过程中发生丢包的视频客户端分配大小取决于丢包率和第三权重值的权重值，所述第三权重值大小小于第二权重值大小，而且所分配的权重值大小随着丢包率的上升而下降。

18.如权利要求17所述的视频服务器，其中所述阈值确定部件被配置为：

将第一阈值确定为使得所述第一权重值大小大于所述第一阈值；以及

将第二阈值确定为使得所述第二权重值大小大于所述第二阈值。

19.如权利要求11所述的视频服务器，其中所述纠错请求为重新发送I帧请求。

20.如权利要求11所述的视频服务器，其中所述权重分配部件和所述阈值确定部件以预定时间间隔重复地为每个视频客户端分配权重值以及确定相应阈值。

21.一种视频会议系统，包括：

如权利要求11-20中的任一个所述的视频服务器；以及

一个或者多个视频客户端，经由所述视频服务器来相互发送和接收音频和/或视频信号，

其中所述视频客户端在未能正确获取I帧数据时，向所述视频服务器发送重新发送I帧请求，以便由所述视频服务器对该I帧请求进行处理。