CN101675613B - 改进的缓冲时间确定 - Google Patents

Abstract

本发明涉及在帧缓冲的上下文中的方法、计算机程序产品和装置。基于与特定帧相关联的特定缓冲时间以及表示存储在帧缓冲器中的特定数据量的信息，确定了用于通过所述帧缓冲器所接收到的一个或多个帧的缓冲时间。

Description

改进的缓冲时间确定

技术领域

本发明涉及帧的缓冲，并且更具体地，涉及确定用于由帧缓冲器所接收到的一个或多个帧的缓冲时间。

背景技术

帧缓冲器被部署在尤其是视频和音频处理的上下文中，例如像在基于IP的语音(VoIP)系统中。

通常，在诸如因特网的分组交换网络中，网络抖动和分组丢失状况可以造成例如在会话式语音服务中的质量下降。分组交换通信的性质在分组(含有帧)的传输时间中可以引入被称为抖动的变化，这可以被接收机视为以不规则间隔到达的分组。然而，音频回放设备需要恒定的输入，以维持良好的音频质量，并且可能不允许任何中断。因而，如果一些分组/帧在它们被要求回放之后到达接收机处，则解码器可能必须将那些帧考虑为丢失并且进行错误隐藏(concealment)。

通常，管理网络抖动的固定缓冲器可以被用于存储输入帧达到(例如，在收到流的第一分组时就指定的)预定的时间量，以便隐藏不规则的到达时间，并且向解码器和回放组件提供恒定的输入。

在图1中说明了该方法，图1分别示出了发射机TX、接收机RX和解码器DEC的时间线。在最上面的时间线上，规则间隔的帧的传送时间点由垂直线来图示。类似地，在中间的时间线中，所传送的帧的接收时间点由垂直线来图示，其中，例如由于网络抖动引起的接收时间点不规则地间隔开。最后，最下面的时间线示出了帧的解码时间点，由于解码器DEC需要向回放设备提供恒定的输入，因此帧的解码时间点是规则间隔的。其中，在相同帧的传送、接收和解码时间点之间的关系通过虚线箭头的方式来图示。如通过将处于中间时间线中的第一接收到的帧的接收时间点与处于最下面时间线中其关联的解码时间点相比较可以看出的，由于所接收到的帧在解码过程之前被存储在抖动缓冲器中，因此抖动缓冲器引入了增加端到端延迟的附加延迟。

该基本方法的缺点是：要求固定回放定时的抖动缓冲器管理方案不可避免地是在足够低缓冲延迟与足够低数目的延迟帧之间的折衷，并且找到最优折衷可能是困难的任务。例如，在图1所示的情形下，在100ms处发送的帧在需要解码器DEC对其进一步处理之后到达接收机RX处，并且因此，它需要利用错误隐藏来替换(即，出现了“滞后丢失(late loss)”，如垂直虚线所示)。

可能存在这样的特有环境和应用，即，在该环境和应用中，可以估计预期抖动的量以保持在预定限制之间。然而，一般而言，与抖动相关联的网络延迟可以在相同的会话内从少量时间变化到成百毫秒。根据预期最坏情况的场景，使用要求固定回放定时的抖动缓冲器管理方案，并且初始缓冲延迟被设置成覆盖该抖动的足够大的值，将保持控制延迟分组的数目。然而，与此同时可能会出现以下风险：引入可能太长而使得不能够实现自然会话的端到端延迟。在这种情况下，在基于分组交换网络(例如，在基于3GPP IP多媒体子系统(IMS)的VoIP中)操作的大多数音频传输应用中，应用固定抖动缓冲器管理方案可能不是实用的选择。

与固定抖动缓冲器管理方案相比，自适应抖动缓冲器管理方案可以用于动态地控制在足够短延迟与足够低数目的延迟帧之间的平衡。在该方法中，控制抖动缓冲器的实体恒定地监视输入分组流，并且根据所观察到的网络延迟行为上的改变而调节缓冲延迟(或缓冲时间，这些术语可互换地使用)。如果传输延迟看起来增加或抖动变得更糟，则可能需要增加缓冲延迟以符合网络状况。在传输延迟看起来降低的相反的情形下，可以减少缓冲延迟，并且因此，可以最小化整个端到端延迟。

在自适应抖动缓冲器管理中的挑战之一是传输特性的可靠估计-或实际预测。尽管基于最近分组的接收统计信息的调节通常对短期网络行为给出了合理的估计，然而也会不可能避免以下事实：一些帧在它们计划的解码时间之后到达-即，对于正常解码来说太迟，尤其是当应用相对严格的缓冲延迟要求时。

在活动语音期间的抖动缓冲器调节需要附加的处理来缩短或扩展语音信号(即，时间缩放，也被称为时间翘曲(warping))，以维持良好的语音质量和清晰度。例如，在文献WO 03/021830和US 2006/0056383中公开了适当的方法。为了避免复杂的时间缩放，一种用于抖动缓冲器管理的常用方法是：在舒适噪声信号周期期间(通常在新的话音突峰的开始处(即，在语音肇端(onset)处)执行调节。可以预见该方法提供具有高质量的低复杂度调节功能，因为舒适噪声信号并不携带对于清晰度或实际语音质量来说重要的信息。肇端自适应抖动缓冲器管理的微小缺点是：即使网络分析器检测到延迟特性上的变化，抖动缓冲器调节也需要等待下一语音肇端发生。然而，抖动缓冲器管理解决方案将肇端自适应方法应用为调节功能的一部分。其中基本的方法是：重新估计所需要的缓冲时间，并且在每个语音肇端进行调节，而在活动语音期间仅采取紧急调节步骤。

基本(自适应)抖动缓冲器管理方法将缓冲器中当前帧数目的统计信息用作缓冲器状态的指示。例如，如果在缓冲器中的帧数目低于预定的(或自适应确定的)门限，则可以启动在下一语音肇端处发生用于增加缓冲时间的调节步骤，以便降低后续帧到达太晚的风险。然而，如果在缓冲器中帧数目高于另一个预定的(或自适应确定的)门限，则可以启动用于降低缓冲时间的调节步骤，以便减少延迟用于改进交互。

备选方法可以使用在若干帧上所计算的统计信息而不是仅考虑单个帧。例如，当在包括若干帧的分析窗口(或对应于若干帧的持续时间的时间)上，缓冲器中的帧数目低于或高于预定限制时，可以对实例的数目进行计数。同样，缓冲器中的帧的平均数目可以通过分析窗口而被考虑为用于控制抖动缓冲器管理操作的缓冲器状态的指示。

当基于帧的数目考虑缓冲器状态指示时，应用调节的一个可能的方法是：将目标缓冲器级别估计为帧的数目，并且然后，在对检测到语音肇端的点处的话音突峰的第一帧进行解码(或回放)之前，等待所选择的帧数目到达并累积在缓冲器中。

这在图2中进行了说明，其中图2的结构。在该例中，语音肇端帧是在20ms处传送(并且大约在36ms处接收到)的帧，并且解码和回放在三个帧(要解码的第一帧加上其它两个提供假定40ms的抖动保护的帧)已经到达缓冲器之后开始。在该例中，该方法将导致针对话音突峰的第一帧的大约52ms的缓冲延迟。

一种相当不同的抖动缓冲器管理方法是基于缓冲时间来指示缓冲器状态。缓冲时间可以例如是当帧被传递到解码器(或回放设备)时所记录的观察到的缓冲时间，或者当接收到帧时所计算的预测缓冲时间。用于预测缓冲时间的方法例如在文献WO 2006/044696中被公开。如在基于存储在缓冲器中的帧数目的前述方法中，基于缓冲时间的缓冲器调节方法也可以考虑在若干帧上而不是仅跟踪单个帧所计算的统计信息。

基于缓冲时间的抖动缓冲器管理可以例如通过以下方式来实现：估计所需要的缓冲时间(例如，以毫秒为单位)，以及当遭遇语音肇端时针对话音突峰的第一帧应用该缓冲时间。

图3中的例子图示了该方法。在这种情况下，所估计的40ms的缓冲延迟被应用于话音突峰的第一帧(通过简单地将它的解码和回放直接延迟40ms)。

可以预见先前所描述的用于语音肇端处理的抖动缓冲器管理方法提供平均约相等的性能(就延迟和滞后丢失而言)。然而，可能存在以下特殊情况：这些方法可能通过引入不必要的高缓冲延迟直到下一调节步骤或者通过提供并不充足的抖动保护而失败，从而导致不必要的高速率的滞后丢失帧。

例如，基于缓冲器中帧数目的抖动缓冲器管理的有问题的情况是：触发开始解码和回放的帧是“界外值(outlier)”-即，它(相对于后续帧)到达得太早或太迟。在图4所示的前者的情况下，缓冲器调节可以提供造成高滞后丢失率的太短的缓冲时间，而在图5所示的后者的情况下，缓冲时间将是不必要的高(并且还可能存在缓冲器溢出的风险)直到下一调节点。

如果指明了触发开始解码和回放的帧的“触发帧”在传输路径中丢失，则抖动缓冲器管理器将等待，直到在开始解码和回放之前成功地接收到下一帧。在长的丢失突发的情况下，这可以相当明显地增加缓冲时间。

另一方面，对于基于缓冲时间的抖动缓冲器管理来说，关键的帧是实际语音肇端帧：如果它到达得“早”，则缓冲时间可能太短(参见图6)，从而造成增加的滞后丢失率。如果它到达得“晚”，则缓冲时间可能变得不必要的长(参见图7)。

发明内容

公开了一种方法，其包括：基于与特定帧相关联的特定缓冲时间以及表示存储在帧缓冲器中的特定数据量的信息，为通过所述帧缓冲器所接收到的一个或多个帧确定缓冲时间。

此外，还公开了一种方法，其包括：基于与特定语音帧相关联的特定缓冲时间以及表示存储在抖动缓冲器中的特定数据量的信息，为通过所述抖动缓冲器所接收到的一个或多个语音帧确定缓冲时间。

此外，公开了一种在其上存储有计算机程序的计算机可读介质。该计算机程序包括可操作用于使处理器实现以下步骤的指令：基于与特定帧相关联的特定缓冲时间以及表示存储在帧缓冲器中的特定数据量的信息，为通过所述帧缓冲器所接收到的一个或多个帧确定缓冲时间。其中，该计算机可读介质可以是能够以电、磁、电磁或光的形式存储数据数据的任何介质。所述介质可以被固定地安装的介质或是可装卸的介质。

此外，公开了一种计算机程序，包括可操作用于使处理器实现以下步骤的指令：基于与特定帧相关联的特定缓冲时间以及表示存储在帧缓冲器中的特定数据量的信息，为通过所述帧缓冲器所接收到的一个或多个帧确定缓冲时间。

此外，公开了一种装置，其包括确定单元，所述确定单元被配置以便：基于与特定帧相关联的特定缓冲时间以及表示存储在帧缓冲器中的特定数据量的信息，为通过所述帧缓冲器所接收到的一个或多个帧确定缓冲时间。

此外，公开了一种装置，其包括调节控制单元，所述调节控制单元被配置以便：基于与特定语音帧相关联的特定缓冲时间以及表示存储在抖动缓冲器中的特定数据量的信息，为通过所述抖动缓冲器所接收到的一个或多个语音帧确定缓冲时间。

最后，公开了一种设备，其包括：用于基于与特定帧相关联的特定缓冲时间以及表示存储在帧缓冲器中的特定数据量的信息，为通过所述帧缓冲器所接收到的一个或多个帧确定缓冲时间的装置。

上述装置可以分别体现为模块。该模块例如可以连接到含有帧缓冲器的设备，以便为通过所述帧缓冲器所接收到的一个或多个帧确定缓冲时间。所述装置同样也可以包括所述帧缓冲器本身。所述装置可以例如是接收、缓冲和进一步处理所述帧的接收机。所述装置例如可以是用于因特网协议多媒体子系统的多媒体电话服务(MTSI)语音接收机或这样的接收机的一部分。

根据本发明的所述方法、计算机程序产品、计算机程序和装置，确定了用于通过帧缓冲器所接收到的一个或多个帧的缓冲时间。所述帧例如可以按照分组的形式通过缓冲器来接收，并且所述分组可以由所述缓冲器拆开(unpacked)以获得所述帧。待确定的缓冲时间例如可以被定义为在帧缓冲器中接收到帧与将该帧输出到帧缓冲器外之间的时间。所述缓冲时间可以例如被确定仅用于单个帧，例如，用于特定帧，或者用于若干帧。通过所述帧缓冲器所接收到的帧可以具有相同的长度或具有不同的长度。所确定的缓冲时间可以例如用于触发通过诸如解码器这样的下游处理单元将帧从帧缓冲器读出。

基于与特定帧相关联的特定缓冲时间以及表示存储在帧缓冲器中的特定数据量的信息，确定了缓冲时间。所述特定帧可以例如是基准帧，例如，标记或表示开始、结束或变化的帧。所述特定帧例如可以是肇端语音帧，其标记了话音突峰的开始。然后，缓冲器缓冲语音帧以便例如补偿抖动，并且然后，特别地，基于该肇端语音帧的特定缓冲时间来确定用于一个或多个帧的缓冲时间。

所述特定缓冲时间可以例如是对于所述特定帧所估计需要的缓冲时间，或者可以定义自从在帧缓冲器中接收到所述特定帧直到当前时间点所逝去的时间。

表示存储在帧缓冲器中的特定数据量的信息可以指的是存储在帧缓冲器中的所有数据，或者仅是其一部分。表示存储在帧缓冲器中的特定数据量的信息可以例如包括：帧缓冲器中所含的帧数目，和/或帧缓冲器中所含的帧数目所覆盖的时间跨度，以便仅列举几个示例性可能性。帧缓冲器中所含的帧数目可以例如与帧缓冲器中当前所含的所有帧相关。对于帧缓冲器中所含的帧数目的限定可以例如被应用于以下场景：已经从所述帧缓冲器中读取的帧也被从所述帧缓冲器中移除了。同样，帧的数目可以仅与帧缓冲器中(例如，按照处理顺序，诸如按照解码顺序)相对于所述特定帧(例如，肇端帧)之后的那些帧有关，包括或排除所述特定帧。此外，如果帧缓冲器被配置以便缓冲不同帧序列的帧，则帧的数目可以仅与这些帧序列中的一个相关。

当在传输路径中丢失了一些帧的情况下，考虑帧缓冲器中所含的帧数目所覆盖的时间跨度可以提供关于缓冲器状态的更可靠的信息(相比于考虑帧缓冲器中所含的帧数目)。考虑以下例子：具有帧号n、n+1和n+3的帧被存储在缓冲器中。将帧缓冲器中所含的帧数目考虑为帧信息可以指示“缓冲器深度”是三个帧，然而考虑帧缓冲器中所含的帧数目所覆盖的时间跨度可以考虑以下事实：具有帧号n+2的帧从序列中丢失，以及在缓冲器中的帧实际上覆盖四个帧的时间跨度。

根据本发明的方法、计算机程序产品、计算机程序和装置，因而在考虑以下二者的情况下确定了用于一个或多个帧的缓冲时间：i)特定缓冲时间信息，以及ii)表示存储在帧缓冲器中的特定数据量的信息。该方法可以特别有助于改进在较低滞后丢失率和/或较短缓冲延迟方面的缓冲性能，尤其在引入大抖动和/或高丢失分组数目的挑战性传输情况下。

根据本发明的示例性实施例，所述信息包括：所述帧缓冲器中所含的帧数目所覆盖的时间跨度。

在本发明的该示例性实施例中，所述确定可以包括：将用于所述特定帧的输出时间点计算为接收到所述特定帧的时间点和所述特定缓冲时间的总和；以及在考虑所述特定缓冲时间以及所述帧缓冲器中所含的帧数目所覆盖的时间跨度的情况下，检查是否应当在所述输出时间点处或在另外的时间点处输出所述特定帧。因而对所述特定帧来说，缓冲时间被确定为在接收到所述特定帧的时间点与输出所述特定帧的时间点之间的差。

在本发明的该示例性实施例中，所述特定缓冲时间可以是所述特定帧所需要的缓冲时间。所需要的缓冲时间可以例如被估计。

在本发明的该示例性实施例中，所述检查可以包括：检查所述输出时间点是否已经逝去；在所述输出时间点已经逝去的情况下，检查所述时间跨度是否小于至少部分取决于所述特定缓冲时间的第一值，在所述时间跨度小于第一值的情况下，增加所述输出时间点并且返回到检查所述输出时间点是否已经逝去，并且在所述时间跨度不小于第二值的情况下，确定应当在当前时间点处输出所述特定帧；以及在所述输出时间点还没有逝去的情况下，检查所述时间跨度是否大于至少部分取决于所述特定缓冲时间的第二值，在所述时间跨度大于第二值的情况下，确定应当在当前时间点处输出所述特定帧，并且在所述时间跨度不大于第二值的情况下，返回到检查所述输出时间点是否已经逝去。其中，所述输出时间点可以例如增加恒定的值或自适应确定的值。在每次实现对所述输出时间点的增加时或之后，可以例如降低该值。

其中，第一值可以是所述特定缓冲时间减去第一裕度值。第二值可以是特定缓冲时间加上第二裕度值。第一和/或第二裕度值可以例如是恒定的或自适应确定的。

根据本发明的进一步的示例性实施例，所述信息包括：帧缓冲器中所含的帧数目。

在本发明的该示例性实施例中，所述确定可以包括：确定目标帧数目；以及在考虑所述特定缓冲时间以及从所述帧缓冲器中所含的帧数目导出的持续时间的情况下，检查是否应当在所述帧缓冲器中的帧数目已经达到目标帧数目的时间点处或者在另外的时间点处输出所述特定帧。

在本发明的该示例性实施例中，所述特定缓冲时间可以是自从已经接收到所述特定帧以来逝去的时间。

在本发明的该示例性实施例中，所述检查可以包括：检查帧缓冲器中的帧数目是否已经达到目标帧数目；在帧缓冲器中的帧数目已经达到了目标帧数目的情况下，检查从所述帧缓冲器中所含的帧数目导出的持续时间是否大于至少部分取决于所述特定缓冲时间的第三值，在所述持续时间大于第三值的情况下，增加目标帧数目并且返回到检查所述帧缓冲器中的帧数目是否已经达到目标帧数目，并且在所述持续时间不大于第三值的情况下，确定应当在当前时间点处输出所述特定帧；以及在帧缓冲器中的帧数目还没有达到目标帧数目的情况下，检查所述持续时间是否小于至少部分地取决于所述特定缓冲时间的第四值，在所述持续时间小于第四值的情况下，确定应当在当前时间点处输出所述特定帧，并且在所述持续时间不小于第四值的情况下，返回到检查所述帧缓冲器中的帧数目是否已经达到目标帧数目。

其中，第三值可以是所述特定缓冲时间加上第三裕度值。第四值可以是所述特定缓冲时间减去第四裕度值。第三和/或第四裕度值可以例如是恒定的或自适应确定的。

根据本发明的进一步的示例性实施例，对用于一个或多个帧的缓冲时间的所述确定是在用于因特网协议多媒体子系统的多媒体电话服务语音接收机中实现。同样，所述确定可以在任何其它类型的语音接收机中或在部署了缓冲器的任何其它类型的接收机中实现。

根据并且参照下文中呈现的详细描述所阐明的，本发明的这些和其它方面将显而易见。如上所述的本发明及其示例性实施例的特征被理解成也以彼此所有可能的组合来公开。

附图说明

在附图中示出：

图1：根据固定抖动缓冲器管理方案的帧缓冲的示例性图示；

图2：根据基于缓冲器中的帧数目的抖动缓冲器管理方案的帧缓冲的示例性图示；

图3：根据基于缓冲时间的抖动缓冲器管理方案的帧缓冲的示例性图示；

图4：根据在早到达的触发帧的情况下基于缓冲器中的帧数目的抖动缓冲器管理方案的帧缓冲的示例性图示；

图5：根据在晚到达的触发帧的情况下基于缓冲器中的帧数目的抖动缓冲器管理方案的帧缓冲的示例性图示；

图6：根据在早到达的肇端帧的情况下基于缓冲时间的抖动缓冲器管理方案的帧缓冲的示例性图示；

图7：根据在晚达到的肇端帧的情况下基于缓冲时间的抖动缓冲器管理方案的帧缓冲的示例性图示；

图8：根据本发明的装置的示例性实施例的示意框图；

图9：根据本发明的抖动缓冲器管理的第一示例性实施例的流程图；

图10：根据在早到达的肇端帧的情况下根据本发明的抖动缓冲器管理的第一示例性实施例的帧缓冲的示例性图示；

图11：根据本发明的抖动缓冲器管理的第二示例性实施例的流程图；

图12：根据在早到达的触发帧的情况下根据本发明的抖动缓冲器管理的第二示例性实施例的帧缓冲的示例性图示；以及

图13：根据在晚到达的触发帧的情况下根据本发明的抖动缓冲器管理的第二示例性实施例的帧缓冲的示例性图示。

具体实施方式

在本发明的下面详细描述中，将在语音编码系统的上下文中描述本发明的示例性实施例。然而，应当注意到，本发明不限于语音编码系统，而是同样可应用于对帧进行缓冲的所有其它类型的系统中。

图8是根据本发明的装置8的示例性实施例的示意框图。其中，借助于实线图示了在块之间的内容的传送，而借助于虚线图示了控制信息的传送。装置8被示例性地考虑成语音接收机，例如，在用于因特网协议多媒体子系统的多媒体电话服务(MTSI)的情境下。

装置8包括抖动缓冲器800、语音解码器801、网络分析器802、调节控制逻辑803和调节单元804。

抖动缓冲器800被配置以便至少临时存储一个或多个语音帧，例如以分组806的形式经由(有线或无线)网络接收这一个或多个语音帧。这些分组806可以例如是实时传输协议(RTP)分组，通过缓冲器800拆开这些分组以获得语音帧。缓冲器800被链接到语音解码器801，以便当请求解码语音帧时输出这些语音帧。

在缓冲器800与调节控制逻辑803之间传送缓冲器状态信息808，例如像关于缓冲器800中所含的帧数目的信息、或者关于缓冲器中所含的帧数目所覆盖的时间跨度的信息、或者特定帧(诸如肇端帧)的缓冲时间。

网络分析器802监视输入的分组806，例如以便收集接收统计信息(例如抖动、分组丢失)。从网络分析器802将对应的网络分析器信息807传递到调节控制逻辑803。

特别地，调节控制逻辑803控制缓冲器800。该控制包括确定用于由缓冲器800所接收到的一个或多个帧的缓冲时间，并且基于网络分析器信息807和/或缓冲器状态信息808来实现。由调节控制逻辑803在确定缓冲时间时所实现的步骤将参照下面的流程图9和图11更加详细地解释。缓冲器800的缓冲延迟可以例如在舒适噪声时段、在激活语音时段期间或两者之间被控制。例如，肇端语音帧的缓冲时间可以通过调节控制逻辑803来确定，并且然后，语音解码器801可以(例如经由调节单元804、信号809和810)被触发，以便当所确定的缓冲时间已经逝去时，从缓冲器800中提取该肇端语音帧。

如果需要的话，调节单元804根据由调节控制逻辑803所给予的请求来缩短或延长输出语音信号812，以便以透明方式实现缓冲器延时调整。

语音解码器801从缓冲器800提取帧用于解码，并且将经解码的语音811输出到调节单元804。语音解码器801可以例如是自适应多速率(AMR)或者自适应多速率宽带(AMR-WB)语音解码器。

图9是根据本发明的抖动缓冲器管理的第一示例性实施例的流程图9。该流程图的步骤可以例如通过图8的调节控制逻辑803来实现，以便确定用于肇端帧的缓冲时间。

在第一步骤900中，检查肇端帧是否已经到达缓冲器800处。这可以例如以缓冲器状态信息808的形式被发信号通知给调节逻辑803(参见图8)。如果肇端帧已经到达，则在步骤901中估计肇端帧所需要的缓冲时间Tb。这可以例如基于从网络分析器802所获得的网络分析器信息807，通过调节控制逻辑803(参见图8)来实现。

在步骤902中，输出时间点Td被计算为当前时间点T和所估计需要的缓冲时间Tb的总和。

在步骤903中，检查输出时间点Td是否已经逝去。如果是这种情况，则在步骤904中，检查缓冲器800中所含的所有帧所覆盖的时间跨度Tr是否小于所估计需要的缓冲时间Tb减去第一裕度值Tm1(其可以是恒定的或者自适应的)。其中，假设帧缓冲器800仅含有“新的”帧，即，按照解码顺序相对于肇端帧之后的帧。这可以暗示：已经从帧缓冲器800中移除了已被解码的“旧的”帧。如果“旧的”帧至少被临时地保存在帧缓冲器800中，则时间跨度可以例如被考虑成仅与肇端帧以及按照回放顺序相对于肇端帧之后的帧有关。关于时间跨度的信息或计算时间跨度所需的信息可以例如以缓冲器状态信息808的形式被发信号通知给调节控制逻辑(参见图8)。如果在步骤904中的检查是肯定的，则在步骤905中，输出时间点Td增加了值Ta(其可以是恒定的或是被自适应地确定的)，并且流程图跳回步骤903。其中，每当Td增加时，值Tm1可以例如被调节到更小的值。在长的丢失的突发的情况下，这可以有助于避免过度的缓冲延迟(如果我们保持在时间上向前推动Td，但却没有输入新的帧来增加值Tr，则我们可以结束添加更多的缓冲延迟，直到在丢失的突发之后的第一帧到达)。

如果在步骤904中的检查是否定的，则在步骤906中触发肇端帧的即时输出用于由语音解码器801(参见图8)进行解码。通过触发肇端帧的输出，也确定了肇端帧的缓冲时间。

如果在步骤903中对输出时间点Td是否已经逝去的检查是否定的，则在步骤907中检查缓冲器中所含的帧所覆盖的时间跨度Tr是否大于所估计需要的缓冲时间Tb加上第二裕度值Tm2(其可以是恒定的或被自适应地确定的)。如果在步骤907中的检查是否定的，则流程图跳回到步骤903。如果在步骤907中的检查是肯定的，则在步骤906中触发肇端帧的即时输出用于由语音解码器801(参见图8)进行解码。

如从图9的流程图9可以看出的，根据本发明的该第一示例性实施例，在考虑用于肇端帧的所估计需要的缓冲时间Tb以及缓冲器800中所含的帧数目所覆盖的时间跨度Tr的情况下，确定了肇端帧的缓冲时间。当在步骤903中的检查是肯定的时候，不是立即触发肇端帧的输出，流程图9而是执行考虑时间跨度Tr的知识的进一步的检查。

然后，调节控制逻辑803的处理采取以下形式：在话音突峰区域的开始处，缓冲器800被填充有语音数据的输入分组/帧。当解码器时间线达到所确定的输出时间点Td时(步骤903)，抖动缓冲器管理系统注意在缓冲器800中存储了多少帧，并且确定由这些语音帧所覆盖的时间跨度。如果网络已经经历了延迟，那么缓冲器800将不会像它应当表现得那样满。在这种情况下，由这些语音帧所覆盖的时间跨度可以小于所估计需要的缓冲时间Tb减去某个裕度值Tm1(步骤904)。时间线被推回了值Ta(步骤905)，这将肇端语音帧的解码有效地延迟了该值。于是，这给予了缓冲器800填充来自网络的更多的分组/帧的机会。该“循环”继续，直到存在足够的语音数据的分组/帧，它们所覆盖的时间跨度大到足以满足所估计需要的缓冲时间Tb。使用该技术可以允许对下溢的更好控制，这使得改进了基于分组的系统的语音质量。

可选地，在帧是按照突发到达的网络情况下，缓冲器800中的帧所占据的时间跨度Tr可以大于所估计需要的缓冲时间Tb加上某个裕度Tm2(步骤907)。解码将开始。这有效地将解码器的时间线推向在已经达到输出时间点Td之前的时间点。使用该技术使得解码器时间线的延迟保持最小，从而允许端到端的语音通信延迟尽可能的小。此外，也减小了缓冲器溢出的风险。

图10图示了在早到达的肇端帧的情况下通过本发明的第一示例性实施例所实现的增强(相比于图6)。结果，不是使用用于肇端语音帧的所估计需要的缓冲时间Tb，而是使用了增加的缓冲时间，从而使得相比于图6的抖动缓冲器管理方法(其仅考虑所估计需要的缓冲时间Tb，而并没有另外考虑时间跨度Tr)，可以避免所有的帧丢失。

图11是根据本发明的抖动缓冲器管理的第二示例性实施例的流程图11。该流程图11的步骤可以例如通过图8的调节控制逻辑803来实现，以便确定用于肇端帧的缓冲时间。

在第一步骤1100中，检查肇端语音帧是否已经到达缓冲器800处(参见图8)。如果不是这种情况，则流程图跳回到步骤1100；否则，在步骤1101中，例如基于从网络分析器802(参见图8)接收到的网络分析器信息802来确定目标帧数目Nr。目标帧数目Nr暗示Tr毫秒的抖动保护(即，Tr＝Nr^＊以毫秒为单位的帧持续时间)。

然后，在步骤1102中，检查缓冲器800中所含的所有帧的数目是否已经达到目标帧数目Nr。其中，假设帧缓冲器800仅含有“新的”帧，即，按照解码顺序相对于肇端帧之后的帧。这可以暗示：已经从帧缓冲器800中移除已被解码的“旧的”帧。如果“旧的”帧至少临时地被保持在帧缓冲器800中，则时间跨度可以例如被考虑成仅与肇端帧以及按照回放顺序相对于肇端帧之后的帧有关。

如果在步骤1102中的检查是肯定的，则在步骤1103中检查Tr是否大于值Tb加上第三裕度值Tm3(其可以是恒定的或是被自适应地确定的)。其中，值Tb是自从在缓冲器800中收到肇端帧以来所逝去的时间。应当注意，值Tb代表缓冲时间，但是，其相对于在第一示例性实施例中所使用的值Tb而言具有不同的意义。

如果在步骤1103中的检查是肯定的，则在步骤1104中将目标帧数目Nr增加例如一个帧，并且流程图跳回到步骤1102。否则，在步骤1105中触发肇端帧的即时输出用于由语音解码器801(参见图8)进行解码。通过触发肇端帧的输出，也确定了肇端帧的缓冲时间。

如果在步骤1102中的检查是否定的，则在步骤1106中检查值Tr是否小于值Tb减去第四裕度值Tm4。如果不是这种情况，则流程图跳回到步骤1102。否则，在步骤1105中触发肇端帧的即时输出用于由语音解码器801(参见图8)进行解码。

如可以从图11的流程图11看出的，根据本发明的该第二示例性实施例，在考虑关于缓冲器800中的帧数目的信息以及关于肇端帧的缓冲时间Tb的信息的情况下，确定了肇端帧的缓冲时间。当在步骤1102中的检查是肯定的时，不是立即触发肇端帧的输出，流程图11而是执行考虑肇端帧的缓冲时间Tb的知识的进一步的检查。

然后，调节控制逻辑803的处理将采取以下形式：抖动缓冲器管理从目标帧数目Nr开始。该数目具有等效时间值Tr，其是(基于帧数目)按照时间所估计的缓冲器延迟。

值Tr用于延迟解码器时间线。所以在语音帧以规则间隔(例如，20ms)从网络到达的理想情况下，缓冲器800的填充率将等于解码器时间线必须被延迟的时间，因此，在这种情况下Tb＝Tr。

然而，如果在话音突峰区域的开始处，在缓冲器800中接收到语音帧的突发，那么缓冲器800将以比在解码器时间线中所需要的延迟值Tr更快的速率进行填充。所以在这种情况下，缓冲时间需要增加，以便容纳当在解码器时间线中已经达到目标延迟Tr之前到达的额外的帧。缓冲器大小将增加一个帧。注意到，Tr的实际值在进行这一测试与计算循环时没有被更新。该方法有效地允许抖动缓冲器管理处理由网络传递的分组数目上的突发。

可选地，在话音突峰区域开始处，网络可能正在以较慢速率传递分组/帧。在这种情况下，缓冲器800将以比解码器时间线正在前行的速率更慢的速率来填充(至所需要的缓冲器深度)。在这种情况下，为了避免过度的抖动缓冲器延迟，一旦Tb＞Tr+Tm4，解码器回放就将开始。

图12图示了在早到达的触发帧的情况下通过本发明的第二示例性实施例所实现的增强(相比于图4)。结果，当抖动缓冲器管理等待所期望的缓冲时间逝去的时候增加了缓冲时间。相比于图4，因而由于对缓冲时间Tb及其与Tr的比较的另外考虑，而增加了缓冲时间并且可以避免所有的帧丢失。

另一方面，图13呈现了在晚到达的触发帧的情况下通过本发明的第二示例性实施例所实现的增强(相比于图5)。这里，通过另外考虑缓冲时间Tb并将其与Tr相比较，可以相比于图5显著地减少缓冲延迟。

本发明所提出的实施例提供了计算上简单的机制来改进缓冲性能(就更低的丢失率和/或更短的缓冲延迟而言)，尤其在引入大抖动和/或高数目的丢失帧的挑战性传输情况下。

已经借助于示例性实施例描述了本发明。应当注意到，存在对本领域技术人员显而易见并且可以在不背离所附权利要求的范围和精神的情况下来实现的备选方式和变型。

此外，本领域的技术人员很容易明白，在以上描述中所呈现的示意框图以及流程图和算法步骤中的逻辑块可以至少部分地在电子硬件和/或计算机软件中实现，其中，这取决于逻辑块、流程图步骤和算法步骤的功能性，并且取决于对相应设备所施加的关于在硬件或软件中实现逻辑块、流程图步骤或算法步骤的程度的设计限制。所呈现的逻辑块、流程图步骤和算法步骤可以例如在一个或多个数字信号处理器、专用集成电路、现场可编程门阵列或其它可编程设备中实现。计算机软件可以存储在各种电、磁、电磁或光类型的存储介质中，并且可以通过例如像微处理器这样的处理器来读取和执行。为此，处理器和存储介质可以耦合以互换信息，或者存储介质可以被包括在处理器中。

Claims (25)

1.一种方法，其包括：

基于与特定帧相关联的特定缓冲时间以及在帧缓冲器中所含的帧数目所覆盖的时间跨度，确定用于通过所述帧缓冲器所接收到的一个或多个帧的缓冲时间，其中所述确定包括：

将用于所述特定帧的输出时间点计算为接收到所述特定帧的时间点和所述特定缓冲时间的总和；以及

在考虑所述特定缓冲时间以及所述帧缓冲器中所含的所述帧数目所覆盖的所述时间跨度的情况下，检查是否应当在所述输出时间点处或在另外的时间点处输出所述特定帧，其中所述检查包括：

检查所述输出时间点是否已经逝去；

在所述输出时间点已经逝去的情况下，检查所述时间跨度是否小于至少部分取决于所述特定缓冲时间的第一值，在所述时间跨度小于所述第一值的情况下，增加所述输出时间点并且返回到所述检查所述输出时间点是否已经逝去，并且在所述时间跨度不小于第二值的情况下，确定应当在当前时间点处输出所述特定帧；以及

在所述输出时间点还没有逝去的情况下，检查所述时间跨度是否大于至少部分取决于所述特定缓冲时间的第二值，在所述时间跨度大于所述第二值的情况下，确定应当在当前时间点处输出所述特定帧，并且在所述时间跨度不大于所述第二值的情况下，返回到所述检查所述输出时间点是否已经逝去。

2.根据权利要求1所述的方法，其中所述特定帧是肇端语音帧。

3.根据权利要求1所述的方法，其中所述特定缓冲时间是所述特定帧所需要的缓冲时间。

4.根据权利要求3所述的方法，其中所需要的缓冲时间是被估计的。

5.根据权利要求1所述的方法，其中所述第一值是所述特定缓冲时间减去第一裕度值。

6.根据权利要求1所述的方法，其中所述第二值是所述特定缓冲时间加上第二裕度值。

7.根据权利要求1所述的方法，其中对用于所述一个或多个帧的所述缓冲时间的所述确定是在用于因特网协议多媒体子系统的多媒体电话服务语音接收机中实现的。

8.根据权利要求1所述的方法，其中所述特定帧是特定语音帧，并且所述帧缓冲器是抖动缓冲器。

9.一种方法，包括：

基于与特定帧相关联的特定缓冲时间以及帧缓冲器中所含的帧数目，确定用于通过所述帧缓冲器所接收到的一个或多个帧的缓冲时间，其中所述确定包括：

确定目标帧数目；以及

在考虑所述特定缓冲时间以及从所述帧缓冲器中所含的所述帧数目导出的持续时间的情况下，检查是否应当在所述帧缓冲器中的帧数目已经达到所述目标帧数目的时间点处或者在另外的时间点处输出所述特定帧，其中所述检查包括：

检查所述帧缓冲器中的帧数目是否已经达到所述目标帧数目；

在所述帧缓冲器中的所述帧数目已经达到了所述目标帧数目的情况下，检查从所述帧缓冲器中所含的所述帧数目导出的持续时间是否大于至少部分取决于所述特定缓冲时间的第三值，在所述持续时间大于所述第三值的情况下，增加所述目标帧数目并且返回到所述检查所述帧缓冲器中的帧数目是否已经达到所述目标帧数目，并且在所述持续时间不大于所述第三值的情况下，确定应当在当前时间点处输出所述特定帧；以及

在所述帧缓冲器中的所述帧数目还没有达到所述目标帧数目的情况下，检查所述持续时间是否小于至少部分取决于所述特定缓冲时间的第四值，在所述持续时间小于所述第四值的情况下，确定应当在当前时间点处输出所述特定帧，并且在所述持续时间不小于所述第四值的情况下，返回到所述检查所述帧缓冲器中的帧数目是否已经达到所述目标帧数目。

10.根据权利要求9所述的方法，其中所述特定帧是肇端语音帧。

11.根据权利要求9所述的方法，其中所述特定缓冲时间是自从已经接收到所述特定帧以来所逝去的时间。

12.根据权利要求9所述的方法，其中所述第三值是所述特定缓冲时间加上第三裕度值。

13.根据权利要求9所述的方法，其中所述第四值是所述特定缓冲时间减去第四裕度值。

14.根据权利要求9所述的方法，其中对用于所述一个或多个帧的所述缓冲时间的所述确定是在用于因特网协议多媒体子系统的多媒体电话服务语音接收机中实现的。

15.根据权利要求9所述的方法，其中所述特定帧是特定语音帧，并且所述帧缓冲器是抖动缓冲器。

16.一种装置，其包括：

-确定单元，所述确定单元被配置以便：基于与特定帧相关联的特定缓冲时间以及在帧缓冲器中所含的帧数目所覆盖的时间跨度，确定用于通过所述帧缓冲器所接收到的一个或多个帧的缓冲时间，

其中所述确定单元包括：

-计算单元，所述计算单元被配置以便：将用于所述特定帧的输出时间点计算为接收到所述特定帧的时间点和所述特定缓冲时间的总和；以及

-检查单元，所述检查单元被配置以便：在考虑所述特定缓冲时间以及所述帧缓冲器中所含的所述帧数目所覆盖的所述时间跨度的情况下，检查是否应当在所述输出时间点处或者在另外的时间点处输出所述特定帧，

其中所述检查单元被配置以便：

-检查所述输出时间点是否已经逝去；

-在所述输出时间点已经逝去的情况下，检查所述时间跨度是否小于至少部分取决于所述特定缓冲时间的第一值，在所述时间跨度小于所述第一值的情况下，增加所述输出时间点并且返回到所述检查所述输出时间点是否已经逝去，并且在所述时间跨度不小于第二值的情况下，确定应当在当前时间点处输出所述特定帧；以及

-在所述输出时间点还没有逝去的情况下，检查所述时间跨度是否大于至少部分取决于所述特定缓冲时间的第二值，在所述时间跨度大于所述第二值的情况下，确定应当在当前时间点处输出所述特定帧，并且在所述时间跨度不大于所述第二值的情况下，返回到所述检查所述输出时间点是否已经逝去。

17.根据权利要求16所述的装置，其中所述装置被体现为模块。

18.根据权利要求16所述的装置，其中所述装置是以下之一：用于因特网协议多媒体子系统的多媒体电话服务语音接收机和这样的接收机的一部分。

19.根据权利要求16所述的装置，其中所述特定帧是特定语音帧，并且所述帧缓冲器是抖动缓冲器。

20.一种装置，包括：

确定单元，所述确定单元被配置以便：基于与特定帧相关联的特定缓冲时间以及在帧缓冲器中所含的帧数目，确定用于通过所述帧缓冲器所接收到的一个或多个帧的缓冲时间，

其中所述确定单元包括：

-确定单元，所述确定单元被配置以便：确定目标帧数目；以及

-检查单元，所述检查单元被配置以便：在考虑所述特定缓冲时间以及从所述帧缓冲器中所含的所述帧数目导出的持续时间的情况下，检查是否应当在所述帧缓冲器中的帧数目已经达到所述目标帧数目的时间点处或者在另外的时间点处输出所述特定帧，

其中所述检查单元被配置以便：

-检查所述帧缓冲器中的帧数目是否已经达到所述目标帧数目；

-在所述帧缓冲器中的所述帧数目已经达到了所述目标帧数目的情况下，检查从所述帧缓冲器中所含的所述帧数目导出的持续时间是否大于至少部分取决于所述特定缓冲时间的第三值，在所述持续时间大于所述第三值的情况下，增加所述目标帧数目并且返回到所述检查所述帧缓冲器中的帧数目是否已经达到所述目标帧数目，并且在所述持续时间不大于所述第三值的情况下，确定应当在当前时间点处输出所述特定帧；以及

-在所述帧缓冲器中的所述帧数目还没有达到所述目标帧数目的情况下，检查所述持续时间是否小于至少部分取决于所述特定缓冲时间的第四值，在所述持续时间小于所述第四值的情况下，确定应当在当前时间点处输出所述特定帧，并且在所述持续时间不小于所述第四值的情况下，返回到所述检查所述帧缓冲器中的帧数目是否已经达到所述目标帧数目。

21.根据权利要求20所述的装置，其中所述装置被体现为模块。

22.根据权利要求20所述的装置，其中所述装置是以下之一：用于因特网协议多媒体子系统的多媒体电话服务语音接收机和这样的接收机的一部分。

23.根据权利要求20所述的装置，其中所述特定帧是特定语音帧，并且所述帧缓冲器是抖动缓冲器。

24.一种设备，其包括：

-用于基于与特定帧相关联的特定缓冲时间以及在帧缓冲器中所含的帧数目所覆盖的时间跨度，确定用于通过所述帧缓冲器所接收到的一个或多个帧的缓冲时间的装置，其中所述确定包括：

将用于所述特定帧的输出时间点计算为接收到所述特定帧的时间点和所述特定缓冲时间的总和；以及

在考虑所述特定缓冲时间以及所述帧缓冲器中所含的所述帧数目所覆盖的所述时间跨度的情况下，检查是否应当在所述输出时间点处或在另外的时间点处输出所述特定帧，其中所述检查包括：

检查所述输出时间点是否已经逝去；

在所述输出时间点已经逝去的情况下，检查所述时间跨度是否小于至少部分取决于所述特定缓冲时间的第一值，在所述时间跨度小于所述第一值的情况下，增加所述输出时间点并且返回到所述检查所述输出时间点是否已经逝去，并且在所述时间跨度不小于第二值的情况下，确定应当在当前时间点处输出所述特定帧；以及

在所述输出时间点还没有逝去的情况下，检查所述时间跨度是否大于至少部分取决于所述特定缓冲时间的第二值，在所述时间跨度大于所述第二值的情况下，确定应当在当前时间点处输出所述特定帧，并且在所述时间跨度不大于所述第二值的情况下，返回到所述检查所述输出时间点是否已经逝去。

25.根据权利要求24所述的设备，其中所述特定帧是肇端语音帧。

Images