CN107113283A

CN107113283A - 在低延迟多媒体流式传输环境中处理有问题的模式的方法

Info

Publication number: CN107113283A
Application number: CN201580054035.6A
Authority: CN
Inventors: J·靳丝伯根; N·曼德兹; N·瓦克
Original assignee: JACOTI bvba
Current assignee: JACOTI有限公司; JACOTI bvba
Priority date: 2014-10-02
Filing date: 2015-10-01
Publication date: 2017-08-29
Anticipated expiration: 2035-10-01
Also published as: CN107113283B; DK3202106T3; KR20170067726A; US20170318071A1; EP3202106A1; EP3202106B1; US10484448B2; KR102509179B1; WO2016050916A1

Abstract

在低延迟多媒体流式传输环境中处理有问题的模式的方法。本发明涉及一种用于通信设备中的缓冲器负载管理的方法，包括：·将被包括在数据分组中的多媒体数据储存在通信设备的第一缓冲器中，·确定对该第一缓冲器处的输入速率的指示并且将包含关于随时间的输入速率的信息的所述指示添加到第二缓冲器，·对包括关于随时间的输入速率的所述信息的信号执行自相关，·在该自相关中找到峰值并根据一组找到的峰值中的至少一个峰值来标识周期，·针对所述至少一个峰值，执行包括关于随时间的该输入速率的信息的信号与带有给定相位的具有所标识的周期作为主周期的周期信号的互相关，并且确定相对于该周期信号的相位偏移，·使用以所标识的周期作为主周期的成周期性的并具有如前一步骤中所确定的相位偏移的参考信号，以选择被储存在第二缓冲器中的关于该输入速率的信息的一个或多个部分，·通过分析所选择的部分来确定针对第一缓冲器的目标延迟，·通过修改第一缓冲器的输出速率和/或输入速率来将该目标延迟应用于第一缓冲器。

Description

在低延迟多媒体流式传输环境中处理有问题的模式的方法

技术领域

本发明一般涉及具有数据通信能力的设备的领域。更具体而言，其涉及用于处理低延迟传输链路中的事件的解决方案的领域。

发明背景

众所周知，对于声学通信而言，大空间是具有挑战性的环境。例如，在典型的教室中，教师与学生之间的距离远大于在正常的一对一(one-to-one)通信期间的大约1至1.5米的典型距离。因此，教师的语音在学生的位置处相对较弱。外部噪声源以及来自同学们的语音或其他声音将添加到声学效果中，从而导致低或者甚至负的信噪比。此外，房间的墙壁将声学混响添加到教师的语音中，这进一步降低了其可懂度。

尽管以上问题对于教室中的听障学生而言尤其严重，但是它们同样存在于教室之外，例如在大房间中的商务会议期间，在具有不良的室内声学效果或者只是因为一些会议参与者在演示文稿期间交谈或发出声音的房间中。

在现有技术中，已知的解决方案是基于将教师的语音通过无线电传输到学生的助听器来实现的。该系统被称为“FM系统”。图1提供了一个图示。借助FM无线传输，音频数据被传送到接收机，该接收机接着向耳机或助听器播放信号。

近年来，FM系统已通过以下实现得到了改进：对教师位置处的不同频率区域中的信噪比进行估计，并将该信息传送到FM接收机，以便通过向具有较多噪声能量的频率区域中教师的语音中添加增益来提高语音可懂度。

FM系统的一个重要限制是它们不允许改变信号延迟。这在需要增加延迟以与例如视频流同步的应用中尤其关键。另一个重要的限制在于FM系统是模拟的，在终点处不提供执行信号误差校正的办法，并且它们容易受到干扰。这些系统还是单向的，使得不可能使用相同的频带从接收机传送回音频。

任何数字音频解决方案中的一个重要挑战是保持由数字信号处理引入的延迟尽可能的低。系统的延迟被定义成介于在系统中接收到一些数据的时间与相同的数据被输出的时间之间的时间差。当提到低延迟音频时，由WiFi技术施加的挑战是众所周知的。据我们所知，市场上没有可用的音频过网络(audio-over-network)解决方案，其提供通过WiFi的具有小于100毫秒的音频延迟。诸如抖动、无线电模式改变等的损害在低延迟数据流方面是非常不利的。

处理这些损害的主要解决方案涉及在将流播放出之前缓冲足够大的数据量。以这种方式，系统可通过播放已被缓冲的数据以对其中没有数据到达系统的时间段有所保留。由于被缓冲的数据量很少(因为缓冲直接转换成附加延迟)，所以低延迟系统的一个具体问题是不能以有效的方式对损害作出反应。在这个意义上，低延迟流式传输系统采用“乐观”的方法，在该方法中尽可能少的数据被缓冲以补偿短时间的损害(如抖动)。这使得这些系统尤其容易受到可在较长时间段内发生的损害的影响。“间或”发生的这样的损害的示例是无线电模式改变或者不时占用所有带宽的在相同传输链路上运行的其他应用。因此，这些低延迟流式传输系统由于它们耗尽要播放出的数据的较高的可能性而更多地依赖于音频推断/修复机制。

VoIP解决方案可被应用在WiFi上，以获得具有通过局域网来流式传输实时音频的能力的系统。然而，这样的系统一般地被设计成通过互联网来传送音频并且对延迟要求几乎没有限制，这是由于它们通常使不具有直接视觉接触的人(因为他们在较大距离上通信并且不在同一房间中)互连。由于大的延迟，这些系统一般不适合用于在延迟受约束的(latency-constrained)环境中传送音频，诸如用于同一房间中的通信。

可作出关于视频数据的类似的观察。低延迟的重要性可针对想要倾听其亲临的会议的失聪人士并且其中附加的视频流被广播至辅助设备(如智能电话、智能眼镜等)的情况来作出解说。相同的延迟受约束的环境出现在音乐会中，其中观众直接从公共广播系统接收音频信号，但是多个视频流可用于想要在他们的个人通信设备上看到他们不想错过的音乐会的细节(例如，仅展示吉他手的视频流或仅展示歌手的视频流)的人们。显然，在这些情况下重要的是保持视频信号的延迟受到控制，优选地尽可能低。

越来越重要的是，这样的解决方案可运行在个人多用途设备(诸如智能电话或平板之类)上。这些设备正在成为供用户的通信的中心点，而它们仅通过在所述设备上运行软件解决方案来用作用于各种额外功能的开发的平台。这同样适用于无线通信平台。不仅仅从成本的角度，而且从便利的角度来看，在广泛分布的传输链路(诸如WiFi 802.11X)上运行解决方案的重要性日益增加。即使是从远程位置，这些设备也很容易使用。

重要的是要注意到，在这些设备中存在满足上述要求的解决方案，但是在那些商品平台上运行的解决方案没有能满足所描述的延迟受约束的环境的需求的。在那些环境中，系统在任何特定时间对可用性能的动态适配突然变为要考虑的最关键的因素之一。

因此，需要一种解决方案来处理个人多用途设备上的延迟受约束的环境。

发明概述

本发明的各实施例的目的是提供一种用于管理缓冲器负载并且避免对通信设备的周期性干扰的方法。

上述目标通过根据本发明的解决方案来实现。

在第一方面，本发明涉及一种用于通信设备中的缓冲器负载管理的方法。该方法包括：

－将被包括在数据分组中的多媒体数据储存在所述通信设备的第一缓冲器中，

－确定对该第一缓冲器处的输入速率的指示，并且将包含关于随时间的输入速率的信息的所述指示添加到第二缓冲器，

－对包括关于随时间的输入速率的所述信息的信号执行自相关，

－在该自相关中找到峰值，并且根据一组找到的峰值中的至少一个峰值来标识周期，

－针对所述至少一个峰值，执行包括关于该输入速率的信息的信号与带有给定相位的具有所标识的周期作为主周期的周期信号的互相关，并且确定相对于该周期信号的相位偏移，

－使用以所标识的周期作为主周期的成周期性的并具有如前一步骤中所确定的相位偏移的参考信号，以选择被储存在第二缓冲器中的关于该输入速率的信息的一个或多个部分。

－通过分析所选择的各部分来确定针对第一缓冲器的目标延迟，

－通过修改第一缓冲器的输出速率和/或输入速率来将该目标延迟应用于第一缓冲器。

所提出的解决方案确实允许通过确定目标延迟来检测和考虑周期性干扰。该目标延迟是根据对关于随时间的输入速率的信息的分析推导出的。从该信息中首先推导出周期并接着推导出相位偏移，从而使得可以选择包含关于输入速率的信息的带有该模式的被储存的信号的各部分。然后从那些部分确定目标延迟，该目标延迟随后被应用于第一缓冲器。

在一优选实施例中，该方法还包括对包括关于随时间的输入速率的所述信息的信号进行抽取的步骤。以这种方式，计算复杂度被进一步降低。

在一个实施例中，第二缓冲器的大小对应于至少10秒的时间间隔。

有利地，第二缓冲器被实现成环形缓冲器。

对连同已知的输出速率的输入速率的指示优选地是第一缓冲器的填充百分比。替代方案可以是每个数据分组到达的时间戳或者第一缓冲器中所保持的毫秒量。

在一个实施例中，选择一个或多个部分的步骤使用逻辑函数来执行。

有利地，所选择的一个或多个部分被储存在第三缓冲器中。

在一优选实施例中，该方法包括向传送所述多媒体数据的发射机发送消息，所述消息与输入速率的调整相关。

有利地，当关于随时间的输入速率的信息被更新时，计算新的目标延迟。

在一个实施例中，对目标延迟执行时间滤波。

在一个方面，本发明涉及一种在包含指令的可编程设备上可执行的程序，当该指令被执行时，执行如前所述的方法。

在另一方面，本发明涉及一种通信设备，包括

－用于接收和输出被包括在数据分组中的多媒体数据的输入和输出，

－用于储存接收到的多媒体数据的第一缓冲器，

－用于储存关于随时间的第一缓冲器的输入速率的信息的第二缓冲器，

－用于控制第一缓冲器的输出速率的控制装置，

－处理装置，该处理装置被布置来：确定对第一缓冲器处的输入速率的指示并将所述指示添加到第二缓冲器，对包括关于随时间的输入速率的所述信息的信号执行自相关，在该自相关中找到峰值并在一段时间内标识一组找到的峰值中的至少一个峰值，针对所述至少一个峰值来执行包括关于随时间的输入速率的信息的信号与带有给定相位的具有所述经标识的周期作为主周期的周期信号的互相关并确定相对于该周期信号的相位偏移，使用以所标识的周期作为主周期的成周期性的并具有所确定的相位偏移的参考信号来选择被储存在第二缓冲器中的关于该输入速率的信息的一个或多个部分，以及通过分析所选择的各部分来确定和应用针对第一缓冲器的目标延迟。

出于对本发明以及所实现的相对现有技术的优势加以总结的目的，以上描述了本发明的某些目的和优势。当然，应理解，不一定所有此类目的或优势都可根据本发明的任意特定实施例而实现。因此，例如，本领域的技术人员将认识到本发明可按实现或优化本文所教导的一个优势或一组优势的方式来具体化或执行，而不一定要同时实现本文可能教导或提出的其他目的或优势。

参考以下描述的实施例，本发明的上述和其他方法将是显而易见的和阐明的。

附图说明

现在将作为示例参考附图进一步描述本发明，附图中相同的参考标号指代各附图中的相同元素。

图1例示了本领域已知的标准FM辅助性收听设备。

图2例示了本发明中提出的方法的实施例的方案。

图3例示了本发明的算法的示例性应用。

说明性实施例的详细描述

虽然将关于具体实施例并参考特定附图描述本发明，但是本发明不限于此而仅由权利要求来限定。

此外，在说明书中且在权利要求中的术语“第一”、“第二”等等用于在类似的元件之间进行区分，并且不一定用于临时地、空间地、以排序或以任何其他方式描述顺序。应该理解，如此使用的这些术语在合适环境下可以互换，并且在此描述的本发明的实施例能够以除了本文描述或示出的之外的其他顺序来操作。

应当注意，权利要求中所使用的术语“包括”不应被解释为限于此后列出的手段；它不排除其他元件或步骤。它由此应当被解释为指定存在所声明的特征、整数、如所称谓的步骤或组件，但是不排除存在或添加一个或多个其他特征、整数、步骤或组件、或者它们的组。因此，措词“一种包括装置A和B的设备”的范围不应当被限定于仅由组件A和B构成的设备。这意味着该设备的唯一与本发明有关的组件是A和B。

本说明书中对“一个实施例”或“一实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。由此，短语“在一个实施例中”或“在实施例中”在贯穿本说明书的各个地方的出现不一定都引用相同的实施例，但是可以如此。此外，在一个或多个实施例中，具体特征、结构、或者特性可以任何合适的方式组合，如根据本公开对本领域普通技术人员将是显而易见的。

类似地，应当领会在本发明的示例性实施例的描述中，出于流线型化本公开和辅助对各个发明性方面中的一个或多个发明性方面的理解的目的，本发明的各个特征有时被一起归组在单个实施例、附图、或者其描述中。然而，这种公开方式不应被解释为反映了这样一种意图，即所要求保护的发明需要比各权利要求清楚记载的特征要多的特征。相反，如所附权利要求书所反映，创造性方面存在于比单个先前已公开实施例的所有特征少的特征中。因此，详细描述之后的权利要求由此被明确地结合到该详细描述中，其中每一项权利要求本身代表本发明的单独实施例。

此外，尽管此处描述的一些实施例包括其他实施例中所包括的一些特征但没有其他实施例中包括的其他特征，但是不同实施例的特征的组合意图落在本发明的范围内，并且形成如本领域技术人员所理解的不同实施例。例如，在所附的权利要求书中，所要求保护的实施例中的任何实施例均可以任何组合来使用。

应当注意的是，在描述本发明的某些特征或方面时，特定术语的使用不应当用来暗示术语在本文中被重定义以受限于包括与所述术语相关联的本发明的特征或方面的任何特定特性。

在本文中所提供的描述中，大量具体细节得到阐述。然而，应当理解可在没有这些具体细节的情况下实践本发明的实施例。在其他实例中，为了不混淆对本说明书的理解，未详细地示出熟知的方法、结构和技术。

本发明涉及一种用于对包含信息的数据进行选择性地标识和分析的方法，该信息与从具有多媒体通信能力的设备的接收机上的传入数据获得的给定信号中的周期性事件相关。所提出的算法标识可在长时间段(例如，10秒或更长时间)内发生的有问题的模式，并且对其中问题已发生的数据集的那些部分进行分析。对该数据子集执行统计分析以输出对要缓冲的数据量(换言之，要引入的延迟)的指示，使得对未来发生此类事件的预防得到保证，从而提高了流的整体质量。该方法具有独特的优点，即其不会对设备的总体延迟施加惩罚，除非需要保证某个质量因子。所述质量因子可例如由用户偏好或者设备上的硬编码策略来给出。

在概念上，该算法利用指示接收信号的传输链路的输入速率(例如，在某一段时间内缓冲器填充百分比的演变)的测量数据集。该测量数据被分析以找到导致流上的问题的模式。这些模式被标识成所述测量数据集中的数据切片并且被分析以估计(如果必要的话)要添加的延迟值，从而避免将来由于该模式造成的问题。

在一个实施例中，按照以下方式来执行根据本发明的方法，由此假设关于通信设备的输出速率的信息是已知和可控的：

－包含要输出的多媒体数据的抖动缓冲器的负载状态以采样率SR被周期性地采样。样本被添加到具有持续时间T的环形缓冲器R1，其包括指示随时间(即在最后T秒内)的输入速率的数据。所得到的经采样的信号有效地包含抖动缓冲器负载状态的变化。

－任选地，该信号通过因子DF被抽取(即，下采样)。这减少了要分析的信息量，因而降低了计算成本，同时保持了演变的足够特征以标识潜在的干扰部分。被抽取的信号被储存进具有持续时间T的环形缓冲器R2。

－接下来，对经采样的信号(或者如果可用的话，被抽取的经采样的信号)进行自相关分析。这产生了对存在于自相关信号中的模式的表示(Y轴上是峰值而X轴上是滞后)，其可以通过考虑采样率SR而在数学上被简单地转换成周期。

－对自相关信号执行峰值检测以标识可能在流上导致问题的该信号上潜在的模式。峰值检测算法在本领域中是普遍可获得的。通常，对于周期性干扰，自相关分析将干扰表示成一组峰值，每个峰值是主周期的倍数。

－针对找到的至少一个峰值，优选地所有出现的峰值，执行以下步骤：

a)标识引起峰值的事件的周期T(X值x DF/SR)

b)计算带有周期T和给定相位(例如，零相位)的余弦信号与被储存在缓冲器R2中的数据集的互相关。可应用带有周期T的任何合适的周期函数来替换余弦函数。带有周期T的周期函数应被解释成其中T是主周期(即，也可以存在其他不太突出的周期性模式)的函数。

c)对所得到的互相关信号执行峰值检测以相对于周期函数的相位找出干扰部分的相位偏移P。该相位偏移通过检测到的峰值的X值靠使用相同的计算(X值x DF/SR)来确定。

d)借助于逻辑函数，按以下方式来选择缓冲器R1中的数据块。考虑到具有周期T和相位偏移的余弦函数的最大值的X值，使用周期T和计算出的相位偏移来创建以所述最大值为中心的具有给定大小W的窗。从R1中选择与这样的窗口重叠的那些数据。从R1中所选出的该数据子集被储存在分析缓冲器B中。

e)基于统计计算(诸如要求对要递送的数据的第99百分位数进行估计)来对缓冲器B中的数据进行统计上的分析并且输出对要缓冲的目标数据量的指示。作为另一示例，该计算还可简单地算出缓冲器欠载运行时间的最长条带(streak)，并且输出在时间上等同于该图的数据量。

本发明的算法充当“长期统计分析”，其与短时间段内(通常少于1秒)所执行的分析互补。

作为示例，考虑图3所示的数据。图3A描绘了在几秒的时间间隔内的缓冲器负载历史。如图所示，网络上每秒都会发生一些干扰，这使得缓冲器周期性地缺少数据。例如，这可能是由于在同一网络中运行的另一应用，这使得每秒都有短脉冲形式的带宽的使用。理想地，该数据应该被分析，以便能够预测未来可能发生的事件(这样的事件可能发生在大约5s、6s等)。在图3B中，执行缓冲器数据的自相关，从而显示出以大约1s为周期的清晰的峰。然后，峰值检测算法在1s处检测该峰值(图3C)。为了返回到缓冲器数据并且标识这些事件，需要估计缓冲器历史时间线中的各模式的偏移。图3D示出了用相同的检测到的周期(在该情况下是1秒)构造的余弦信号。图3E示出了该余弦信号与缓冲器数据的互相关。该互相关被用来确定被储存在缓冲器中的数据与被应用于互相关计算中的周期信号之间的相位偏移。在该示例中，清晰的峰在(-0.1s)处被检测到，这意味着各模式在缓冲器时间线上偏移了-0.1s。根据该信息，可选择性地从缓冲器时间线中提取与每一秒发生的事件相对应的数据的各部分。在该情况下，选择提取在缓冲器时间线中偏移-0.1s的具有0.3s的窗。作为结果，以下各范围被提取出：(0.75,1.05)、(1.75,2.05)、(2.75,3.05)、(3.75,4.05)。然后，该数据子集被分析以确定最小缓冲器负载，从而避免将来由于该事件的发生而造成的干扰。在该情况下，保存大约40ms的数据就足够了。

在上面的示例中，算法的输入是抖动缓冲器中所保持的毫秒量的演变，这是对通信设备性能的直接测量。系统的输入速率可通过知道设备的输出速率来确定。算法输出是对要保存的目标数据量的指示，或者换言之，对要应用于通信设备的目标延迟的指示。然后，通过修改抖动缓冲器的输出速率和/或输入速率将目标延迟应用于抖动缓冲器。

被适配成执行根据本发明的一实施例的算法的通信设备能够执行以下任务：

－接收包括多媒体数据的数据分组，

－将所述多媒体数据储存在第一缓冲器，

－控制输出速率(并因此意识到输出速率的实际值)或输入速率或两者，

－推导出指示输入速率的至少一个特性，

－基于从指示输入速率的至少一个特性和关于输出速率的信息推导出的统计信息来确定被储存在该第一缓冲器中的要被输出的多媒体数据的目标延迟，

－调整由缓冲器引入的延迟，以便通过修改输出所述多媒体数据的速率或将所述多媒体数据储存在缓冲器中的速率或两者的组合来使得其符合目标延迟。

在一个实施例中，根据本发明的设备具有数据通信能力并且其被布置成用于接收数据分组并包括

－用于储存被包括在所述数据分组中的多媒体数据的第一缓冲器，

－用于推导对所述接收到的数据分组的输入速率的至少一个指示以及用于测量由所述缓冲器引入的延迟的装置，

－用于输出所述多媒体数据的输出，

－用于储存对所述接收到的数据分组的输入速率的至少一个特性指示的第二缓冲器，

－处理装置，该处理装置被布置来：在所述第二缓冲器上执行自相关，对该自相关信号执行峰值检测，生成周期信号，执行该特性与周期信号的互相关以确定相位偏移并且用于选择所述第二缓冲器的数据子集。

关于设备的输出速率的信息是可用的。该设备包括控制逻辑模块，该控制逻辑模块被适配成用于基于从对第二缓冲器中的输入速率和数据的测得的至少一个指示推导出的统计信息来确定要从缓冲器输出的多媒体数据的目标延迟。控制逻辑被适配成用于修改输出多媒体数据的速率或者将多媒体数据储存在缓冲器中的速率，以便调整由缓冲器引入的延迟以使其符合目标延迟。

在个人通信设备中，缓冲器大小足够大以保持比平均量大得多的数据量(例如，缓冲器大小为一秒，但是其被设计成保持平均20ms的数据)。该特定的设计具有不太可能溢出的优点。非常常见的缓冲器设计涉及使缓冲器大小等于要保持的平均数据量的两倍，这可能导致当大脉冲串到达通信设备时数据的大量溢出(并因此导致丢失)。作为示例，考虑在互联网上进行流式传输的视频流。接收机实现缓冲机制以对包括具有两秒并保持1s的平均值的缓冲器的网络的抖动作出补偿。这可有效地对抖动值作出大约一秒的补偿，而不会在流中有不连续性。然后假设接收机停止互联网连接达五秒。当接收机恢复连接时，五秒的视频数据将到达系统。该设备接着需要丢弃三秒钟的视频数据，因为它只有储存两秒的空间。在实际上上限无限制的缓冲器(缓冲器大于要保持的平均量)的情况中，该设备能够汲取整个五秒的视频，然后以更快的速率将其播放，例如直到被保持在缓冲器中的平均数据量恢复到1s的标称值。

在根据本发明的通信设备中，为了被检测成模式，网络干扰必须发生多次。随机干扰总是不利地影响设备的性能。由于先前所提到的低延迟解决方案采取的“乐观”的方法(通过在将数据播放出之前缓冲尽可能少的数据量)，因此具有能够在每当耗尽流式数据(缓冲区欠载运行)的情况下推断流式数据的适当的解决方案是非常重要的。推断数据的机制可以在文献中找到。例如，在音频环境中，可以使用Warped Burg的方法来推断音频(http://lib.tkk.fi/Diss/2004/isbn9512269503/article3.pdf)。然而，这样的方法通常引入太多的延迟或者具有太多的计算复杂度。因此，带有尽可能少的附加延迟的计算成本低的设备是有必要的。

在另一实施例中，该设备能够通知发射机其具有某些能力和要求。这允许发射机对其发送到接收机的流进行优化。所述能力可包括但不限于关于输出速率、输出带宽、总设备延迟等的信息。另一方面，该要求可包括但不限于最大可接受总延迟、数据分组的最小和/或最大时间长度。这可被有利地用来针对{功耗、总延迟、数据带宽、接收设备标识、用户标识}中的一个或多个元素来优化所发送的流。

对延迟的控制提供了超越使用延迟来补偿传输链路中的干扰的优点。例如，在需要对来自两个不同传输链路的两个流进行同步的情况下，可以使用延迟控制。例如，来自经空气传播和作为WiFi流两者的音频流。在该情况下，WiFi流可匹配由于与扬声器的距离造成的通过空气引入的延迟。另一示例可以是来自WiFi的视频以及来自蓝牙的音频信号。两个传输链路具有不同的特性，然而使用以正确的时间戳，延迟控制可允许它们在接收机上完全地同步。

此外，考虑到修复算法能够以一定的质量进行推断的时间量，由于具有即使在恶劣条件下也能确保流的质量的适当的流修复算法，所以设备具有进一步降低延迟的能力。例如，在其中100ms的数据应该被缓冲供完美地再现的一个解决方案中，具有能够最优地推断60ms的数据的机制将使得由缓冲器引入的延迟减少到40ms成为可能，由此修复机制占剩下的60ms。

所提出的解决方案允许基于指示输入速率随时间的演变的数据子集的统计分析来确定目标延迟，所述数据子集仅包含与已被检测到并且可在将来被避免的周期性事件相关的信息。

所提出的解决方案允许以与目标值一致的延迟从通信设备输出多媒体数据。包含多媒体数据的接收到的数据分组被储存在设备中的缓冲器中。以不一定是恒定的输入速率来接收数据分组。产生对该输入速率的指示的至少一个特性例如通过测量被推导出。从该信息推导出的优选特性是接收到的数据分组的到达时间或者接收到的数据分组的时间长度。此外，由缓冲器引入的实际延迟被确定。关于输出速率的信息还可通过测量或者例如从设备的说明书来获得。然后，所有信息可用于调整延迟，以使得其符合所述多媒体数据的目标延迟值。目标延迟基于从先前收集到的信息推导出的统计信息，即一方面给出关于输入速率的信息而另一方面给出关于输出速率的信息的至少一个特性。接下来，输出速率或者将多媒体数据储存在缓冲器中的速率得到适配，从而调整由缓冲器引入的附加的延迟，以便使其与经确定的目标延迟一致。统计信息可包括{平均输入速率、输入速率的标准偏差、输入速率的百分位数}中的至少一个元素。目标延迟可被表示成从中选择一个值的延迟值的有限集。替代地，目标延迟被给定为单个值。同样，带有最小和最大值的一范围的可能的值可被提供。

数据分组还可包括样本精确的时间戳，从而允许缓冲器被表示成虚拟时间线。该方法于是可包括利用该虚拟时间线的数据间隙恢复的步骤。数据间隙恢复具有保持原始多媒体数据的时间特性(通过引入具有与传输期间已被丢失的数据相同的时间长度的间隙)的主要优点。这些间隙可用前向/后向外推来填充以最小化丢失数据的负面影响。

该方法可包括当缓冲器包含不充足的数据时用于输出数据的数据推断的步骤。这样做的优选方法是对过往数据应用前向外推。另一种技术包括对过往数据进行采样以便以最佳可能的连续方式进行匹配。

此外，将控制信息传送到被适配成用于传送所述数据分组的发射机的步骤可被执行。例如，关于输入速率的统计信息可被发送，从而允许在发送端对该数据进行分析和优化(例如，通过使数据分组的时间长度更大)。

对目标延迟的确定还可基于{数据质量、带宽、位置、距离、功率消耗、数据类型}中的至少一个元素。

由于指示输入速率的新信息可用，所以目标延迟可被连续地计算和应用。时间滤波可被应用于所确定的目标延迟。一个示例是移除这样的目标延迟的变化中的高频内容的滤波器。另一应用涉及导致所述目标延迟的更宽松的降低的时间滤波，而所述目标延迟的增加未被过滤。

被布置成用于执行根据本发明的算法的设备可通过互联网、局域网或其他方式来接收其数据。该事实使得其对同步问题尤其敏感。长距离发送的多媒体内容原则上不受严格的延迟要求的限制，但是当与其他传输链路并行耦合时，可能会受到限制。例如，经由DVB-T接收TV广播以及通过互联网接收定制的音频流使得互联网流对延迟非常敏感。在这种情况下，应尽可能保持小延迟。

包含本发明的设备可以是助听器或植入式听觉假体。这些设备因其低功率消耗需求以及低延迟需求而众所周知。在全部的植入式设备中，所有外部音频源都需要来无线地流式传输音频信号。

替代地，根据本发明的设备是人工耳蜗，其被布置成用于接收描述每个电极处的电势的各激励模式的流。

尽管已经在附图和前面的描述中具体地解说和描述了本发明，但是此类解说和描述被认为是解说性的或者示例性的而非限制性的。前面的描述具体说明了本发明的某些实施例。然而，应当理解，不管以上在文本中显得如何详细，本发明可以其他方式实现。本发明不限于所公开的实施例。

通过研究附图、公开和所附权利要求，本领域技术人员可在实践要求保护的发明时理解和实施所公开实施例的其他变体。在权利要求中，单词“包括”不排除其他元素或步骤，并且不定冠词“一”或“一个”不排除复数。单个处理器或其他单元可履行权利要求书中所述的若干项的功能。在相互不同的从属权利要求中陈述某些措施的纯粹事实并不表示不能有利地使用这些措施的组合。计算机程序可被存储/分布在合适的介质(诸如与其他硬件一起或作为其他硬件的一部分提供的光学存储介质或固态介质)上，但也可以其他形式(诸如经由互联网或者其他有线或无线电信系统)来分布。权利要求中的任何引用符号不应被解释为限制范围。

Claims

1.一种用于通信设备中的缓冲器负载管理的方法，包括

－确定对所述第一缓冲器处的输入速率的指示并且将包含关于随时间的所述输入速率的信息的所述指示添加到第二缓冲器，

－在所述自相关中找到峰值，并且根据一组找到的峰值中的至少一个峰值来标识周期，

－针对所述至少一个峰值，执行包括关于随时间的输入速率的所述信息的所述信号与带有给定相位的具有所述经标识的周期作为主周期的周期信号的互相关，并且确定相对于所述周期信号的相位偏移，

－使用以所述经标识的周期作为主周期成周期性的并具有如前一步骤中确定的所述相位偏移的参考信号，以选择被储存在所述第二缓冲器中的关于所述输入速率的所述信息的一个或多个部分。

－通过分析所述选定的各部分来确定针对所述第一缓冲器的目标延迟，

－通过修改所述第一缓冲器的输出速率和/或输入速率来将所述目标延迟应用于所述第一缓冲器。

2.如权利要求1所述的用于管理缓冲器负载的方法，其特征在于，还包括对包括关于随时间的输入速率的所述信息的所述信号进行抽取的步骤。

3.如权利要求1或2所述的用于管理缓冲器负载的方法，其特征在于，所述第二缓冲器的大小对应于至少10秒的时间间隔。

4.如权利要求1至3中任一项所述的用于管理缓冲器负载的方法，其特征在于，所述第二缓冲器是环形缓冲器。

5.如前述权利要求中任一项所述的用于管理缓冲器负载的方法，其特征在于，对输入速率的所述指示是所述第一缓冲器的填充百分比。

6.如前述权利要求中任一项所述的用于管理缓冲器负载的方法，其特征在于，所述选择一个或多个部分的步骤使用逻辑函数来被执行。

7.如前述权利要求中任一项所述的用于管理缓冲器负载的方法，其特征在于，所述选定的一个或多个部分被储存在第三缓冲器中。

8.如前述权利要求中任一项所述的用于管理缓冲器负载的方法，其特征在于，包括向传送所述多媒体数据的发射机发送消息的步骤，所述消息与输入速率的调整相关。

9.如前述权利要求中任一项所述的用于管理缓冲器负载的方法，其特征在于，新的目标延迟在关于随时间的输入速率的所述信息被更新时被计算。

10.如权利要求9所述的用于管理缓冲器负载的方法，其特征在于，时间滤波针对所述目标延迟来执行。

11.一种在包含指令的可编程设备上可执行的程序，当所述指令被执行时，执行如前述权利要求中任一项所述的方法。

12.一种通信设备包括

－用于储存所述接收到的多媒体数据的第一缓冲器，

－用于储存关于随时间的所述第一缓冲器的输入速率的信息的第二缓冲器，

－用于控制所述第一缓冲器的输出速率的控制装置，

－处理装置，所述处理装置被布置来：确定对所述第一缓冲器处的输入速率的指示并将所述指示添加到所述第二缓冲器，对包括关于随时间的输入速率的所述信息的信号执行自相关，在所述自相关中找到峰值并根据一组找到的峰值中的至少一个峰值来标识周期，针对所述至少一个峰值来执行包括关于随时间的输入速率的所述信息的所述信号与带有给定相位的具有所述经标识的周期作为主周期的周期信号的互相关并确定相对于所述周期信号的相位偏移，使用以所述经标识的周期作为主周期的成周期性的并具有所述经确定的相位偏移参考信号来选择被储存在所述第二缓冲器中的关于输入速率的所述信息的一个或多个部分，以及通过分析所述选定的各部分来确定并应用针对所述第一缓冲器的目标延迟。