CN101120400B - 在通信系统中生成隐藏帧的方法 - Google Patents

Abstract

一种用于生成与数字音频信号传输相关的隐藏样本序列的方法，其中该方法包括从音频信号的数字表示的缓冲样本中以采样时间顺序生成隐藏样本序列，其中隐藏样本序列中的至少两个连续样本子序列基于缓冲样本子序列，其中所述缓冲样本子序列在重新排列的时间中是连续的。

Description

在通信系统中生成隐藏帧的方法

技术领域

本发明涉及远程通信系统。更具体地，本发明涉及一种方法、器件和设备，用于补偿信号包的丢失和/或延迟抖动和/或时钟脉冲相位差(clock skew)，以提高在无线远程通信系统和包交换网络上的信号传输品质。

背景技术

现代远程通信是基于信号的数字传输的。例如，图1中，发射机200收集来自源100的声音信号。这个源可以是通过麦克风收集的一个或者多个人发音的结果和其他声波源，或者它可以是诸如文本-语音合成或者对话系统之类的声音信号存储或发生系统。如果该源信号是模拟的，则它通过模拟-数字转换器被转换为数字表示形式。按照适于数字信道300的格式，该数字表示随后被编码和打包。所述包在该数字信道上被传输。该数字信道典型地包含多个抽象层。

在图1中的抽象层中，该数字信道将包序列作为输入，并将包序列作为输出传送。由于典型地由噪音引起的信道衰减、缺陷(imperfection)以及信道过载，导致输出的包序列典型地受到一些包丢失和其他包的到达时间延迟以及延迟抖动损害。另外，发射机与接收机的时钟差可导致时钟相位脉冲差。接收机400的任务是对从包流接收的数据包进行解码，并且将已解码数字表示转换并解码为数字信号表示，以及进一步将这些表示转换为适于输出到信宿(signal sink)500的格式的已解码声音信号。此信宿可以是一个或者更多个人，通过例如一个或者多个扩音器来将该解码的声音信号提供给所述的一个或者多个人。可选地，该信宿可以是语音或者音频存储系统，或者语音或者音频对话系统或者识别器。

接收机的任务是正确地重现可以被提供给该信宿的信号。当该信宿直接或者间接地包括人类收听者时，接收机的目的是获得这样的声音信号的表示：当该声音信号被呈现给该人类收听者时，该表示正确地重现人类感知的印象和来自一个源或多个源的声音信号信息。为了在使接收的包序列造成其丢失、延迟、延迟抖动的信道恶化以及时钟脉冲相位差可能进一步出现的常见情况下确保所述任务，需要有效隐藏作为该接收机子系统的一部分。

作为示例，在图2中示出的是完成这种任务的接收机子系统的一种可行实施方案。如该图中所示，进入的包被存储在抖动缓冲器410中，解码和隐藏单元420从抖动缓冲器410获得所接收的编码信号表示，进而将这些编码信号表示解码和隐藏，以获得适于存储在播放缓冲器430中的信号表示，并且随后进行播放。对何时开始隐藏和对所述隐藏的具体参数，例如隐藏信号的长度的控制，作为示例，可以通过控制单元440来执行，控制单元440监控抖动缓冲器和播放缓冲器中的内容，并控制解码和隐藏单元420的动作。

隐藏也可作为信道子系统的一部分来实现。图3示出信道子系统的一个例子，其中包经由子系统320从信道310向前传送到信道330，这在后面我们称之为中继。在实际系统中，中继功能可通过多个单元来完成，所述单元可以采用各种内容相关的名称，例如不同类型的路由器、代理服务器、边缘服务器、网络访问控制器、无线局域网控制器、IP语音(Voice-over-IP)网关、媒体网关、未经授权的网络控制器(unlicensed network controller)和其他的名称。在本文中，所有这些都是中继系统的例子。

在图4中示出能够进行音频隐藏的中继系统的一个例子。如该图中所示，包经由包交换子系统320和350从输入缓冲器310向前传输到输出缓冲器360。控制单元370监控输入和输出缓冲器，并且根据监控的结果，确定是否需要进行代码转换和隐藏。如果是，则转换器指引包经过代码转换和隐藏单元330。如果不是，则转换器指引包经过最小协议动作子系统340，最小协议动作子系统340将在该包报头上执行最小操作，以保持与所应用的协议相适应。这可以包括改变包的序列号和时间戳的步骤。

在利用但并不限于上面举例说明的系统来传输音频信号时，需要对声音信号的信号表示或局部表示中的丢失、延迟、延迟抖动、和/或时钟脉冲相位差进行隐藏。完成此隐藏任务的现有技术分为音调重复(pitch repetition)方法和时标修正(time-scale modification)方法。

有时在振荡器模式中包括的音调重复方法，基于的是对浊语音中音调周期的估计，或者可选地，基于的是对浊语音信号的对应基频的估计。给定音调周期，通过反复读取最后的音调周期来获得隐藏帧。利用窗叠加处理，可以对隐藏帧的开始和末端处以及每一个重复的音调周期之间的中断进行平滑。对于音调重复方法的示例，参见专利WO0148736和国际电信联盟标准ITU-T G.711附录1中。基于线性预编码原理，现有技术系统将基于音调重复的隐藏与多个解码器集成。在这些系统中，该音调重复典型地在线性预激励域中通过来自长期预测器或者自适应码本环的读取来实现。对于在线性预激励域中音调重复的隐藏的示例，参见专利US5699481、国际电信联盟标准ITU-T G.729和因特网工程任务组请求说明3951(International Engineering Task ForceRequest For Comments 3951)。上面的方法用于隐藏丢失或者渐增的延迟，即正延迟抖动，和例如由于时钟脉冲相位差的原因而引起的输入或者抖动缓冲器的下溢或者接近下溢的情形。为了隐藏渐减的延迟、负延迟抖动、或者输入或抖动缓冲器的上溢或者接近上溢，需要产生缩短的隐藏信号。基于音调(pitch)的方法通过在音调周期和先前音调周期之间的叠加处理来实现。对于这种方法的示例，参见专利WO0148736。

再者，这点可以在线性预解码器中使用现有工具的同时被实现。作为示例，专利US5699481公开了一种方法，使用这种方法，依据该自适应码本的状态，从再现信号中仅仅去除固定码本贡献矢量(contribution vector)，以确保该再现信号中的音调周期。关于音调重复方法，一个目的是从隐藏帧到下一个帧的无缝信号连续。专利WO0148736公开了一种实现这个目的的方法。利用WO 0148736中所公开的发明，利用时变和可能信号相关长度的隐藏帧来实现该目的。虽然这能够有效地确保与延迟抖动和时钟脉冲相位差的隐藏有关的无缝信号连续，但是，这个方法引入了与图4中所示类型的系统有关的缺陷：随着这种类型的隐藏，不能确保将该隐藏编码到固定预置长度的帧中，该固定长度的帧与优先经由最小协议动作340中继的已编码的帧进行无缝连接。

在用于对丢失和突然增加的延迟的进行隐藏的基于音调重复的方法中，再次出现的问题是：音调循环的重复使再现信号声音不自然。更具体地，这种音频信号变得太具周期性。在最坏的情况中，在再现声音信号中感受到了所谓的弦音(string sound)。为了缓解这种问题，在现有技术中有很多方法。这些方法包括使用重复周期，所述重复周期为所估计的音调周期的两倍或三倍。作为一个例子，因特网工程任务组请求说明3951描述了一种方法，使用这种方法，如果估计的音调周期小于10ms，则将使用两倍的所估计的音调周期。作为另外例子，国际电信联盟标准ITU-T G.711附录1描述了一种方法，使用这种方法，引入两倍及更后的三倍的重复周期，以重复两个及更后的三个音调循环，而不是重复单个音调周期。参见对这种方法的完整描述的国际电信联盟标准ITU-T G.711附录1。此外，为了减少弦音，典型地引入具有一定电平的随机或随机状信号成分的隐藏信号与隐藏信号的逐渐衰减的混合所述电平取决于语音发声电平。有时，通过对缓冲信号的操作或者使用在已经解码器中可获取的诸如随机代码本之类的工具，来得到这种随机状信号。使用这种特征的例子，参见专利US5699481、国际电信联盟标准ITU-T G.729和因特网工程任务组请求说明3951。逐渐的衰减还被用于抑制引入的伪信号(artefact)。虽然，给出的下面的隐藏方法，这可以成为如由近端听众所认为的最好选择。但是在为了取消这种回声的混响输入和自适应滤波器的情形中，远端听众可能认为这种衰减的效果主要为负面的。这是因为衰减减少了自适应回声消除器激励的持续。从而，这对实际回声路径的跟踪变差，进而远端听众可经受更大的混响输入。

例如在Linag、Farber和Girod的″Adaptive Playout Scheduling andLoss Concealment for Voice Communication over IP Networks″，IEEETransactions on Multimedia，vol.5，no.4，pp.532-543，Dec.2003中所描述的时标修正方法经由匹配的平滑叠加处理起作用。在该处理中，信号段被缓冲而不是被播放，信号被平滑地加窗口并且被识别为模板段，随后搜索其他平滑加窗的段以识别相似的段，其中相似性可以是例如相关度。平滑加窗模板段和平滑加窗相似段被随后叠加和添加，以产生时标改变信号。当播放时标被扩展时，用于相似段的搜索区域在采样时间中被定位在模板段之前。相反地，在播放时标被压缩时，用于相似段的搜索区域在采样时间中被定位在模板段前面。在已知时标修正方法中，在执行时标修正之前模板和相似段的长度以及应用到它们的窗口被预先设定，这些定量不适应于响应应用了时标修正的特定信号的特性。如在Linag，Farber and Girod，″Adaptive Playout Schedulingand Loss Concealment for Voice Communication over IP Networks″，IEEETransactions on Multimedia，vol.5，no.4，pp.532-543，Dec.2003中所看到的：使用现有技术时标修正，尖峰延迟(spike delay)不能在包交换网络上的实时双向语音通信中所需要的低延迟播放表中从起始点就被有效地减轻。

具有与时标修正和音调重复方法的共同点的其他方法是已知的。在本文中应当提到的一种类型是基于正弦曲线的隐藏方法。例如，参见R

dbro和Jensen，″Time-scaling of Sinusoids for Intelligent Jitter Bufferin Packet Based Telephony″，in IEEE Proc.Workshop on Speech Coding，2002，pp.71-73。取决于插入数量、使用这些方法经由正弦模型域分别完成音调重复，这些方法受到如与上面提到的音调重复和时标修正方法所确定的同样限制。

发明内容

所公开的发明或其进一步的实施例有效地减轻了已知方案中上面所确定的限制，例如听觉伪信号，以及已知方案中其他没有指明的缺陷。

具体地，相比于基于已知音调重复方法，所公开的发明提供多种技术方案，以产生声音信号的隐藏信号表示，其中这些隐藏信号表示包含明显更少的在听觉上烦人的伪信号，例如弦音。结果是，从而缓和了对具有直接改善的感知声音品质的这些系统的限制。同时地，在对隐藏信号中引入明显更少的衰减的同时获得这种缓和。从而，缓和了对基于音调重复的系统的第二种限制。对第二限制的这种缓和还在通信的近端侧提供了隐藏信号的直接改善的感知品质。此外，对于在近端具有声学回声和自适应滤波器来减轻如由远端所感知的声学回声影响的多个系统中，对第二种限制的缓和在通信的远端侧提供了改善的感知品质。因为因展示更少衰减的公开的发明中的隐藏信号对自适应回声消除滤波器的自适应处理提供了更持久的激励，所以获得该第二种效果。进一步，所公开技术方案对声学背景噪声的鲁棒性超过已知的基于音调重复方法的鲁棒性。

此外，具体地与已知时标修正方法相比较，公开的发明能够在具有低延迟播放或输出缓冲器调度的系统中实现尖峰延迟的隐藏，如在包交换网络上的实时双向声音通信所需要的。从而减缓了在已知时标修正中的这种主要限制。

在第一方面，本方面提供一种用于生成与数字音频信号的传输相有关的隐藏样本序列的方法，其中该方法包括从音频信号的数字表示的缓冲样本中以采样时间顺序生成隐藏样本序列，其中隐藏样本序列中的样本的至少两个连续子序列是基于缓冲样本的子序列的，其中所述缓冲样本的子序列在重新安排的时间中是连续的。

下面的定义应用于第一方面并将在整个本公开中被使用。“样本”被理解从数字音频信号中获得、或者从数字音频信号中得到的信号中获得的样本、或者表示这种信号的系数或参数，这些系数或者参数为标量(scalar)或者矢量值。使用上面样本的定义，“帧”被理解为连续样本集合。使用上面样本的定义，“子序列”被理解为一个或者多个连续样本的集合。因此，在特定情形中，子序列等于样本。在使用例如叠加的情形中，两个连续子序列可包括重叠样本。取决于对帧的选择，子序列可在两个连续帧之间扩展。在优选实施例中，布置子序列，以使一个子序列不可能为另一子序列的子集。

优选地，隐藏样本序列中的样本的至少两个连续子序列是基于缓冲样本的子序列的，其中所述缓冲样本的子序列在相反的时间顺序中是连续的。因此，在优选实施例中，隐藏样本序列包括例如连续样本的连续子序列，其是基于相反的时间顺序的连续缓冲样本的，例如，隐藏样本序列中的两个、三个、四个或者更多连续样本子序列可以基于在相反的时间顺序中是连续的缓冲样本子序列。换言之，产生的隐藏序列优选包含基于缓冲样本的或多或少直接反向重放的部分。在优选实施例中，隐藏样本序列包括以相反的时间顺序的缓冲样本的连续样本集。使用这种重新定序或反向定序计划基于缓冲样本来计算至少部分隐藏样本序列，提供更自然的声音隐藏序列，而不受现有技术弦声效果的影响并且也有助于消除或减少几种其他伪信号。

所述的方法具有与通信系统相关的许多优点，例如VoIP系统。在这里，数字语音信号以帧形式传输，并且其中通信受到帧丢失和抖动的影响，并且需要样本隐藏序列以至少部分地减少信号的很可能听见的、恼人的中断。

在优选实施例中，所述缓冲样本的位置被定位在隐藏样本序列产生期间在采样时间中逐渐向前和向后变化的点处。这可以通过控制这种时间变化的索引图形发生器来实现。通过分析缓冲样本，这种索引图形发生器选择反向时间变化通路的开始、终止和速度。它还控制向前变化的开始、停止和速度以及图形，通过这些，反向时间变化和向前时间变化被排序，以产生自然发声隐藏序列。

隐藏样本序列可以从基于按照时间顺序为最后的缓冲样本的子序列的子序列开始。

对子序列的时间重新排序可以基于在时间上向前索引和读取样本以及在时间上向后移步的顺序处理。优选地，索引和读取样本的顺序处理包括步骤：

a)通过以时间顺序向后移步多个缓冲样本来索引缓冲样本，在其步骤后，

b)从在步骤a)中被索引的缓冲样本开始，以时间顺序向前读取多个缓冲样本，以及使用用于计算隐藏样本序列的子序列所读取的样本，

其中向前读取的缓冲样本数量不同于向后被移步的缓冲样本数量。使用这种不同的数量，避免了导致不自然弦音的周期性。该方法在下面的实施例的详细描述中被进一步称为“后移步(back step)”和“读取长度”。

向前读取的缓冲样本数量可以大于或小于向后移步的缓冲样本数量。优选地，向前读取的缓冲样本数量小于向后移步的缓冲样本数量。这个选择将提供一种方法，该方法在缓冲样本中在时间上进一步向后逐渐变化并从而提供子序列样本逐渐地基于先前缓冲样本的隐藏序列，在此后启动向前的变化。

通过涉及加权叠加处理，可以从缓冲样本的子序列计算出隐藏样本序列中的子序列。在所述加权重叠处理中的加权函数另外可以为频率的函数。可以修改加权叠加处理来响应匹配品质指示，这种匹配品质指示为对进入加权叠加处理的两个或多个样本子序列的测量。

使用向后和向前变化的位置指针，可以部分地描述时间上的重新排序。优选地，对所述位置指针的所述向后变化通过停止标准来限制。用于所述向后变化的停止标准、所述向前和所述向后变化的步距(或者速度)、以及开始的所述向后变化的数量可以被共同优化，以优化在由人类听众理解时的声音品质。

优选地，对缓冲样本进行平滑和均衡操作。这可以在样本被缓冲之前，在缓冲器中被实施，或者刚好在使用所述样本来计算隐藏样本之前被实施。用于向后变化的停止标准、所述向前变化和所述向后变化的步距、开始所述向前变化的数量以及平滑均衡操作可以一同被优化，以优化在由人类听众理解时的声音品质。

可以一同优化位置指针的向后和向前变化，以优化在由人类听众理解时的声音品质。

优选地，进行相位滤波以使隐藏样本序列和样本的连续帧之间的边界处的不连续最小化。引入的相位滤波有助于减少在引入隐藏序列时众所周知的不连续问题。在进行这种相位滤波的情形中，所提及的共同优化还可以包括由相位滤波所引入的信号失真，以优化在由人类听众感知时的声音品质。

在隐藏样本序列中可以引入噪声混合。具体地，可以在隐藏样本序列中引入噪声混合，并且其中改变所述噪声混合来响应在时间上向前索引样本及在时间上向后移步的顺序处理。在这种情形中，在时间上向前索引样本及在时间上向后移步的顺序处理以及对其的所述响应可以包括对匹配品质指示的使用。

在隐藏样本序列中可以应用衰减函数。具体地，可以改变这种衰减函数来响应对在时间上向前索引样本及在时间上向后移步的顺序处理。在时间上向前索引样本及在时间上向后移步的顺序处理以及对其的所述响应可以包括对匹配品质指示的使用。

优选地，预置在隐藏样本序列中得到的样本数，例如，隐藏帧中的样本数可以是固定的。样本数优选与数字音频信号的特性无关。预置的样本数优选具有在范围5-1000中的预置整数值，例如在范围20-500中，优选依赖于实际样本频率。

隐藏样本序列可以被包含在一个隐藏帧中。该方法可进一步包括至少产生与第一隐藏帧连续的第二隐藏帧，第二帧包含隐藏样本的第二序列。第一和第二隐藏帧中的隐藏样本序列优选的是不同的，也就是说优选地避免隐藏帧的连续的复制。使用包括不同隐藏序列的帧导致更自然的发声隐藏。优选地，第一和第二隐藏帧包含相同数量的样本。

优选地，相比于包含在第一隐藏帧中的任意样本子序列，第二隐藏帧中的至少一个样本子序列至少部分地基于在时间中更靠后的缓冲样本的子序列。从而，后来的隐藏帧优选基于更早的缓冲样本。

在第二方面，本发明提供一种适于执行依据第一方面的方法的计算机可执行程序代码。这种程序代码可以以与机器相关或与机器无关的形式并且以任何编程语言来编写，例如机器代码或更高级编程语言。

在第三方面，本发明提供一种程序存储设备，其包括用于诸如通用微处理器之类的微处理器的指令序列，用于执行第一方面中的方法。该存储设备可以是任何类型数据存储装置，例如磁盘、存储卡或者记忆棒、硬盘等。

在第四方面，本发明提供一种用于接收数字音频信号的设备，例如器件或仪器，该设备包括：

-存储器装置，其用于存储表示所接收到的数字音频信号的样本，和

-处理器装置，其用于执行第一方面的方法。

用适当的装置来实现本发明，例如下面的优选实施方式中描述的装置，使解码器和隐藏系统和/或代码转换器和隐藏系统能够有效地隐藏丢失序列或延迟的包，而没有引入可感知的烦人伪信号。此外，这实现了对听觉背景噪声和多个扬声器的鲁棒性，而没有引入快速衰落(fading)。因为经由时间变化的该方法的连贯性与基于重复的方法相比更少依赖严格的信号周期性，进而获得了增加的鲁棒性。从而，我们的发明能够在具有听觉背景噪声、听觉回声和/或严重的时钟脉冲相位差、信道损耗和/或延迟抖动的情况下获得高质量的双向语音通信。

附图说明

下面参照附图对本发明进行更详细的描述，其中

图1是示出已知的易受到丢失、延迟、延迟抖动和/或时钟脉冲相位差影响的端到端包交换语音传输系统的方框图；

图2是示例的接收机子系统，该接收机子系统在控制单元的控制下完成抖动-缓冲、解码和隐藏以及播放缓冲；

图3是示出易受时钟脉冲相位差、丢失、延迟和延迟抖动影响的包交换信道中的中继子系统的框图；

图4是示例的中继子系统，该中继子系统在控制单元的控制下完成输入缓冲、输出缓冲并在需要时进行代码转换和隐藏；

图5是示出本发明的一组优选实施例的框图；

图5A是示出隐藏帧中的子序列的略图，所述隐藏帧从基于在反向时间顺序中的最后的缓冲子序列的子序列开始；

图5B示出隐藏帧中的子序列中的较大序列的另一例子，所述隐藏帧的从在反向时间顺序中的最后两个缓冲子序列开始，并且其中连续子序列是基于在时间上进一步向后的缓冲子序列；

图5C示出由后移步和读取长度形成的索引图形中的样本计数索引；

图6是示出涉及索引和插入功能的信号略图；

图7是示出执行用于停止标准的判定逻辑的一种可行方法的流程图；

图8是示出完成平滑和均衡、停止标准和所允许重复数量的重复共同优化的一种可行方法的流程图；

图9示出与对相位调节滤波器进行初始化和馈送相关的环形移位和叠加的使用，和

图10示出所公开的加权叠加处理的一种实施例。

虽然本发明容易受到各种修改和可替换形式的影响，但具体实施例以示例的形式显示在附图中，并将在这里详细描述。然而，应当理解的是，将本发明不限于公开的特定形式。相反地，本发明应当涵盖落入由附加的权利要求限定的本发明的宗旨和范围之内的所有修改、等效和替换。

具体实施方式

本发明的方法在如图2中所示的接收机的解码和隐藏单元420中被实施，或者在如图4所示的中继的译码和隐藏单元330中被实施，或者在其作用适当的通信系统的任意其他位置处被实施。在这些位置处，大量缓冲信号帧是可利用的，并需要大量的隐藏帧。可利用的信号帧与所需要的隐藏帧可由音频信号的时域样本，例如语音信号组成，或者它们可由所得到的样本，例如线性预激励样本组成，或者它们可由从音频信号以及声音信号帧的完全或部分表示中得到的其它系数组成。这种系数的示例是频域系数、正弦模型系数、线性预编码系数、波形插值系数，和其他完全或者部分表示音频信号样本的系数集。

图5示出本发明的优选实施例。根据图5，可利用的信号帧595被存储在帧缓冲器600中，该信号帧595可以是从本方法或者其他方法的先前操作接收和解码或译码的信号帧或者隐藏帧，以产生隐藏帧或者上面提到类型的信号帧的组合。该帧缓冲器中的信号由索引图形发生器660分析。该索引图形发生器可以方便地利用对信号音调596和发音597的估计。根据整个系统的设计，这些估计可从来自其他处理例如编码、解码或者译码处理的输入获得，或者通过其他的方法优选利用现有技术的信号分析方法进行计算。此外，该索引模式发生器将要产生的隐藏信号帧的数目598作为输入，并且将599指向该帧缓冲器中该一个或多个隐藏帧取代的特定信号帧的开始和末端。作为示例，如果这些缓冲器指向该帧缓冲器的末端，那么这表示所述隐藏帧应当适于紧跟在存储在该帧缓冲器中的信号之后。作为另一示例，如果这些指针指向帧缓冲器中的连续帧的非空子集，那么这表示所述隐藏帧应当取代表示或者部分表示声音信号的帧序列中的这些帧。

为了进一步说明这一点，假定该帧缓冲器600包括信号帧A、B、C、D、E，并且隐藏帧的数量598为两个。那么，如果指向要取代的帧的指针599指向该帧缓冲器的末端，这表示两个隐藏信号帧应当顺次紧随信号帧E之后。相反地，如果指针599指出信号帧B、C、D，则这两个隐藏帧应当取代信号帧B、C、D，并顺次紧随在信号帧A之后，并且顺次由信号帧E紧随其后。

关于确定隐藏帧的数量598和最后应该由隐藏帧取代的帧的子集即指针599的方法，优选使用现有技术方法。这样，数据596、597、598和599连同信号帧595一起构成向本方法装置和本发明的设备的输入。

在某些整体系统的设计中，在该隐藏单元的执行期间，信号帧的长度或者尺寸有益地保持不变。在其他情况中，典型的情形是：当该隐藏单元集成在中继系统中时，在该中继系统中，在预定长度的时间间隔内，该隐藏的结果应当置于表示声音信号的包中，该预定长度在其他的装置中确定。作为示例，这个预定长度可以在VoIP系统中呼叫建立时的协议协商期间确定，并可在对话期间被改变来响应例如网络拥堵控制机制。如后面将会清楚的，本发明的一些实施例以有益的方式满足对预定长度的信号帧起作用。但是，这种创新并不限于这些系统要求；本发明的其他实施例能够对非整数隐藏帧和具有时变长度的隐藏帧起作用，其中可能与其他系数相结合的这些长度可以为在该帧缓冲器中的特定内容的函数。

本发明的实施例可有益地利用平滑和均衡操作610对来自帧缓冲器的信号605进行操作。此平滑和均衡产生信号615，其中在时间上比隐藏帧早的帧具有与该隐藏帧替代的信号帧或紧接在其之前的帧增加的相似性。可选地，如果该隐藏帧插入现有的帧序列中而不是取代，相似性是与紧接在隐藏帧的预期位置之前的帧。为了后面的参考，我们简单地称这两种情况为相似。相似是收听者理解的意思。平滑和均衡获得具有增加的相似性的信号，同时保留信号615的自然地声音变化。由平滑和均衡610有益地执行的相似性增加的操作的例子包括增加参数的平滑度和相似性，所述参数例如能量包络、音调轮廓、发声等级、声音中断、谱包络和其他可感知的重要参数。

关于每个这些参数，过滤出在要平滑和均衡的帧内的参数变化中的瞬间突变，并且这些帧中的参数平均水平被平滑地修改以在含义上变得与上面定义的相似更加相似。有益地，仅在一定范围内引入相似性，其仍保持信号的自然声音变化。在该索引图形发生器660的控制下，平滑和均衡能够有益地减轻可能出现在随后的索引和插值操作620中的瞬变现象和断续。此外，音调轮廓的平滑和均衡能够有益地通过该索引图形发生器660进行控制以使失真最小化，否则失真最后由相位滤波器650引入到隐藏帧中。该平滑和均衡操作能够有益地利用信号或者参数与信号帧(或者其产生的参数)的置换、混合、插值和/或合并，所述信号帧在帧缓冲器600中在时间上进一步向后来建立。该平滑和均衡操作610能够从该系统中省去，这并不脱离本发明的通常的范围。在这种情况下，信号615等同于信号605，并且在此情况下，索引图形发生器660的信号输入656和控制输出665能够从系统设计中省略。

索引和插值操作620可以以平滑和均衡的信号615和索引图形666作为输入。此外，在本发明的一些有益实施例中，索引和插值操作将匹配品质指示667作为输入。该匹配品质指示可以是一个每个瞬间时刻的标量值，或者其可以是时间和频率的函数。该匹配品质指示的目的在后面的说明中将变得清楚明显。该索引图形666确定该索引和插值函数操作的参数。

图5A示出索引图形是如何可以索引缓冲样本BS1、BS2、BS3、BS4中的子序列的例子，其在一个或者多个隐藏帧的合成中在时间上逐渐向后。在所示的实施例中，隐藏帧CF1、CF2、CF3中的连续子序列CS1、CS2、CS3、CS4、CS5、CS6、CS7是基于帧BF1、BF2中的样本缓冲子序列BS1、BS2、BS3和BS4。如所看到的，从缓冲子序列BS1-BS4使用位置指针索引隐藏子序列CS1-CS7，该位置指针在时间上逐渐向后移动、然后逐渐向前移动，如由函数记号CS1(BS4)、CS2(BS3)、CS3(BS2)所表示的，意味着：CS1是基于BS4的等等。因而，图5A是作为说明隐藏帧中的连续子序列是如何相互跟随的例子，它们基于连续缓冲子序列、但在时间上重新排序。如所看到的，基于缓冲样本中的最后四个子序列BS1、BS2、BS3、BS4，以连续顺序但是以相反的时间顺序选择第一个四个隐藏子序列CS1(BS4)、CS2(BS3)、CS3(BS2)和CS4(BS1)，从而从最后的缓冲子序列BS1开始。在以相反的时间顺序的第一个四个子序列之后，顺紧随其后的三个子序列CS5、CS6、CS7全部基于在时间顺序上连续的缓冲子序列，即分别是BS2、BS3和BS4。优选的索引图形是该索引图形发生器660的结果，并可随着对这个模块的输入656、596、597、598和599而发生很大的变化。按照图5A中的标记，图5B示出隐藏子序列CS1-CS11如何基于缓冲子序列BS1-BS4在时间上重新排序的另一个示范性示例。如所看到的，后来的隐藏子序列逐渐基于在时间上进一步向后的缓冲子序列。例如，第一个两个连续隐藏子序列CS1和CS2是基于最后两个缓冲的子序列BS3、BS4的，以相反的时间顺序，而后面的隐藏子序列例如CS10是基于BS1的，即相比用于计算CS1和CS2的那些在时间上进一步向后的缓冲子序列。因而，图5B用于说明连续隐藏子序列是基于以一定方式在时间上向前和向后索引缓冲子序列的，由此该索引随时间逐渐向后变化。

在本发明的有益实施例中，这个在时间上逐渐向后的变化被用于形成因本说明书目的我们所称为后移步的序列以及因本说明书目的我们所称为读取长度的序列。在这种格式的索引图形的简单实施例中，信号样本或者表示其的参数或系数的指针向后移动一定的量，这个量等于第一后移步，在第一后移步后，样本数量或者表示其的参数或系数被插入到该隐藏帧中，该数量等于第一读取长度。其后，该指针向后移动等于第二后移步的数量，并读取等于第二读取长度的样本数量、或者参数或表示其的系数，等等。

图5C示出对第一列举的索引样本进行重新排序处理的例子。这个第一列举被列表在信号时间轴上，而随着这些原始样本被置于该隐藏帧中，在图5C的隐藏时间轴上的列举表与重新排序的原始样本对应。用于这个示范性的示例，分别任意选择第一、第二和第三后移步为5、6、5，并且同样地分别任意选择第一、第二和第三读取长度为3、4、3。在这个例子中，具有时间索引集合{6，7，8}、{3，4，5，6}和{2，3，4}的子序列分别是在时间上逐渐向后变化的子序列。这里选择的后移步和读取长度的序列纯粹是为了说明的目的。以16kHz进行采样的语音残余样本作为例子，后移步的典型值范围为40到240之间，但并不限于这个范围，以及读取长度的典型值范围为5到1000，但并不限于这个范围。在这种格式的更先进的实施例中，从向前定向(directed)序列(例如原始时间或者时间上向后索引的子序列)到另一个向前定向序列的转变，一个在时间上进一步向后的移步，是通过逐渐移位插值来实现的。

图6示出响应一个后移步和相应读取长度和匹配品质指示的对索引和插值函数的简单实施例的操作。仅是为了说明的目的，这里的信号帧包括时域音频样本。以一种相似且因此直接的方式，将逐渐移位插值应用于在本说明书中使用的一般定义“样本”上，即，包括表示时域音频样本的系数或参数的标量或者矢量值。在该图中，数字700示出信号615的片段。指针705是采样时刻，该采样时刻紧跟在索引和插值输出信号625中最后产生的样本的采样时刻之后。时间间隔750具有等于读取长度的长度。时间间隔770也具有等于读取长度的长度。时间间隔760具有等于后移步的长度。从时刻705开始在700中的信号样本和在时间上向前的读取长度一个接一个地与窗函数720相乘。同样，从在后移步之后在位置706之前一个样本位置开始的700中的信号样本和在那之前的读取长度一个接一个地与窗函数710相乘。与窗710和窗720相乘产生的样本一个接一个地在730相加产生样本740，其构成新一批来自索引和插值操作的输出625的样本。这个操作完成后，指针705移到位置706。

在本发明的简单实施例中，窗函数710和720是读取长度750的简单函数。一个这种简单函数为分别选择窗710和窗720作为两倍于读取长度的汉宁窗(hanning window)的第一和第二半部分。而这里也可选择宽范围的函数，要注意的是这个函数在本发明的上下文中是很重要的，它们必须要完成由750所指示的片段中的样本与由770指示的样本之间的加权插值，以这样的方式我们逐渐地而不必是单一地，从对750所指示的片段的高加权移动到770所指示的片段的高加权。

在本发明的其他实施例中，窗函数710和720是匹配品质指示的函数。这种函数的简单示例是：根据由时间间隔750和770指示的信号700的片段上标准相关性(normalized correlation)的阈值，选择插值操作对单元的幅度或者功率进行求和。这种函数的另一个示例避免对计算一个振幅或者能量总和的限制，而是将窗加权优化为仅作为匹配测量的函数。这种方法的进一步改进采用标准相关性的实际值，并响应它而优化该插值操作，例如，使用经典的线性估值方法。因而，在后面将描述优选方法的例子。在这些例子中，阈值和标准相关性的实际值分别给出由匹配品质指示667传送的有益信息的示例。根据后面描述的优选实施例，该插值操作可以在不同频率实现不同加权。在这种情况下，匹配品质指示667能够有益地传送作为频率函数的匹配测量。在有益实施例中，作为频率的函数的这个加权实现为抽头(tapped)延迟线或者其他参数滤波器形式，其能够被优化以达到最佳匹配标准。

图6中示出了，当信号615(及因此的信号片段700)包含表示声音信号的或者源自其的时域信号的时域样本时的索引和插值操作。如上面所提到的，帧595中及因此在信号605和615中的样本能够有益地成为：以使每个样本都是一个矢量(矢量值样本)，其中这个矢量包含表示或者部分表示该声音信号的系数或者参数。这种系数的例子是线性频率谱、频域系数或者定义了正弦信号模式的系数，例如振幅、频率和相位的集合。在本发明的优选实施例的这个详细说明的基础上，对本领域的技术人员来说，将涉及有益应用在矢量值样本上的插值操作是可行的，因其余的细节能够在针对这种矢量值样本的各个具体情况的一般文献的描述中找到。

用于对本发明的理解，有益地看到的是，当反复应用读取长度小于后移步的索引和插值操作时，则结果是，信号625中的样本变成表示在信号615中逐渐地进一步并且更进一步地向后的信号样本。从而，当后移步和或读取长度被改变以使该读取长度变得比退后移步大时，那么这个处理将返回并且现在信号625中的样本变成表示在信号615中逐渐地进一步并更进一步地向前的信号样本。通过对后移步序列和读取长度序列进行有益选择，能够获得具有丰富和自然变化的长隐藏信号，无需在时间上提前要求最近接收的在帧缓冲器600中的信号帧，甚至无需要求另一个预置时刻之前的样本，所述预置时刻可以位于比在帧缓冲器600中最近接收的帧中的最近的样本更早的地方。从而，本发明在具有低延迟播放或者输出缓冲安排的系统中对延迟尖峰的隐藏成为可能。在本说明书的描述中，通过反复使用一个样本的读取长度、两个样本的后移步和窗720和窗710来实现信号的简单准确的时间变化，窗720包括一个值为0的信号样本，窗710包括一个值为1.0的信号样本。

索引图形发生器660的主要目的是控制索引和插值操作620的动作。在一组优选实施例中，这个控制是在索引图形666中确定的，所述控制可由后移步序列和读取长度序列组成。这个控制能够被进一步增加具有匹配品质指示的序列，它们依次每个都可以是例如频率的函数。另一个特征是重复计数668，其可从该索引图形发生器输出，并且其应用在本说明书的后面会变得清楚。重复计数的意思是，时间上向后变化的次数的数量在隐藏帧的构成中开始的。该索引图形发生器获得这些来自基础信息的序列，其可包括由该平滑和均衡操作610输出的平滑和均衡信号656；要产生的隐藏帧的音调估计596、发声估计597、数量598，以及指向要取代帧的指针599。在索引图形发生器的一个实施例中，它将根据发声指示输入不同的模式。这种模式在下面进行举例说明。

作为有益地在线性预激励域使用的实施例，如果该发音指示粗略指示该信号为非语音，或者在该信号中没有出现有效语音，即该信号由背景噪声构成，则该索引图形发生器能够进入信号样本的时间变化的简单反转(reversion)被初始化的模式。如先前所述，这个能够通过例如提交后移步值等于二的序列和读取长度值等于一的序列来完成(本说明书是基于这个设计选择的，索引和插值操作本身会识别这些值，并如上所述的应用适当的窗函数)。在一些情况下，这个序列可以继续，直至信号的相反时间变化已经被实施了在隐藏帧中所需要的新样本数量的一半，此后，后移步序列的值可变为0，从此开始信号的向前时间变化，并且持续直至指针706有效地回到指针705在后移步的第一应用中的离开点。然而，对高品质的隐藏帧来说，这个简单处理不总是足够的。该索引图形发生器的一个重要任务是对适当停止标准的监控。在上面的示例中，相反时间变化可将指针706引回到信号中的某位置，在该位置，由人类听众理解的声音与开始点的明显不同。在这出现之前应改变时间变化。

本发明的优选实施例可应用基于测量组的一组停止标准。下面举例说明一些这些测量和停止标准。如果发声指示在指针706处的信号为有声的，那么在上面的示例中从无声开始，时间变化的方向能够有益地被改变，同样，如果指针706的周围区域信号能量(由绝对或者相对阈值确定的)不同于指针705离开点处信号的能量，该时间变化方向能够有益地被改变。作为第三个示例，指针705离开点周围的区域和指针706当前位置之间的频谱差可能超过阈值，那么该时间变化方向应该要变化。

当不能粗略地确定信号为无声或者包含无效语音时，能够引出第二个示例的模式。在这个模式中，音调估计596组成用于确定该索引图形的基础。一个处理是，搜索每个后移步，以给出一个来自指针705并且时间上在前的一个音调周期的信号与来自后移步比指针705早的点并且在前的一个音调周期的信号之间的最大标准相关性。对于后移步的可能值的搜索有益地被限制在一个区域。如果没有发现前面的后移步，这个区域能够有益地在前面发现的后移步周围或者如果没有发现先前的后移步在音调滞后周围设定为正负10％。如果时间信号变化应在时间上向后或者向前变化，一旦确定了后移步，将确定读取长度的值以及该变化应当发生的多快。通过选择接近后移步识别值的读取长度来获得一个慢的变化。在向前和向后变化的情况下通过分别选择比后移步小得多或者大得多的读取长度来获得一个快的变化。该索引图形发生器的一个目的是，选择读取长度以优化人类听众理解的声音品质。在例如非充分周期信号的一些信号中选择特别接近于后移步的读取长度，会引起感知上令人烦恼的伪信号，例如弦音。选择的读取长度距离后移步太远时，意味着在隐藏帧的时间变化期间最终掠过帧缓冲器中的较大时间间隔，可选地，在为隐藏帧产生充足的样本量之前，时间变化的方向必须改变更多次。

在诸如不是十分平稳(可选择地不是十分平滑和均衡)的信号的一些信号中，第一种情形可以产生一种可感知的讨厌的伪信号，该伪信号与隐藏帧中的声音中的口吃(stuttering)具有某种相似之处。在第二种情形中，可能发生弦音状的伪信号。本发明的有益实施例的特点在于，可以将读取长度确定为后移步和标准相关性的函数，其在搜索最优化后移步中被优化。在对语音信号进行作用和当信号帧包含以16kHz采样的20ms线性预激励信号时，本发明的实施例中这个函数中的一种简单又有益的选择是由下面函数给出的示例：

读取长度＝[(0.2+标准相关性/3)*后移步]

其中方括号[]被用于表示取最接近的整数，以及其中读取长度(ReadLength)、标准相关性(NormalizedCorrelation)和后移步被用于表示获得的分别用于优化后移步和相应的后移步的读取长度、标准相关性。上面函数仅仅被包含作为示例，以达到本发明某些实施例中的一种有益选择。在不脱离本发明精神的条件下，包含为了这种读取长度的任何功能性相关的对读取长度的任意选择是可能的。具体地，选择读取长度的有益方法包括控制665的使用，以用参数表示平滑和均衡操作610，以在中间的隐藏帧625中实现口吃状和弦音状伪信号的共同最小化。这解释了索引模型发生器660为什么将中间信号656当作来自平滑和均衡操作的输出615：信号656表示在控制665下的最终信号615的可能形式，并且使索引模型发生器通过叠代完成优化任务。如用于上面无声和非有效声音模型的情形，在这种模式中停止标准也是主要的。应用该模式的停止模型的所有例子也应用到这种模式。另外的，在这种模式中，根据对音调和标准相关性的计量的停止标准可有益地成为本发明的实施例中的一部分。

图7示出了作为例子的用于停止标准组合的有益的判定逻辑。图7中，参考标记指示如下：

800：识别信号是否为高(high)相关型、低(low)相关型或均不是。确定初始能级

801：确定下一后移步和标准相关性及读取长度

802：确定信号是否已经进入低相关型

803：确定信号是否已经进入高相关型

804：信号为高相关型？

805：信号为低相关型？

806：能量低于相关的最小阈值或高度相关的最大阈值？

807：标准相关性低于用于高相关型的阈值？

808：标准相关性高于用于低相关型的阈值？

809：生成了足够的样本？

在操作中，在以16kHz采样的语音的线性预激励域中。图7中标注的阈值可以有益地按照如下的方式被选择：在遇到大于0.8的标准相关性时，可以进入高相关型；保留在高相关型中的阈值在标准相关性中可以被设定为0.5；在遇到小于0.5的标准相关性时，可以进入低相关型；保留在低相关型中的阈值在标准相关性中可以被设定为0.8；最小相关能量可以被设定为0.3；以及最大相关能量可以被设定为3.0。另外，不脱离本发明的宗旨和范围，在本发明的内容中，可以使用其他逻辑以及可以使用其他停止标准。

停止标准的应用表示，不保证时间上向后直至产生足够的样本或者符合停止标准，然后在时间上再次向前的单一变化对隐藏帧给出所需数量的样本。因此，可以通过索引模型发生器应用在时间上向后或向前的更多变化。然而，在一些信号中，太多的前后变化可能在一些信号中产生弦音状伪信号。因此，本发明的优选实施方式可共同优化停止标准、应用于读取长度计算中的函数、平滑和均衡控制665、和来回变化的数目，即重复计数668，并且如果使得指针指向帧以取代599，那么在每个时间上向后的新变化之前，还开始在时间上进行向前变化的样本数。为此，还可以有益地控制平滑和均衡操作，以略微改变信号的音调轮廓曲线。此外，可以考虑相位滤波器650的运算的共同优化，并且对音调轮廓曲线作出略微改变，以产生索引图形，所述索引图形可以结合上述其他参数使得相位滤波器中所引入的失真最小化。以本发明优选实施例的说明书中作为基础，本领域熟练技术人员理解应用至这种任务的各种各样的通常优化工具，这些工具包括叠代优化、马尔可夫(Markov)决策过程、维特比(Viterbi)方法及其他。任意所述工具可应用至这种任务而不脱离本发明的范围。

图8通过流程图示出叠代过程的例子，以完成对这些参数的简单又有效的优化。图8中，参考标记指示如下：

820：初始化对平滑和均衡665的控制

821：获得新的平滑信号656

822：初始化停止标准

823：初始化所允许的重复次数

824：识别用于均匀分布在由指针599所指示的可利用帧上的向前和向后变化的序列的索引图形，或者若指向可利用帧的结尾，向后变化直接跟随在向前变化之后

825：是否有用于所产生的隐藏帧数量598的足够数量样本？

826：是否达到重复的最大数？

827：增大所允许的重复数

828：是否达到用于停止标准的最宽松的阈值？

829：放宽用于停止标准的阈值

830：改变控制以增加对平滑和均衡的影响

注意的是，在前面的变化或在时间上的前后变化中没有合成足够信号的情形中，一个在时间上的前后变化以及随后的在时间上的前后变化是可有益地不同。作为例子，后移步的序列、读取长度、还有在时间上的前后变化之后的插值函数的结束位置指针应当被设计，以使最小化周期性伪信号，否则产生类似索引图形的重复。作为例子，使用以16kHz采样的有声语音残余域，在时间上的一个前后变化，也就是说产生大约320个样本，在可以比较早的在时间上的前后变化在信号中进一步向后优先结束大约100个样本。

至此，所公开的实施例有效地缓解了根据现有技术方法已知的伪发声弦音，同时对突然延迟抖动尖峰和突然的出现的重复包丢失实现有效隐藏。然而，在不利网络环境中，例如在某些无线系统和无线自组织(ad hoc)网络及尽力服务(best effort)网络和其他传输场合中，甚至所公开的方法在某些情形中可能在隐藏帧中引入少量音调成分。因此，小噪声混合操作630和功能衰减(graceful attenuation)滤波器640可有益地被应用在本发明的某些实施例中。噪声混合和衰减的通常技术对于本领域技术人员而言是众所周知的。这包括对噪声成分的功率的频率相关时间变化和衰减函数的频率相关时间变化的有益使用。在本发明的内容中，具体到对噪声混合和衰减的使用的特征是使用索引图形666、匹配品质测量667和/或重复计算668，用于对噪声混合和衰减操作的适应性参数。具体地，索引图形对未改变信号样本被设置在隐藏帧的地方和隐藏帧的样本作为插值运算的地方作出索引。而且，与匹配品质测量相组合的后移步相对于读取长度的比率是对从插值运算中得到的感知品质的指示。因此，很少或没有噪声可以被有益地混合入原始样本，更多噪声可以被有益地混合入插值处理的结果的样本中，以及被混合入这些样本中的噪声数量可以有益地以频率微分(differentiated)方式有益地成为匹配品质测量的函数。此外，读取长度相对于后移步的值还是对可能发生的周期数的指示，噪声混合可有益地将这种测量包括在噪声数量的确定中以混合入隐藏信号中。同样原理应用至衰减；功能衰减被有益地使用，但是很少衰减可以被引入用于表示原始信号样本的样本，而更多衰减可以被引入用于从插值运算中得到的样本。此外，这些样本中的衰减数量有益地可以为匹配品质指示的函数，且有益地以频率微分方式。在这，读取长度相对于后移步的值为可能发生的周期数的指示；衰减操作可有益地将这种测量包括在衰减设计中。

如在本发明的背景技术中所提到的，本发明实施例的子集的重要目标是获得预置长度的隐藏帧，所述预置长度等于规则信号帧的长度。在需要从系统方案中得到这个时，为此目的的装置可有益地是相位滤波器650。对这块的在计算上简单、接近但经常足够的运算是为了完成样本之间的平滑重叠相加，所述样本比带有从跟随隐藏帧之后的帧中得到的样本拖尾子集的隐藏帧数量超过预置帧长度多倍。单独地看，这种方法根据现有技术是众所周知的，例如在国际电信联盟标准ITU-TG.711附录1中使用。在依据系统方案实施时，通过将随后帧与-1相乘可以改进简单的样本重叠增加过程，这随时增加叠加区域中的相关性。然而，其他方法可有益地被使用，例如在有声信号帧之间的过渡(transition)中，以进一步减轻在帧边界处的不连续影响。一种这样的方法是对隐藏帧进行再次采样。被看作为单独的方法，这个依据现有技术也是众所周知的。参见例如Valenzuela和Animalu，″A newvoice-packet reconstruction technique″，IEEE，1989。因此本领域技术人员可以实施以减轻帧边界处的不连续。然而，在这里所公开的本发明的优选实施例中，再次采样可有益地接续紧随最后的隐藏帧的帧。从而，因为再次采样技术而导致的时间变化的斜率及因此的频率偏移在由听众理解时可以毫不觉察地实现。进一步，不同于在此采样，减轻帧边界不连续的时变全通滤波器的使用结合本发明被公开。这种的一个例子通过滤波方程给出

H_L(z，t)＝(alpha_1(t)+alpha_2(t)*z^Λ(-L))/(alpha_2(t)+alpha_1(t)*z^Λ(-L))

该函数解释如下。假定所要的扫描是在扫描区间上从L样本的延迟至0样本的延迟，这可以包括在所有或部分隐藏帧中的所有或部分样本；在隐藏帧之前的帧中；以及在隐藏帧之后的帧中。然后，在扫描区间的开始，alpha_1(t)被设置为零，以及alpha_2(t)被设置为1.0，以实现L样本的延迟。当扫描开始超过t时，alpha_1(t)朝着0.5逐渐增加，以及alpha_2(t)朝着0.5逐渐减小。在扫描区间的结束，alpha_1(t)等于alpha_2(t)，滤波器H_L(z，t)引入零延迟。相反地，如果在扫描区间上需要从零样本的延迟至L样本的延迟的扫描，这可包括所有或部分隐藏帧中的所有或部分样本；在隐藏帧之前的帧中；以及在隐藏帧之后的帧中。然后，在扫描区间的开始，alpha_1(t)被设置为0.5，以及alpha_2(t)被设置为0.5，以实现0样本的延迟。当t上的扫描开始时，alpha_1(t)朝着0逐渐减小，以及alpha_2(t)朝着1.0逐渐增加。在扫描区间的结束alpha_1(t)等于0及alpha_2(t)等于1.0，滤波器H_L(z，t)引入L样本的延迟。

上面滤波在计算上是简单的，然而它具有非线性相位响应。因感知原因，这个非线性相位将其使用限制至相当小的L。有益地，用于以16kHz采样的语音的L＜10。实现用于初始L的更大数值的滤波的一种方法是初始化几个较小L值的滤波器，所述较小L值累加至所需的总L值，这些几个滤波器可有益地在不同时刻被初始化，以及在不同时间间隔上扫描他们的alpha范围。这种滤波器可以应用的增加L范围的一种其他方法在下面被公开。实现与上面的在功能上相同的滤波的结构是将信号分为L个多相位(poly-phase)，进而在这些多相位的每个中实施下面的滤波

H_1(z，t)＝(alpha_1(t)+alpha_2(t)*z^Λ(-1))/(alpha_2(t)+alpha_1(t)*z^Λ(-1))

通过本发明，通过使用向上采样(up-sampling)有益地实施多相位滤波。有利地实施这个的一种方法是对带有系数K的每个多相位进行向上采样，并且对带有系数K的、在向下采样(down-sampling)之前的每个向上采样的多相位中进行K次滤波H_1(z，t)，并从所述多相位对相位改变的信号进行重构。因子K可有益地被选择为K＝2。通过上采样过程，获得接近线性的相位响应。从而，改善了由人类听众所理解的感知品质。

在隐藏帧被无丢失地插入到接收帧序列中时，上面所述的在多帧上进行相位调整是可应用的。它还在从信号序列中取出帧以减少随后帧的重放延迟时是可应用的。以及在多个帧被丢失以及零或多个隐藏帧被插入在在之前所接收的帧和在丢失后所接收的帧之间时，它是可应用的。在这些情形下，获得用于这个滤波器的输入信号及找到延迟L的有益方法如下：

1)在时间上比不连续点早的帧上，这里所披露的一个或任意其他的隐藏方法被继续或开始。

2)在时间上比不连续点晚的帧上，L_test个样本被插入在由这里所披露的一个或任意其他的隐藏方法开始的帧中，但是具有对时间样本标注的相反索引。

3)匹配测量，例如标准相关性，被应用在依据1)的隐藏帧和依据2)的包括头(heading)L_test样本的帧之间。

4)使匹配测量最大化的L_test被选择为L。

5)依据2)的隐藏帧和依据3)的帧使用加权叠加程序现在被累加在一起。而所述加权叠加程序对于本领域技术人员是众所周知的，其优选地可以在如下描述中被最优化。

6)得到的帧被用作上述相位适用滤波的输入，使用确定值L开始。如果L大于阈值，则几个滤波器被开始且在不同时刻和时间区间上扫描，他们的L值累加至确定值L。

有益地，在以8或16kHz采样的语音或语音残余中，上面阈值可以被选择为在范围5至50中的数值。另外有益地，在有声语音或有声语音残余中，隐藏样本L_test及其进入下一帧的继续部分通过对帧的第一音调周期样本的循环移位而获取。从而没有标准化的相关测量(correlation measure)、对全音调周期的相关可有益地被用作匹配测量，以找到优选循环移位L。

图9示出这种方法的一个实施例。在这个图中，相位调整产生信号帧900和后面的帧之间的平滑过渡。这通过如下完成：从信号帧900和较早的帧，生成隐藏信号910。使用这里所公开的方法或者使用本领域众所周知的其他方法，可以生成这个隐藏信号。该隐藏信号与窗口920相乘，以及与另一个窗口930被925相加，其乘以如下生成的信号：后面的样本950或可能的960，通过有效地应用例如这里所公开的隐藏方法或者使用本领域众所周知的其他方法生成隐藏信号940，并且与下面的样本950连接。隐藏940中的样本数被优化，以使隐藏910与940和后面的样本950的连接之间的匹配最大化。

有益地，标准相关性可被用作对这种匹配的测量。进一步，为了减少计算上复杂度，用于有声语音或有声语音残余的匹配可被限制为包括一个音调周期。在这种情形中，隐藏样本940可以被获得作用一个音调周期的循环移位的第一部分，以及一个音调周期上的相关测量现在不需要被标准化。从而，避免了对标准因子计算的估计。就先前在优选实施例的详细说明中所述的索引和插值运算来说，窗口可再次有益地成为匹配品质指示的函数和/或频率函数，进而有益地被实施作为抽头延迟线。滤波器970的操作如下。从叠加过程中得到的第一L样本被直接传递至其输出端，并且被用于家安理滤波器的初始状态。此后，滤波器系数被如上所述初始化，以及当滤波器从样本L+1向前滤波，这些系数被逐渐调整，例如以逐渐去除延迟的L样本，如上所述。

此外，在上面描述过程中，如上所述，根据最大化匹配标准而对窗的权重进行优化的方法以及该窗函数的统一化(generalization)，应用于基于频率的权重和以抽头延迟线或者其他参数的滤波器形式的匹配滤波器。在有益实施例中，通过三个叠加序列的序列获得频率相关滤波器权重的时间变化，第一个消弱来自先前帧的隐藏帧，第二个增强具有滤波器的滤波版本，以匹配在相反标注时间中获得的来自后面帧的隐藏帧，然后使它们再次消弱，第三个增强在时间上在后面的帧。在另一组有益实施例中，频率相关滤波器权重的时间变化通过四个叠加序列的序列而获得，第一个消弱来自先前帧的隐藏帧，第二个增强具有滤波器的滤波版本，例如匹配在相反索引时间中获得的来自后面帧的隐藏帧，然后使它们再次消弱，第三个增强在时间上在后面的过滤后的帧，以进一步改善这种匹配，此后再次消弱，最后第四个窗口增强在时间上在后面的帧。另外，加权叠加方法的有益实施例在后面被公开在这个说明书中。

关于实施例中的平滑和均衡操作610，其中残留域样本被用作表示语音信号的部分信息，使用诸如梳状滤波器或周期陷波滤波器之类的音调适用滤波，平滑和均衡可有益地被应用在这个残留信号上。此外，可以有益地应用具有作为用于未滤波残留模型的长期相关滤波器正噪声的维纳或卡尔曼(Wiener或Kalman)滤波。在应用维纳或卡尔曼滤波器的这种方式中，应用模型中的噪声变型以调整平滑和均衡的量。这在某种程度上是违反直觉的使用，因为这个分量在维纳或卡尔曼滤波理论中传统上被应用以模拟不想要的噪声分量的存在。当被应用在本发明中时，目的是设置平滑和均衡的程度。在本发明的内容中，作为音调适用梳状或陷波滤波和维纳或卡尔曼型滤波的替代，第三种方法在本发明的正文中被有益地应用于对残留信号的平滑和均衡。通过这第三种方法，有益地应用了例如未发声语音的样本幅度，或者有益地应用了发声语音的样本的相邻矢量越来越相似。完成这种的可能过程分别为在下面描述来分别用于发声语音的矢量和未发声语音的样本。

用于发声语音，语音或残留的连续样本以矢量形式大量被收集，在每个矢量中的多个样本等于一个音调周期。为了描述的便利，我们在这里将这个矢量标注为v(k)。现在，该方法将获得作为v(k)分量的剩余矢量r(k)，v(k)不能通过某些方法在环境矢量v(k-L1)、v(k-L1+1)、...、v(k-1)和v(k+1)、v(k+2)、....，v(k+L2)中建立。为了描述的便利，在环境矢量中建立的分量被标示为a(k)。剩余矢量r(k)随后以一些线性或非线性方式被处理以降低其可听度，同时保留得到的重构矢量的属性，所得到的重构矢量是通过将分量a(k)再次插入r(k)的已处理版本中而获得。

这导致有声语音或有声残留语音的平滑和均衡版本。上面所述的原理的一个简单实施例，用于方便的矩阵矢量表示和用于例子的简单化，在下面给出了限定a(K)的线性组合和最小平方的表示。这仅仅用作用于平滑和均衡的上面一般原理的单一简单实施例中的一个例子。

用于这个例子的目的，将矩阵M(k)限定为

M(k)＝[v(k-L1)v(k-L1+1)....v(k-1)v(k+1)v(k+2)....V(k+L2)]

据此，a(k)可以被计算为例如给定M(k)的v(k)的最小平方估计

a(k)＝M(k)inv(trans(M(k))M(k))v(k)

其中inv()表示矩阵求逆或伪求逆，以及trans()表示矩阵变换(matrix transposition)。现在，例如通过减法，可以计算剩余失量r(k)。

r(k)＝v(k)-a(k)

处理r(k)的一个例子是通过削去矢量中的峰值，例如将样本的最大绝对值限制至与最接近前后隐藏过程处理的起始点的r(k)矢量的最大幅度相等的水平，或者限制到多倍于处于相同位置处的样本幅度的一些因子，在不同于最接近前后隐藏程序的起始点的矢量中。已处理的剩余rm(k)随后与a(k)矢量合成，以重构v(k)的均衡形式，在这里为了方便由ve(k)表示。这种合成作为一个例子可以通过简单加法来完成：

ve(k)＝alpha*rm(k)+a(k)

这个例子中的参数alpha可被设定为1.0或可有益地被选择为小于1.0，用于alpha的一个有益选择是0.8。

用于无声语音，具有优点的另一平滑和均衡方法可以被使用。用于无声语音的平滑和均衡的一个例子计算在对数域对残留信号幅度的多项式拟合。作为例子，第二级多项式和log10域可以被使用。在从对数域将多项式拟合转换之线性域之后，在对应于用于前后程序的起始点处的拟合曲线被有益地标准化至1.0。随后，拟合曲线被下限至例如0.5，其中在残留信号的幅度使用拟合曲线被分割之后，以平滑地均衡出无声残留信号的幅度改变。

至于加权重叠增加过程，其一些而不是全部应用在先前被公开在本说明书中，也就是，索引和插值操作620和初始用于相位调整滤波970的输入信号的方法、过程可以如同本领域技术人员所知道的那样被实施。然而，在加权叠加处理的优选实施例中，在下面公开的方法可以有益地被使用。

在响应于匹配品质指示而改变的加权叠加处理的简化实施例中，我们认为第一窗口乘以第一子序列及第二窗口乘以第二子序列，以及这两个乘积输入叠加操作。现在作为一个示例，我们让第一窗口成为逐渐减小的窗口，例如单调减少函数，以及我们让第二窗口成为逐渐增加的窗口，例如单调增加函数。其次，用于简化例子的目的，我们让第二窗口通过基本窗口形状乘以标量乘数被参数化。现在，我们定义：target为所述第一子序列；w_target为逐个与所述逐渐减小窗口相乘的样本的所述第一子序列；w_regressor为逐个与用于逐渐增加窗口的所述基本窗口形状相乘的样本的所述第二子序列；coef为所述标量乘数。现在第二窗口的标量乘数分量可以被优化，以使target和叠加运算的结果之间的误差平方和最小。为了便利使用矩阵矢量符号，问题可以被构成为使target和数量之间的差的平方和最小。

w_target+w_regressor*coef

在这里定义矢量T和H为

T＝target-w_target

H＝w_regressor

给出这种优化的解为

coef＝lnv(trans(H)*H)*trans(H)*T

其中inv()表述标量或矩阵求逆，trans()标示矩阵或矢量的转置，以及*是矩阵或矢量乘法。现在，如这里所公开的中心分量一样，本方法可以被扩展，以优化窗口的实际形状。实现这种方法的一种途径如下。我们定义一套形状，所要的窗口作为在套中的元素的线性组合而获得。我们现在定义H，以使H中的各列为来自该套逐个样本乘以第二自序列的形状，以及我们将coef定义为包含优化窗函数中的这些形状的未知权重的列矢量。使用这些定义，表述问题的上面方程式及其解现在应用，以求解更多的一般窗口形状。自然地，在上面中，第一和第二窗口的作用可以互换，以使现在是对第一窗口采用优化。

本发明的更多有益实施例共同地优化两种窗口形状。这通过定义第二套基本窗口形状来实现，可能等效于第一套窗口形状，进而有益地在第一套窗口形状中的各个窗口形状中被选作为样本的时间倒置索引。现在将w_targe定义为矩阵，其中各列为来自所述第二套窗口形状的基本窗口形状，所述第二套窗口形状是逐个样本乘以第一子序列，以及将coef定义为列矢量，其包含用于第一窗口的第一权重和用于第二窗口的第二权重。然后，更一般的问题可以被构造为使target和数量之间的差的平方和最小。

[w_target w_regressor]*coef

其中方括号[]被用于由子矩阵或矢量构成矩阵。现在根据这里定义矢量T和H为

T＝target

H＝[w_target w_regressor]

对这种优化的解被给定为

coef＝inv(trans(H)*H)*trans(H)*T

另外，本发明更高级的实施例不仅仅优化了瞬间窗口形状，还有具有优化频率相关权重的窗口。本发明的一个实施例应用抽头延迟线的形式，尽管一般性发明决不限于这种形式。完成这种概括的一种途径是在上面w_target和w_regressor的定义中，替换多个列中的各列，各个样本对样本地乘以对应于它们所替换列的基本窗口形状空间，但是其中这种基本窗口形状现在是逐个样本乘于与抽头延迟线中特定位置相对应的延迟的相关子序列。

有益地，不脱离这里所公开的本发明，在这些方法中对系数的优化考虑了对系数的权重、约束或顺序计算。这种加权可有益地包括对与低绝对值延迟值相对应的系数加更多的权重。这种顺序计算可有益地首先计算用于低绝对延迟值的系数，以仅仅使用那些系数的误差的平方和最小化，以及然后顺序重复用于增加延迟值的这种处理，不仅仅对于在这种处理中来自先前步骤的保留误差。

一般地，本发明的实施例将几个子序列作为优化目标。在一般意义上，优化使失真函数最小，所述失真函数是这些目标子序列和来自加权叠加系统的输出的函数。这种优化不脱离本发明地可以对基本形状和延迟及全部叠加中的它们的加权的选择应用各种约束。取决于对形状的准确选择，叠加的影响在时间上有益地逐渐从在时间上跟随叠加区域的子序列弱化。

图10示出所公开的重叠增加方法的一个实施例。该图仅仅用于说明本发明一个实施例的目的，因本发明不限于图中的精确结构。图10中，一个子序列1000进入使用另一子序列1010进行叠加优化的时间和频率形状。这些子序列中的各个进入分离的延迟线，其中在图中，z表示一个样本的时间提前，以及z-1表示一个样本的时间延迟，以及其中对1、-1和0的选择延迟纯粹用于说明的目的：其它、更多的或更少的延迟可有益地与本发明相结合使用。现在，将各个子序列的各个延迟版本与多个基本窗口形状相乘，以及这些中的各个结果在优化过程中与连同其它系数一起建立的系数相乘，在与这些系数相乘后，得到的子序列被求和以产生根据优化叠加的时间和频率形状的输出1020。在图10的例子中，对系数的优化1030将子序列1040和1050作为输入，并且将为1040、1050和输出1020的函数的失真函数最小化。

在权利要求中，对附图的参考标记仅仅因清楚原因被包含。这些对附图中示例实施例的引用决不应当构成对权利要求范围的限制。

Claims (34)

1.一种用于生成与数字音频信号的传输相关的隐藏样本序列的方法，其中该方法包括从音频信号的数字表示的缓冲样本中以采样时间顺序生成隐藏样本序列，

其中隐藏样本序列中的样本的至少两个连续子序列基于以连续顺序但以相反时间顺序的缓冲样本的子序列来选择。

2.依据权利要求1所述的方法，其中隐藏样本序列中的至少两个连续子序列在相反的时间顺序中是基于缓冲样本的至少两个连续子序列的。

3.依据权利要求2所述的方法，其中隐藏样本序列中的至少三个连续子序列是基于缓冲样本的以相反的采样时间顺序连续的至少三个子序列的。

4.依据前面权利要求中任意一项所述的方法，其中隐藏样本序列从基于在采样时间顺序中是最后的缓冲样本的子序列的子序列开始。

5.依据权利要求1所述的方法，其中基于在时间顺序上向前索引和读取多个缓冲样本以及在时间顺序上向后移步多个缓冲样本的顺序处理，所述缓冲样本的子序列在采样时间中被重新排序。

6.依据权利要求5所述的方法，其中索引和读取缓冲样本的所述顺序处理包括步骤：

a)通过以时间顺序对多个缓冲样本进行向后移步来索引缓冲样本，在其步骤后，

b)从步骤a)中被索引的缓冲样本开始，以时间顺序向前读取多个缓冲样本，并且使用所读取的样本计算隐藏样本序列的子序列，

其中向前读取的缓冲样本数量不同于向后移步的缓冲样本数量。

7.依据权利要求6所述的方法，其中向前读取的缓冲样本数量大于向后移步的缓冲样本数量。

8.依据权利要求6所述的方法，其中向前读取的缓冲样本数量小于向后移步的缓冲样本数量。

9.依据权利要求1所述的方法，其中通过利用加权叠加处理，从缓冲样本的子序列计算所述隐藏样本序列的子序列。

10.依据权利要求9所述的方法，其中在所述加权叠加处理中的加权函数另外还是频率的函数。

11.依据权利要求9或10所述的方法，其中所述加权叠加处理响应于匹配品质指示而被改变。

12.依据权利要求11所述的方法，其中匹配品质指示响应进入到加权叠加处理中的两个或多个样本子序列。

13.依据权利要求5所述的方法，其中通过位置指针的向后和向前变化而部分地描述在采样时间上的所述重新排序。

14.依据权利要求13所述的方法，其中利用停止标准对所述位置指针的所述向后变化进行限制。

15.依据权利要求1所述的方法，其中对所述缓冲样本进行平滑和均衡操作。

16.依据权利要求14所述的方法，其中通过应用叠代优化方法、马尔可夫决策过程或维特比方法中的一种，用于所述向后变化的所述停止标准、所述向前和所述向后变化的步距、以及开始的所述向后变化的数量共同地被优化，以优化在由人类听众理解时的声音品质。

17.依据权利要求14所述的方法，其中通过应用叠代优化方法、马尔可夫决策过程或维特比方法中的一种，所述位置指针的所述向后和向前变化被共同地优化，以优化在由人类听众理解时的声音品质。

18.依据权利要求1所述的方法，其中进行相位滤波以使在隐藏样本序列和连续样本帧之间的边界处的不连续最小化。

19.依据权利要求16所述的方法，其中进行相位滤波以使在隐藏样本序列和连续样本帧之间的边界处的不连续最小化，并且其中所述共同优化还包括由相位滤波所引入的信号失真，以优化由人类听众所感知的声音品质。

20.依据权利要求1所述的方法，其中噪声混合被引入到隐藏样本序列中。

21.依据权利要求5所述的方法，其中噪声混合被引入到隐藏样本序列中，并且其中所述噪声混合响应于在采样时间顺序上向前的索引多个缓冲样本及在采样时间顺序上向后移步多个缓冲样本的顺序处理而改变。

22.依据权利要求21所述的方法，其中所述在采样时间顺序上向前的索引多个缓冲样本及在采样时间顺序上向后移步多个缓冲样本的顺序处理以及对其的所述响应包括匹配品质指示的使用。

23.依据权利要求1所述的方法，其中在隐藏样本序列中应用衰减函数。

24.依据权利要求5所述的方法，其中在隐藏样本序列中应用衰减函数，并且其中所述衰减函数响应于在采样时间顺序上向前的索引多个缓冲样本及在采样时间顺序上向后移步多个缓冲样本的顺序处理而改变。

25.依据权利要求24所述的方法，其中所述在采样时间顺序上向前的索引多个缓冲样本及在采样时间顺序上向后移步多个缓冲样本的顺序处理以及对其的所述响应包括匹配品质指示的使用。

26.依据权利要求1所述的方法，其中所述隐藏样本序列中得到的样本数被预置。

27.依据权利要求26所述的方法，其中预置的样本数与数字音频信号的特性无关。

28.依据权利要求26或27所述的方法，其中所述预置的样本数具有在范围5-1000中的预置整数值。

29.依据权利要求28所述的方法，其中所述预置的样本数具有在范围20-500中的预置整数值。

30.依据权利要求1所述的方法，其中隐藏样本序列被包含在第一隐藏帧中。

31.依据权利要求30所述的方法，其中该方法进一步包括至少生成与第一隐藏帧连续的第二隐藏帧，第二隐藏帧包含隐藏样本的第二序列。

32.依据权利要求31所述的方法，其中所述第一和第二隐藏帧中的隐藏样本序列是不同的。

33.依据权利要求31或32所述的方法，其中所述第一和第二隐藏帧包含相同数量的样本。

34.依据权利要求33所述的方法，其中相比于被包含在第一隐藏帧中的任意样本子序列，第二隐藏帧中的至少一个样本子序列至少部分地基于在采样时间上更靠后的缓冲样本的子序列。

Images