CN115867965A - 低频效果声道的帧丢失隐藏 - Google Patents

Abstract

提出了一种生成音频信号的丢失音频帧的替代帧的方法。所述方法可以包括基于所述丢失音频帧之前的有效音频帧的样本来确定音频滤波器。所述方法可以包括基于所述音频滤波器和所述丢失音频帧之前的所述有效音频帧的所述样本来生成所述替代帧。所述方法可以有利地适用于多声道音频信号的低频效果(LFE)声道。

Description

低频效果声道的帧丢失隐藏

相关申请的交叉引用

本申请要求以下优先申请的优先权：于2020年6月11日提交的美国临时申请63/037,673(参考号：D20058USP1)和于2021年5月27日提交的美国临时申请63/193,974(参考号：D20058USP2)，所述申请通过援引并入本文。

技术领域

本公开总体上涉及一种用于低频效果(LFE)声道的帧丢失隐藏的方法和装置。更具体地，本公开涉及基于对多声道音频信号的LFE声道的线性预测编码(LPC)的帧丢失隐藏。所呈现的技术可以例如应用于3GPP IVAS编码。

尽管本文将特别参考该公开内容来描述一些实施例，但是应当理解，本公开不限于这种使用领域，并且可应用于更广泛的背景。

背景技术

在整个公开内容中对背景技术的任何讨论绝不应视为承认这种技术是本领域众所周知的或形成本领域公知常识的一部分。

LFE是多声道音频(如5.1或7.1音频中)的低频效果声道。所述声道旨在驱动这种多声道音频的扩音器播放系统的超低音扬声器。正如术语LFE所暗示的，该声道应该只传递低音信息，典型的频率上限为120Hz。

然而，该频率限制可能不总是非常明确的，这意味着在实践中可能出现LFE声道甚至包含高达例如400Hz或700Hz的某个更高频率分量。当呈现给扩音器系统时这种分量是否具有感知效果可能取决于超低音扬声器的实际频率特性。

在某些情况下，多声道音频也可以经由立体声耳机渲染。在这种情况下，使用特定的渲染技术来产生像通过多扩音器系统收听多声道音频一样的音效体验。即使对于LFE声道也是如此，适当的渲染技术确保LFE声道的音效体验接近使用超低音扬声器系统进行回放时的体验。

假定LFE声道通常只有非常有限的频率内容，因此它可以用相对低的比特率编码和传输。一种适用于LFE的编码技术是使用修正离散余弦变换(MDCT)的基于变换的编码。使用这一技术，例如可以以大约每秒2000-4000比特的比特率来表示LFE。

在尤其是通过无线信道的多声道音频传输中，一种特殊情况是传输可能容易出错。传输通常基于分组，并且传输错误可能导致多声道音频的一个或多个完整编码帧被擦除。多声道音频解码系统采用所谓的分组或帧丢失隐藏技术，所述技术的目的在于使丢失音频帧的音效尽可能听不见。

对于多声道音频的常规信号信道，已有成熟的帧丢失隐藏技术。一系列合适的技术例如是3GPP EVS编解码器[3GPP TS 26.447]的一部分。

原则上，对于MDCT编码的LFE声道，可以应用相同的技术。例如，可以再次使用来自最近有效音频帧的MDCT系数，并且在增益缩放(衰减)和符号预测或随机化之后使用这些系数。EVS标准还提供了其他技术，如根据正弦方法在时域中重构丢失音频帧的技术。

将这些现有技术应用于LFE声道的一个主要问题是，其并未针对甚低频内容进行设计或优化。虽然所述技术对于具有常规频率内容的音频声道非常有效，但是将其应用于LFE声道会产生令人厌烦的低频噪音。

因此，本公开的目的是描述一种新颖技术，所述技术克服了将现有帧丢失隐藏技术应用于LFE声道存在的问题和限制。但是所述新颖方法的应用范围可以不仅限于LFE声道。

发明内容

根据本公开的第一方面，提出了一种生成音频信号的丢失音频帧的替代帧的方法。所述方法可以包括基于所述丢失音频帧之前的有效音频帧的样本来确定音频滤波器。所述方法可以包括基于所述音频滤波器和所述丢失音频帧之前的所述有效音频帧的样本来生成所述替代帧。基于所述音频滤波器和所述有效音频帧的样本来生成所述替代帧的步骤可以包括用所述有效音频帧的样本初始化所述音频滤波器的滤波器存储器。所述方法可以包括基于所述音频滤波器确定经修改的音频滤波器。所述经修改的音频滤波器可以取代所述音频滤波器，并且基于所述音频滤波器生成所述替代帧的步骤可以包括基于所述经修改的音频滤波器和所述有效音频帧的样本生成所述替代帧。

所述音频滤波器可以是全极点滤波器。所述音频滤波器可以是线性预测编码(LPC)合成滤波器。所述音频滤波器可以从至少对有效帧的样本进行操作的全通滤波器得到。所述方法可以包括基于所述全通滤波器的传递函数的分母多项式来确定所述音频滤波器。

确定所述经修改的音频滤波器的步骤可以包括带宽锐化。所述带宽锐化可以被应用以使得所述经修改的音频滤波器的脉冲响应的持续时间相对于所述音频滤波器的脉冲响应的持续时间被延长。所述带宽锐化可以被应用以使得同所述音频滤波器的对应极点与单位圆之间的距离相比，所述经修改的音频滤波器的极点与所述单位圆之间的距离减小。所述带宽锐化可以被应用以使得所述经修改的音频滤波器的具有最大幅度的极点等于1或者至少接近1。所述带宽锐化可以被应用以使得所述经修改的音频滤波器的具有最大幅度的极点的频率等于所述音频滤波器的具有最大幅度的极点的频率。

所述方法可以包括使用求根方法确定所述音频滤波器极点的幅度和频率。所述带宽锐化可以被应用以使得所述经修改的音频滤波器的极点的幅度被设定为等于1或者至少接近1，其中，所述经修改的音频滤波器的极点的频率与所述音频滤波器的极点的频率相同。只有当所述音频滤波器的对应极点的幅度超过一定阈值时，所述经修改的音频滤波器的极点的幅度才可以被设定为等于1或者至少接近1。

所述方法可以包括确定所述音频滤波器的滤波器系数。所述方法可以包括应用使用带宽锐化因子的所述带宽锐化，使得S_γ(z)＝S(z/γ)，其中，S_γ表示所述经修改的音频滤波器的传递函数，s表示所述音频滤波器的传递函数，并且γ表示所述带宽锐化因子。所述方法可以包括基于所述音频滤波器的滤波器系数、所述丢失音频帧之前的所述有效音频帧的样本以及所述带宽锐化因子γ来生成所述替代帧。可以通过逐步递增和/或递减所述带宽锐化因子，在迭代过程中确定所述带宽锐化因子。所述方法可以包括通过将所述经修改的音频滤波器的多项式系数转换成反射系数来检查所述经修改的音频滤波器的极点是否位于所述单位圆内。在这里，将所述经修改的音频滤波器的多项式系数转换成反射系数可以基于后向Levinson递归。所述带宽锐化因子可以被确定为使得所述经修改的音频滤波器的具有最大幅度的极点被移动至尽可能靠近所述单位圆，并且同时，所述经修改的音频滤波器的所有极点都位于所述单位圆内。可以使用等式

生成所述替代帧，其中，a_i表示所述音频滤波器的滤波器系数，P表示所述音频滤波器的阶数，γ表示所述带宽锐化因子，/>

表示所述音频滤波器的滤波器存储器，并且

表示所述替代帧的替代样本。

所述方法可以包括：确定所述音频滤波器的滤波器系数；通过减小表示所述音频滤波器系数的一对线谱频率的距离来应用所述带宽锐化，从而生成经修改的线谱频率。所述方法可以包括根据所述经修改的线谱频率得到所述经修改的音频滤波器的系数。所述方法可以包括基于所述经修改的音频滤波器的滤波器系数和所述丢失音频帧之前的所述有效音频帧的样本来生成所述替代帧。

丢失音频分组可以与多声道音频信号的低频效果LFE声道相关联。特别地，丢失音频分组可能已经通过无线信道从发射器传输至接收器。所述方法可以在所述接收器处执行。

所述方法可以包括在生成所述替代帧的替代样本之前，对所述有效音频帧的样本进行降采样。所述方法可以包括在生成所述替代帧之后，对所述替代帧的替代样本进行上采样。

多个音频帧可能丢失，并且所述方法可以包括通过使用第一带宽锐化因子缩放所述音频滤波器的音频滤波器系数来确定第一经修改的音频滤波器。所述方法可以包括通过使用第二带宽锐化因子缩放所述音频滤波器系数来确定第二经修改的音频滤波器。所述方法可以包括基于所述第一经修改的音频滤波器生成前M个丢失音频帧的替代帧。所述方法可以包括基于所述第二经修改的音频滤波器生成第(M+1)个丢失音频帧以及随后所有丢失音频帧的替代帧，使得后面的帧的音频信号衰减。

所述方法可以包括将所述音频信号分成第一子带信号和第二子带信号。所述方法可以包括生成针对所述第一子带信号的第一子带音频滤波器。所述方法可以包括基于所述第一子带音频滤波器生成第一子带替代帧。所述方法可以包括生成针对所述第二子带信号的第二音频滤波器。所述方法可以包括基于所述第二子带音频滤波器生成第二子带替代帧。所述方法可以包括通过组合所述第一子带替代帧和所述第二子带替代帧来生成所述替代帧。

所述音频滤波器可以被配置成作为谐振器操作。所述谐振器可以被调谐到所述丢失音频帧之前的所述有效音频帧的样本上。所述谐振器最初可以用所述丢失音频帧之前的所述有效音频帧的样本中的至少一个样本激励。可以通过使用所述谐振器的振铃来将至少一个样本扩展到丢失音频帧中，从而生成所述替代帧。

根据本公开的第二方面，提出了一种系统。所述系统可以包括：一个或多个处理器；以及存储有指令的非暂态计算机可读介质，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行上述方法的操作。

根据本公开的第三方面，提出了一种非暂态计算机可读介质。所述非暂态计算机可读介质可以储存指令，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行上述方法的操作。

附图说明

现在将参考附图仅通过举例来描述本公开的示例实施例，在附图中：

图1图示了帧丢失隐藏的示例过程的流程图，以及

图2图示了用于实施本文档内所描述的特征和过程的示例性移动设备架构。

具体实施方式

本公开的一个主旨是通过运行谐振器根据最近有效音频样本推测丢失音频帧的样本。谐振器被调谐到最近有效音频样本上，并且然后被操作以将音频样本扩展到丢失音频帧中。作为示例，如果最近有效音频样本是频率为f₀和相位为

的正弦曲线，则合适的谐振器将是被调谐为将该正弦曲线扩展到丢失音频帧中的振荡器。

在该示例中，最近有效信号可以表示为

然后，谐振器生成的推测样本将为：

在这些等式中，a是正弦曲线振幅，f_S是采样频率。

该谐振器的一种可能的实现是以下全通滤波器

由于该滤波器的分子和分母相同，因此得到的传递函数将是一，并且因此该滤波器将通过最近有效音频样本而无需修改。然而，为了生成推测样本，将仅使用滤波器的分母，从而将其转换为振荡器。然后将如下生成推测样本：

和/>

的初始值将是两个最近有效样本x(-1)和x(-2)。

换句话说，推测样本可以被构造为最初用最近音频样本激励的谐振器滤波器的振铃，所述最近音频样本因此确定初始滤波器状态存储器，并且然后使滤波器自行振铃(或振荡)，即没有另外的(非零)输入样本。

如果信号可以非常好地近似于正弦曲线，则所述样本推测方法是可能的。但是这仍然需要识别谐振器的正弦曲线频率f₀和谐振频率。

一种更通用的方法是应用线性预测(LPC)方法，该方法克服了对单个正弦曲线的局限性，并且还解决了确定谐振器谐振频率的问题。线性预测合成滤波器振铃传统上用于基于帧的合成式分析语音编码系统。这里，通过考虑前一帧的合成滤波器振铃来计算当前帧的LPC滤波器激励。LPC合成滤波器振铃还用于在ACELP编解码器模式切换的情况下推测一些样本，其中，一些未来样本不可用[3GPP TS 26.445]。

与上述全通滤波器一样，滤波器H(z)的构造如下：

这里，A(z)是生成线性预测误差信号的LPC分析滤波器。在H(z)的该示例性公式中，A(z)是横向滤波器。

是根据预测误差信号或某个其他合适的激励信号重构语音信号的LPC合成滤波器。/>

是递归滤波器(全极点滤波器)。σ是要被选择以使得合成信号的功率与原始信号的功率相匹配的激励信号的比例因子。在一些实施方式中σ可以是可选的和/或可以设定为1。

用于推测信号样本的方法类似于上述振荡器的情况：

至/>

的初始值是最近有效样本x(-1)至x(-P)。P是LPC合成滤波器的阶数。

值得注意的是，可以使用如Levinson-Durbin方法等传统方法生成/确定分析滤波器A(z)。如上所述，可以根据A(z)构造全通滤波器H(z)。在帧丢失的情况下，H(z)的合成滤波器部分、即LPC合成滤波器

可以用于构造丢失帧的替代帧。

进一步值得注意的是，LPC方法解决了确定谐振器谐振频率方面的问题，如下所述：语音编码中众所周知的LPC分析的一项特性是，对应LPC合成滤波器的频率响应与语音共振峰相匹配。一般来说，这意味着合成滤波器的谐振频率与所分析的输入信号的主要频谱分量(主频率)相匹配。因此，LPC方法适合于确定具有匹配谐振频率的谐振器。

LPC合成滤波器振铃方法的一个缺点是LPC合成滤波器的脉冲响应通常衰减的非常快(近似呈指数式衰减)。因此，所述方法不足以生成20ms的丢失音频帧的替代帧。在若干连续丢失帧的情况下，对应地，必须生成20ms的倍数的替代信号。典型的LPC合成滤波器已经逐渐淡出，并且不能产生有用的替代信号。

为了克服这一限制，可以不这样使用LPC合成滤波器，也不能使用像Levinson/Durbin方法这样的标准技术来计算。相反，通过带宽锐化对滤波器进行修改，使得滤波器的极点被移动到尽可能接近单位圆，只是仍然保持稳定。根据一种这样的方法，使用标准求根方法计算LPC合成滤波器的极点。然后，假定原始极点位置

极点幅度r_i被取代为1，或者至少接近1。这一操作的效果是极点的频率保持不变，同时该极点频率

的滤波器响应不会逐渐淡出。所述方法的略微修改是，只有幅度超过一定阈值(例如0.75)的极点移向单位圆。

在一些实施方式中，所述方法的实际缺点可能在于求根所需的数值复杂性。一种避免该处理步骤的方法是采用给定LPC合成滤波器，并如下通过带宽锐化因子γ对其进行修改：

S_γ(z)＝S(z/γ)。

该操作的效果是，滤波器极点都以因子γ向单位圆移动。然而，由于极点位置未知，给定的因子γ可能太大，使得至少具有最大幅度的极点被移动到单位圆之外，这导致滤波器不稳定。因此，在应用给定因子γ之后，可以检查滤波器是否变得不稳定或者其是否仍然稳定。如果滤波器不稳定，则选择更小的γ，否则选择更大的γ。然后可以迭代地重复该过程(使用区间套技术)，直到找到使滤波器非常接近不稳定但仍然稳定的带宽锐化因子γ。

值得注意的是，也可以使用如基于线谱频率的锐化等其他滤波器带宽锐化技术。在这种技术中，LPC滤波器系数被表示为线谱频率(对)。通过减少线谱频率对的距离来实现锐化效果。如果距离减小到零，这等同于将滤波器的极点移动到单位圆或将滤波器推到稳定极限。由经修改的线谱频率表示的对应经修改的滤波器然后可以再次由通过从经修改的线谱频率到经修改的LPC系数的反向转换获得的LPC系数表示。

上述基于LPC的方法可以总结如下：在第一步中，可以将音频滤波器(其可以视为谐振器)调谐到先前接收和/或重构的音频信号(例如LFE音频信号)上。例如，可以计算LPC系数a_i，i＝1...P。调谐到先前接收和/或重构的信号上可以以这样的方式执行，使得在这一步获得的音频滤波器具有基于先前接收和/或重构的信号(例如，从其得到)的特性(例如，谐振频率)。

对应LPC合成滤波器的带宽锐化可以通过使用经修改的合成滤波器S_crit(z)＝S(z/γ_crit)来执行，其中，选择γ_crit使得LPC滤波器处于稳定极限。可替代地，可以使用基于线谱频率的锐化。可以用先前接收和/或重构的音频信号的最近样本来初始化LPC合成滤波器存储器：

然后，可以基于以下公式来确定丢失帧的替代信号：/>

换句话说，谐振器的谐振器振铃可以用于重构或估计替代信号。

上述过程中的滤波器稳定性检查可以通过将经修改的LPC合成滤波器的多项式系数转换成反射系数来完成。这可以使用后向Levinson递归来完成。反射系数允许简单的稳定性测试：如果反射系数的任何绝对值大于或等于1，则滤波器不稳定，否则可确保滤波器稳定。

出于实施方式考虑，在下采样域中执行上述操作可能是有利的。在假设LFE信号不具有800Hz以上的明显频率内容的情况下，可以在下采样域中执行所描述的帧丢失隐藏操作，例如，使用f_s＝1600Hz的采样频率而非48000Hz的原始采样频率。这允许例如将存储先前有效样本所需的存储器减小对应的因子1/30＝1600Hz/＝/48000Hz。某些数值运算的复杂度也降低了相同因子。在假设LFE信号受到充分带宽限制的情况下，在下采样之前不需要进一步滤波。然而，在上采样至原始采样频率期间，在已经计算替代样本之后，对应的插值滤波(通常应用线性相位低通滤波器)是必要的。可以考虑由滤波器引起的延迟，并且必须计算对应的替代样本的附加数量。

值得注意的是，已经发现，在采样频率为f_s＝1600Hz的下采样域中操作的实际实施方式中，LPC滤波器阶数P＝20是合适的。

在基于MDCT的编码的帧丢失隐藏中考虑的另一个因素是，可能需要制备要恢复的帧来匹配(重叠的)MDCT变换的特定实现。这意味着在应用上述帧丢失隐藏技术之后，可以对替代样本进行加窗，然后将其转换到时间折叠域。然后，可以反转时间折叠域转换，然后得到的信号帧经历时间反转窗口。值得注意的是，时间折叠和展开可以合并为一步。在这些操作之后，已恢复的帧可以与先前(有效)帧的剩余部分组合，以产生被擦除帧的替代样本。根据MDCT帧大小和窗口形状以及所提到的内插滤波器，这可能需要用所述方法重构比依据编码系统的标称步幅或帧大小(例如可以是20ms)所预期的样本更多的样本。

一种特殊的情况是连续丢失了若干连续帧。原则上，如果是连续的第二帧、第三帧等帧丢失，则上述处理保持不变。通过所述技术恢复的前一帧可以被看作是接收的准确无误的有效帧。或者，振铃可能只是扩展到下一个丢失帧，由此谐振器或(经修改的)合成滤波器参数根据针对第一帧丢失的初始计算而被维持。然而，在非常长的帧丢失突发(例如，超过10个连续帧(对应于200ms))之后，收听者开始对替代信号静音是有利的。否则，尽管连接中断，但看似无休止的替代信号可能会让收听者感到迷惑。

适合于静音的特定发明方法是修改根据上述步骤得到的带宽锐化因子γ。虽然得到的因子γ将确保经修改的合成滤波器S(z/γ)产生持续的替代信号，但是对于静音，进一步修改(缩放)γ以确保适当的衰减。这将产生这样的效果，即经修改的合成滤波器的极点以比例因子向单位圆移动，并且因此，合成滤波器响应呈指数式衰减。

例如，如果需要每20ms帧(flen＝0.02s)3dB的衰减(att_per_frame)，并且假设合成滤波器以f_s＝1600Hz的采样频率操作，则应用以下比例因子：

所得到的因子γ_mute是初始γ缩放了α_mute得到的，如下所示：

γ_mute＝γ·α_mute。

值得注意的是，通常应该仅在非常长的帧丢失突发之后(例如在连续10个帧丢失之后)开始静音。即仅在那时，γ将被取代为γ_mute。

本发明的前述实施例基于这样的假设，即将对其执行帧丢失隐藏的信号是多声道音频信号的LFE声道。然而，可以对没有带宽限制的任何音频信号应用类似原理。显而易见的是，以信号的标称采样频率在全频带方法中执行这些操作是可能的。然而，在实际操作中可能会遇到困难，尤其是使用LPC方法时。如果采样频率为48kHz，则要找到可以充分表示要扩展信号的频谱特性的足够高阶的LPC滤波器可能具有挑战性。这种挑战性可能在数值(用于计算足够高阶的LPC滤波器)和概念两个方面。概念上的难度可能是低频可能比高频需要更长的LPC分析窗口。

解决这些挑战的一种有效方法是在子带/分频带方法中执行所述操作。为此，初始全频带信号由一组分析滤波器分成多个子带信号，每个子带信号表示一部分频带。分频带方法可以与使用特定正交镜像滤波和下采样(QMF方法)相结合，这在复杂性和存储器节省(得益于临界采样)方面提供了优势。在分析产生子带信号的滤波器操作之后，上述帧丢失隐藏技术可以并行应用于所有子带信号。利用这种方法，尤其可能对低频带使用比高频带更宽的LPC分析窗口，并且因此使LPC方法具有频率选择性。

在对初始子带进行帧丢失隐藏操作之后，可以将子带再次组合成全带替代信号。在QMF的情况下，QMF合成还涉及上采样和QMF插值滤波。

解释

除非另外特别声明，否则从以下讨论中显而易见的是，应当理解，在整个公开的讨论中，利用如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“分析”等术语来指代计算机或计算系统或类似的电子计算设备的将表示为物理(如电子)量的数据操纵和/或变换为类似地表示为物理量的其他数据的动作和/或过程。

以类似的方式，术语“处理器”可以指代处理例如来自寄存器和/或存储器的电子数据以将该电子数据变换为例如可以存储在寄存器和/或存储器中的其他电子数据的任何设备或设备的一部分。“计算机”或“计算机器”或“计算平台”可以包括一个或多个处理器。

在一个示例实施例中，本文描述的方法可由一个或多个处理器执行，所述处理器接受包含一组指令的计算机可读(也称为机器可读)代码，所述一组指令在由一个或多个处理器执行时执行本文所述的方法中的至少一个。包括能够执行指定要采取的动作的一组指令(顺序的或其他形式)的任何处理器。因此，一个示例是包括一个或多个处理器的典型处理系统。每个处理器可以包括CPU、图形处理单元和可编程DSP单元中的一个或多个。处理系统可以进一步包括存储器子系统，所述存储器子系统包括主RAM和/或静态RAM和/或ROM。可以包括总线子系统以用于部件之间的通信。处理系统可以进一步是分布式处理系统，其中，处理器通过网络耦接在一起。如果处理系统需要显示器，则可以包括这样的显示器，例如，液晶显示器(LCD)或阴极射线管(CRT)显示器。如果需要手动输入数据，则处理系统还包括输入设备，如字母数字输入单元(如键盘)、定点控制设备(如鼠标)等中的一个或多个。处理系统还可以涵盖如磁盘驱动单元等存储系统。一些配置中的处理系统可以包括声音输出设备和网络接口设备。存储器子系统因此包括携带计算机可读代码(例如，软件)的计算机可读载体介质，所述计算机可读代码包括一组指令，所述一组指令在由一个或多个处理器执行时使得执行本文所述的方法中的一种或多种。应当注意的是，当所述方法包括几个元素(例如，几个步骤)时，除非特别声明，否则不暗示这些元素的任何顺序。在计算机系统执行软件期间，软件可以驻留在硬盘中，或者也可以完全或至少部分地驻留在RAM和/或处理器中。因此，存储器和处理器也构成了携带计算机可读代码的计算机可读载体介质。此外，计算机可读载体介质可以形成或被包括在计算机程序产品中。

在替代性示例实施例中，一个或多个处理器可以作为独立设备运行，或者可以在联网部署中连接到(例如，联网到)其他(多个)处理器，所述一个或多个处理器可以在服务器PC用户网络环境中以服务器或用户机器的身份运行，或者在对等或分布式网络环境中作为对等机器运行。一个或多个处理器可以形成个人计算机(PC)、平板PC、个人数字助理(PDA)、蜂窝电话、web设施、网络路由器、交换机或网桥、或者能够执行指定该机器要采取的动作的一组指令(顺序的或其他形式)的任何机器。

应当注意的是，术语“机器”也应该被认为包括单独或联合地执行一组(或多组)指令以执行本文讨论的方法中的任何一种或多种方法的机器的任何集合。

因此，本文描述的每种方法的一个示例实施例呈携带一组指令的计算机可读载体介质的形式，所述指令例如为用于在一个或多个处理器(例如，作为web服务器布置的一部分的一个或多个处理器)上执行的计算机程序。因此，如本领域技术人员将理解的，本公开的示例实施例可以体现为方法、如专用装置的装置、如数据处理系统的装置、或计算机可读载体介质(例如，计算机程序产品)。计算机可读载体介质携带包括一组指令的计算机可读代码，所述一组指令在一个或多个处理器上执行时使一个或多个处理器实施方法。因此，本公开的方面可以采取方法、完全硬件示例实施例、完全软件示例实施例或组合软件和硬件方面的示例实施例的形式。此外，本公开可以采取载体介质(例如，计算机可读存储介质上的计算机程序产品)的形式，所述载体介质携带体现在所述介质中的计算机可读程序代码。

可以经由网络接口设备通过网络进一步发送或接收软件。虽然在示例实施例中载体介质是单个介质，但是术语“载体介质”应该被认为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的缓存和服务器)。术语“载体介质”也应该被认为包括能够存储、编码或携带一组指令的任何介质，所述一组指令用于由处理器中的一个或多个执行并且使一个或多个处理器执行本公开的方法中的任何一种或多种。载体介质可以采取多种形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质包括例如光盘、磁盘以及磁光盘。易失性介质包括动态存储器，如主存储器。传输介质包括同轴电缆、铜线和光纤，包括包含总线子系统的导线。传输介质还可以采用声波或光波的形式，如在无线电波和红外数据通信期间生成的声波或光波。例如，术语“载体介质”因此应该被认为包括但不限于固态存储器、体现在光学介质和磁性介质中的计算机产品；承载可由至少一个处理器或一个或多个处理器检测到并表示一组指令的传播信号的介质，所述一组指令在被执行时实施方法；以及网络中的传输介质，所述传输介质承载可由一个或多个处理器中的至少一个处理器检测到并表示所述一组指令的传播信号。

将理解的是，在一个示例实施例中，所讨论的方法的步骤由执行存储在存储装置中的指令(计算机可读代码)的处理(例如，计算机)系统中的适当处理器(或多个处理器)执行。还将理解的是，本公开不限于任何特定的实施方式或编程技术，并且本公开可以使用用于实施本文描述的功能的任何适当的技术来实施。本公开不限于任何特定的编程语言或操作系统。

在整个公开中对“一个示例实施例”、“一些示例实施例”或“示例实施例”的提及意味着结合示例实施例描述的特定特征、结构或特性包括在本公开的至少一个示例实施例中。因此，在整个公开中各处出现的短语“在一个示例实施例中”、“在一些示例实施例中”或“在示例实施例中”不一定都是指代同一个示例实施例。此外，在一个或多个示例实施例中，特定特征、结构或特性可以以任何合适的方式组合，这根据本公开对于本领域的普通技术人员而言将是显而易见的。

如本文所使用的，除非另外指定，否则使用序数形容词“第一”、“第二”、“第三”等来描述共同的对象，仅表明提及相似对象的不同实例，并且不旨在暗示所描述的对象必须在时间、空间、等级或任何其他方式上按照给定的顺序。

在下文的权利要求和本文的描述中，术语包括(comprising)、包括(comprisedof)或其包括(which comprises)中的任何一个是开放术语，其意指至少包括随后的要素/特征，但不排除其他要素/特征。因此，当在权利要求中使用术语“包括”时，所述术语不应当被解释为限于在其之后列出的装置或要素或步骤。例如，包括A和B的设备的表达的范围不应限于仅包括元件A和B的设备。如本文所使用的，术语包括(including)或其包括(whichincludes)或包括(that includes)中的任何一个也是开放术语，其也意指至少包括所述术语之后的元件/特征，但不排除其他元件/特征。因此，包括(including)与包括(comprising)同义并且意指包括(comprising)。

应当理解，在以上对本公开的示例实施例的描述中，有时在单个示例实施例、图或其描述中将本公开的各种特征组合在一起，以便简化本公开，并且帮助理解各创造性方面中的一个或多个。然而，本公开的方法不应当被解释为反映权利要求需要比每个权利要求中明确叙述的特征更多的特征的意图。相反，如以下权利要求所反映的，各创造性方面在于少于单个前面公开的示例实施例的所有特征。因此，在说明书之后的权利要求特此明确地并入本说明书中，其中，每个权利要求独立地作为本公开的单独的示例实施例。

此外，虽然本文描述的一些示例实施例包括其他示例实施例中所包括的一些特征而不包括其他示例实施例中所包括的其他特征，但是如本领域技术人员将理解的，不同示例实施例的特征的组合旨在处于本公开的范围内并形成不同的示例实施例。例如，在所附权利要求中，要求保护的示例实施例中的任何示例实施例都可以以任何组合来使用。

在本文提供的描述中，阐述了许多具体细节。然而，应当理解，可以在没有这些具体细节的情况下实践本公开的示例实施例。在其他实例中，未详细示出众所周知的方法、结构和技术，以避免模糊对本说明书的理解。

因此，尽管已经描述了被认为是本公开的最佳模式的模式，但是本领域技术人员将认识到，可以在不背离本公开的精神的情况下对其做出其他和进一步的修改，并且旨在要求保护落入本公开的范围内的所有这些改变和修改。例如，以上给出的任何公式仅表示可以使用的过程。可以从框图中添加或删除功能，并且可以在功能块之间互换操作。可以向在本公开的范围内描述的方法添加或删除步骤。

最后，图1图示了帧丢失隐藏的示例过程的流程图。该示例过程可以例如由图2中描绘的移动设备架构800来执行。架构800可以在任何电子设备中实施，所述电子设备包括但不限于：台式计算机、消费类音频/视频(AV)设备、无线电广播设备、移动设备(例如，智能电话、平板计算机、膝上型计算机、可穿戴设备)。在示出的示例实施例中，架构800用于智能电话并且包括(多个)处理器801、外围设备接口802、音频子系统803、扩音器804、麦克风805、传感器806(例如，加速度计、陀螺仪、气压计、磁力计、相机)、位置处理器807(例如，GNSS接收器)、无线通信子系统808(例如，Wi-Fi、蓝牙、蜂窝)、以及(多个)I/O子系统809，所述I/O子系统包括触摸控制器810和其他输入控制器811、触摸表面812和其他输入/控制设备813。也可以使用具有更多或更少部件的其他架构来实施所公开的实施例。

存储器接口814耦接到处理器801、外围设备接口802和存储器815(例如，闪速存储器、RAM、ROM)。存储器815存储计算机程序指令和数据，包括但不限于：操作系统指令816、通信指令817、GUI指令818、传感器处理指令819、电话指令820、电子消息传送指令821、web浏览指令822、音频处理指令823、GNSS/导航指令824和应用程序/数据825。音频处理指令823包括用于执行参考图1描述的音频处理的指令。

本文所描述的系统的各方面可以在适当的基于计算机的声音处理网络环境中实施，以便处理数字或数字化音频文件。自适应音频系统的部分可以包括一个或多个网络，所述网络包括任何期望数量的独立机器，所述机器包括用于缓冲和路由在计算机之间传输的数据的一个或多个路由器(未示出)。这种网络可以在各种不同的网络协议上构建，并且可以是因特网、广域网(WAN)、局域网(LAN)或其任何组合。

一个或多个部件、块、过程或其他功能部件可以通过控制系统的基于处理器的计算设备的执行的计算机程序来实施。还应当注意，可以使用硬件、固件和/或体现在各种机器可读或计算机可读介质中的数据和/或指令的任何数量的组合，从行为、寄存器传输、逻辑部件和/或其他特性的角度描述本文公开的各种功能。可以体现这种格式化数据和/或指令的计算机可读介质包括但不限于各种形式的物理(非暂态)、非易失性存储介质，如光、磁或半导体存储介质。

虽然已经通过示例并且就具体实施例描述了一种或多种实施方式，但是应当理解，一种或多种实施方式不限于所公开的实施例。相反，其旨在覆盖对本领域技术人员显而易见的各种修改和类似布置。因此，所附权利要求的范围应当被赋予最广泛的解释，以便涵盖所有这样的修改和类似布置。

所枚举的示例实施例

本发明的各个方面和实施方式也可以从以下所枚举的示例实施例(EEE)中理解，所述示例实施例不是权利要求。

EEE1.一种恢复丢失音频帧的方法，所述方法包括：

将谐振器调谐到所述丢失音频帧之前的有效音频帧的样本；

根据所述有效音频帧的样本，使所述谐振器适于作为振荡器操作；以及

将所述振荡器生成的音频信号扩展到所述丢失音频帧中。所述谐振器可以对应于上述音频滤波器H(z)，而所述振荡器可以对应于上述项

EEE2.如EEE 1所述的方法，其中，使用线性预测(LPC)技术构造谐振器/振荡器组合，并且其中，所述振荡器被实现为LPC合成滤波器。

EEE3.如EEE 2所述的方法，其中，使用带宽锐化来修改所述LPC合成滤波器。

EEE4.如EEE 3所述的方法，其中，使用带宽锐化因子γ来修改所述LPC合成滤波器，从而产生以下经修改的滤波器：

S_γ(z)＝S(z/γ)。

EEE5.如EEE 4所述的方法，其中，所述带宽锐化因子γ被选择为使得经修改的LPC合成滤波器接近不稳定，但是仍然稳定。

EEE6.如EEE 1至EEE 5中任一项所述的方法，其中，所述方法在下采样域中进行操作。

EEE7.一种从连续音频帧丢失的序列中恢复帧的方法，所述方法包括：

针对第n个连续帧丢失，n低于阈值M，应用使用锐化因子γ的第一经修改的LPC合成滤波器；以及

针对第k个连续帧丢失，k大于或等于阈值M，通过使用采用进一步修改的锐化因子γ_mute的第二经修改的LPC合成滤波器来使序列中的其他帧丢失逐渐静音，并且其中，γ_mute是锐化因子γ经因子α_mute缩放而得。

EEE8.如EEE7所述的方法，其中，阈值M和比例因子α_mute被选择为使得从第10个连续帧丢失开始，以每20ms音频帧3dB的衰减实现静音行为。

EEE9.如EEE 1至EEE 8中任一项所述的方法，其中，所述方法适用于多声道音频信号的低频效果(LFE)声道。

EEE10.一种系统，包括：

一个或多个处理器；以及

存储指令的非暂态计算机可读介质，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行EEE 1至EEE 9中任一EEE所述的操作。

EEE1 1.一种存储指令的非暂态计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行EEE 1至EEE 9中任一EEE所述的操作。

Claims (30)

1.一种生成音频信号的丢失音频帧的替代帧的方法，所述方法包括

·基于所述丢失音频帧之前的有效音频帧的样本来确定音频滤波器；以及

·基于所述音频滤波器和所述丢失音频帧之前的所述有效音频帧的所述样本来生成所述替代帧。

2.根据权利要求1所述的方法，其中，基于所述音频滤波器和所述有效音频帧的所述样本来生成所述替代帧的步骤包括

·用所述有效音频帧的所述样本初始化所述音频滤波器的滤波器存储器。

3.根据权利要求1或2所述的方法，进一步包括：

·基于所述音频滤波器确定经修改的音频滤波器，

其中，所述经修改的音频滤波器取代所述音频滤波器，并且其中，基于所述音频滤波器生成所述替代帧包括基于所述经修改的音频滤波器和所述有效音频帧的所述样本生成所述替代帧。

4.根据权利要求3所述的方法，其中，确定所述经修改的音频滤波器的步骤包括带宽锐化。

5.根据前述权利要求中任一项所述的方法，其中，所述音频滤波器是全极点滤波器。

6.根据前述权利要求中任一项所述的方法，其中，所述音频滤波器是从至少对有效帧的样本进行操作的全通滤波器得到的。

7.根据权利要求6所述的方法，包括

·基于所述全通滤波器的传递函数的分母多项式来确定所述音频滤波器。

8.根据从属于权利要求4的前述权利要求中任一项所述的方法，其中，所述带宽锐化被应用以使得所述经修改的音频滤波器的脉冲响应的持续时间相对于所述音频滤波器的脉冲响应的持续时间被延长。

9.根据从属于权利要求4的前述权利要求中任一项所述的方法，其中，所述带宽锐化被应用以使得同所述音频滤波器的对应极点与单位圆之间的距离相比，所述经修改的音频滤波器的极点与所述单位圆之间的距离减小。

10.根据从属于权利要求4的前述权利要求中任一项所述的方法，其中，所述带宽锐化被应用以使得所述经修改的音频滤波器的具有最大幅度的极点等于1或者至少接近1。

11.根据从属于权利要求4的前述权利要求中任一项所述的方法，其中，所述带宽锐化被应用以使得所述经修改的音频滤波器的具有最大幅度的极点的频率等于所述音频滤波器的具有最大幅度的极点的频率。

12.根据前述权利要求中任一项所述的方法，包括

·使用求根方法确定所述音频滤波器的极点的幅度和频率。

13.根据从属于权利要求4的前述权利要求中任一项所述的方法，其中，所述带宽锐化被应用以使得所述经修改的音频滤波器的极点的幅度被设定为等于1或者至少接近1，其中，所述经修改的音频滤波器的极点的频率与所述音频滤波器的极点的频率相同。

14.根据从属于权利要求4的前述权利要求中任一项所述的方法，其中，只有当所述音频滤波器的对应极点的幅度超过一定阈值时，所述经修改的音频滤波器的极点的幅度才被设定为等于1或者至少接近1。

15.根据前述权利要求中任一项所述的方法，其中，所述音频滤波器是线性预测编码(LPC)合成滤波器。

16.根据从属于权利要求3的前述权利要求中任一项所述的方法，其中，所述方法包括

·确定所述音频滤波器的滤波器系数；

·应用使用带宽锐化因子的所述带宽锐化，使得S_γ(z)＝S(z/γ)，其中，S_γ表示所述经修改的音频滤波器的传递函数，S表示所述音频滤波器的传递函数，并且γ表示所述带宽锐化因子；以及

·基于所述音频滤波器的滤波器系数、所述丢失音频帧之前的所述有效音频帧的所述样本以及所述带宽锐化因子γ来生成所述替代帧。

17.根据权利要求16所述的方法，其中，通过逐步递增和/或递减所述带宽锐化因子，在迭代过程中确定所述带宽锐化因子。

18.根据权利要求17所述的方法，进一步包括

·通过将所述经修改的音频滤波器的多项式系数转换成反射系数来检查所述经修改的音频滤波器的极点是否位于所述单位圆内。

19.根据权利要求18所述的方法，其中，将所述经修改的音频滤波器的所述多项式系数转换成反射系数是基于后向Levinson递归的。

20.根据权利要求16至19中任一项所述的方法，其中，所述带宽锐化因子被确定为使得所述经修改的音频滤波器的具有最大幅度的极点被移动至尽可能靠近所述单位圆，并且同时，所述经修改的音频滤波器的所有极点都位于所述单位圆内。

21.根据权利要求16至20中任一项所述的方法，其中，使用等式

生成所述替代帧，其中，a_i表示所述音频滤波器的所述滤波器系数，P表示所述音频滤波器的阶数，γ表示所述带宽锐化因子，/>

表示所述音频滤波器的所述滤波器存储器，并且/>

表示所述替代帧的替代样本。

22.根据从属于权利要求3的前述权利要求中任一项所述的方法，其中，所述方法包括

·确定所述音频滤波器的滤波器系数；

·通过减小表示所述音频滤波器系数的一对线谱频率的距离来应用所述带宽锐化，从而生成经修改的线谱频率；

·根据所述经修改的线谱频率得到所述经修改的音频滤波器的系数；以及

·基于所述经修改的音频滤波器的滤波器系数和所述丢失音频帧之前的所述有效音频帧的所述样本来生成所述替代帧。

23.根据前述权利要求中任一项所述的方法，其中，所述丢失音频分组与多声道音频信号的低频效果LFE声道相关联。

24.根据前述权利要求中任一项所述的方法，其中，所述丢失音频分组已经通过无线信道从发射器传输到接收器，并且其中，所述方法在所述接收器处执行。

25.根据前述权利要求中任一项所述的方法，包括

·在生成所述替代帧的替代样本之前，对所述有效音频帧的所述样本进行降采样，以及

·在生成所述替代帧之后，对所述替代帧的所述替代样本进行上采样。

26.根据前述权利要求中任一项所述的方法，其中，多个音频帧丢失，所述方法包括

·通过使用第一带宽锐化因子缩放所述音频滤波器的音频滤波器系数来确定第一经修改的音频滤波器，

·通过使用第二带宽锐化因子缩放所述音频滤波器系数来确定第二经修改的音频滤波器，

·基于所述第一经修改的音频滤波器生成前M个丢失音频帧的替代帧，以及

·基于所述第二经修改的音频滤波器生成第(M+1)个丢失音频帧以及随后所有丢失音频帧的替代帧，使得后面的帧的音频信号衰减。

27.根据前述权利要求中任一项所述的方法，包括

·将所述音频信号分成第一子带信号和第二子带信号，

·生成针对所述第一子带信号的第一子带音频滤波器，

·基于所述第一子带音频滤波器生成第一子带替代帧，

·生成针对所述第二子带信号的第二音频滤波器，

·基于所述第二子带音频滤波器生成第二子带替代帧，

·通过组合所述第一子带替代帧和所述第二子带替代帧来生成所述替代帧。

28.根据前述权利要求中任一项所述的方法，其中，所述音频滤波器被配置成作为谐振器操作，

·所述谐振器被调谐到所述丢失音频帧之前的所述有效音频帧的所述样本上；

·所述谐振器最初用所述丢失音频帧之前的所述有效音频帧的所述样本中的至少一个样本激励；以及

·通过使用所述谐振器的振铃将所述至少一个样本扩展到所述丢失音频帧中来生成所述替代帧。

29.一种系统，所述系统包括：

一个或多个处理器；以及

存储指令的非暂态计算机可读介质，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行权利要求1至28中任一项所述的操作。

30.一种存储指令的非暂态计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行权利要求1至28中任一项所述的操作。

Images