CN1711592A - 用于产生音频成分的方法和设备 - Google Patents

Abstract

一种通过将预定第一频率范围(R1)中丢失的输出成分(125)相加到输入信号(100)而产生自然发声的输出音频信号(120)的方法和设备，其在该输入音频信号(100)的预定第三频率范围(R3)中，根据在第二输入成分(104)的预定第二时间间隔(dt2)期间所计算的第一输入能量测量(E1)，在预定第一时间间隔(dt1)期间设置所产生的该输出成分(125)的第一输出能量测量(S1)。

Description

用于产生音频成分的方法和设备

本发明涉及一种产生输出音频信号的方法，其通过将预定的第一频率范围中的输出成分添加到输入信号，通过执行预定的计算产生该输出成分。

本发明也涉及一种用于在输出音频信号的预定第一频率范围中产生输出成分的设备，包括用于计算输出成分的计算装置。

本发明也涉及一种音频播放器，包括用于提供输入音频信号的音频数据输入装置，和用于输出最终输出音频信号的音频信号输出装置，并且包含该设备。

本发明也涉及一种通过处理器执行的计算机程序，其描述一种方法。

本发明也涉及一种存储有通过处理器执行的计算机程序的数据载体，该计算机程序描述该方法。

已知在US-A-6111960的开始段落中描述了该方法的实施例。该已知方法通过对该输入信号中的第一成分，例如应用平方函数产生高频输出成分。例如，如果想要输出成分位于10-12kHz之间的第一频率范围中，它们可以通过平方函数将位于5-6kHz的预定第二频率范围的第一成分的频率翻倍而产生。当对其中不存在高频信息，例如对诸如MP3音频的压缩音频进行解压缩而得到输入音频信号的时候，这样是有用的。缺少高频成分导致音频听起来不自然。平方函数从技术上是一种产生高频音频成分的简单方法。

已知方法的不利之处在于，由于输出成分的能量直接由所平方的第一输入成分的能量确定，输出音频信号还是听起来不自然，并且因此其不是所预期出现的自然发声中的高频成分。

本发明的第一目的是提供一种在开始段落中所描述种类的方法，其产生听起来要比较自然的输出音频成分。本发明的第二目的是提供一种在开始段落中所描述种类的设备，其能够执行该方法，并产生听起来要比较自然的输出音频成分。

实现该第一目的在于，在该输入音频信号的预定第三频率范围中，根据在第二成分的预定第二时间间隔期间所计算的第一输入能量测量，在预定第一时间间隔期间设置所产生的该输出成分的第一输出能量测量。本发明除此之外则是根据如下发现：自然音频信号中的高频成分的能量，并且更具体的是能量随时间的波动模式不同于低频成分的能量。低频成分的能量变换缓慢，而高频成分的能量变化迅速。这是由于诸如该成分周期的因素，以及环境对不同成分的不同反射和散射特征。

如果将低频成分平方，所得到的翻倍频率成分的幅度唯一取决于低频成分的幅度。类似地，输出成分的能量取决于第一输入成分的能量。这就导致高频成分的能量波动模式，其具有低频成分的波动模式特征。

本发明的方法在第一预定时间间隔期间将输出成分的能量设置为更实际的值，其优选地选择的足够小，以能够当它们典型地出现在输出成分的频率范围中时快速地设置波动能量模式。这最好通过在预定的第三频率范围中分析输入信号的，例如第二输入成分的能量波动模式而完成。从现有技术中得知输出成分的固定标定，但是却没有使用预选的第二输入成分的快速波动能量模式进行调制。

在实施例中，根据预定的频率范围距离公式从预定的许多频率范围中选择第三频率范围，作为最接近第一频率范围的频率范围。由于低、中、高频成分通常都表现出不同的波动模式，当设置输出成分的能量使其等于靠近所产生的输出成分频率范围的频率中的成分的能量时，可以进一步改善所得到的结果。例如，如果在输入音频信号中缺少高频并因此而产生高频，来自包含输入音频信号成分的多个有效频率范围的最高频率范围将具有与输出成分自然的模式最相似的能量波动模式。

在根据该方法或其前述实施例的变形中，进一步通过在该输入音频信号的预定第四频率范围中，使用在第三输入成分的预定第三时间间隔期间的第二输入能量测量，设置该第一输出能量测量。当测量到各个频率范围的多个能量，甚至有可能沿该频率轴为连续频率范围估计能量波动模式的改变。例如，假定从一个频率范围到下一个的波动速度线性增加。然后该前一实施例只对输出成分的所需能量执行所谓的零阶保持估计，而使用两个或多个能量测量就可以进行其它估计，诸如多项式估计。

有利地，如果该预定的计算包括对输入音频信号的预定第二频率范围中的第一输入成分应用非线性函数。这从技术上是一种产生输出成分的简单方法。优选地例如通过带通滤波将输入音频信号划分成相邻的频率范围，并且对每一频率范围中带通滤波的信号应用非线性函数。另一选项是使用频率合成器，以合成具有预定幅度的输出成分。

实现本发明第二目的在于：

包括滤波装置，用于获得该输入音频信号的第三频率范围中的第二输入成分；

包括能量计算装置，用于获得在第二输入成分的第二预定时间间隔期间第一输入能量测量，并从其中得出第一输出能量测量；和

包括能量设置装置，用于设置在第一预定时间间隔期间输出成分的能量，使其基本上等于该第一输出能量测量。

如果在该设备中通过多个带通滤波器对输入信号进行带通滤波，由滤波器输出的带限信号的能量可以用于获得为包含所产生输出成分的多个频率范围的该输出能量测量。

参照此后所描述的实施方式和实施例，并结合附图可以明显看到和阐述根据本发明的方法、设备、音频播放器、计算机程序以及数据载体的这些和其它方面，这些仅仅用作非限制性的说明。其中：

图1示意性的所示为应用根据本发明的方法之前和之后的音频信号；

图2示意性的所示为根据本发明的方法的流程图；

图3示意性的所示为按时间带通滤波后的信号；

图4示意性的所示为根据本发明的方法，其用于在输入成分之间的间隙中重构丢失的成分；

图5示意性的所示为根据本发明的设备；

图6示意性的所示为音频播放器。

图7示意性的所示为数据载体。

在这些附图中，虚线划出的部分是可选的或可替换的。

在图1中，所示的输入音频信号100象征性地包含第二频率范围R2中的第一输入成分102、第三频率范围R3中的第二输入成分104以及第四频率范围R4中的第三输入成分103。频率范围R2、R3和R4基本上包括在高质量频率范围O中。输入音频信号100也包含低质量频率范围L中的低质量成分110，其在高质量频率范围O之外。这种输入音频信号100例如是对所压缩音频源解压后的结果，诸如MPEG-1音频第三层音频(MP3)、高级音频编码(AAC)、视窗媒体音频(WMA)或者实际音频。

例如根据输入音频信号100源、或者根据对实现根据本发明的方法或设备的特定实施例所做出的有关选择，通过不同的标记技术将成分标记为低质量或高质量的成分。在第一类标记技术中，由实施例的设计者先验地将某些频率范围标记为高质量频率范围O，或者相反标记为低质量频率范围L。例如，输入音频信号100源可能是这样的，即在高质量频率范围O之外不存在信号，或者只存在噪声，其与高质量频率范围O中的输入成分102、103、104无关。例如，当从MP3源中解压出该输入音频信号100时会出现这种情况，为此选择不编码高于例如11kHz的频率。对于编码例如低于64bps的音频信号的有效比特总量较低的情况，对高于11kHz的成分使用比特将意味着比特不够编码低于11kHz的成分，其将导致讨厌的可听到的人为成分。因此对频率高于11kHz的成分不进行编码，并丢失。对于该MP3源，设计者将高于11kHz的成分标记为低质量成分110，并且频率范围R2、R3和R4明显地低于11kHz并位于高质量频率范围O中。可以这样的方式设计第一频率范围R1，使得该方法产生高达例如16kHz的输出成分。换言之，该设计者通过这种方式实现他的想法，即各成分应存在直到16kHz的频率，其在从11kHz至16kHz的第一频率范围R1中由人工产生。

第二类的标记技术实时分析该输入音频信号。这通过质量测量的方式实现，其表明低质量频率范围L中的成分质量劣于高质量频率范围O中的成分质量。可能的质量测量是低质量频率范围中的成分所花费的比特数目，将其与已知比特的预定阈值进行比较以给出良好的感知质量。例如可以通过听者面板测试的方式确定这种阈值。特别地，如果低质量频率范围L中的成分质量低于根据本发明方法人工产生的输出成分125的质量，最好可以至少在第一频率范围R1中用该输出成分125替代低质量成分110。

图1b所示为应用根据本发明的方法而得到的输出音频信号120。优选地，该输出音频信号120包含原始成分122，其基本上与该输入音频信号100的高质量频率范围O中的成分102、103、104相同。可替换地，优选地例如可以替换与第一频率范围R1相邻的第三频率范围R3中的某些第二输入成分104，从而在原始成分122与输出成分125之间存在更好的匹配，其是通过执行预定的计算200而产生的(参见图2)，例如将输出成分与预定的单一幅度合成。该输入成分102、103、104也可以进行多个预定的变换，诸如在拷贝为原始成分122之前进行滤波。

可以通过多个变形的计算200产生输出成分125。例如，MP3编码音频信号中高频成分的丢失是明显可以听到的，并且因此优选产生例如11kHz以上的频率。第一变形是该方法优选实施例的变形，为此图5中示意性地所示为对应的设备，其根据该输入音频信号100的预定第二频率范围R2中的第一输入成分102，通过例如作为非线性函数计算的计算装置506，在DSP上或者作为对第一输入成分102应用非线性函数的电路产生输出成分125。当该非线性函数例如是平方时，根据等式1如下产生相比于第一输入成分I(t)102的频率，翻倍频率的输出成分O(t)125：

$O\left(t\right)=f[I\left(t\right)=\sin \mathrm{wt}]=\mathrm{si}{n}^2\mathrm{wt}=\frac{1}{2}(1-\cos 2\mathrm{wt})$ [等式1]。

因此当需要第一频率范围R1中的输出成分时，第二频率范围R2可以定义为频率范围R1的一半频率范围。另一选项是滤波出预定第一频率范围R1之外的第二谐波。其它非线性函数可以产生其它更高的谐波，例如三倍频率。应用到第一输入成分102上的有意思的非线性函数是绝对值。应用平方函数的缺点在于输出成分125的幅度是第一输入成分102的幅度的平方，其引入了可感知的人为成分。为了修正所平方的幅度相关性，优选地应该计算输出成分125的平方根。可以将该平方和平方根函数组合成为绝对值操作。

计算200的第二变形并没有使用该输入音频信号100的第一输入成分102。当例如在数字信号处理器(DSP)上执行该方法，通过信号合成器580将具有预定幅度的第一频率范围中的输出成分合成，如本领域所熟知的。使用这种变形，输入音频信号100并不用来产生该输出成分125，但是其在该方法的设置部分201(参见图2)中会用到。

在该方法的设置部分201中，在如图3所示的第二预定时间间隔dt2期间为第二输入成分104计算第一输入能量测量E1。可以通过产生带限信号300获得该第二输入成分104，其是输入音频信号100限制在第三频率范围R3的频率，即例如在使用带通滤波器诸如503对输入音频信号100进行滤波之后得到的一部分。然后，例如通过等式2计算某一时刻t的第一输入能量测量E1：

$E1\left(t\right)=\underset{t-\mathrm{dt}2/2}{\overset{t+\mathrm{dt}2/2}{\∫}}{P}_{\mathrm{BL}}\left(t\right)\mathrm{dt}$ [等式2]，

其中P_BL(t)是带限信号300的瞬时音频功率。不是对输入音频信号进行多带分解，而是也可以使用离散傅立叶变换，在这种情况下例如可以通过等式3计算该第一输入能量测量E1：

$E1\left(t\right)=\underset{t-\mathrm{dt}2/2}{\overset{t+\mathrm{dt}2/2}{\∫}}\underset{f3l}{\overset{f3u}{\∫}}{P}_{\mathrm{BL}}(t,f)\mathrm{dfdt}$ [等式3]，

其中f31和f3u是第三频率范围R3的低频和高频。第二预定时间间隔dt2应该选择的足够小，使得可以精确地跟踪输入音频信号100的能量波动。例如，如果输入音频信号100包含音乐，其第三频率范围R3中的能量每百分之一秒有可观的变化，第二预定时间间隔dt2应该不大于百分之一秒。从第一输入能量测量E1可以得到预定第一时间间隔dt1期间的第一输出能量测量S1。在一简单的实施例中，第一时间间隔dt1等于第二时间间隔dt2，并且第一输出能量测量S1等于第一输入能量测量E1。

在音频信号中，不同频率范围中的成分表现出不同的能量波动模式。例如，低频典型地波动缓慢，而高频波动迅速。由于在计算200的第一变形中，输出成分125是从第一输入成分102得出的，其在图1中为低频，没有应用设置部分201的输出成分125的能量波动模式基本上是第一输入成分102的能量波动模式，因此在低频中是典型的，而不是如自然发声输出信号120所期望的高频能量波动模式。因此，为了让输出音频信号120听起来更自然，第一输出能量测量S1(t)必须设置为在高频中更典型的值。第一输出能量测量选择变形对其处置具有预定数目的频率范围，如R2、R3和R4。用于确定第一输出能量测量S1的优选频率范围是第三频率范围R3，由于其是包含最高频率的预定频率范围其中之一，包含高质量音频成分。对于输出成分的第一频率范围R1中的甚至更高频率，其能量波动模式可能是最类似于自然能量波动模式的。如果通过例如对第三频率范围R3中的第二输入成分104进行平方产生第二输出成分126，R3还是获得其第二输出能量测量S2(t)的良好选择。在这种变形中，通过使用最靠近的频率范围，也就是第三频率范围R3，采用了输出成分125、126的输出能量测量S1、S2所谓的一阶保持估计。

为了确定哪一频率范围最靠近，可以使用多个频率范围距离公式。如果频率范围不交叠，上边界和下边界可以用来计算距离D，如例如在等式4中：

D＝f₁ ^RX-f_u ^R1  如果频率范围RX包含高于R1中的频率

D＝f_u ^R1-f₁ ^RX  如果RX包含低于R1中的频率        等式4

其中符号1和u分别表示范围中的最低和最高频率。在使用交叠范围的情况下，可以使用两个频率范围的中间、中点或平均频率之间的差。上边界和下边界也可以用于交叠范围。最靠近的频率范围可替换地可以先验地由该方法的设计者定义。

在图4所示的输入音频信号100的情况下，必须在包含高质量音频的两个频率范围R2与R2′之间产生输出成分125。R3与R3′现在是最靠近频率范围的候选，其具有的能量波动最类似于紧靠它们的输出成分125的第一输出能量测量S1(t)所期望的能量波动。在相等距离的情况下，试探法例如可以优选包含最低频率的一个。例如可以通过从第一频率范围R1之外的频率范围R2和R2′部分中的输入音频信号100拷贝成分，并根据来自R2和R2′的成分产生第一频率范围R1中的输出成分，而形成输出音频信号120。

如果在输入音频信号100的预定第四频率范围R4中测量了第三输入成分103的预定第三时间间隔dt3期间的第二输入能量测量E2，不是对输出成分125和126的输出能量测量S1和S2使用零阶保持估计，而可以为更高的频率使用自然能量波动模式的更高级估计。如果频率范围R2、R4和R3中波动的时间间隔dtF例如存在线性降低趋势，可以预期该趋势是连续的，并因此设置R1和R5。dtF例如可以定义为时间间隔，其中按照等式2计算的频率范围的输入能量测量已经改变了10％。也可以跟踪频率范围相互之间其它参数的变化，诸如输入能量测量的标准偏差，并将其用于为更高频率设置自然发声的能量波动模式，例如为输出成分125的S1(t)。也可以使用更加复杂的非线性估计。

不脱离本发明的范围，设置部件201和计算200可以组合成为单个部件。

图5示意性地所示为根据本发明的设备500。有利地在对输入音频信号100，例如对上采样至44.1kHz的64kbps的MP3流，应用非线性函数获得输出成分125之前，首先将输入信号划分成多个带通滤波的子信号。等式1只对单个频率有效。如果对包含多个频率的信号应用平方函数，就引入产生失真的混合项。例如在音乐的情况下，引入存在的乐器的谐波是可以接受的，但是引入其它频率就使得该音乐听起来走调了。因此有利地，对通过带通滤波器501、502和503创建相邻的相对窄频带中的子信号应用多个非线性函数506、507和508。可以根据IEX1260标准选择滤波器的通带，包含例如中央频率为5kHz、6.3kHz和8kHz的三度音(tierce)。滤波器可以是固定的或自适应的，在这种情况下可以存在提供单元595、例如包含固定值的存储器的范围，或者提供计算值的算法。进一步可以存在滤波器509、510和511，以通过对应的倍频带10kHz、12.5kHz和16kHz中的信号。如果非线性函数是绝对值函数，产生多个谐波，但是只有第二谐波才是所想要的，因为其它谐波只使得该输出音频信号120失真，在这种情况下通过滤波器509、510和511将其它谐波滤出去。可以按照现有技术在硬件中实施该非线性函数，或者作为在DSP上运行的算法实施。不是作为非线性函数的组，计算装置也可以实现为信号合成器580，其例如是合成第一频率范围R1中所有频率的相等幅度的成分的算法。滤波器590产生对应于第二输入成分104的带限信号，例如作为带通滤波器，并且与能量计算单元525一部分的第一能量测量单元521连接。可替换地出于经济的原因，也可以从子信号中选择第二输入成分104，例如通过在由第三带通滤波器503输出的带限子信号与第一能量测量单元521之间提供信号通路504。第一能量测量单元521例如根据等式2测量第一输入能量测量E1，其在硬件或软件中实施。由输出能量指定单元520通过计算从该第一输入能量测量E 1可以得出第一输出能量测量S1，其中如果想要考虑进一步的输入能量测量，诸如第二输入能量测量E2，可以由第二能量测量单元522例如根据由第二带通滤波器502输出的信号得出。可以类似的方式得到第二输出能量测量S2。

如下产生该输出成分125以及如果想要的第二输出成分126。从计算装置506和507分别得到，并可能通过滤波器509和510分别滤波的第一中间信号593和594分别通过归一化单元512和513归一为单元能量。然后能量设置单元515和516分别在所有想要的时间t将输出成分125和第二输出成分126的能量分别设置为所想要的值S1和S2。因此能量设置单元515和516分别用作幅度调制器。它们可以在软件中实施为分别使用因子S1和S2标定每一样本的算法，或者在硬件中实施为乘法器或受控的放大器。通过加法器519将所产生的输出成分125和第二输出成分126相加到输入信号100的高质量成分。可选地，可以通过调节单元540处理该输入信号，其例如包括滤波出低频范围L中的成分。

在图6所示的音频播放器600的范例中包括根据本发明的设备。图6中的音频播放器600是便携MP3播放器，但是例如也可以是互联网无线电设备。包括该设备或应用根据本申请的方法的另一个产品是音频播放器，其从CD信号产生例如类似于超级音频CD(SACD)的信号。该音频播放器600包括音频数据输入601，例如读盘器，或者与互联网连接，从其中下载压缩音乐到存储器。该音频播放器600也包括音频信号输出602，用于在处理之后输出最终的输出音频信号603，其可以与耳机604连接。

应该注意到，上述实施例只是描述而不是限制本发明，并且本领域的熟练技术人员不脱离权利要求书的范围可以设计替换形式。离开按照权利要求书中所组合的本发明各要素(element)的组合，本领域的熟练技术人员在本发明的范围内认识得到的要素的其它组合被本发明所覆盖。可以在单个专用要素中实施要素的任何组合。权利要求中圆括号之间的任何附图标记不限制该权利要求。词语“包括”并不排除存在未列入权利要求中的要素或方面。要素前面的词语“a”或“an”并不排除存在多个这种要素。

可以通过硬件的方式或者通过计算机上运行的软件的方式实施本发明。

Claims (8)

1.一种通过将预定第一频率范围中的输出成分相加到输入信号，产生输出音频信号的方法，通过执行预定的计算产生该输出成分，其特征在于：在该输入音频信号的预定第三频率范围中，根据在第二输入成分的预定第二时间间隔期间所计算的第一输入能量测量，在预定第一时间间隔期间设置所产生的该输出成分的第一输出能量测量。

2.如权利要求1中所述的方法，其中根据预定频率范围距离公式从预定的许多频率范围中选择第三频率范围，作为最接近第一频率范围的频率范围。

3.如权利要求1中所述的方法，其中进一步通过在该输入音频信号的预定第四频率范围中，使用在第三输入成分的预定第三时间间隔期间的第二输入能量测量，设置该第一输出能量测量。

4.如权利要求1中所述的方法，其中该预定计算包括对输入音频信号的预定第二频率范围中的第一输入成分应用非线性函数。

5.一种通过将预定第一频率范围中的输出成分相加到输入音频信号，产生输出音频信号的设备，包括用于计算该输出成分的计算装置，其特征在于：

包括滤波装置，用于获得该输入音频信号的第三频率范围中的第二输入成分；

包括能量计算装置，用于在第二输入成分的第二预定时间间隔期间获得第一输入能量测量，并从其中得出第一输出能量测量；和

包括能量设置装置，用于在第一预定时间间隔期间设置输出成分的能量，使其基本上等于该第一输出能量测量。

6.一种音频播放器，包括音频数据输入装置，用于向如权利要求5中所述的设备提供输入音频信号，该设备向信号输出装置传送输出音频信号。

7.一种用于通过处理器执行的计算机程序，其描述了如权利要求1中所述的方法。

8.一种数据载体，用于存储通过处理器执行的计算机程序，该计算机程序描述了如权利要求1至4其中之一所述的方法。

Images