CN101411060B - 用于多声道音频信号的响度修改的方法和设备 - Google Patents

Abstract

通过根据计算精确度和总感知响度缩放比例s_m的期望精确度、以基本等于缩放所有声道的总感知响度的期望量s_m的数量来缩放每个单独声道的感知响度L_c，从而以期望量s_m来缩放多声道音频信号的总感知响度L_m，其中感知响度是信号功率P的非线性函数。每个单独声道的感知响度通过改变每个单独声道的增益来缩放，其中增益为声道功率的缩放比例。另外，可选地，可以修改被施加到每一声道的响度缩放比例，以减小实际的总响度缩放比例和期望的总响度缩放比例量之差。

Description

用于多声道音频信号的响度修改的方法和设备

技术领域

本发明涉及音频信号处理，具体涉及调整多声道音频信号的总感知响度，同时近似保持在所有声道之间的相对感知响度以保持感知的空间平衡。本发明不仅包括方法，也包括相对应的计算机程序和装置。

交叉参考

对于更好地理解本发明的各方面有用的、用于测量和调整感知(心理声学响度)的某些技术在以下申请和文献中作了描述：于2004年12月23日公布的Alan Jeffrey Seefeldt等人的、名称为“Method，Apparatus and Computer Program for Calculating and Adjusting the Perceived Loudness of an Audio Signal”的国际专利申请WO 2004/111994 A2；以及由Alan Seefeldt等人于2004年10月28日在Audio Engineering Society Convention Paper 6263上发表的“A New Objective Measure of Perceived Loudness”。该WO 2004/111994 A2申请和所述文献的全部内容通过引用结合于此。

对于更好地理解本发明的各方面有用的、用于测量和调整感知(心理声学响度)的某些其它技术在以下申请中作了描述：于2006年5月4日公布的Alan Jeffrey Seefeldt的国际专利申请WO 2006/047600，其名称为“Calculating and Adjusting the Perceived Loudness and/or thePerceived Spectral Balance of an Audio Signal”。该WO 2006/047600A1申请的全部内容通过引用结合于此。

背景技术

有很多方法用于客观地测量音频信号的感知响度。这些方法的例子包括A、B和C加权功率测量以及响度的心理声学模型，如“Acoustics-Method for calculating loudness level”，ISO 532(1975)以及所述PCT/US2005/038579申请。通过获得输入音频信号，应用已知的滤波器，该滤波器加重感知上较敏感的频率同时降低感知上较不敏感的频率，然后在预定时长上将滤波信号的功率平均，以执行加权功率测量。心理声学方法通常更复杂，且目的在于更好地模拟人耳的工作方式。它们将信号分为仿真频率响应及耳朵敏感度的若干频带，然后操作且整合这些频带，同时考虑心理声学现象如频率和时间掩蔽(temporal masking)，以及随信号强度变化的响度的非线性感知。所有方法的目的都是得到接近符合该音频信号主观印象的数值测量。

对人耳听觉系统的非线性精确建模构成了响度的感知模型的基础。在二十世纪三十年代，Fletcher和Munson发现当声级增加时敏感度的相对变化减小。在二十世纪五十年代，Zwicher和Stevens在Fletcher和Munson的成果上构建并发展出更精确和现实的模型。由Zwicker公布的图1显示了1kHz音调和均匀的激发噪声(UEN，在所有临界频带内具有相等功率的噪声)二者的响度增长。对于低于通常称作“听觉阈”的信号级来说，没有响度被感知到。在该阈之上，被感知到的响度快速增长，直到响度随着信号级线性增长的渐近线。图1显示了1kHz音调的非线性特性，图2中ISO 226的等响度线显示了相同特性，但是为正弦曲线音调的频率的函数。该以10方(phon)为增量的等响度线显示了在被人耳感知为相同响度的频率上的声压级。最低线代表作为频率的函数的“听觉阈”。较低级的等响度线较紧密地压缩在一起，从而与较高级相比，相对较小的声压级变化引起感知响度的较显著变化。

人耳听觉系统的非线性及频率变化特性对于被感知的音频信号的音质及成像有直接影响。以特定声压级呈现的复杂宽频带音频信号(如音乐)被感知为具有特定频谱平衡或音质。如果相同的音频信号以不同的声压级呈现且如图2所示，感知响度的增长对于不同的频率是不同的，则该音频信号被感知的频谱平衡或音质将不同。复杂的宽频带多声道音频信号(被呈现在多个扬声器上)也被感知为具有特定的空间平衡。空间平衡指的是混音中声音成分的位置印象以及由两个或更多个扬声器之间音频信号的相对声级引起的混音的全面扩散。如果相同的多声道音频信号以不同的总声压级呈现，则感知响度的非线性增长以及频率上的响度的不同增长导致被感知的该多声道音频信号的空间平衡的变化，当声道间的声级存在重大差异时尤为明显。相对较响的声道而言，较安静的声道受到的影响不同，例如，其可导致在减小总声级时安静的声道降到听觉阈以下并且无法被听见。

在很多情况下，想要调整或缩放音频信号的感知响度。最明显的例子是出现在很多设备上的传统音量或声级控制，该装置包括消费类音乐播放器、家庭影院接收器/放大器和专业的混音控制台。该简单的音量或声级控制增益在不考虑人耳听觉系统的情况下调整音频信号且导致所感知的音质和空间平衡的变化。

最近，Seefeldt等人(所述WO 2004/111994 A2申请)和Seefeldt(所述PCT/US2005/038579申请)已公开了多个发明，其某些方面能够精确地缩放单声道音频信号的感知响度，且能够根据其实现是宽频带或是多频带来保持所感知的音质。依据这些发明的各方面，可实现期望的响度缩放比例或目标响度，其本质上是藉由转化响度测量模型并计算可施加到音频信号的宽频带增益或多频带增益。

尽管这些方法解决了调整单声道音频信号的响度问题，但如何调整多声道音频信号的响度的问题仍然存在。

多声道响度通常被计算为每一声道内功率之和的函数。对于如上述的A、B和C加权测量的加权功率方法，多声道响度是每一声道内加权功率的简单求和。一般对于响度的心理声学模型而言，首先针对每一声道计算临界频带功率频谱或激发频谱，然后在所有声道上对激发频谱求和以创建单一激发频谱。每一激发频带通过非线性，如图1，以创建每频带的响度测量，其被称为特定响度，并且在频率上对该特定响度求和以计算单一宽频带响度值。对于加权功率和心理声学方法二者而言，对每一声道内的功率求和函数可包括额外的每声道加权，以考虑头部相关转移函数(HRTF)影响。

因为可相对简单地计算出多声道信号的响度，因此可能计算出单一增益，当该单一增益被施加到所有声道时，引起响度的总的期望的变化。然而，该单一增益可能对该多声道呈现的其它属性具有非期望的影响。如果在该多声道呈现的声道之间的相对信号声级中存在差异，并且如果所有声道通过相同的增益缩放，则相对于较响的声道，较安静声道的响度具有较大的感知变化。这可引起所感知的空间平衡的变化，当一些声道将到听觉阈以下时是最差的。例如，在电影的很多5.1音频混音中，前面声道包含的信号级比环绕声道的高得多。特别是中央声道一般被用于重现对话。然而，较低声级的环绕声道可包含产生混音中扩散感觉的信号。例如，较低声级的环绕声道可包含对话的回响部分以模拟某人在大房间内说话的效果。因为通过对所有声道施加相同的增益而降低了信号的响度，因此环绕声道的响度比前面声道的响度降低的更快，最后降到听觉阈以下。该结果导致期望的扩散空间平衡的大幅崩溃。

依据本发明的各方面，多声道呈现的总感知响度的期望缩放比例可达到期望的精确度，同时将声道间的相对感知响度保持于期望的精确度以保持所感知的空间平衡或音质。

发明内容

本发明提供一种以期望量S_m缩放多声道音频信号的总感知响度L_m的方法，其中感知响度是信号功率P的非线性函数，其通过根据计算精确度及该总感知响度缩放比例S_m的期望精确度以基本等于缩放所有声道的总感知响度的期望量S_m的数量来缩放每个单独声道的感知响度。通过改变每个单独声道的增益，可以缩放每个单独声道的感知响度，其中增益为声道功率的缩放比例。

另外，可选地，施加到每一声道的响度缩放比例被修改，以便减小实际的总响度缩放比例和期望的总响度缩放比例量之差。

通过对每一声道的增益施加共同的乘数或通过对每一声道的缩放比例增加共同的缩放比例偏移量，可修改施加到每一声道的响度缩放比例。

每一声道的感知响度和总感知响度都可在多个频带的每一频带内被测量，且每一声道的振幅在该频带内被调整。这些频带可以是临界频带。可替选地，每一声道的感知响度和总感知响度都可在单一宽频频带内被测量。

在另一方面，本发明可通过适于执行上述方法中的任一方法的装置实现。

在又一方面，本发明可通过计算机程序实现，该计算机程序储存在计算机可读介质上，用于使计算机执行上述方法中的任一方法。

本发明还提供了一种以期望量s_m来缩放多声道音频信号的总感知响度L_m的设备，其中所述总感知响度L_m是每声道信号功率P_c之和的非线性函数，该设备包括：用于根据以所述期望量s_m进行总感知响度缩放的期望精确度，以等于缩放所述总感知响度的期望量s_m的数量来缩放每个单独声道的感知响度L_c的缩放装置，其中每个单独声道的感知响度是单独声道的功率P_c的非线性函数。

附图说明

图1显示对于1kHz音调和均匀激发噪声(UEN)二者的响度的非线性增长；

图2显示ISO 226的等响度线。横坐标是以赫兹为单位的频率(以10为底的对数)，纵坐标是以分贝为单位的声压级；

图3显示用于计算针对心理声学响度模型的激发信号的一组临界带通滤波器响应；

图4a-f描述了从修改多声道音频信号的特定响度中获得的特定响度谱和增益。

具体实施方式

一般而言，响度L的度量可描述为信号功率P的函数F。信号功率P是音频信号的功率度量，这可以是A、B或C加权功率或多频带激发频谱。例如，见ANSI S1.42-2001(R2006)，用于听觉测量的加权网络的美国国家标准设计响应所示。函数F是非线性的，设计用来近似响度增长的变化。该函数可以象图1所示应用于单一宽频带功率度量的单一UEN函数那么简单，或者象响度的心理声学模型那么复杂，其中激发频谱通过不同的每频带非线性被转换为特定响度频谱，然后转换为单一响度值(如PCT/US2005/038579申请中所示)。应注意，尽管传统的加权功率响度度量(如A加权功率)尝试考虑人耳听觉系统的频变敏感度，但它们没有考虑声级敏感度的变化。因此使传统的加权功率量经历非线性(如上所描述的)是有用的。

L＝F{P}                                     (1)

假定该响度函数是可逆的，则可计算出信号功率P的增益缩放比例g，从而该增益变化产生感知响度的特定期望缩放比例s。

s.L＝F{g.P}                                 (2a)

$g=\frac{F^{-1}\{s.L\}}{P}---\left(2b\right)$

因此，增益g是功率P的缩放比例，而s是响度L的缩放比例。

如果函数F是线性的，则方程式2a将简化成sL＝gF{P}＝gL，从而产生与信号功率P无关的平凡解g＝s。然而，利用非线性函数F，一般而言，增益g是信号功率P的函数，如方程式2b所示。换句话说，不同的信号功率P对于相同的响度缩放比例s需要不同的增益g。

多声道音频信号的响度的总(所有声道)度量L_m实际上可被近似为该多声道音频信号内每一声道的每声道功率P_c之和的函数。声道总数为C。

$L_m=F\left\{\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{P}_c\right\}---\left(3\right)$

需注意每一声道功率之和可被加权，以考虑头部相关转移函数(HRTF)影响。也就是说，来自不同空间方向的信号可能具有稍微不同的相对感知响度。如果已知或假定收听者相对于重现该多个声道的扬声器的位置，则可建立到达收听者耳朵的信号模型，该模型为各个声道信号的函数(一般而言，是该声道信号的经滤波和求和的型式)。然后可从人耳信号计算出响度。然而，实际上对于大多数收听环境而言，执行声道信号功率和都适用。

现在再次假定响度函数是可逆的，可计算出施加于所有声道的单一增益g_m，使得结果为总感知响度的期望缩放比例s_m。

$s_m.L_m=F\left\{g_m\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{P}_c\right\}---\left(4a\right)$

$g_m=\frac{F^{-1}\{s_m.L_m\}}{\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{P}_c}---\left(4b\right)$

然而，施加相同的增益缩放比例g_m到所有声道可能非期望地影响被修改音频的空间平衡。特别是，该增益g_m的计算将最受具有最大功率量的声道的影响。如果其他声道具有显著较小的功率，则与较高声级的声道相比，该增益g_m可导致在这些较低声级的声道内的感知变化显著不同，这是由于人类响度感知的非线性引起的。如果缩放比例s_m对应于响度的衰减，则太多衰减可能被施加到这些较低声级的声道。因此，这些低声级声道对混音的空间平衡的相对贡献将变小，且最差的情况是这些声道将变得完全听不见。

本发明解决了保持多声道音频信号的空间平衡问题，同时对其总响度给出了期望的改变。精确测量及表征多声道音频信号的空间平衡是非常复杂的。各声道的频谱部分可感知地融合成位于扬声器(声道通过它播放)之间的虚拟源，同时声道的其它部分可组合以形成对环绕收听者的扩散声场的感知。测量这些不同成分相对于其它成分的感知响度不是一个已被深刻理解的问题，因为其涉及某些音频信号成分部分掩蔽其它成分的复杂现象。掩蔽度是每个源的声级以及每个源的空间位置和扩散的函数。即使能够精确测量空间平衡的所有这些方面，则总响度被缩放时，尝试保持其相对度量将可能涉及复杂的非线性优化过程。

然而，考虑二声道信号的简单例子，其中每一声道包含不与另一声道内的信号在频谱上重迭的信号。然后，每一声道被感知为不同的源，其中任一源都不掩蔽另一源。在该简单情形下，很清楚，通过以相同的量缩放每个单独声道的响度(而不是每一声道的增益)可实现保持两个成分的相对响度。本发明人已发现将此解决方案一般应用到多声道信号中可帮助保持空间平衡，而不会引入任何不良的副作用。

本发明各方面的基本实现中，每个单独声道的感知响度L_c(孤立地)可以根据计算精确度和总感知响度缩放比例的期望精确度以缩放量s_c缩放，该缩放量s_c基本等于所有声道的总感知响度的期望缩放量s_m。该解决方案减轻了上述由于较高声级声道的影响使较低声级声道降到听觉阈以下的问题。每个单独声道的感知响度L_c的该缩放可通过控制每个声道的单独增益g_c来实现(此增益g_c是该声道功率P_c的缩放比例)。注意，如下面将进一步讨论的，该单独声道增益g_c一般不同于上述与方程式4a和4b关联的增益g_m，例如通过参考方程式5a和5b可更好地理解这一点：

s_m.L_c＝F{g_c.P_c}               针对C个声道的每个声道(5a)

或者

其中s_c＝s_m。

尽管本发明的该基本实现基本上保持空间平衡且在许多应用中是有用的，但由于函数F的非线性，该实现方式不能确保实现多声道感知响度L_m的期望总缩放比例s_m。由于函数F是非线性的，因此由方程式4b给出的增益g_m一般不等于由方程式5b给出的增益g_c。因此，将g_m施加到所有声道后的所有声道的响度一般不等于将该增益g_c施加到每一相应声道后的所有声道的响度：

$F\left\{\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{g}_m{P}_c\right\}\≠F\left\{\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{g}_c{P}_c\right\}---\left(6a\right)$

以方程式4a替换方程式6a的左手侧且以方程式5b替换g_c产生等价的表达式：

$s_m.L_m\≠F\left\{\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{F}^{-1}\right\{s_m.L_c\left\}\right\}---\left(6b\right)$

因此，在以下两者之间可能存在差异或误差：(1)以期望的总感知响度缩放因子s_m缩放每个单独声道的感知响度L_c所得到的所有声道的感知响度(例如由方程式6b右边部分所表示的)；以及(2)直接以总响度缩放因子s_m缩放所得到的所有声道的感知响度(例如由方程式6b左边部分表示的)。可将此误差表示为缩放比例差量Δs_m，该缩放比例差量在与期望的总响度缩放比例s_m求和时，将方程式6b转为一等式：

$(s_m+\mathrm{\Δ}{s}_m)L_m=F\left\{\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{F}^{-1}\right\{s_m{L}_c\left\}\right\}---\left(6c\right)$

或重新整理为：

$\mathrm{\Δ}{s}_m=\frac{F\left\{\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{F}^{-1}\right\{s_m{L}_c\left\}\right\}}{L_m}-s_m---\left(6d\right)$

对于实际模拟人类感知的非线性声级特性的任何函数F而言，该误差一般较小，因为在大的范围上响度的增长接近于线性。然而，为了最小化该误差，可能想要的是增加可选的校正到本发明的基本实现。不失一般性，可将这种校正表示为引入到每个单独声道的响度缩放比例中的缩放比例差量Δs_m，使得方程式6d中的总响度缩放比例误差Δs_m减小。一般而言，声道间的该缩放差量Δs_m是不同的。将这些声道缩放比例差量Δs_m合并进方程式6d，产生修改过的表达式：

$\mathrm{\Δ}{s}_m=\frac{F\left\{\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{F}^{-1}\right\{(s_m+\mathrm{\Δ}{s}_c)L_c\left\}\right\}}{L_m}-s_m---\left(6e\right)$

应用该校正的各个声道增益则可由以下方程式给出：

在可忍受的范围内可使用任何适合的技术来得到声道缩放比例差量Δs_m，从而方程式6e内的总响度缩放比例误差Δs_m的绝对值比方程式6d内的小。因此，使得Δs_m的绝对值较小。在以下给出的两个实现例子中，理想地，其可小到零。然而，Δs_m绝对值的减小度相对于每一声道缩量比例差量Δs_c的大小可进行折中，以便最小化听得见的响度变化赝象，在此情形下Δs_m的理想值不是零。接下来在下文中描述实现校正的两个例子。

一种实现该校正的方式的例子是首先依据本发明基本实现方式如方程式5b所示计算各个声道增益g_c，接着计算用于所有声道的单一校正增益G，其与每一声道增益g_c相乘产生校正的声道增益

计算增益G，使得在将增益施加到每一声道后，总响度等于以期望量缩放的原始总响度：

$s_m{L}_m=F\left\{\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{g}_c^{\mathrm{\Δ}}{P}_c\right\}=F\left\{G\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{g}_c{P}_c\right\}---\left(7a\right)$

解出G产生：

$G=\frac{F^{-1}\left\{s_m{L}_m\right\}}{\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{g}_c{P}_c}---\left(7b\right)$

此校正减小了总响度缩放比例误差Δs_m的绝对值。理想地，如从察看方程式7a(没有Δs_m因子——该缩放比例误差被设为零)明显看出，其被减小到零。在实际设置中，由于计算的精确度、信号处理时间滞后等，该缩放比例误差可能不为零。此外，如上所述，每一声道缩放比例差量Δs_c的大小在限制该Δs_m误差因子的减小度时可被考虑到。

相对应的声道缩放比例差量Δs_c不被直接指定，而是经由计算G被隐含指定。给定G，可重新排列方程式6f以解出每一声道的缩放比例差量Δs_c为：施加该校正的声道增益

后该特定声道的响度与原始声道的响度之比减去期望的总响度缩放比例：

$\mathrm{\Δ}{s}_c=\frac{F\left\{G{g}_c{P}_c\right\}}{L_m}-s_m---\left(7c\right)$

需注意的是不须解出Δs_c(通过施加共同的G因子来调整每一声道的增益，从而实现对总(多声道)响度的期望的校正)。显示方程式7c是出于在解释该第一校正例子中进行说明的目的。

因为在实际中借助各个声道增益所得到的总响度缩放比例接近于期望的总响度缩放比例s_m，因此产生的校正增益G通常接近于1，而相对应的声道缩放比例差量接近于零。因此，该校正不可能会引起任何不良的空间变化。

应用校正的另一方式的例子是找到所有声道共同的声道缩放比例差量Δs，从而对于所有声道而言Δs_c＝Δs，这导致总响度缩放比例误差Δs_m的绝对值减小。理想地，如从察看方程式8(没有Δs_m因子——该缩放比例误差被设为零)明显看出，其被减小至零。在实际设置中，由于计算的精确度、信号处理时间滞后等，该缩放误差可能不是零。将这些约束插入到方程式6e，产生以下情形：

$s_m{L}_m=F\left\{\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{F}^{-1}\right\{(s_m+\mathrm{\Δs})L_c\left\}\right\}---\left(8\right)$

可以利用方程式8解出Δs，然后利用方程式6f(其中对所有声道而言Δs_c＝Δs)计算出相对应的校正声道增益。实际上，利用方程式8解出Δs需要迭代数值技术，因此与已描述的第一校正实现方式相比较不理想。

上述两个校正例子的各方面可在下表中进行总结：

校正例子的总结

可以有其它技术用于近似地施加相同的响度缩放比例给多声道信号的每个单独声道，同时近似地施加期望的变化给总响度，本发明意在涵盖所有这些技术。

用于实现本发明的最佳模式

在Seefeldt等人的WO 2004/111994 A2申请和Seefeldt的PCT/US2005/038579申请中，除了别的以外，还揭示了根据心理声学模型的感知响度的客观测量。根据单声道音频信号x[n]，该方法首先计算激发信号E[b，t]，其对在时间区块t期间在临界频带b沿内耳基膜的能量分布进行近似。可从音频信号的短时离散傅立叶变换(STDFT)计算出该激发信号如下：

$E[b,t]={\mathrm{\λ}}_{b}E[b,t-1]+(1-{\mathrm{\λ}}_b)\underset{k}{\mathrm{\Σ}}{\left|T\right[k\left]\right|}^2{\left|C_b\right[k\left]\right|}^2{\left|X\right[k,t\left]\right|}^2---\left(9\right)$

其中X[k，t]代表在时间区块t和k元(bin)时X[n]的STDFT，T[k]表示仿真经过外耳和中耳的音频传输的滤波器的频率响应，C_b[k]代表在对应于临界频带b的位置处的基膜的频率响应。图3描述一组适合的临界带通滤波器响应，其中四十个频带沿着等效矩形频宽(ERB)刻度被均匀隔开，如Moore和Glasberg所定义的(B.C.J.Moore，B.Glasberg，T.Baer，“A Model for the Prediction of Thresholds，Loudness，and Partial Loudness，”Journal of the Audio Engineering Society，Vol.45，No.4，1997年4月，第224-240页)。每一滤波器的形状由取整指数函数(rounded exponential function)描述，且频带利用1 ERB的间距分布。最后，在方程式(9)中的平滑时间常数λ_b可被有利地选择为正比于在频带b内人类响度感知的积分时间。

利用如图2中描绘的等响度线，在每一频带上的激发被转换为可在1kHz产生相同响度的激发水平。然后，从该转换的激发E_1kHz[b，t]通过压缩非线性而计算出特定响度(在频率和时间上分布的感知响度度量)。计算该特定响度的一个适合函数N[b，t]以下式给出：

$N[b,t]=\mathrm{\β}({\left(\frac{E_{1\mathrm{kHz}}[b,t]}{{\mathrm{TQ}}_{1\mathrm{kHz}}}\right)}^{\mathrm{\α}}-1)---\left(10\right)$

其中TQ_1kHz是在1kHz时的静音门限，常数β和α被选择以匹配如第1图中所示的响度数据的增长。最后，以单位宋(sone)表示的总响度L[t]通过在频带上对特定响度求和而计算出：

$L\left[t\right]=\underset{b}{\mathrm{\Σ}}N[b,t]---\left(11\right)$

为了调整音频信号，可能希望计算出宽频带增益g[t]，该增益与音频信号相乘时，使得被调整音频的响度等于某个期望的目标响度

，如由已描述的心理声学技术所测量的。该目标响度

可以通过多种方式来计算。例如，在音量控制的情形下，其可被计算为该原始响度L[t]的固定缩放。或者，可以使用更为复杂的响度L[t]函数，如自动增益控制(AGC)或动态范围控制(DRC)。不管如何计算，对应的增益g[t]都以相同的方式来计算。令函数F_L表示从激发到响度的转换，从而

L[t]＝F_L{E[b，t]}                              (12a)

计算增益g[t]，从而

$\hat{L}\left[t\right]=F_L\left\{g\right[t\left]E\right[b,t\left]\right\}---\left(12b\right)$

重新整理(12a-b)，可解出：

其中s[t]是与

有关的响度缩放比例，从而

$s\left[t\right]=\frac{\hat{L}\left[t\right]}{L\left[t\right]}---\left(12d\right)$

且反函数

被约束以产生激发，其作为原始激发E[b，t]的宽频带缩放比例。由于函数F_L的本性(非线性被施加于每一频带，接着在频带上求和)，该反函数

的封闭形式解不存在。相反地，在WO 2004/111994 A2申请中描述的迭代技术可用于解出增益g[t]。

替代计算宽频带增益g[t]来修改音频的方式，可计算多频带增益g[b，t]，该增益在被施加到原始音频时产生经修改的音频信号，该经修改的音频信号的特定响度基本上等于某一期望的目标特定响度

。通过计算多频带增益而不是宽频带增益，可实现音频的感知频谱平衡或音质的控制。例如，利用音量控制，目标特定响度可被计算为原始特定响度N[b，t]的频带无关性缩放比例，从而当音量改变时保持该音频的原始音质。在PCT/US2005/038579申请中，描述了用于计算作为N[b，t]的函数的

的若干其它技术，包括AGC，多频带DRC以及动态EQ(DEQ)。令函数F_N代表从激发到特定响度的转换，从而

N[b，t]＝F_N{E[b，t]}                        (13a)

计算增益g[b，t]，从而

$\hat{N}[b,t]=F_N\left\{g\right[b,t\left]E\right[b,t\left]\right\}---\left(13b\right)$

重新整理(13a-b)，从而解出：

$g[b,t]=\frac{F_N^{-1}\left\{s\right[b,t\left]N\right[b,t\left]\right\}}{E[b,t]}---\left(13c\right)$

其中s[b，t]是与

有关的特定响度缩放比例，因此

$s[b,t]=\frac{\hat{N}[b,t]}{N[b,t]}---\left(13d\right)$

在PCT/US2005/038579申请中，描述了用于计算的数个技术，包括封闭形式表达式、查询表以及迭代搜索。

现在考虑多声道音频信号x_c[n]，c＝1…C，从该信号可计算出针对每一声道c的激发E_c[b，t]。通过对所有的声道激发求和，可计算出该多声道信号的总激发E_m[b，t]：

$E_m[b,t]=\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{E}_c[b,t]---\left(14a\right)$

且可依据下式从该总激发中计算出对应的总响度和特定响度：

L_m[t]＝F_L{E_m[b，t]}                     (14b)

N_m[b，t]＝F_N{E_m[b，t]}                  (14c)

同样地，每个单独声道的响度和特定响度可从每一声道激发中被计算出：

L_c[t]＝F_L{E_c[b，t]}                              (15a)

N_c[b，t]＝F_N{E_c[b，t]}                           (15b)

现在假定希望修改该多声道音频信号，使得总响度L_m[t]以s_m[t]缩放，或总特定响度N_m[b，t]以s_m[b，t]缩放。在第一种情形下，可解出宽频带增益g_m[t]从而：

s_m[t]L_m[t]＝F_L{g_m[t]E_m[b，t]}                    (16a)

在第二情形下，解出多频带增益g_m[b，t]，从而：

s_m[b，t]N_m[b，t]＝F_N{g_m[b，t]E_m[b，t]}           (16b)

在两种情形下，相同的增益随后被施加到所有声道c，但如先前所讨论的，这可导致所感知的该多声道信号的空间平衡的失真。为了保持该空间平衡，可改为对每一声道计算增益g_c[t]或g_c[b，t]，从而每个单独声道响度或特定响度以期望量进行缩放：

s_m[t]L_c[t]＝F_L{g_c[t]E_c[b，t]}                    (17a)

s_m[b，t]N_c[b，t]＝F_N{g_c[b，t]E_c[b，t]}           (17b)

这样，所有声道之间的相对响度或特定响度被保持。然而，当这些增益g_c[t]或g_c[b，t]被施加到原始多声道音频的对应声道时，产生的经修改多声道音频信号的总响度可能不是正好等于以期望量进行缩放的原始多声道音频信号的总响度。更具体地：

$s_m\left[t\right]L_m\left[t\right]\≠F_L\left\{\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{g}_c\right[t\left]E_c\right[b,t\left]\right\}---\left(18a\right)$

以及

$s_m[b,t]N_m[b,t]\≠F_N\left\{\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{g}_c\right[b,t\left]E_c\right[b,t\left]\right\}---\left(18b\right)$

在很多情形下，方程式18a和18b的两边几乎相等，因此对于某些应用而言，产生的误差可被忽视。然而，对手最佳的结果而言，可计算出施加到所有声道的校正增益G[t]或G[b，t]，从而：

$s_m\left[t\right]L_m\left[t\right]=F_L\left\{G\right[t\left]\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{g}_c\right[t\left]E_c\right[b,t\left]\right\}---\left(19a\right)$

以及

$s_m[b,t]N_m[b,t]=F_N\left\{G\right[b,t\left]\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{g}_c\right[b,t\left]E_c\right[b,t\left]\right\}---\left(19b\right)$

这样，可实现期望的总响度缩放比例。在大多数情形下，校正增益G[t]或G[b，t]很小，因此多声道信号的空间平衡被大部分保持住。

在图4a-4f中，描述了对于多声道音频信号被修改后的特定响度和多频带增益曲线，该多声道音频信号由五个声道组成：左、中、右、左环绕以及右环绕。该特定音频信号由中央声道内的对话居主导地位，余下的四个声道包含非常低声级的周围信号(用于传达位于大厅内的效果)。对于这种特定情形，计算多频带增益g_m[b，t]和g_c[b，t](c＝1…5)，以针对所有频带b实现特定的响度缩放比例s_m[b，t]＝0.16。检查图4b中的中央声道(c＝2)，注意到通过施加对所有声道都相同的增益g_m[b，t]以及声道特定增益g₂[b，t]所得到的两个特定响度频谱几乎一样。这是因为中央声道包含该信号能量的绝大部分，因此从组合的激发E_m[b，t]计算g_m[b，t]主要受此声道影响。然而，检查余下的声道，注意到通过施加g_m[b，t]和g_c[b，t]得到的两个特定响度频谱之间存在巨大差异。在这些情形下，因为这些信号与中央声道的相比非常小，因此施加g_m[b，t]导致经修改的特定响度远远小于期望的缩放比例0.16。对于很多频带而言，经修改的特定响度降到听觉阈以下，这在左环绕声道和右环绕声道(C＝4和5)中最为明显。另一方面，施加g_c[b，t]产生期望的特定响度缩放比例。图4f描述了在施加g_m[b，t]到所有声道以及施加g_c[b，t]到每一相应声道之后组合出的所有声道的特定响度。注意到，在第一种情形下，经修改的特定响度如期等于以期望量缩放的原始组合特定响度。施加g_c[b，t]到每一相应声道产生接近该结果的经修改的特定响度，但在较低和较高的频带上存在小的误差。该误差通过进一步施加校正增益G[b，t]来消除，该增益对于大多数频带b来说接近于0dB。G[b，t]在频带上的平均绝对值为0.6dB，且G[b，t]的最大绝对值仅为3.7dB。返回图4a-4e，注意到施加校正增益对于每个单独声道的经修改的特定响度的影响很小。

实施

本发明可以硬件或软件或二者的组合(例如可编程逻辑阵列)来实施。除非另外指定，否则作为本发明的一部分而包括的算法和过程不与任何特定的计算机或其它设备固有地相关。具体地，各种通用机器可与按照本教导所写的程序一起使用，或者更为方便的是构建更专用的设备(例如，集成电路)来执行所需的方法步骤。因此，本发明可以利用在一个或多个可编程计算机系统上执行的一个或多个计算机程序来实现，每个计算机系统包括至少一个处理器、至少一个数据存储系统(包括易失和非易失记忆和/或存储元件)、至少一个输入设备或端口，以及至少一个输出设备或端口。程序代码被应用于输入数据以执行这里所描述的功能，并产生输出信息。该输出信息以公知方式应用于一个或多个输出设备。

每一此程序可通过任何期望的计算机语言来实现(包括机器、汇编、或高级过程、逻辑或面向对象的编程语言)，以便与计算机系统通信。在任何情况下，该语言可以是编译或解释语言。

每个此计算机程序优选存储在或被下载到可被通用或专用目的可编程计算机可读的存储介质或设备(例如，固态存储器或介质、或者磁或光介质)上，用于当该存储介质或设备被计算机系统读取时配置并操作该计算机以执行这里所描述的程序。本发明系统还可考虑作为配置有计算机程序的计算机可读存储介质来实现，其中这样配置的存储介质使计算机系统以特定和预定义方式工作，从而执行这里所描述的功能。本发明的若干实施例已经描述。然而，应理解在不背离本发明的精神和范围的情况下可进行各种修改。例如，这里所描述的某些步骤是顺序无关的，因此可以以不同于所描述的顺序来执行。

Claims (20)

1.一种以期望量s_m来缩放多声道音频信号的总感知响度L_m的方法，其中所述总感知响度L_m是每声道信号功率P_c之和的非线性函数，该方法包括：

根据以所述期望量s_m进行总感知响度缩放的期望精确度，以等于缩放所述总感知响度的期望量s_m的数量来缩放每个单独声道的感知响度L_c，其中每个单独声道的感知响度是单独声道的功率P_c的非线性函数。

2.如权利要求1所述的方法，其中，每个单独声道的感知响度通过改变每个单独声道的增益g_c来缩放，其中增益为声道功率的缩放比例，使得依据下式，每个声道的增益g_c与每个声道的功率P_c相关：

$g_c=\frac{F^{-1}\left\{s_m{L}_c\right\}}{P_c}=\frac{F^{-1}\left\{s_{m}F\right\{P_c\left\}\right\}}{P_c}$

其中，F^-1为将感知响度L相关到功率P的非线性函数F的反函数：

L＝F{P}。

3.如权利要求2所述的方法，还包括：修改被施加到每一声道的响度缩放比例，以减小以下两者之差：[1]通过以s_m来单独缩放每一声道的感知响度得到的总感知响度缩放比例；以及[2]总感知响度缩放比例的期望量s_m。

4.如权利要求3所述的方法，其中，所述差通过向每一声道功率的增益施加共同的乘数来减小。

5.如权利要求3所述的方法，其中，所述差通过向每一声道的响度的缩放比例增加共同的缩放偏移量来减小。

6.如权利要求4或5所述的方法，其中，所述差可表示为：

$\mathrm{\Δ}{s}_m=\frac{F\left\{\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{F}^{-1}\right\{s_m{L}_c\}\}}{L_m}-s_m$

其中Δs_m为所述差，C为声道的总数。

7.如权利要求2至4中任一项所述的方法，其中，每一声道的感知响度以及总感知响度在多个频带的每一频带内测量，并且在这些频带内调整每一声道的增益。

8.如权利要求7所述的方法，其中所述频带与临界频带相当。

9.如权利要求1至5中任一项所述的方法，其中，每一声道的感知响度以及总感知响度在单一宽频频带内测量。

10.如权利要求6所述的方法，其中，每一声道的感知响度以及总感知响度在单一宽频频带内测量。

11.一种以期望量s_m来缩放多声道音频信号的总感知响度L_m的设备，其中所述总感知响度L_m是每声道信号功率P_c之和的非线性函数，该设备包括：

用于根据以所述期望量s_m进行总感知响度缩放的期望精确度，以等于缩放所述总感知响度的期望量s_m的数量来缩放每个单独声道的感知响度L_c的缩放装置，其中每个单独声道的感知响度是单独声道的功率P_c的非线性函数。

12.如权利要求11所述的设备，其中，所述缩放装置被进一步配置为通过改变每个单独声道的增益g_c来缩放每个单独声道的感知响度，其中增益为声道功率的缩放比例，使得依据下式，每个声道的增益g_c与每个声道的功率P_c相关：

$g_c=\frac{F^{-1}\left\{s_m{L}_c\right\}}{P_c}=\frac{F^{-1}\left\{s_{m}F\right\{P_c\left\}\right\}}{P_c}$

其中，F^-1为将感知响度L相关到功率P的非线性函数F的反函数：

L＝F{P}。

13.如权利要求12所述的设备，还包括：用于修改被施加到每一声道的响度缩放比例，以减小以下两者之差的修改装置：[1]通过以s_m来单独缩放每一声道的感知响度得到的总感知响度缩放比例；以及[2]总感知响度缩放比例的期望量s_m。

14.如权利要求13所述的设备，其中，所述修改装置被配置为通过向每一声道功率的增益施加共同的乘数来减小所述差。

15.如权利要求13所述的设备，其中，所述修改装置被配置为通过向每一声道的响度的缩放比例增加共同的缩放偏移量来减小所述差。

16.如权利要求14或15所述的设备，其中，所述修改装置被配置为能够用下式表示所述差：

$\mathrm{\Δ}{s}_m=\frac{F\left\{\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{F}^{-1}\right\{s_m{L}_c\left\}\right\}}{L_m}-s_m$

其中Δs_m为所述差，C为声道的总数。

17.如权利要求12至14中任一项所述的设备，其中，所述缩放装置被配置为在多个频带的每一频带内测量每一声道的感知响度以及总感知响度，并且在这些频带内调整每一声道的增益。

18.如权利要求17所述的设备，其中所述缩放装置被配置为使所述频带与临界频带相当。

19.如权利要求11至15中任一项所述的设备，其中，所述缩放装置被配置为在单一宽频频带内测量每一声道的感知响度以及总感知响度。

20.如权利要求16所述的设备，其中，所述缩放装置被配置为在单一宽频频带内测量每一声道的感知响度以及总感知响度。

Images