CN101606316A - 对音频动态特性处理有约束的分层控制路径 - Google Patents

Abstract

根据在多个层级中的每个层级的一个或多个相应节点处工作的一个或多个装置或过程来导出可用于修正音频信号的动态特性的信息，每个层级具有一个或多个节点，其中在每个层级处工作的一个或多个装置或过程进行对音频信号的一个或多个特性的计量，以使得在每个依次更低层级处工作的一个或多个装置或过程进行对音频信号的逐渐更小细分的一个或多个特性的计量。

Description

对音频动态特性处理有约束的分层控制路径

技术领域

本发明涉及音频信号处理器、音频信号处理以及用于控制音频信号处理器和音频信号处理的软件。根据本发明的多个方面，提供了一种用于动态特性处理的分层控制路径，并且以分层方式强加对音频信号动态特性处理的约束以提供改善的性能。

背景技术

音频动态特性处理的目的是更改音频信号的相对声级或动态特性使之处于某些想要的界限内。这一般是通过产生对音频信号声级的某种时变计量(例如均方根声级或峰值声级)、然后计算并施加作为声级计量的函数的信号修正(例如增益改变)来实现的。在2006年5月4日公布为WO 2006/047600的Alan Jeffrey Seefeldt的国际专利申请PCT/US2005/038579中阐述了共享这样的工作模式的动态特性处理器，这些动态特性处理器包括自动增益控制(AGC)、动态范围控制(DRC)、扩展器、限制器、噪声门等。Seefeldt的申请指定了美国及其它实体。通过引用将该申请整体合并于此。

图1描绘了处理音频信号(多通道音频信号的单个通道或仅有一个通道的音频信号)的一般性音频动态特性处理器的高级框图。可认为该处理器具有两个路径：上“信号”路径2和下“控制”路径4。在下控制路径上，音频信号的声级由计量装置或过程(“声级计量”)6计量，然后此测量结果(即，对信号声级的计量)由动态特性控制装置或过程(“动态特性控制”)8用来计算一个或多个信号修正参数。这样的参数担当信号修正控制信号并且被用来根据动态特性处理函数修正音频信号，该函数可以是比如下文描述的图3b中所示的想要的动态特性处理曲线。如图所示，修正参数根据输入音频信号来导出。可替选地，修正参数可根据经处理的(输出)音频来导出或者根据输入和输出音频信号的组合来导出。在音频信号路径2中，由动态特性控制8生成的修正参数被施加于音频以控制对音频的修正，从而生成经处理的音频。向音频信号施加修正参数可以许多已知方式来实现，并且由乘法器符号12一般性地示出。在音频信号路径2中，音频可由延迟装置或过程(“延迟”)10延迟以补偿与声级估计和动态特性控制过程关联的任何延迟。

当处理复杂的多通道音频资料时，在计算和施加信号修正时必须注意避免引入可感知的伪像(artifact)。接收多通道音频信号输入的基本动态特性处理器可计算表示组合后的所有通道总体的信号声级，然后基于这样的总体声级计量向所有通道施加相同的修正。在以相同的方式修正所有通道时，这样的方法具有维持所有通道之间的相对声级、从而保护空间图像(包括例如在通道之间被摇摄的虚拟图像的位置以及感知的漫射)的优点。这样的方法在所施加的修正不太强的情况下可很好地工作。

然而，当想要的修正更强时可能出现问题。考虑被施加了具有很高压缩比的动态范围控制器的多通道音频信号(例如5.1通道)。对于这样的处理器，高于压缩阈值的信号被显著衰减以使信号声级更接近阈值。假定音频信号在所有通道中都包含相对恒定声级的背景音乐，其中就该背景音乐而言在组合所有通道之后的总体声级低于压缩阈值。进一步假定简短但响亮的一段对话被引入到中央通道中。由于该对话，组合后的所有通道的总体声级现在超过压缩阈值，因此整个信号被衰减。在对话结束后，信号声级回落到压缩阈值以下而无衰减被施加。结果，听到来自左、右、左环绕和右环绕通道的背景音乐根据中央通道中的对话而声级波动或上下来回“泵动(pump)”。该效应对于收听者而言可能是很不自然的发声和干扰。这种伪像作为一种交叉调制或互调制，在音频动态特性处理领域中是众所周知的，而一种典型的现有技术方案涉及到向每个通道独立地施加动态范围控制。虽然这样的方案可纠正前述问题，但是它可能具有更改音频的空间图像的缺点。具体而言，在两个通道之间被摇摄的虚拟源可能由于向两个通道施加的不同衰减量而看来似乎在“游荡”。因此，需要一种设法解决泵动和图像不稳定这两个问题的方案。

当考虑单个音频通道的谱时也存在类似问题。考虑包含中到高频的持续弦音符的单个通道，其中就该弦音符而言信号声级低于压缩阈值。现在考虑以低频引入的很响亮的低音鼓击打，其造成信号声级顷刻增大到压缩阈值以上。整个信号顷刻衰减，导致弦被感知为根据低音鼓而声级不自然地上下泵动。这一问题的一种典型现有技术方案是：将音频信号分到多个频带中，然后向每个频带独立地施加动态范围控制。这减小了泵动问题，但是可能更改感知谱平衡或音色。因此，需要一种减小泵动同时减小感知谱平衡的变化的方案。

发明内容

根据本发明的多个方面，根据在多个层级中的每个层级的一个或多个相应节点处工作的一个或多个装置或过程来导出可用于修正音频信号的动态特性的信息，每个层级具有一个或多个节点，其中在每个层级处工作的一个或多个装置或过程进行对音频信号的一个或多个特性的计量，以使得在每个依次更低层级处工作的一个或多个装置或过程进行对音频信号的逐渐更小细分的一个或多个特性的计量。可用于修正音频信号的动态特性的信息可以在与导出信息的装置或过程关联的装置或过程中被施加于音频信号，或者这样的信息可作为例如元数据与音频信号一起携带，以使得该信息可被施加于空间和/或时间上远距离的音频信号。音频的逐渐更小细分可包括(1)通道细分和(2)频带细分二者之一或全部。如下文进一步说明的那样，每个层级的每个节点处的所述一个或多个装置或一个或多个过程在该节点的层级处进行对音频的计量，并可根据对音频信号的这样的计量并且根据它可从另一层级处的一个或多个装置或过程接收的信息来导出信息。

第一即最高层级可包括进行对音频信号的总体的计量的根节点。在多通道音频信号的情形下，至少一个更低层级可包括多个节点，每个节点进行对音频信号的通道细分的计量，并且至少一个进一步更低层级可包括多个节点，每个节点进行对音频信号的通道的频率细分的计量。在单通道音频信号的情形下，至少一个更低层级可包括多个节点，每个节点进行对音频信号的频率细分的计量。

根据本发明的另一些方面，根据在特定层级处对音频信号的计量而导出的信息可以在该分层结构中被下传到一个或多个更低层级，以便影响在这样的层级处工作的装置或过程的工作。根据在特定层级处对音频信息的计量而导出的信息可不仅包括可用于影响在一个或多个更低层级处工作的装置和过程的工作的信息，而且包括可用于修正音频信号的动态特性的信息。

根据本发明的又一些方面，根据在特定更低层级处对音频信号的计量并且根据被传到这样的更低层级的信息而导出的信息可用来影响在这样的更低层级处工作的装置或过程的工作。这样的影响可例如使得该更低层级生成对它本来将生成的信息的修正。可替选地或附加地，根据在特定更低层级处对音频信号的计量并且根据被传到这样的更低层级的信息而导出的信息可以在该分层结构中被上传到一个或多个更高层级，以便影响在这样的更高层级处工作的装置或过程的工作。这样的影响可例如使得更高层级生成对它本来将传到一个或多个更低层级的或者将被用于修正音频信号的信息的修正。

图2a描绘了根据本发明多个方面的分层控制路径架构的一个例子的示意性概观，其中在从顶到底的控制路径分层结构(“自顶向下”分层布置)中下传信息。在自顶向下控制路径分层结构的此例子中，至动态特性处理器或过程的输入信号是多频带音频信号，且层级是(1)所有通道的所有频带(“总体”层级)、(2)多通道音频信号内的通道(“通道”层级)和(3)每个通道内的频带(“频带”层级)。在该图的右手侧的频带层级处的相应动态特性控制装置或过程的输出可担当信号修正控制信号，并且可被施加以便修正如下文描述的图2b中所示那样被处理的音频信号的相应通道和频带中的音频信号。可替选地，这样的控制信号可作为例如元数据与音频信号一起携带，以使得该信息可例如以图2b的方式在空间和/或时间上远距离的地方被施加于音频信号。如下文进一步说明的那样，在该分层结构中下传的信息可不仅包括适用于对音频信号的修正进行控制的修正参数(如果这些参数被施加于音频信号)——在该分层结构中下传的信息可包括在动态特性控制装置或过程内可用于影响这样的装置或过程的工作的控制参数(这样的控制参数可称为“动态特性控制参数”，且这样的参数可包括适用于直接或间接控制音频信号的“修正参数”)。

向图2a分层控制路径施加的输入信号可根据向图2a控制路径是其一部分的音频动态特性处理器施加的音频信号、或可替选地根据这样的音频动态特性处理器的经处理的(输出)音频或根据这样的输入和输出音频信号的组合来导出。

在图2a中，实线表示多通道音频信号的音频流向，该多通道音频信号具有通道x₁...x_C，而每个通道具有一个或多个频带或“子频带”b₁...b_n。虽然在原理上可通过模拟、数字或混合模拟/数字实施例来实现本发明的多个方面，但是在实际实施例中可在数字域中进行音频处理。每个动态特性控制装置或过程的虚线输出表示由相应动态特性控制装置或过程生成的一个或多个动态特性控制参数。动态特性控制参数可耦合到控制路径分层结构的更低层级中的动态特性控制装置或过程，以便强加约束。例如，如结合下述例子说明的那样，长期信号声级、长期增益和短期增益的值可从总体层级下传到通道层级并且从通道层级下传到频带层级以实施约束。在它们中，在这里所述例子中仅施加频带层级处的短期增益来控制音频信号的动态特性(亦如一个所述例子中那样，这样的短期增益可被时间平滑)。

在原理上，在该分层结构中下传的信息可不施加于一个或多个层级。而且，在原理上，(除了来自频带层级的信息以外或代替来自频带层级的信息)可施加来自不同于频带层级的层级的信息来控制音频信号的动态特性。这样的信息可被时间平滑。

因此，在图2a控制路径例子中，具有通道x₁...x_C的多通道音频信号被施加于第一分层控制路径级即总体层级，其中装置或过程(“总体声级计量”)14针对组合后的所有音频通道的总体计算平均信号声级计量。总体声级14的工作类似于图1的声级6的工作，不同之处在于总体声级14对多通道音频信号的所有通道而不是对多通道音频信号或仅有一个通道的音频信号进行工作。然后，由总体声级14获得的测量结果(即，对总体信号声级的计量)可由动态特性控制装置或过程(“动态特性控制”)16用来计算可包括一个或多个信号修正参数的一个或多个总体层级动态特性控制参数。由动态特性控制16计算出的动态特性控制参数中的一些或全部可被下传到通道层级中的动态特性控制20以供这样的动态特性控制在其工作中使用。由总体层级的动态特性控制16计算出的修正参数或其函数可被施加于音频信号，但是在此例子中并非如此。

接着，在第二分层控制路径级即通道层级(在此例子中为下一更低层级)中，每个通道x₁至x_c被分别施加于它自己的由声级计量装置或过程18-1至18-c和动态特性控制装置或过程20-1至20-c构成的对。每个声级计量18-1至18-c可以与图1的声级计量6的方式相似的方式工作，以针对向它施加的特定音频通道计算平均信号声级计量。根据该声级计量，声级/动态特性控制对中的每个动态特性控制20-1至20-c计算可包括一个或多个信号修正参数的一个或多个动态特性控制参数。然而，图2a布置中的动态特性控制20-1至20-c与图1动态特性控制8的不同之处除了在于产生动态特性控制参数而不是修正参数以外，还在于接收由上一层级中的动态特性控制16计算出的一个或多个动态特性控制参数。这样的更高层级动态特性控制参数可用来约束或影响相应动态特性控制20-1至20-c的工作。由动态特性控制20计算出的动态特性控制参数中的一些或全部可被下传到频带层级中的动态特性控制26以供这样的动态特性控制在其工作中使用。由一个或多个动态特性控制20计算出的修正参数或其函数可被施加于音频信号，但是在此例子中并非如此。

接着，在第三分层控制路径级即频带层级中，音频信号的每个通道x₁至x_c被施加于将每个音频通道分裂成多个频带b₁至b_n的频带分裂装置或功能(“频带分裂”)22-1至22-c。用于将音频信号分裂到多个频带中的许多装置和过程在本领域中众所周知(滤波器组、带通滤波器、正交镜滤波器、时间-频率变换等)。使用任何具体的这样的频带分裂器对于本发明而言并非关键。每个通道的每个频带被分别施加于它自己的由声级计量装置或过程24-1-1至24-c-n和动态特性控制装置或过程26-1-1至26-c-n构成的对。每个声级计量24-1-1至24-c-n可以与图1的声级计量6的方式相似的方式工作，以针对向它施加的音频通道的特定频带计算平均信号声级计量——因此，它在频带层级而不是通道层级处工作。每个动态特性控制26-1-1至26-c-n根据由与之成对的声级计量提供的信号声级计量、以与图1的动态特性控制8的方式相似的方式计算信号修正参数。然而，不同于图1动态特性控制8，图2a例子中的动态特性控制26-1-1至26-c-n亦可接收由与上一层级中同一通道关联的动态特性控制20计算出的一个或多个动态特性控制参数。这样的更高层级修正参数可用来约束或影响对一个通道内多个频带进行工作的相应动态特性控制26-1-1至26-c-n的工作。由每个动态特性控制26-1-1至26-c-n计算出的一个或多个修正参数可如图2b中所示那样被施加于音频的每个通道的多个频带。在频带层级处，由于它在此例子中为底层级，所以动态特性控制26无需提供动态特性控制参数输出(一个都不需要)而代之以提供如图2b中所示那样可用来控制对音频信号的修正的一个或多个修正参数的输出。

参照图2b，以与图1的上信号路径的方式相似的方式，每个音频通道的特定频带(音频通道1频带1至音频通道c频带n)被施加于具有相应延迟10-1-1至10-c-n和相应乘法器12-1-1至12-c-n的相应信号路径。如图1中那样，乘法器由乘法器符号一般性地示出以表明响应于一个或多个修正参数而修正音频的任何适当方式。每个乘法器从对应的动态特性控制26-1-1至26-c-n接收一个或多个修正参数(即，通道1频带1音频由来自用于通道1频带1的动态特性控制的修正参数来修正，等等)。可替选地，由其它层级产生的修正参数或它们的函数可被施加于音频信号、其通道中的一个或多个和/或一个或多个其通道的一个或多个频带。

虽然图2a和2b的例子示出了总体层级、通道层级和频带层级这三级分层结构，但是本发明的多个方面不限于三级分层结构并且该分层结构可具有不同的顺序。例如，可能不希望进行多频带修正，在该情形下仅有总体层级和通道层级的二级分层结构可能是合适的。类似地，可能不想允许通道之间的任何独立性，因此可利用仅有总体层级和频带层级的二级分层结构。换言之，可能不想向不同的通道施加不同的修正参数——可不同地对待各频带，但是可以对所有通道相同的方式修正每个频带。如上所述，每个层级可包括一个或多个装置或过程。可扩展图2a和图6的三层结构例子以包括更多层级。例如，并非在一个级将信号分裂到多个频带中，可以在第一频带级处将信号分裂到两个频带中。然后，可以在第二频带级处将这些频带中的每个频带进一步分裂成又两个频带，等等。类似地，通道分裂可发生在一个以上的层级中。例如，在总体层级之后，可以在第一通道层级中将多个通道分裂成三组：(1)左和右，(2)中央以及(3)左环绕和右环绕。然后，在下一通道层级处，左和右这一组可明确地分成左和右。类似地，左环绕和右环绕这一组可明确地分成左环绕和右环绕。

具有呈图2a和2b例子的形式的约束及其变形的控制路径分层结构适用于许多种动态特性处理应用比如压缩器、限制器、扩展器等。然而，为了便于说明，在其中音频信号的原始动态范围得以减小的动态范围控制(DRC)的背景下描述本发明多个方面的例子。换言之，使音频的响亮部分更柔和并且/或者使安静部分更响亮。这样的处理例如在希望以减小的平均音量在深夜收听音频选段时是有用的。

图3a描绘了对于DRC而言的典型输入/输出曲线或传递函数，其中水平轴是输入信号声级的对数表示，而竖直轴是想要的输出信号声级的对数表示。信号声级一般性地表示多个可能计量中的任何计量；例如将在一个优选实施例中描述的均方根声级或心理声学响度级。在该曲线或传递函数的“零频带”区中，曲线斜率为1，这表明未进行信号修正。在零频带以上和以下，斜率小于1，这表明施加了压缩——在零频带以上音频衰减而在零频带以下音频增强。图3b描绘了图3a输入/输出曲线或传递函数的等效表示，其用当被施加于输入信号声级时产生想要的输出信号声级的增益的对数取代竖直轴上的输出信号声级。在此背景下，术语“增益”意图一般性地表示对信号进行增强或衰减的修正。这样的“增益”可以是与信号直接相乘的值，或者它可更加复杂，比如将在一个优选实施例中描述的感知响度的缩放。由于约束被施加于这样的增益，所以正是动态特性曲线或传递函数的此可替选表示(即，图3b表示)被用于此例子的其余部分。

取平均约束

通常，音频动态特性处理器中的输入信号声级L是使用相对短的时间常数对信号声级的时变计量——例如几毫秒持续时间内积分得到的均方根信号声级。出于强加约束的目的，亦可计算对应的长期或平均信号声级L。L可以是与L相同的、但具有显著更长的时间常数(例如1秒或多秒的量级)的基本计量(例如均方根、峰值等)。

虽然L和L的时间常数并非关键，但是应理解，L的时间常数长于L的时间常数。在动态范围控制(DRC)的情形下，短期时间常数可与人类响度感知时间分辨率(人可感知响度变化所需的最短时间间隔)相当，而长期时间常数可与足以使人将“短期”响度整合为声源响度的心理声学印象的时间相当。

在三级控制路径分层结构比如图2a的例子中，可针对组合后的所有音频通道的总体、针对每个单独通道以及针对每个通道中的多个频带中的每个频带在相应动态特性控制16、20和26中计算短期和平均(长期)信号声级计量。这样的信号声级计量可分别称为L_T和L_T、L_C和L_C以及L_B和L_B，并且可表示例如图3a和3b中所示的对数值。

对于三层控制路径布置比如图2a的例子，可通过为总体层级指定想要的动态特性处理曲线比如图3b中所示的动态特性处理曲线来开始施加约束。这样的曲线可一般性地表示为总体层级处的使增益G与信号声级L相关的函数F_T{L}。因此：

G＝F_T{L}         (1a)

每个信号声级计量L尽管是计量的(例如均方根、峰值等)但可视为与根据关联的动态特性处理函数F_T计算出的理论增益G相关联。因此，可根据L_T和L_T依据下式计算增益G_T和G_T：

G_T＝F_T{L_T}        (1b)

G_T＝F_T{L_T}        (1c)

接着，针对通道控制路径层级处的每个通道，可根据被约束成使得G_C＝G_T(其中G_C和G_C分别是与L_C和L_C关联的理论增益)的F_T来导出通道层级处的使增益G与信号声级L相关的动态特性处理函数F_C{L}。导出具有想要的约束的动态特性函数F_C{L}可通过将F_T的输入自变量平移平均信号声级L_T与L_C之间的差(如果取决于信号状况而存在的话)来实现(见图4b)：

F_C{L}＝F_T{(L_T-L_C)+L}       (2a)

取决于信号状况，效果可以是函数FT在增益/声级轴上的平移，这保护了想要的动态特性处理曲线的形状但是将所有阈值水平移动了量L_C-L_T，以使得平均通道信号声级L_C和与通道函数F_C关联的各种阈值之间的关系与总体信号声级L_T和与总体函数F_T关联的阈值之间的关系相同。在下文进一步描述的图4a-c中示出了这样的平移。等式2a表明了限定F_T和L_T的信息从总体层级被传到通道层级。

根据导出的通道动态特性处理函数F_C，增益G_C和G_C可计算为：

G_C＝F_C{L_C}       (2b)

G_C＝F_C{L_C}       (2c)

根据前面的等式可知：

G_C＝F_C{L_C}＝F_T{(L_T-L_C)+L_C}＝F_T{L_T}＝G_T    (2d)

在根据总体动态特性函数F_T来构造通道动态特性函数F_C以使得G_C＝G_T时，G_C的时间平均值等于G_T的时间平均值。换言之，对通道的修正平均而言等于对信号总体的想要的修正。然而，以短期为衡量标准，L_T和L_C保持相对恒定，且G_C充当通道信号声级L_C的函数以减小或防止交叉通道泵动。

作为一个例子，再次考虑在所有通道中都有音乐、然后在中央通道中引入一段简短而响亮的对话的多通道音频信号。在引入对话之前，平均总体信号声级L_T与短期总体信号声级L_T一起处于动态特性函数F_T的零频带中。结果，该函数无需修正。这对于所有通道中的信号声级L_C和L_C与F_C之间的关系同样成立。当引入对话时，中央通道中的短期信号声级L_C显著增大到F_C的压缩阈值以上，导致衰减。然而，其余通道中的信号声级的行为保持相同，而无衰减被施加。因此，以空间图像被顷刻更改为代价减小或防止了交叉通道泵动。然而，如果该响亮的对话然后继续，则平均总体信号声级L_T缓慢地增大到压缩阈值以上。这又导致由于用于构造通道函数F_C的约束而使所有通道被施加缓慢增大的衰减。这继续下去，直到施加于所有通道的平均衰减达到施加于中央通道中的连续对话的平均衰减的衰减水平为止。因此，根据本发明多个方面的分层约束布置可提供减小或防止交叉通道泵动与保护空间图像之间的平衡。

相同的原理适用于一个通道内的各个频带。正如通道函数可根据总体函数来构造那样，特定频带的动态特性处理函数F_B可根据该特定频带是其一部分的通道的函数来构造。可通过将F_C的输入自变量平移平均信号声级L_C与L_B之间的差(如果取决于信号状况而存在的话)来导出函数F_B：

F_B{L}＝F_C{(L_C-L_B)+L}        (3a)

等式3a表明了限定F_C和L_C的信息从通道层级被传到通道层级。

根据下式计算频带增益：

G_B＝F_B{L_B}     (3b)

G_B＝F_B{L_B}     (3c)

此构造约束了G_B＝G_C，其在下面示出：

G_B＝F_B{L_B}＝F_C{(L_C-L_B)+L_B}＝F_C{L_C}＝G_C    (3d)

由于G_B＝G_C，所以频带增益G_B的时间平均值约等于G_C的时间平均值，但是，以短期为衡量标准，增益G_B作为频带信号声级L_B的函数而变化以减小或防止交叉谱泵动。图4a-c描绘了将F_C构造为F_T的平移版本而将F_B构造为F_C的平移版本以使得G_B＝G_C＝G_B的上述过程。在图4b中示出了总体层级到通道层级的平移。在图4c中示出了通道层级到频带层级的平移。可将图4a-c一起观察以查看想要的动态特性处理曲线如何在该分层结构中从总体级下传到通道级再下传到频带级。

范围约束

理想地，用于根据F_C构造F_B和根据F_T构造F_C的约束确保了向通道中的每个频带施加的平均修正与针对整个通道的平均修正基本上相同，并且向每个通道施加的平均修正与针对组合后的所有通道的平均修正基本上相同。由于这样的约束不对各修正围绕其平均值的范围施加限制，所以特定情形可能是有问题的。再次考虑在所有通道中都有音乐、然后在中央通道中引入一段简短而响亮的对话的多通道音频信号。当引入对话时，总体信号声级L_T增大到比平均总体信号声级L_T高某个量，而动态特性函数F_T需要信号的整体衰减。在中央通道中，信号声级L_C也增大到平均信号声级L_C以上，但L_C相对于L_C的增大比L_T相对于L_T的增大大得多，因为L_T具有来自包含音乐的所有其它通道的贡献。结果，由F_C计算出的衰减显著大于由F_T计算出的想要的整体衰减。为了减小这样的问题，因此希望除了对修正的平均行为施加约束以外还对修正的范围施加约束。

这样的范围约束可以多种方式来实施，但是一种简单而有效的技术涉及到将通道增益G_C约束为处在总体短期增益G_T与总体平均增益G_T之间，然后将频带增益G_B进一步约束为处在通道短期增益G_C与通道平均增益G_C之间。因此，当亦采用范围约束时，从总体层级传到通道层级的信息不仅包括限定F_T和L_T的信息而且包括限定G_T和G_T的信息，且从通道层级传到频带层级的信息不仅包括限定F_C和L_C的信息而且包括限定G_C和G_C的信息。令G′_C和G′_B表示这些范围受约束的通道和频带增益，可根据以下逻辑在形式上写出这些约束：

I)总体到通道的约束：

A)如果G_T＜＝G_T，则

i)如果G_C＜G_T，则G′_C＝G_T

ii)否则如果G′_C＞G_T，则G′_C＝G_T

iii)否则G′_C＝G_C

B)否则，如果G_T＞G_T，则

i)如果G_C＞G_T，则G′_C＝G_T

ii)否则如果G_C＜G_T，则G′_C＝G_T

iii)否则G′_C＝G_C

II)通道到频带的约束：

A)如果G′_C＜＝G_C，则

i)如果G_B＜G′_C，则G′_B＝G′_C

ii)否则如果G_B＞G_C，则G′_B＝G_C

iii)否则G′_B＝G_B。

B)否则如果G′_C＞G_C，则

i)如果G_B＞G′_C，则G′_B＝G′_C

ii)否则如果G_B＜G_C，则G′_B＝G_C

iii)否则G′_B＝G_B

图5a和5b描绘了从总体传到通道再传到频带的范围约束的两个例子。在每种情形下，来自当前层级的约束区被下传到下一级。在最高一行中，注意到在通道层级处强加来自上述逻辑的约束I.A.i。然后，在频带层级处，强加约束II.A.ii。在最低一行中，在通道层级处强加约束I.A.iii，而在频带层级处强加约束II.A.i。

自底向上约束

在上述例子中，以从较高层级传到较低层级(在图2a和2b例子中为总体到通道再到频带)的“自顶向下”方式强加了约束。实施本发明的又一方面也可能是有益的，在该方面中，“自底向上”次约束与自顶向下主约束一起实施。

根据本发明的另一方面，图6描绘了在图2a的例子的背景下的、除了图2a的自顶向下分层约束以外还有分层“自底向上”约束被施加的总体概观。在施加图2a例子中的自顶向下约束的过程中，每个动态特性控制产生由图6中的单虚线表示的一个或多个受约束参数。

如对于图2a例子那样，向图6分层控制路径施加的输入信号可根据向图6控制路径是其一部分的音频动态特性处理器施加的音频信号、或可替选地根据这样的音频动态特性处理器的经处理的(输出)音频或根据这样的输入和输出音频信号的组合来导出。

为了开始施加自底向上约束这一过程，可首先遍及所有通道中的所有频带在分析装置或过程(“分析”)27中分析自顶向下参数，以生成可回传到频带级处的所有动态特性控制并且任选地在该分层结构中上传到所有通道的一个或多个次频带分层约束。如下文进一步说明的那样，分析27可例如计算它的所有输入的平均值或最小值。在图6中，将这样的一个或多个次频带约束示出为来自频带层级处的分析27的双虚线输出。这样的一个或多个次频带约束被施加于频带层级中的每个动态特性控制26’-1-1至26’-c-n并且由动态特性控制26’-1-1至26’-c-n用来进一步约束图2a的自顶向下动态特性控制参数。这样的受双重约束(即，向下约束和向上约束)的一个或多个动态特性控制参数由每个频带动态特性控制26’-1-1至26’-c-n的输出处的双虚线表示。换言之，以双虚线示出的由每个动态特性控制26’-1-1至26’-c-n产生的受双重约束的动态特性控制参数是由图2a的动态特性控制26-1-1至26产生的受自顶向下约束的修正参数(其由来自分析27的输出的一个或多个自底向上次约束来进一步约束)的结果。

任选地，来自分析27的输出的次约束亦在该分层结构中上传到通道层级。在该情形下，在通道层级处，由单虚线表示的所有通道的受自顶向下约束的动态特性控制参数与从分析27接收到的一个或多个次频带约束一起由分析器装置或功能(“分析”)21分析以生成由通道层级处的分析21的双虚线输出表示的受双重约束的修正参数。这样的次通道层级约束由通道层级中的每个动态特性控制20-1至20-c用来产生由通道层级处的每个动态特性控制20’的输出处的双虚线表示的一个或多个受双重约束的动态特性控制参数。

任选地，来自分析21的输出的次约束亦在该分层结构中上传到总体层级。在该情形下，用于总体层级的受自顶向下约束的动态特性参数与次通道约束一起由分析装置或过程(“分析”)17分析以生成次总体约束，该次总体约束又用来产生总体层级处的一个或多个受双重约束的动态特性控制参数。

在施加这样的自底向上的次约束之后，一些动态特性控制的输出处的受双重约束的修正参数可用来修正音频。例如，频带层级处的动态特性控制26’-1-1至26”-c-n的输出处的参数可用来修正音频信号的每个通道内的各个频带。可替选地，通道层级处的参数可用来遍及各频带均匀地修正每个通道，总体层级处的参数可用来均匀地修正所有通道，或者各层级处的参数或其函数的某个组合可用来修正音频信号。

这样的自底向上的次约束在动态特性处理系统处于“释放”模式下(这意味着短期总体信号声级L_T小于平均总体信号声级L_T)时特别有用。为了理解对这样的约束的需要，再次考虑在所有通道中都有音乐并且在中央通道中有对话的多通道音频信号。假定该响亮的对话已在中央通道中在相当长的时间段内保持恒定。因此，自顶向下约束已收敛至稳态行为，导致所有通道接收近似相同量的衰减。现在假定对话骤然停止，在所有通道中仅留下较低声级的音乐信号。总体信号声级L_T立即下降到平均总体信号声级L_T以下，进入动态特性函数F_T的零频带中，这意味着与先前的衰减相比，G_T无需修正。这对于其中已存在对话的中央通道中的G′_C同样成立。然而，在其余通道中，L_C相对于L_C的行为维持如初，这意味着先前的衰减继续。因此，现在，中央通道相对于其余通道被增强，从而使音乐的空间图像失真。此失真继续，直到平均总体信号声级L_T减小到音乐的平均声级从而处于零频带中为止，这时自顶向下约束不导致施加于其余通道的修正。因此，音乐的空间图像随着L_T缓慢减小而在相当长的时间段内失真。

为了设法解决这一问题，可以在L_T＜L_T时施加自底向上的次约束。对于刚才描述的特定问题，可以分析所有通道的G′_C值并将这些值与G_T一起约束为全部等于所有通道的G′_C值中的最小值。这防止了任一通道比任何其它通道增强更多。相同原理可向下扩展至频带。如果L_T＜L_T，则所有频带和通道的G′_B值可被约束为等于该组值中的最小值。然后，该最小值被回上传到通道，在通道中，所有通道的G′_C被设置为等于包括所有通道的G′_C以及来自频带约束的最小值这二者的组中的最小值。最后，该通道最小值可被回上传到总体，在总体中，G_T被设置为等于G_T和先前的通道最小值这二者中的最小值。

时间平滑

施加上述分层约束(自顶向下和自底向上这二者)可能在增益随时间的轨迹中引入突然的不连续。这样的不连续如果不修正则可能造成经处理的音频中的可感知的伪像。因此，在本发明的一个实际实施例中，希望在使用受约束的增益修正音频之前随时间平滑受约束的增益。这样的平滑可以各种方式进行，下面在优选实施例的描述中将讨论一种这样的方法。

附图说明

图1是对多通道音频信号的单个通道或仅有一个通道的音频信号进行处理的一般性现有技术音频动态特性处理器的高级框图。

图2a是根据本发明多个方面的分层控制路径架构的一个例子的示意性概观，其中在从顶到底的控制路径分层结构(“自顶向下”分层布置)中下传信息。

图2b是音频路径的一个例子的示意性概观，其中可根据在控制路径(比如图2a的控制路径和/或图2a和图6的控制路径)中导出的信息来修正音频信号。

图3a是对于动态范围控制(DRC)而言的示范输入/输出曲线或传递函数，其中水平轴是输入信号声级的对数表示，而竖直轴是想要的输出信号声级的对数表示。

图3b是图3a输入/输出曲线或传递函数的等效表示，其用当被施加于输入信号声级时产生想要的输出信号声级的增益的对数取代竖直轴上的输出信号声级。

图4a-c是可用于理解本发明多个方面的、示出了呈图3b的形式的输入/输出曲线或传递函数的例子，其中考虑到特定取平均约束而在较低层级处重新构造初始曲线在初始较高层级处的版本。

图5a和5b是可用于理解本发明多个方面的、示出了呈图3b的形式的输入/输出曲线或传递函数的例子，其中考虑到特定范围约束而在较低层级处重新构造初始曲线在初始较高层级处的版本。

图6是根据本发明多个方面的分层控制路径架构的一个例子的示意性概观，其中除了图2a例子的自顶向下分层信息以外还有信息在从底到顶的控制路径分层结构(“自底向上”分层布置)中上传。

图7描绘了一组适当的临界频带滤波器响应，其中40个频带沿着如Moore和Glasberg所定义的等效矩形带宽(ERB)标度均匀地间隔开。

图8是一组等响度线。

具体实施方式

被公布为WO 2006/047600的Alan Jeffrey Seefeldt的所述国际专利申请PCT/US 2005/038579尤其公开了通过使用响度感知的心理声学模型来计量和修正音频信号的感知响度和/或感知谱平衡的布置。该公开内容讨论了使用这样的布置来进行音频动态特性处理，其中引证了在感知响度域中执行这种处理的若干优点。然而，可通过本发明多个方面进一步改进Seefeldt布置。因此，下面在心理声学响度模型的背景下描述本发明的一个优选实施例。

作为第一步，通过以下步骤计算多通道数字音频信号x_c[n]，c＝1...C的特定响度，即，对随频率和时间分布的感知响度的计量。首先，计算用于每个通道的激励信号E_c[b，t]，其近似于在临界频带b、在时间块t内沿着内耳基膜的能量分布。此激励可根据音频信号的短时间离散傅立叶变换(STDFT)计算如下：

$E_c[b,t]={\mathrm{\λ}}_b{E}_c[b,t-1]+(1-{\mathrm{\λ}}_b)\underset{k}{\mathrm{\Σ}}{\left|T\right[k\left]\right|}^2{\left|C_b\right[k\left]\right|}^2{\left|X_c\right[k,t\left]\right|}^2---\left(4\right)$

其中X_c[k，t]表示x_c[n]在时间块t和元k处的STDFT。T[k]表示对音频通过外耳和中耳的传输进行模拟的滤波器的频率响应，而C_b[k]表示基膜在与临界频带b对应的位置处的频率响应。图7描绘了一组适当的临界频带滤波器响应，其中40个频带沿着如Moore和Glasberg所定义的等效矩形带宽(ERB)标度均匀地间隔开(B.C.J.Moore、B.Glasberg、T.Baer的“Amodel for the Prediction of Thresholds，Loudness，and Partial Loudness”，Journal of the Audio Engineering Society，1997年4月第45卷第4号第224-240页)。每个滤波器形状由舍入(rounded)指数函数来描述，且各频带使用1ERB的间距来分布。等式4中的平滑时间常数λ_b可有利地选择为与频带b内人类响度感知的积分时间成比例。

除了每一通道激励以外，还通过对各通道的通道激励求和来计算表示总体音频信号的激励：

$E_T[b,t]=\underset{c=1}{\overset{C}{\mathrm{\Σ}}}{E}_c[b,t]---\left(5\right)$

接着，使用等响度线(比如图8中所示的等响度线)将每个频带处的总体和通道激励变换成将在1kHz处生成相同响度的激励声级。最后，通过压缩式非线性、根据这些经变换的激励E′_c[b，t]和E′_T[b，t]来计算总体和通道特定响度谱。一般性地参考根据经变换的激励E将特定响度N计算为N＝Φ{E}的函数，一个这样的适当函数由下式给出：

$\mathrm{\Φ}\left\{E\right\}=\mathrm{\β}({\left(\frac{E}{{\mathrm{TQ}}_{1\mathrm{kHz}}}\right)}^{\mathrm{\α}}-1)---\left(6\right)$

其中TQ_1kHz是1kHz处的静音阈值，常数β和α被选择为与公布的响度数据增长匹配。使用此函数，根据下式来计算总体和通道特定响度谱：

N_T[b，t]＝Ψ{E′_T[b，t]}     (7a)

N_c[b，t]＝Ψ{E′_c[b，t]}     (7b)

然后，通过对各频带b的总体和通道特定响度谱求和来计算总体响度和通道响度值：

$N_T\left[t\right]=\underset{b}{\mathrm{\Σ}}{N}_T[b,t]---\left(8a\right)$

$N_c\left[t\right]=\underset{b}{\mathrm{\Σ}}{N}_c[b,t]---\left(8b\right)$

出于强加动态特性处理约束的目的，通过使用大的平滑时间常数λ平滑上述特定响度谱和响度值来计算平均特定响度谱和平均响度值：

N_T[t]＝λN_T[t-1]+(1-λ)N_T[t]             (9a)

N_c[t]＝λN_c[t-1]+(1-λ)N_c[t]             (9b)

N_c[b，t]＝λN_c[b，t-1]+(1-λ)N_c[b，t]    (9c)

最后，根据响度值和特定响度谱将在本发明的概括描述中使用的通项L_T，L_T，L_C，L_C，L_B，L_B所对应的值计算为：

L_T→L_T[t]＝log(N_T[t])          (10a)

L_T→L_T[t]＝log(N_T[t])          (10b)

L_C→L_c[t]＝log(N_c[t])          (10c)

L_C→L_c[t]＝log(N_c[t])          (10d)

L_B→L_c[b，t]＝log(N_c[b，t])    (10e)

L_B→L_c[b，t]＝log(N_c[b，t])    (10f)

从想要的总体动态特性函数F_T(其将对数感知响度作为其输入并且输出想要的感知响度缩放的对数)开始，施加在本发明的概括描述中详述的自顶向下和自底向上约束，以生成分别由G′_T[t]，G′_c[t]和G′_c[b，t]表示的受约束的总体、通道和频带对数响度缩放值。

受约束的频带对数响度缩放G′_c[b，t]用来修正音频信号。然而，这一量必须首先在时间上被平滑以去除通过施加约束引入的任何时间上的不连续。该平滑可有利地采用快和慢时间常数，其中决定使用哪种时间常数是基于L_c[b，t]和G′_c[b，t]的同时平滑的。如果L_c[b，t]相对于其平滑版本在增大而G′_c[b，t]相对于其平滑版本在减小，则使用快时间常数。否则，使用慢时间常数。更具体而言，将L_c[b，t]和G′_c[b，t]的时间平滑版本计算为：

${\tilde{G}}_c^{\′}[b,t]={\widetilde{\mathrm{\λ}}}_c[b,t]{\tilde{G}}_c^{\′}[b,t]+(1-{\widetilde{\mathrm{\λ}}}_c[b,t\left]\right)G_c^{\′}[b,t]---\left(11a\right)$

${\tilde{L}}_c[b,t]={\widetilde{\mathrm{\λ}}}_c[b,t]{\tilde{L}}_c[b,t]+(1-{\widetilde{\mathrm{\λ}}}_c[b,t\left]\right)L_c[b,t]---\left(11b\right)$

其中：

作为经修正信号的计算的下一步，通过将原始特定响度与经平滑的频带缩放

相乘来计算每个通道中的想要的经修正的特定响度谱：

${\hat{N}}_c[b,t]=\exp \left({\tilde{G}}_c^{\′}\right[b,t\left]\right)N[b,t]---\left(12\right)$

令函数Ψ{·}表示从激励到特定响度的变换，针对每个通道计算频带变化的增益g_c[b，m]，使得：

${\hat{N}}_c[b,t]=\mathrm{\Ψ}\left\{g_c^2\right[b,m\left]E_c\right[b,m\left]\right\}---\left(13a\right)$

重新整理(13a)，得到以下解：

$g_c[b,m]=\sqrt{\frac{{\mathrm{\Ψ}}^{-1}\left\{{\hat{N}}_c\right[b,m\left]\right\}}{E_c[b,m]}}---\left(13b\right)$

在被公布为WO 2006/047600的Alan Jeffrey Seefeldt的所述国际专利申请PCT/US 2005/038579中描述了用于计算(13b)中的反函数Ψ^-1的若干技术，包括闭式表达、查找表和迭代搜索。

最后，在每个临界频带中将频带变化的增益g_c[b，m]施加于原始STDFT的对应元以生成经修正的STDFT：

${\hat{X}}_c[k,m]=\underset{b}{\mathrm{\Σ}}{g}_c[b,m]\left|C_b\right[k\left]\right|X_c[k,m]---\left(14\right)$

对经修正的STDFT进行逆变换并重叠相加以产生最终的经修正的多通道数字音频信号在通过引用整体合并于此的Fielder等人的美国专利5,899,969(“Frame-based audio with gain-control words”)中阐述了采用重叠样本块的数字音频处理布置的更多细节。

虽然在这里将各种分层约束(例如G_B＝G_C＝G_B)表达为等式，但是这样的等式是理想化的例子。本发明构想强加这样的约束：其趋向于使这样的值与没有这样的约束强加时的情况相比更接近于相等。类似地，虽然动态特性处理曲线从一个层级到另一层级的传递被图示(例如图3b)为相同曲线形状的传递，但是这样的形状相同性是理想化的例子。本发明构想动态特性处理曲线从一个层级到另一层级的这样的传递：其中被传递的曲线是一个或多个更高级曲线的近似，接近程度是动态特性处理装置或过程的创建者的实施选择。

实现

本发明可用硬件或软件或二者的组合(例如可程序逻辑阵列)来实现。除非另有规定，作为本发明的一部分被包括在内的算法并非与任何具体计算机或其它装置固有地相关。具体而言，各种通用机器可与根据此处教导编写的程序一起使用，或者，构造更专门的装置(例如集成电路)来执行所需的方法步骤可能是更方便的。因此，本发明可用在一个或多个可编程计算机系统上执行的一个或多个计算机程序来实现，其中每个可编程计算机系统包括至少一个处理器、至少一个数据存储系统(包括易失性和非易失性存储器和/或存储单元)、至少一个输入设备或端口以及至少一个输出设备或端口。程序代码被施加于输入数据以执行此处描述的功能并生成输出信息。该输出信息以已知的方式被施加于一个或多个输出设备。

每个这样的程序可用任何期望计算机语言(包括机器、汇编、或高级程序的、逻辑的或面向对象的编程语言)来实现，以与计算机系统通信。在任何情形下，该语言可以是编译或解释语言。

每个这样的计算机程序优选地被存储在或被下载到可由通用或专用可编程计算机读取的存储介质或设备(例如固态存储器或介质、或者磁或光介质)，用于当存储介质或设备被计算机系统读取时配置和操作计算机以执行此处描述的过程。本发明的系统亦可被看作实施为配置有计算机程序的计算机可读取存储介质，其中如此配置的存储介质使得计算机系统以特定且预定的方式工作以执行此处描述的功能。

已描述了本发明的若干实施例。然而，应理解，可在不背离本发明的精神和范围的情况下作出各种修改。例如，此处描述的步骤中的一些步骤可无顺序之分，并因此可按不同于所述顺序的顺序来执行。

Claims (17)

1.一种用于音频动态特性处理的方法，包括：

响应于根据在多个层级中的每个层级的节点处工作的一个或多个装置或过程导出的信息而修正音频信号的动态特性，每个层级具有一个或多个节点，其中在每个层级处工作的所述一个或多个装置或过程进行对所述音频信号的一个或多个特性的计量，以使得在每个依次更低层级处工作的所述一个或多个装置或过程进行对所述音频信号的逐渐更小细分的一个或多个特性的计量。

2.一种用于导出可用于修正音频信号的动态特性的信息的方法，包括：

根据在多个层级中的每个层级的节点处工作的一个或多个装置或过程来导出所述信息，每个层级具有一个或多个节点，其中在每个层级处工作的所述一个或多个装置或过程进行对所述音频信号的一个或多个特性的计量，以使得在每个依次更低层级处工作的所述一个或多个装置或过程进行对所述音频信号的逐渐更小细分的一个或多个特性的计量。

3.根据权利要求1或2所述的方法，其中所述音频的所述逐渐更小细分包括(1)通道细分和(2)频带细分二者之一或全部。

4.根据权利要求1-3中的任一权利要求所述的方法，其中每个层级的每个节点处的所述一个或多个装置或一个或多个过程在该节点的层级处进行对所述音频的计量，并根据对所述音频信号的这样的计量并且根据它从另一层级处的一个或多个装置或过程接收的信息来导出信息。

5.根据权利要求1-4中的任一权利要求所述的方法，其中第一即最高层级包括进行对所述音频信号的总体的计量的根节点。

6.根据权利要求1-5中的任一权利要求所述的方法，其中所述音频信号是多通道音频信号，并且至少一个更低层级包括多个节点，每个节点进行对所述音频信号的通道细分的计量，并且至少一个进一步更低层级包括多个节点，每个节点进行对所述音频信号的通道的频率细分的计量。

7.根据权利要求1-5中的任一权利要求所述的方法，其中所述音频信号是单通道音频信号，并且至少一个更低层级包括多个节点，每个节点进行对所述音频信号的频率细分的计量。

8.根据权利要求1-7中的任一权利要求所述的方法，其中根据在特定层级处对所述音频信号的计量而导出的信息在该分层结构中被下传到一个或多个更低层级，以便影响在这样的层级处工作的所述装置或过程的工作。

9.根据权利要求8所述的方法，其中根据在特定层级处对所述音频信息的计量而导出的信息不仅包括可用于影响在一个或多个更低层级处工作的装置和过程的工作的信息，而且包括可用于修正所述音频信号的动态特性的信息。

10.根据权利要求8或9所述的方法，其中根据在特定更低层级处对所述音频信号的计量并且根据被传到这样的更低层级的信息而导出的信息可用来影响在这样的更低层级处工作的所述装置或过程的工作。

11.根据权利要求10所述的方法，其中影响在这样的更低层级处工作的所述装置或过程的工作使得该更低层级生成对它本来将生成的信息的修正。

12.根据权利要求8或9所述的方法，其中根据在特定更低层级处对所述音频信号的计量并且根据被传到这样的更低层级的信息而导出的信息在该分层结构中被上传到一个或多个更高层级，以便影响在这样的更高层级处工作的所述装置或过程的工作。

13.根据权利要求12所述的方法，其中影响在这样的更高层级处工作的所述装置或过程的工作使得更高层级生成对它本来将传到一个或多个更低层级的或者将被用于修正所述音频信号的信息的修正。

14.根据权利要求1和引用权利要求1的权利要求3-13中的任一权利要求所述的方法，其中用于修正音频信号的动态特性的所述信息被时间平滑。

15.根据权利要求2和引用权利要求2的权利要求2-13中的任一权利要求所述的方法，其中用于修正音频信号的动态特性的所述信息被时间平滑。

16.一种设备，适于执行权利要求1至15中的任一权利要求的方法。

17.一种计算机程序，存储在计算机可读介质上，用于使得计算机执行权利要求1至15中的任一权利要求的方法。

Images