CN102638757B - 生成和控制用于音频信号的数字混响的方法和系统 - Google Patents

Abstract

本发明的名称是“生成和控制用于音频信号的数字混响的方法和系统”。本发明提供了一种数字音频信号处理系统，该系统包括一组延迟线以及全通和低通滤波器来实现混响效果。本发明还提供了一种产生和控制音频信号的数字混响的方法。生成的混响在时域内将具有增加的回声密度，且高频信号比低频信号衰减得更快。通过提取真实环境特性实现了混响生成的控制机制。

Description

生成和控制用于音频信号的数字混响的方法和系统

本申请是申请日为2007年2月14日、申请号为200710085235.5、发明名称为“生成和控制用于音频信号的数字混响的方法和系统”的专利申请的分案申请。

技术领域

本发明一般涉及数字音频信号处理技术，更具体地，涉及数字音频信号处理方法和具有用于生成和控制音频信号的人工混响的混响设备的系统，其中，该混响设备具有统一结构，并生成具有从真实环境提取出来的特性的人工混响。

背景技术

人工混响技术常用于单调的音频内容，以模拟在真实环境中的效果。在许多应用(如头戴式受话器和扬声器回放)中，添加人工混响来使听众产生置身于真实环境之中的感觉。

本质上，混响是源于真实环境中(如在房间内)的各种反射的回声。产生混响的理想方法是将音频信号与期望环境的脉冲响应进行卷积。在实际中，这种方法的计算量很大。在数字信号处理应用中，需要占用巨大的计算和存储资源来实施该方法。为降低成本，美国专利5317104公开了一种电子声音处理器，该处理器通过将随机的白噪声与单调音频信号进行卷积来模拟混响的后期部分而创建混响。

已提出一些方法来模拟精确的混响效果，或仅创建显著的信号。大多数算法使用具有延迟线的反馈回路，有时还结合了全通滤波器。美国专利4181820公开了一种电子混响装置，该装置包括多个具有不同延迟时间的回路，并适于形成强度逐渐减弱的声音重复，其中，这些回路设有抽头，且各抽头均具有与之相关的特定的延迟时间。美国专利5621801公开了一种混响效果提供系统，该系统包括多个具有信号延迟线和反馈回路的梳状滤波器，其中，上述反馈回路用于对来自延迟线的经过延迟的信号进行滤波，并将滤波后的信号以可变的回路增益反馈至输入侧。这种反馈系统的缺点在于，它们将形成共振，从而造成声染色。在某些算法中，通过相移或时变延迟线克服了这些问题，但这些算法又引入了某些不希望的变调效果。参见美国专利4955057、5740716。某些方法仅使用延迟线和前馈回路，并在延迟线的不同位置处设置抽头。参见美国专利5555306。某些其他算法将混响分成前期部分和后期部分，并分别独立地生成这些部分。参见美国专利5040219、5146507。这将导致边界处回声密度的突然增加，而在自然环境中不是这样的。

发明内容

因此，本发明的一个方面提供了一种混响发生器，该发生器用于在数字音频信号处理系统中生成数字音频信号输入的混响，以模拟真实环境。在一个实施例中，该混响发生器包括用于接收所述数字音频信号输入的输入装置；用于生成包含所述数字音频信号输入和混响的数字音频信号输出的求和装置；电子地连接到所述输入装置和求和装置的数字音频信号直接路径，用于直接发送所述数字音频信号输入；多个以级联方式配置的用于产生混响的前馈回路；其中，所有前馈回路的输出均电子地连接到所述求和装置；其中，第一前馈回路电子地连接到所述输入装置，以接收所述输入；且所述第一前馈回路的输出馈入所述求和装置，同时作为输入馈入第二前馈回路；且其中所述第二前馈回路的输出馈入所述求和装置和第三前馈回路，依此类推；从而，所述多个前馈回路生成了与所述数字音频信号输入结合来产生模拟真实环境的所述数字音频信号输出的所述混响。

本发明的另一个方面提供了一种用于为数字音频信号输入生成和控制模拟真实环境的混响的数字音频信号处理系统。在一个实施例中，该数字音频信号处理系统包括：数字I/O接口，用于输入和输出数字音频信号；电子地连接到该数字I/O接口的控制单元，用于接收数字音频输入信号；以及如上所述的电子地连接到控制单元的混响发生器；其中，控制单元提取真实环境中的数字音频信号的混响特性；其中，该提取的混响特性将控制混响发生器的配置，以生成数字音频输入信号的混响来模拟真实环境。在另一个实施例中，控制单元提取以下混响特性：最终回声密度、建立回声密度的速率、回声的总能级的衰减速率以及高频信号和低频信号的差动衰减速率。

本发明的又一个方面提供了一种产品，该产品能生成数字音频信号的混响来模拟真实环境。该产品包括：计算机可读介质，该介质具有用于存储文件和程序的存储域，以及使得所述产品能执行所述计算机程序的计算机可执行域；如上所述的数字音频信号处理系统，用于为数字音频信号输入生成和控制模拟真实环境的混响，其中，该数字音频信号处理系统包含在上述计算机可读介质中。在另一个实施例中，该产品包括MP3播放器、手机、便携式播放器、TV、DVD播放器，等等。

本发明的又一个方面提供了一种用于为数字音频信号生成混响来模拟真实环境的方法。在一个实施例中，该方法包括以下操作：提取数字音频信号在真实环境中的混响特性；将该提取的混响特性转换成用于具有多个以级联方式配置的前馈回路的混响发生器的控制参数；使用上述控制参数控制所述混响发生器来生成所述混响。

本发明的一个或多个方面的各种实施例包括：

上述各前馈回路包含增益、延迟线、全通滤波器和低通滤波器。

上述全通滤波器包括：输入加法器，用于将全通滤波器的输入和来自延迟线的反馈进行累加，其中，在功能配置上，上述延迟线处于上述输入加法器的下游；具有反馈放大器(-a)的反馈回路，用于将上述延迟线的输出作为至上述输入加法器的上述反馈；具有放大器(a)的前馈回路，该回路电子地连接到上述输入加法器；输出加法器，用于将来自所述延迟线和所述前馈回路的输出进行累加。

上述放大器的-a和a的值处于0.6和0.7之间。

第一全通滤波器中的延迟线长度最好等于第一回声和第二回声之间的延迟时间。

所有延迟线和全通滤波器的长度最好为素数。

除第一全通滤波器外的所述全通滤波器中的延迟线长度按以下等式计算：

AP_n+1≈AP_n*y

其中，AP_n表示第n全通滤波器中的延迟线长度；y表示环境系数；且y的值处于1.1至1.5之间。

上述第一回路中的延迟线最好等于直接信号和该信号的第一回声之间的迟延时间。

除上述第一回路外的任何回路中的延迟线长度按以下等式计算：

DL_n+1≈DL_n*x

其中，DL_n表示第n回路中的延迟线长度；x表示环境系数；且x的值处于1.1至1.5之间。

最好通过数字信号处理中的环形缓冲器来实现上述前馈回路和全通滤波器中使用的延迟线。

上述增益按以下等式计算：

$G_1=\sqrt{\frac{\mathrm{dE}}{\mathrm{dt}}*{\mathrm{DL}}_1}$

$G_{n+1}=G_n\sqrt{\frac{\mathrm{dE}}{\mathrm{dt}}*{\mathrm{DL}}_{n+1}}$

其中，G_n表示第n回路的增益，且DL_n表示第n回路中的延迟线长度。

上述第一回路的增益值在0.2至0.5之间变化；且随后各回路中的增益值在1至2之间变化。

上述低通滤波器以FIR和IIR滤波器为佳，一阶IIR滤波器更好。

通过阅读结合附图的关于优选实施例的以下详细说明，可以清楚地理解本发明的这些和其他目标、优点。

附图说明

现在，将结合附图描述本发明的优选实施例，在这些附图中，相似的附图标记表示相似的元件：

图1的示意框图示出了典型的数字音频信号处理器的部件。

图2示出了真实环境中的音频信号的典型幅值响应。

图3的功能框图示出了根据本发明的一个实施例的数字音频信号处理系统的混响生成过程的控制机制。

图4的电路框图示出了在根据本发明的一个实施例的、用于生成混响的数字音频信号处理器中使用的全通滤波器。

图5的电路框图示出了在根据本发明的一个实施例的数字音频信号处理系统中使用的混响发生器。

图6是一种电子音频设备的功能图，该图示出了根据本发明的一个实施例的数字音频信号处理器的应用。

图7是根据本发明的一个实施例的为数字音频信号生成混响的流程图。

具体实施方式

通过参考以下关于本发明的某些实施例的详细描述，可以更容易地理解本发明。

已通过引用将一些出版物的全部内容包含于本文献之中，以便使本文能更全面地描述本发明所在领域的技术发展状况。

大多数现代混响发生器采用了计算和存储资源有限的数字信号处理器(DSP)。图1的示意框图示出了典型数字音频信号处理器的部件。该数字音频信号处理器1包括：数字I/O接口2，用于输入和输出音频数据；数据总线3，用于在处理器中传输音频数据和与外围设备互连；存储单元4，用于存储音频输入数据和处理器运行时产生的中间数据；计算单元5，用于将音频数据和程序数据加载到主寄存器6和执行处理，然后将处理后的音频数据存到I/O接口2以供输出。存储单元4包括RAM、ROM、DMA和I2C，在该存储单元中，上述计算单元执行其计算程序和存储所有数据。计算单元5包括ALU、MAC和移位功能模块，用于进行加法、减法、乘法及其他运算。众所周知，乘法通常需要更多资源，且缩短滤波器长度和减少乘法运算次数可降低处理器的负载。数字音频信号处理器1还包括控制器7，该控制器通过主寄存器6控制处理器，其中，这些主寄存器经数据总线与计算单元接口。此外，控制器7与用户接口相连，以便使处理器的用户向处理器输入指令。而且，该数字信号处理器还包括外围设备接口8，通过该接口，处理器可以与音频处理系统的其他部件进行交互。上述外围设备包括但不限于键盘和鼠标。

现在参考图2，其中提供了真实环境(如房间)中的直接信号和其回声在时域中的幅值。明显，直接信号首先到达听者的耳，随后到达的是因地板、墙壁、天花板和其他表面反射而形成的回声。将在后面详细讨论这些回声的特性。注意，这些回声未改变它们的音调。

如图2所示，混响包括以下一般特性：直接声音之后的前期回声相当稀疏；回声的密度在时域内逐渐增加；并且，在时域中，后期回声的混合程度越来越高，并变得越来越密集。然而，为模拟混响，必须通过提取各种类型的真实环境中的混响的某些特殊特性来建立混响模型。本发明中考虑的特殊特性包括最终回声密度、建立回声密度的速率、回声的总能量的衰减速率，以及高频信号和低频信号的差动衰减速率。例如，在房间中，最终回声密度和建立回声密度的速率取决于房间的大小。房间越小，建立回声密度便越快。而且，回声的总能级的衰减速率取决于各表面的吸收情况。此外，反射表面吸收的高频信号一般比其吸收的低频信号多。结果，高频信号比低频信号衰减得快。高频信号相对于低频信号的衰减速度取决于反射表面的情况。

现在参考图3，其中提供了根据本发明的一个实施例的数字音频信号处理系统的混响生成过程的控制机制的功能框图。如图3所示，数字音频信号处理系统10包括数字I/O接口11、核处理器12和控制单元13。数字I/O接口11和核处理器12与图1中所示的相应设备类似或相同，在此不再赘述。控制单元13可电子地连接到图1中的控制器7来控制混响生成过程。

仍然参考图3，其中提供了关于控制单元13的操作的更详细描述。首先，提取来自一个待模拟的真实环境的音频信号混响的特殊混响特性。该特殊混响特性包括最终混响密度14a、建立回声密度的速率14b、回声总能级的衰减速率14c以及高频信号和低频信号的差动衰减速率14d。

然后，将这些混响特性转换成控制参数。更具体地，将最终回声密度14a转换成前馈回路的数目15a。最终回声密度指响应末尾处的给定持续时间内的回声数目。按以下方式确定要使用的前馈回路数目：要建立的回声越密集，则结构应当具有越多的回路。通常需要3个或更多个回路才能取得所需效果。由于后期混响的混合特性和人类听觉系统的工作方式的缘故，因而，当正确设置了其他控制参数时，对最终回声密度的合理近似能使人充分地感知到真实环境。通常，开放的空间(如广场)具有较低的回声密度，并且，实验证明此时3到4个回路已足够用于模拟。而封闭的大环境(如农贸市场)具有较高的回声密度，此时至少需要4个回路。

将建立回声密度的速率14b转换成延迟线的长度15b。如下文所述，数字信号处理设备中的延迟线包括回路中使用的延迟线和全通滤波器中使用的延迟线。将建立回声密度的速率定义为回声之间的距离。对模拟混响而言，较好地生成头几个回声至关重要，因为人类听觉系统在很大程度上依靠头几个回声来对环境进行判断。在混响的后期部分中，随着回声的混合程度变得越来越大，对人类听觉系统而言，连续回声之间的距离变得不重要了。可以按以下方式确定回路中使用的延迟线和全通滤波器中使用的延迟线的延迟长度：延迟长度越长，建立回声密度便越慢。第一回路中的延迟线(延迟线1)的延迟长度等于直接声音和第一回声之间的迟延时间。第一全通滤波器(AP1)中的延迟线的延迟长度等于第一回声和第二回声之间的延迟。为模拟教堂之类的大房间，各延迟线和各全通滤波器中的延迟长度将变得相当大。在第一回路之后，可以用以下等式分别近似计算延迟线和全通滤波器中的延迟长度：

DL_n+1≈DL_n*x 等式1

AP_n+1≈AP_n*y 等式2

其中，DL_n表示第n回路中的延迟线长度；AP_n表示第n个全通滤波器中的延迟线长度；x和y表示环境系数。x和y的值在1.1至1.5之间变化。延迟线的长度DL_n和AP_n的值最好为素数，这将确保在不出现显著的猝发信号的情况下实现反射声音的平滑衰减。

将回声的总能量的衰减速率14c转换成各回路的增益15c。将回声总能级的衰减速率定义为给定时间段内回声能量的减少，并用表示，其中，E表示回声能量，t表示时间。例如，地板上覆盖地毯的房间吸收声音的性能远优于木质地板。可以将该特性转换成各回路的增益：增益越小，回声总能级衰减得便越快。可通过以下等式近似计算该增益：

$G_1=\sqrt{\frac{\mathrm{dE}}{\mathrm{dt}}*{\mathrm{DL}}_1}$ 等式3

$G_{n+1}=G_n\sqrt{\frac{\mathrm{dE}}{\mathrm{dt}}*{\mathrm{DL}}_{n+1}}$ 等式4

其中，G_n表示第n回路的增益，DL_n表示第n回路中的延迟线长度。为模拟具有更强吸声性能的房间，各回路中的增益应当较小。通常，第一回路中的增益值在0.2至0.5之间变化。随后回路中的增益值在1至2之间变化。

将高频信号和低频信号的差动衰减速率14d转换成低通滤波器的截止频率和滚降速率15d；这些滤波器的截止频率和滚降速率将决定高频信号相对于低频信号的衰减速度。对各个环境而言，不同频率的衰减速率不同。一般地，反射表面更多地吸收高频信号。可以将该特性量化成不同频率的能量变化方面的相对差异。该特性的数学表达式为其中，E_f表示某个频率f的能量。对建模而言，该特性具有非常复杂的场景。但是在大多数情况下，由于大部分时间高频均比低频衰减得快，因此，可以用某些低通滤波器来对此进行合理的近似。可以用各回路中的低通滤波器来模拟该特性。可通过有限脉冲响应滤波器(FIR)或无限脉冲响应滤波器(IIR)实现低通滤波器。这些滤波器的截止频率和滚降速率将决定高频信号相对于低频信号的衰减速率。这类滤波器的一种简单的实施方式可以是采取以下形式的一阶低通滤波器：

y_n＝b*x_n-a*y_n-1 等式5

其中，a＝1-b。本领域技术人员应当理解，可以用不同结构和方法来实施低通滤波器，而不必局限于本专利提供的结构和方法。低通滤波器的截止频率将取决于特定的环境。在提供一阶低通滤波器实施方式的情况下，推荐为典型的房间环境设置5000和15000之间的截止频率。

然后，将这些参数输入控制核处理器的控制单元，该单元加载来自上述I/O接口的数字音频输入数据和执行混响生成过程。将包括生成的混响的输出信号通过I/O接口发送出去。

本发明的用于生成混响的方法是独特的，因为它逐渐地建立混响密度，并在同时有区别地衰减不同的频率分量。同时，也根据真实环境的特性来控制包括最终回声密度和总能级的衰减速率在内的其他特性。因此，生成的混响将非常接近于真实环境的特性。通过使用全通滤波器和延迟线也实现了声染色的最小化。

现在参考图4，其中提供了在根据本发明的一个实施例的、用于生成混响的数字音频信号处理器中使用的全通滤波器的电路框图。全通滤波器20包括输入加法器21、延迟线22、输出加法器23、具有放大器(-a)的反馈回路24和具有放大器(a)的前馈回路(25)。全通滤波器20具有平坦的频率响应，从而仅造成极少的声染色。a的值可以处于0.6至0.7之间。

现在参考图5，其中提供了在根据本发明的一个实施例的数字音频信号处理系统中使用的混响发生器的电路框图。混响发生器30包括多个以级联方式配置的前馈回路31、32、33、34和求和器35。各前馈回路包含增益、延迟线、图4中所示的全通滤波器以及低通滤波器。混响发生器30利用上述控制单元传来的控制参数来为输入信号执行混响生成过程。输入信号不经过处理便被发送至求和器35，以模拟输出中的直接信号。也将该输入信号发送至第一前馈回路，将该第一前馈回路的输出发送至求和器35，以模拟输出中的早期混响，并将该输出作为第二前馈回路的输入。将第二前馈回路的输出发送至求和器35，以模拟输出中的早期混响之后的混响部分，并将该输出用作第三前馈回路的输入，依此类推。混响发生器的输出是直接信号和以上前馈回路的所有输出之和。该图仅示出4个前馈回路，但是，回路的数目并不限于4个，并可在必要时进行增减。建议第一回路中的延迟线等于直接信号和第一回声之间的延迟时间。可通过数字信号处理中的环形缓冲器来实现前馈回路和全通滤波器中使用的延迟线。一般可通过FIR和IIR滤波器实现低通滤波器，且一阶IIR滤波器将足以适用于大多数环境。

使用该电路，生成了直接信号和混响信号。各回路中的增益控制了混响信号的总能级的衰减速率。级联的全通滤波器将创建密集的回声。通过在各回路中使用延迟线，该结构将创建具有密度越来越高的回声的混响。各回路中使用的低通滤波器将产生快速衰减高频信号的后果。

而且，由于以下原因，因而使用本发明的数字信号处理设备生成混响的计算成本可以维持在合理的低水平：本设计涉及的乘法运算极少；可通过环形缓冲器实现所有延迟线；且低通滤波器可简化为一阶IIR滤波器。

现在参考图6，其中提供了一种电子音频设备的功能图，该图示出了根据本发明的一个实施例的数字音频信号处理器的应用。MP3播放器40包括：存储域41，用于存储所有数据库和支持所有计算操作；音频媒体文件数据库42；解码器43，用于在输出各文件之前对所有音频媒体文件进行解码；控制单元44，用于执行混响生成的控制过程；以及混响发生器45，用于根据控制单元控制的特性生成混响。存储域41、文件数据库42、解码器43在本技术领域中是众所周知的。采用本发明的数字音频信号处理系统的电子设备还包括手机、便携式播放器、TV、DVD播放器，等等。

现在参考图7，其中提供了根据本发明的一个实施例的、为数字音频信号生成混响的流程图。数字音频信号输入(51)的回声生成过程(50)以选择要模拟的真实环境和为该选择的环境提取混响特性(52)为开始；然后，通过控制混响特性(即设置混响发生器的参数，包括前馈回路的数目和各个回路的增益、延迟线、全通滤波器以及低通滤波器)来配置混响发生器(53)；然后，生成所模拟的混响(54)和输出该混响(55)。在提取混响特性的步骤中，提取的混响特性包括最终回声密度14a、建立回声密度的速率14b、回声总能级的衰减速率14c以及高频信号和低频信号的差动衰减速率14d，如图3所示。前面已讨论了将这些特性转换成混响发生器的控制参数的细节。

尽管已结合特定实施例描述了本发明，但是，应当理解，这些实施例是说明性的，且本发明的范围并不局限于这些实施例。本领域技术人员将方便地得出本发明的替代性实施例。我们认为，本发明的精神和范围包含了这些替代性实施例。因此，通过附录的权利要求描述了本发明的范围，且该范围得到了之前的说明的支持。

Claims (13)

1.一种混响发生器，用于在数字音频信号处理系统中生成数字音频信号输入的混响，以模拟真实环境，所述混响发生器包括：

用于接收所述数字音频信号输入的输入装置；

用于生成包含所述数字音频信号输入和混响的数字音频信号输出的求和装置；

电子地连接到所述输入装置和求和装置的数字音频信号直接路径，用于直接发送所述数字音频信号输入；

多个以级联方式配置的用于产生混响的前馈回路，其中所述数字音频信号输入不经过处理便被发送至所述求和装置，所有前馈回路的输出均电子地连接到所述求和装置，其中第一前馈回路电子地连接到所述输入装置以接收所述数字音频信号输入，其中所述第一前馈回路的输出馈入所述求和装置，同时所述第一前馈回路的输出被发送至第二前馈回路作为所述第二前馈回路的输入，其中所述第二前馈回路的输出馈入所述求和装置，同时所述第二前馈回路的输出被发送至第三前馈回路作为所述第三前馈回路的输入，依此类推，从而所述混响发生器的输出是多个前馈回路的所有输出和所述数字音频信号输入之和，以便产生模拟真实环境的所述数字音频信号输出，

其中各前馈回路包含增益、延迟线、全通滤波器和低通滤波器。

2.根据权利要求1所述的混响发生器，其中所述全通滤波器包括：

输入加法器，用于将所述全通滤波器的输入和来自所述全通滤波器的延迟线的反馈进行累加，其中在功能配置上，所述全通滤波器的所述延迟线以电子方式处于所述输入加法器的下游；

具有反馈放大器的反馈回路，用于将所述全通滤波器的所述延迟线的输出作为至所述输入加法器的所述反馈；

具有放大器的前馈回路，所述具有放大器的前馈回路电子地连接到所述输入加法器；

输出加法器，用于将来自所述全通滤波器的所述延迟线和所述具有放大器的前馈回路的输出进行累加。

3.根据权利要求2所述的混响发生器，其中所述前馈回路上的放大器与所述反馈回路上的反馈放大器的增益的值相同且处于0.6和0.7之间。

4.根据权利要求2所述的混响发生器，其中第一全通滤波器中的延迟线的长度等于第一回声和第二回声之间的延迟时间。

5.根据权利要求2所述的混响发生器，其中所有全通滤波器的延迟线和全通滤波器的长度为素数。

6.根据权利要求2所述的混响发生器，其中除第一全通滤波器外的所述全通滤波器中的延迟线的长度按以下等式计算：

AP_n+1≈AP_n*y

其中AP_n表示第n全通滤波器中的延迟线的长度；y表示环境系数；且y的值处于1.1至1.5之间。

7.根据权利要求1所述的混响发生器，其中所述第一前馈回路中的延迟线等于直接信号和所述直接信号的第一回声之间的迟延时间。

8.根据权利要求7所述的混响发生器，其中除所述第一前馈回路外的任何回路中的延迟线的长度按以下等式计算：

DL_n+1≈DL_n*x

其中DL_n表示第n回路中的延迟线的长度；x表示环境系数；且x的值处于1.1至1.5之间。

9.根据权利要求2所述的混响发生器，其中通过数字信号处理中的环形缓冲器来实现所述多个以级联方式配置的用于产生混响的前馈回路和全通滤波器中使用的延迟线。

10.根据权利要求1所述的混响发生器，其中所述增益按以下等式计算：

$G_1=\sqrt{\frac{dE}{dt}*{\mathrm{DL}}_1}$

$G_{n+1}=G_n\sqrt{\frac{dE}{dt}*{\mathrm{DL}}_{n+1}}$

其中G_n表示第n回路的增益，且DL_n表示第n回路中的延迟线的长度，E表示回声的能量而t表示时间。

11.根据权利要求10所述的混响发生器，其中所述第一前馈回路的增益值在0.2至0.5之间变化；且随后各回路中的增益值在1至2之间变化。

12.根据权利要求2所述的混响发生器，其中所述低通滤波器是FIR和IIR滤波器。

13.根据权利要求2所述的混响发生器，其中所述低通滤波器是一阶IIR滤波器。