CN103456311A - 用于处理音频信号的方法和设备 - Google Patents

Abstract

一种用于处理音频信号的方法和设备。所述处理音频信号的方法包括：将音频信号分离为第一谐波信号和第一打击信号；调整第一谐波信号的增益和第一打击信号的增益以产生第二谐波信号和第二打击信号；将第二谐波信号与第二打击信号相加。所述方法可通过将音频信号分离为谐波信号和打击信号以调整增益，来总体上改进用于控制增益的设备并将再现音量级别采用到当前环境。所述音频信号可具有高输出电平而没有非线性失真。

Description

用于处理音频信号的方法和设备

技术领域

本公开涉及一种用于处理音频信号的方法和设备，更具体地讲，涉及一种通过将音频信号分离为谐波信号和打击信号（percussion signal）来调整增益的处理音频信号的方法及其设备。

背景技术

动态范围控制器（DRC）根据输入的幅度动态地调整输出的幅度，并且是指用于增大扬声器的输出的音频增益控制器。

通常，使用一个DRC实现根据现有技术的音频增益控制。

图1A示出具有前向结构的DRC100，DRC100包括控制增益的控制器130和放大器110。图1B示出具有反馈结构的DRC101，DRC101包括控制增益的控制器170和放大器150。具有反馈结构的DRC101分析输出信号以动态地调整增益。根据现有技术的音频增益控制器的增益控制器确定输入/输出信号电平的最大值或均方根（RMS），并使用增益函数计算需要的增益。输入信号乘以增益，从而控制了输出信号的幅度。

同时，最近的流行音乐通常包括从打击乐器输出的打击信号。打击信号在时域中具有预定能量并且与连续输入的谐波信号相比被间歇产生。打击信号在时间谱上具有尖峰形式。即，因为在连续谐波信号之间插入打击信号，所以打击信号在时间谱的中间会被跳起。打击信号的这样的特征在输出电平被最大化时引起问题。为了防止音频信号失真，音频信号的最大值可被放大到预定电平。放大的电平由于具有尖峰形式的打击信号而被限制。即，尽管输出电平的平均值远小于最大值，更长地增大增益以保持打击信号的形式是不可能的。

发明内容

针对上述缺点，一种用于处理音频信号的方法和设备通过将音频信号分离为谐波信号和打击信号以调整增益，来改进控制增益并将再现音量级别采用到当前环境。

本公开还提供一种通过将音频信号分离处理为谐波信号和打击信号来处理具有高输出电平而没有非线性失真的音频信号的设备和方法。

实施例的目的可不限于以上描述。通过以下的描述，实施例所述领域的技术人员可清楚地领会未描述的其它目的。应理解，可通过权力要求中描述的装置及其组合来实现本公开的目的和优点。

根据本公开的实施例，一种处理音频信号的方法包括：将音频信号分离为第一谐波信号和第一打击信号；调整第一谐波信号的增益和第一打击信号的增益来产生第二谐波信号和第二打击信号；将第二谐波信号与第二打击信号相加。

根据本公开的实施例，一种用于处理音频信号的设备包括：谐波/打击分离器，将音频信号分离为第一谐波信号和第一打击信号；第一DRC，调整谐波信号的增益以产生第二谐波信号；第二DRC，调整打击信号的增益以产生第二打击信号；加法器，将第二谐波信号与第二打击信号相加。

在下面进行详细的描述之前，阐明贯穿本专利文档所使用的特定词语和短语的定义会是有益的。术语“包括”和“包含”及其派生词表示包括而非限制；术语“或”是包括，表示和/或；术语“与……相关联”和“其相关联的”及其派生词可表示包括、包括在……中、与……互相连接、包含、包含在……中、连接到或与……连接、结合到或与……结合、可与……通信、与……合作、交错、并列、接近于、绑定到或与……绑定、具有、具有……的性质等；术语“控制器”表示任何装置、系统或控制至少一个操作的任何装置、系统的部件。可在硬件、固件或软件或者硬件、固件或软件中的至少两个的一些组合中实现这样的装置。应注意，可本地地或远程地集中或分布与任何特定控制器相关联的功能。贯穿本专利文档，提供了特定词语和短语的定义，本领域的普通技术人员应理解，在一些（如果不是大多数）示例中，这样的定义适用于这样定义的词语和短语的现有以及将来的使用。

附图说明

为了本公开和它的优点的更全面理解，现在将结合附图对以下描述进行参考，在附图中，相同的标号表示相同的部件：

图1A和图1B示出根据本公开的音频增益控制器的构造；

图2示出根据本公开的实施例的用于处理音频信号的设备；

图3示出根据本公开的实施例的图2的用于处理音频信号的设备的谐波/打击分离器；

图4A至图4E示出根据本公开的实施例的用于处理音频信号的设备的信号处理结果；

图5A和图5B示出根据本公开的实施例的用于处理音频信号的设备的谐波频谱图产生器的操作原理；

图6A和图6B示出根据本公开的实施例的用于处理音频信号的设备的打击频谱图产生器的操作原理；

图7示出根据本公开的实施例的用于处理音频信号的方法；

图8示出在根据本公开的实施例的用于处理音频信号的方法期间将音频信号分离为谐波信号和打击信号的过程；

图9示出在根据本公开的实施例的用于处理音频信号的方法期间使用频谱图来获得谐波频谱图的过程；

图10示出在根据本公开的实施例的用于处理音频信号的方法期间使用频谱图来获得打击频谱图的过程。

具体实施方式

在本专利文档中，以下讨论的图1A至图10以及用于描述本公开的原理的各种实施例仅是示例的方式并且不应以任何方式被解释为限制本公开的范围。本领域的技术人员应理解，可在任何适当布置的音频信号处理装置中实现本公开的原理。参照附图详细描述本公开的示例性实施例。贯穿附图，相同的标号用于表示相同或相似的部件。将省略包含于此的公知功能和结构的详细描述，以避免混淆本公开的主题。

在本公开中，分离的谐波信号和打击信号定义如下。首先，打击信号是指通过打击输出声音的称为打击乐器的乐器的音频信号。因为打击信号通常用于与音乐合拍，所以打击信号具有在时间谱中间歇地产生尖峰形式的能量分布。谐波信号是指由至少两个声音组成的周期分量。与打击信号相比，谐波信号的能量根据时间具有预定值并在频谱中表示尖峰形式的能量分布。

在下文中，将参照图2和图3描述根据本发明的实施例的用于处理音频信号的设备。

图2示出根据本公开的实施例的用于处理音频信号的设备。图3示出根据本公开的实施例的图2的用于处理音频信号的设备200的谐波/打击分离器210。

参照图2，根据本公开的实施例的用于处理音频信号的设备200包括谐波/打击分离器210、第一DRC230、第二DRC230和加法器270，并且在特定实施例中还包括独立的增益控制器290。

谐波/打击分离器210将音频信号分离为谐波信号和第一打击信号。将参照图3详细描述谐波/打击分离器210。谐波/打击分离器210包括频谱图产生器213、频谱图分离器215和转换器219。频谱图分离器215包括谐波频谱图产生器216和打击频谱图产生器217。频谱图产生器213将音频信号转换到时频域以产生音频信号的频谱图。频谱图示出音频信号的频谱分量的强度作为图的密度，其中，频率在纵轴上，时间在横轴上。频谱图产生器213根据时间对输入的音频信号执行离散傅里叶变换（DFT）或快速傅里叶变换（FFT）以获得根据时间的音频信号的频谱。作为另一实施例，频谱图产生器213使用滤波器组以便获得频率分量。滤波器组是通过多个带通滤波器划分音频信号的频带的滤波器群组。频谱图产生器213通过将音频信号经过滤波器组来提取各个频带的频率分量，并将提取的频率分量相加以产生根据时间的频谱作为频谱图。

频谱图分离器215使用来自频谱图产生器213的音频信号的频谱图创建谐波频谱图和打击频谱图。详细地，谐波频谱图产生器216使用频谱图产生谐波频谱图，打击频谱图产生器217使用频谱图产生打击频谱图。

谐波频谱图产生器216将从频谱图产生器213接收的频谱图切分为每个预设频率以产生至少一个频率帧，并且针对各个频率帧执行中值滤波。中值滤波器具有将以一点为中心的窗的中值代替为所述一点的值的特性。如果谐波频谱图产生器216针对作为根据时间的特定频带的音频信号的频率帧执行中值滤波，则抑制了在时间轴频谱中突出的打击分量。谐波频谱图产生器216将通过滤波抑制打击分量的至少一个频率帧相互进行组合以产生谐波频谱图。

打击频谱图产生器217将从频谱图产生器213接收的频谱图切分为每个预设时间以产生至少一个时间帧，并且针对各个时间帧执行中值滤波。如果打击频谱图产生器217针对作为在特定时间点的频谱的时间帧执行中值滤波，则抑制了在频谱中突出的谐波分量。打击频谱图产生器217将通过滤波抑制谐波分量的至少一个时间帧相互进行组合以产生打击频谱图。

转换器219将从频谱图分离器215输出的谐波频谱图和打击频谱图分别转换为作为时域中的信号的第一谐波信号和第一打击信号。

由谐波/打击分离器210分离的第一谐波信号和第一打击信号被分别输入到第一DRC230和第二DRC250。第一DRC230调整第一谐波信号的增益以产生第二谐波信号。第一DRC230调整第一谐波信号的增益从而第二谐波信号不超过第一阈值。第二DRC230调整第一打击信号的增益以产生第二打击信号。第二DRC250调整第一打击信号的增益从而第二打击信号不超过第二阈值。

第一阈值和第二阈值可以是用于最大化输出电平的0dB并可具有不同的值。第一DRC230和第二DRC250具有DRC结构、相同的结构或不同的结构。即，第一DRC230和第二DRC250彼此独立。当第一DRC230和第二DRC250具有相同的结构时，如果需要，第一DRC230和第二DRC250可具有不同的参数（时间常数、增益）。

在特定实施例中，根据本公开的用于处理音频信号的设备200还包括作为独立的模块的增益控制器290。增益控制器290同时控制通过独立地被操作的各个DRC230、250调整的增益。即，增益控制器290控制第一谐波信号和第一打击信号两者的增益从而第一谐波信号的增益与第二谐波信号的增益之间的差小于预设值。即，增益控制器290同时控制第一谐波信号的增益和第一打击信号的增益，以防止随着两个信道的增益差的增大而在信号之间能够被识别的程度的不匹配。

即，增益控制模块被包括在第一DRC230和第二DRC250中并独立地调整DRC的增益。与图2的增益控制器290的方案相同，在DRC的外部考虑每个DRC的增益，增益控制模块调整第二谐波信号的增益和第二打击信号的增益从而第二谐波信号与第二打击信号匹配。这里，增益控制模块单独地调整参数（诸如时间常数以及各个信号的增益）。当调整时间常数时，可改变各个信号的形式。例如，当增大时间常数时，信号变得平缓。当减小时间常数时，信号改变为尖锐形式。

第一DRC230和第二DRC250调整第一谐波信号的增益或时间常数以及打击信号的增益或时间常数，加法器170将具有调整的增益的第二谐波信号和第二打击信号彼此相加并输出相加结果。使用前述的方案，从音频信号分离谐波信号和打击信号，谐波信号的增益和打击信号的增益被单独地调整，调整增益的谐波信号与打击信号彼此相加，并且输出相加的结果，从而可增加输出信号的总音量而没有一些信号的非线性失真。

参照图4A至图4E，以下是根据本公开的从用于处理音频信号的设备中的各个模块的输出的描述。

图4A至图4E是示出通过根据本公开的实施例的基于用于处理音频信号的设备200的用于处理音频信号的设备的信号处理结果的曲线图。详细地，图4A是示出输入到用于处理音频信号的设备的音频信号的曲线图。如图4A所示，音频信号包括具有周期尖峰形式的打击节拍（在下文中被称为“打击信号”）和沿时间轴具有相对不变的能量的谐波部分（在下文中被称为“谐波信号”）。

图4B是根据图1的用于处理音频信号的设备（即，DRC）调整音频信号的增益的情况的曲线图。当音频信号的输出电平被最大化时音频信号的形式应维持，相应地，具有尖峰形式的打击信号的最大值应小于0dB。如果增益被增大为大于0dB，则打击信号被切割或失真，从而引起削波或饱和。因此，相应地，可存在放大组成音频信号的总体上的谐波信号的输出的限制。

图4C和图4D是示出在根据本公开的用于处理音频信号的设备200将音频信号分离为谐波信号和打击信号时的各个信号的曲线图。图4C仅示出由谐波/打击分离器分离的谐波信号，并且谐波信号被输入到第一DRC230从而谐波信号的增益通过第一DRC230被调整。图4D仅示出由谐波/打击分离器210分离的打击信号，并且分离的打击信号被输入到第二DRC250从而打击信号的增益通过第二250被调整。

图4E是示出根据本公开的用于处理音频信号点的设备的输出信号的曲线图。在根据本公开的用于处理音频信号的设备200中，谐波信号和打击信号被输入到不同的DRC从而谐波信号的增益和打击信号的增益被单独地调整。加法器270将增益被调整的不同信号中的各个信号相加，从而输出相加结果。在具有尖峰形式的打击信号的特性中，用于调整谐波信号的增益的第一DRC230的增益可被设置为大于第二DRC250的增益。参照图4E，打击信号可被放大到最大输出电平而不失真，谐波信号被放大到具有高于具有调整音频信号的增益的一个DRC的处理音频信号的设备的输出信号的电平。

在下文中，将参照图5A、图5B、图6A和图6B来描述从音频信号的频谱图获得谐波频谱图和打击频谱图的方法。

图5A和图5B是示出根据本公开的实施例的用于处理音频信号的设备200的谐波频谱图产生器的操作原理的示图，图6A和图6B是示出根据本公开的实施例的用于处理音频信号的设备200的打击频谱图产生器的操作原理的示图。

图5A示出音频信号的频谱图。谐波频谱图产生器216使用音频信号的频谱图产生谐波频谱图。首先，如图5A所示，谐波频谱图产生器216将频谱图切分为每个预设频率以产生频率帧FS1、FS2……FSh510。谐波频谱图产生器216针对频率帧执行中值滤波。当执行中值滤波时，因为突出的部分（即，在包括在频率帧中的时间谱中相对跳起）被抑制，所以谐波频谱图产生器216产生具有抑制的打击分量的图5B的频率帧Hi530。谐波频谱图产生器216将H1、H2……Hi530彼此进行组合以产生图5B所示的谐波频谱图。

图6A示出音频信号的频谱图。打击频谱产生器217使用音频信号的频谱图产生打击频谱图。首先，如图6A所示，打击频谱图产生器217将频谱图切分为每个预设时间以产生时间帧TS1、TS2……TSh610。打击频谱图产生器217针对各个时间帧执行中值滤波。当执行中值滤波时，因为突出的部分（即，在包括在频率帧中的频谱中相对跳起）被抑制，所以打击频谱图产生器217获得具有抑制的谐波分量的图6B的时间帧Pi630。打击频谱图产生器217将P1、P2……Pi630彼此进行组合以产生图6B所示的打击频谱图。

在下文中，将参照图7至图10描述根据本公开的实施例的处理音频信号的方法。

图7示出根据本公开的实施例的用于处理音频信号的方法；图8详细示出在根据本公开的实施例的用于处理音频信号的方法期间将音频信号分离为谐波信号和打击信号的过程的示例；图9示出在根据本公开的实施例的用于处理音频信号的方法期间使用频谱图来获得谐波频谱图的过程；图10是示出在根据本公开的实施例的用于处理音频信号的方法期间使用频谱图来获得打击频谱图的过程的示例的流程图。

参照图7，根据本公开的用于处理音频信号的设备200将音频信号分离为第一谐波信号和第一打击信号（方框700）。将音频信号分离为第一谐波信号和第一打击信号的过程如下。

参照图8，为了分离音频信号，用于处理音频信号的设备200将音频信号转换到时频域以产生音频信号的频谱图（方框700）。频谱图示出音频信号的频谱分量的强度作为图的密度，其中，频率在纵轴上，时间在横轴上。

为了产生音频信号的频谱图，用于处理音频信号的设备200根据时间对输入的音频信号执行DFT或FFT以获得根据时间的音频信号的频谱。在特定实施例中，用于处理音频信号的设备200使用滤波器组以获得频率分量。滤波器组是通过多个带通滤波器划分音频信号的频带的滤波器群组。用于处理音频信号的设备200通过将音频信号经过滤波器组来提取各个频带的频率分量，并将提取的频率分量相加以产生根据时间的频谱作为频谱图。

在方框730，用于处理音频信号的设备200使用在方框710中产生的频谱图来获得谐波频谱图和打击频谱图。更具体地讲，用于处理音频信号的设备200使用频谱图来分别产生谐波频谱图和打击频谱图。

参照图9，为了产生谐波频谱图，用于处理音频信号的设备200将频谱图切分为每个预设频率以产生至少一个频率帧（方框731）。用于处理音频信号的设备200针对各个频率帧执行中值滤波（方框733）。中值滤波器用以一点为中心的窗的中值代替所述一点的值。当针对作为根据时间的特定频带的音频信号的频率帧执行中值滤波时，抑制了在时间轴频谱中突出的打击分量。用于处理音频信号的设备200将通过滤波抑制打击分量的至少一个频率帧相互进行组合以产生谐波频谱图（方框735）。

参照图10，为了产生打击频谱图，用于处理音频信号的设备200将频谱图切分为每个预设时间以产生至少一个时间帧（方框732）。用于处理音频信号的设备200针对各个时间帧执行中值滤波（方框734）。当针对作为在特定时间点的频谱的时间帧执行中值滤波时，抑制了在频谱中突出的谐波分量。接下来，用于处理音频信号的设备200将通过滤波抑制谐波分量的至少一个时间帧相互进行组合以产生打击频谱图（方框736）。

在方框750，在从音频信号的频谱图获得谐波频谱图和打击频谱图之后，用于处理音频信号的设备200将谐波频谱图和打击频谱图分别转换为作为时域中的信号的第一谐波信号和第一打击信号。在步骤710至步骤750，用于处理音频信号的设备200将音频信号分离为谐波信号和打击信号。

返回参照图7，用于处理音频信号的设备200调整分离的第一谐波信号的增益和第一打击信号的增益，以产生第二谐波信号和第二打击信号（方框800）。尽管未示出，当产生第二谐波信号时，用于处理音频信号的设备200调整第一谐波信号的增益从而第二谐波信号不超过第一阈值。当产生第二打击信号时，用于处理音频信号的设备200调整第一打击信号的增益从而第二打击信号不超过第二阈值。第一阈值和第二阈值可以是用于最大化输出电平的0dB并可具有不同的值。

用于处理音频信号的设备200控制第一谐波信号和第一打击信号两者的增益从而第一谐波信号的增益与第二谐波信号的增益之间的差小于预设值。即，用于处理音频信号的设备200同时控制第一谐波信号的增益和第一打击信号的增益，以防止随着两个信道的增益差的增大而在信号之间能够被识别的程度的不匹配。即，用于处理音频信号的设备200将第一谐波信号和第一打击信号输入到不同的信道从而各个信道可独立地调整增益，以及使用公共的控制模块控制两个信道的增益。当使用公共的控制模块时，用于处理音频信号的设备200调整增益从而第二谐波信号与第二打击信号匹配。

在将谐波信号和打击信号分离后，本公开的用于处理音频信号的设备200单独地调整参数（诸如时间常数以及各个信号的增益）。当调整时间常数时，可改变各个信号的形式。例如，当增大时间常数时，信号变得平缓。当减小时间常数时，信号改变为尖锐形式。

如上所述，如果第一谐波信号的增益或时间常数以及打击信号的增益或时间常数被调整时，用于处理音频信号的设备200将第二谐波信号和第二打击信号相加以输出相加结果（方框900）。使用前述的方案，从音频信号分离谐波信号和打击信号，谐波信号的增益和打击信号的增益被单独调整，调整增益的谐波信号和打击信号彼此相加，并且输出相加的结果，从而可增加输出信号的总音量而没有一些信号的非线性失真。

如上所述，本公开可通过将音频信号分离为谐波信号和打击信号以调整增益，来总体上改进用于控制增益的设备并将再现音量级别采用到当前环境。

本公开还提供具有高输出电平而没有非线性失真的音频信号并提高嵌入式扬声器的激励性能。

尽管已经用示例性实施例描述了本公开，但是可向本领域的技术人员建议各种改变和修改。本公开意图包含落入权利要求的范围内的这样的改变和修改。

Claims (15)

1.一种用于处理音频信号的方法，所述方法包括：

将音频信号分离为第一谐波信号和第一打击信号；

通过调整第一谐波信号的增益和第一打击信号的增益来产生第二谐波信号和第二打击信号；

将第二谐波信号与第二打击信号相加。

2.如权利要求1所述的方法，其中，将音频信号分离为第一谐波信号和第一打击信号的步骤包括：

通过将音频信号转换到时频域来产生音频信号的频谱图；

使用频谱图来获得谐波频谱图和打击频谱图；

分别将谐波频谱图和打击频谱图转换为第一谐波信号和第一打击信号。

3.如权利要求2所述的方法，其中，产生谐波频谱图的步骤包括：

将频谱图切分为每个预设频率以产生至少一个频率帧；

针对所述至少一个频率帧执行中值滤波；

将至少一个滤波后的频率帧彼此进行组合以产生谐波频谱图。

4.如权利要求2所述的方法，其中，产生打击频谱图的步骤包括：

将频谱图切分为每个预设时间以产生至少一个时间帧；

针对所述至少一个时间帧执行中值滤波；

将至少一个滤波后的时间帧彼此进行组合以产生打击频谱图。

5.如权利要求1所述的方法，其中，产生第二谐波信号和第二打击信号的步骤包括：

调整第一谐波信号的增益从而第二谐波信号不超过第一阈值；

调整第一谐波信号的增益从而第二打击信号不超过第二阈值。

6.如权利要求5所述的方法，还包括：控制第一谐波信号的增益和第一打击信号的增益从而第一谐波信号的增益和第一打击信号的增益之间的差小于或等于预设值。

7.一种用于处理音频信号的设备，所述设备包括：

谐波/打击分离器，将音频信号分离为第一谐波信号和第一打击信号；

第一动态范围控制器DRC，被构造为调整第一谐波信号的增益以产生第二谐波信号；

第二DRC，被配置为调整第一打击信号的增益以产生第二打击信号；

加法器，将第一谐波信号与第二打击信号相加。

8.如权利要求7所述的设备，其中，谐波/打击分离器包括：

频谱图产生器，被构造为将音频信号转换到时频域并产生音频信号的频谱图；

频谱图分离器，被构造为使用频谱图来获得谐波频谱图和打击频谱图；

转换器，被构造为分别将谐波频谱图和打击频谱图转换为第一谐波信号和第一打击信号。

9.如权利要求8所述的设备，其中，频谱图分离器包括谐波频谱图产生器，所述谐波频谱图产生器被构造为：

通过将频谱图切分为每个预设频率来产生至少一个频率帧；

针对所述至少一个频率帧执行中值滤波；

通过将至少一个滤波后的频率帧彼此进行组合来产生谐波频谱图。

10.如权利要求8所述的设备，其中，频谱图包括打击频谱图产生器，所述打击频谱图产生器被构造为：

通过将频谱图切分为每个预设时间来产生至少一个时间帧；

针对所述至少一个时间帧执行中值滤波；

通过将至少一个滤波后的时间帧彼此进行组合来产生打击频谱图。

11.如权利要求7所述的设备，其中，第一DRC调整第一谐波信号的增益从而第二谐波信号不超过第一阈值；

第二DRC调整第一打击信号的增益从而第二打击信号不超过第二阈值。

12.如权利要求11所述的设备，还包括：增益控制器，被构造为控制第一谐波信号的增益和第一打击信号的增益从而第一谐波信号的增益与第一打击信号的增益之间的差小于或等于预设值。

13.如权利要求12所述的设备，其中，增益控制器还被构造为：同时控制第一DRC的增益和第二DRC的增益。

14.如权利要求7所述的设备，其中，第一谐波信号的增益与第一打击信号的增益不同。

15.如权利要求7所述的设备，其中，第一DRC和第二DRC具有不同的参数，所述参数包括时间常数和增益中的至少一个。

Images