CN101689371B - 处理音频信号的设备和方法 - Google Patents

Abstract

提供了一种方法，其适合于应对扬声器电话中在声学回波消除期间的非线性回波路径。由于在非线性范围中驱动放大器和扬声器，因此非线性路径尤其出现在例如移动电话的免提操作中。该思想是：组合使用自适应滤波器和后处理器的线性声学回波消除的公知的一个话筒方法连同使用射束形成的多话筒方法，其单独地去除回波的非线性部分。

Description

处理音频信号的设备和方法

技术领域

本发明涉及一种用于处理音频信号的设备。 

本发明还涉及一种用于处理音频信号的方法。 

而且，本发明涉及一种程序单元。 

此外，本发明涉及一种计算机可读介质。 

用于抑制音频失真的系统变得越来越重要。特别是在高质量免提电信系统的领域中，所述的系统诸如是移动电话、车载装备(car kits)、音频和远程会议系统、免提话音识别设备等。 

WO 2005/076662公开了一种适合于抑制音频失真的系统。该系统包括：回波消除装置，其被耦合在音频输出与失真的期望音频感测话筒阵列之间；以及滤波器安排，其被耦合到回波消除装置和/或话筒阵列。该滤波器安排包括滤波器系数，该滤波器系数代表至少一部分音频失真，比如混响(reverberation)。该系统还包括至少部分地镜像的电路安排，用于由此将代表滤波器系数值的仿真音频失真复制到所述滤波器安排的滤波器系数。该滤波器安排然后可以使用这样的复制的值来抑制失真的期望信号中的混响。这样的系统和滤波器安排可以适合于抑制话筒阵列所感测的音频信号中回波拖尾部分混响形式的回波失真。 

然而，可能仍然需要提供一种系统，其进一步地改进音频系统——特别是免提电信系统——中的回波消除。 

本发明的目的是提供一种高效回波消除音频系统和回波消除方法。 

为了达到上述目的，提供了根据独立权利要求的一种用于处理音频信号的设备、一种处理音频信号的方法、一种程序单元以及一种计算机可读介质。 

根据示例性实施例，一种用于处理音频信号的设备包括：预处理单元，以及后处理单元，其中，所述预处理单元适合于基于接收的第一音频信号来估计指示第一线性回波消除分量的第一回波信号，并且还适合于基于接收的第一音频信号以及拾取的第二音频信号来估计指示非线性回波消除分量的第二回波信号；其中，所述后处理单元适合于考虑第一回波信号和第二回波信号来处理与所拾取的第二音频信号相关联的主输出信号；所述预处理单元包括：两个滤波器单元，用于从接收的第一音频信号来估计第一中间回波信号和第二中间回信号；射束形成单元，用于估计第一回波信号和第二回波信号，该射束形成单元适合于接收第一中间回波信号、第二中间回波信号以及经预处理的所拾取的第二音频信号，并且该射束形成单元包括第一射束形成子单元和第二射束形成子单元，该第一射束形成子单元适合于生成主输出信号和第三中间回波信号，该第二射束形成子单元适于生成所述第一回波信号；以及附加的滤波器单元，用于对第三中间回波信号进行滤波以生成第二回波信号。 

根据示例性实施例，一种处理拾取的音频信号的方法包括：接收第一音频信号，基于所接收的第一音频信号估计指示第一线性回波消除分量的第一回波信号，拾取第二音频信号，基于第一音频信号以及第二音频信号估计指示非线性回波消除分量的第二回波信号，以及考虑第一回波信号与第二回波信号来处理与所拾取的第二音频信号相关联的主输出信号；其中，所述估计步骤包括：两个滤波器单元从所接收的第一音频信号估计第一中间回波信号和第二中间回波信号；射束形成单元估计第一回波信号和第二回波信号，该射束形成单元接收第一中间回波信号、第二中间回波信号、以及经预处理的所拾取的第二音频信号，并且该射束形成单元包括第一射束形成子单元和第二射束形成子单元，该第一射束形成子单元生成主输出信号和第三中间回波信号，该第二射束形成子单元适于生成所述第一回波信号；以及附加的滤波器单元对第三中间回波信号进行滤波以生成所述第二回波信号。特别地，第一回波信号的估计还可以基于所拾取的第二音频信号，例如，所拾取的第二音频信号可以被用作为用以生成用于第一回波信号的估计的控制信号的输入。然而，在很多情况下，所拾取的第二音频信号并不是从其导出第一回波信号的输入信号，而仅仅被用作为用于生成供第一回波 信号的估计所使用的控制信号的信号。这可以与第二回波信号的估计形成对比，因为在很多情况下，在第二回波信号的估计中，所拾取的第二音频信号是从其导出第二回波信号的信号分量，而不仅仅被使用来生成用于估计的控制信号。 

根据示例性实施例，提供一种程序单元，当其被处理器执行时，适合于控制或者实现一种处理音频信号的方法，所述方法包括：接收第一音频信号，基于所接收的第一音频信号来估计指示第一线性回波消除分量的第一回波信号，拾取第二音频信号，基于第一音频信号以及第二音频信号来估计指示非线性回波消除分量的第二回波信号，以及考虑第一回波信号与第二回波信号来处理与所拾取的第二音频信号相关联的主输出信号；其中，所述估计步骤包括：两个滤波器单元从所接收的第一音频信号估计第一中间回波信号和第二中间回波信号；射束形成单元估计第一回波信号和第二回波信号，该射束形成单元接收第一中间回波信号、第二中间回波信号、以及经预处理的所拾取的第二音频信号，并且该射束形成单元包括第一射束形成子单元和第二射束形成子单元，该第一射束形成子单元生成主输出信号和第三中间回波信号，该第二射束形成子单元适于生成所述第一回波信号；以及附加的滤波器单元对第三中间回波信号进行滤波以生成所述第二回波信号。 

根据示例性实施例，提供一种计算机可读介质，在其中存储有计算机程序，当该计算机程序被处理器执行时，适合于控制或者实现一种处理音频信号的方法，所述方法包括：接收第一音频信号，基于所接收的第一音频信号来估计指示第一线性回波消除分量的第一回波信号，拾取第二音频信号，基于第一音频信号以及第二音频信号来估计指示非线性回波消除分量的第二回波信号，以及考虑第一回波信号与第二回波信号来处理主输出信号；其中，所述估计步骤包括：两个滤波器单元从所接收的第一音频信号来估计第一中间回波信号和第二中间回波信号；以及射束形成单元估计第一回波信号和第二回波信号，该射束形成单元接收第一中间回波信号、第二中间回波信号以及经预处理的所拾取的第二音频信号，并且该射束形成单元包括第一射束形成子单元和第二射束形成子单元，该第一射束形成子单元生成主输出信号和第三中间回波信号，该第二射束形成子单元适于生成所述第一回波信号；以及附加的滤波器单元对第三中间回波信号进行滤波以生成所述第 二回波信号。 

根据本发明实施例的音频处理可以通过计算机程序——即通过软件——来实现，或者通过使用一个或多个专门的电子最佳化电路——即以硬件形式——来实现，或者以混合形式——即借助于软件部件和硬件部件——来实现。 

在本申请中，术语“非线性回波信号”可以特别表示由换能器链中工作在其各自的非线性范围的一些部分(例如由扬声器)所引入的回波信号。这例如对于放大器和扬声器可以适用。另一种类的非线性回波信号可以由外壳的机械振动而引起。所有的这些原因都可以导致例如电话或移动电话、车载装备、音频和远程会议系统、免提话音识别设备的话筒信号中的非线性失真的回波分量。 

在本申请中，术语“拾取的音频信号”或“拾取的音频数据”可以特别表示由话筒——例如由像电话或移动电话那样的通信设备的话筒——所拾取的音频信号。尤其是，该术语可以表示从这个声波生成的电信号。 

在本申请中，术语“接收的音频信号”可以特别表示由通信设备接收的信号，例如，从另一通信设备传送到接收该音频信号的设备的信号。在通信的上下文中，接收的音频信号可以对应于所谓的远端信号。也就是，对于该音频信号来说，它通过线路或者通过空中传输从一个通信设备被传送到第二通信设备，即所谓的近端设备。 

在本申请中，术语“回波”可以特别表示所接收的、由第一设备发送的信号引入到拾取的信号中的扰动，该拾取的信号打算被从第二设备传送回第一设备。例如，第一设备和第二设备可以是通信设备，比如移动电话。在这种情形下，倘若通信以所谓的自由语音(free-speech)形式进行，即，通信的人未将移动电话拿近他们的耳边，则这样的“回波”可能尤其令人讨厌并且产生问题。 

通过分离拾取的音频信号的线性回波分量和非线性回波分量，有可能独立地控制对于这两个分量的后处理，例如谱相减(spectralsubtraction)，这可以克服必须针对线性回波使用高的过减(oversubtraction)的问题。此外，有可能使用沿用已久的鲁棒的并且被实际上证明的线性回波消除器来消除线性回波分量，同时附加地，可以提 供解决方案来例如通过使用射束形成方法去应对非线性(nonlinearities)。 

本发明示例性方面的要点可以见于这样的事实：线性回波消除可以与还考虑到非线性回波的回波消除进行组合。可以通过使用所谓的射束形成来完成这样的非线性回波消除。因此，有可能分离线性回波与非线性回波，这可以使得在设备的后处理器中能够独立地控制线性回波和非线性回波的谱相减。 

接下来，将描述本发明的其它示例性实施例。 

以下，将解释用于处理音频信号的设备的其它示例性实施例。然而，这些实施例也适用于处理音频信号的方法、程序单元以及计算机可读介质。 

根据设备的另一个示例性实施例，所述后处理单元还适合于：仅在设备对接收的音频信号进行接收的时间段中，取得第二回波信号。 

在电信设备(例如电话或移动电话)的情况下，这样的时间段可以是例如存在远端语音的时间段。通过以这样的方式适配后处理单元，有可能简化所使用的处理算法，特别地，因为在对远端而言存在活动的情况下，非线性分量或部分有可能不包含任何回波。此外，在不存在远端活动或远端语音的情况下，即假如仅存在近端语音，则所拾取的音频信号可以不受语音泄漏影响，例如不受后处理单元的一部分或元件的语音泄漏影响。 

根据设备的另一个示例性实施例，所述预处理单元包括两个滤波器单元，用于估计第一中间回波信号和第二中间回波信号。这样的估计可以通过估计回波路径对音频源单元与拾取单元之间的发射的音频信号的影响来完成。替换地，所述预处理单元可以仅包括单个滤波器单元。特别地，所述滤波器可以由自适应滤波器形成，其可以受控于基于所拾取的第二音频信号和该自适应滤波器自身的输出信号的控制信号，即，可以实现反馈机制以控制该自适应滤波器。 

根据该设备的另一个示例性实施例，所述预处理单元包括射束形成单元，用于估计第一回波信号和第二回波信号。具体地，该射束形成单元可以适合于：接收第一中间回波信号、第二中间回波信号、以及经预处理的拾取的第二音频信号。 

在本申请中，术语“经预处理的拾取的音频信号”可以特别表示已 经被预处理过的拾取的音频信号，例如通过可能后随有射束形成的线性回波补偿或者通过从所拾取的第二音频信号中减去中间回波信号而被预处理。 

这样的射束形成单元可以是适当的元件，用来确定和/或估计非线性回波分量，该非线性回波分量可以在后面被用来执行回波消除，以便生成期望的输出音频信号，即具有减少的回波分量的该设备的输出音频信号。 

根据设备的另一个示例性实施例，所述射束形成单元包括第一射束形成子单元和第二射束形成子单元。特别地，第一射束形成子单元可以适合于：生成主输出信号和第三中间回波信号。可选地，第一射束形成子单元可以包括附加的滤波器单元，用于对第三中间回波信号进行滤波，以生成第二回波信号。第一射束形成子单元可以接收经预处理的拾取的第二音频信号以作为输入。 

根据设备的另一个示例性实施例，第一射束形成子单元还适合于：通过这样一种方式来确定控制系数的值，即使得主输出信号的输出功率最大化。 

根据设备的另一个示例性实施例，第二射束形成子单元适合于：接收第一中间回波信号和第二中间回波信号，并且还适合于：通过使用控制系数的值来生成第一回波信号。 

通过将第一中间回波信号和第二中间回波信号馈送到第二射束形成子单元，可以确保线性回波分量可以用与所谓的残留信号相同的方式进行处理，所谓残留信号即：所拾取的第二音频信号，其可以包括分别从中减去第一中间回波信号和第二中间回波信号的第一部分和第二部分。为了拾取第二音频信号的第一部分和第二部分，所述设备可以包括：第一拾取单元，其适合于拾取所拾取的第二音频信号的第一部分；以及第二拾取单元，其适合于拾取所拾取的第二音频信号的第二部分。应当指出的是，可以使用两个以上的拾取单元。 

根据设备的另一个示例性实施例，所述后处理单元适合于：通过从求和的主输出信号和第一回波信号中谱减去第一回波信号、第二回波信号，从而基于主输出信号、第一回波信号和第二回波信号生成输出信号。特别地，该后处理单元可以适合于：从主输出信号、第一回波信号、第二回波信号及其线性组合的幅度谱生成增益函数。这样的线性组合特别 地可以是主输出信号与第一回波信号之和，或者是主输出信号与第二回波信号之间的差。这样的增益函数可以被使来将主输出信号的谱、或主输出信号与第二回波信号的差的谱乘以所述增益函数。特别地，主输出信号在它被乘以增益函数之前被延迟。使用该增益函数，可以确保输出信号与主输出信号、或主输出信号与第二回波信号的差可以具有相同的相位。 

以下，将解释所述处理音频信号的方法的其它示例性实施例。然而，这些实施例也适用于所述用于处理音频信号的设备、程序单元和计算机可读介质。 

根据该方法的另一个示例性实施例，所拾取的信号的处理牵涉到谱相减。具体地，谱相减可以对于第一回波信号和第二回波信号独立地执行。 

本发明的示例性方面可见于这样的事实：将线性回波消除与射束形成相组合，由此有可能分离线性回波与非线性回波，这可以使得在后处理器中能够独立地控制线性回波与非线性回波的谱相减。可以使用两个自适应滤波器和后处理器或后处理单元来消除线性回波，同时可以使用两个或更多个拾取单元(例如话筒)，应用射束形成并且考虑作为干扰源的音频源单元(例如扬声器)来处理非线性部分，该干扰源可以通过广义的所谓旁瓣消除器来抑制。在这种情形下，由于理想地来自音频源单元方向的任何声音可以因广义旁瓣消除器的方向特性而受到抑制，因此不管信号路径，即信号在音频源单元与拾取单元之间行进的路径的影响是否为非线性，都没有关系。消除的线性回波可以穿过第二“固定”射束形成器，其中，“固定”指的是它可以使用与第一自适应射束形成器相同的系数。通过这样，便有可能将进入的信号分离为期望的语音信号、线性回波以及非线性回波。这可以允许独立地控制对于非线性部分或非线性分量的谱相减，这可以克服必须对线性回波使用高的过减的问题。当使用根据本示例性方面的射束形成方法时，即使在扬声器和/或通信设备(例如电话)自身移动的情况下，也有可能至少提供对于线性回波分量的足够的回波抑制。而且，甚至当该设备的扬声器处在与期望的扬声器的角度接近的角度中时，也有可能提供足够的回波消除。此外，由于第一自适应射束形成器提供主输出信号和所谓的基准输出或中间回波信号——其不包含或仅包含十分少的语音泄漏，因而有可能避免语 音信号的所谓的染色(coloration)。 

从下文要描述的实施例的例子中，本发明的示例性实施例和以上定义的各方面以及其它方面是明显的，并且参照这些实施例的例子来解释它们。 

附图说明

下文中将参照实施例的例子来更详细地描述本发明，但本发明不限于这些例子。 

图1示意性地示出免提电信系统中的声学回波(acoustic echo)。 

图2示意性地示出带有后处理器的回波消除系统的原理。 

图3示意性地示出包括射束形成单元和自适应滤波器的广义旁瓣消除器的原理。 

图4示意性地示出根据本发明示例性实施例的、用于音频处理的设备。 

图5示意性地示出在远端语音期间的输出信号。 

具体实施方式

附图中的例示是示意性的。在不同的附图中，相似或相同的单元被提供以相同的参考标号。 

以下，将参照图1至图3，解释通信设备(例如移动电话)中的回波消除的一些基本原理。 

对于高质量免提电信系统——例如移动电话、车载装备、音频和视频远程会议系统、免提话音识别设备、PDA等——的需求正快速增长。系统制造商们认识到，这样的系统的音频质量对于让消费者接受和满意是至关重要的。对于网络运营商也是如此，因为当减少收听疲劳时，对话会持续得更长，因此它们获得了更高的收入。免提声学电信系统所牵涉到的一个十分重要的问题涉及在维持全双工操作的同时消除声学回波，这将在后面更详细地描述。首先，参照图1和图2，先解释声学电信系统的一般设置，之后解释声学回波消除问题。 

图1示意性地示出电信系统100，其包括两个声学电信设备101和102，每个声学电信设备分别包括扬声器103和104以及话筒105和106。网络107链接这两个电信设备。此外，两个参与者被示意性地描绘为108 和109。 

这两个电信设备101和102经由某个网络或通信链路107彼此从对方接收信号，并且传送信号到对方，见图1。在每一侧，从另一侧接收的信号(在解调为基带数字信号之后)被处理，由D/A转换器210从数字信号转换为模拟信号，由第一放大器211放大，然后由扬声器203再生，见图2。同时，在每一侧，本地声学信号由话筒205记录，由第二放大器212放大，由A/D转换器213从模拟信号转换为数字信号，由后处理单元214进行处理，然后(在恰当的调制之后)被传送到另一侧，见图2。因此，在每一个终端中，记录的和接收的数字信号都被用于处理。正如从图中清楚地看到的，如果远端侧也以免提模式进行操作，则问题提出(problem setup)在原则上是对称的。以下，从近端侧的角度考虑该问题情景，假设近端以免提模式进行操作。此外，图2示意性地绘出自适应滤波器215和控制单元216。 

由于扬声器203将远端信号发射到近端通信设备周围的环境中，因此除了近端用户可以听见远端信号的期望的效果外，还有扬声器203信号也传播到话筒205的不期望的效果。因此，话筒所记录的信号除了包含期望的近端语音信号之外，还包含通过近端声学路径而被滤波的远端信号。如果未经处理的话筒信号被发送到远端侧，则远端用户也将再次听到他自己的话音，也就是说，将存在回波。当在远端扬声器与话筒之间有强的声学耦合的情况下，这个过程的重复将导致信号的“振鸣(howling)”。 

声学回波消除的目的在于，在保留近端语音信号的同时，去除在近端侧产生的回波信号，由此允许全双工通信并且避免振鸣，这与一次仅一个参与者可以说话的半双工通信形成对比。应当指出的是，全双工语音通信的有关方面在于，近端讲话者可以打断活动的远端讲话者。在两个参与者都说话时的所谓双重谈话(double talk)的短暂间隔期间，近端语音信号保持不失真是不太重要的。 

声学回波消除器的基本思想在于，使用远端信号和话筒信号两者来估计近端话筒信号中的远端回波分量。然后将该回波从话筒信号中减去，从而理想地产生仅包含近端语音信号的信号。然后有可能是在比如噪声抑制的其它处理之后，把清理过的话筒信号传送到远端侧。 

在免提模式下，相比于手持模式，在用户与设备之间有较大距离。 为了使得用户能够清楚地听到远端信号，扬声器必须产生较大声压级。结合移动电话中扬声器和话筒间隔得非常近这一事实，这导致与近端语音信号相比十分强的回波信号。在典型情景中，回波-近端语音信号比的范围可以从10dB至25dB。此外，因为扬声器将要产生较大声压级，所以换能器链的若干(廉价)部分运行在它们的非线性范围中。例如，这对于放大器和扬声器是适用的。另一种类的非线性是由电话外壳的机械振动引起的。所有这些原因都导致话筒信号中的非线性失真的回波分量。由于市售的大多数移动设备和其它声学电信设备采用了线性声学回波消除器(AEC)，因此它们无法恰当地处理非线性失真回波。然而，这是十分重要的，因为要求有越来越好的质量。 

一般而言，AEC通常由两个主要部分组成，见图2。第一部分是自适应滤波器215(通常以有限脉冲响应滤波器的形式)，其把来自远端信号的总的电-机械-声学脉冲响应自适应地建模为话筒信号，也就是说，它尤其(among other things)应当包括放大器和扬声器特性、以及从扬声器到话筒的声学脉冲响应(AIR)。该自适应滤波器可以是(归一化)最小均方((N)LMS)、递归最小平方(RLS)、或仿射投影(AP)算法，或本领域技术人员已知的任何其它算法。实际上，由于若干原因，任何自适应滤波器仅可以部分地去除回波。首先，如上所述，这是因为各种非线性。其次，因为实际上自适应滤波器长度受限于复杂度和存储器约束，也就是说，其系数太少而无法对所有的动态特性恰当地建模。因此，该系统是建模不足的(under-modeled)。最后，终端周围的音响效果可以因为移动、温度改变等等而改变，由此使得自适应滤波器跟踪困难。为此，AEC常常具有由后处理器214组成的第二部分。理想地，自适应滤波器未去除的回波分量在后处理器中被抑制，其可被看作是依赖于时间和频率的增益函数，它选择性地衰减仍包含明显的远端回波的那些频率仓(frequency bin)。后处理器的原理机能已为本领域技术人员所知。虽然后处理可以在某种程度上去除残留的回波，但其在双重谈话期间也引入了失真，尤其是在糟糕的信号-回波比并且有非线性失真期间，由此损害了全双工功能性。 

虽然射束形成的基本原理已为本领域技术人员所知来空间分离声音，但以下仍参照图3描述所谓的滤波器及求和射束形成器(FSB)的一些基本信息，图3示出了广义旁瓣消除器(GSC)320以及充当GSC的 输入设备的两个话筒305和306。该GSC包括FSB 321，其包括两个自适应滤波器322和323，它们分别耦合到两个话筒305和306。也就是说，每一个话筒输入都耦合到自适应滤波器。此外，FSB包括阻塞矩阵(blocking matrix)324，其耦合到两个话筒。两个滤波器322和323中的每一个的输出被求和，并且形成主输出z，而阻塞矩阵324的输出形成噪声基准信号x，其被输入到第二级自适应滤波器325，该第二级自适应滤波器325的输出由第二级的滤波器信号y形成。然后将主输出z和滤波器信号y彼此相减，其中主输出z被延迟单元326延迟。 

简言之，射束形成算法可以概括为：基于在包含期望信号、混响以及噪声的声场中的多个话筒的输入，FSB生成主输出信号和噪声基准信号x，该主输出信号是就信噪比而言的话筒输入的增强版本，该噪声基准信号x理想地包含除了语音之外的任何东西。实际上，当然，由于调整不良(misalignment)、短的滤波器长度以及其它非理想条件，主信号仍包含噪声，并且噪声基准包含一部分语音信号。射束形成算法如下地工作。滤波器被适配成使得主信号的输出功率最大化。阻塞矩阵324被使用来阻塞语音信号产生噪声基准x，该噪声基准x包含稳态和非稳态的背景噪声但不包含语音。 

在必须消除其它干扰源(干扰的扬声器、会议情景、TV等)的状况下，使用广义旁瓣消除器(GSC)结构(见图3)。设想期望的交谈者在FSB的波束中以及干扰的交谈者在背景中处于不同角度的情况。噪声基准以及主输出将包含干扰交谈者的不期望信号。当不存在期望的语音时，仅允许适配GSC的第二级。有效的假设是，在这些时段中将存在干扰语音，因此，第二级自适应滤波器识别主信号中的这个干扰语音分量，并且减去它，这导致输出信号r。当被用于回波消除时，第二级仅在远端活动期间进行适配，并且因此消去设备的扬声器前的远端信号。换句话说，该方法试图在干扰源(扬声器)的方向上放置射束形成器方向性中的零点(null)。 

在后面较详细地描述的后处理器中，可以使用噪声基准信号y通过谱相减来减少主信号中的噪声。 

后处理器可以基于谱相减技术，并且可以将FSB 321的主输出信号z以及第二级的滤波器信号y取作输入。输入样本以帧为基础通过所谓的汉宁(Hanning)窗进行处理，并且接下来通过FFT变换到频域。两 个获得的复数值谱(complex valued spectra)被表示为Z(f)和Y(f)，谱幅度被表示为|Z(f)|和|Y(f)|，其中，f表示FFT结果的频率指数(frequency index)。残留信号R(f)的谱是在后处理器中简单地通过减去复数谱Z(f)和Y(f)而计算出来的。后处理器然后应用以下的谱相减规则： 

|O(f)|＝|Z(f)|-γ|Y(f)|    (1) 

其中，γ是所谓的过减参数，其影响谱相减的量。输出的谱幅度|O(f)|简单地与残留信号R(f)的相位组合。最后，使用公知的重叠重构(overlapped reconstruction)算法，从其复数谱构建时域输出信号o。 

图2中用于声学回波消除的传统解决方案的问题在于，它们依赖于这样的事实：回波路径(放大器、扬声器、到话筒的传播)是线性的，正如以上已经描述的，这对于例如移动免提电话并不适用。因此，回波的非线性的一小部分将到达远端交谈者。避免该情况的通常方式是，在后处理器中使用谱相减，将线性抑制设置为相当高的值，实际上相减方式减去了太多线性信号(过减)，这消除了大部分的非线性，但使得双重谈话性能严重恶化。 

为了更好地理解这种情况，人们必须考虑非线性源于何处。当扬声器膜被驱动到高偏移(excursion)时，扬声器的音圈部分地离开磁场，因此，电输入与声输入之间的耦合减少。当驱动到非线性区域时，正弦波例如将得到“圆化”的顶部，其引起声信号中的谐波失真(在频率的倍数中)。当在时间上观看时，这意味着非线性仅出现在输入信号的高幅度处。在正常的语音中，这些高幅度仅很少出现，但如果它们作为回波返回给远端交谈者，则常常足以引起注意并且令人讨厌。这意味着，根据示例性实施例，不必始终应用非线性抑制。因此，根据示例性实施例，并不增加用于线性回波的过减参数，因为这确实将在大部分时间期间引入太多减法。相反，期望仅当非线性回波出现时才减去它。当在频域中观看时，人们看到，非线性仅占据特定频段。由于它们是线性信号的谐波，因此它们主要出现在较高的频率区域。由于这样的事实，即音圈的最高偏移出现在扬声器的机械系统的谐振频率附近，在移动电话中该谐振频率是在1000Hz附近，因此有可能甚至进一步减少预期有非线性的频率区域。这给出了示例性实施例的第二个可能的优点，其中由于根据这个实施例，不可能出现在错误的频率仓中的减法，因此不增加线 性过减。根据这个示例性实施例，回波信号的非线性部分被独立地并且仅偶尔地在有限的频率区域处予以控制。 

图4示意性地示出根据本发明示例性实施例的、用于音频处理的设备。设备400包括预处理单元401和后处理单元402。此外，该设备包括：在线路404上接收第一音频信号的扬声器403、以及充当拾取单元的第一话筒405和第二话筒406。预处理单元401包括：第一自适应滤波器407和第二自适应滤波器408；射束形成单元409，其包括第一射束形成子单元410和第二射束形成子单元411；以及附加的自适应滤波器412。 

线路404还将接收的第一音频信号传送到第一自适应滤波器407和第二自适应滤波器408。从由第一话筒405拾取的音频信号——其形成所拾取的第二音频信号的第一部分——中减去第一自适应滤波器407的输出，例如第一中间回波信号。作为结果的信号，例如经预处理的第二音频信号的第一部分或第一残留信号，形成第一射束形成子单元410的第一输入，并且还形成用于第一自适应滤波器407的反馈。从由第二话筒406拾取的信号——其形成所拾取的第二音频信号的第二部分——中减去第二自适应滤波器408的输出，例如第二中间回波信号。作为结果的信号，例如经预处理的第二音频信号的第二部分或第二残留信号，形成第一射束形成子单元410的第二输入，并且还形成用于第一自适应滤波器408的反馈。第一自适应滤波器407和第二自适应滤波器408的输出，即第一中间回波信号和第二中间回波信号，还被连接到第二射束形成子单元411，该第二射束形成子单元411生成与第一回波消除分量或信号y_lin相对应的信号，该信号被第一延迟元件413延迟，然后被馈送到后处理单元402。第一回波消除分量y_lin对应于线性回波分量。第一射束形成子单元410生成主输出信号，其被第二延迟元件414延迟，然后与第一回波消除分量y_lin相加，之后形成给后处理单元402的第二输入z。此外，第一射束形成生成第三中间信号，其被馈送到附加的自适应滤波器412，该附加的自适应滤波器412据此形成第二回波消除分量y_nl，其对应于非线性回波分量，并且被馈送到后处理单元402以作为第三输入。此外，从第一射束形成子单元410的被延迟的主输出信号中减去第二回波消除分量，以形成被用来控制附加的自适应滤波器412的控制信号。 

以下，将更详细地解释设备400以及用于构建回波消除设备的对应算法的操作。首先，自适应滤波器407和408(也称为声学回波消除器)估计在扬声器与各个话筒之间的路径。仍包含一部分回波的经预处理的第二音频信号的第一和第二部分被馈送到第一射束形成子单元410。第一射束形成子单元410被编程为使得其主输出(期望由近端语音组成)的功率被最大化。然后，其系数被复制到第二射束形成子单元411(也称为影子(shadow)射束形成子单元或影子FSB)，其自身并非是自适应的。第一和第二中间回波信号(图4中的虚线)被馈送到第二射束形成子单元411。这是为了确保以与自适应滤波器407和408的残留信号相同的方式处理线性回波。如果两个射束形成子单元410和411的输出信号相加，则这将产生好似话筒信号完全由第一射束形成子单元410处理一样的效果，但没有使得信号分离的优点。因此，作为第一步骤，在射束形成之后，线性回波与期望的语音信号以及非线性回波分离。由于从话筒输入中仅减去回波的线性部分，因此进入第一射束形成子单元410的残留信号仍包含由回波路径所引入的非线性信号。第一射束形成子单元410的主输出以及噪声基准因此也包含非线性。为了进一步从主输出中去除这些，在噪声基准与主输出之间放置附加的自适应滤波器412，其试图识别相关的信号并且去除它。形成广义的旁瓣消除器(GSC)的第二级的该附加自适应滤波器412仅被允许在远端语音期间进行适配，因此对于扬声器适配，如果人们将它看作典型的GSC方法，则视其为“干扰的扬声器”。413和414所表示的延迟单元补偿由附加的自适应滤波器412引入的延迟。 

在图4所示的示例性实施例中所应用的后处理器比上述的后处理器取得更多的输入信号，因此，一个以上的信号被谱减去，并且这些减法中的每一个通过过减参数被个体地控制。馈送到后处理器的信号是： 

-所估计的并且经射束形成的线性回波y_lin， 

-经射束形成的总的话筒信号z，其由第一射束形成子单元的主输出与y_lin相加产生， 

-附加的自适应滤波器的输出信号y_nl，其包含在第一射束形成子单元的主输出信号中出现的、并且表现出与噪声基准的相关的非线性。 

当以帧为基础应用汉宁窗和FFT之后，获得复数谱Z(f)、Y_lin(f)和Y_nl(f)。通过减去这些复数谱而获得残留相位信号R(f)的谱 

R(f)＝Z(f)-Y_lin(f)        (远端活动) 

R(f)＝Z(f)-Y_lin(f)-Y_nl(f) (没有远端活动) 

正如可以看到的，仅在远端活动期间减去非线性回波信号。这有两个原因： 

1.当没有远端活动时，根本没必要减去非线性部分，因为其不包含回波。 

2.在仅有近端语音期间，所期望的语音不受GSC的第二级中的语音泄漏影响。 

应当指出的是，在远端活动期间，R(f)等于第一射束形成器子单元的主输出的谱，而在没有远端活动期间，R(f)等于该主输出信号与信号y_nl之差的谱。 

不是将这些信号直接应用于谱相减，而是根据下式从这些信号的幅度谱来确定增益函数G： 

$\left|G\left(f\right)\right|=\frac{\left|Z\left(f\right)\right|-{\mathrm{\γ}}_{\mathrm{lin}}\left|Y_{\mathrm{lin}}\left(f\right)\right|-{\mathrm{\γ}}_{\mathrm{nl}}\left|Y_{\mathrm{nl}}\left(f\right)\right|}{\left|R\left(f\right)\right|}$

其代表对于残留相位谱R(f)的依赖于频率的增益。γ_xy值表示对于特定信号的过减的量。为了克服在增益函数中存在强波动的情况下出现的乐音(musical tone)的问题，应用递归平滑。此后，R(f)被乘以|G(f)|，这确保R(f)的相位仍保持原样，并且因此后处理器的输出信号将具有与输入信号相同的相位。在应用增益函数之后，进行时域中的变换，其产生所提出的算法的输出信号。 

图5示意性地示出在远端活动期间所述算法在谱域中的性能。线500描绘近端语音信号。仅用于线性部分的过减因子1.2不能应对在3kHz至4kHz之间出现的非线性，这可以由线501清楚地标识。增加线性过减直到值4明显地减少了非线性，正如通过线502可见的，然而，这是以双重谈话期间(始终而不是仅当非线性出现时)使可能的近端语音信号失真为代价的。通过把线性过减保留在1.2并且引入非线性信号的减法(用1.0的因子，因此没有过减)，人们获得近似的相同结果，然而，在非线性的出现期间近端语音仅受非线性抑制影响。 

根据本发明示例性的方面进行总结，可以提供一种方法，其适合于应对扬声器电话中在声学回波消除期间的非线性回波路径。由于在非线性范围中驱动放大器和扬声器，因此非线性路径尤其出现在例如移动电 话的免提操作中。本示例性方面的思想是：组合使用自适应滤波器和后处理器的线性声学回波消除的公知的一个话筒方法连同使用射束形成的多话筒方法，其单独地去除回波的非线性部分。 

应当指出的是，术语“包括”并不排除其它单元或特征，并且“一”或“一个”(“a”或“an”)并不排除多个。此外，与不同实施例或方面相联系地描述的单元可以被组合。还应当指出的是，权利要求中的参考标号不应被解释为限制权利要求的范围。 

Claims (13)

1.一种用于处理音频信号的设备(400)，所述设备包括：

预处理单元(401)；以及

后处理单元(402)，

其中，所述预处理单元(401)适合于：基于接收的第一音频信号，估计指示第一线性回波消除分量的第一回波信号；并且还适合于：基于接收的第一音频信号以及拾取的第二音频信号，估计指示非线性回波消除分量的第二回波信号；

其中

所述后处理单元(402)适合于：考虑所述第一回波信号和所述第二回波信号来处理与所拾取的第二音频信号相关联的主输出信号；

所述预处理单元(401)包括：

两个滤波器单元(407，408)，用于从所接收的第一音频信号估计第一中间回波信号和第二中间回波信号；

射束形成单元(409)，用于估计所述第一回波信号和所述第二回波信号，该射束形成单元(409)适合于：接收所述第一中间回波信号、所述第二中间回波信号以及经预处理的所拾取的第二音频信号，并且该射束形成单元(409)包括第一射束形成子单元(410)和第二射束形成子单元(411)，该第一射束形成子单元(410)适合于生成所述主输出信号和第三中间回波信号，该第二射束形成子单元(411)适于生成所述第一回波信号；以及

附加的滤波器单元(412)，用于对所述第三中间回波信号进行滤波以生成所述第二回波信号。

2.根据权利要求1的设备(400)，

其中，所述后处理单元(402)适合于：通过考虑彼此独立的所述第一回波信号和所述第二回波信号来处理所述主输出信号。

3.根据权利要求1的设备(400)，

其中，所述后处理单元(402)还适合于：仅在所述设备对接收的第一音频信号进行接收的时间段中，取得所述第二回波信号。

4.根据权利要求1的设备(400)，还包括：

至少一个拾取单元，用于拾取所拾取的第二音频信号。

5.根据权利要求1的设备(400)，还包括：

音频源单元(403)，

其中，所述音频源单元适合于：发射对应于所接收的第一音频信号的音频信号。

6.根据权利要求1的设备(400)，

其中，所述第一射束形成子单元(410)还适合于：以这样的方式来确定控制系数的值，即使得所述主输出信号的输出功率最大化。

7.根据权利要求6的设备(400)，

其中，所述第二射束形成子单元(411)适合于：接收所述第一中间回波信号和所述第二中间回波信号，并且通过使用所述控制系数的值来生成所述第一回波信号。

8.根据权利要求1的设备(400)，

其中，所述后处理单元(402)适合于：通过从求和的主输出信号和第一回波信号中谱减去所述第一回波信号、所述第二回波信号，从而基于所述主输出信号、所述第一回波信号和所述第二回波信号生成输出信号。

9.根据权利要求8的设备(400)，

其中，所述后处理单元(402)适合于：从所述主输出信号、所述第一回波信号、所述第二回波信号及其线性组合的幅度谱生成增益函数。

10.根据权利要求9的设备(400)，

其中，所述后处理单元(402)适合于：将所述主输出信号的谱、或所述主输出信号与所述第二回波信号的差的谱乘以所述增益函数。

11.一种处理音频信号的方法，所述方法包括：

接收第一音频信号，

基于所接收的第一音频信号，估计指示第一线性回波消除分量的第一回波信号，

拾取第二音频信号，

基于所述第一音频信号以及所述第二音频信号，估计指示非线性回波消除分量的第二回波信号，以及

考虑所述第一回波信号与所述第二回波信号来处理与所拾取的第二音频信号相关联的主输出信号；

其中，所述估计步骤包括：

两个滤波器单元(407，408)从所接收的第一音频信号估计第一中间回波信号和第二中间回波信号；

射束形成单元(409)估计所述第一回波信号和所述第二回波信号，该射束形成单元(409)接收所述第一中间回波信号、所述第二中间回波信号以及经预处理的所拾取的第二音频信号，并且该射束形成单元(409)包括第一射束形成子单元(410)和第二射束形成子单元(411)，该第一射束形成子单元(410)生成所述主输出信号和第三中间回波信号，该第二射束形成子单元(411)适于生成所述第一回波信号，以及

附加的滤波器单元(412)对所述第三中间回波信号进行滤波以生成所述第二回波信号。

12.根据权利要求11的方法，

其中，第二音频信号的处理牵涉到谱相减。

13.根据权利要求12的方法，

其中，对于所述第一回波信号和所述第二回波信号独立地执行谱相减。

Images