CN108630217A - 具有减少的残余回声的回声消除系统和方法 - Google Patents

Abstract

回声消除器包括快速傅里叶变换(FFT)单元以提供输入的频域表示(FD)。多频带自适应滤波器接收输入的FD并提供FD滤波器输出，自适应滤波器是有限输入响应(FIR)数字滤波器。另一FFT单元提供麦克风信号的FD，且加合器将FD滤波器输出加合至麦克风信号的FD以提供回声消除器FD输出。反馈子系统使用回声消除器FD输出以调整多频带自适应滤波器的至少第一、第二和第三频带的滤波器系数以最小化回声消除器FD输出中的未消除的输出。反馈子系统根据回声消除器FD输出的第一、第二和第三频带中的未消除的输出调整自适应滤波器的第二频带的滤波器系数。

Description

具有减少的残余回声的回声消除系统和方法

技术领域

本发明涉及音频技术领域，并涉及具有减少的残余回声的回声消除系统和方法。

背景技术

回声识别和消除系统适于许多通信应用中减少声学回声。几乎任何具有同时活跃的麦克风和喇叭的系统可以受益于回声消除，包括内部通信系统、公共广播系统、音乐录音和放大系统、和喇叭扩音器(包括手机中的扬声器模式)。通过消除音频回声且在一些情况下消除电子回声降低噪声改善由这些麦克风检测的音频的质量，防止干扰反馈震荡，并改善收听检测的音频的那些的可理解性。

由于麦克风不仅从麦克风附近的人说话(或其他声源)，还从任何换能器(例如可以位于麦克风附近的扬声器)拾取音频信号，麦克风信号中的许多噪声增强；所产生的麦克风信号是在麦克风处拾取的扬声器信号和源于声源的信号的叠加。在具有第一和第二互连组的扬声器和麦克风的系统(例如，全双工内部通信系统或在电话的每一端处的喇叭扩音器)中，不仅叠加的信号难以理解，且由第二组的麦克风拾取的叠加的信号可能导致具有响亮的尖叫声形式的震荡。

通常通过抽头喇叭驱动信号，并根据被计算为从扬声器至麦克风的路径的最佳匹配的传递函数延迟并滤波该信号以形成延迟的喇叭信号，然后从麦克风信号中减去此电延迟的喇叭信号以消除表示来自扬声器的音频的麦克风信号的那部分，完成音频回声消除。

传递函数不总是对于真实世界安装中真实回声的完全匹配。无论何时传递函数不完全匹配，一些残留的、未消除的回声保留在麦克风信号中。例如，可以在消声室内分析原型喇叭扩音器或手机以确定从其扬声器至其麦克风的传递函数，然后生产手机可以被配置为从其麦克风信号减去电延迟的喇叭信号以改善麦克风信号。虽然这样的设备将消除一些回声(如由设备本身内的声音路径引起的回声)，但由扬声器声音被房间墙壁反射并进入麦克风引起的回声将不被消除，原因是当确定传递函数时其不存在，因此没有被传递函数表示；由声音的反射引起的这些回声将作为残余回声保留在麦克风信号中。

发明内容

在实施例中，回声消除器包括快速傅里叶变换(FFT)单元以提供输入的频域表示(FD)。多频带自适应滤波器接收输入的FD并提供FD滤波器输出，自适应滤波器是有限输入响应(FIR)数字滤波器。消除器包括提供麦克风信号的FD的FFT单元和将FD滤波器输出加合至麦克风信号的FD以提供回声消除器FD输出的加合器。反馈子系统使用回声消除器FD输出以调整多频带自适应滤波器的至少一个、第二和第三频带的滤波器系数以最小化回声消除器FD输出中的未消除的输出。反馈子系统用于根据回声消除器FD输出的第一、第二和第三频带中的未消除的输出调整自适应滤波器的第二频带的滤波器系数。

在另一实施例中，消除回声的方法包括接收输入进入快速傅里叶变换(FFT)单元以提供输入的频域表示(FD)，以及使用适于提供FD滤波器输出的多频带有限脉冲响应自适应数字滤波器滤波输入的FD。自适应滤波器具有接收输入信号的FD和提供延迟的多个抽头的数字延迟线，用于缩放延迟的多个抽头的幅度的乘法器，和用于加合乘法器的输出的加合器。方法包括接收麦克风信号进入适于提供麦克风信号的FD的FFT单元；加合FD滤波器输出和麦克风信号的FD以提供回声消除器FD输出，以及调整多频带自适应滤波器的至少第一、第二和第三频带的滤波器系数以最小化回声消除器FD输出中的未消除的输出。除了根据回声消除器FD输出的第二频带中的未消除的输出还根据回声消除器FD输出的第一和第三频带中的未消除的输出执行自适应滤波器的第二频带的滤波器系数的调整。

附图说明

图1是示出回声消除子系统的框图。

图2是回声消除子系统的频域实施例的详细的框图。

图3描述由图2的系数适配器336使用以调整自适应滤波器323的频率延迟幅度系数的稀疏矩阵的系数W(I,K)的归一化最小均方(NMLS)方法。

图4是如在图2的实施例中使用的有限脉冲响应带通滤波器的带内和带外衰减的图示。

图5是实施在此描述的回声消除器的内部通信系统的框图。

具体实施方式

音频回声消除子系统100示于图1中。该子系统具有耦接至扬声器驱动器104的数字音频输入102，产生声音；在一些实施例中，音频输入102通过允许补偿子系统100的其他部分中固有延迟的延迟105驱动扬声器104。来自扬声器104的声音106与来自人类说话者110或其他声源的声音108一起到达麦克风112，其中，声音被转换为电子音频信号并被数字化为数字音频。来自麦克风112的音频113通过自适应滤波器114和合成单元116馈入以生成校正信号118，校正信号118被加合120至来自麦克风112的音频以提供回声消除的输出122。

到达麦克风112的声音扬声器104通常是如示于声音106的直接路径声音和如示于声音106A的一个或多个间接路径的组合，间接路径可以包括从墙壁或其他障碍物130反射的声音。

成功的回声消除要求校正信号118与由来自扬声器104的声音106导致的来自麦克风112的音频113的那部分幅度相等且相位相反——其要求自适应滤波器114具有给予其基本上模拟扬声器声音106的路径的传递函数的滤波器系数。

在实施例中，自适应滤波器114的滤波器系数由三个分析块得出，FFT A 124通过将音频输入102分成频率子带和子带特定的振幅和相位以确定可能发出回声的信号何时存在于输入102中来分析音频输入102，因此确定何时可以调整自适应滤波器系数以降低回声。FFT B 126通过将麦克风音频113分成频率子带和子带特定的振幅和相位来分析麦克风音频113，且自适应分析C 128通过再次将回声消除的输出122分成频率子带和子带特定的振幅和相位来分析回声消除的输出122中的残余音频。

在用于语音但不用于音乐的特定内部通信系统实施例中，数字音频输入102是以通常用于电话网络中的每秒8000样本而被采样，并从远程内部通信系统或喇叭扩音器单元(未示出)接收进入延迟105，然后经过数模转换器(DAC)进入扬声器驱动器104的脉冲编码调制(PCM)数字音频。数字音频102还进入自适应滤波器114(图1)、323(图2)。在可选实施例中，为提供更好质量音频，数字音频信号以每秒16000样本而被采样。在配置用于录制音乐时使用的可选实施例中，数字音频输入以音频CD的每秒44100样本的速率而被采样。

在典型实施例中，使用包括存储在数字信号处理器的存储器中的机器可读指令的固件实施延迟105块、自适应滤波器114块、FFT A 124块、FFT B 126块、自适应分析128块、合成116块和加合器120块；当执行固件指令时，数字信号处理器使用其数据存储器提供这些块的功能等价以提供这些块之间的互连和这些块所需的存储。

在频域实施例300(图2)中，PCM数字音频输入301的N个PCM样本的组由时间切片器(time-slicer)302收集，且对每个时间片段执行快速傅里叶变换(FFT)304。为最佳补偿回声消除器的处理延迟，执行可选的数字延迟308，所产生的PCM音频由DAC 310转换为模拟并提供至喇叭驱动器和扬声器。

如对数字音频输入301的时间片段执行的每个FFT 304为时间片段内的音频提供具有用于多个频率的每个的振幅和相位的频域表示。在各种实施例中，时间片段从0.01至0.04秒变化。

来自FFT 304的每个频带中每个频率处的振幅和相位通常由复数表示，量化的振幅和频率在此可以参考为复数。这些复数由包括多抽头数字延迟线314和乘法器316的自适应有限脉冲响应(FIR)数字滤波器323进一步处理，乘法器316将频带的每个频率处的每个振幅乘以来自具有可变系数W(I,K)的延迟强度频率矩阵的延迟强度频率带系数，其中I是特定频带，且K表示多抽头延迟线314的延迟抽头。在特定实施例中，延迟强度频率矩阵W(I,K)是稀疏矩阵。在各种实施例中，多抽头延迟线314提供从0.02至0.3秒的最大延迟，K因此从用于零延迟的0至P变化，其中P表示最大延迟。从多抽头延迟线314抽头的每个振幅和相位与用于每个频带的每个系数W(I,K)的乘积由加法器320加合以提供在此时间片段中消除音频所需的包括频率和相位的频域音频。系数W(I,K)表示频率延迟幅度矩阵，频率延迟幅度矩阵用于为系统类型的每个实施例给出最初设置，并自适应地配置用于为每个独立安装调整以最小化残余回声。例如，在内部通信系统和忽略如FFT 332的电路的延迟的实施例中，某些系数M将倾向于具有与声音在内部通信系统中从DAC和喇叭310传播至麦克风328所需的时间对应的延迟K附近或在K处的大绝对值。

对于每个频带，重复延迟线314、系数W(I,K)和加法器320。组合器321将来自每个频带的加法器320的频域音频重组合为复合自适应滤波器323输出325。

同时，麦克风音频328被时间切片成与时间切片器302使用的那些相似的时间片段，且对每个时间片段执行FFT 332。在组合器322中，傅里叶变换的麦克风音频333被加和成自适应滤波器323输出325，并执行逆FFT 324以提供适于传递至其他内部通信系统单元、手机、公共广播扩音器或系统的其他单元的消除的输出330。

为调整稀疏延迟强度频率矩阵的系数，对于每个频带A，来自频带A以及第一A+/-1、第二A+/-2和第三A+/-3相邻频带的傅里叶变换的麦克风音频330被收集作为至系数适配器336的反馈335，系数适配器336调整稀疏延迟强度频率矩阵M(A,K)中的系数以长期最小化消除的输出335。

在图2的实施例中，音频由多频带自适应滤波器323有效地处理，单独地在每个频带中处理实时音频并具有用于每个频带A的延迟强度系数W(A,K)的稀疏矩阵。自适应滤波器的输出与麦克风数据加合以提供消除的音频输出，且观察消除的音频输出以适配稀疏矩阵延迟强度频带系数。

在图2的实施例中，由声音106、106A引起的麦克风信号113(图1)中的信号分量对于内部声音传播随每个系统改变，并对于外部声音传播随每个安装改变。此外，在内部通信系统的情况下，这些分量还可以随日常条件(例如位于内部通信系统附近的停着的车和门的开关)，以及例如人和动物等声音吸收物体的存在或不存在而改变。由这些分量引起的回声被消除的程度极大地取决于自适应滤波器的系数W(I,K)，特别是稀疏延迟强度频率矩阵的延迟强度系数。自适应分析C 128(图1)或系数适配器336(图2)操作以基于回声消除的输出122中存在的并与输入音频102、301中的声音相关联的未消除的或残余的音频来调整延迟强度频率频带系数。通常，只有当如由阈值单元338确定的在那个频带内存在显著幅度的音频输入102时调整这些系数，并进行调整以在输出122、330处减少那个相同频带内的频率分量。

我们注意到，使用单频带反馈的这样的系统通常在输出122、330中具有显著残余的或未消除的回声，因此期望改善回声消除。我们已经发现，在确定用于当前频带A的系数W(A,K)中通过使用不仅来自当前频带A，还包括相邻的频带A-3、A-2、A-1、A+1、A+2和I+3的反馈实现改进的消除。

我们已经观察到，典型的FFT(例如图2的脉冲响应滤波器323)具有频率响应400(图4)，频率响应400具有“主瓣”402和第一上旁瓣404、第一下旁瓣406、第二上旁瓣408和第二下旁瓣410中的显著能量。额外的旁瓣412存在，然而其通常是比第一上旁瓣404和第二上旁瓣408和第一下旁瓣406和第二下旁瓣410显著地更加衰减的。相似地，FFT操作304、332也具有显著的旁瓣。我们已经发现这些旁瓣对残余回声有贡献。

我们已经发现，通过当调整频带A的稀疏延迟强度频率矩阵系数时，不仅考虑频带A内的输出的幅度，还考虑与频带A相邻的至少相邻频带A-1和A+1中的输出的幅度，我们可以获得改进的回声消除。在一些实施例中，我们不仅考虑第一相邻频带，还考虑第二相邻频带，或者甚至第一、第二和第三相邻频带。在特定实施例中，当对信道带A调整系数时，我们考虑第一和第二相邻频带A-2、A-1、A、A+1、A+2。为此，在图2的实施例中，用于对延迟线314和加法器320的特定频率子带A调整稀疏延迟强度频率系数的反馈子带的输出335至少包括那个子带A、下一相邻的上子带A+1和下一下子带A-1的幅度信息。由于存在有限数量的频率子带，因此最低的频率子带B接收来自子带B和下一较高子带B+1的反馈，而最高的频率子带C接收来自子带C和下一较低子带C-1的非零反馈。在根据图2的特定实施例中，使用每秒16000样本的采样速率和0.02秒FFT帧宽度，使用320个频率子带频带。在可选实施例中，使用150个或更多个频率子带。

回声消除器的自适应滤波器被描述为具有系数的稀疏延迟强度频率矩阵。我们已经发现，当使用如在此描述的自适应滤波器为回声消除确定准确的系数时，一些系数具有显著的、非零值，且一些系数小。我们使用0替换小于阈值的系数以最小化实施自适应滤波器所需的乘法运算的数量。在特定实施例中，动态地确定阈值以保持乘法运算的数量低于由在其上实施系统的数字信号处理器的可用处理能力确定的限制。

由系数适配器336使用如图3中所示的归一化最小均方方法(NLMS)执行自适应滤波器系数W(I,K)的优化。此方法寻找产生误差信号的最小均方的滤波器系数，在这些实施例中，误差信号是在显著的音频输入301存在于当前频带A和附近频带A-m至A+m(对于整数m)中的时间片段内观察的相同频带中的消除的输出330——在音频输入不存在于相同频带中的时间片段期间不更新滤波器系数。在执行时间片段n后，由校正向量ΔW(A,K)(n)调整滤波器系数W(A,K)。

对于频率A-m至A+m，对于每个时间片段，组合的频域复信号335首先通过将其除以来自相同频带的频域输入305的输入频率而归一化，然后，将误差E(n)计算为对频带A的时间上频率A-m至A+m的频域输出信号335的加权总和，此加权总和由预定步长μ缩放。μ是小于1的预定步长并由经验确定，小值的μ导致延长的收敛且大值的μ可能导致不稳定性；结果是依赖误差的校正因子351。向量X被从自适应滤波器数字延迟线314抽头和延迟352以给出向量X(K)354，延迟352补偿电路和其他延迟，例如时间切片器和FFT块332的延迟。校正向量ΔW 358被计算为校正因子351乘以向量X(K)的乘积356，校正向量358然后由加法器360加合至存储在滤波器系数矩阵寄存器362中的滤波器系数W(A,K)，从滤波器系数矩阵寄存器362将滤波器系数W(A,K)提供至自适应滤波器乘法器316。来自加法器360的总和在被存储在滤波器系数矩阵寄存器362之前被矩阵节约(matrix thrifting)单元364节约。

参考图1-4描述的回声消除器可以用于示于图5的内部通信系统中。系统500具有与第二内部通信单元504通信的第一内部通信单元502。每个单元502、504具有如参考图1先前讨论的喇叭延迟105、扬声器和喇叭驱动器104和麦克风112，具有耦接以消除在那个内部通信单元处由麦克风112接收的起源于扬声器和喇叭驱动器104的音频的回声消除器506、508。每个回声消除器506、508具有如先前描述的多频带自适应滤波器114、合成单元116和加合器120，具有当调整多频带自适应滤波器114中频带A的稀疏延迟强度频率矩阵系数W(A,K)时，不仅考虑每个频带A内的输出的幅度还考虑与频带A相邻的至少第一相邻频带A-1和A+1内的输出的幅度的多频带自适应分析单元510和512。

来自内部通信单元502的回声消除的麦克风输出514通过第二内部通信单元504的输入端作为输入耦接至第二内部通信单元504的喇叭延迟105、扬声器和喇叭驱动器104、和多频带自适应滤波器114，且内部通信单元504的回声消除的麦克风输出516通过第一内部通信单元502的输入端作为输入耦接至第一内部通信单元502的喇叭延迟105、扬声器和喇叭驱动器104、以及多频带自适应滤波器115，允许在每个内部通信单元处的各自说话之间的通信。

组合：

在此描述的各种概念和块可以以一些方式组合，其中有：

A指定的回声消除器包括快速傅里叶变换(FFT)单元以提供输入信号的频域表示(FD)；适于接收输入信号的FD并提供FD滤波器输出的多频带自适应滤波器，自适应滤波器包括耦接以接收输入信号FD的数字延迟线、用于缩放来自延迟线的多个延迟抽头的幅度的乘法器、和用于加合乘法器的输出的加合器；适于接收麦克风信号并提供麦克风信号的FD的FFT单元；耦接以接收FD滤波器输出和麦克风信号的FD并提供回声消除器FD输出的加合器；以及适于接收回声消除器FD输出并调整多频带自适应滤波器的至少第一、第二和第三频带的滤波器系数以最小化回声消除器FD输出中的未消除的输出的反馈子系统；其中反馈子系统用于根据回声消除器FD输出的第一、第二和第三频带中的未消除的输出调整自适应滤波器的第二频带的滤波器系数。

AA指定的回声消除器包括A指定的回声消除器，其中，自适应滤波器的滤波器系数被实施为延迟强度频率系数的稀疏矩阵。

AB指定的回声消除器包括A或AA指定的回声消除器，其中，至少有150个子带。

AC指定的回声消除器包括A、AA或AB指定的回声消除器，其中，反馈子系统使用归一化最小均方(NLMS)方法调整多频带自适应滤波器的滤波器系数。

AD指定的回声消除器包括A、AA、AB或AC指定的回声消除器，还包括适于接收回声消除器FD输出并提供回声消除器输出的逆FFT单元。

AE指定的电台包括适于接收声音并将麦克风信号提供给根据A、AA、AB、AC或AD指定的回声消除器的回声消除器的加合器的麦克风，并包括耦接至回声消除器的多频带自适应滤波器的输入信号的数字音频输入端；和从回声消除输出耦接的输出。

B指定的消除回声的方法包括接收输入信号进入快速傅里叶变换(FFT)单元以提供输入信号的频域表示(FD)；使用适于提供FD滤波器输出的多频带自适应滤波器滤波输入信号的FD，自适应滤波器包括耦接以接收输入信号的FD并提供延迟的多个抽头的数字延迟线、用于缩放延迟的多个抽头的幅度的乘法器、和用于加合乘法器的输出的加合器；接收麦克风信号进入适于提供麦克风信号的FD的FFT单元；以及加合FD滤波器输出和麦克风信号的FD以提供回声消除器FD输出；以及调整多频带自适应滤波器的至少第一、第二和第三频带的滤波器系数以最小化回声消除器FD输出中的未消除的输出；其中，除了根据回声消除器FD输出的第二频带中的未消除的输出还根据回声消除器FD输出的第一和第三频带中的未消除的输出执行自适应滤波器的第二频带的滤波器系数的调整。

BA指定的方法包括B指定的方法，其中，自适应滤波器的滤波器系数被实施为延迟强度频率系数的稀疏矩阵。

BB指定的方法包括B或BA指定的方法，其中，至少有150个子带。

BC指定的方法包括B、BA或BB指定的方法，其中，使用归一化最小均方(NLMS)方法调整多频带自适应滤波器的滤波器系数。

在不脱离其范围的情况下，可以对上述方法和系统做出改变。因此，应该注意的是，在上述描述中包含的或在附图中示出的方式，应该被理解为说明性的且不具有限制意义。所附权利要求旨在覆盖在此描述的所有通用和特定特征，以及本方法和本系统的范围的在语言上的所有声明应被认为落入其间。

Claims (12)

1.一种回声消除器，包括：

快速傅里叶变换(FFT)单元，提供输入信号的频域表示(FD)；

多频带自适应滤波器，适于接收所述输入信号的FD并提供FD滤波器输出，所述自适应滤波器包括耦接以接收所述输入信号的FD的数字延迟线、用于缩放来自所述延迟线的多个延迟抽头的幅度的乘法器、以及用于加合来自所述乘法器的输出的加合器；

FFT单元，适于接收麦克风信号并提供所述麦克风信号的FD；

加合器，耦接以接收所述FD滤波器输出和所述麦克风信号的FD并提供回声消除器FD输出；以及

反馈子系统，适于接收所述回声消除器FD输出并调整所述多频带自适应滤波器的至少第一频带、第二频带和第三频带的滤波器系数以最小化所述回声消除器FD输出中的未消除的输出；

其中，所述反馈子系统用于根据所述回声消除器FD输出的第一频带、第二频带和第三频带内的未消除的输出调整所述自适应滤波器的第二频带的滤波器系数。

2.如权利要求1所述的回声消除器，其中，所述自适应滤波器的滤波器系数被实施为延迟强度频率系数的稀疏矩阵。

3.如权利要求1所述的回声消除器，其中，至少有150个子带。

4.如权利要求1所述的回声消除器，其中，所述反馈子系统使用归一化最小均方(NLMS)方法调整所述多频带自适应滤波器的滤波器系数。

5.如权利要求4所述的回声消除器，其中，所述自适应滤波器的滤波器系数被实施为延迟强度频率系数的稀疏矩阵。

6.如权利要求4所述的回声消除器，其中，至少有150个子带。

7.如权利要求4所述的回声消除器，还包括逆FFT单元，所述逆FFT单元适于接收回声消除器FD输出并提供回声消除器输出。

8.一种电台，包括：

麦克风，适于接收声音并将麦克风信号提供至如权利要求1所述的回声消除器的加合器；

输入端，耦接至所述回声消除器的多频带自适应滤波器的输入信号；以及

输出，从回声消除器输出耦接。

9.一种消除回声的方法，包括：

接收输入信号进入快速傅里叶变换(FFT)单元以提供所述输入信号的频域表示(FD)；

使用适于提供FD滤波器输出的多频带自适应滤波器滤波所述输入信号的FD，所述自适应滤波器包括耦接以接收所述输入信号的FD并提供延迟的多个抽头的数字延迟线、用于缩放延迟的多个抽头的幅度的乘法器、以及用于加合所述乘法器的输出的加合器；

接收麦克风信号进入适于提供所述麦克风信号的FD的FFT单元；

加合所述FD滤波器输出和所述麦克风信号的FD以提供回声消除器FD输出；以及

调整所述多频带自适应滤波器的至少第一频带、第二频带和第三频带的滤波器系数以最小化所述回声消除器FD输出中的未消除的输出；

其中，除了根据所述回声消除器FD输出的第二频带中的未消除的输出还根据所述回声消除器FD输出的第一频带和第三频带中的未消除的输出执行所述自适应滤波器的第二频带的滤波器系数的调整。

10.如权利要求9所述的方法，其中，所述自适应滤波器的滤波器系数被实施为延迟强度频率系数的稀疏矩阵。

11.如权利要求9所述的方法，其中，至少有150个子带。

12.如权利要求9所述的方法，其中，使用归一化最小均方(NLMS)方法调整所述多频带自适应滤波器的滤波器系数。