CN103067629A - 回声消除装置 - Google Patents

Abstract

本发明涉及一种回声消除装置，包括：第一处理单元，用于对多路远端声音信号进行去相关性处理，以输出多路第一信号；第二处理单元，第二处理单元包括：一FIR滤波模块，其包括多个滤波器，分别接受第一信号作为输入，用于估算第一信号对应的回声信号，FIR滤波模块将回声信号从本地声音信号中滤除以输出第二信号；一双端话者检测模块，用于判断通话装置是否处于通话状态中并通知FIR滤波模块，以使FIR滤波模块根据第一信号与本地声音信号的差异，调节滤波器的运算系数。其能对多路音频信号实现回声消除，且提高了滤波模块的收敛速度，从而更准确地模拟了本地声场，既提高了消除回声的效果，又调高了回声消除装置的运行稳定性。

Description

回声消除装置

技术领域

本发明涉及语音通信技术，更具体地说，涉及一种回声消除装置。

背景技术

在语音通信环境下，尤其是在麦克风与扬声器共存的会议系统、免提电话等通话装置中，远端的语音信号经过本地端的扬声器播放，和本地端使用者发出的语音一起被本地端麦克风采集，并被传送回远端，从而使远端使用者受到回声干扰。回声消除系统一般通过滤波器来逐次逼近实际的声场，进而估算出远端声音信号在本地端产生的回声，再将估算出的回声从本地端麦克风采集到的信号中滤除，以达到消除回声的目的。

现有技术中，回声消除技术多是对单路音频信号的实现，而对本地端和远端以多路音频信号进行通话时并没有提出成熟的解决方案，且多路音频信号可能来自于同一声源，从而相互之间可能有较强的相关性，导致滤波器收敛速度大大下降，使其难以真正逼近实际声场，无法实现回声消除。

因此，现有技术的这些缺陷是本发明需要解决的技术问题。

发明内容

本发明的目的在于提供一种回声消除装置，其能对多路音频信号实现回声消除，且提高了滤波器的收敛速度，提高了回声消除装置的稳定性。

为实现上述目的，本发明的技术方案如下：

一种回声消除装置，用于在通话装置中将远端声音信号在本地产生的回声从本地声音信号中滤除，包括：第一处理单元，用于对多路远端声音信号进行去相关性处理，以输出多路第一信号；第二处理单元，第二处理单元包括：一FIR滤波模块，其包括多个滤波器，分别接受第一信号作为输入，用于估算第一信号对应的回声信号，FIR滤波模块将回声信号从本地声音信号中滤除以输出第二信号；一双端话者检测模块，用于判断通话装置是否处于通话状态中并通知FIR滤波模块，以使FIR滤波模块根据第一信号与本地声音信号的差异，调节滤波器的运算系数。

优选地，第一处理单元还用于将每路第一信号分别与本地声学环境做匹配。

优选地，滤波器具有多个运算系数，滤波器对第一信号进行多阶采样以得到多个采样值，运算系数与采样值一一对应。

优选地，FIR滤波模块基于如下方式调节各滤波器的运算系数：FIR滤波模块分别对每一滤波器的各运算系数进行调整，以使本地声音信号与输入该滤波器的第一信号的均方差最小。

优选地，双端话者检测模块接收远端声音信号和本地声音信号作为输入信号，比较本地声音信号的频域能量和远端声音信号的频域能量，以判断通话装置是否正处于通话状态中，通话状态包括：本地通话状态、远端通话状态和双端通话状态。

优选地，其还包括一后滤波单元，其接收FIR滤波模块的输出作为输入信号，后滤波单元计算第一频域信号的功率谱密度、第二频域信号的功率谱密度以及第一频域信号和第二频域信号的互功率谱密度，以构建一维纳滤波器，用于对第二信号进行残留回声滤波，以输出第三信号；其中，第一频域信号为各回声信号的频域信号之和、第二频域信号为第二信号的频域信号。

优选地，其还包括第一增益控制单元，其接收后滤波单元的输出作为输入信号，用于比较第二信号的能量和第三信号的能量，若差异较大，则降低第三信号的增益，否则，增益第三信号的增益。

优选地，其还包括第二增益控制单元，其接收第一增益控制单元的输出作为输入信号，用于调节第三信号的增益，以使第三信号在时域上分布在一个合适的范围内。

本发明提供的回声消除装置，可以对多路音频信号实现回声消除，且提高了滤波模块的收敛速度，从而更准确地模拟了本地声场，既提高了消除回声的效果，又提高了回声消除装置的运行稳定性。

本发明还提供了一种通话装置，用于在远端和本地端之间传送声音信号，至少包括设置于本地端的多个声音采集装置、多个声音播放装置和多个回声消除装置，声音播放装置用于播放远端声音信号，回声消除装置与声音采集装置一一对应，用于分别估算远端声音信号在本地端产生的回音，并从对应的声音采集装置获得的本地声音信号中滤除，以发送给远端。

附图说明

图1示出本发明第一实施例的回声消除装置结构示意图；

图2示出本发明第二实施例的回声消除装置结构示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步的详细说明。

需要说明的是，在通话装置中，本地声音采集装置(例如麦克风)采集的本地声音信号既包括本地使用者发出的语音信号，也包括远端声音信号由本地声音播放装置(例如扬声器)播放后产生的回声；本发明的回声消除装置即用于将回声信号从本地声音信号中滤除，再传送给远端使用者。

如图1所示，本发明第一实施例的回声消除装置包括：第一处理单元11、第二处理单元12，其中，第二处理单元12包括FIR滤波模块121和双端话者检测模块122。该回声消除装置安装在一通话装置中，该通话装置至少包括设在本地端的扬声器21和麦克风22。

远端声音信号共分为3路，分别为X₁(n)、X₂(n)、X₃(n)，它们可能来自于远端同一或多个声源。第一处理单元11对该3路远端声音信号X₁(n)、X₂(n)、X₃(n)进行去相关处理，得到相互之间无相关性的3路第一信号Y₁(n)、Y₂(n)、Y₃(n)并分别向第二处理单元12中的FIR滤波模块121输出。

FIR滤波模块121可以包括3个滤波器(图中未标示)，分别对第一信号Y₁(n)、Y₂(n)、Y₃(n)进行处理，分别估算出对应的回声信号Z₁(n)、Z₂(n)、Z₃(n)，看作为远端声音信号X₁(n)、X₂(n)、X₃(n)在本地端产生的回声，再将回声信号Z₁(n)、Z₂(n)、Z₃(n)从本地声音信号D(n)中滤除，输出消除回声后的信号E(n)。

FIR滤波模块121还根据第一信号Y₁(n)、Y₂(n)、Y₃(n)与本地声音信号D(n)的差异，调节各滤波器的运算系数，使FIR滤波模块121中各滤波器达成自适应滤波的效果。

双端话者检测模块122接收远端声音信号X₁(n)、X₂(n)、X₃(n)和本地声音信号D(n)为输入信号，判断通话装置是否正处于通话状态中，若是，则通知FIR滤波模块121根据第一信号Y₁(n)、Y₂(n)、Y₃(n)与本地声音信号D(n)的差异，对其中各滤波器的运算系数进行调整，实现滤波器的自适应功能。随着通话的进行，上述针对各滤波器的运算系数的调整过程是持续进行的。因此，达成FIR滤波模块121的自适应滤波的效果。

根据本实施例，FIR滤波模块121设置多个滤波器来模拟本地声场，并行对多路远端声音信号X₁(n)、X₂(n)、X₃(n)进行处理从而估算对应的回声信号Z₁(n)、Z₂(n)、Z₃(n)，相对于以单个滤波器模拟本地声场，模拟出的回声更接近于远端声音信号在本地播放后产生的实际回声效果，因而使消除回声的效果更佳明显。

若3路远端声音信号X₁(n)、X₂(n)、X₃(n)或其中两路来自于远端同一声源，则它们之间会具有较强的相关性，一方面，在对它们进行去相关处理后，得到相互之间无相关性的3路第一信号Y₁(n)、Y₂(n)、Y₃(n)提供给FIR滤波模块121，可以使FIR滤波模块121以3个滤波器模拟出的回声更接近于实际回声效果。

另一方面，若FIR滤波模块121的3个输入信号之间具有强相关性，会导致FIR滤波模块121在调节3个滤波器的运算系数时产生收敛的不确定性，即伪收敛，同时收敛的速度大大降低，进一步导致FIR滤波模块121处于不稳定工作状态，从而使FIR滤波模块121模拟的回声极不准确。对多路输入信号进行去相关处理后，可以减小伪收敛的可能性，有效提高收敛速度，从而优化消除回声的效果。

进一步地，第一处理单元11还将每路第一信号与本地声学环境做匹配后再输出，本地声学环境可以包括例如会场、室外、飞机舱室等多种分类，每种声学环境的声场均不相同，用户可根据自己的定义对本地声学环境做任意分类。因第一信号尚未经本地扬声器播放，将第一信号与本地声学环境做匹配后，再传送给FIR滤波模块121以分别估算对应的回声信号，也有利于使模拟出的回声更接近于实际回声效果。

具体地，FIR滤波模块121中各滤波器估算回声信号的计算公式为：

其中，s为滤波器的唯一编号、例如分别为1、2、3共3个滤波器，m为对第一信号的采样阶数、例如为3，Z(s)为编号为s的滤波器估算的回声信号，y_n-k(s)为对输入滤波器(编号为s)的第一信号y(s)的m-k阶采样值，a_k(s)为编号为s的滤波器针对采样值y_m-k(s)的运算系数。例如，1号滤波器估算出的回声信号Z(1)＝a₀(1)y₃(1)+a₁(1)y₂(1)+a₂(1)y₁(1)，其中，y(1)为输入该滤波器的第一信号，y₃(1)、y₂(1)、y₁(1)分别为对该第一信号y(1)的三阶、二阶和一阶采样值，a₀(1)、a₁(1)、a₂(1)分别为对该三阶、二阶和一阶采样值的运算系数。在收到双端话者检测模块122的通知或指令后，FIR滤波模块121分别对每一滤波器的各运算系数a_k进行自适应调整，即对1号滤波器的3个运算系数a₀(1)、a₁(1)、a₂(1)进行自适应调整，同时对2号、3号滤波器进行同样的操作。

在本实施例中，根据上述公式，FIR滤波模块121模拟出的回声可看作为3个滤波器输出的回声信号Z₁(n)、Z₂(n)、Z₃(n)之和；FIR滤波模块121再将回声信号Z₁(n)、Z₂(n)、Z₃(n)从本地声音信号D(n)中滤除，输出第二信号E(n)，E(n)可看作为D(n)-Z₁(n)-Z₂(n)-Z₃(n)。

具体地，双端话者检测模块122接收远端声音信号X₁(n)、X₂(n)、X₃(n)和本地声音信号D(n)作为输入信号，比较本地声音信号D(n)的频域能量和远端声音信号的频域能量，以判断通话装置是否正处于通话状态中，其中，通话状态包括：本地通话状态、远端通话状态和双端通话状态，这3种状态中的任一状态都将启用FIR滤波模块121对滤波器运算系数的调节动作。

进一步地，FIR滤波模块121基于如下方式实现自适应滤波的效果：

FIR滤波模块121分别对每一滤波器(编号为s)的3个运算系数a₀(s)、a₁(s)、a₂(s)进行调整，以使本地声音信号D(n)与对应的第一信号Y₁(s)、Y₂(s)、Y₃(s)的均方差最小。

上述FIR滤波模块121对各滤波器运算系数的调整将占用第二处理单元12很大的运算量。根据本发明上述实施例，采用频域多延时滤波器算法(简称MDF算法)来进行滤除回声运算，该算法一方面将回声信号Z₁(n)、Z₂(n)、Z₃(n)从本地声音信号D(n)中滤除，另一方面对各滤波器的运算系数a_k进行调整。MDF算法是时域滤波器和频域滤波器的权衡算法，其原理是将完整的滤波器在时域内拆分成若干独立的子滤波器，通过使输入与输出差异(均方差)最小来对各个子滤波器的运算系数进行相应的更新。

由于各个子滤波器分别按块处理，所以可以在频域内完成，以达到降低运算量的目的。例如，长度为2048的滤波器，可以拆分成8个256长度的子滤波器，其滤波器的块长减小到256，所以计算延时大为降低，但由于分块变小，运算量仅略有增加。因此，总的来说，采用MDF算法会使对各滤波器的运算系数的调整更加及时，从而使FIR滤波模块121模拟出的回声更接近于远端声音信号X₁(n)、X₂(n)、X₃(n)在本地产生的实际回声。

如图2所示，本发明第二实施例提供的回声消除装置包括第一处理单元11、第二处理单元12、后滤波单元13、第一增益控制单元14和第二增益控制单元15，其中，第二处理单元12包括FIR滤波模块121、和双端话者检测模块122。FIR滤波模块包括3个滤波器，均可自适应地调整其运算系数。该回声消除装置安装在一通话装置中，该通话装置至少包括设在本地端的扬声器21和麦克风22。其中，第一、第二处理单元11、12与第二实施例中的结构与功能相同。

由于FIR滤波模块121采用的线性滤波器对声场匹配的局限性，如滤波器长度不足、实际声场非线性、声场变化、近端语音干扰等，总有部分声场未能正确匹配，导致输出信号E(n)中包括残留回声。通过增设一后滤波单元13进行滤波，可以进一步抑制残留回声。后滤波单元13采用非线性处理方法，具体是采用基于维纳滤波器的非线性处理方法，其原理是： $\hat{E}\left(\mathrm{\ω}\right)=E\left(\mathrm{\ω}\right)\·R\left(\mathrm{\ω}\right)$

其中，

(ω)是后滤波单元13的输出结果，E(w)是第二处理单元12的输出信号，R(ω)是后滤波单元13采用的维纳滤波器的计算公式。

具体地，后滤波单元13计算第一频域信号的功率谱密度、第二频域信号的功率谱密度以及第一频域信号和第二频域信号的互功率谱密度，以计算出采用的维纳滤波器，用于对第二信号E(n)进行残留回声滤波，以输出第三信号

(n)；其中，第一频域信号为回声信号Z₁(n)、Z₂(n)、Z₃(n)的频域信号之和、第二频域信号为第二信号E(n)的频域信号。

进一步地，后滤波单元13构建的维纳滤波器采用下述计算公式：

$R\left(\mathrm{\ω}\right)=1-\mathrm{\α}\·\frac{S_{\mathrm{ze}}\left(\mathrm{\ω}\right)}{S_{\mathrm{zz}}\left(\mathrm{\ω}\right)\·S_{\mathrm{ee}}\left(\mathrm{\ω}\right)}$

其中，S_zz(ω)是第一频域信号的功率谱密度，S_ee(ω)是第一频域信号的功率谱密度，S_ze(ω)则是第一频域信号和第一频域信号的互功率谱密度，α是计算因子，可以通过改变α的大小来调整后滤波器的控制强度。

根据上述实施例，在第二处理单元12和后滤波单元13的处理后，仍然有少量残留回声，因此，再增设一第一增益控制单元14，其采用自适应增益控制方式，根据状态判断和处理前后信号的比较结果，对后滤波单元13输出信号的增益进行控制，从而达到进一步抑制回声的目的，其输出信号为F(n)。其原理是比较后滤波单元13处理后的输出信号

(n)和第二处理单元12的输入信号(也即第一信号)Y₁(n)、Y₂(n)、Y₃(n)的能量，若变化较大，则认为后滤波单元13输出信号

(n)中大部分成分为回声信号，则降低增益，以进一步抑制其输出信号F(n)的幅值，否则反之。

根据上述实施例，回声消除装置在第一增益控制单元14还增设第二增益控制单元15，其也采用自适应增益控制方式，包括两个目的：第一、防止处理后的语音信号幅度过大或过小，不适宜对远端使用者直接播放；第二、为远端的回声消除装置提供幅度较为稳定的输入信号。具体地，第二增益控制单元15根据通话装置使用者适合直接听取的声音信号的幅度的长期分布进行判断，若第一增益控制单元14输出信号F(n)幅度较小，则增加输出信号G(n)的增益，否则反之。第二增益控制单元15使得回声消除装置的最终输出声音信号的时域数值分布在一个合理的区间范围。本回声消除装置中，第二增益控制单元15对声音信号功率的检测范围超过90-120DB的动态范围。

可以理解，本实施例中，后滤波单元13、第一增益控制单元14和第二增益控制单元15仅为使消除回声的效果更佳理想，而并非实现本发明的思想所必须的单元。滤波器的个数也不仅限于3个。只要是对多路音频信号实现回声消除，且对多路音频信号进行去相关处理，从而提高了自适应滤波模块的收敛速度及系统运行的稳定性，均落入本发明的保护范围。

本发明第三实施例提供一种通话装置，用于在远端和本地端之间传送声音信号，该通话装置至少包括设置于本地端的多个声音采集装置、多个声音播放装置和多个回声消除装置，声音播放装置用于播放远端声音信号，回声消除装置与声音采集装置一一对应，用于分别估算远端声音信号在本地端产生的回音，并从对应的声音采集装置获得的本地声音信号中滤除，以发送给远端。

例如，该通话装置包括3个扬声器、3个麦克风和3个回声消除装置，均设置于本地端。每个麦克风除采集到本地使用者的语音信号外，还能采集到3个扬声器发出的远端语音信号在本地产生的回声信号，3个回声消除装置分别对每个麦克风采集到的本地声音信号进行消除回声的处理，并在处理后将声音信号传送到远端。

以上所述的仅为本发明的优选实施例，所述实施例并非用以限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (11)

1.一种回声消除装置，用于在通话装置中将远端声音信号在本地产生的回声从本地声音信号中滤除，包括：

第一处理单元，用于对多路远端声音信号进行去相关性处理，以输出多路第一信号；

第二处理单元，所述第二处理单元包括：

一FIR滤波模块，其包括多个滤波器，分别接受所述第一信号作为输入，用于估算所述第一信号对应的回声信号，所述FIR滤波模块将所述回声信号从本地声音信号中滤除以输出第二信号；

一双端话者检测模块，用于判断所述通话装置是否处于通话状态中并通知所述FIR滤波模块，以使所述FIR滤波模块根据所述第一信号与所述本地声音信号的差异，调节所述滤波器的运算系数。

2.如权利要求1所述的回声消除装置，其特征在于，所述第一处理单元还用于将每路所述第一信号分别与本地声学环境做匹配。

3.如权利要求1所述的回声消除装置，其特征在于，所述滤波器具有多个运算系数，所述滤波器对所述第一信号进行多阶采样以得到多个采样值，所述运算系数与所述采样值一一对应。

4.如权利要求3所述的回声消除装置，其特征在于，所述滤波器估算所述回声信号的计算公式为：其中，s为所述滤波器的唯一编号，m为对所述第一信号的采样阶数，Z(s)为所述编号为n的滤波器估算的回声信号，y_m-k(s)为对输入所述编号为s的滤波器的第一信号的m-k阶采样值，a_k(s)为所述编号为s的滤波器针对y_m-k(s)的运算系数。

5.如权利要求3所述的回声消除装置，其特征在于，所述FIR滤波模块基于如下方式调节各所述滤波器的运算系数：

所述FIR滤波模块分别对每一所述滤波器的各运算系数进行调整，以使所述本地声音信号与输入该滤波器的所述第一信号的均方差最小。

6.如权利要求1所述的回声消除装置，其特征在于，所述双端话者检测模块接收所述远端声音信号和本地声音信号作为输入信号，比较所述本地声音信号的频域能量和所述远端声音信号的频域能量，以判断所述通话装置是否正处于通话状态中，所述通话状态包括：本地通话状态、远端通话状态和双端通话状态。

7.如权利要求1所述的回声消除装置，其特征在于，其还包括一后滤波单元，其接收所述FIR滤波模块的输出作为输入信号，所述后滤波单元计算第一频域信号的功率谱密度、第二频域信号的功率谱密度以及所述第一频域信号和第二频域信号的互功率谱密度，以构建一维纳滤波器，用于对所述第二信号进行残留回声滤波，以输出第三信号；其中，所述第一频域信号为各所述回声信号的频域信号之和、所述第二频域信号为所述第二信号的频域信号。

8.如权利要求7所述的回声消除装置，其特征在于，所述维纳滤波器根据公式

对所述第二信号进行残留回声滤波，其中，S_zz(ω)为所述第一频域信号的功率谱密度，S_ee(ω)为所述第二频域信号的功率谱密度，S_ze(ω)为所述第一频域信号和第二频域信号的互功率谱密度，α为计算因子。

9.如权利要求7所述的回声消除装置，其特征在于，其还包括第一增益控制单元，其接收所述后滤波单元的输出作为输入信号，用于比较所述第二信号的能量和所述第三信号的能量，若差异较大，则降低所述第三信号的增益，否则，增益所述第三信号的增益。

10.如权利要求9所述的回声消除装置，其特征在于，其还包括第二增益控制单元，其接收所述第一增益控制单元的输出作为输入信号，用于调节所述第三信号的增益，以使所述第三信号在时域上分布在一个合适的范围内。

11.一种通话装置，用于在远端和本地端之间传送声音信号，至少包括设置于本地端的多个声音采集装置、多个声音播放装置和多个如权利要求1至10中任一项所述的回声消除装置，所述声音播放装置用于播放远端声音信号，所述回声消除装置与所述声音采集装置一一对应，用于分别估算所述远端声音信号在本地端产生的回音，并从对应的所述声音采集装置获得的本地声音信号中滤除，以发送给远端。

Images