CN101179296A - 回音消除器和话音处理装置 - Google Patents

Abstract

本发明公开了一种用于免提通信系统的回音消除器，在该免提通信系统中，通过使用扬声器和麦克风来执行免提通信。所述回音消除器包括计算自适应滤波器中的步长大小值的步长大小控制单元以及自适应滤波器单元，自适应滤波器单元通过自适应地识别由扬声器和麦克风的声耦合等形成的反馈路径的冲激响应来根据反馈路径的输入信号估计该反馈路径的回音分量，并且从反馈路径的输出信号中减去回音分量，其中，步长大小控制单元通过使用基于反馈路径的输出信号与残差信号之比来限定的回音减少量来计算步长大小值，并将该值输出到自适应滤波器单元。

Description

回音消除器和话音处理装置

技术领域

本发明涉及回音消除器(echo canceller)和使用该回音消除器的话音(speech)处理装置，该回音消除器能够解决当执行诸如免提电话系统和视频会议系统之类的免提通信系统中的通信时发生的诸如回音和啸声(howling)之类的问题。

背景技术

在相关技术中，在诸如视频会议系统之类的免提通信系统中，由远端设备(far-end device)的麦克风收集的语音(voice)被发送到近端设备，从而从近端设备的扬声器输出。近端设备也设有麦克风，并且近端扬声器的语音被发送到远端设备。因此，从远端侧的扬声器和近端侧的扬声器输出的语音分别被输出到麦克风。当没有执行任何处理时，语音再次被发送到相应设备，从而导致“回音”现象，其中，从扬声器中听到像回音一样的有些微延迟的自己的话音。当回音(反馈分量)变得很大时，其再次被输入到麦克风并在系统中回旋(loop)，从而导致“啸声”。

作为用于防止上述的回音和啸声的装置，回音消除器是已知的。一般而言，通过使用自适应滤波器，测得由扬声器和麦克风的声耦合(acoustical coupling)形成的反馈路径(回音路径)的冲激响应，并且该冲激响应被与从扬声器输出的接收信号(参考信号)相卷积以生成回音副本(echo replica)，然后，该回音副本被从麦克风所收集的语音信号中减去，从而去除回音。

在相关技术中，自适应滤波器是公知的，其包括具有可变系数的处理器和随时确定该系数的自适应算法，该自适应滤波器通过利用最小化减法器的输出信号的均方值的算法来自适应地更新可变的滤波器系数，从而估计反馈路径的回音分量(通过反馈路径的接收信号的反馈分量)。然后，通过在减法器中从发送信号中减去由自适应滤波器估计得到的回音分量来仅消除包括在发送信号中的回音分量，这防止了除麦克风所收集的回音之外的分量(由说话者对麦克风发出的语音或周围噪音)受到损坏。

作为自适应算法中的一种，存在归一化LMS算法(下文中称为“NLMS”，LMS：最小均方误差)。在NLMS算法中，滤波器系数被更新，从而使得麦克风输入信号和估计得到的回音信号之间的残差信号(residual signal)变得很小。此时，设定了在每次迭代中用于控制校正量的大小(即，收敛速度)的常数(步长大小(校正宽度))。在NLMS算法中更新的自适应滤波器的最佳步长大小μ(k)如下式所示。

$\mathrm{\μ}\left(k\right)=\frac{E\left[{\left|\mathrm{Er}\left(k\right)\right|}^2\right]}{E\left[{\left|S\left(k\right)\right|}^2\right]+E\left[{\left|\mathrm{Er}\left(k\right)\right|}^2\right]}...\left(1\right)$

这里，S(k)表示将被输入到麦克风的干扰信号，Er(k)表示没有被自适应处理完全去除的残差回音信号。E[]指的是短时间平均(short-timemean)，而“k”表示频率。

但是，很难实际按原样应用最佳步长大小μ(k)。这是因为很难直接观测包括在残差信号中的残差回音信号Er(k)和干扰信号S(k)，所以很难分离和提取各个信号。

提出了一种通过使用输入信号与由指定的计算公式来限定的残差信号之间的相干来估计残差信号中的残差回音信号的量(比率)的方法(例如，参考由Akira Emura，Yoichi Hada所著的“adaptive algorithm fordeleting stereo echo under noise environment”，日本声学学会演讲论文集，日本声学学会，2`02年3月，1-Q-5，P645-646(非专利文献1))。

发明内容

为了使用在非专利文献1中提出的方法来计算可靠的步长大小值，有必要在某一长度的时间内进行相关，但是，在查找最佳步长大小时响应变慢。相反，当在短时间段内进行相关时，响应很快，但是，很难获得可靠的相干值。在步长大小不适当，例如小步长大小的情况下，存在使得收敛速度变慢的问题，原因在于校正变动很大的早期冲激响应的抽头系数需要花费时间。

希望在回音消除器中以高精度和很好的响应来计算最佳步长大小值，所述回音消除器被用在诸如免提电话系统或视频会议系统之类的免提通信系统中。

根据本发明的一个实施例，公开了一种用于免提通信系统的回音消除器，在该免提通信系统中，通过使用扬声器和麦克风来执行免提通信，所述回音消除器包括计算自适应滤波器中的步长大小值的步长大小控制单元以及自适应滤波器单元，自适应滤波器单元通过自适应地识别由扬声器和麦克风的声耦合等形成的反馈路径的冲激响应来根据反馈路径的输入信号估计该反馈路径的回音分量，并且从反馈路径的输出信号中减去回音分量，其中，步长大小控制单元通过使用基于该反馈路径的输出信号与残差信号之比来限定的回音减少量来计算步长大小值，并将该值输出到自适应滤波器单元。

根据以上配置，通过使用基于反馈路径的输出信号与残差信号之比来限定的量来计算自适应滤波器的最佳步长大小μ值，因此，可以利用简单的计算公式以高精度和很好的响应来计算得到最佳步长大小。

根据本发明的一个实施例，提供了一种用于免提通信系统的话音处理装置，在所述免提通信系统中，通过使用扬声器和麦克风来执行免提通信，所述话音处理装置包括扬声器、麦克风和回音消除器，该扬声器输出从远端侧接收到的接收信号；发送语音被输入到该麦克风；该回音消除器包括计算自适应滤波器中的步长大小值的步长大小控制单元以及自适应滤波器单元，该自适应滤波器单元通过自适应地识别由扬声器和麦克风的声耦合等形成的反馈路径的冲激响应来根据反馈路径的输入信号估计该反馈路径的回音分量，并且从反馈路径的输出信号中减去回音分量，其中，步长大小控制单元通过使用基于反馈路径的输出信号与残差信号之比来限定的量来计算步长大小值，并将该值输出到自适应滤波器单元。

根据以上配置，通过使用基于反馈路径的输出信号与残差信号之比来限定的量来计算自适应滤波器的最佳步长大小μ值，因此，可以利用简单的计算公式以高精度和很好的响应来计算得到最佳步长大小。其结果是，可以在自适应滤波器单元中执行适当的回音消除处理。

根据本发明的实施例，在用于免提通信系统的回音消除器中，通过使用基于反馈路径的输出信号与残差信号之比来限定的量来计算步长大小，可以以高精度和很好的响应来算出最佳步长大小。

另外，通过使用具有回音消除器的话音处理装置来执行适当的回音消除处理，从而解决了在诸如免提电话系统和视频会议系统之类的免提通信系统中的诸如回音和啸声之类的问题。

附图说明

图1是示出根据本发明一个实施例的免提通信系统的整体配置的框图；以及

图2是示出在话音处理装置中的信号处理单元的配置的框图。

具体实施方式

以下将参考附图来说明本发明的实施例。

首先，将说明应用了根据本发明实施例的回音消除器和话音处理装置的免提通信系统的一个示例。图1示出了作为双向(全双工)免提通信系统的一个示例的视频会议系统的配置。在图1中，省略了对与说明本发明实施例无关的诸如关于图像处理的部分之类的部分的描述。

在图1所示的视频会议系统中，近端设备3通过通信电路4而与远端设备5相连接，这使得可以进行双向的全双工通信，其中，近端设备3包括用于输出接收语音的扬声器1和向其输入发送语音的麦克风2，类似地远端设备5也包括扬声器6和麦克风7。近端设备3和远端设备5是具有相同功能的话音处理装置，并省略了关于远端设备5的内部模块的描述。

连接到近端设备3的扬声器1输出由连接到远端设备5的麦克风收集并经近端设备3处理的语音。连接到近端设备3的麦克风2收集在近端侧的视频会议参加者的话音，并收集叠加在通过空气从扬声器1输出的话音上的语音。

D/A(数字/模拟)转换器11将在信号处理单元13处经过处理的数字语音数据转换成模拟语音数据。在D/A转换器处经过处理的模拟语音数据经放大器(未示出)适当放大，从而从扬声器1输出。

A/D(模拟/数字)转换器12将麦克风2所收集的语音(模拟语音数据)转换成数字语音数据。这时，已经经放大器(未示出)适当放大的语音(模拟语音数据)被输入到A/D转换器12。

信号处理单元13例如包括数字信号处理器(DSP)，其执行将输入和输出语音数据转换成期望数据的处理。稍后将详细说明该处理。

音频编解码器14将基于麦克风输入的从信号处理单元13发送而来的语音数据编码成视频会议系统中的标准化代码，并对来自远端设备5的从通信单元15发送而来的编码语音数据进行解码，并将数据发送到信号处理单元13。

通信单元15利用数字数据通信、通过通信单元4来发送和接收针对远端设备5的编码语音的输入数据和输出数据。使用诸如Ethernet(商标)之类的通用数字通信电路来作为通信电路4。

图2是示出信号处理单元13的内部配置的框图。在图2中，也省略了对与本发明实施例的说明无关的部分的描述。

信号处理单元13起到回音消除器的作用，其被配置以包括μ控制单元21和自适应滤波器单元22。在本实施例中，应用归一化LMS算法(下文中称为“NLMS”)来作为自适应算法。在NLMS算法中，滤波器系数被更新从而使得麦克风输入信号和估计所得的回音信号之间的残差信号变得很小。

μ控制单元21起到步长大小控制单元的作用，其算出μ值以作为用于控制在自适应滤波器单元22中的每次迭代中的校正量大小(即，收敛速度)的常数(步长大小(校正宽度))，并将结果输出到自适应滤波器单元22。

自适应滤波器单元22包括自适应滤波功能和计算功能，在自适应滤波功能中，根据来自μ控制单元21的最佳步长大小(μ值)来自适应地识别由扬声器和麦克风之间的声耦合形成的反馈路径(回音路径)的冲激响应，并根据该反馈路径的输入信号(接收信号)来估计反馈路径的回音分量；在计算功能中，由自适应滤波器估计得到的回音分量被从反馈路径的输出信号(麦克风输入信号)中减去。利用采样频率48000Hz来逐渐地执行自适应。

自适应滤波器单元22包括具有可变系数的处理器和随时确定该系数的算法，其通过利用该算法(在本实施例中为NLMS算法，其中来自自适应滤波器单元22中的减法器的输出信号的均方值被最小化)来自适应地更新可变滤波器系数，从而估计反馈路径的回音分量(通过反馈路径的接收信号的反馈分量)。然后，通过在减法器中从发送信号中减去由自适应滤波器估计得到的回音分量，去除了包括在发送信号中的回音分量，这防止了除由麦克风收集的回音之外的分量(由说话者对麦克风发出的语音或周围噪音)受到损坏。

从音频编解码器14发送到信号处理单元13的语音信号(接收信号)不仅直接从扬声器1输出，而且还被发送到μ控制单元21和自适应滤波器单元22。从麦克风2通过A/D转换器12而发送到信号处理单元13的语音信号(麦克风输入信号)被发送到μ控制单元21和自适应滤波器单元22。在μ控制单元21中，根据从A/D转换器12发送而来的麦克风输入信号和接收信号或者从自适应滤波器单元22发送而来的经过回音消除处理之后的语音信号来算出最佳步长大小(μ值)，从而将其输出到自适应滤波器单元22。在自适应滤波器单元22中，基于从μ控制单元21提供的μ值来执行自适应处理，并且已经执行过回音消除处理的语音信号被从信号处理单元13发送到音频编解码器14。

在噪音和已发送的语音也被收集的情况下，除回音之外的信号充当干扰信号，因此，在自适应滤波器中的滤波器系数的估计变得不稳定，并且输出有时候不收敛。在这种情况下，在本发明的实施例中采用了使用回音逆程损耗增强(echo return loss enhancement，下文中称为ERLE)的方法，以作为查找最佳步长大小的方法，该方法将在下面描述。ERLE指示在自适应滤波器单元22中将回音去除到何种程度(回音减少量)。

当要被输入到麦克风2的干扰信号为S(k)，由自适应滤波器估计得到的回音信号为Ep(k)，而自适应滤波器没有完全去除的残差回音信号是Er(k)时，输入到麦克风2的语音信号M(k)和从自适应滤波器单元22输出的回音消除输出信号(残差信号)Y(k)分别由以下公式来表示。“k”表示频率。

M(k)＝S(k)+Er(k)+Ep(k)...(2)

Y(k)＝S(k)+Er(k)...(3)

回音减少量ERLE是通过使用麦克风输入信号M(k)和残差信号Y(k)之间的幅度比来限定的量，并且其由以下公式来表示。单位是[dB]。

$\mathrm{ERLE}=20\log \left(\frac{\left|M\left(k\right)\right|}{\left|Y\left(k\right)\right|}\right)...\left(4\right)$

在本实施例中，残差信号Y(k)和麦克风输入信号M(k)的功率平方比通过以下公式(5)而被表示为回音减少量ERLE。

$\mathrm{ERLE}=\frac{E\left[{\left|S\left(k\right)\right|}^2\right]+E\left[{\left|\mathrm{Er}\left(k\right)\right|}^2\right]}{E\left[{\left|S\left(k\right)\right|}^2\right]+E\left[{\left|\mathrm{Er}\left(k\right)\right|}^2\right]+E\left[{\left|\mathrm{Ep}\left(K\right)\right|}^2\right]}...\left(5\right)$

E[]指的是采用了短时间平均。

当省略短时间平均、功率和平方时，用“S”来表示E[|S(k)|²]用“Er”来表示E[|Er(k)|²]，而用“Ep”来表示E[|Ep(k)|²]，则公式(5)可以表示为下式。

ERLE＝S+Er/S+Er+Ep...(6)

基于各个信号的短时间平均的功率来计算得到的回音减少量被称为“短时间ERLE”，而采用通过将“短时间ERLE”乘以时间常数的长时间平均的量被称为“长时间ERLE”。在测量时间长到特定程度，例如10秒的情况下，存在很多没有进行对话的时间，并且在平均的情况下干扰信号S(k)变得近似为零。在这种情况下，在长时间ERLE中的干扰信号S(k)的影响被消除，并且ERLE变得接近以下公式。

$\stackrel{\‾}{\mathrm{ERLE}}=\frac{\mathrm{Er}}{\mathrm{Er}+\mathrm{Ep}}...\left(7\right)$

这里，通过使用公式(6)的短时间ERLE和公式(7)的长时间ERLE，公式(1)的最佳步长大小μ(k)被转换为如以下公式(8a)到(8e)所示。

$\mathrm{\μ}\left(k\right)=\frac{E\left[{\left|\mathrm{Er}\left(k\right)\right|}^2\right]}{E\left[{\left|S\left(k\right)\right|}^2\right]+E\left[{\left|\mathrm{Er}\left(k\right)\right|}^2\right]}...\left(8a\right)$

$=\frac{\mathrm{Er}}{S+\mathrm{Er}}...\left(8b\right)$

$=\frac{\frac{\mathrm{Ep}}{\mathrm{Er}+\mathrm{Ep}}\·\frac{\mathrm{Ep}}{S+\mathrm{Er}+\mathrm{Ep}}}{\frac{S+\mathrm{Er}}{S+\mathrm{Er}+\mathrm{Ep}}\·\frac{\mathrm{Ep}}{\mathrm{Er}+\mathrm{Ep}}}...\left(8c\right)$

$=\frac{\frac{\mathrm{Er}}{\mathrm{Er}+\mathrm{Ep}}\·(1-\frac{S+\mathrm{Er}}{S+\mathrm{Er}+\mathrm{Ep}})}{\frac{S+\mathrm{Er}}{S+\mathrm{Er}+\mathrm{Ep}}\·(1-\frac{\mathrm{Er}}{\mathrm{Er}+\mathrm{Ep}})}...\left(8d\right)$

$=\frac{\stackrel{\‾}{\mathrm{ERLE}}\·(1-\mathrm{ERLE})}{\mathrm{ERLE}\·(1-\stackrel{\‾}{\mathrm{ERLE}})}...\left(8e\right)$

根据以上公式可见可以通过使用短时间ERLE和长时间ERLE来计算NLMS算法中的最佳步长大小μ(k)，而无需直接计算干扰信号S(k)和残差回音信号Er(k)。μ控制单元21将利用以上计算公式来计算得到的最佳步长大小μ(k)发送给自适应滤波器单元22。自适应滤波器单元22基于该最佳步长大小μ(k)来确定滤波器系数，并执行回音消除处理，然后，将接受过回音消除处理的语音信号Y(k)发送到音频编解码器14。然后，该接受过回音消除处理的语音信号被从近端设备3发送到远端设备5，从而从扬声器6输出。

根据以上实施例，可以在μ控制单元21中基于回音减少量ERLE来高精度地、并且利用相对简单的计算来以很好的响应来算出自适应滤波器的最佳步长大小μ值。即，即使在残差信号中包括干扰信号Er(k)，也可以通过使用回音减少量ERLE来表示NLMS算法中的最佳步长大小μ(k)，因此，自适应滤波器在最佳步长大小方面的更新变得可能。其结果是，自适应滤波器单元22可以基于最佳步长大小μ值来确定滤波器系数，并可以执行合适的回音消除处理。因此，解决了免提电话和视频会议中的回音问题，并且远端设备5的用户可以执行适当地消除了回音的免提语音通信。类似地，远端设备5设有与近端设备3的信号处理单元13相同的功能，并且近端设备3的用户可以执行适当地消除了回音的免提语音通信。

同样优选的是应用在自适应滤波器单元22的后一级处提供回音抑制单元的配置，并且对在自适应滤波器单元22中的回音消除处理中没有完全去除的残差回音执行回音抑制处理。

当通过在语音频带的整个频带内进行平均来计算最佳步长大小时，在自适应滤波器单元22处没有选择每一个频率处的最佳滤波器系数，并且没有适当地执行在每一个频带内的回音消除处理。因此，作为本实施例的修改示例，提出：针对根据麦克风输入信号的各个频带的自适应处理，基于回音减少量ERLE、以高精度和很好的响应来算出各个最佳步长大小μ。

例如，频带[Hz]被划分成0＜k≤100，100＜k≤200，200＜k≤300...等。在μ控制单元21中，基于根据这些频带的回音减少量ERLE来算出最佳步长大小μ值，并且自适应滤波器单元22根据各个频带、基于各个最佳步长大小μ值来确定滤波器系数，并根据该频带来算出回音分量，从而执行回音消除处理。然后，结果被发送到音频编解码器14。根据所述处理，利用根据频带来计算得到的最佳步长大小，而非利用在整个频带内的均一步长大小，细致的回音消除处理变得可能。

另外，作为所述实施例的另一个修改示例，在通过划分语音频带来执行回音消除处理的话音处理装置中，针对在声音质量上具有很强的影响的频率分量，执行利用基于回音减少量ERLE来算出的最佳步长大小μ值的自适应处理；而针对在声音质量上具有很小影响的频率分量，执行利用规定步长大小、使用语音开关等的自适应处理。语音开关是用于切换最佳步长大小的计算的操作或不操作的切换装置。根据这样的配置，可以设计出既考虑到声音质量又考虑到计算量的免提通信系统。

此外，作为所述实施例的另一个修改示例，优选的是应用这样的配置，其中，在μ控制单元21中根据针对特定频率分量的频带来计算最佳步长大小，并且针对其它频率分量将特定步长大小输出到自适应滤波器单元22。因此，根据特定频率分量中的频带来设置适当的步长大小μ值，并且在自适应滤波器单元22中，更细致的回音消除处理变得可能。

本发明并不限于以上实施例，并且很显然在不脱离本发明的要旨的范围内可以进行各种修改和变化，例如在集成配置了μ控制单元21和自适应滤波器单元22的处理单元中提供它们的功能。

相关申请的交叉引用

本申请包含与2006年11月10日向日本专利局提交的日本专利申请JP2006-305794相关的主题，该申请的全部内容通过引用而结合于此。

Claims (7)

1.一种用于免提通信系统的回音消除器，在所述免提通信系统中，通过使用扬声器和麦克风来执行免提通信，所述回音消除器包括：

步长大小控制单元，该步长大小控制单元计算自适应滤波器中的步长大小值；以及

自适应滤波器单元，该自适应滤波器单元根据从所述步长大小控制单元输入的所述步长大小，通过自适应地识别由所述扬声器和所述麦克风的声耦合等形成的反馈路径的冲激响应来根据反馈路径的输入信号估计所述反馈路径的回音分量，并且从所述反馈路径的输出信号中减去所述回音分量，并且

其中，所述步长大小控制单元通过使用基于所述反馈路径的输出信号与残差信号之比来限定的回音减少量来计算步长大小值，并将所述值输出到所述自适应滤波器单元。

2.如权利要求1所述的回音消除器，

其中，当输入到所述反馈路径的干扰信号是S(k)，残差回音信号是Er(k)，短时间平均是E[]，并且频率是k时，在归一化最小均方误差算法中更新的最佳滤波器步长大小μ(k)由下式来表示：μ(k)＝E[|Er(k)|²]/{E[|S(k)|²]+E[|Er(k)|²]}，并且

其中，所述步长大小控制单元通过使用基于所述短时间平均的功率来计算得到的回音减少量(短时间回音逆程损耗增强)和基于长时间平均的功率来计算得到的回音减少量(长时间回音逆程损耗增强)来计算所述步长大小μ(k)。

3.如权利要求2所述的回音消除器，

其中，当在所述自适应滤波器单元中估计得到的回音信号是Ep(k)，来自所述反馈路径的输出信号与所述残差信号的功率平方之比是回音逆程损耗增强时，基于所述短时间平均的功率来计算得到的回音逆程损耗增强由下式来表示：

短时间回音逆程损耗增强＝{E[|S(k)|²]+E[|Er(k)|²]}/{E[|S(k)|²]+E[|Er(k)|²]+E[|Ep(k)|²]}，并且基于所述长时间平均的功率来计算得到的回音逆程损耗增强由下式来表示：

长时间回音逆程损耗增强＝E[|Er(k)|²]/{E[|Er(k)|²]+E[|Ep(k)|²]}，并且所述步长大小μ(k)由下式来表示：

μ(k)＝长时间回音逆程损耗增强*(1-短时间回音逆程损耗增强)/[短时间回音逆程损耗增强*(1-长时间回音逆程损耗增强)]。

4.根据权利要求1到3中的任意一个所述的回音消除器，

其中，所述步长大小控制单元根据各个频带来计算步长大小，以将它们提供给所述自适应滤波器单元。

5.如权利要求1到3中的任意一个所述的回音消除器，

其中，所述步长大小控制单元针对特定频率分量来计算步长大小，并针对其它频率分量将规定步长大小提供给所述自适应滤波器单元。

6.根据权利要求1到3中的任意一个所述的回音消除器，

其中，所述步长大小控制单元根据针对特定频率分量的各个频带来计算步长大小，并针对其它频率分量将规定步长大小提供给所述自适应滤波器单元。

7.一种用于免提通信系统的话音处理装置，在所述免提通信系统中，通过使用扬声器和麦克风来执行免提通信，所述话音处理装置包括：

扬声器，该扬声器输出从远端侧接收到的接收信号；

麦克风，发送语音被输入到该麦克风；以及

回音消除器，该回音消除器包括计算自适应滤波器中的步长大小值的步长大小控制单元以及自适应滤波器单元，该自适应滤波器单元根据从所述步长大小控制单元输入的所述步长大小，通过自适应地识别由所述扬声器和所述麦克风的声耦合等形成的反馈路径的冲激响应来根据反馈路径的输入信号估计所述反馈路径的回音分量，并且从所述反馈路径的输出信号中减去所述回音分量，并且

其中，所述步长大小控制单元通过使用基于所述反馈路径的输出信号与残差信号之比来限定的量来计算步长大小值，并将所述值输出到所述自适应滤波器单元。

Images