CN101778183B - 一种残留回声抑制方法及设备 - Google Patents

Abstract

本发明实施例公开一种残留回声抑制方法，包括：接收根据远端语音信号得到的重构声回声信号y′，及从包括声回声信号的近端音频信号d中抵消所述重构声回声信号y′得到的包括残留回声信号δ的输出信号e；将信号y′、d、e通过傅里叶变换转换为频域信号Y′(ω)、D(ω)和E(ω)；计算D(ω)和E(ω)的互功率谱密度S_ed(ω)、Y′(ω)的功率谱估计S_y′y′(ω)，及噪声信号功率谱估计S_ww(ω)；根据回声抑制量因子μ与S_y′y′(ω)计算残留回声信号δ的功率谱估计S_δδ(ω)，μ是根据回声抑制量调整的可控增益；根据S_ed(ω)、S_ww(ω)、S_δδ(ω)将残留回声信号δ从输出信号e中滤除。本发明另一方面还公开相应设备。通过本发明方法及设备，可以有效地去除残留回声。

Description

一种残留回声抑制方法及设备

技术领域

本发明涉及语音通信技术，尤其涉及一种残留回声抑制方法及设备。

背景技术

在语音通信环境下，尤其是在麦克风与扬声器共存的语音通信环境中如会议系统、免提电话等，远端传来的语音信号通过扬声器播出，又经过麦克风采集并被传回到远端，导致远端用户受到声回声的干扰。声回声抵消一般通过自适应滤波器逼近实际的声场，进而估计声回声并在麦克风实际采集到的数据中扣除估计的声回声以达到抵消声回声的效果。但是由于自适应滤波器阶数不足、声场非线性特性等因素的影响，自适应滤波器往往不能完全滤除所有声回声信号，于是产生残留回声，如图1所示，现有技术中声回声抵消系统中自适应滤波器利用远端音频信号R产生人造回声信号y′，而近端音频信号d包含声回声信号y，d减去y′得到包括残留回声信号δ的输出信号e，当近端音频信号d不包含语音信号v及背景噪声信号w时，如果y′完全逼近y，则声回声信号y可完全抵消，然而，实际情况中，y′很难完全逼近y，需要对e进行残留回声抑制。现有技术中去除残留回声的方法如下：

现有技术一，如图2给出的非线性处理方法，即图1中G1的传输特性曲线，当e小于某一阈值时，e衰减为0或者用舒适噪声(Comfortable Noise)替换。

现有技术二，通过维纳滤波器或谱相减的方法得到G1，利用G1对残留回声信号δ进行抑制。

发明人在实施本发明实施例时发现现有技术至少存在以下问题：

现有技术一的方法在只包含远端音频信号R时，由于近端音频信号d包含背景噪声信号w，不但不能抑制噪声，反而易导致噪声起伏变化。在包含远端音频信号R且近端音频信号d包含近端语音信号v时，近端语音信号v和残留回声信号δ一起进行非线性处理，残留回声信号δ无法得到很好的抑制，同时会导致近端语音信号v起伏、断续甚至严重剪切。

现有技术二的方法没有考虑降噪功能，因为近端音频信号d还包含背景噪声信号w，因此回声抵消后需要增加噪声抑制环节，即G2。如图2所示，通过VAD检测估计残留回声信号δ中的背景噪声信号w，然后通过如维纳滤波器或谱相减法等噪声抑制算法计算出噪声抑制因子G2，并对噪声因子G2进行抑制。然而噪声估计的结果依赖于G1的处理结果，G1处理后再降噪处理，会导致噪声估计不准，噪声抑制效果较差，残留回声信号δ与背景噪声信号w的抑制只是在局部最优，对音质有较大的影响。

发明内容

本发明实施例的目的在于提供一种残留回声抑制方法及设备，能够较好地抑制残留回声。

为此，本发明实施例提供一种抑制残留回声的方法，包括：

接收根据远端语音信号得到的重构声回声信号y′，及从包括声回声信号的近端音频信号d中抵消所述重构声回声信号y′得到的包括残留回声信号δ的输出信号e；

将上述接收的信号y′、d、e通过傅里叶变换转换为频域信号Y′(ω)、D(ω)和E(ω)；

计算上述信号D(ω)和E(ω)的互功率谱密度S_ed(ω)、上述信号Y′(ω)的功率谱估计S_y′y′(ω)，及噪声信号功率谱估计S_ww(ω)；

根据回声抑制量因子μ与所述S_y′y′(ω)计算所述残留回声信号δ的功率谱估计S_δδ(ω)，所述μ是根据回声抑制量调整的可控增益；

根据所述S_ed(ω)、S_ww(ω)、S_δδ(ω)将残留回声信号δ从所述输出信号e中滤除。

本发明实施例另一方面还提供一种残留回声抑制设备，包括：

接收单元，用于接收根据远端语音信号得到的重构声回声信号y′，及从包括声回声信号的近端音频信号d中抵消所述重构声回声信号y′得到的包括残留回声信号δ的输出信号e；

转换单元，用于将上述接收的信号y′、d、e转换为频域信号Y′(ω)、D(ω)和E(ω)；

计算单元，用于计算上述信号D(ω)和E(ω)的互功率谱密度S_ed(ω)、上述信号Y′(ω)的功率谱估计S_y′y′(ω)，及噪声信号功率谱估计S_ww(ω)；

第一增益单元，用于根据回声抑制量因子μ与所述S_y′y′(ω)计算所述残留回声信号δ的功率谱估计S_δδ(ω)，所述μ是根据回声抑制量调整的可控增益；

第一滤波器，用于根据所述S_ed(ω)、S_ww(ω)、S_δδ(ω)将残留回声信号δ从所述输出信号e中滤除。

本发明实施例的有益效果在于，可以有效地去除残留回声，去除噪声信号。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中声回声抵消系统的示意图；

图2为现有技术一的非线性处理方法示意图；

图3为本发明提供的抑制残留回声方法的一个实施例的流程示意图；

图4为本发明提供的抑制残留回声方法的一个实施例的流程示意图；

图5为本发明提供的抑制残留回声方法的一个实施例的流程示意图；

图6为本发明提供的抑制残留回声的方法的一个实施例的信号流程示意图；

图7为本发明提供的抑制残留回声设备的一个实施例的结构示意图；

图8为本发明提供的抑制残留回声设备的一个实施例的结构示意图；

图9为本发明提供的抑制残留回声设备的一个实施例的结构示意图；

图10为本发明提供的抑制残留回声设备应用于抑制残留回声系统一个实施例的示意图；

图11为图10所示抑制残留回声系统音频信号经过本发明提供的抑制残留回声设备后的效果波形图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图3为本发明提供的抑制残留回声方法的一个实施例的流程示意图。如图3所示，该实施例中的抑制残留回声方法包括步骤：

S01：接收根据远端语音信号得到的重构声回声信号y′，及从包括声回声信号的近端音频信号d中抵消所述重构声回声信号y′得到的包括残留回声信号δ的输出信号e；

S02：将上述接收的信号y′、d、e通过傅里叶变换转换为频域信号Y′(ω)、D(ω)和E(ω)；

S03：计算上述信号D(ω)和E(ω)的互功率谱密度S_ed(ω)、上述信号Y′(ω)的功率谱估计S_y′y′(ω)，及噪声信号功率谱估计S_ww(ω)；

S04：根据回声抑制量因子μ与所述S_y′y′(ω)计算所述残留回声信号δ的功率谱估计S_δδ(ω)；

S05：根据所述S_ed(ω)、S_ww(ω)、S_δδ(ω)将残留回声信号δ从所述输出信号e中滤除。

本实施例中，所述μ是根据回声抑制量调整的可控增益。接收根据远端语音信号得到的重构声回声信号y′，近端音频信号d、及从近端音频信号d中抵消所述重构声回声信号y′得到的包括残留回声信号δ的输出信号e，所述近端音频信号d包括声回声信号y、近端语音信号v、背景噪声信号w，因此，有d(n)＝y(n)+v(n)+w(n)，近端音频信号d(n)与重构声回声信号y′相减后的输出信号为e(n)＝δ(n)+v(n)+w(n)，其中，δ(n)为残留回声信号，然后通过傅里叶变换或者快速傅里叶变换将接收的信号y′、d、e转换为相应的频域信号，为说明方便此处采用Y′(ω)、D(ω)和E(ω)代表信号y′、d、e的频域表示，其中e(n)所对应的频域表示为E(ω)＝Δ(ω)+V(ω)+W(ω)，Δ(ω)、V(ω)、W(ω)分别为δ(n)、v(n)、w(n)的频域表示。

然后计算上述信号D(ω)和E(ω)的互功率谱密度S_ed(ω)、上述信号Y′(ω)的功率谱估计S_y′y′(ω)，及噪声信号功率谱估计S_ww(ω)。由于滤波器作用于频域信号的表达式为V′(ω)＝H(ω)E(ω)，其中，V′(ω)表示近端语音信号v的估计值，设V′(ω)与V(ω)之间的误差为ε(ω)，则ε(ω)＝V′(ω)-V(ω)＝[H(ω)-1]V(ω)+H(ω)W(ω)+H(ω)Δ(ω)，一般而言，Δ(ω)、V(ω)及W(ω)之间独立不相关，因此ε(ω)的功率谱密度可写为S_εε(ω)＝[H(ω)-1]²S_vv(ω)+H²(ω)S_ww(ω)+H²(ω)S_δδ(ω)其中，S_vv(ω)为近端语音信号v的功率谱密度，S_ww(ω)为背景噪声信号w的功率谱密度，S_δδ(ω)为残留回声信号δ的功率谱密度。

为使S_εε(ω)最小化，对H(ω)做一阶偏微分得到：

2[H(ω)-1]S_vv(ω)+2H(ω)S_ww(ω)+H(ω)S_δδ(ω)＝0于是可得到， $H\left(\mathrm{\ω}\right)=\frac{S_{\mathrm{vv}}\left(\mathrm{\ω}\right)}{S_{\mathrm{vv}}\left(\mathrm{\ω}\right)+S_{\mathrm{ww}}\left(\mathrm{\ω}\right)+S_{\mathrm{\δ\δ}}\left(\mathrm{\ω}\right)},---\left(1\right)$

由于w(n)、δ(n)、v(n)、y(n)可理解为互不相关，根据定义可知

S_ed(ω)＝S_vv(ω)+S_ww(ω)，其中S_ed(ω)为e(n)与d(n)的互功率谱密度，因此，式(1)可以写作：

$H\left(\mathrm{\ω}\right)=\frac{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)-S_{\mathrm{ww}}\left(\mathrm{\ω}\right)}{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)+S_{\mathrm{\δ\δ}}\left(\mathrm{\ω}\right)}---\left(2\right)$

根据回声抑制量因子μ与所述S_y′y′(ω)计算所述残留回声信号δ的功率谱估计S_δδ(ω)，因此S_δδ(ω)可根据S_δδ(ω)＝μS_y′y′(ω)进行估计，S_δδ(ω)为残留回声信号δ的功率谱密度，μ是根据回声抑制量调整的可控增益。然后根据所述S_ed(ω)、S_ww(ω)、S_δδ(ω)将残留回声信号δ从所述输出信号e中滤除。

从而在本发明提供的残留回声抑制方法的一个实施例中，上述方法可以根据公式 $H\left(\mathrm{\ω}\right)=\frac{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)-S_{\mathrm{ww}}\left(\mathrm{\ω}\right)}{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)+{\mathrm{\μS}}_{y^{\′}{y}^{\′}}\left(\mathrm{\ω}\right)}---\left(3\right)$ 将残留回声信号δ从所述输出信号e中滤除。

其中，μ是根据回声抑制量调整的可控增益，当回声抑制量较大时，μ可以调小，当回声抑制量较小时，μ可以调大，在包含远端音频信号R且近端音频信号d包含近端语音信号v时，为保证近端语音信号v的音质，μ可以调小。这样可以更好的去除残留回声。

图4为本发明提供的抑制残留回声方法的一个实施例的流程示意图，如图4所示，上述方法在所述计算上述信号D(ω)和E(ω)的互功率谱密度S_ed(ω)、上述信号Y′(ω)的功率谱估计S_y′y′(ω)，及噪声信号功率谱估计S_ww(ω)(步骤S03)之后，还包括：

S041：根据噪声抑制量控制增益γ调整所述噪声信号功率谱估计S_ww(ω)；

S051：根据所述S_ed(ω)、S_δδ(ω)及经所述γ调整的S_ww(ω)将残留回声信号δ从所述输出信号e中滤除。

本实施例中，所述γ是根据噪声抑制量调整的可控增益。由于重构声回声信号y′可以表示为y′(n)＝d(n)-e(n)，此外，S_ww(ω)可以通过最小能量统计获取，考虑噪声的抑制量，因此在上述方法中引入噪声抑制量控制因子γ，γ是根据噪声抑制量调整的可控增益，因此，根据噪声抑制量控制增益γ调整所述噪声信号功率谱估计S_ww(ω)，然后根据所述S_ed(ω)、S_δδ(ω)及经所述γ调整的S_ww(ω)将残留回声信号δ从所述输出信号e中滤除。

从而在本发明提供的残留回声抑制方法的一个实施例中，上述方法可以根据公式 $H\left(\mathrm{\ω}\right)=\frac{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)-{\mathrm{\γS}}_{\mathrm{ww}}\left(\mathrm{\ω}\right)}{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)+{\mathrm{\μS}}_{y^{\′}{y}^{\′}}\left(\mathrm{\ω}\right)}---\left(3^{\′}\right)$ 将残留回声信号δ从所述输出信号e中滤除。

其中，μ是根据回声抑制量调整的可控增益，当回声抑制量较大时，μ可以调小，当回声抑制量较小时，μ可以调大，在包含远端音频信号R且近端音频信号d包含近端语音信号v时，为保证近端语音信号v的音质，μ可以调小，γ为噪声抑制量控制因子，是根据噪声抑制量调整的可控增益，可以根据实际情况调节，进而对噪声信号进行抑制。这样可以更好的去除残留回声，并去除噪声信号的干扰，并且保证近端语音信号的质量。

图5为本发明提供的抑制残留回声方法的一个实施例的流程示意图，如图5所示，在上述根据噪声抑制量控制增益γ调整所述噪声信号功率谱估计S_ww(ω)(步骤S041)之后，还包括：

S042：取所述S_δδ(ω)与经所述γ调整的S_ww(ω)两者中的最大值；

S052：根据所述最大值及所述S_ed(ω)将残留回声信号δ从所述输出信号e中滤除。

本实施例中，选取S_δδ(ω)与经所述γ调整的S_ww(ω)两者中的最大值，其中S_δδ(ω)＝μS_y′y′(ω)。

由于 $\frac{S_{\mathrm{ed}}\left(k\right)-S_{\mathrm{ww}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}=[1-\frac{S_{\mathrm{ww}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}]-\frac{\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}---\left(4\right)$

当x＜＜1时，根据泰勒展开原理，满足1-x≈1/(1+x)，因为一般应用场合下信噪比均较高，即S_ww(k)＝S_ed(k)+μS_y′y′(k)，则式(4)左侧的第一项可表示为：

$1-\frac{S_{\mathrm{ww}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}\≈\frac{1}{1+\frac{S_{\mathrm{ww}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}}=\frac{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)+S_{\mathrm{ww}}\left(k\right)}---\left(5\right)$

一般满足S_ww(k)＜＜S_ed(k)，则：

$\frac{\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}\≈\frac{\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)+\mathrm{\γ}{S}_{\mathrm{ww}}\left(k\right)}---\left(6\right)$

其中，γ为噪声抑制量的控制因子。综合式(5)、(6)，式(4)可以进一步简化为 $\frac{{S_{\mathrm{ed}}\left(k\right)-S}_{\mathrm{ww}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}\≈\frac{S_{\mathrm{ed}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)+S_{\mathrm{ww}}\left(k\right)},$ 由于μS_y′y′(k)与S_ww(k)是分别估计的，可能会出现重复估计，进而导致音质损伤，为避免这种现象，采取μS_y′y′(k)与S_ww(k)中的最大值作为分母中的抑制参量，然后根据所述最大值及所述S_ed(ω)将残留回声信号δ从所述输出信号e中滤除。

从而在本发明提供的残留回声抑制方法的一个实施例中，上述方法可以根据公式 $G\left(\mathrm{\ω}\right)=\frac{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)}{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)+\max \{\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(\mathrm{\ω}\right),\mathrm{\γ}{S}_{\mathrm{ww}}\left(\mathrm{\ω}\right)\}}---\left(7\right)$ 将残留回声信号δ从所述输出信号e中滤除。

其中，μ是根据回声抑制量调整的可控增益，当回声抑制量较大时，μ可以调小，当回声抑制量较小时，μ可以调大，在包含远端音频信号R且近端音频信号d包含近端语音信号v时，为保证近端语音信号v的音质，μ可以调小，γ为噪声抑制量控制因子，是根据噪声抑制量调整的可控增益，可以根据实际情况调节，进而对噪声信号进行抑制，max{x，y}表示取x和y中的最大值。这样可以更好的去除残留回声，并且保证近端语音信号的质量，并且避免出现重复估计，进而导致音质损伤的现象，较好的去除了残留回声且抑制了噪声，保证音质。

图6为本发明提供的抑制残留回声的方法的一个实施例的信号流程示意图，如图6所示，包括：

接收输出信号e(n)，近端音频信号d(n)，重构声回声信号y′(n)，并且y′(n)＝d(n)-e(n)，其中，n表示时间序列；

将输出信号e(n)，近端音频信号d(n)，重构声回声信号y′(n)对应以帧叠率不小于50％构成帧信号e(m)、d(m)、y′(m)，其中m表示帧序列；

对帧信号e(m)、d(m)、y′(m)加窗处理，如Hamming窗处理，并通过快速傅里叶变换即FFT得到相应的频域表示，即E(ω)、D(ω)、Y′(ω)，其中ω表示频域信号对应的频点；

通过迭代方法求出E(ω)、D(ω)的互功率谱密度估计，即：

S_ed(ω)＝(1-α)Re[E(ω)D^*(ω)]+αS_ed(ω)(8)

其中，Re[g]表示取复数的实部，α为平滑因子，满足0＜α＜1；

通过迭代方法求出Y′(ω)的功率谱密度，即：

S_y′y′(ω)＝(1-α)Y(ω)Y^*(ω)+αS_y′y′(ω)

其中α为平滑因子，满足0＜α＜1；

根据最小能量方法得到当前背景噪声估计S_ww(ω)；

得到个频点对应的滤波器G(ω)，即：

$G\left(\mathrm{\ω}\right)=\frac{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)}{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)+\max \{\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(\mathrm{\ω}\right),\mathrm{\γ}{S}_{\mathrm{ww}}\left(\mathrm{\ω}\right)\}},$ 或者 $\mathrm{G\ω})=\frac{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)-\mathrm{\γ}{S}_{\mathrm{ww}}\left(\mathrm{\ω}\right)}{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(\mathrm{\ω}\right)},$

其中，μ与γ分别是残留回声信号与背景噪声信号抑制量的控制因子。同时将其作用于输出信号e，得到当前帧优化后的频域输出E′(ω)，即E′(ω)＝E(ω)G(ω)；

将当前处理结果做逆傅里叶变换即IFFT，与此前各帧处理所得的信号在时域对齐并叠加完成帧信号重构。

图7为本发明提供的抑制残留回声设备的一个实施例的结构示意图，如图7所示，该实施例的残留回声抑制设备9包括：

接收单元1，用于接收根据远端语音信号得到的重构声回声信号y′，及从包括声回声信号的近端音频信号d中抵消所述重构声回声信号y′得到的包括残留回声信号δ的输出信号e；

转换单元2，用于将上述接收的信号y′、d、e转换为频域信号Y′(ω)、D(ω)和E(ω)；

计算单元3，用于计算上述信号D(ω)和E(ω)的互功率谱密度S_ed(ω)、上述信号Y′(ω)的功率谱估计S_y′y′(ω)，及噪声信号功率谱估计S_ww(ω)；

增益单元4包括的第一增益单元4，用于根据回声抑制量因子μ与所述S_y′y′(ω)计算所述残留回声信号δ的功率谱估计S_δδ(ω)；

滤波器5包括的第一滤波器51，用于根据所述S_ed(ω)、S_ww(ω)、S_δδ(ω)将残留回声信号δ从所述输出信号e中滤除。

本实施例中，所述μ是根据回声抑制量调整的可控增益。接收单元1接收根据远端语音信号得到的重构声回声信号y′，及从近端音频信号d中抵消所述重构声回声信号y′得到的包括残留回声信号δ的输出信号e，所述近端音频信号d包括声回声信号y、近端语音信号v、背景噪声信号w，因此，d(n)＝y(n)+v(n)+w(n)，近端音频信号d(n)与重构声回声y′相减后的输出信号e(n)＝δ(n)+v(n)+w(n)，其中，δ(n)为残留回声信号，然后通过转换单元2经傅里叶变换或者快速傅里叶变换将接收的信号y′、d、e转换为相应的频域信号Y′(ω)、D(ω)和E(ω)，其中e(n)所对应的频域表示为E(ω)＝Δ(ω)+V(ω)+W(ω)，Δ(ω)、V(ω)、W(ω)分别为δ(n)、v(n)、w(n)的频域表示。

然后由计算单元3计算上述信号D(ω)和E(ω)的互功率谱密度S_ed(ω)、上述信号Y′(ω)的功率谱估计S_y′y′(ω)，及噪声信号功率谱估计S_ww(ω)。由于滤波器作用于频域信号的表达式为V′(ω)＝H(ω)E(ω)，其中，V′(ω)表示近端语音信号v的估计值，设V′(ω)与V(ω)之间的误差为ε(ω)，则ε(ω)＝V′(ω)-V(ω)＝[H(ω)-1]V(ω)+H(ω)W(ω)+H(ω)Δ(ω)，一般而言，Δ(ω)、V(ω)及W(ω)之间独立不相关，因此ε(ω)的功率谱密度可为S_εε(ω)＝[H(ω)-1]²S_vv(ω)+H²(ω)S_ww(ω)+H²(ω)S_δδ(ω)其中，S_vv(ω)为近端语音信号v的功率谱密度，S_ww(ω)背景噪声信号w的功率谱密度，S_δδ(ω)为残留回声信号δ的功率谱密度。

为使S_εε(ω)最小化，对H(ω)做一阶偏微分得到

2[H(ω)-1]S_vv(ω)+2H(ω)S_ww(ω)+H(ω)S_δδ(ω)＝0

于是可得到， $H\left(\mathrm{\ω}\right)=\frac{S_{\mathrm{vv}}\left(\mathrm{\ω}\right)}{S_{\mathrm{vv}}\left(\mathrm{\ω}\right)+S_{\mathrm{ww}}\left(\mathrm{\ω}\right)+S_{\mathrm{\δ\δ}}\left(\mathrm{\ω}\right)},---\left(1\right)$

由于w(n)、δ(n)、v(n)、y(n)可理解为互不相关，根据定义可知

S_ed(ω)＝S_vv(ω)+S_ww(ω)，其中S_ed(ω)为e(n)与d(n)的互功率谱密度，因此，式(1)可以写作

$H\left(\mathrm{\ω}\right)=\frac{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)-S_{\mathrm{ww}}\left(\mathrm{\ω}\right)}{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)+S_{\mathrm{\δ\δ}}\left(\mathrm{\ω}\right)}---\left(2\right)$

增益单元4中的第一增益单元41根据回声抑制量因子μ与所述S_y′y′(ω)计算所述残留回声信号δ的功率谱估计S_δδ(ω)，因此S_δδ(ω)可通过S_δδ(ω)＝μS_y′y′(ω)进行估计，S_δδ(ω)为残留回声信号δ的功率谱密度，μ是根据回声抑制量调整的可控增益。然后由滤波器5中的第一滤波器51根据所述S_ed(ω)、S_ww(ω)、S_δδ(ω)将残留回声信号δ从所述输出信号e滤除。

从而在本发明提供的残留回声抑制设备的一个实施例中，上述第一滤波器51可以根据公式 $H\left(\mathrm{\ω}\right)=\frac{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)-S_{\mathrm{ww}}\left(\mathrm{\ω}\right)}{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)+{\mathrm{\μS}}_{y^{\′}{y}^{\′}}\left(\mathrm{\ω}\right)}---\left(3\right)$ 将残留回声信号δ从所述输出信号e滤除。

其中，μ是根据回声抑制量调整的可控增益，当回声抑制量较大时，μ可以调小，当回声抑制量较小时，μ可以调大，在包含远端音频信号R且近端音频信号d包含近端语音信号v时，为保证近端语音信号v的音质，μ可以调小。这样可以更好的去除残留回声。

图8为本发明提供的抑制残留回声方法的一个实施例的结构示意图，如图8所示，上述设备9中上述增益单元4还包括第二增益单元42，用于根据噪声抑制量控制增益γ调整所述噪声信号功率谱估计S_ww(ω)；

上述滤波器5还包括第二滤波器52，用于根据所述S_ed(ω)、S_δδ(ω)及经所述γ调整的S_ww(ω)将残留回声信号δ从所述输出信号e滤除。

本实施例中，所述γ是根据噪声抑制量调整的可控增益。由于重构声回声信号y′可以表示为y′(n)＝d(n)-e(n)，此外，S_ww(ω)可以通过最小能量统计获取，考虑噪声的抑制量，因此引入噪声抑制量控制因子γ，γ是根据噪声抑制量调整的可控增益，因此，在上述设备9中增加第二增益单元42，根据噪声抑制量控制增益γ调整所述噪声信号功率谱估计S_ww(ω)，然后滤波器5中的第二滤波器52根据所述S_ed(ω)、S_δδ(ω)及经所述γ调整的S_ww(ω)将残留回声信号δ从所述输出信号e滤除。

从而在本发明提供的残留回声抑制设备的一个实施例中，上述设备的第二滤波器52可以根据公式 $H\left(\mathrm{\ω}\right)=\frac{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)-{\mathrm{\γS}}_{\mathrm{ww}}\left(\mathrm{\ω}\right)}{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)+{\mathrm{\μS}}_{y^{\′}{y}^{\′}}\left(\mathrm{\ω}\right)}---\left(3^{\′}\right)$ 将残留回声信号δ从所述输出信号e中滤除。

其中，μ是根据回声抑制量调整的可控增益，当回声抑制量较大时，μ可以调小，当回声抑制量较小时，μ可以调大，在包含远端音频信号R且近端音频信号d包含近端语音信号v时，为保证近端语音信号v的音质，μ可以调小，γ为噪声抑制量控制因子，是根据噪声抑制量调整的可控增益，可以根据实际情况调节，进而对噪声信号进行抑制。这样可以更好的去除残留回声，并去除噪声信号的干扰，并且保证近端语音信号的质量。

图9为本发明提供的抑制残留回声设备的一个实施例的结构示意图，如图9所示，上述设备9还包括：

选择单元6，用于选择所述S_δδ(ω)与经所述γ调整的S_ww(ω)两者中的最大值；

并且上述设备9的滤波器5中还包括第三滤波器53，用于根据所述最大值及所述S_ed(ω)将残留回声信号δ从所述输出信号e中滤除。

本实施例中，选择单元6选取经所述第一增益单元41得到的S_δδ(ω)与经所述第二增益单元42得到的S_ww(ω)两者中的最大值，其中S_δδ(ω)＝μS_y′y′(ω)。

由于 $\frac{S_{\mathrm{ed}}\left(k\right)-S_{\mathrm{ww}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}=[1-\frac{S_{\mathrm{ww}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}]-\frac{\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}---\left(4\right)$

当x＜＜1时，根据泰勒展开原理，满足1-x≈1/(1+x)，因为一般应用场合下信噪比均较高，即S_ww(k)＝S_ed(k)+μS_y′y′(k)，则式(4)左侧的第一项可表示为：

$1-\frac{S_{\mathrm{ww}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}\≈\frac{1}{1+\frac{S_{\mathrm{ww}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}}=\frac{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)+S_{\mathrm{ww}}\left(k\right)}---\left(5\right)$

一般满足S_ww(k)＜＜S_ed(k)，则：

$\frac{\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}\≈\frac{\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)+\mathrm{\γ}{S}_{\mathrm{ww}}\left(k\right)}---\left(6\right)$

其中，γ为噪声抑制量的控制因子。综合式(5)、(6)，式(4)可以进一步简化为 $\frac{{S_{\mathrm{ed}}\left(k\right)-S}_{\mathrm{ww}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)}\≈\frac{S_{\mathrm{ed}}\left(k\right)}{S_{\mathrm{ed}}\left(k\right)+\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(k\right)+S_{\mathrm{ww}}\left(k\right)},$ 由于μS_y′y′(k)与S_ww(k)是分别估计的，可能会出现重复估计，进而导致音质损伤，为避免这种现象，采取由选择单元6选择μS_y′y′(k)与S_ww(k)的最大值最为分母中的抑制参量，然后第三滤波器53根据所述最大值及所述S_ed(ω)将残留回声信号δ从所述输出信号e中滤除。

从而在本发明提供的残留回声抑制设备的一个实施例中，上述第三滤波器53可以根据公式 $G\left(\mathrm{\ω}\right)=\frac{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)}{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)+\max \{\mathrm{\μ}{S}_{y^{\′}{y}^{\′}}\left(\mathrm{\ω}\right),\mathrm{\γ}{S}_{\mathrm{ww}}\left(\mathrm{\ω}\right)\}}---\left(7\right)$ 将残留回声信号δ从所述输出信号e中滤除。

其中，μ是根据回声抑制量调整的可控增益，当回声抑制量较大时，μ可以调小，当回声抑制量较小时，μ可以调大，在包含远端音频信号R且近端音频信号d包含近端语音信号v时，为保证近端语音信号v的音质，μ可以调小，γ为噪声抑制量控制因子，是根据噪声抑制量调整的可控增益，可以根据实际情况调节，进而对噪声信号进行抑制，max{g，g}表示取最大值。这样可以更好的去除残留回声，并且保证近端语音信号的质量，并且避免出现重复估计，进而导致音质损伤的现象，较好的去除了残留回声且抑制了噪声，保证音质。

图10为本发明提供的抑制残留回声设备应用于抑制残留回声系统一个实施例的示意图，如图10所示，本实施例的系统包括具有至少两路AD/DA的DSP开发板90、含有声卡的计算机99、扬声器96、传声器95、电缆构成的声卡传输通道98、第一声卡采集通道92、第二声卡采集通道97、自适应滤波器94及上述残留回声抑制设备9，残留回声抑制设备9包括滤波器5。

计算机99将其声卡的输出信号通过声卡传输通道98传输至DSP开发板90，作为参考信号x(k)；

DSP开发板90通过扬声器96将x(k)送出，同时通过传声器95将其采集的信号送入DSP开发板90，得到期望信号y(k)，即回声信号；

周围声场可适当添加部分稳态噪声，以观察滤波器对背景噪声干扰的抑制情况；

DSP开发板90内的系统通过含有滤波器5的残留回声抑制设备9对x(k)和y(k)进行处理，得到自适应滤波器94的误差信号即残留回声信号(残留回声抑制设备9的滤波器5输入之一)e(k)和残留回声抑制设备9的滤波器5的输出e′(k)，将两者送至声卡输入端并予以记录和比较，这样可以看到残留回声抑制设备9的处理效果。

图11为图10所示抑制残留回声系统音频信号经过本发明提供的抑制残留回声设备后的效果波形图，如图11所示，(a)为自适应滤波器94的输入回声信号，(b)为近端语音信号，(c)为自适应滤波器94的输出信号，(d)残留回声抑制设备9的滤波器5的输出信号，从图中可以看出，经过残留回声抑制设备9的滤波器5的处理后，其残留回声与噪声均得到很好的抑制。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

总之，以上所述仅为本发明的实施例，并非用于限定本发明的保护范围，而是用于说明本发明。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

另外，以上实施例中分别说明的各技术，系统，装置，方法以及各实施例中分别说明的技术特征可以进行组合，从而形成不脱离不发明的精神和原则之内的其他的模块，方法，装置，系统及技术，这些根据本发明实施例的记载组合而成的模块，方法，装置，系统及技术均在本发明的保护范围之内。

Claims (6)

1.一种残留回声抑制方法，包括：

接收根据远端语音信号得到的重构声回声信号y'，及从包括声回声信号的近端音频信号d中抵消所述重构声回声信号y'得到的包括残留回声信号δ的输出信号e；

将上述接收的信号y'、d、e通过傅里叶变换转换为频域信号Y'(ω)、D(ω)和E(ω)；

计算上述信号D(ω)和E(ω)的互功率谱密度S_ed(ω)、上述信号Y'(ω)的功率谱估计S_y'y'(ω)，及噪声信号功率谱估计S_ww(ω)；

根据公式S_δδ(ω)=μS_y'y'(ω)计算所述残留回声信号δ的功率谱估计S_δδ(ω)，所述μ是根据回声抑制量调整的可控增益；

根据公式H

将残留回声信号δ从所述输出信号e中滤除。

2.如权利要求1所述的方法，其特征在于，在根据公式S_δδ(ω)=μS_y'y'(ω)计算所述残留回声信号δ的功率谱估计S_δδ(ω)之后，还包括：

根据噪声抑制量控制增益γ调整所述噪声信号功率谱估计S_ww(ω)，所述γ是根据噪声抑制量调整的可控增益；

根据公式H

将残留回声信号δ从所述输出信号e中滤除。

3.如权利要求2所述的方法，其特征在于，在所述根据噪声抑制量控制增益γ调整所述噪声信号功率谱估计S_ww(ω)之后，还包括：

取所述S_δδ(ω)与经所述γ调整的S_ww(ω)两者中的最大值；

根据公式G $\left(\mathrm{\ω}\right)=\frac{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)}{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)+\max \{{\mathrm{\μS}}_{y\′y\′}\left(\mathrm{\ω}\right),{\mathrm{\γS}}_{\mathrm{ww}}\left(\mathrm{\ω}\right)\}}$ 将残留回声信号δ从所述输出信号e中滤除。

4.一种残留回声抑制设备，其特征在于，包括：

接收单元，用于接收根据远端语音信号得到的重构声回声信号y'，及从包括声回声信号的近端音频信号d中抵消所述重构声回声信号y'得到的包括残留回声信号δ的输出信号e；

转换单元，用于将上述接收的信号y'、d、e转换为频域信号Y'(ω)、D(ω)和E(ω)；

计算单元，用于计算上述信号D(ω)和E(ω)的互功率谱密度S_ed(ω)、上述信号Y'(ω)的功率谱估计S_y'y'(ω)，及噪声信号功率谱估计S_ww(ω)；

第一增益单元，用于根据公式S_δδ(ω)=μS_y′y′(ω)计算所述残留回声信号δ的功率谱估计S_δδ(ω)，所述μ是根据回声抑制量调整的可控增益；

第一滤波器，用于根据公式H将残留回声信号δ从所述输出信号e中滤除。

5.如权利要求4所述的设备，其特征在于，所述设备还包括：

第二增益单元，用于根据噪声抑制量控制增益γ调整所述噪声信号功率谱估计S_ww(ω)，所述γ是根据噪声抑制量调整的可控增益；

第二滤波器，用于根据公式H

将残留回声信号δ从所述输出信号e中滤除。

6.如权利要求5所述的设备，其特征在于，所述设备还包括：

选择单元，用于选择所述S_δδ(ω)与经所述γ调整的S_ww(ω)两者中的最大值；

第三滤波器，用于根据公式G $\left(\mathrm{\ω}\right)=\frac{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)}{S_{\mathrm{ed}}\left(\mathrm{\ω}\right)+\max \{{\mathrm{\μS}}_{y\′y\′}\left(\mathrm{\ω}\right),{\mathrm{\γS}}_{\mathrm{ww}}\left(\mathrm{\ω}\right)\}}$ 将残留回声信号δ从所述输出信号e中滤除。

Images