CN102387273B - 一种抑制残留回声的方法和装置 - Google Patents

Abstract

本发明公开了一种抑制残留回声的方法和装置。该方法包括：对M路送话器信号进行自适应滤波处理得到M路自适应滤波信号；将除第一路以外的其他M-1路自适应滤波信号经过阵列滤波处理后得到M-1路阵列滤波器输出信号；将第一路自适应滤波信号分别与M-1路阵列滤波器输出信号进行信号相减得M-1路差值信号，进行时频转换处理后选择能量最小的一路域信号；将第一路和第M路自适应滤波信号进行时频转换处理后进行语音概率滤波得到一路频域语音概率信号；将所述频域语音概率信号和所选择的能量最小的一路信号进行相乘，将相乘结果进行频时转换处理后作为送话器输出信号。本发明的技术方案，既能有效抑制残留回声，又不会对近端语音造成损伤。

Description

一种抑制残留回声的方法和装置

技术领域

本发明涉及回声消除技术领域，更为具体地，涉及一种抑制残留回声的方法和装置。

背景技术

语音通讯中，受话器（又称听筒、receiver、SPK、EAR和EARPHONE）的信号经过线路反射和声学反射，会串入送话器（又称麦克风、咪头、微音器、拾音器）接收信号中，并馈送到远端，使远端听到回声。回声会给通话双方造成极大干扰，影响通话质量，严重时甚至引起啸叫，不仅完全无法通话，还可能伤害通讯设备。因此，为了保证通话质量和设备安全，通常需要在语音通讯中对回声进行抑制。

回声信号是受话器信号经由电声转换为实际声音信号播放出来、再经过环境反射产生的。受话器的电声转换过程和环境反射都可以视为滤波过程，因此回声信号可以看作是受话器经过一个特定的滤波器产生的声音信号。

简单的回声抑制是使信道变成半双工，任何时刻信道内只有单向的信号在传送，抑制回声。但在远近端双讲时，远端在讲话时听不到近端的声音，通话的流畅性受到干扰。

随着对语音通讯要求的不断提升，一般会采用自适应回声消除技术来抑制回音，同时保护近端语音，保证双工效果。

自适应回声消除技术以自适应滤波器作为回声路径消除滤波器来进行回声消除，滤波器通过比较受话器信号和送话器信号，自动实时跟踪回声反射环境的变化，得到准确的回声路径，消除回声。常规的可以去除大部分回声，不会影响双工性能。但是在实际系统中，由于受话器本身有失真，常规的自适应回声消除技术无法消除全部回声，而会有部分的回声残留。

现有的抑制或消除残留回声技术主要有两种方式，一种是监测残留回声强度，限制受话器的功率，使残留回声低于限定水平，但该种方法会导致受话器信号强度有较大起伏，影响近端使用者的听感。另一种方法是在残留回声较强时，将信道转为半双工，显而易见，这种方法在抑制残留回声时会对近端语音造成损伤，特别是对于一些便携的小型免提通话设备，由于受话器的失真较大，而且由于结构紧凑，送话器和受话器距离很近，残留回声很强时，为抑制残留回声会使信道变为半双工，导致通话的流畅性受到影响。

发明内容

鉴于上述问题，本发明结合阵列处理与回声抑制，充分利用小型免提通话设备的声学结构，提出一种抑制残留回声的方法和装置，用以在降低残留回声时减轻对近端语音的损伤，提升双工性能。

本发明公开了一种抑制残留回声的方法，该方法适用于包括M个送话器和1个受话器的通话设备，其中，M为大于1的自然数，所述M个送话器一字排开形成阵列，该方法包括：

将M路送话器信号分别与受话器信号进行自适应滤波处理得到M路自适应滤波信号；

将除第一路以外的其他M-1路自适应滤波信号经过各自对应的阵列滤波器处理后得到M-1路阵列滤波器输出信号；其中，根据受话器和自适应滤波信号对应的送话器之间的相对位置确定该自适应滤波信号所对应的阵列滤波器的权值；

将第一路自适应滤波信号分别与所述M-1路阵列滤波器输出信号进行信号相减处理得到M-1路差值信号；将该M-1路差值信号分别进行时频转换处理，并从中选择能量最小的一路频域信号；

将第一路和第M路自适应滤波信号进行时频转换处理后进行语音概率滤波处理得到一路频域语音概率信号；

将所述频域语音概率信号和所选择的能量最小的一路频域信号进行相乘处理，并将相乘处理结果进行频时转换处理后作为抑制残留回声后的语音输出信号；

所述根据受话器与自适应滤波信号对应的送话器以及第一路送话器之间的相对位置确定该自适应滤波信号所对应的阵列滤波器的权值包括：

对于除第一路以外的其他M-1路自适应滤波信号中的每一个当前自适应滤波信号，根据如下公式确定阵列滤波器的权值：

$\frac{\∂E\left[{(e_1-e_2*h)}^2\right]}{\∂h}=0$

$e_1=\frac{D_2}{D_1}{e}_2(t+\frac{D_2}{c}+\frac{D_1}{c})$

其中，h是阵列滤波器，e₁是第一路自适应滤波信号，e₂是所述的当前自适应滤波信号，D₁是受话器和第一路送话器之间的距离，D₂是受话器和当前自适应滤波信号对应的送话器之间的距离，c为声速，t表示当前时间；

所述将第一路和第M路自适应滤波信号进行时频转换处理后进行语音概率滤波处理得到一路频域语音概率信号包括：

根据第一路和第M路自适应滤波信号进行时频转换处理后的两路结果计算声信号在每个频点上的到达送话器阵列的到达角度α(f)；

然后根据如下公式计算语音概率pF(f)：

pF(f)＝1-α(f)/90；

pF(f)为所述得到的频域语音概率信号。

在上述方法中，在将所述频域语音概率信号和所选择的能量最小的一路频域信号进行相乘处理之后，该方法进一步包括：

将相乘处理结果与时频转换后的受话器信号进行频谱滤波处理，再将相乘处理结果与频谱滤波后的结果进行相减处理，将相减处理后的结果进行频时转换处理后作为抑制残留回声后的语音输出信号。

在上述方法中，所述将相乘处理结果与时频转换后的受话器信号进行频谱滤波处理包括：

将全频率划分为N个子带，子带边界为B₁～B_N+1，在每个子带内进行如下计算：

计算匹配函数H_M(f)：

$H_M\left(f\right)=\frac{\underset{f=B_i}{\overset{f=B_{i+1}}{\mathrm{\Σ}}}{{\mathrm{Em}}_2}^2\left(f\right)}{\underset{f=B_i}{\overset{f=B_{i+1}}{\mathrm{\Σ}}}{X}^2\left(f\right)}$

其中，i为子带编号，Em₂(f)为所述相乘处理结果，X(f)为受话器信号经过时频转换后的结果；

计算匹配回声Y_M(f)：Y_M(f)＝X(f)H_M(F)；

将匹配回声Y_M(f)乘以一定的因子Ag得到频谱滤波后的结果；

则所述再将相乘处理结果与频谱滤波后的结果进行相减处理为： ${\mathrm{Em}}_2\left(f\right)\·(1-\mathrm{Ag}\frac{\left|Y_M\left(f\right)\right|}{\left|{\mathrm{Em}}_2\left(f\right)\right|}).$

本发明还公开了一种抑制残留回声的装置，该装置适用于包括M个送话器和1个受话器的通话设备，其中，M为大于1的自然数，所述M个送话器一字排开形成阵列，该装置包括：M个自适应滤波组件，M-1个阵列滤波组件，1个比较选择器，1个语音概率估计组件，1个乘法器和1个时频变换器；其中：

M个自适应滤波组件，用于将M路送话器信号分别与受话器信号进行自适应滤波处理，输出M路自适应滤波信号；

M-1个阵列滤波组件分别与除第一路以外的其他M-1路自适应滤波信号一一对应，且每个阵列滤波组件包括：1个阵列滤波器、1个减法器和1个时频变换器；

其中：阵列滤波器，用于对所对应的自适应滤波信号进行阵列滤波处理后输出给减法器；减法器，用于将第一路自适应滤波信号与阵列滤波器输出的信号进行相减处理后输出给时频变换器；时频变换器，用于对接收的信号进行时频变换处理后输出频域信号给比较选择器；

比较选择器，用于接收M-1个阵列滤波组件输出的M-1个频域信号，从中选择能量最小的一路频域信号输出给乘法器；

语音概率估计组件包括：2个时频变换器和1个语音概率估计器；其中：所述2个时频变换器，用于分别对第一路和第M路自适应滤波信号进行时频转换处理后输出给语音概率估计器；语音概率估计器，用于根据所接收的2路信号进行语音概率滤波处理输出一路频域语音概率信号给乘法器；

乘法器，用于对所接收的2路频域信号进行相乘处理后输出给频时变换器；

频时变换器，用于对所接收信号进行频时转换处理后作为抑制残留回声后的语音输出信号；

所述阵列滤波器的权值由如下公式确定：

$\frac{\∂E\left[{(e_1-e_2*h)}^2\right]}{\∂h}=0$

$e_1=\frac{D_2}{D_1}{e}_2(t+\frac{D_2}{c}+\frac{D_1}{c})$

其中，h是阵列滤波器，e₁是第一路自适应滤波信号，e₂是该阵列滤波器对应的自适应滤波信号，D₁是受话器和第一路送话器之间的距离，D₂是受话器和该阵列滤波器对应的送话器之间的距离，c为声速，t表示当前时间；

所述语音概率估计器，用于根据所接收的2路信号计算声信号在每个频点上的到达送话器阵列的到达角度α(f)；并根据如下公式计算语音概率pF(f)：pF(f)＝1-α(f)/90；将pF(f)作为频域语音概率信号输出给减法器。

该装置在所述乘法器和频时变换器之间进一步包括：1个频谱滤波组件；

频谱滤波组件包括：1个时频变换器，1个频谱滤波器和1个减法器；其中：时频变换器，用于对受话器信号进行时频转换处理后输出给频谱滤波器；频谱滤波器，用于对乘法器的输出信号和时频变换器的输出信号进行频谱滤波处理后输出给减法器；减法器，用于将乘法器的输出信号和频谱滤波器的输出信号进行减法处理后输出给频时变换器。

在该装置中，所述频谱滤波器，用于将全频率划分为N个子带，子带边界为B₁～B_N+1，在每个子带内进行如下计算：

计算匹配函数H_M(f)：

$H_M\left(f\right)=\frac{\underset{f=B_i}{\overset{f=B_{i+1}}{\mathrm{\Σ}}}{{\mathrm{Em}}_2}^2\left(f\right)}{\underset{f=B_i}{\overset{f=B_{i+1}}{\mathrm{\Σ}}}{X}^2\left(f\right)}$

其中，i为子带编号，Em₂(f)为乘法器的输出信号，X(f)为时频变换器的输出信号；

计算匹配回声Y_M(f)：Y_M(f)＝X(f)H_M(F)；

将匹配回声Y_M(f)乘以一定的因子Ag得到频谱滤波后的结果后输出给减法器。

根据本发明的抑制残留回声的方法和装置，借助新的回声消除技术将残留回声滤波设计与阵列空间滤波相结合，充分利用小型免提通话设备的声学特性以及送话器和受话器的位置信息，利用回声和近端语音到送话器的时间和相位差异，提取语音概率信息，将语音区域和回声区域划分开来，有效滤除残留回声，并保护近端语音。

为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。

附图说明

通过参考以下结合附图的说明及权利要求书的内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为本发明所应用的受话器和送话器阵列相对位置实施例示意图；

图2为本发明所应用的小型免提通话设备使用场景的实施例示意图；

图3为本发明实施例的送话器阵列回声消除系统的方框示意图；

图4为送话器信号与近端语音成分的能量对比示意图；

图5为根据本发明实施例的阵列滤波器的形状示意图；

图6为本发明实施例的经阵列滤波器滤波后的效果示意图；

图7为根据本实施例的语音概率抑制后的信号能量对比示意图；

图8为受话器信号和残留回声频谱的对比示意图；

图9为匹配回声和残留回声频谱的对比示意图；

图10为本发明进行回声滤波后的最终效果比较示意图；

图11为根据本发明实施例的送话器阵列回声消除方法的流程示意图；

图12为本发明实施例的残留回声滤波的流程示意图；

图13是本发明实施例中的抑制残留回声的装置的通用结构的示意图；

图14是本发明实施例中的一种抑制残留回声的方法通用流程图。

在所有附图中相同的标号指示相似或相应的特征或功能。

具体实施方式

以下将结合附图对本发明的具体实施例进行详细描述。

本发明采用送话器阵列消除残余回声，因此适用于有多个送话器和单个受话器的小型免提通话设备。图1和图2分别为本发明所应用的受话器和送话器阵列相对位置以及小型免提通话设备使用场景的实施例示意图，如图1和图2所示，在这种通话设备中，一般受话器放置在送话器阵列90度方向，使用者在送话器阵列0度方向。这与某些应用场景一致，比如车载免提carkit，使用者正对送话器阵列，位置较为固定。图1和图2演示的是双送话器的例子，两个以上多送话器阵列的摆放与之类似。

对于使用者来说，使用者到送话器的距离接近相等，也就是说，送话器阵列中的每一个送话器所接收到的使用者发出的语音信号是基本相同的。但是对于受话器而言，受话器到各个送话器的距离不等，以双送话器阵列为例，如果受话器和送话器1的距离是D₁，与送话器2的距离是D₂，并且D₁>=2D₂，例如D₁=9cm，D₂=4cm。由于受话器发出的回声，到两个送话器之间有相位差，而使用者发出的语音到两个送话器是同相的，因此根据相位关系的差异，可以区分语音和回声，达到分离语音和回声的目的。本发明正是利用这一相位关系的差异来进行语音和回声的分离。

图3为本发明实施例的送话器阵列回声消除系统的方框示意图。

如图3所示，本发明所提供的送话器阵列回声消除系统300主要由自适应回声滤波单元320和残留回声滤波单元340两部分组成，其中自适应回声滤波单元320和残留回声滤波单元340在结构上为级联关系，自适应回声滤波单元320的输入是受话器信号和送话器阵列的两路送话器信号，残留回声滤波单元340的输入信号是受话器信号和自适应回声滤波单元320的两路输出，残留回声滤波单元340的输出信号是送话器阵列回声消除系统的输出，即分离了回声的语音信号。

从送话器阵列回声消除系统300的整体应用来说，本发明所提出的送话器阵列回声消除系统连接在送话器和受话器之间，受话器信号x和送话器信号d（包括送话器阵列的所有信号d₁、d₂…d_M）是系统输入，送话器信号d由回声信号y以及近端语音信号v组成。两路送话器信号经过自适应回声滤波单元320，回声成分被大部分滤除，仅有部分的残留回声进入残留回声滤波单元340，经残留回声滤波单元340后，残留回声也被滤除，最后得到的是只有近端语音信号v，作为分离了回声的语音信号被送话器阵列回声消除系统300输出送到语音通讯的远端。

图4为送话器信号与近端语音成分的能量对比示意图。如图4所示，在典型应用中，实线表示送话器信号d₁，虚线表示送话器信号中的近端语音成分v₁，点线表示回声成分y₁。可以看到，送话器信号中，近端语音成分的能量很低，完全被淹没在回声中。

下面分别对自适应回声滤波单元320和残留回声滤波单元340的组成结构和信号处理过程进行示例性说明。

自适应回声滤波单元320接收受话器信号和送话器阵列信号，基于所接收的受话器信号分别对送话器阵列中的每一个送话器信号进行回声滤波，以得到回声滤波信号阵列。在图3所示的实施例中，自适应回声滤波单元320的输入有三路，受话器信号x和两路送话器信号d₁、d₂，输出为自适应滤波后的回声滤波信号阵列，在图3所示的实施例中为e₁与e₂。在本发明中，自适应回声滤波单元320部分的工作原理与通用的自适应回声滤波相似，可以采用时域或者频域或者时频域混合的滤波形式。

在本实施例中，自适应回声滤波单元320包括与送话器阵列中的每一送话器分别对应设置的滤波器321、滤波控制器322和加法器323构成。其中，滤波器和滤波控制器分别为自适应滤波器和自适应滤波控制器，通过比较受话器信号和送话器信号的相似性，自适应匹配出回声信号并从借助加法器323送话器信号中滤除回声信号，得到相应的回声滤波信号。

残留回声滤波单元340与自适应回声滤波单元320级联，基于所接收的受话器信号，对自适应回声滤波单元320输出的回声滤波信号阵列进行残留回声滤波。也就是说，残留回声滤波单元340的输入有三路，受话器信号x和自适应回声滤波单元320输出的回声滤波信号阵列e₁和e₂，输出为去除所有回声成分的语音信号e_out。本实施例中的残留回声滤波单元340主要包括阵列滤波器341、第一加法器342、时频变换器343、语音概率估计器344和乘法器345，另外还可以包括频谱滤波器346、第二加法器347以及频时变换器348。

在残留回声滤波单元340收到受话器信号和自适应回声滤波单元320输出的回声滤波信号阵列后，时频变换器343会将回声滤波信号阵列中的每一路回声滤波信号e₁和e₂分别从时域变换到频率域，以便进行频率域的语音概率估计。时频变换可以采用傅立叶变换实现，也可以用改进离散数字余弦变换等方式实现。

其中，阵列滤波器341与回声滤波信号阵列中的e₂相卷积，以利用卷积结果初步消除e₁中的残留回声成分。

由于受话器和送话器阵列之间的位置差异，送话器1中的回声，近似于送话器2中的回声与一个阵列滤波器相卷积，因此，将这样一个阵列滤波器与送话器2的回声滤波信号e₂卷积，再从送话器1中减去，就会减小送话器1中的残留回声成分，获得第一残留回声滤波信号em₁，该第一残留回声滤波信号em₁在每一路回声滤波信号e₁和e₂的基础上初步滤除了部分残留回声。下面对阵列滤波器341的权值做如下分析推导：

在如图1所示的通话设备中，送话器和受话器的位置是确定的，根据声传播的物理特性，回声到两个送话器之间的相对关系也是确定的，若受话器发声时，受话器中心的声音为s，则传播到两个送话器上的信号s₁和s₂近似为：

$s_1\left(t\right)=\frac{\mathrm{\ρ}}{D_1}\·s(t-\frac{D_1}{c})$

$s_2\left(t\right)=\frac{\mathrm{\ρ}}{D_2}\·s(t-\frac{D_2}{c})$

因此有近似关系

$s_1\left(t\right)=\frac{D_2}{D_1}{s}_2(t+\frac{D_2}{c}-\frac{D_1}{c})$

其中，D₁和D₂分别为送话器到受话器1和受话器2之间的距离，t表示当前时间，c为声速。ρ为能量衰减因子，由受话器电声特性决定，为定值。

两路残留回声的关系也与之类似，符合近似关系：

$e_1\left(t\right)=\frac{D_2}{D_1}{e}_2(t+\frac{D_2}{c}+\frac{D_1}{c})$

因此可以由受话器与送话器之间的相对位置确定阵列滤波器的权值，即:幅度为D₂/D₁，时延为(D₁-D₂)/c。

图5为根据本发明实施例的阵列滤波器的形状示意图。如图5所示，以受话器距离两个送话器的距离D₁=9cm、D₂=4cm为例，滤波器的峰值位置，其时延是(D₁-D₂)/c，其幅度近似为D₂/D₁。此阵列滤波器的权值可以根据具体的应用需求事先离线算出并固定。

图6为本发明实施例的经阵列滤波器滤波后的效果示意图。如图6所示，点线部分表示自适应回声滤波后的信号E₁，实线部分表示阵列滤波后的信号Em₁，虚线部分表示近端语音成分V₁，从图6的三部分信号的能量对比可以看出，经阵列滤波器341阵列滤波前后残留回声能量变化，平均降低约6dB。通过效果对比示意图能够充分说明利用阵列滤波器341能够在一定程度上滤除部分回声信号。

对于送话器多于两个的送话器阵列，阵列滤波器341的计算方式与该具有两个送话器的送话器阵列的计算方式类似。设有M个送话器，自适应回声滤波的输出为E₁,E₂～E_M，通过送话器1和其它送话器k之间的相对位置，可以计算送话器1和其他送话器k之间的阵列滤波器h_k(1<k≤M)，这样通过(M-1)个阵列滤波器，就可以得到(M-1)个阵列滤波器输出Em_{1_k}，取其中能量最小的输出即可作为最终的Em₁。

阵列滤波器的计算需满足最小均方差准则，设此阵列滤波器为h，则h需要满足

$\frac{\&PartialD;E\left[{(e_1-e_2*h)}^2\right]}{\&PartialD;h}=0$

其中E[.]为取平均值运算。如果设阵列滤波器输出为em₁，则有

em₁＝e₁-h*e₂

和

${\mathrm{em}}_1\left(n\right)=e_1\left(n\right)-\underset{k=1}{\overset{L}{\mathrm{\&Sigma;}}}{e}_2(n-k)h\left(k\right)$

其中L为阵列滤波器长度。

通过上述阵列滤波器和加法器的回声滤波处理，所得到的第一残留回声滤波信号中仍然残留有一定的回声信号，因此，在获得的第一残留回声滤波信号em₁的基础上，本发明对其中的残留回声进行进一步的滤波处理，在这一层的回声滤波处理中，主要采用语音概率估计器和乘法器相结合进行。

首先，在经阵列滤波器341通过卷积滤除e₁中的部分回声信号输出em₁后，需要利用时频变换器343将该信号em₁从时域变换到频率域，即从em₁变换到Em₁。

语音概率估计器344通过比较两路回声滤波信号e₁和e₂经时频域变换后的两路信号E₁和E₂的时间和相位关系，得出指示两路回声滤波信号中的语音和回声分布在哪些频率区域的频域语音概率信息pF。

语音概率估计的工作原理是，两路送话器信号E₁、E₂中都含有残留回声和语音信号，残留回声是从90度方向来的，存在相位差，语音信号则是从0度方向来的，同相位。因此，当近端语音越强，语音的成分越多，E₁和E₂的相位就越接近。当近端语音很弱，语音成分越少，E₁和E₂的相位差就越明显。通过比较各个频点上E₁和E₂的相位，可以获得送话器阵列获得的语音信号在频率上的分布。

具体实现方法是，根据E₁和E₂计算声信号在空间上的到达角度，也即声信号是从哪个方向来，如果来自90度方向，则信号是回声信号，语音概率为0，如果来自0度，则是语音方向，语音概率为1。如果来自于0和90度之间的方向α，则语音概率在0和1之间，具体值为1-α/90。

经过语音概率判断后，可以计算得到每个频点上的语音概率：

pF(f)＝1-α(f)/90

其中f为频率。

多于两个的送话器阵列，可以选取第1个和第M个送话器的自适应滤波器输出E₁和E_M计算语音概率，方法与双送话器阵列相同。

将阵列滤波后的信号em₁经时频转换后变为Em₁，与语音概率pF相乘，则可以得到输出Em₂。

Em₂(f)＝Em₁(f)·pF(f)

图7为根据本实施例的语音概率抑制后的信号能量对比示意图。如图7所示，点线部分表示阵列滤波后信号Em₁，实线部分表示语音概率抑制后信号Em₂，虚线部分表示近端语音成分V₁，从图7的三部分信号的能量对比可以看出，经过阵列滤波和语音概率相乘后，残留回声信号进一步降低，而语音成分则被保留。Em₂的语音-回声比可以比E₁提高10dB以上，从而进一步抑制残留回声，得到更纯净的近端语音。

另外，Em₂中的残余回声还可以通过频谱滤波器346进一步去除。残余回声从能量上看，有很多能量峰值，将峰值抑制下去，就可以进一步去除回声。

图8为受话器信号和残留回声频谱的对比示意图。如图8所示，实现部分表示残留回声，点线部分表示受话器信号，由于回声是由受话器信号产生的，回声和受话器信号的谐波峰值位置相同或相近，只是总体起伏形状和信号能量不同。因此，可以将受话器信号和残余回声信号做频谱包络形状匹配，再乘以一定的因子Ag做能量匹配，并与残余回声信号做相位匹配，得到匹配回声，然后再将匹配回声从残留回声信号中减去，可以去除残留回声。Ag是不小于1的因子，一般取1～8之间，根据残留回声能量而定，为了能将残留回声滤除干净，残留回声越强，Ag则应越大，频谱滤波的力度越强，但对近端语音伤害也就越大。而经过语音概率估计的处理后，残留回声已经较弱，因此匹配回声可以取得较小，不太强的频谱滤波可以将残留回声滤除，相应的，近端语音则可以较好保留。

具体地，频谱滤波器346的频谱滤波过程如下：

先将受话器信号和残余回声信号做频谱包络形状匹配，得到回声估计。可以用以下方式进行：

将全频率划分为M个子带，子带边界为B₁～B_M，M可以为32或16。Em2和X在每个子带内求能量，将能量相除，得到能量匹配函数H_M。受话器信号X乘以H_M得到匹配回声Y_M。

图9为匹配回声和残留回声频谱的对比示意图。如图9所示，实现部分表示残留回声，点线部分表示匹配回声，匹配效果比较明显。

计算匹配函数的方法如下面的公式，对于属于第M个子带的频点f，其匹配函数为：

$H_M\left(f\right)=\frac{\underset{f=B_i}{\overset{f=B_{i+1}}{\mathrm{\&Sigma;}}}{{\mathrm{Em}}_2}^2\left(f\right)}{\underset{f=B_i}{\overset{f=B_{i+1}}{\mathrm{\&Sigma;}}}{X}^2\left(f\right)},$ B_i≤f＜B_i+1

而经过频谱包络形状匹配的回声为

Y_M(f)＝X(f)H_M(F)

再经过能量匹配和相位匹配，得到的回声估计信号为：

${\mathrm{Em}}_2\left(f\right)\&CenterDot;\mathrm{Ag}\frac{\left|Y_M\left(f\right)\right|}{\left|{\mathrm{Em}}_2\left(f\right)\right|}$

最后利用加法器从Em₂中减去回声估计信号，即得到最终的语音输出：

$\mathrm{Eout}\left(f\right)={\mathrm{Em}}_2\left(f\right)\&CenterDot;(1-\mathrm{Ag}\&CenterDot;\frac{\left|Y_M\left(f\right)\right|}{\left|{\mathrm{Em}}_2\left(f\right)\right|})$

在最终消除回声对语音的影响之后，尚需利用频时变换器将语音信号从频率域变回到时域，频时变换可以用逆傅立叶变换实现，也可以用逆离散数字余弦变换等其他方式实现。

经过频时转换后，频域信号Eout变换为时域信号eout，作为送话器阵列回声消除系统300的总输出。

图10为本发明进行回声滤波后的最终效果比较示意图。如图10所示，实线表示送话器信号d1，虚线表示送话器信号中的近端语音信号成分v1，点线表示系统输出eout。从图10中的信号能量对比可以看出，在只有回声的区域，输出信号eout能量很小，说明回声被压制的很彻底，在有近端语音的部分，系统输出和语音成分能量接近，说明近端语音被很好保护。

图11为根据本发明实施例的送话器阵列回声消除方法的流程图。如图11所示，该方法始于步骤S1110，在送话器阵列接收到包括近端语音信号v和受话器信号x后，首先基于受话器信号对送话器阵列信号进行自适应回声滤波，得到回声滤波信号阵列。具体地说，对于具有两个送话器的送话器阵列而言，送话器1接收到的声音信号d1包括近端语音信号v1和受话器产生的回声信号y1，即d1=y1+v1；送话器2接收到的声音信号d2包括近端语音信号v2和受话器产生的回声信号y2，即d2=y2+v2。分别对这两个送话器所接收的声音信号进行自适应滤波，通常采用自适应滤波器、自适应滤波控制器和加法器构成的自适应滤波单元实现。自适应滤波后得到回声滤波信号阵列，在本实施例中即为e1和e2。

然后，在步骤S1120中，基于所接收的受话器信号，对所得到的回声滤波信号阵列进行残留回声滤波。残留回声的滤波采用与自适应滤波单元级联的残留回声滤波单元实现，其中具体的滤波过程如图12所示。

图12示出了本发明实施例的残留回声滤波的流程图，如图12所示，经过初步的自适应滤波之后，送话器所接收的信号中还会有部分回声残留，此时，首先从回声滤波信号阵列中的一个回声滤波信号中减去另一个回声滤波信号与阵列滤波器相卷积所产生的信号，以输出第一残留回声滤波信号（步骤S121），其中阵列滤波器的权值由受话器与送话器阵列之间的相对位置确定；然后将回声滤波信号阵列中的每一回声滤波信号以及第一残留回声滤波信号分别从时域变换到频率域（步骤S122），其中，将回声滤波信号阵列中的每一回声滤波信号分别从时域变换到频率域的处理与步骤S121中滤波处理的顺序没有必然的先后，可以同时进行，也可以顺序进行。

在将回声滤波信号阵列中的每一回声滤波信号分别从时域变换到频率域之后，在步骤S123中，通过比较经过时频域变换器变换的回声滤波信号阵列中的每一回声滤波信号的时间和相位关系，确定语音和回声分布区域的频域语音概率信息。

然后，在步骤S124中，根据所确定的频域语音概率信息进一步降低所述从时域变换到频率域的第一残留回声滤波信号中的残留回声信号，得到第二残留回声滤波信号。这一滤波过程通过使第一残留回声滤波信号与所确定的频域语音概率相乘实现。

接着，在步骤S125中，基于所接收的受话器信号和第二残留回声滤波信号利用频谱滤波器确定回声估计信号。具体地说，将受话器信号和残余回声信号做频谱包络形状匹配，然后乘以一因子Ag进行能量匹配。并与第二残留回声滤波信号做相位匹配，得到匹配回声，然后再根据所得到的匹配回声确定回声估计信号，Ag的取值为不小于1的实数，一般取为1～8，根据残留回声的强度而定。

在步骤S126中，从第二残留回声滤波信号中减去所确定的回声估计信号，即得到分离的语音信号。

最后，在步骤S127中，将分离的语音信号从频率域变换到时域。

在上述实施例中以送话器阵列包含两个送话器为例进行了说明。在实际应用中送话器阵列中的送话器个数也可以是更大的数值，如3、4、5等。下面对本发明中的通用的抑制残留回声的装置和方法进行说明。

图13是本发明实施例中的抑制残留回声的装置的通用结构的示意图。该装置适用于包括M个送话器和1个受话器的通话设备，其中，M为大于1的自然数，所述M个送话器一字排开形成阵列，如图13所示，该装置包括：M个自适应滤波组件，M-1个阵列滤波组件，1个比较选择器，1个语音概率估计组件，1个乘法器和1个时频变换器；其中：

M个自适应滤波组件，用于将M路送话器信号分别与受话器信号进行自适应滤波处理，输出M路自适应滤波信号；

M-1个阵列滤波组件分别与除第一路以外的其他M-1路自适应滤波信号一一对应，且每个阵列滤波组件包括：1个阵列滤波器、1个减法器和1个时频变换器；

其中：阵列滤波器，用于对所对应的自适应滤波信号进行阵列滤波处理后输出给减法器；减法器，用于将第一路自适应滤波信号与阵列滤波器输出的信号进行相减处理后输出给时频变换器；时频变换器，用于对接收的信号进行时频变换处理后输出频域信号给比较选择器；

比较选择器，用于接收M-1个阵列滤波组件输出的M-1个频域信号，从中选择能量最小的一路频域信号输出给乘法器；

语音概率估计组件包括：2个时频变换器和1个语音概率估计器；其中：所述2个时频变换器，用于分别对第一路和第M路自适应滤波信号进行时频转换处理后输出给语音概率估计器；语音概率估计器，用于根据所接收的2路信号进行语音概率滤波处理输出一路频域语音概率信号给乘法器；

乘法器，用于对所接收的2路频域信号进行相乘处理后输出给频时变换器；

频时变换器，用于对所接收信号进行频时转换处理后作为抑制残留回声后的语音输出信号。

在图13所示的装置中，当M等于2时：所述比较选择器，用于接收1个阵列滤波组件输出的1个频域信号，将该频域信号输出给乘法器；或者，图3所示的装置不包含比较选择器，阵列滤波组件中的时频变换器直接将频域信号输出给乘法器，此时，图13所示的装置变形为3所示的装置。

如图13所示，该装置在所述乘法器和频时变换器之间进一步包括：1个频谱滤波组件；

频谱滤波组件包括：1个时频变换器，1个频谱滤波器和1个减法器；其中：时频变换器，用于对受话器信号进行时频转换处理后输出给频谱滤波器；频谱滤波器，用于对乘法器的输出信号和时频变换器的输出信号进行频谱滤波处理后输出给减法器；减法器，用于将乘法器的输出信号和频谱滤波器的输出信号进行减法处理后输出给频时变换器。

在图13所示的装置中，所述阵列滤波器的权值由如下公式确定：

$\frac{\&PartialD;E\left[{(e_1-e_2*h)}^2\right]}{\&PartialD;h}=0$

$e_1=\frac{D_2}{D_1}{e}_2(t+\frac{D_2}{c}+\frac{D_1}{c})$

其中，h是阵列滤波器，e₁是第一路自适应滤波信号，e₂是该阵列滤波器对应的自适应滤波信号，D₁是受话器和第一路送话器之间的距离，D₂是受话器和该阵列滤波器对应的送话器之间的距离，c为声速。

在图13所示的装置中，所述语音概率估计器，用于根据所接收的2路信号计算声信号在每个频点上的到达送话器阵列的到达角度α(f)；并根据如下公式计算语音概率pF(f)：pF(f)＝1-α(f)/90；将pF(f)作为频域语音概率信号输出给减法器。

在图13所示的装置中，所述频谱滤波器，用于将全频率划分为N个子带，子带边界为B₁～B_N+1，在每个子带内进行如下计算：

计算匹配函数H_M(f)：

$H_M\left(f\right)=\frac{\underset{f=B_i}{\overset{f=B_{i+1}}{\mathrm{\&Sigma;}}}{{\mathrm{Em}}_2}^2\left(f\right)}{\underset{f=B_i}{\overset{f=B_{i+1}}{\mathrm{\&Sigma;}}}{X}^2\left(f\right)}$

其中，i为子带编号，Em₂(f)为乘法器的输出信号，X(f)为时频变换器的输出信号；

计算匹配回声Y_M(f)：Y_M(f)＝X(f)H_M(F)；

将匹配回声Y_M(f)乘以一定的因子Ag得到频谱滤波后的结果后输出给减法器。

图14是本发明实施例中的一种抑制残留回声的方法通用流程图。该方法适用于包括M个送话器和1个受话器的通话设备，其中，M为大于1的自然数，所述M个送话器一字排开形成阵列，如图14所示该方法包括：

1401，将M路送话器信号分别与受话器信号进行自适应滤波处理得到M路自适应滤波信号；

1402，将除第一路以外的其他M-1路自适应滤波信号经过各自对应的阵列滤波器处理后得到M-1路阵列滤波器输出信号；其中，根据受话器和自适应滤波信号对应的送话器之间的相对位置确定该自适应滤波信号所对应的阵列滤波器的权值；

1403，将第一路自适应滤波信号分别与所述M-1路阵列滤波器输出信号进行信号相减处理得到M-1路差值信号；将该M-1路差值信号分别进行时频转换处理，并从中选择能量最小的一路频域信号；

1404，将第一路和第M路自适应滤波信号进行时频转换处理后进行语音概率滤波处理得到一路频域语音概率信号；

1405，将所述频域语音概率信号和所选择的能量最小的一路频域信号进行相乘处理，并将相乘处理结果进行频时转换处理后作为抑制残留回声后的语音输出信号。

在图14所示的方法中，当所述M等于2时：

所述将除第一路以外的其他M-1路自适应滤波信号经过各自对应的阵列滤波器处理后得到M-1路阵列滤波器输出信号为：将除第一路以外的另一路自适应滤波信号经过阵列滤波器处理后得到1路阵列滤波器输出信号；

所述将第一路自适应滤波信号分别与所述M-1路阵列滤波器输出信号进行信号相减处理得到M-1路差值信号；将该M-1路差值信号分别进行时频转换处理，并从中选择能量最小的一路频域信号为：将第一路自适应滤波信号与另一路阵列滤波器输出信号进行信号相减处理得到1路差值信号，将该路差值信号进行时频转换处理；

所述将所述频域语音概率信号和所选择的能量最小的一路频域信号进行相乘处理为：将所述频域语音概率信号和所述差值信号进行时频转换处理后的信号进行相乘处理。

在图14所示的方法中，在将所述频域语音概率信号和所选择的能量最小的一路频域信号进行相乘处理之后，该方法进一步包括：

将相乘处理结果与时频转换后的受话器信号进行频谱滤波处理，再将相乘处理结果与频谱滤波后的结果进行相减处理，将相减处理后的结果进行频时转换处理后作为抑制残留回声后的语音输出信号。

在图14所示的方法中，所述根据受话器与自适应滤波信号对应的送话器以及第一路送话器之间的相对位置确定该自适应滤波信号所对应的阵列滤波器的权值包括：

对于除第一路以外的其他M-1路自适应滤波信号中的每一个当前自适应滤波信号，根据如下公式确定阵列滤波器的权值：

$\frac{\&PartialD;E\left[{(e_1-e_2*h)}^2\right]}{\&PartialD;h}=0$

$e_1=\frac{D_2}{D_1}{e}_2(t+\frac{D_2}{c}+\frac{D_1}{c})$

其中，h是阵列滤波器，e₁是第一路自适应滤波信号，e₂是所述的当前自适应滤波信号，D₁是受话器和第一路送话器之间的距离，D₂是受话器和当前自适应滤波信号对应的送话器之间的距离，c为声速。

在图14所示的方法中，所述将第一路和第M路自适应滤波信号进行时频转换处理后进行语音概率滤波处理得到一路频域语音概率信号包括：

根据第一路和第M路自适应滤波信号进行时频转换处理后的两路结果计算声信号在每个频点上的到达送话器阵列的到达角度α(f)；

然后根据如下公式计算语音概率pF(f)：

pF(f)＝1-α(f)/90；

pF(f)为所述得到的频域语音概率信号。

在图14所示的方法中，所述将相乘处理结果与时频转换后的受话器信号进行频谱滤波处理包括：

将全频率划分为N个子带，子带边界为B₁～B_N+1，在每个子带内进行如下计算：

计算匹配函数H_M(f)：

$H_M\left(f\right)=\frac{\underset{f=B_i}{\overset{f=B_{i+1}}{\mathrm{\&Sigma;}}}{{\mathrm{Em}}_2}^2\left(f\right)}{\underset{f=B_i}{\overset{f=B_{i+1}}{\mathrm{\&Sigma;}}}{X}^2\left(f\right)}$

其中，i为子带编号，Em₂(f)为所述相乘处理结果，X(f)为受话器信号经过时频转换后的结果；

计算匹配回声Y_M(f)：Y_M(f)＝X(f)H_M(F)；

将匹配回声Y_M(f)乘以一定的因子Ag得到频谱滤波后的结果；

则所述再将相乘处理结果与频谱滤波后的结果进行相减处理为： ${\mathrm{Em}}_2\left(f\right)\&CenterDot;(1-\mathrm{Ag}\frac{\left|Y_M\left(f\right)\right|}{\left|{\mathrm{Em}}_2\left(f\right)\right|}).$

如上参照附图以示例的方式描述了本发明用于回声消除的送话器阵列残留回声消除方法及系统。显然，本领域的普通技术人员在不偏离本发明概念的条件下，不需要付出创造性的劳动，就可以对在此公开的特定装置和技术进行许多应用和修改，并且可以与在此所公开的特定装置和技术有所不同。因此，本发明应该被理解成包括此处所公开的装置和技术所提出或拥有的每一个新颖特征和新颖的特征组合，但凡本领域普通技术人员根据本发明所揭示的内容所作的等效修饰和变化，皆应纳入权利要求书中记载的保护范围内。

Claims (6)

1.一种抑制残留回声的方法，其特征在于，该方法适用于包括M个送话器和1个受话器的通话设备，其中，M为大于1的自然数，所述M个送话器一字排开形成阵列，该方法包括：

将M路送话器信号分别与受话器信号进行自适应滤波处理得到M路自适应滤波信号；

将除第一路以外的其他M-1路自适应滤波信号经过各自对应的阵列滤波器处理后得到M-1路阵列滤波器输出信号；其中，根据受话器和自适应滤波信号对应的送话器之间的相对位置确定该自适应滤波信号所对应的阵列滤波器的权值；

将第一路自适应滤波信号分别与所述M-1路阵列滤波器输出信号进行信号相减处理得到M-1路差值信号；将该M-1路差值信号分别进行时频转换处理，并从中选择能量最小的一路频域信号；

将第一路和第M路自适应滤波信号进行时频转换处理后进行语音概率滤波处理得到一路频域语音概率信号；

将所述频域语音概率信号和所选择的能量最小的一路频域信号进行相乘处理，并将相乘处理结果进行频时转换处理后作为抑制残留回声后的语音输出信号；

所述根据受话器与自适应滤波信号对应的送话器以及第一路送话器之间的相对位置确定该自适应滤波信号所对应的阵列滤波器的权值包括：

对于除第一路以外的其他M-1路自适应滤波信号中的每一个当前自适应滤波信号，根据如下公式确定阵列滤波器的权值：

$\frac{\&PartialD;E\left[{(e_1-e_2*h)}^2\right]}{\&PartialD;h}=0$

$e_1=\frac{D_2}{D_1}{e}_2(t+\frac{D_2}{c}+\frac{D_1}{c})$

其中，h是阵列滤波器，e₁是第一路自适应滤波信号，e₂是所述的当前自适应滤波信号，D₁是受话器和第一路送话器之间的距离，D₂是受话器和当前自适应滤波信号对应的送话器之间的距离，c为声速，t表示当前时间；

所述将第一路和第M路自适应滤波信号进行时频转换处理后进行语音概率滤波处理得到一路频域语音概率信号包括：

根据第一路和第M路自适应滤波信号进行时频转换处理后的两路结果计算声信号在每个频点上的到达送话器阵列的到达角度α(f)；

然后根据如下公式计算语音概率pF(f)：

pF(f)＝1-α(f)/90；

pF(f)为所述得到的频域语音概率信号。

2.根据权利要求1所述的方法，其特征在于，在将所述频域语音概率信号和所选择的能量最小的一路频域信号进行相乘处理之后，该方法进一步包括：

将相乘处理结果与时频转换后的受话器信号进行频谱滤波处理，再将相乘处理结果与频谱滤波后的结果进行相减处理，将相减处理后的结果进行频时转换处理后作为抑制残留回声后的语音输出信号。

3.根据权利要求2所述的方法，其特征在于，所述将相乘处理结果与时频转换后的受话器信号进行频谱滤波处理包括：

将全频率划分为N个子带，子带边界为B₁～B_N+1，在每个子带内进行如下计算：

计算匹配函数H_M(f)：

$H_M\left(f\right)=\frac{\underset{f=B_i}{\overset{f=B_{i+1}}{\mathrm{\&Sigma;}}}{{\mathrm{Em}}_2}^2\left(f\right)}{\underset{f=B_i}{\overset{f=B_{i+1}}{\mathrm{\&Sigma;}}}{X}^2\left(f\right)}$

其中，i为子带编号，Em₂(f)为所述相乘处理结果，X(f)为受话器信号经过时频转换后的结果；

计算匹配回声Y_M(f)：Y_M(f)＝X(f)H_M(F)；

将匹配回声Y_M(f)乘以一定的因子Ag得到频谱滤波后的结果；

则所述再将相乘处理结果与频谱滤波后的结果进行相减处理为： ${\mathrm{Em}}_2\left(f\right)\&CenterDot;(1-\mathrm{Ag}\frac{\left|Y_M\left(f\right)\right|}{\left|{\mathrm{Em}}_2\left(f\right)\right|}).$

4.一种抑制残留回声的装置，其特征在于，该装置适用于包括M个送话器和1个受话器的通话设备，其中，M为大于1的自然数，所述M个送话器一字排开形成阵列，该装置包括：M个自适应滤波组件，M-1个阵列滤波组件，1个比较选择器，1个语音概率估计组件，1个乘法器和1个时频变换器；其中：

M个自适应滤波组件，用于将M路送话器信号分别与受话器信号进行自适应滤波处理，输出M路自适应滤波信号；

M-1个阵列滤波组件分别与除第一路以外的其他M-1路自适应滤波信号一一对应，且每个阵列滤波组件包括：1个阵列滤波器、1个减法器和1个时频变换器；

其中：阵列滤波器，用于对所对应的自适应滤波信号进行阵列滤波处理后输出给减法器；减法器，用于将第一路自适应滤波信号与阵列滤波器输出的信号进行相减处理后输出给时频变换器；时频变换器，用于对接收的信号进行时频变换处理后输出频域信号给比较选择器；

比较选择器，用于接收M-1个阵列滤波组件输出的M-1个频域信号，从中选择能量最小的一路频域信号输出给乘法器；

语音概率估计组件包括：2个时频变换器和1个语音概率估计器；其中：所述2个时频变换器，用于分别对第一路和第M路自适应滤波信号进行时频转换处理后输出给语音概率估计器；语音概率估计器，用于根据所接收的2路信号进行语音概率滤波处理输出一路频域语音概率信号给乘法器；

乘法器，用于对所接收的2路频域信号进行相乘处理后输出给频时变换器；

频时变换器，用于对所接收信号进行频时转换处理后作为抑制残留回声后的语音输出信号；

所述阵列滤波器的权值由如下公式确定：

$\frac{\&PartialD;E\left[{(e_1-e_2*h)}^2\right]}{\&PartialD;h}=0$

$e_1=\frac{D_2}{D_1}{e}_2(t+\frac{D_2}{c}+\frac{D_1}{c})$

其中，h是阵列滤波器，e₁是第一路自适应滤波信号，e₂是该阵列滤波器对应的自适应滤波信号，D₁是受话器和第一路送话器之间的距离，D₂是受话器和该阵列滤波器对应的送话器之间的距离，c为声速，t表示当前时间；

所述语音概率估计器，用于根据所接收的2路信号计算声信号在每个频点上的到达送话器阵列的到达角度α(f)；并根据如下公式计算语音概率pF(f)：pF(f)＝1-α(f)/90；将pF(f)作为频域语音概率信号输出给减法器。

5.根据权利要求4所述的装置，其特征在于，该装置在所述乘法器和频时变换器之间进一步包括：1个频谱滤波组件；

频谱滤波组件包括：1个时频变换器，1个频谱滤波器和1个减法器；其中：时频变换器，用于对受话器信号进行时频转换处理后输出给频谱滤波器；频谱滤波器，用于对乘法器的输出信号和时频变换器的输出信号进行频谱滤波处理后输出给减法器；减法器，用于将乘法器的输出信号和频谱滤波器的输出信号进行减法处理后输出给频时变换器。

6.根据权利要求5所述的装置，其特征在于，

所述频谱滤波器，用于将全频率划分为N个子带，子带边界为B₁～B_N+1，在每个子带内进行如下计算：

计算匹配函数H_M(f)：

$H_M\left(f\right)=\frac{\underset{f=B_i}{\overset{f=B_{i+1}}{\mathrm{\&Sigma;}}}{{\mathrm{Em}}_2}^2\left(f\right)}{\underset{f=B_i}{\overset{f=B_{i+1}}{\mathrm{\&Sigma;}}}{X}^2\left(f\right)}$

其中，i为子带编号，Em₂(f)为乘法器的输出信号，X(f)为时频变换器的输出信号；

计算匹配回声Y_M(f)：Y_M(f)＝X(f)H_M(F)；

将匹配回声Y_M(f)乘以一定的因子Ag得到频谱滤波后的结果后输出给减法器。

Images