CN103051818B - 一种用于小型免提语音通讯系统中的回声消除装置和方法 - Google Patents

Abstract

本发明公开了一种用于小型免提语音通讯系统中回声消除的装置和方法，该系统包括受话器、主送话器和辅送话器，主送话器与受话器之间的距离大于辅送话器与受话器之间的距离。装置包括在结构上依次级联的阵列回声消除单元、自适应回声消除单元以及残留回声消除单元。阵列回声消除单元的输入是主送话器信号和辅送话器信号，通过阵列滤波得到一路输出信号；自适应回声消除单元的输入信号是受话器信号和阵列回声消除单元的输出信号以及辅送话器信号，通过自适应滤波得到两路输出信号；残留回声消除单元的输入信号是自适应回声消除单元的两输出信号，通过语音概率估计和回声匹配得到消除回声的语音信号；可提升双工性能且不严格要求送话器的相位一致性。

Description

一种用于小型免提语音通讯系统中的回声消除装置和方法

技术领域

本发明涉及回声消除技术领域，特别涉及一种用于小型免提语音通讯系统中的回声消除装置和方法。

背景技术

语音通讯中常有回声问题，受话端信号由受话器（也称为听筒、receiver、SPK或earphone等）播放后，经过线路和声学反射串入送话端（也称为麦克风或拾音器等）的接收信号中，并馈送到远端，使远端的通讯联络人听到回声。回声会给通话双方造成极大干扰，影响通话质量。回声很大时还可能导致受话器啸叫并损伤受话器。为保证通话质量和设备安全，需要在语音通讯中对回声进行抑制。

回声从产生机制上分可以分为线性回声成分和非线性回声成分两类，其中线性回声成分是由电声线路放大和声学传输产生，非线性回声成分是由受话器的非线性失真和声学传输产生。线性回声成分消除通常采用自适应回声消除技术，这种技术是应用很广泛的成熟技术，可以消除线性回声成分且不会损伤近端语音。但是非线性回声成分的消除很容易造成近端语音受损，致使双工性能变差，甚至会使信道变成半双工。

半双工现象在小型免提语音通讯设备上很常见，如具有免提功能的手机或对讲电话（speakerphone）中，因为这类设备的受话器非线性失真和非线性回声成分都较大。随着对语音通讯流畅度和舒适度需求的不断提升，需要在抑制回声的同时保护近端语音，保证双工效果。由于双工的损失主要出现在非线性回声成分消除中，因此特别需要对非线性回声成分消除技术做改进。

在小型免提语音通讯设备上的回声消除，提升双工性能的一类做法是借助送话器阵列，将回声滤波与阵列空间滤波相结合，利用回声传播到各个送话器的信号差异，实现回声提取并与语音分离，如中国专利申请号为201110326010.0的发明专利申请中提到的方法，应用阵列信号处理和回声消除，可以实现接近全双工的通话。但是这种方法需要精确判定回声和近端语音到送话器阵列的波达方向，因而对送话器一致性要求很高，不仅需要送话器灵敏度一致，更需要相位的一致性，因此需要严格的声学设计，而在小型免提设备上，由于结构紧凑，尺寸有限，很难完全满足声学设计尤其是相位一致性的要求，因此限制了其应用。

发明内容

本发明提供一种小型免提语音通讯系统中的回声消除装置和方法，在降低回声时减轻对近端语音的损伤，提升双工性能，同时不严格要求送话器的相位一致性。为达到上述目的，本发明采用如下技术方案：

本发明公开了一种用于小型免提语音通讯系统中回声消除的装置，所述小型免提语音通讯系统包括受话器、主送话器和辅送话器，主送话器与受话器之间的距离大于辅送话器与受话器之间的距离，其中，该装置包括在结构上依次级联的：阵列回声消除单元、自适应回声消除单元以及残留回声消除单元，阵列回声消除单元的输入是主送话器信号和辅送话器信号，通过阵列滤波，去除主送话器信号中的部分线性回声成分和部分非线性回声成分，得到一路输出信号；自适应回声消除单元的输入信号是受话器信号和阵列回声消除单元的输出信号以及辅送话器信号，通过自适应滤波，分别从阵列回声消除单元的输出信号中去除主送话器信号中的残余线性回声成分和从辅送话器信号中去除辅送话器信号中的线性回声成分，得到两路输出信号；残留回声消除单元的输入信号是自适应回声消除单元的两路输出信号，通过语音概率估计和回声匹配，去除主送话器信号中的残余非线性回声成分，得到一路输出信号作为消除回声后的语音信号。

本发明还公开了一种用于小型免提语音通讯系统中回声消除的方法，所述小型免提语音通讯系统包括受话器、主送话器和辅送话器，主送话器与受话器之间的距离大于辅送话器与受话器之间的距离，该方法包括：将主送话器信号和辅送话器信号，输入阵列回声消除单元，进行阵列滤波，去除主送话器信号中的部分线性回声成分和部分非线性回声成分，得到一路输出信号；将受话器信号和阵列回声消除单元的输出信号以及辅送话器信号，输入自适应回声消除单元，进行自适应滤波，分别从阵列回声消除单元的输出信号中去除主送话器信号中的残余线性回声成分和从辅送话器信号中去除辅送话器信号中的线性回声成分，得到两路输出信号；将自适应回声消除单元的两路输出信号，输入残留回声消除单元，通过语音概率估计和回声匹配去除主送话器信号中的残余非线性回声成分，得到一路输出信号作为消除回声后的语音信号。

本发明实施例的有益效果是：根据本发明的用于小型免提语音通讯系统中回声消除的装置和方法，通过充分利用小型免提语音通讯系统的声学特性以及送话器和受话器的位置信息，通过对不同送话器信号进行总体轮廓匹配和幅度匹配，得到幅度匹配回声；利用回声到不同送话器的幅度差异，由于不同送话器信号幅度差异越大，近端语音概率越小，则能够提取指示语音和回声在各个时频区域的比例语音概率信息，将语音区域和回声区域划分开来，有效去除残留回声，并保护近端语音，提升双工性能，同时不严格要求送话器的相位一致性。

附图说明

图1为本发明用于小型免提语音通讯系统中回声消除的装置和方法所应用的受话器和送话器位置的示意图；

图2为本发明用于小型免提语音通讯系统中回声消除的装置和方法所应用的桌面小型免提语音通讯系统的使用示意图；

图3为本发明用于小型免提语音通讯系统中回声消除的装置和方法所应用的车用小型免提语音通讯系统的使用示意图；

图4（a）为两送话器信号中回声成分能量曲线示意图；

图4（b）为主辅送话器信号中的近端语音成分能量曲线示意图；

图4（c）为主送话器中回声成分和近端语音成分的能量曲线示意图；

图5（a）为主送话器信号能量曲线示意图；

图5（b）为主送话器回声成分能量曲线示意图；

图5（c）为主送话器近端语音成分能量曲线示意图；

图6为本发明较佳实施例提供的用于小型免提语音通讯系统中回声消除的装置在使用状态下的方框示意图；

图7为辅送话器到主送话器的各个信号成分的传递函数示意图；

图8为主送话器信号和阵列滤波后的输出信号的能量曲线示意图；

图9为阵列滤波组件输出信号与自适应回声滤波得到的第一自适应滤波信号的能量曲线示意图；

图10为第一自适应滤波信号和第二自适应滤波信号的非线性回声成分的能量曲线示意图；

图11为第一自适应滤波信号的非线性回声的能量曲线和匹配回声的能量曲线示意图；

图12（a）为主送话器信号的能量曲线示意图；

图12（b）主送话器信号中的近端语音成分的能量曲线示意图；

图12（c）为消除回声之后的输出信号的能量曲线示意图；

图13为本发明较佳实施例提供的用于小型免提语音通讯系统中回声消除的方法的流程图。

图14为本发明较佳实施例提供的用于小型免提语音通讯系统中回声消除的方法的详细的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步的详细描述。

图1为本发明用于小型免提语音通讯系统中回声消除的装置和方法所应用的受话器和送话器位置的示意图。图2为本发明用于小型免提语音通讯系统中回声消除的装置和方法所应用的小型免提语音通讯系统的使用示意图。图3为本发明用于小型免提语音通讯系统中回声消除的装置和方法所应用的车用免提小型免提语音通讯系统的使用示意图。对于使用者来说，使用者到送话器（例如麦克风）的距离接近相等，也就是说，每一个送话器所接收到的使用者发出的近端语音信号是基本相同的。但是对于受话器（例如扬声器）而言，受话器到各个送话器的距离不等，如果受话器和主送话器的距离是D1，与辅送话器的距离是D2，当D1>D2时两个送话器接收的受话器发出的回声之间有功率差异，而两个送话器收到的使用者发出的近端语音是几乎相同的，因此根据功率关系的差异，可以区分语音和回声，达到分离语音和回声的目的。本发明正是利用这一功率的差异来进行语音和回声的分离。本实施例中，D1>=2D2，例如D1=13cm，D2=4cm，此时由于D1与D2的明显不同，两个送话器接收的受话器发出的回声之间功率差异明显，效果更佳。

图4（a）为两送话器信号中回声成分能量曲线示意图；图4（b）为主送话器信号和辅送话器信号中的近端语音成分能量曲线示意图；图4（c）为主送话器中回声成分和近端语音成分的能量曲线示意图。图5（a）为主送话器信号能量曲线示意图；图5（b）为主送话器回声成分能量曲线示意图；图5（c）为主送话器近端语音成分能量曲线示意图。归纳起来，送话器信号有如下特性：

第一，由图4（a）、图4（b）可知两个送话器信号中的回声成分有明显能量差异，辅送话器信号中的回声成分比主送话器信号中的回声成分高6dB以上。这是由于回声能量近似反比于送话器与受话器的距离，辅送话器距离受话器更近，接收到的回声更大。

第二，由图4（b）可知送话器信号中近端语音成分能量接近，这是由于在一般应用中，近端说话人的嘴距离两个送话器接近等距，因此两送话器接收到的近端语音能量也接近。

第三，由图4（c）可知在主送话器中，近端语音比回声能量略低，约低3到6dB。此外在图5（a）-图5（c）的语谱图上可见，当近端语音和回声同时出现时，在一些时频区域，近端语音会被回声掩盖。

图6为本发明较佳实施例提供的用于小型免提语音通讯系统中回声消除的装置在使用状态下的方框示意图。图7为辅送话器到主送话器的各个信号成分的传递函数示意图。图8为主送话器信号和阵列滤波后的输出信号的能量曲线示意图。图9为阵列滤波组件输出信号与自适应回声滤波得到的第一自适应滤波信号的能量曲线示意图。图10为第一自适应滤波信号和第二自适应滤波信号的非线性回声成分的能量曲线示意图。图11为第一自适应滤波信号的非线性回声的能量曲线和匹配回声的能量曲线示意图。图12（a）为主送话器信号的能量曲线示意图。图12（b）为主送话器信号中的近端语音成分的能量曲线示意图。图12（c）为消除回声之后的输出信号的能量曲线示意图。

本发明所提供的用于小型免提语音通讯系统中回声消除的装置由阵列回声消除单元610、自适应回声消除单元620和残留回声消除单元630组成，阵列回声消除单元610、自适应回声消除单元620和残留回声消除单元630在结构上为级联关系，阵列回声消除单元610的输入是主送话器信号d1和辅送话器信号d2，一路输出信号d1’，通过阵列滤波，去除主送话器信号中的部分线性回声成分和部分非线性回声成分；自适应回声消除单元620的输入信号是受话器信号x和阵列回声消除单元610的输出信号d1’以及辅送话器信号d2，两路输出信号e1和e2，通过自适应滤波，分别从阵列回声消除单元610的输出信号d1’中去除主送话器信号中的残余线性回声成分和从辅送话器信号d2中去除辅送话器信号中的线性回声成分；残留回声消除单元630的输入信号是自适应回声消除单元620的两路输出信号e1和e2，通过语音概率估计和回声匹配，去除主送话器信号中的残余非线性回声成分，输出信号是消除回声后的输出，即分离回声后的语音信号。经过阵列回声消除单元610、自适应回声消除单元620和残留回声消除单元630的处理，回声会被消除，而近端语音信号v会被较完整保留。

更具体地，该装置包括：一个阵列滤波组件，两个自适应滤波组件，两个时频变换组件，一个语音概率估计组件，一个频谱滤波组件和一个频时变换组件。

其中的阵列滤波组件，包括阵列滤波器611和减法器612，阵列滤波器611用于对辅送话器信号d2进行阵列滤波得到第二阵列滤波信号，减法器612用于对主送话器信号d1减去第二阵列滤波信号，以去除主送话器信号中的部分线性回声和部分非线性回声，得到输出信号d1’。阵列滤波器具有空间指向性，可以将从受话器位置发出的声音检出，经减法器后将从受话器位置发出的声音消除掉一部分。由于线性回声成分和非线性回声成分都是从受话器位置发出的，因此在阵列滤波器与减法器处理后，线性回声成分和非线性回声成分都会被去除一部分。

d1’相对于d1，回声成分的能量会明显衰减，而语音能量则不会有明显变化。这样的原理是，受话器与两个送话器的位置很近，且距离有显著差异，近端语音距离两个送话器较远，且距离接近。近端语音与回声传到送话器的传播特性完全不同，这种不同反映在两个送话器信号的传递函数中。通过传递函数的差异，可以区分语音和回声。根据回声成分之间的传递函数设计阵列滤波器611，用阵列滤波消除的方式去除回声，而近端语音成分则不受影响。

设d_echo1为主送话器中的回声成分，d_sph1为主送话器信号中的近端语音成分。d_echo2为辅送话器中的回声成分，d_sph2为辅送话器信号中的近端语音成分。则主辅送话器信号可以表示为：

d_i＝d_echoi+d_sphi,i＝1,2  （1）

设h为回声成分之间的传递函数，hN为近端语音成分之间的传递函数，则有关系式：

d_echo1＝d_echo2*h,d_sph1＝d_sph2*hN  （2）

如果h与hN不等，而且能大致求得与h近似的阵列滤波器则用滤波消除的方式得到d1’：

${d_1}^{\′}=d_1-d_2*\hat{h}---\left(3\right)$

结合以上公式（1）、（2）和（3），可以得到d1’中的回声成分和近端语音成分的关系式：

${d_1}^{\′}=d_{\mathrm{sph}1}-d_{\mathrm{sph}2}*\hat{h}$

$=d_{\mathrm{echo}1}-d_{\mathrm{echo}2}*\hat{h}+d_{\mathrm{sph}1}-d_{\mathrm{sph}2}*\hat{h}$

$---\left(4\right)$

$=d_{\mathrm{echo}2}*(h-\hat{h})+d_{\mathrm{sph}2}*(\hat{h}-\mathrm{hN})$

$={d_{\mathrm{echo}1}}^{\′}+{d_{\mathrm{sph}1}}^{\′}$

对比公式（1）和（4）可以发现，如果满足以下的公式（5）和（6）或满足以下的公式（5）和（7），就可以使d1’中回声成分的能量明显衰减，而语音能量则不会有明显变化，达到降回声同时保护语音的目的，其中公式（6）和（7）是接近等价的形式：

$E{(h-\hat{h})}^2<E{\left(h\right)}^2---\left(5\right)$

$E{(\hat{h}-\mathrm{hN})}^2>=E{\left(\mathrm{hN}\right)}^2---\left(6\right)$

$E(\hat{h}\&CenterDot;\mathrm{hN})<\frac{E\left[{\hat{h}}^2\right]}{2}---\left(7\right)$

如果估计的较为准确，则公式（5）可以满足，如果此时与hN完全不同，则公式（7）的条件可以满足。则可以保证阵列滤波消除回声，而不衰减语音。

在如图1所示的设备中，由于D1与D2之比较大，例如在本实施例之中，D1>2D2且D1-D2>6cm，h与hN完全不同这一条件是满足的。h与hN都接近单峰值函数，峰的宽度在0.25毫秒左右，半宽度在0.125毫秒左右。由于D1>2D2的限定，使得h与hN的能量差异在6dB以上，峰值绝对值差异在2倍以上。D1-D2>6cm的限定，可以使h与hN的峰值位置相差0.17毫秒以上，超过峰的半宽度，峰值在时间上完全错开。辅送话器到主送话器的各个信号成分的传递函数可见于图7，回声成分之间的传递函数h为实线，是一个单峰曲线，峰值处在时延为(D1-D2)/c的位置上，其中c为声音在空气中传播速度，其最大幅度近似为D2/D1。在D1=13cm，D2=4cm的情况下，峰值高度约为0.3，峰值位置在0.26毫秒处。近端语音成分之间的传递函数hN为点虚线曲线，其形状也接近一个单峰曲线，峰值处在0毫秒处，峰值高度为1。可见两个传递函数截然不同。

实际系统中，阵列滤波器的传输函数可以事先离线算出并固定。较为准确的计算可以采用最小均方差准则，如公式（8），其中是阵列滤波器的传输函数，d₁是主送话器信号，d₂是辅送话器信号E[.]为求期望运算。*为卷积运算：

$\frac{\&PartialD;E\left[{(d_1-d_2*\hat{h})}^2\right]}{\&PartialD;\hat{h}}=0---\left(8\right)$

阵列滤波组件610的输出d1’为公式（3），以D1=13cm,D2=4cm为例，阵列回声消除的效果可见图8，实线是主送话器信号d1的能量曲线，虚线是阵列滤波组件的输出d1’的能量曲线，可以看到回声能量变化导致能量平均降低约9dB。

两个自适应滤波组件，均包括滤波器621、滤波控制器622和减法器623，用于分别对辅送话器信号d2进行自适应滤波得到第二自适应滤波信号e2以去除辅送话器信号中的线性回声成分，以及对主送话器信号减去第二阵列滤波信号后的信号d1’进行自适应滤波得到第一自适应滤波信号e1，以去除主送话器信号中的残余线性回声成分。

自适应回声消除单元的输入有三路，受话端信号x和辅送话器信号d2以及阵列滤波组件的输出信号d1’。输出为自适应滤波后的第一自适应滤波信号e1与第二自适应滤波信号e2。此部分工作原理与通用的自适应回声滤波相似，可以采用时域或者频域滤波形式。通过比较受话端信号x和d2、d1’的相似性，自适应匹配出回声信号并从d2、d1’中消除。其效果可见图9，实线是阵列滤波组件的输出d1’的能量曲线，虚线是自适应回声滤波后的结果即第一自适应滤波信号e1的能量曲线。可以看到能量变化，在回声区域，e1的能量比d1’的能量平均降低约5dB。

两个时频变换组件，均包括数据缓存器631和时频变换器632，用于分别对第一自适应滤波信号e1进行时频变换得到第一自适应频域信号E1以及对第二自适应滤波信号e2进行时频变换得到第二自适应频域信号E2。

数据缓存器631的作用是将信号组成信号向量，供时频变换器632使用，数据缓存器631的长度设定为L，与计算资源有关，一般可以设成为256或者512。如果当前时刻n，输入信号是e1(n)和e2(n)，则两个数据缓存器631中所形成的向量分别是[e1(n-L+1)，e1(n-L+2)….e1(n)]以及[e2(n-L+1)，e2(n-L+2)….e2(n)]。

时频变换器632将信号从时域变换到频率域，可以用傅立叶变换实现，也可以用改进离散数字余弦变换等方式实现。以傅立叶变换为例，则频域信号为：

$E_1\left(k\right)=\underset{m=1}{\overset{L}{\mathrm{\&Sigma;}}}{e}_1(n-L+m)W^{k(m-1)},W=\exp (-j\frac{2\mathrm{\&pi;}}{M})$

$E_2\left(k\right)=\underset{m=1}{\overset{L}{\mathrm{\&Sigma;}}}{e}_2(n-L+m)W^{k(m-1)},W=\exp (-j\frac{2\mathrm{\&pi;}}{M})$

语音概率估计组件633，用于根据第一自适应频域信号E1与第二自适应频域信号E2的幅度进行频域语音概率估计得到频域语音概率信号pF，所述频域语音概率信号pF表示第一自适应频域信号E1之中近端语音信号所占的比例。这是因为：

语音概率估计组件633通过比较两路信号的幅度关系，得出频域语音概率信息pF，pF是个时频函数，指示语音和回声在各个时频区域的比例。pF为1，说明这个区域中均是近端语音信号，pF为0，说明这个区域中均是回声信号，在0和1之间的数值，表示这个区域中是二者的混合，接近于1则表示近端语音存在的比例可能性较大，接近0表示近端语音存在的比例较低。

语音概率估计的工作原理是，语音概率估计组件633的两路输入信号E1,E2，都含有非线性回声成分和近端语音信号，E1内非线性回声成分能量低，E2内非线性回声成分能量比E1内非线性回声成分能量高出约20dB。因此，在回声所在的时频区域，E2的幅度要比E1高很多，而近端语音所在的时频区域，E1和E2能量较为接近。通过比较各个频点上E1和E2的幅度，可以知道非线性回声成分和近端语音在频率上的分布。

本实施例之中的具体实现方法是，计算E1和E2的幅度比，根据映射关系得到语音概率：

$\mathrm{pF}\left(f\right)=\left\{\begin{array}{cc}1& |E_2/E_1|<T_S\\ (T_E-|E_2/E_1\left|\right)/(T_E-T_S)& |E_2/E_1|\&Element;[T_S,T_E]\\ 0& |E_2/E_1|>T_E\end{array}\right.$

其中T_S为两个送话器信号中语音成分的平均幅度差异，T_E为两个送话器信号中回声成分的平均幅度差异。经过语音概率判断后，可以计算得到每个频率点上的语音概率。其中f为频率。

T_S和T_E的取值与结构有关，以图1的结构为例，T_S=1.4，其中1.4对应3dB，代表着两个送话器接收到的近端语音成分的幅度差异，这个数值是工业生产中同型号送话器的灵敏度公差。如果D1=13cm，D2=4cm，则T_E=4，4是两个送话器中回声成分的幅度比平均值的近似值，回声成分幅度比平均值约为（D1/D2）×1.4。回声传播到两个送话器上，回声信号幅度差异为D1/D2，补上灵敏度公差1.4，向下取整为4。2.6是T_S和T_E二者差值，为了使函数曲线连续而设的。这个公式的含义就是，当信号的幅度差异在1.4以内，也就是不超过灵敏度公差的时候，很有可能是语音成分，语音概率为1。当信号幅度差异超过4，很像是回声成分幅度差异值时，就很可能是回声成分，语音概率为零。中间部分用一次斜率曲线拟合，越接近4概率值越低。

则计算方式为：

$\mathrm{pF}\left(f\right)=\left\{\begin{array}{cc}1& |E_2/E_1|<1.4\\ (4-|E_2/E_1\left|\right)/2.6& \left|E_2{E}_1\right|\&Element;\left[\mathrm{1.4,4}\right]\\ 0& |E_2/E_1|>4\end{array}\right.$

频谱滤波组件，包括回声匹配器634、减法器635和乘法器636，回声匹配器634用于根据第一自适应频域信号E1和第二自适应频域信号E2的非线性回声成分的能量，进行回声匹配得到匹配回声；减法器635用于将第一自适应频域信号E1与匹配回声相减；乘法器用636于将相减得到的结果与频域语音概率信号pF相乘。

回声匹配器634根据两个送话器信号中非线性回声线性回声成分的相互关系，从频谱上可以将非线性回声成分和线性回声成分估计出来并通过滤波抑制下去。非线性回声成分和线性回声成分是由受话器产生并传播到主送话器和辅送话器上的，主送话器信号d1和辅送话器信号d2中的非线性回声成分和线性回声成分有高度相似性，这种相似性主要表现为非线性回声成分和线性回声成分的谱峰位置的一致性。因为谱峰集中了非线性回声成分和线性回声成分的几乎全部能量，因此如果谱峰位置一致，则可以认为，非线性回声成分和线性回声成分的频率分布规律是一致的。如果抑制掉非线性回声成分和线性回声成分的谱峰，就可以去除绝大多数非线性回声成分和线性回声成分。阵列回声消除单元610和自适应回声消除单元620都只进行了线性滤波，只改变了非线性回声成分和线性回声成分的幅度与频谱包络形状，但没有改变谱峰位置，也即仍保留这种非线性回声成分和线性回声成分的相似关系。因此第一自适应频域信号E1和第二自适应频域信号E2中，非线性回声成分的谱峰位置是高度近似的。在如图10所示的频谱上可以看到，E1和E2之中非线性回声成分和线性回声成分的峰值位置相同或相近，只是总体起伏形状和信号能量不同。

因此，可以将E1和E2的非线性回声线性回声成分做总体轮廓匹配得到匹配回声，再乘以一定的因子Ag做幅度匹配，得到幅度匹配回声。因子Ag随语音概率pF上升而下降。这样在语音概率较低，回声概率较高的时频区域，使匹配回声的幅度高于非线性回声线性回声成分，在语音概率较高，回声概率较低的区域，使匹配回声和Ag相乘后的幅度等于或略低于非线性回声线性回声成分。将幅度匹配回声从第一自适应频域信号E1中减去，可以去除残留的回声。

通常地，为了能将残留回声去除干净，残留回声越强，Ag则应越大，频谱滤波的力度越强，但此时对近端语音伤害也就越大。此外残留回声对通讯的干扰在纯回声和双讲时有区别，当纯回声时，人对残留回声很敏感，很少的残留回声就会引起不适，但在回声和近端语音同时发生的双讲区域，人对残留回声并不敏感，而对近端语音质量要求较高。本发明中由于使用了语音概率估计组件，通过语音概率估计和回声匹配相结合的方法，使得匹配回声可以取值较小，不太强的频谱滤波就可以将非线性回声线性回声成分去除，并且频谱滤波强度随近端语音概率变化，当近端语音概率较高时，频谱滤波力度降低，以更好地的保护近端语音。从而随语音概率动态调整滤波力度可以同时提升舒适度和语音质量，并使得近端语音可以较好保留。

频谱滤波的过程为：先将E2信号和E1中的回声信号做幅度匹配。幅度匹配可以用以下方式进行：将全频率划分为M个子带，子带边界为B₁～B_M+1，本实施例的M可以为32或16。E2和E1在每个子带内求能量，将能量相除并进行开方运算，得到匹配函数H_m。E2乘以匹配函数H_m并乘以因子Ag得到匹配回声Y_m。

匹配效果可见图11，可见在回声所处的频率范围内，匹配回声Y_m与E1的回声成分是接近的（在300Hz附近和3800Hz附近差异是由本底噪声引起的，并非匹配误差）。

计算匹配函数的方法如下面的公式：

$H_m\left(f\right)=\sqrt{\frac{\underset{k=B_i}{\overset{k=B_{i+1}}{\mathrm{\&Sigma;}}}{E_1}^2\left(k\right)}{\underset{k=B_i}{\overset{k=B_{i+1}}{\mathrm{\&Sigma;}}}{E_2}^2\left(k\right)}},B_{i+1}>f\&GreaterEqual;B_i$

其中，i∈[1，M]为子带编号，f为频率,k为子带内的频率取样点，E₁(k)为第一自适应频域信号在频率取样点的幅度，E₂(k)为第二自适应频域信号在频率取样点的幅度

第二自适应频域信号E₂乘以匹配函数H_m并乘以因子Ag进行幅度匹配，得到匹配回声Y_m：

Y_m(f)＝Ag(f)·E₂(f)H_m(f)

完成回声匹配和语音概率估计后，从E1中减去匹配回声Y_m，再与语音概率函数pF相乘，得到的结果为：

E_out(f)＝[E₁(f)-Y_m(f)]·pF(f)。

频时变换组件637，用于将相乘得到的结果进行频时变换。频时变换组件637将数字信号从频率域变换到时域，可以用逆傅立叶变换实现，也可以用逆离散数字余弦变换等方式实现。

经过频时变换后，频域信号Eout变换为时域信号eout，为系统总输出。

最终的效果可见图12（a）中主送话器信号d1，图12（b）主送话器信号d1中的近端语音成分，以及图12（c）中eout的能量曲线，可见在eou中，回声成分都被消除，而近端语音保留得很完整，与原始的近端语音成分相比，信号能量没有明显衰减。达到全双工要求。

图13为本发明较佳实施例提供的用于小型免提语音通讯系统中回声消除的方法的流程图。所述小型免提语音通讯系统包括受话器、主送话器和辅送话器，主送话器与受话器之间的距离大于辅送话器与受话器之间的距离。该方法包括以下步骤：

S1301：将主送话器信号和辅送话器信号，输入阵列回声消除单元，进行阵列滤波，去除主送话器信号中的部分线性回声成分和部分非线性回声成分，得到一路输出信号。

S1302：将受话器信号和阵列回声消除单元的输出信号以及辅送话器信号，输入自适应回声消除单元，进行自适应滤波，分别从阵列回声消除单元的输出信号中去除主送话器信号中的残余线性回声成分和从辅送话器信号中去除辅送话器信号中的线性回声成分，得到两路输出信号。

S1303：将自适应回声消除单元的两路输出信号，输入残留回声消除单元，通过语音概率估计和回声匹配去除主送话器信号中的残余非线性回声成分，得到一路输出信号作为消除回声后的语音信号。

图14为本发明较佳实施例提供的用于小型免提语音通讯系统中回声消除的方法的详细的流程图。所述小型免提语音通讯系统包括受话器、主送话器和辅送话器，主送话器与受话器之间的距离大于辅送话器与受话器之间的距离。该方法包括以下步骤：

S1401：对辅送话器信号进行阵列滤波得到第二阵列滤波信号，对主送话器信号减去第二阵列滤波信号，以去除主送话器信号中的部分线性回声成分和部分非线性回声成分；

S1402：对辅送话器信号进行自适应滤波以去除辅送话器信号中的线性回声成分得到第二自适应滤波信号；对主送话器信号减去第二阵列滤波信号后的信号进行自适应滤波以去除主送话器信号中的残余线性回声成分得到第一自适应滤波信号；

S1403：对第一自适应滤波信号和第二自适应滤波信号进行时频变换得到第一自适应频域信号与第二自适应频域信号；

S1404：根据第一自适应频域信号与第二自适应频域信号的幅度进行频域语音概率估计得到频域语音概率信号，所述频域语音概率信号表示第一自适应频域信号之中近端语音信号所占的比例；

S1405：根据第一自适应频域信号和第二自适应频域信号的非线性回声成分的幅度，对第二自适应频域信号进行回声匹配，得到匹配回声，将第一自适应频域信号与匹配回声相减并将相减得到的结果与频域语音概率信号相乘；

S1406：将相乘得到的结果进行频时变换，以输出回声消除的结果。

具体地，步骤S1401之中，所述对辅送话器信号进行阵列滤波得到第二阵列滤波信号，具体包括：确定阵列滤波器的传输函数以及采用使用了传输函数的阵列滤波器对辅送话器信号进行阵列滤波，其中，根据如下公式确定阵列滤波器的传输函数

$\frac{\&PartialD;E\left[{(d_1-d_2*\hat{h})}^2\right]}{\&PartialD;\hat{h}}=0$

其中，是阵列滤波器的传输函数，d₁是主送话器信号，d₂是辅送话器信号，E[.]为求期望运算符号，*为卷积运算符号。

步骤S1404之中，根据第一自适应频域信号与第二自适应频域信号的幅度进行频域语音概率估计得到频域语音概率信号包括：

根据如下公式计算频域语音概率信号：

$\mathrm{pF}\left(f\right)=\left\{\begin{array}{cc}1& |E_2/E_1|<T_S\\ (T_E-|E_2/E_1\left|\right)/(T_E-T_S)& |E_2/E_1|\&Element;[T_S,T_E]\\ 0& |E_2/E_1|>T_E\end{array}\right.$

其中，f为频率,E₁为第一自适应频域信号的幅度，E₂为第二自适应频域信号的幅度，pF为频域语音概率信号，T_S为辅送话器信号和主送话器信号中近端语音信号的平均幅度比值，T_E为辅送话器信号和主送话器信号中非线性回声成分信号的平均幅度比值，其中T_E＞T_S＞1。

步骤S1405之中，根据第一自适应频域信号和第二自适应频域信号的非线性回声成分的能量，对第二自适应频域信号进行回声匹配，具体包括两步：

（1）将全频率划分为M个子带，子带边界为B₁～B_M+1，在每个子带内对第一自适应频域信号E₁和第二自适应频域信号E₂求能量，将能量相除并进行开方运算，得到匹配函数H_m：

$H_m\left(f\right)=\sqrt{\frac{\underset{k=B_i}{\overset{k=B_{i+1}}{\mathrm{\&Sigma;}}}{E_1}^2\left(k\right)}{\underset{k=B_i}{\overset{k=B_{i+1}}{\mathrm{\&Sigma;}}}{E_2}^2\left(k\right)}},B_{i+1}>f\&GreaterEqual;B_i;$

其中，i∈[1，M]为子带编号，f为频率,k为子带内的频率取样点，E₁(k)为第一自适应频域信号在频率取样点的幅度，E₂(k)为第二自适应频域信号在频率取样点的幅度；

（2）第二自适应频域信号E₂乘以匹配函数H_m并乘以因子Ag进行幅度匹配得到匹配回声Y_m：

Y_m(f)＝Ag(f)·E₂(f)H_m(f)；

步骤S1405之中，将第一自适应频域信号与匹配回声Y_m相减并将相减得到的结果与频域语音概率信号相乘为：

E_out(f)＝[E₁(f)-Y_m(f)]·pF(f)；

其中，pF为频域语音概率信号，Ag是与pF相关的匹配因子，随pF增加而下降，比如可以取Ag(f)＝max[2-pF(f)*2.5,0]。

当pF接近0时，Ag大于1，使得匹配回声和Ag的幅度高于第一自适应频域信号E₁的非线性回声成分，可以使回声消去，当pF接近1，Ag为小于1的数值，使得匹配回声的幅度低于第一自适应频域信号E₁的非线性回声成分，可以使语音得以保留。换言之，匹配回声和第一自适应频域信号中的残余非线性回声成分很接近，经相减后，第一自适应频域信号中的非线性回声成分几乎完全被减去，但仍可能会有微弱残留，将相减结果与语音概率相乘，则非线性回声成分可以被全部去除。

本发明的实施例具有以下的优点：

（一）使用本发明技术方案，使用语音概率估计，结合回声匹配，可以在降低回声的同时减轻对近端语音的损伤，提升双工性能；

（二）对于存在多个送话器的小型免提语音通讯系统，也只需要使用与受话器距离最远和最近的送话器即可实现本发明的技术方案，易于实施；

（三）因为使用本发明技术方案不需要分辨语音的相位，因此不严格要求送话器的相位一致性，对声学设计限定较少，易于产品设计；

（四）将频域语音概率信号，用于回声匹配的运算，使得频谱滤波强度随近端语音概率变化，当近端语音概率较高时，频谱滤波力度降低，可以更好地保护近端语音。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种用于小型免提语音通讯系统中回声消除的装置，其特征在于，所述小型免提语音通讯系统包括受话器、主送话器和辅送话器，主送话器与受话器之间的距离大于辅送话器与受话器之间的距离，其中，该装置包括在结构上依次级联的：阵列回声消除单元、自适应回声消除单元以及残留回声消除单元，

阵列回声消除单元的输入是主送话器信号和辅送话器信号，通过阵列滤波，去除主送话器信号中的部分线性回声成分和部分非线性回声成分，得到一路输出信号；

自适应回声消除单元的输入信号是受话器信号和阵列回声消除单元的输出信号以及辅送话器信号，通过自适应滤波，分别从阵列回声消除单元的输出信号中去除主送话器信号中的残余线性回声成分和从辅送话器信号中去除辅送话器信号中的线性回声成分，得到第一自适应滤波信号以及第二自适应滤波信号；

残留回声消除单元的输入信号是自适应回声消除单元输出的第一自适应滤波信号以及第二自适应滤波信号，通过语音概率估计和回声匹配，去除主送话器信号中的残余非线性回声成分，得到一路输出信号作为消除回声后的语音信号；

其中，所述残留回声消除单元包括两个时频变换组件、一个语音概率估计组件、一个频谱滤波组件，和一个频时变换组件，所述两个时频变换组件，用于分别对第一自适应滤波信号进行时频变换得到第一自适应频域信号以及对第二自适应滤波信号进行时频变换得到第二自适应频域信号；

所述语音概率估计组件，用于根据第一自适应频域信号与第二自适应频域信号的幅度进行频域语音概率估计得到频域语音概率信号，所述频域语音概率信号表示第一自适应频域信号之中近端语音信号所占的比例；

所述频谱滤波组件，包括回声匹配器、减法器和乘法器，回声匹配器用于根据第一自适应频域信号和第二自适应频域信号的幅度，对第二自适应频域信号进行回声匹配；减法器用于将第一自适应频域信号与回声匹配后的结果相减以去除非线性回声成分信号；乘法器用于将相减得到的结果与频域语音概率信号相乘以抑制回声信号且保护近端语音信号；

所述频时变换组件，用于将相乘得到的结果进行频时变换，以输出回声消除的结果。

2.根据权利要求1所述的装置，其特征在于，

所述阵列回声消除单元包括一个阵列滤波组件，所述阵列滤波组件，包括阵列滤波器和减法器，阵列滤波器用于对辅送话器信号进行阵列滤波得到第二阵列滤波信号，减法器用于对主送话器信号减去第二阵列滤波信号，以去除主送话器信号中的部分线性回声成分和部分非线性回声成分；

所述自适应回声消除单元包括两个自适应滤波组件，所述两个自适应滤波组件，用于分别对辅送话器信号进行自适应滤波得到第二自适应滤波信号以去除辅送话器信号中的线性回声成分，以及对主送话器信号减去第二阵列滤波信号后的信号进行自适应滤波得到第一自适应滤波信号以去除主送话器信号中的残余线性回声成分。

3.根据权利要求2所述的装置，其特征在于，

D1>2D2且D1-D2>6cm；

其中，D1是主送话器与受话器之间的距离，D2是辅送话器与受话器之间的距离；

阵列滤波器的传输函数由如下公式确定：

$\frac{\&PartialD;E\left[{(d_1-d_2*\hat{h})}^2\right]}{\&PartialD;\hat{h}}=0$

其中，是阵列滤波器的传输函数，d₁是主送话器信号，d₂是辅送话器信号，E[.]为求期望运算符号，*为卷积运算符号。

4.根据权利要求2所述的装置，其特征在于，所述语音概率估计组件，用于根据如下公式计算频域语音概率信号：

$\mathrm{pF}\left(f\right)=\left\{\begin{array}{cc}1& |E_2/E_1|<T_S\\ (T_E-|E_2/\left|E_1\right)/(T_E-T_S)& |E_2/E_1|\&Element;[T_S,T_E]\\ 0& |E_2/E_1|>T_E\end{array}\right.$

其中，f为频率,E₁为第一自适应频域信号的幅度，E₂为第二自适应频域信号的幅度，pF为频域语音概率信号，T_S为辅送话器信号和主送话器信号中近端语音信号的平均幅度比值，T_E为辅送话器信号和主送话器信号中非线性回声成分信号的平均幅度比值，其中T_E>T_S>1。

5.根据权利要求2至4任一权利要求所述的装置，其特征在于，

所述回声匹配器，用于将全频率划分为M个子带，子带边界为B₁～B_M+1，5在每个子带内进行如下的计算：

计算匹配函数H_m：

$H_m\left(f\right)=\sqrt{\frac{\underset{k=B_i}{\overset{k=B_{i+1}}{\mathrm{\&Sigma;}}}{E_1}^2\left(k\right)}{\underset{k=B_i}{\overset{k=B_{i+1}}{\mathrm{\&Sigma;}}}}},B_{i+1}>\&GreaterEqual;B_i$

其中，i∈[1，M]为子带编号，f为频率,k为子带内的频率取样点，E₁(k)为第一自适应频域信号在频率取样点的幅度，E₂(k)为第二自适应频域信号在频率取样点的幅度；

第二自适应频域信号E₂乘以匹配函数H_m并乘以因子Ag进行幅度匹配得到匹配回声Y_m：

Y_m(f)＝Ag(f)·E₂(f)H_m(f)；

减法器将第一自适应频域信号与匹配回声Y_m相减以及乘法器将相减得到的结果与频域语音概率信号相乘为：

E_out(f)＝[E₁(f)-Y_m(f)]·pF(f)；

其中，pF为频域语音概率信号，Ag是与pF相关的因子，随pF增加而下降。

6.一种用于小型免提语音通讯系统中回声消除的方法，其特征在于，所述小型免提语音通讯系统包括受话器、主送话器和辅送话器，主送话器与受话器之间的距离大于辅送话器与受话器之间的距离，该方法包括：

将主送话器信号和辅送话器信号，输入阵列回声消除单元，进行阵列滤波，去除主送话器信号中的部分线性回声成分和部分非线性回声成分，得到一路输出信号；

将受话器信号和阵列回声消除单元的输出信号以及辅送话器信号，输入自适应回声消除单元，进行自适应滤波，分别从阵列回声消除单元的输出信号中去除主送话器信号中的残余线性回声成分和从辅送话器信号中去除辅送话器信号中的线性回声成分，得到第一自适应滤波信号以及第二自适应滤波信号；

将自适应回声消除单元输出的第一自适应滤波信号以及第二自适应滤波信号，输入残留回声消除单元，通过语音概率估计和回声匹配去除主送话器信号中的残余非线性回声成分，得到一路输出信号作为消除回声后的语音信号，具体包括：对第一自适应滤波信号和第二自适应滤波信号分别进行时频变换得到第一自适应频域信号与第二自适应频域信号；根据第一自适应频域信号与第二自适应频域信号的幅度进行语音概率估计得到频域语音概率信号，所述频域语音概率信号表示第一自适应频域信号之中近端语音信号所占的比例；根据第一自适应频域信号和第二自适应频域信号的幅度，对第二自适应频域信号进行回声匹配，得到匹配回声，将第一自适应频域信号与匹配回声相减以去除非线性回声成分信号，将相减得到的结果与频域语音概率信号相乘以抑制回声信号且保护近端语音信号；将相乘得到的结果进行频时变换，以输出回声消除的结果。

7.根据权利要求6所述的方法，其特征在于，

所述进行阵列滤波，具体包括：对辅送话器信号进行阵列滤波得到第二阵列滤波信号，从主送话器信号减去第二阵列滤波信号，以去除主送话器信号中的部分线性回声成分和部分非线性回声成分；

所述进行自适应滤波，具体包括：对辅送话器信号进行自适应滤波以去除辅送话器信号中的线性回声成分得到第二自适应滤波信号；对主送话器信号减去第二阵列滤波信号后的信号进行自适应滤波以去除主送话器信号中的残余线性回声成分得到第一自适应滤波信号。

8.根据权利要求7所述的方法，其特征在于，其中，

D1>2D2且D1-D2>6cm；

其中，D1是主送话器与受话器之间的距离，D2是辅送话器与受话器之间的距离；

所述对辅送话器信号进行阵列滤波得到第二阵列滤波信号，具体包括：根据如下公式确定阵列滤波器的传输函数：

$\frac{\&PartialD;E\left[{(d_1-d_2*\hat{h})}^2\right]}{\&PartialD;\hat{h}}=0$

其中，是阵列滤波器的传输函数，d₁是主送话器信号，d₂是辅送话器信号，E[.]为求期望运算符号，*为卷积运算符号；以及

采用使用了传输函数的阵列滤波器，对辅送话器信号进行阵列滤波。

9.根据权利要求7所述的方法，其特征在于，所述根据第一自适应频域信号与第二自适应频域信号的幅度进行语音概率估计得到频域语音概率信号具体包括：

根据如下公式计算频域语音概率信号：

$\mathrm{pF}\left(f\right)=\left\{\begin{array}{cc}1& |E_2/E_1|<T_S\\ (T_E-|E_2/\left|E_1\right)/(T_E-T_S)& |E_2/E_1|\&Element;[T_S,T_E]\\ 0& |E_2/E_1|>T_E\end{array}\right.$

其中，f为频率,E₁为第一自适应频域信号的幅度，E₂为第二自适应频域信号的幅度，pF为频域语音概率信号，T_S为辅送话器信号和主送话器信号中近端语音信号的平均幅度比值，T_E为辅送话器信号和主送话器信号中非线性回声成分信号的平均幅度比值，其中T_E>T_S>1。

10.根据权利要求7至9任一权利要求所述的方法，其特征在于，所述根据第一自适应频域信号和第二自适应频域信号的幅度，对第二自适应频域信号进行回声匹配包括：

将全频率划分为M个子带，子带边界为B₁～B_M+1，在每个子带内对第一自适应频域信号E₁和第二自适应频域信号E₂求能量，将能量相除并做开方运算，得到匹配函数H_m：

$H_m\left(f\right)=\sqrt{\frac{\underset{k=B_i}{\overset{k=B_{i+1}}{\mathrm{\&Sigma;}}}{E_1}^2\left(k\right)}{\underset{k=B_i}{\overset{k=B_{i+1}}{\mathrm{\&Sigma;}}}}},B_{i+1}>\&GreaterEqual;B_i$

其中，i∈[1，M]为子带编号，f为频率,k为子带内的频率取样点，E1(k)为第一自适应频域信号在频率取样点的幅度，E₂(k)为第二自适应频域信号在频率取样点的幅度；

第二自适应频域信号E₂乘以匹配函数H_m并乘以因子Ag进行幅度匹配得到匹配回声Y_m：

Y_m(f)＝Ag(f)·E₂(f)H_m(f)；

所述将第一自适应频域信号与匹配回声Y_m相减并将相减得到的结果与频域语音概率信号相乘为：

E_out(f)＝[E₁(f)-Y_m(f)]·pF(f)；

其中，pF为频域语音概率信号，Ag是与pF相关的匹配因子，随pF增加而下降。