CN102265589B - 确定在远端谈话人信号与组合信号之间的声耦合 - Google Patents

Abstract

本发明提供在扬声器（110）与话筒（120）之间的声耦合的改进的确定，这导致在双端谈话期间的声耦合的最佳估计。这是在设备（100）中达到的，该设备（100）用于确定在由扬声器（110）产生的远端谈话人信号（101）与由话筒（120）拾取的、包括远端谈话人信号的回波和近端谈话人信号的组合信号（102）之间的声耦合（103），其中声耦合是从预定时间间隔内组合信号（102）的包络的改变与远端谈话人信号（101）的包络的改变的比率导出的。这样，在双端谈话(声耦合的估计太大)期间的系统误差不再存在或至少被大大地减小。

Description

确定在远端谈话人信号与组合信号之间的声耦合

技术领域

本发明涉及用于确定在远端谈话人信号与包括远端谈话人信号的回波和近端谈话人信号的组合信号之间的声耦合的设备。本发明还涉及用于确定在远端谈话人信号与组合信号之间的声耦合的方法。而且，本发明涉及声回波抵消器、网络摄影设备、视频会议系统和免提电话终端。

背景技术

在当今的全双工免提通信系统中，总是使用声回波抵消器(AEC)。这样的AEC的关键部件是自适应滤波器，常常称为回波滤波器，它对扬声器与话筒之间的物理通路建模，并设法预测由扬声器造成的在话筒上的回波。在相对一侧的远端谈话人的信号被放大并馈送到扬声器。回波被生成，并且连同近端谈话人的语音信号--如果存在的话--一起被话筒拾取。自适应滤波器制作回波信号的复制品，其可以被从话筒信号中减去。这是通过估计扬声器与话筒之间的脉冲响应（的一部分）而完成的。

典型地被实施为N-点横向滤波器的自适应滤波器通过把剩余信号与横向滤波器的输入数据进行相关而更新它的系数，所述剩余信号是话筒信号与回波信号的复制品之间的差值。然而，这仅仅当存在回波时才适用。如果还存在近端谈话人信号，则可能出现问题，因为自适应滤波器将由于存在近端谈话人信号而发散（diverge）。如果远端谈话人信号与近端谈话人信号是相关的，则这些问题更严重。这个问题的解决方案是在双端谈话（double talk）的情况下减小适配量，并且在严重的双端谈话的情况下甚至停止适配。熟知的解决方案是使用步长控制，类似例如在A.Mader, H.Puder和G.U.Schmidt的“Step-size control for acoustic echo cancellation filters - an overview”, Signal Processing 80(2000) pp.1697-1719中给出的。

自适应滤波器的系数的更新然后取决于声耦合，这样，一旦近端讲话人变得活跃，就减小自适应滤波器的步长。然后声耦合被估计为远端谈话人信号与话筒信号的功率的比率。然而，对于双端谈话的情形，这个声耦合被估计得太大，这样使得自适应滤波器的步长的减少变得太小，以及自适应滤波器从它的最优解发散。

发明内容

本发明的目的是提供对远端谈话人信号与组合信号之间的声耦合的改进的确定，这导致在双端谈话期间的声耦合的更好的估计。本发明由独立权利要求来定义。从属权利要求定义有利的实施例。

按照本发明，达到了这个目的，因为声耦合是从在预定时间间隔内组合信号的包络的改变与远端谈话人信号的包络的改变的比率导出的。这样，在双端谈话期间（声耦合的估计太大）系统误差不再存在或至少大大地减小。

在另一个实施例中，组合信号的包络和远端谈话人信号的包络分别是通过按块进行整流及平均而从组合信号和通过按块进行整流及平均而从远端谈话人信号得到的。这个方法对于具有缓慢变化的包络的信号--例如像语音--是有利的。

在另一个实施例中，组合信号的包络和远端谈话人信号的包络分别是从按块的对于组合信号和远端谈话人信号进行的功率测量中导出的。这个方法对于具有缓慢变化的包络的信号--例如像语音--是有利的，并且，这个方法可以在某些DSP平台上非常有效地实施。

在另一个实施例中，预定时间间隔是在远端谈话人信号的接连样本之间的时间间隔，其中组合信号的采样与远端谈话人信号的采样对准。组合信号与远端谈话人信号的采样的对准是必须的，因为在话筒处的回波可被认为是扬声器信号与作为声耦合的函数的声通路的线性卷积。

在另一个实施例中，预定时间间隔包括多倍的在远端谈话人信号的接连样本之间的时间间隔，其中组合信号的采样与远端谈话人信号的采样对准。这样，声耦合可以按块(即，样本的块)被确定。这允许按每个块仅仅一次地进行声耦合的更新，因此提供了计算上的减小。

在另一个实施例中，设备包括：

- 第一包络改变确定电路，用于确定远端谈话人信号的包络的改变，

- 第二包络改变确定电路，用于确定组合信号的包络的改变，

- 自适应滤波器，用于对远端谈话人信号的包络的改变进行滤波，其中自适应滤波器由剩余信号控制，其中自适应滤波器的系数之一是在预定时间间隔内组合信号的包络的改变与远端谈话人信号的包络的改变的比率，以及

- 减法电路，用于确定作为在自适应滤波器的输出信号与组合信号的包络改变之间的差值的剩余信号。使用自适应滤波器的优点在于，通过这样的（简单的）自适应滤波器，可以得到声通路的鲁棒的估计。

在另一个实施例中，自适应滤波器是多抽头滤波器，其中在预定时间间隔内组合信号的包络的改变与远端谈话人信号的包络的改变的比率被确定为自适应滤波器的具有最大值的系数。

在另一个实施例中，在远端谈话人信号与远端谈话人信号的回波之间的延迟是由确定声耦合的自适应滤波器的具有最大值的抽头的位置确定的。这样，可以估计有时在某些应用中存在的体延迟（bulk delay）。这例如是在数字电视机中的情形，其中音频被延迟以便与视频同步。

按照本发明的另一方面，提供了用于确定在远端谈话人信号与组合信号之间的声耦合的方法。应当意识到，以上描述的特征、优点、注解等等可同样地应用于本发明的这个方面。

本发明还提供包括按照本发明的设备的声回波抵消器、网络摄影设备、视频会议系统和免提电话终端。

从下文描述的实施例中，本发明的这些和其它方面、特征和优点将是明显的，并将参照这些实施例予以阐述。

附图说明

图1示意地显示按照本发明的、用于确定在扬声器和话筒之间的声耦合的设备的实施例；

图2显示举例说明从在预定时间间隔内组合信号的包络的改变与远端谈话人信号的包络的改变的比率导出声耦合的效果的曲线图；

图3显示按照本发明的、用于确定声耦合的设备的示例性体系结构；

图4显示包括自适应滤波器的、用于确定声耦合的设备的替换实施例；

图5示意地显示包括按照本发明的用于确定声耦合的设备的声回波抵消器的实施例；

图6示意地显示包括在另一个自适应滤波器之前的用来延迟远端谈话人信号的延迟电路的声回波抵消器的实施例，其中延迟电路由声耦合来控制。

具体实施方式

图1示意地显示按照本发明的、用于确定在扬声器110和话筒120之间的声耦合103的设备100的实施例。扬声器110正在重现远端谈话人信号101。话筒120正在拾取包括远端谈话人信号101的回波和近端谈话人信号的组合信号102。在扬声器110与话筒120之间的声耦合现象用箭头130象征性地画出。声耦合130是从在预定时间间隔内组合信号120的包络的改变与远端谈话人信号101的包络的改变的比率导出的。所导出的声耦合以信号103的形式由所述设备100输出。

图2显示举例说明从在预定时间间隔内组合信号102的包络的改变与远端谈话人信号101的包络的改变的比率导出声耦合103的效果的曲线。X轴表示以信号样本块为单位的时间。Y轴表示声耦合的平方根。实线曲线显示声耦合的平方根，其中声耦合作为在预定时间间隔内组合信号102的功率与远端谈话人信号101的功率的比率被导出。虚线曲线显示声耦合的平方根，其中声耦合作为在预定时间间隔内组合信号102的包络的改变与远端谈话人信号101的包络的改变的比率被导出。在所描绘的时间段内，在远端谈话人信号101中存在有（几乎）连续的远端语音。这个时间段被分割成两个子时间段，其中第一子时间段是在1到1400个块的范围内，每个块对应于80个样本，以及第二子时间段是在1400到4500个块的范围内。在第一子时间段中的声耦合103的平方根取约0.1的值，而在第二子时间段中，它取约1的值。在700至1200个块之间、在2100至2600个块之间、以及在3400至4000个块之间的子范围内有双端谈话。在头两个子时间段期间被包括在近端谈话人信号中的近端语音的水平是与被包括在远端谈话人信号中的远端语音信号的水平大致相同的，而在第三子时间段期间，被包括在近端谈话人信号中的近端语音信号比远端语音信号约低20dB。由实线画出的声耦合的平方根仅仅对于不存在双端谈话时的时间段才是正确的。对于按照本发明确定的声耦合以及由虚线画出的它的平方根，在700至1200个块之间的子时间段内在双端谈话期间几乎没有偏差，而对于2100至2600个块之间和在3400至4000个块之间的样本块的子时间段，偏差小于由实线曲线展现的偏差。甚至更重要的，偏差具有相反的方向。换句话说，这可被表达为对这些子时间段内的声耦合的过低估计。在双端谈话期间，有两个谈话人是同时活跃的，且特别是当他们与他们在2100到2600个块的子时间段中同样地洪亮时，组合信号102的包络的偏差小于回波与近端语音的个体分量的包络。这样的过低估计实际上是所希望的，因为它导致在双端谈话期间自适应滤波器的更慢的适配，这正是我们想要的东西。

图3显示按照本发明的、用于确定声耦合103的设备100的示例性体系结构。设备100包括第一包络确定电路210，用于确定远端谈话人信号101的第一包络201，以及包括第二包络确定电路220，用于确定组合信号102的第二包络202。此外，设备100包括差值电路230，由电路210和220导出的包络201和202被提供给它。差值电路230确定声耦合103，它是从在预定时间间隔内第一包络201的改变与第二包络202的改变的比率导出的。

在实施例中，在第一包络确定电路210和第二包络确定电路220中所得到的信号的包络是通过分别整流(即，取信号的绝对值)信号101和102和用具有例如100Hz截止频率的低通滤波器对信号101和102进行低通滤波而被确定的。

在另一个实施例中，在第一包络确定电路210和第二包络确定电路220中所得到的信号的包络是分别从按块对经整流的组合信号求平均和按块对经整流的远端谈话人信号求平均得到的。块的大小由语音包络的(平均)改变确定，它例如是在16kHz采样频率下的160个样本。对于信号x, 从按块平均的经整流的信号得到的包络x_E可被表示为：

其中x_E[k]表示对于第k个块的包络值，以及B是以样本数为单位表示的块尺寸。

在另一个实施例中，组合信号201的包络和远端谈话人信号202的包络是从按块进行的功率测量导出的。计算信号的包络的一个方式是按块取信号的功率的平方根。对于信号x,包络x_E于是可被表示为：

在另一个实施例中，包络的改变是在预定时间间隔的开始与结束处的包络的差值。对于信号x, 这个信号的包络在由样本(k-D)和k限定的时间间隔上的改变于是可被表示为：

 

其中D是预定时间间隔的长度。同样地，索引k可以指示块号，而D指示以块数为单位表示的预定时间间隔的长度。

在其上确定声耦合的时间间隔是互相相邻的。然而，这些间隔也可以交叠。

在另一个实施例中，包络的改变通过用零-DC滤波器对包络信号进行高通滤波而被估计。

在另一个实施例中，预定时间间隔是在远端谈话人信号101的接连样本之间的时间间隔，其中组合信号102的采样与远端谈话人信号101的采样对准。对于信号x, 这个信号的包络在接连样本k和(k+1)之间的改变于是可被表示为：

其中x_E[k]表示对于第k个样本的包络值。

在另一个实施例中，预定时间间隔是包括多倍的在远端谈话人信号的接连样本之间的时间间隔的时间间隔，其中组合信号102的采样与远端谈话人信号101的采样对准。块的大小由语音包络的(平均)改变确定，且例如是在16kHz采样频率下的160个样本。对于信号x, 这个信号的包络的改变于是可被表示为：

其中B表示以样本数表示的块尺寸。

图4显示包括自适应滤波器231的、用于确定声耦合103的设备100的替换实施例。设备100包括第一包络改变确定电路211，用于确定远端谈话人信号101的包络201A的第一改变，以及包括第二包络改变确定电路221，用于确定组合信号102的包络202A的第二改变。此外，设备100包括自适应滤波器231，用于对第一包络改变确定电路211的输出信号进行滤波，其中自适应滤波器231由剩余信号204控制。自适应滤波器231的系数之一代表在预定时间间隔内组合信号102的包络202A的改变与远端谈话人信号101的包络201A的改变的比率。剩余信号204由减法电路240提供，该减法电路计算在自适应滤波器231的输出信号与第二包络改变确定电路221的输出信号202A之间的差值。

包络确定电路211和221按照上述的方法之一分别确定远端信号和近端信号的包络的改变。

自适应滤波器231以这样一种方式调节它的系数，即使得剩余信号204的能量最小化。对于滤波器的适配，可以使用如在S.Haykin的Adaptive Filter Theory, Englewood Cliffs（NJ,USA）：Prentice-Hall,1986,ISBN 0-13-004052-5 025中描述的归一化最小均方(NLMS)滤波器。替换地，代替NLMS滤波器，可以使用如在G.P.M.Egelmeers的Real time realization concepts of large adaptive filters,PhD Thesis, Eindhoven University of Technology, Eindhoven, The Netherlands, Eindhoven 1995, ISBN 90-386-0456-4中描述的块式频域自适应滤波器或分割域自适应滤波器，这意味着，按每个频率仓（frequency bin）应用NLMS算法。NLMS滤波器的适配速度取决于输入功率的谱形状。块式频域自适应滤波器或分割域自适应滤波器对于输入功率的谱形状远不够敏感。

在另一个实施例中，自适应滤波器231是单抽头滤波器。在自适应滤波器231收敛后，声耦合103的估计作为自适应滤波器231的系数的平方被导出。

在另一个实施例中，自适应滤波器231是多抽头滤波器，其中在预定时间间隔内组合信号102的包络202A的改变与远端谈话人信号101的包络201A的改变的比率被确定为自适应滤波器231的具有最大值的系数。

在另一个实施例中，在远端谈话人信号(101)与远端谈话人信号的回波之间的延迟由确定声耦合（103）的自适应滤波器（231）的具有最大值的抽头的位置确定。

图5示意地显示包括按照本发明的、用于确定声耦合的设备100的声回波抵消器的实施例。该声回波抵消器包括扬声器110，其重现远端谈话人信号101；以及包括话筒120，其拾取包括远端谈话人信号101的回波和近端谈话人信号的组合信号102。该声回波抵消器还包括回波滤波器140，其常常被实现为自适应滤波器，用于预测由扬声器110造成的在话筒120上的回波。回波滤波器140根据在回波滤波器140的输出信号104与组合信号102 之间的差值105而对远端谈话人信号101进行滤波。差值信号105在另一个减法电路150中得到。该声回波抵消器还包括按照本发明的、用于确定在扬声器110与话筒120之间的声耦合103的设备100。回波滤波器140由声耦合103控制。对于回波滤波器140的适配，例如，可以使用具有步长控制的归一化最小均方(NLMS)算法。例如，NLMS算法可以具有以下的学习规则(如在S.Haykin的Adaptive Filter Theory,Englewood Cliffs (NJ,USA)：Prentice-Hall,1986,ISBN 0-13-004052-5 025中描述的):

其中是输入向量（即，在(离散)时间k处在另外的自适应滤波器的N点横向滤波器的延迟线上的样本），和是分别在时间k和k+1处包括横向滤波器的滤波系数的向量，r_k是另外的剩余信号，P_xx是输入信号101的经平滑的功率，以及α是步长。应用步长控制导致例如以下的学习规则：

其中γ是声耦合103，以及P_rr是另外的剩余信号的经平滑的功率。如果仅仅存在远端谈话人信号101，则最大值由P_xx确定，所以回波滤波器收敛得很快。如果存在双端谈话，则γP_rr大于P_xx，以及回波滤波器的适配速度降低。

图6示意地显示包括在回波滤波器140之前用来延迟远端谈话人信号101的延迟电路160的声回波抵消器的实施例。延迟电路160由声耦合103控制。与图5所示的声回波抵消器一样的声回波抵消器的功能电路对于图6所示的声回波抵消器来说是相同的。

声耦合确定设备100包括例如多抽头自适应滤波器，其中在多抽头自适应滤波器的脉冲响应中具有最大值的抽头的位置确定体延迟的大小。例如，如果峰值位于抽头n处，以及预定间隔是B个样本大，则体延迟最大是(n-1)×B个样本。实际上，采取稍微低一些的值以保证自适应滤波器覆盖真实的声脉冲响应。

上述的声回波抵消器可以有利地被应用于网络摄影设备、视频会议系统或免提电话终端。

虽然本发明是结合某些实施例描述的，但本发明不打算限于这里阐述的特定的形式。而是，本发明的范围仅仅由所附权利要求限制。另外，虽然特征可能看起来是结合具体的实施例描述的，但本领域技术人员应意识到，所描述的实施例的各种特征可以按照本发明被组合。在权利要求中，术语“包括”并不排除其它单元或步骤的存在。

而且，虽然是一个个地列出的，但多个电路、单元或方法步骤可以由例如单个单元或处理器来实施。另外，虽然一个个特征可被包括在不同的权利要求中，但这些特征有可能被有利地组合，且被包括在不同权利要求中并不意味着特征的组合是不可行的和/或是不利的。单词“包括” 并不排除与权利要求中列出的那些不同的其它单元或步骤的存在。另外，特征被包括在一种类型的权利要求中并不意味着限制于这种类型，而是表明如果适当的话，该特征同样可应用于其它权利要求类型。另外，单数的提及不排除复数。因此，对“一”、“一个”、“第一”、“第二”等等的提及不排除复数。在权利要求中的参考符号仅仅被提供来作为说明性的例子，无论如何不应被解释为限制权利要求的范围。本发明可以由包括几个不同单元的硬件的电路、以及由适当编程的计算机或其它可编程设备的电路来实施。

Claims (14)

1. 一种用于确定在远端谈话人信号（101）与包括远端谈话人信号的回波和近端谈话人信号的组合信号（102）之间的声耦合（103）的设备（100），其特征在于，该设备（100）包括用于从预定时间间隔内组合信号（102）的包络（202）的改变与远端谈话人信号（101）的包络（201）的改变的比率导出声耦合（103）的电路。

2. 如在权利要求1中要求的设备，其中组合信号（102）的包络（202）和远端谈话人信号（101）的包络（201）分别通过按块进行整流及平均而从组合信号（102）和通过按块进行整流及平均而从远端谈话人信号（101）得到。

3. 如在权利要求1中要求的设备，其中组合信号（102）的包络（202）和远端谈话人信号（101）的包络（201）分别从对于组合信号（102）和远端谈话人信号（101）的按块进行的功率测量中导出。

4. 如在权利要求1中要求的设备，其中预定时间间隔是在远端谈话人信号（101）的接连样本之间的时间间隔，其中组合信号（102）的采样与远端谈话人信号（101）的采样对准。

5. 如在权利要求1中要求的设备，其中预定时间间隔包括多倍的在远端谈话人信号（101）的接连样本之间的时间间隔，其中组合信号（102）的采样与远端谈话人信号（101）的采样对准。

6. 如在权利要求1中要求的设备，其中该设备包括：

- 第一包络改变确定电路（211），用于确定远端谈话人信号（101）的包络的改变（201A），

- 第二包络改变确定电路（221），用于确定组合信号（102）的包络的改变（202A），

- 自适应滤波器（231），用于对远端谈话人信号（101）的包络的改变（201A）进行滤波，其中自适应滤波器(231)由剩余信号(204)控制，其中自适应滤波器(231)的系数之一是在预定时间间隔内组合信号(102)的包络的改变(202A)与远端谈话人信号(101)的包络的改变(201A)的比率，以及

- 减法电路（240），用于将剩余信号（204）确定为在自适应滤波器（231）的输出信号（203）与组合信号（102）的包络的改变（202A）之间的差值。

7. 如在权利要求6中要求的设备，其中自适应滤波器（231）是多抽头滤波器，其中在预定时间间隔内组合信号（102）的包络的改变（202A）与远端谈话人信号（101）的包络的改变（201A）的比率被确定为自适应滤波器（231）的具有最大值的系数。

8. 如在权利要求7中要求的设备，其中在远端谈话人信号(101)与远端谈话人信号的回波之间的延迟由确定声耦合(103)的自适应滤波器(231)的具有最大值的抽头的位置确定。

9. 一种用于确定在远端谈话人信号（101）与包括远端谈话人信号的回波和近端谈话人信号的组合信号（102）之间的声耦合的方法，其特征在于，声耦合（103）是从预定时间间隔内组合信号（102）的包络（202）的改变与远端谈话人信号（101）的包络（201）的改变的比率导出的。

10. 一种声回波抵消器，包括：

- 扬声器（110），用于重现远端谈话人信号（101）；

- 话筒（120），用于拾取包括远端谈话人信号的回波和近端谈话人信号的组合信号（102）；

- 回波滤波器（140），用于根据在另外的自适应滤波器（104）的输出信号与组合信号（102）之间的差值（105）而对远端谈话人信号进行滤波，以便预测由扬声器（110）造成的在话筒（120）上的回波；以及

- 如在权利要求1-7的任一项中要求的、用于确定在远端谈话人信号（101）与组合信号（102）之间的声耦合（103）的设备（100）， 其中回波滤波器（140）还由声耦合（103）控制。

11. 一种声回波抵消器，包括：

- 扬声器（110），用于重现远端谈话人信号（101）；

- 话筒（120），用于拾取包括远端谈话人信号的回波和近端谈话人信号的组合信号（102）；

- 回波滤波器（140），用于根据在回波滤波器（140）的输出信号（104）与组合信号（102）之间的差值（105）而对远端谈话人信号进行滤波，以便预测由扬声器（110）造成的在话筒（120）上的回波；

- 在回波滤波器（140）之前的延迟电路（160），用来延迟远端谈话人信号（101）；以及

- 如在权利要求7或8中要求的、用于确定在远端谈话人信号（101）与组合信号（102）之间的声耦合（103）的设备（100）， 

其中延迟电路（160）由确定声耦合（103）的自适应滤波器（231）的具有最大值的抽头的位置来控制。

12. 包括按照权利要求10或11的声回波抵消器的网络摄影设备。

13. 包括按照权利要求10或11的声回波抵消器的视频会议系统。

14. 包括按照权利要求10或11的声回波抵消器的免提电话终端。