CN101370323A

CN101370323A - 执行声学回音消除的装置及其方法

Info

Publication number: CN101370323A
Application number: CNA2008102104762A
Authority: CN
Inventors: 冯毓钧; 吴立德
Original assignee: Fortemedia Inc
Current assignee: Fortemedia Inc
Priority date: 2007-08-15
Filing date: 2008-08-15
Publication date: 2009-02-18
Anticipated expiration: 2028-08-15
Also published as: TW200908672A; CN101370323B; US20090046866A1

Abstract

执行声学回音消除的装置及方法。该装置包括：映射矩阵，根据第一与第二远端信号产生输出信号；第一与第二喇叭，耦接于映射矩阵，以播放输出信号；第一与第二麦克风，接收第一与第二回音信号，从第一与第二喇叭声学耦接至该第一与第二麦克风，其中，第一与第二回音信号相关于输出信号；参考产生器，根据第一与第二远端信号，产生与该输出信号线性相关的参考信号；及多通道声学回音消除器，耦接于参考产生器与第一与第二麦克风，以对该参考信号进行滤波以产生第一与第二滤波信号，作为估计回音信号、将第一回音信号减去第一滤波信号以产生第一误差信号、将第二回音信号减去第二滤波信号以产生第二误差信号、以及将第一与第二误差信号传送至远端。

Description

执行声学回音消除的装置及其方法

技术领域

本发明涉及音频信号处理，特别涉及用以执行声学回音消除的装置及其方法。

背景技术

双工音频通信(duplex audio communication)系统，例如:喇叭扩音器与具有声音播放功能的视频通信系统，通常使用一麦克风与一喇叭。当该喇叭播放由远端(farend)接收的声音数据时，该麦克风由近端(near end)将语音或者其它声音数据传送至远端。对典型的免提式系统而言，将喇叭与麦克风邻近设置，而该喇叭发出的声音，会立刻被该麦可风接收，此即所谓的回音。在没有信号处理情况下，该回音将被位于远端的远端使用者听到，进而产生非预期的极大噪音(howling)与不愉快的心理声学(psycho-acoustical)经验。因此，在典型的单一音频信道系统中，使用一声学回音消除器(acoustic echo cancellator；AEC)来消除麦克风所提取的回音。

同时，随着高效率语音与图像编码技术的进步，具有高数据容量的音频通信系统的发展亦随着增加。具体来说，更重视能允许使用者同时彼此沟通的远程会议(teleconference)系统。一般而言，立体音频数据通常使用于一远程会议环境中，其中，多重音频信道的音频信号，是以上传与下载方向交换在参与者之间。因此，在远程会议系统中，需要一种能够消除多通道声学回音的装置及其方法。

发明内容

为使本发明的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附图示，详细说明如下。

根据本发明，公开了一种能够执行声学回音消除的装置，包括：一映射矩阵、第一与第二喇叭、第一与第二麦克风，一参考产生器与一多通道声学回音消除器。该映像矩阵根据第一与第二远端信号产生一输出信号。该第一与第二喇叭，耦接于该映射矩阵，用以播放该输出信号。该第一与第二麦克风接收第一与第二回音信号，从该第一与第二喇叭声学地耦接于该第一与第二麦克风，且相关于该输出信号。该参考产生器根据该第一与第二远端信号，产生线性相关于该输出信号的一参考信号。该多通道声学回音消除器，耦接于该参考产生器、该第一与第二麦克风，用以滤波该参考信号，以产生第一与第二滤波信号，作为该第一与第二麦克风的估计回音信号。再者，该多通道声学回音消除器将该第一回音信号减去该第一滤波信号，以产生一第一误差信号，并将该第二回音信号减去该第二滤波信号，以产生一第二误差信号，然后，将该第一与第二误差信号传送至一远端。

本发明亦公开一种声学回音消除方法，用以处理一双工通信系统的一近端装置中的信号，该方法包括：确认该近端装置与一远端装置之间是否有通信。如果通信存在，则一映像矩阵依据第一与第二远端信号产生一输出信号，然后，第一与第二喇叭会播放该输出信号，而第一与第二麦克风将接收第一与第二回音信号，从该第一与第二喇叭声学地耦接于该第一与第二麦可风。除此之外，该第一与第二回音信号与该输出信号相关联、一参考产生器，将根据该第一与第二远端信号，产生线性相关于该输出信号的一参考信号、以及利用一多通道声学回音消除器，对该参考信号进行滤波，以产生第一与第二滤波信号，作为该第一与第二麦克风的估计回音信号。同时，该多通道声学回音消除器，将该第一回音信号减去该第一滤波信号，以产生一第一误差信号，并将该第二回音信号减去该第二滤波信号，以产生一第二误差信号，然后，将该第一与第二误差信号传送至该远端装置。

附图说明

图1是显示一远程会议系统的一已知近端装置方块图；

图2是显示一示范单通道声学回音消除器方块图；

图3是显示根据本发明的可消除多通道声学回音的一示范近端装置方块图；

图4是显示根据本发明的可消除多通道声学回音的另一示范近端装置方块图；

图5是显示根据本发明的可消除多通道声学回音的另一示范近端装置方块图；

图6是显示根据本发明的可消除多通道声学回音的另一示范近端装置方块图；以及

图7是显示多通道声学回音消除的一示范方法流程图。

【主要组件符号说明】

10～近端界面；

12a、12b、32a、32b～喇叭；

14～回音路径；

16a、16b、36a、36b～麦克风；

18、38～多通道声学回音消除器；

18a、18b～双通道声学回音消除器；

20～回音路径估计单元；

22～回音估计产生器；

24～加法器；

30、40～映射矩阵；

31、41～参考产生器；

38a、38b～单通道声学回音消除器

42a、42b、...、42m～喇叭；

46a、46b、...、46n～麦克风；

48a、48b、...、48n～声学回音消除器；及

50、60～关联电路。

具体实施方式

图1是显示一远程会议系统的一已知近端装置方块图，包括：一近端接口10、喇叭12a与12b、回音路径14、麦可风16a与16b、以及一多通道(multi-channel)声学回音消除器(AEC)18。该近端接口10耦接于该喇叭12a与12b、该麦可风16a与16b通过该回音路径14声学地耦接于该喇叭12a与12b、而该多通道声学回音消除器18耦接于该麦风16a与16b。

在一电视或桌上型计算机的远程会议系统中，一般会利用喇叭及麦克风的多个信道。当该喇叭播送远端信号至多个的信道时，该被播放信号的一部分被麦克风所提取，其中，麦克风与近端的使用者所发出的语音为相连接，也就是说，传送至远端的近端信号，包括远端信号的回音信号。因此，该远端使用者会听到一延迟回音，通常为非预期的且极有可能造成困扰。因此，通常利用一声学回音消除器，通过模仿回音估计以及将麦克风所提取的信号减去该回音估计，用以产生传送至远端的剩余信号，进而消除该回音信号。该多信道声学系统18包括两个喇叭12a与12b、以及两个麦克风16a与1b，因此，亦需要两个双通道声学回音消除器18a与18b，用以处理该麦克风16a与16b所提取的音频信号。每一音频信号包括由该麦克风12a与12b通过两个信号路径(例：回音路径14，h_mn(k))所播放的两分量。举例来说，麦克风16a通过回音路径14的模型h₁₁(k)(m＝1及n＝1)，用以接收该输出信号x₁(k)、以及通过回音路径14的模型h₂₁(k)(m＝2及n＝1)，用以接收该输出信号x₂(k)。例如：在一具有M个喇叭与N个麦克风的远程会议系统中，则该多通道声学回音消除器需要M x N个声学回音消除器，用以精确地在喇叭与麦克风之间，做出M x N个回音路径的模型，此将导致一复杂电路、增加设计与量产的成本、并增加运作时硬件的负担。

当将该已知近端装置，应用于具有M个通道的喇叭与N个信道的麦克风的远程会议会议系统中时，当该麦克风的输入信号彼此间有关联时，则无法精确地做出该回音路径的模型。该回音路径脉冲响应无法被正确地估计，因而，在移除提取信号y(k)的回音估计y’(k)后，需在剩余信号上增加回音分量。

图2是显示一示范单通道声学回音消除器方块图，包括：一回音路径估计单元20、一回音估计产生器22与一加法器24，以循环方式耦接在一起。

该回音路径估计单元20接收误差信号e(k)，估计权重系数hmn(k)，用以特征化该回音路径，使得该误差信号e(k)可以减少。

该回音估计产生器22可为一适应性有限脉冲响应(finite impluseresponse；FIR)滤波器，具有足够分接长度，用以模型化该声学信道。该回音估计产生器22接收权重系数h_mn(k)，作为该有限脉冲响应滤波器的分接系数，用以将一近端喇叭输入与一近端麦可风输出之间的路径加以适应性地模型化，并接收一参考信号S_ref(例如：x(k))，以产生回音估计y’(k)。

该加法器24将来自麦克风的回音信号y(k)减去回音估计y’(k)，以提供该误差信号e(k)，表示传送至远端装置的该剩余信号所剩余的回音分量。

图3是显示根据本发明的能消除多通道声学回音的一示范近端装置方块图，包括：一映射矩阵30、一参考产生器31、喇叭32a与32b、麦克风36a与36b及一多通道声学回音消除器38。该映射矩阵耦接于该参考产生器31、喇叭32a与32b，而该麦克风36a与36b声学地耦接于该喇叭32a与32b，且耦接于该多通道声学回音消除器38，然后耦接回该参考产生器31。

该映像矩阵30根据第一与第二远端信号x₁(k)与x₂(k)产生输出信号S_out。该映像矩阵30接收该第一与第二远端信号x₁(k)与x₂(k)，以执行一线性运算，随即产生该输出信号S_out，通过该第一与第二喇叭32a与32b播放。该第一与第二远端信号x₁(k)与x₂(k)为模拟音频信号，通过近端装置的一数字至模拟转换器(未图标)转换数字信号而来，或者，为数字声音信号，系必须于提供至该第一与第二麦可风36a与36b前，转换至模拟。由于该第一与第二喇叭32a与32b能由该映射矩阵30接收一共享输出信号S_out，并播放该共享输出信号，如已知多通道声学回音消除器的近端装置中的相关问题就不再存在了，因此，该多通道声学回音消除器38可以精确地估计回音路径，并预测回音估计y₁’(k)与y₂’(k)，从而，由该输出端传送至远端装置的剩余信号，是为无回音或者几乎无回音的。

该第一与第二麦克风36a与36b，接收具有该第一与第二回音信号y₁(k)与y₂(k)的该第一与第二近端信号，其中，该第一与第二回音信号y₁(k)与y₂(k)，由该第一与第二喇叭32a与32b声学地耦接于该第一与第二麦克风36a与36b。该第一与第二回音信号与该输出信号相关联。在该回音消除操作前，通过模拟至数字转换器(未图标)，将该第一与第二近端信号将以数字化。

该参考产生器31，根据该第一与第二远端信号x₁(k)与x₂(k)，产生与该输出信号S_out线性相关的该参考信号S_ref。该映像矩阵30接收该第一远端信号x₁(k)与第二远端信号x₂(k)，以产生该输出信号(a*x₁(k)+b*x₂(k))，而该参考产生器31接收该第一远端信号x₁(k)与第二远端信号x₂(k)，以产生该参考信号(c*x₁(k)+d*x₂(k))。参数a、b、c与d为非零常数，例如：参数a、b、c与d可全部为1/2。

该多通道声学回音消除器38，包括单通道声学回音消除器38a与38b。该滤波参考信号S_ref产生该第一与第二滤波信号y₁’(k)与y₂’(k)，以作为该第一与第二麦可风的估计回音信号。再者，将该第一滤波信号y₁’(k)自该第一回音信号y₁(k)减去，以产生第一误差信号e₁(k)，并将该第二滤波信号y₂’(k)，自该第二回音信号y₂(k)减去，以产生第二误差信号e₂(k)。将该第一与第二误差信号传送至一远端(未图示)。该声学回音消除器38a与38b，可由图2的声学回音消除器来实现，其中，每一声学回音消除器仅耦接于一麦克风，每一声学回音消除器具有一适应性有限脉冲响应(FIR)滤波器，用以滤波该参考信号S_ref，进而产生该第一与第二滤波信号y₁’(k)与y₂’(k)，用以模仿输出信号S_out，传递于麦克风36a与36b所提取的各种回音路径中，以作为回音信号y₁(k)与y₂(k)。

图4是显示根据本发明的可消除多通道声学回音的另一示范近端装置方块图，包括：一映射矩阵40、一参考产生器41、喇叭(42a、42b、...、42m)、麦克风(46a、46b、...、46n)、以及一多通道声学回音消除器48。该映射矩阵40耦接于该参考产生器41、喇叭42a、42b、...、42m之间，该麦克风46a、46b、...、46n声学地耦接于该喇叭42a、42b、...、42m，且耦接于该多通道声学回音消除器48，然后耦接回该参考产生器41。

图4的该近端装置使用多个喇叭与麦克风，且该近端装置的操作，采用图3所公开的操作方式。该映像矩阵40，根据第一与第二远端信号x₁(k)与x₂(k)，产生输出信号S_out，通过所有喇叭进行播放。该参考产生器41根据该第一与第二远端信号x₁(k)与x₂(k)，产生与该输出信号S_out线性相关的参考信号S_ref。每一喇叭耦接于一单通道声学回音消除器，如图2所示。该声学回音消除器48a、48b、...、48n包括有限脉冲响应滤波器，对该参考信号S_ref进行滤波，在未被每一麦克风提取之前，用以模仿传递于各种回音路径的输出信号S_out。

图5是显示根据本发明的可消除多通道声学回音的另一示范近端装置方块图，包括一电路配置，相似于图3所示的近端装置，除了在该映像矩阵30与该参考产生器31之间的一关联电路50外，而该参考产生器31通过该映像矩阵30与该关联电路50，取得远端信号信息。

该参考产生器31通过该关联电路50耦接于该映射矩阵30，用以接收该输出信号S_out，以产生该参考信号S_ref，如此一来，该输出信号S_out与该参考信号S_ref维持一线性关系。举例来说，该关联电路50可将该输出信号S_out乘以1/2，用以将该参考信号S_ref提供给该参考产生器31。

图6是显示根据本发明的可消除多通道声学回音的另一示范近端装置方块图，包括与图3所示的近端装置相似的一电路配置，除了使用于该映射矩阵30与该参考产生器31之间的一关联电路60外，而该映射矩阵30通过该参考产生器31与该关联电路60，取得远端信号信息。

该映像矩阵30，通过该关联电路60，耦接于该参考产生器31，用以接收该参考信号S_ref，以产生该输出信号S_out，如此一来，该输出信号S_out与该参考信号S_ref维持一线性关系。举例而言，该关联电路50可将该参考信号S_ref乘以2，用以将该输出信号S_out提供给该映像矩阵30。

图7是显示多通道声学回音消除的一示范方法7流程图，其操作于一双工通信(duplex communication)系统的该近端装置中，如图3所示。

在进行声学回音消除方法的初始化后(步骤S700)，该近端装置确认该近端装置与该远端装置之间，是否存在通信(步骤S702)。假使存在，则该声学回音消除方法继续步骤S704；假使不存在，则该方法进行至步骤S706。当一近端使用者，开始一远程会议会议请求、或者同意来自远端的一多信道通信会话(communication session)时，可将该通信会话暂存于一区域缓存器中。

在步骤S704中，当该近端装置与该远端装置之间有通信时，则使能该映射矩阵30，根据该第一与第二远端信号x₁(k)与x₂(k)，用以产生该输出信号S_out，且使能该参考产生器31，依据该第一与第二远端信号x₁(k)与x₂(k)，用以产生与该输出信号S_out线性相关的该参考信号S_ref。该参考信号S_ref随后被传送至该多通道声学回音消除器38，用以决定该回音估计y₁’(k)与y₂’(k)，对应于该麦克风36a与36b所接收的该回音信号y₁(k)与y₂(k)。由于该参考信号S_ref与该输出信号S_out线性相关，且该喇叭32a与32b播放相同的输出信号S_out，对于每一麦克风而言，该多通道声学回音消除器仅需要一单通道(mono-channel)声学回音消除器，用以计算相对应的通道估计。举例来讲，该声学回音消除器38a计算该滤波信号y₁’(k)，其等于S_out*(h₁₁+h₂₁)或S_out*h_x1，其中，x代表源自任何来源喇叭的路径。进一步，因为该喇叭播放相同的音频信号，具高度的交叉相关性，因而提升了声学回音消除器所计算的回音估计的收敛速度及预测正确性，从而将无回音(echo-free)、或者几近无回音的输出音频信号传送至远端。该映像矩阵30接收该第一远端信号x₁(k)与该第二远端信号x₂(k)，用以产生该输出信号(a*x₁(k)+b*x₂(k))，而该参考产生器31接收该第一远端信号x₁(k)与该第二远端信号x₂(k)，用以产生该参考信号(c*x₁(k)+d*x₂(k))。参数a、b、c与d为非零的常数，例如：参数a、b、c与d可全部为1/2。

然后，在步骤S706中，该第一与第二喇叭32a与32b播放该输出信号；而该第一与第二麦克风36a与36b接收该第一与第二回音信号y₁(k)与y₂(k)，其中，该第一与第二回音信号y₁(k)与y₂(k)，由该第一与第二喇叭32a与32b声学地耦接至该第一与第二麦可风36a与36b；以及该多通道声学回音消除器38，系对该参考信号S_ref进行滤波，用以产生该第一与第二滤波信号y₁’(k)与y₂’(k)，作为该估计回音信号。除此之外，将该第一回音信号y₁(k)减去该第一滤波信号y₁’(k)，以产生该第一误差信号e₁(k)；将该第二回音信号y₂(k)减去该第二滤波信号y₂’(k)，以产生该第二误差信号e₂(k)；而该近端装置接着将该第一与第二误差信号e₁(k)与e₂(k)传送至该远端装置。该第一与第二回音信号与该输出信号S_out相关。然后，该方法7回到步骤S702，用以确认该近端装置的通信状态。如果该近端装置为非通信状态，则该方法结束。

虽然本发明已以优选实施例公开如上，然其并非用以限定本发明，本领域技术人员，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围当视所附权利要求书所界定者为准。

Claims

1.一种执行声学回音消除的装置，包括：

一映射矩阵，根据第一与第二远端信号产生一输出信号；

第一与第二喇叭，耦接于该映射矩阵，用以播放该输出信号；

第一与第二麦克风，用以接收第一与第二回音信号，由该第一与第二喇叭声学地耦接至该第一与第二麦克风，其中，该第一与第二回音信号相关于该输出信号；

一参考产生器，根据第一与第二远端信号，用以产生与该输出信号线性相关的一参考信号；以及

一多通道声学回音消除器，耦接于该参考产生器与该第一与第二麦克风，用以对该参考信号进行滤波以产生第一与第二滤波信号，作为估计回音信号、将该第一回音信号减去该第一滤波信号以产生一第一误差信号、将该第二回音信号减去该第二滤波信号以产生一第二误差信号、以及将该第一与第二误差信号传送至一远端。

2.如权利要求1所述的执行声学回音消除的装置，其中，该映像矩阵接收该第一远端信号x₁与该第二远端信号x₂，用以产生该输出信号(a*x₁+b*x₂)，而该参考产生器接收该第一远端信号x₁与该第二远端信号x₂，用以产生该参考信号(c*x₁+d*x₂)，其中，参数a、b、c与d为非零的常数。

3.如权利要求1所述的执行声学回音消除的装置，其中，参数a、b、c与d为1/2。

4.如权利要求1所述的执行声学回音消除的装置，其中，该参考产生器耦接于该映射矩阵，用以接收该输出信号并产生该参考信号。

5.如权利要求1所述的执行声学回音消除的装置，其中，该映像矩阵耦接于该参考产生器，用以接收该参考信号并产生该输出信号。

6.如权利要求1所述的执行声学回音消除的装置，其中，该多通道声学回音消除器包括：两声学回音消除器，每一声学回音消除器仅耦接于一麦克风，且每一声学回音消除器包括一适应性有限脉冲响应滤波器，用以滤波该参考信号，以产生该第一与第二滤波信号。

7.一种声学回音消除方法，用于处理一双通信系统的一近端装置中的信号，该方法包括：

确认该近端装置与一远端装置之间是否存在通信；

当通信存在时，一映像矩阵根据第一与第二远端信号产生一输出信号；

由第一与第二喇叭播放输出信号；

利用第一与第二麦克风接收第一与第二回音信号，由该第一与第二喇叭耦接于该第一与第二麦可风，其中，该第一与第二回音信号相关于该输出信号；

当通信存在时，一参考产生器，根据该第一与第二远端信号，产生与该输出信号线性相关的一参考信号；

利用一多通道声学回音消除器对该参考信号进行滤波，以产生第一与第二滤波信号，作为估计回音信号；

利用该多通道声学回音消除器，将该第一回音信号减去该第一滤波信号，以产生一第一误差信号，以及将该第二回音信号减去该第二滤波信号，以产生一第二误差信号；以及

将该第一与第二误差信号传送至远端。

8.如权利要求7所述的声学回音消除方法，其中，产生该输出信号的步骤，包括：由该映像矩阵接收该第一远端信号x₁与该第二远端信号x₂，以产生该输出信号(a*x₁+b*x₂)；而产生该参考信号的步骤包括由该参考产生器接收该第一远端信号x₁与该第二远端信号x₂，以产生该参考信号(c*x₁+d*x₂)，其中，参数a、b、c与d为非零的常数。

9.如权利要求7所述的声学回音消除方法，其中，参数a、b、c与d为1/2。

10.如权利要求7所述的声学回音消除方法，其中，产生该参考信号的步骤包括：

由该参考产生器接收该输出信号以产生该参考信号。

11.如权利要求7所述的声学回音消除方法，其中，产生该输出信号的步骤包括：

由该映像矩阵接收该参考信号以产生该输出信号。

12.如权利要求7所述的声学回音消除方法，其中，该多通道声学回音消除器包括：两声学回音消除器，每一声学回音消除器仅耦接于一麦克风，且每一声学回音消除器包括一适应性有限脉冲响应滤波器，且其中，滤波该参考信号，用以产生该第一与第二滤波信号。