CN105308942A - 回波消除 - Google Patents
回波消除 Download PDFInfo
- Publication number
- CN105308942A CN105308942A CN201480031339.6A CN201480031339A CN105308942A CN 105308942 A CN105308942 A CN 105308942A CN 201480031339 A CN201480031339 A CN 201480031339A CN 105308942 A CN105308942 A CN 105308942A
- Authority
- CN
- China
- Prior art keywords
- audio signal
- signal
- echo
- equipment
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/002—Applications of echo suppressors or cancellers in telephonic connections
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Telephone Function (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
一种在包括第一用户设备和至少一个其它用户设备的声学系统中的回波消除的方法,该方法包括在第一用户设备处:检测通过通信网络从所述至少一个其它用户设备接收到的音频信号;在接收到时将音频信号供应给第一用户设备的音频信号处理模块,其中,所述音频信号处理模块处理音频信号并将已处理音频信号输出到第一用户设备的音频输出装置;以及基于由已处理音频信号提供的环回信号并在检测到时选择性地基于接收音频信号,控制用于从经由第一用户设备的音频输入装置接收到的音频信号消除回波的回波消除过程。
Description
背景技术
通信系统允许用户通过网络相互通信。网络可以是例如因特网或公共交换电话网(PSTN)。可以在网络的节点之间发射音频信号,从而允许用户通过通信系统在通信会话中相互发射和接收音频数据(诸如语音数据)。
用户设备可具有诸如扩音器之类的音频输入装置,其可以用来从用户接收诸如语音之类的音频信号。用户可进入与另一用户的通信会话,诸如私人呼叫(在呼叫中仅有两个用户)或电话会议呼叫(在呼叫中具有超过两个用户)。用户的语音在扩音器处被接收,被处理,并且然后通过网络发射到呼叫中的其它用户。用户设备还可具有用于向近端用户输出音频信号的诸如扬声器之类的音频输出装置,该音频信号是在呼叫期间通过网络从远端用户接收到的。此类扬声器还可以用来从在用户设备处执行的其它应用输出音频信号,并且其可以被扩音器作为不想要的音频信号拾取,该不想要的音频信号将干扰来自近端用户的语音信号。
除来自用户的音频信号之外,扩音器还可接收其它音频信号,诸如本底噪声,其是不想要的且可干扰从用户接收到的音频信号。对于到远端用户的呼叫中的传输而言,本底噪声可以对到在扩音器处从近端用户接收到的音频信号的干扰有所贡献。到近端用户信号的干扰的另一原因可以起因于通过相同扬声器播出的其它音频信号,诸如来自用户设备上的应用的音乐或音频。
发明内容
提供本发明内容是为了以简化形式介绍下面在详细描述中进一步描述的概念的选择。本发明内容并不意图识别要求保护的主题的关键特征或本质特征,其也不意图用来限制要求保护的主题的范围。
提供了一种声学系统中的回波消除的方法。第一用户设备正与另一用户设备通信。在第一用户设备处,检测到通过通信网络从另一用户设备接收到的音频信号。该音频信号在被接收到时被供应给第一用户设备的音频信号处理模块。音频信号处理模块处理音频信号并向第一用户设备的喇叭或类似物输出已处理音频信号。基于由已处理音频信号提供的环回信号并在检测到时选择性地基于接收音频信号来控制用于从经由第一用户设备的扩音器或类似物接收到的音频信号中消除回波的回波消除过程。
该方法可在呼叫(例如实现网际协议话音(VoIP)以在用户设备之间发射音频数据的呼叫)中使用,在这种情况下音频信号可以是从呼叫的远端接收到的远端信号,并且接收信号包括作为结果产生的回波和用于传输到呼叫远端的近端信号。
附图说明
为了更好地理解所述实施例并示出所述实施例如何能付诸实施,现在将以示例的方式对以下各图进行参考,在所述附图中:
图1示出了通信系统的示意图;
图2是用户设备的示意性框图;
图3是回波消除技术的示意性功能图;以及
图4是用于回波消除的过程的流程图。
具体实施方式
现在将仅以示例的方式描述实施例。
在涉及基于抑制的声回波消除器的本公开中,基于远端信号来控制超抑制因数(over-suppression
factor),并且使用由诸如Microsoft WASAPI之类的声学接口提供的环回信号来修改回波路径。更具体地,超抑制因数被设定成非常低的值,例如零,而在远端信号中未检测到活动。在此时间期间,回波消除器将不应用抑制。一旦在远端信号中检测到活动,则将超抑制因数增加至较高值,这可以使得回波消除器能够应用抑制。虽然这将确保在远端扬声器不活动时不发生衰退,但在环回信号上使用独立算法,并且回波路径估计在回波消除器中被更新,同时存在足以获得可靠更新的信号功率。
图1示出了通信系统100,其包括与第一用户设备104相关联的第一用户102(“用户A”)和与第二用户设备110相关联的第二用户108(“用户B”)。在其它实施例中,通信系统100可包括任何数目的用户和关联用户设备。用户设备104和110可以在通信系统100中通过网络106进行通信,从而允许用户102和108通过网络106相互进行通信。图1中所示的通信系统100是基于分组的通信系统,但可以使用其它类型的通信系统。网络106可以例如是因特网。用户设备104和110中的每一个可以是例如移动电话、平板电脑、膝上计算机、个人计算机(“PC”)(包括例如Windows™、Mac OS™和Linux™ PC)、游戏设备、电视、个人数字助理(“PDA”)或能够连接到网络106的其它嵌入式设备。用户设备104被布置成从用户设备110的用户108接收信息和向用户设备110的用户108输出信息。用户设备104包括诸如显示器和扬声器之类的输出装置。用户设备104还包括诸如键区、触摸屏、用于接收音频信号的扩音器和/或用于捕捉视频信号的图像的照相机之类的输入装置。用户设备104被连接到网络106。
用户设备104执行由与通信系统100相关联的软件提供商提供的通信客户端的实例。通信客户端是在用户设备104中的本地处理器上执行的软件程序。客户端执行用户设备104处所需的处理以便使用户设备104通过通信系统100来发射和接收数据。
用户设备110对应于用户设备104并在本地处理器上执行通信客户端,该通信客户端对应于在用户设备104处执行的通信客户端。用户设备110处的客户端以用户设备104处的客户端执行允许用户102通过网络106进行通信所需的处理的相同方式来执行允许用户108通过网络106进行通信所需的处理。用户设备104和110是通信系统100中的端点。图1为了明了起见仅示出了两个用户(102和108)和两个用户设备(104和110),但在通信系统100中可包括更多的用户和用户设备,并且它们可使用在各用户设备上执行的各通信客户端通过通信系统100进行通信。
第一用户设备104和第二用户设备110两者都可执行声学回波消除。存在用来实现声学回波消除的两个主要方式,一个是回波消减且另一个是回波抑制。这两个方法常常被组合。
由第一用户设备104的扩音器捕捉到的音频信号被通过网络106发射以便由第二用户设备110播出。第二用户设备110的扩音器捕捉由第一用户设备104发射的音频信号的回波,如果该回波未被完全消除,则第二用户设备110将其发射回到第一用户设备104。该接收信号通过第一用户设备104的扬声器被播出,回波被第一用户设备104的扩音器捕捉。如果第一用户设备104中的回波消除器不能完全去除该回波,则回波信号被再次地发射到第二用户设备110。
设备通常除设备上的本地处理器之外还具有专用音频信号处理模块(诸如声卡)。此音频信号处理模块为用户设备执行音频处理功能,诸如在扩音器处捕捉到的音频信号的模数转换(ADC)和用于扬声器播出的音频信号的数模转换(DAC)。为了使用音频信号处理模块,在设备上的本地处理器上执行的操作系统(OS)通常要求特定软件。例如,为了使用声卡,OS通常要求特定声卡驱动器(处理声卡的物理硬件与操作系统之间的数据连接的软件程序)。
常见的是此软件(即声卡驱动器)引入播出信号(即要从扬声器输出的信号)上的效果以便使用户体验最大化(例如包括在驱动器中的响度增强效果)。那些效果是由音频信号处理模块上的信号处理模块实现的,其功能是在使用在OS中可用的播出系统的设备上的本地处理器上执行的应用(即通信客户端)所不知道的。然而,某些操作系统包括用于向在本地处理器上执行的应用反馈将要被播出的信号的功能。包括此功能的操作系统的示例是微软公司的Windows
7、8、XP和Vista Windows Phone 8操作系统。被反馈到在本地处理器上执行的应用的此信号在下文中称为“环回信号”。
诸如响度增强、动态范围压缩、噪声抑制等等喇叭播出效果在消费产品中正在变得越来越流行。从回波消除观点出发,它们引起了问题,因为这些效果被应用在回波消除器所见的回波路径中,从而促使回波路径是高度时变的。因此,常常为例如回波消除器提供环回信号以用作参考信号。环回信号包含所有非线性和时变喇叭预处理的效果。此外,其通常还包括来自其它应用的被喇叭播出的音乐或其它声音。因此,环回信号对于基于减法的回波消除器而言在所有方面是良好的声学回波消除参考信号。然而,对于依赖于远端信号上的活动检测器的基于抑制的回波消除器而言,环回信号中的任何附加活动都可以引起严重问题。
由添加的活动引起的问题是衰退,其促使回波消除器在抑制扩音器信号中的喇叭回波的努力中抑制近端语音。
将环回信号用于回波抑制主要存在两个类型的问题:1)从其它应用播出的音乐和声音所引起的衰退,以及2)由于喇叭预处理而引起的增加的话音激活检测活动所引起的衰退。
在前一种情况下,在环回信号中具有音乐的效果常常是近端语音信号的过度衰退,而近端扬声器在音乐播出期间是活动的。这种情况下的良好选择是让声学回波消除器仅仅抑制源自于远端信号的语音而不抑制任何音乐。这是使用下面所述技术实现的。
在第二种情况下,存在于信号中的喇叭预处理常常将远端信号变换成具有不那么理想性质的信号。其示例是减小了信噪比,并且稳态本底噪声水平可变成时变的。这对于依赖于活动检测器的回波消除器而言引起问题,因为这种处理使得这些不那么可靠。其促进信号处理以对远端信号而不是对环回信号应用活动检测器。这是使用下面所述技术实现的。
在本公开中,基于远端信号来控制回波超抑制因数,但是修改使用环回信号的回波路径估计,与对远端信号或环回信号两者使用相反。更具体地,超抑制因数被设定成非常低的值,例如零,而在远端信号中未检测到活动。在此时间期间,回波消除器将不应用抑制。一旦在远端信号中检测到活动性,则将超抑制因数增加至较高值,例如一,这使得回波消除器能够应用抑制。虽然这将确保在远端扬声器不活动时不发生衰退,但仍使用独立控制功能,使得仅在存在足以获得可靠更新的信号功率的同时才会更新靠环回信号更新的回波消除器的回波路径估计。
图2图示出在其上面执行通信客户端实例206以用于通过通信系统100进行通信的用户设备104的详图。用户设备104包括中央处理单元(“CPU”)或“处理模块”202,被与之相连的有:输出设备,诸如可以实现为触摸屏的显示器208以及用于输出音频信号的扬声器(或“喇叭”)210;输入设备,诸如用于接收音频信号的扩音器212、用于接收图像数据的照相机216以及键区218;用于存储数据的存储器214;以及网络接口220,诸如用于与网络106通信的调制解调器。用户设备104可包括除图2中所示的那些之外的其它元件。显示器208、扬声器210、扩音器212、存储器214、照相机216、键区218和网络接口220可如图2中所示被集成到用户设备104中。在可替换用户设备中,显示器208、扬声器210、扩音器212、存储器214、照相机216、键区218和网络接口220中的一个或多个可以不被集成到用户设备104中,并且可经由各接口连接到CPU 202。此类接口的一个示例是USB接口。如果用户104经由网络接口220到网络106的连接是无线连接,则网络接口220可包括用于向网络106无线地发射信号并从网络106无线地接收信号的天线。
图2还图示出在CPU 202上执行的操作系统(“OS”) 204。在OS 204之上运行的是通信系统100的客户端实例206的软件。操作系统204管理计算机的硬件资源并处理被经由网络接口220向和从网络106发射的数据。客户端206与操作系统204通信并管理通信系统上的连接。客户端206具有被用来向用户102呈现信息和从用户102接收信息的客户端用户接口。这样,客户端206执行允许用户102通过通信系统100进行通信所需的处理。
参考图3和4,现在描述一种回波消除的方法。图3是用户设备104的一部分的功能图。
如图3中所示,用户设备104包括扬声器210、扩音器212以及信号处理模块300。信号处理模块300(在图3中示为虚线框)表示通过在设备104的CPU 202上执行通信客户端应用206实现的信号处理功能。信号处理模块300可包括数字增益模块302/312、包括滤波器模块的建模模块304、超抑制因数估计模块306、降噪模块308、回波抑制模块310和话音活动检测模块314。通过执行通信客户端应用206实现的信号处理功能可包括比在图3中示出的功能更多或更少的功能。用户设备104还包括音频信号处理模块209。
为了对回波路径增益进行建模并估计由扩音器捕捉的回波,需要参考信号。参考图3(其中,OS包括用于向在用户设备上执行的通信客户端反馈将要被播出的信号的功能),本文所述的技术使用两个信号作为参考信号。
被用作参考信号的第一信号是标记为“远端信号”的信号。此信号表示通信客户端发送以便从扬声器播出的音频信号。使用远端信号作为参考具有优点,即当估计回波路径时由音频信号处理模块执行的任何处理都被考虑在内。然而,由于由音频信号处理模块实现的处理常常是高度非线性的且是信号相关的,所以可能难以获得用于有效的回波路径的良好估计。
可以被视为参考信号的第二信号是被标记为“环回信号”的信号。如上所述,这是OS反馈给通信客户端且已受到音频信号处理模块在将信号从扬声器播出之前应用于该信号的处理的影响的信号。使用环回信号作为参考信号避免了迫使回波路径估计尝试估计由音频信号处理模块完成的处理的问题。此信号常常被以非线性方式修改,使得低水平(即低振幅)信号被增强超过高水平(即高振幅)信号,使得极其难以将此信号用于估计系统增益。此外,其可包括由设备播出的其它信号,诸如音乐207。
图4是用于所述过程的流程图。
要从扬声器210输出的信号被耦合到数字增益模块302的输入端。数字增益模块302的输出(表示为“远端信号”)被耦合到音频信号处理模块209的输入端。音频信号处理模块209的输出被耦合到扬声器210。应注意的是在本文所述的实施例中存在仅一个扬声器(在图中用附图标记210来指示),但在其它实施例中可存在要输出的信号被耦合到其上(以便从那里输出)的超过一个扬声器。同样地,在本文所述的实施例中,仅仅存在一个扩音器(在图中用附图标记212来指示),但在其它实施例中,可存在从周围环境接收音频信号的超过一个扩音器。音频信号处理模块209的输出还被耦合到建模模块304的第一输入端。扩音器212的输出被耦合到信号处理模块300。特别地,扩音器212的输出被耦合到降噪模块308的输入端。扩音器212的输出还被耦合到建模模块304的第二输入端。建模模块304的输出被耦合到回波抑制模块310的第一输入端。降噪模块308的输出被耦合到回波抑制模块310的第二输入端。回波抑制模块310的输出被耦合到增益控制模块312的输入端。增益控制模块312的输出被用来提供接收信号(已应用回波消除)以用于在用户设备104中进一步处理。
在步骤S402中,接收将从扬声器210输出的信号。例如,要输出的信号可以是在用户102和108之间通过通信系统100的呼叫期间在网络接口220处在用户设备104处已经从用户设备110接收到的远端信号。在其它实施例中,可从除在呼叫中通过通信系统100之外的某处接收要输出的信号。例如,要输出的信号可能已被存储在存储器214中,并且步骤S402可包括从存储器214检索信号。
数字增益模块302可在远端信号被供应给音频信号处理模块209之前对远端信号应用一定水平的增益。
在步骤S404中,由音频信号处理模块209来处理远端信号。也就是说,音频信号处理模块209执行远端信号的数模转换(DAC)并在将已处理音频信号输出到扬声器210之前根据在CPU
204上执行的软件引入的效果来处理远端信号。由音频信号处理模块209应用的处理可以是时变的,并且对于远端信号的语音区域到噪声区域可以不同。由音频信号处理模块209实现的处理可包括压缩,由此,根据远端信号的输入水平而对远端信号应用不同的增益。
在步骤S406中,已经由音频信号处理模块209处理的音频信号被从扬声器210输出。这样,已经由音频信号处理模块209处理的音频信号被输出给用户102。
在步骤S408中,扩音器212接收音频信号。如图3中所示,接收音频信号可包括近端信号,其为期望信号或“主要信号”。近端信号是用户102意图使扩音器212接收的信号。然而,接收音频信号还包括作为在步骤S406中从扬声器210输出的音频信号的结果产生的回波信号。接收音频信号还可包括噪声,诸如本底噪声或音乐207。因此,总接收音频信号y(t)可以由近端信号、回波和噪声的和给出。回波和噪声充当对于近端信号的干扰。虽然在图3中未示出,对由扩音器212捕捉的信号应用模数(ADC)转换以得到数字信号y(t)。
建模模块304将输出音频信号(表示为“环回信号”)和接收音频信号y(t)取作输入。在步骤S410中,使用建模模块304来对接收音频信号y(t)中的回波的回波路径进行建模。
回波路径描述从扬声器210输出到扩音器212的音频信号所穿过的声学路径的效果。音频信号可直接地从扬声器210行进至扩音器212,或者其可被从近端终端的环境中的各种表面反射。从扬声器210输出的音频信号所穿过的回波路径可被视为具有可随时间而改变的频率和相位响应的系统。
为了从在近端扩音器212处记录的信号y(t)去除声学回波s(t),必须估计回波路径如何将期望的远端扬声器输出信号变成输入信号中的非期望回波分量。
对于近似线性的回波路径而言,回波路径h(t)描述接收音频信号y(t)中的回波如何与从扬声器210输出的环回信号x(t)相关,例如对于用脉冲响应h(t)表示的线性回波路径而言,根据以下等式来描述:
,其中,S(t)是接收音频信号y(t)中的回波,Ntrue是被扩音器212接收到的输出环回信号x(t)的样本的数目,并且hn(t)是描述回波路径h(t)的脉冲响应的系数。回波路径h(t)可在时间和频率两者方面改变,并且在本文中可称为h(t)或h(t,f)。回波路径h(t)可取决于(i)围绕扬声器210和扩音器212的当前环境条件(例如,是否存在对音频信号从扬声器210到扩音器212的通道的任何物理障碍、气压、温度、风等);以及(ii)可在信号被输出和/或接收时改变该信号的扬声器210和/或扩音器212的特性;以及(iii)可能在环回信号中未反映的信号的任何其它处理,例如缓冲延迟。
滤波器模块304通过确定输出环回信号x(t)的当前值和有限数目(N)的先前值的加权和来对与接收音频信号y(t)中的回波相关联的回波路径h(t)进行建模。滤波器模块304因此实现N阶滤波器,其具有有限长度(在时间方面),在所述有限长度内,其在确定回波路径的估计时考虑输出环回信号x(t)的值。这样,滤波器模块304动态地修改回波路径的滤波器估计。用以下等式来描述该操作,其根据输出环回信号x(t)来定义接收音频信号y(t)中的回波:。因此,使用输出环回信号x(t)的N+1个样本,具有各自的N+1个权值。N+1个权值的集合在本文中被简单地称为回波路径的估计。换言之,回波路径的估计是具有N+1个值的矢量,其中,滤波器模块304实现N阶滤波器,将输出环回信号x(t)的N+1个值(例如N+1个帧)考虑在内。
可以认识到,当回波是接收音频信号的主导部分时、亦即当 s(t)时,更容易修改回波路径的滤波器估计。然而,如果回波s(t)独立于y(t)的其它信号分量,甚至当回波不是接收音频信号y(t)的主导部分时,也可以修改回波路径的滤波器估计。
本领域的技术人员将认识到的是,不需要明确地计算回波路径的估计,而是可以借助于从随机梯度算法获得的滤波系数来表示,所述随机梯度算法诸如是最小均方(LMS)、归一化最小均方(NLMS)、快速仿射投影(FAP)和递归最小二乘法(RLS)。
使用回波路径的估计来提供滤波系数,该滤波系数对环回信号进行滤波以根据回波路径的估计来生成近端信号y(t)中的回波分量的估计。无论所使用的特定算法如何,滤波器模块304的滤波系数随着算法的每次迭代而被更新,因此滤波器模块304的系数随时间推移而被连续地更新,无论手边的信号条件如何。
虽然以上描述提及使用回波路径的时域FIR模型来估计近端信号y(t)中的回波分量,但本领域的技术人员将认识到的是这仅仅是示例而不以任何方式进行限制。也就是说,滤波器模块304可进行操作以确定回波路径的估计和因此确定时域中或频域中的近端信号y(t)的回波分量的估计。
回波路径的估计通常是基于高能量信号,因为那些是产生最可靠回波路径估计的信号。
超抑制因数估计模块306接收来自话音活动检测器314的输出。在步骤S412中,估计模块306基于是否检测到远端信号或基于检测到的远端信号水平来确定抑制因数,如前所述。
可基于每个帧执行信号处理。由于在远端和环回信号之间可能存在延迟,所以需要估计此附加延迟以便可以使超抑制因数(基于远端信号)与相应环回帧匹配。
降噪模块308被布置成在不影响扩音器信号y(t)的语音信号质量的情况下降低扩音器信号y(t)的噪声水平。本领域的技术人员已知用于消除噪声的目的的各种降噪技术。频谱减法是在存在噪声的情况下增强语音的这些方法中的一个。频谱减法使用噪声谱的估计和有噪声的语音谱来形成基于信噪比(SNR)的增益函数,其被与输入频谱相乘以抑制具有低SNR的频率。此过程的目的是获得包含比原始信号更少的噪声的音频信号。
建模模块304中的滤波器模块对环回信号x(t)进行滤波以根据回波路径的估计来生成近端信号y(t)中的回波分量的估计。
回波抑制模块310被布置成对接收音频信号y(t)的高水平部分应用回波抑制。回波抑制器310的目的是将例如在VoIP客户端中存在于扩音器信号中的喇叭回波抑制到足够低的水平以便在存在被扩音器212拣拾的近端声音(非回波声音)的情况下该喇叭回波不值得注意/构成干扰。回波抑制方法在本领域中是已知的。此外,可以以不同的方式实现由回波抑制模块310应用的回波抑制方法。同样地,因此在本文中并未详细地址描述回波抑制方法的精确细节。
回波抑制模块310被配置成在由降噪模块308实现的降噪之后接收近端信号y(t)中的回波分量的估计和扩音器信号y(t)作为输入。回波抑制模块310被布置成在降噪之后确定估计回波的功率和扩音器信号y(t)的功率。在回波抑制模块310中,估计回波功率被连同所确定的扩音器信号y(t)的功率以及超抑制因数估计模块306的输出一起用来形成针对时间t和频率f的回波抑制增益G(t, f)。这些回波抑制增益具有将扩音器信号y(t)中的任何回波s(t)抑制(S414)到在扩音器输入中存在近端信号的情况下该回波不值得注意的水平的目的。
话音活动检测314在未检测到远端信号时将回波抑制增益的水平控制为低水平或零并在以充分的功率检测到远端信号时将其控制到高水平或一。
回波抑制模块310在回波已被抑制的情况下输出接收信号以用于在数字增益控制模块312处进一步处理。
从数字增益控制模块312输出的信号可以被客户端206处理(例如编码和分组化)且然后在用户102和108之间的呼叫中被通过网络106发射到用户设备110。另外或可替换地,从数字增益控制模块312输出的信号可被用户设备104用于其它目的,例如,该信号可被存储在存储器214中或者被用作到在用户设备104处执行的应用的输入。
在上述实施例中,在VoIP系统中实现回波去除(例如,接收音频信号可包括用户102的语音以便在用户102和108之间的呼叫期间通过通信系统100发射到用户设备110)。然而,本文所述的方法可以在其中将应用回波消除的任何适当系统中应用。
本公开考虑了例如在已启用声卡驱动器中的响度增强的同时,与具有VoIP呼叫同时地在用户终端上播放音乐的情况。讨论以下情况以进行比较。
在远端用户正在主动地说话(检测到远端信号活动)的同时:
a. 不使用环回:远端用户将听到回波残余、音乐残余以及仅近端残余;
b. 使用会环回:远端用户将听不到回波残余、听不到音乐,但是由于恒定的活动音乐的消除而出现听到近端在说什么的问题。
在远端用户并不在主动地说话(未检测到或检测到低的远端信号活动)的同时:
a. 不使用环回:远端用户将听到音乐并将很好地听到近端;
b. 在没有本技术的情况下使用环回:远端扬声器将听不到音乐,并且将由于恒定的活动音乐的消除而具有听到近端在说什么的问题;
c. 用本技术的环回:远端用户将听到音乐,可以听到近端。
在上文所述的实施例中,声学系统100包括仅仅两个用户设备。然而,将认识到的是可以在包括超过两个用户设备的声学系统中应用本文所述的方法。
可通过在用户设备104处执行计算机程序产品(例如,客户端206)来实现本文所述的方法。也就是说,计算机程序产品可被配置成减少包括用户设备104和至少一个其它用户设备的声学系统中的噪声,其中,计算机程序产品体现在计算机可读存储介质上(例如存储在存储器214中)并被这样配置从而当在设备104的CPU 202上执行时执行本文所述的任何方法的操作。
一般地,可以使用软件、固件、硬件(例如,固定逻辑电路)或这些实施方式的组合来实现本文所述的任何功能(例如,图3中所示的功能模块和图4中所示的功能步骤)。在图3和4中单独地示出的模块和步骤可被实现为单独模块或步骤或者可不这样实现。如本文所使用的术语“模块”、“功能”、“组件”和“逻辑”一般地表示软件、固件、硬件或其组合。在软件实施方式的情况下,模块、功能或逻辑表示当被在处理器(例如一个或多个CPU)上执行时执行指定任务的程序代码。该程序代码可以被存储在一个或多个计算机可读存储器设备中。本文所述的技术的特征是平台无关的,意味着可在具有多种处理器的多种商用计算平台上实现该技术。例如,用户设备还可包括促使用户设备的硬件执行操作的实体(例如,软件),例如处理器功能块等。例如,用户设备可包括计算机可读介质,该计算机可读介质可被配置成保持促使用户设备以及更特别地促使用户设备的操作系统和关联硬件执行操作的指令。因此,该指令运行以将操作系统和关联硬件配置成执行操作并以这种方式导致操作系统和关联硬件的变换以执行功能。该指令可由计算机可读介质通过多种不同配置提供给用户设备。
计算机可读介质的一个此类配置是信号承载介质,并且因此被配置成诸如经由网络将指令(例如作为载波)发射到计算设备。还可将计算机可读介质配置为计算机可读存储介质且其因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪速存储器、硬盘存储器以及可使用磁、光及其它技术来存储指令和其它数据的其它存储器设备。
虽然已经用结构特征和/或方法动作特定的语言描述了本主题,但将理解的是在所附权利要求中定义的主题不一定局限于上文所述的特定特征或动作。相反地,上文所述的特定特征和动作是作为实现权利要求的示例性形式而公开的。
Claims (10)
1.一种在包括第一用户设备和至少一个其它用户设备的声学系统中的回波消除的方法,该方法包括在第一用户设备处:
检测通过通信网络从所述至少一个其它用户设备接收到的音频信号;
在接收到音频信号时,将音频信号供应给第一用户设备的音频信号处理模块,其中,所述音频信号处理模块处理音频信号并将已处理音频信号输出到第一用户设备的音频输出装置;以及
基于由已处理音频信号提供的环回信号并在检测到时选择性地基于接收音频信号,控制用于从经由第一用户设备的音频输入装置接收到的音频信号中消除回波的回波消除过程。
2.一种计算设备,包括:
远端信号检测器,其被配置成检测在设备处接收到的音频信号;
被配置成处理音频信号并向计算设备的音频输出装置输出已处理音频信号;以及
回波消除器,其被配置成基于由已处理音频信号提供的环回信号并在检测到时选择性地基于接收音频信号来从经由计算设备的音频输入装置接收到的音频信号中消除回波。
3.根据权利要求1或2所述的方法或设备,其中,从所述至少一个其它用户设备接收到的音频信号的检测控制用于在回波消除过程中抑制估计回波的超抑制因数。
4.根据权利要求3所述的方法或设备,其中,所述超抑制因数在未检测到音频信号时基本上为零,并且在检测到在阈值以上的音频信号时基本上为一。
5.根据权利要求1或2所述的方法或设备,其中,所述环回信号控制用于提供将被从经由音频输入装置接收到的音频信号消除的估计回波的模型。
6.根据权利要求1或2所述的方法或设备,其中,检测音频信号的步骤包括话音活动检测,并且其中,基于检测从所述至少一个其它用户设备接收到的音频信号的步骤来控制用于消除估计回波的超抑制因数。
7.根据权利要求1或2所述的方法或设备,包括在检测到时使用接收音频信号以便在回波消除过程中执行基于信噪比的信号分类的步骤。
8.根据权利要求1或2所述的方法或设备,其中,在多个帧中接收音频信号,并且其中,接收音频信号的帧控制用于回波消除过程的超抑制因数,其中,环回信号的同步帧控制被应用由接收音频信号的帧控制的抑制因数的估计回波的模型。
9.根据权利要求1或2所述的方法或设备,其中,在第一用户设备处的处理单元上执行通信客户端应用,该通信客户端应用被这样配置从而在被执行时检测音频信号,将音频信号供应给音频信号处理模块并控制该回波消除过程。
10.一种被配置成用于在处理单元上执行的通信客户端应用形式的计算机程序产品,其在被执行时执行步骤:
检测从远程用户设备接收到的远端信号;
将远端信号供应给被配置成向第一用户设备的音频输出装置输出已处理音频信号的音频信号处理模块;
基于检测远端信号的步骤来控制用于回波消除过程的超抑制因数;
使用由已处理音频信号提供的环回信号来控制用于生成近端信号中的估计回波的模型;以及
在回波消除过程中,对估计回波应用抑制因数以便从近端信号中消除估计回波。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1309781.1 | 2013-05-31 | ||
GBGB1309781.1A GB201309781D0 (en) | 2013-05-31 | 2013-05-31 | Echo cancellation |
US14/173,622 US9591123B2 (en) | 2013-05-31 | 2014-02-05 | Echo cancellation |
US14/173622 | 2014-02-05 | ||
PCT/US2014/039649 WO2014193874A1 (en) | 2013-05-31 | 2014-05-28 | Echo cancellation |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105308942A true CN105308942A (zh) | 2016-02-03 |
CN105308942B CN105308942B (zh) | 2019-03-01 |
Family
ID=48805578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480031339.6A Active CN105308942B (zh) | 2013-05-31 | 2014-05-28 | 回波消除 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9591123B2 (zh) |
EP (1) | EP2987316B1 (zh) |
CN (1) | CN105308942B (zh) |
GB (1) | GB201309781D0 (zh) |
WO (1) | WO2014193874A1 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201414352D0 (en) | 2014-08-13 | 2014-09-24 | Microsoft Corp | Reversed echo canceller |
US9565493B2 (en) | 2015-04-30 | 2017-02-07 | Shure Acquisition Holdings, Inc. | Array microphone system and method of assembling the same |
US9554207B2 (en) | 2015-04-30 | 2017-01-24 | Shure Acquisition Holdings, Inc. | Offset cartridge microphones |
US10367948B2 (en) | 2017-01-13 | 2019-07-30 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
CN107610713B (zh) * | 2017-10-23 | 2022-02-01 | 科大讯飞股份有限公司 | 基于时延估计的回声消除方法及装置 |
EP3804356A1 (en) | 2018-06-01 | 2021-04-14 | Shure Acquisition Holdings, Inc. | Pattern-forming microphone array |
US11297423B2 (en) | 2018-06-15 | 2022-04-05 | Shure Acquisition Holdings, Inc. | Endfire linear array microphone |
WO2020061353A1 (en) | 2018-09-20 | 2020-03-26 | Shure Acquisition Holdings, Inc. | Adjustable lobe shape for array microphones |
US10602270B1 (en) * | 2018-11-30 | 2020-03-24 | Microsoft Technology Licensing, Llc | Similarity measure assisted adaptation control |
KR102556815B1 (ko) | 2018-12-21 | 2023-07-18 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
CN113841419A (zh) | 2019-03-21 | 2021-12-24 | 舒尔获得控股公司 | 天花板阵列麦克风的外壳及相关联设计特征 |
US11438691B2 (en) | 2019-03-21 | 2022-09-06 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality |
US11558693B2 (en) | 2019-03-21 | 2023-01-17 | Shure Acquisition Holdings, Inc. | Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality |
US10796709B1 (en) | 2019-05-16 | 2020-10-06 | Microsoft Technology Licensing, Llc | Acoustic echo cancellation bypass |
EP3973716A1 (en) | 2019-05-23 | 2022-03-30 | Shure Acquisition Holdings, Inc. | Steerable speaker array, system, and method for the same |
US11302347B2 (en) | 2019-05-31 | 2022-04-12 | Shure Acquisition Holdings, Inc. | Low latency automixer integrated with voice and noise activity detection |
EP4018680A1 (en) | 2019-08-23 | 2022-06-29 | Shure Acquisition Holdings, Inc. | Two-dimensional microphone array with improved directivity |
US12028678B2 (en) | 2019-11-01 | 2024-07-02 | Shure Acquisition Holdings, Inc. | Proximity microphone |
US11552611B2 (en) | 2020-02-07 | 2023-01-10 | Shure Acquisition Holdings, Inc. | System and method for automatic adjustment of reference gain |
US11706562B2 (en) | 2020-05-29 | 2023-07-18 | Shure Acquisition Holdings, Inc. | Transducer steering and configuration systems and methods using a local positioning system |
JP2024505068A (ja) | 2021-01-28 | 2024-02-02 | シュアー アクイジッション ホールディングス インコーポレイテッド | ハイブリッドオーディオビーム形成システム |
US20220303386A1 (en) * | 2021-03-22 | 2022-09-22 | DSP Concepts, Inc. | Method and system for voice conferencing with continuous double-talk |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020076037A1 (en) * | 2000-12-15 | 2002-06-20 | Eiichi Nishimura | Echo canceler with automatic gain control of echo cancellation signal |
CN101345787A (zh) * | 2007-06-28 | 2009-01-14 | 美商富迪科技股份有限公司 | 于通信装置消除回声的方法及信号处理器 |
US20120243676A1 (en) * | 2011-03-21 | 2012-09-27 | Franck Beaucoup | Method and System for Echo Cancellation in Presence of Streamed Audio |
US20130003960A1 (en) * | 2011-06-30 | 2013-01-03 | Broadcom Corporation | Full Duplex Speakerphone Design Using Acoustically Compensated Speaker Distortion |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6125179A (en) | 1995-12-13 | 2000-09-26 | 3Com Corporation | Echo control device with quick response to sudden echo-path change |
GB2330745B (en) | 1997-10-24 | 2002-08-21 | Mitel Corp | Nonlinear processor for acoustic echo canceller |
US6317419B1 (en) | 1998-06-10 | 2001-11-13 | Conexant Systems, Inc. | Method and apparatus for training an echo canceler in a PCM modem context |
JP3727258B2 (ja) | 2001-08-13 | 2005-12-14 | 富士通株式会社 | エコー抑制処理システム |
KR20040063993A (ko) | 2001-12-14 | 2004-07-15 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 스펙트럼 에코 테일 추정기를 구비한 에코 소거기 |
US6961422B2 (en) | 2001-12-28 | 2005-11-01 | Avaya Technology Corp. | Gain control method for acoustic echo cancellation and suppression |
GB0204057D0 (en) | 2002-02-21 | 2002-04-10 | Tecteon Plc | Echo detector having correlator with preprocessing |
JP2004274681A (ja) | 2003-03-12 | 2004-09-30 | Matsushita Electric Ind Co Ltd | エコーキャンセル装置、エコーキャンセル方法、プログラムおよび記録媒体 |
US7464029B2 (en) | 2005-07-22 | 2008-12-09 | Qualcomm Incorporated | Robust separation of speech signals in a noisy environment |
GB2432759B (en) * | 2005-11-26 | 2008-07-02 | Wolfson Ltd | Audio device |
EP1982509B1 (en) | 2006-01-06 | 2010-03-10 | Koninklijke Philips Electronics N.V. | Acoustic echo canceller |
US20070263851A1 (en) * | 2006-04-19 | 2007-11-15 | Tellabs Operations, Inc. | Echo detection and delay estimation using a pattern recognition approach and cepstral correlation |
US8275120B2 (en) | 2006-05-30 | 2012-09-25 | Microsoft Corp. | Adaptive acoustic echo cancellation |
US7876890B2 (en) | 2006-06-15 | 2011-01-25 | Avaya Inc. | Method for coordinating co-resident teleconferencing endpoints to avoid feedback |
US8081753B2 (en) | 2007-04-02 | 2011-12-20 | Microsoft Corporation | Hybrid echo canceller controllers |
US8204249B2 (en) | 2007-04-30 | 2012-06-19 | Hewlett-Packard Development Company, L.P. | Methods and systems for reducing acoustic echoes in multichannel audio-communication systems |
GB2456400B (en) * | 2008-01-21 | 2012-12-26 | Skype | Reducing echo in a signal to be transmitted in a communication system |
US8325909B2 (en) | 2008-06-25 | 2012-12-04 | Microsoft Corporation | Acoustic echo suppression |
US8526587B2 (en) | 2009-12-23 | 2013-09-03 | Oracle America, Inc. | Web guided collaborative audio |
US9100734B2 (en) | 2010-10-22 | 2015-08-04 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for far-field multi-source tracking and separation |
US9219958B2 (en) | 2011-02-22 | 2015-12-22 | Revo Labs, Inc | Systems and methods for acoustic echo cancellation with wireless microphones and speakers |
US9264553B2 (en) | 2011-06-11 | 2016-02-16 | Clearone Communications, Inc. | Methods and apparatuses for echo cancelation with beamforming microphone arrays |
US8774399B2 (en) * | 2011-12-27 | 2014-07-08 | Broadcom Corporation | System for reducing speakerphone echo |
US8958897B2 (en) | 2012-07-03 | 2015-02-17 | Revo Labs, Inc. | Synchronizing audio signal sampling in a wireless, digital audio conferencing system |
US9232072B2 (en) | 2013-03-13 | 2016-01-05 | Google Inc. | Participant controlled spatial AEC |
GB201414352D0 (en) | 2014-08-13 | 2014-09-24 | Microsoft Corp | Reversed echo canceller |
-
2013
- 2013-05-31 GB GBGB1309781.1A patent/GB201309781D0/en not_active Ceased
-
2014
- 2014-02-05 US US14/173,622 patent/US9591123B2/en active Active
- 2014-05-28 EP EP14736085.3A patent/EP2987316B1/en active Active
- 2014-05-28 CN CN201480031339.6A patent/CN105308942B/zh active Active
- 2014-05-28 WO PCT/US2014/039649 patent/WO2014193874A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020076037A1 (en) * | 2000-12-15 | 2002-06-20 | Eiichi Nishimura | Echo canceler with automatic gain control of echo cancellation signal |
CN101345787A (zh) * | 2007-06-28 | 2009-01-14 | 美商富迪科技股份有限公司 | 于通信装置消除回声的方法及信号处理器 |
US20120243676A1 (en) * | 2011-03-21 | 2012-09-27 | Franck Beaucoup | Method and System for Echo Cancellation in Presence of Streamed Audio |
US20130003960A1 (en) * | 2011-06-30 | 2013-01-03 | Broadcom Corporation | Full Duplex Speakerphone Design Using Acoustically Compensated Speaker Distortion |
Also Published As
Publication number | Publication date |
---|---|
GB201309781D0 (en) | 2013-07-17 |
US20140355752A1 (en) | 2014-12-04 |
EP2987316B1 (en) | 2019-01-02 |
CN105308942B (zh) | 2019-03-01 |
US9591123B2 (en) | 2017-03-07 |
WO2014193874A1 (en) | 2014-12-04 |
EP2987316A1 (en) | 2016-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105308942A (zh) | 回波消除 | |
EP3114683B1 (en) | Audio signal processing | |
US9697845B2 (en) | Non-linear echo path detection | |
EP2982101B1 (en) | Noise reduction | |
US9449593B2 (en) | Detecting nonlinear amplitude processing | |
US8718562B2 (en) | Processing audio signals | |
US8077858B2 (en) | Echo canceler and echo canceling method | |
KR102190833B1 (ko) | 에코 억제 | |
CN105379239A (zh) | 回波去除 | |
CN105432062A (zh) | 回波去除 | |
CN105409191A (zh) | 回波去除 | |
EP2920948B1 (en) | Echo suppression | |
CN103370741B (zh) | 处理音频信号 | |
JP6369189B2 (ja) | エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末 | |
JPH01314438A (ja) | エコーキャンセラ | |
KR20140006195A (ko) | 반향 제거 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |