CN115706757A - 使用控制参数的声学回声消除 - Google Patents
使用控制参数的声学回声消除 Download PDFInfo
- Publication number
- CN115706757A CN115706757A CN202210929674.4A CN202210929674A CN115706757A CN 115706757 A CN115706757 A CN 115706757A CN 202210929674 A CN202210929674 A CN 202210929674A CN 115706757 A CN115706757 A CN 115706757A
- Authority
- CN
- China
- Prior art keywords
- filter
- estimated
- coefficients
- end signal
- estimate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/002—Applications of echo suppressors or cancellers in telephonic connections
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
双向音频通信的回声消除包括在AEC系统处从一个或多个麦克风接收至少部分地基于近端信号和再现的远端信号的音频信号。一个或多个扬声器再现远端信号。AEC系统至少部分地与一个或多个滤波器一起操作以便更新从一个或多个扬声器到一个或多个麦克风的声道的系数的估计。影响AEC系统操作的一个或多个控制参数是可配置的,并且被设置为一系列值中的一个或多个值,是基于估计信道的系数的估计的准确性和近端信号的特性。AEC系统在不同时间用一个或多个控制参数的不同值控制一个或多个滤波器。
Description
技术领域
本文的示例性实施例大致涉及声学回声消除(AEC),并且更具体地,涉及用于可能使用最大似然(ML)技术来执行AEC的过程和装置。
背景技术
在双向音频系统中,通常存在“远端”和“近端”。考虑一个房间里的人经由视频会议与不同位置的同事交谈。房间被认为是“近端”(相对于人),同事所在的位置被认为是“远端”。
扬声器和麦克风在近端没有被物理隔离的任何双向音频系统(例如,免提电话或会议室)都需要回声消除,以防止扬声器产生的远端信号经由麦克风回馈到远端。此类系统如今已广泛使用,但涉及空间音频和沉浸式体验的新用例使技术问题更具挑战性。
音频回声消除系统的理想特性包括以下一项或多项:
1)即使远端信号高度相关,也能够跟踪快速变化的物理环境的能力;
2)收敛后残余回声极低;
3)对间歇性的强近端信号的存在的鲁棒性;以及
4)可接受的复杂度(例如,消除滤波器的长度是线性的)。
发明内容
本节旨在包括示例而非限制。
在一个示例性实施例中,公开了一种用于双向音频通信的回声消除的方法,该方法包括在自适应回声消除系统处从一个或多个麦克风接收至少部分地基于近端信号和再现的远端信号的音频信号。一个或多个扬声器再现远端信号。该方法包括至少部分地用至少一个滤波器操作自适应回声消除系统,以便更新从一个或多个扬声器到一个或多个麦克风的声道的系数的估计。该方法还包括确定影响自适应回声消除系统的操作的至少一个控制参数,该控制参数是可配置的并且被设置为一系列值中的至少一个值。确定至少一个控制参数是基于估计声道的系数的估计的准确性和近端信号的特性。该方法包括由自适应回声消除系统在不同时间利用至少一个控制参数的不同值来控制至少一个滤波器。
另一个示例性实施例包括一种计算机程序,该计算机程序包括用于当计算机程序在处理器上运行时执行前一段的方法的代码。根据本段的计算机程序,其中,该计算机程序是一种计算机程序产品,该计算机程序产品包括承载体现在其中的用于与计算机一起使用的计算机程序代码的计算机可读介质。另一个示例是根据本段的计算机程序,其中,该程序可直接加载到计算机的内部存储器中。
一种示例性装置包括一个或多个处理器和一个或多个包括计算机程序代码的存储器。一个或多个存储器和计算机程序代码被配置为利用一个或多个处理器使装置:在自适应回声消除系统处从一个或多个麦克风接收至少部分地基于近端信号和再现的远端信号的音频信号,其中,一个或多个扬声器再现远端信号;至少部分地利用至少一个滤波器来操作自适应回声消除系统,以便更新从一个或多个扬声器到一个或多个麦克风的声道的系数的估计;确定影响自适应回声消除系统的操作的至少一个控制参数,该控制参数是可配置的并且被设置为一系列值中的至少一个值,其中,确定至少一个控制参数是基于估计声道的系数的估计的准确性和近端信号的特性;以及由自适应回声消除系统在不同时间利用至少一个控制参数的不同值来控制至少一个滤波器。
一种示例性计算机程序产品包括承载体现在其中的用于与计算机一起使用的计算机程序代码的计算机可读存储介质。该计算机程序代码包括:用于在自适应回声消除系统处从一个或多个麦克风接收至少部分地基于近端信号和再现的远端信号的音频信号的代码,其中,一个或多个扬声器再现远端信号;用于至少部分地利用至少一个滤波器操作自适应回声消除系统的代码,以便更新从一个或多个扬声器到一个或多个麦克风的声道系数的估计;用于确定影响自适应回声消除系统的操作的至少一个控制参数的代码,该控制参数是可配置的并且被设置为一系列值中的至少一个值,其中,确定至少一个控制参数是基于估计声道的系数的估计准确性和近端信号的特性;以及用于由自适应回声消除系统在不同时间利用至少一个控制参数的不同值来控制至少一个滤波器的代码。
在另一示例性实施例中,一种装置包括用于执行以下操作的部件:在自适应回声消除系统处从一个或多个麦克风接收至少部分地基于近端信号和再现的远端信号的音频信号,其中,一个或多个扬声器再现远端信号;至少部分地用至少一个滤波器操作自适应回声消除系统,以便更新从一个或多个扬声器到一个或多个麦克风的声道的系数的估计;确定影响自适应回声消除系统的操作的至少一个控制参数,该控制参数是可配置的并且被设置为一系列值中的至少一个值,其中,确定至少一个控制参数是基于估计声道的系数的估计的准确性和近端信号的特性;以及由自适应回声消除系统在不同时间利用至少一个控制参数的不同值来控制至少一个滤波器。
附图说明
在附图中:
图1是具有回声消除的示例性典型音频系统的逻辑流程图;
图1A是根据示例性实施例的适用于实现回声消除的通信设备的框图;
图2是称为实施例1的第一实施例的逻辑流程图;
图3是根据示例性实施例的称为实施例2的第二实施例的回声消除模块的框图;
分布在图4A和4B上的图4是针对实施例2的一般更新过程的逻辑流程图;
图5是实施例2的周期性更新规则的逻辑流程图;
图6图示了在示例性实施例中,使用带有运行IML算法的两个并行滤波器的回声消除,在模拟的SISO回声消除场景中的信号功率的演变;
图7图示了在示例性实施例中,使用带有运行IML算法的两个并行滤波器的回声消除,在图6的模拟的SISO回声消除场景中的归一化错位20log10||wt-w*||-20log10||w*||的演变;以及
图8是用于使用控制参数的声学回声消除的逻辑流程图,并且图示了示例性一个或多个方法的操作、体现在计算机可读存储器上的计算机程序指令的执行结果、由在硬件中实现的逻辑执行的功能、和/或用于执行根据示例性实施例的功能的互连部件。
具体实施方式
可以在说明书和/或附图中找到的缩写在下面的具体实施方式部分的末尾定义。
本文使用的“示例性”一词意指“用作示例、实例或说明”。本文描述为“示例性”的任何实施例不必被解释为比其他实施例更优选或更具优势。本详细说明中描述的所有实施例都是为了使本领域的技术人员能够制造或使用本发明所提供的示例性实施例,而不是限制由权利要求限定的本发明的范围的示例性实施例。
如本文所用,除非上下文另外清楚地指出,否则单数形式“一”、“一个”和“该”旨在也包括复数形式。应进一步理解,当在本文中使用时,术语“包括”、“包含”、“具有”、“具有”、“包括”和/或“含有”指定所陈述的特征、元件和/或部件的存在,但不排除一个或多个其他特征、元件、部件和/或其组合的存在或添加。
对于例如5G沉浸式语音的系统应用,需要利用多个扬声器和多个麦克风来提供更逼真的音频体验。例如,可以通过使不同的远程语音看起来来自不同的方向来增强理解力。
在大型动态物理环境中使用多个扬声器和麦克风使声学回声消除问题更具挑战性,原因如下:
1)多个扬声器增加了远端信号的相关性,减慢了收敛速度;
2)多个麦克风增加了计算复杂度;
3)大型物理环境增加了对消除滤波器的所需长度;和/或
4)动态的物理环境增加了系统所需的跟踪速度。
为了使得能够进行沉浸式语音应用,具有可以同时自动实现快速跟踪、低残余回声、对近端信号的鲁棒性和低复杂性的回声消除方法将会很有用。
对于声学回声消除的一般问题,有许多算法。三种用于调整回声消除滤波器系数的关键算法包括最小均方法(LMS)、递归最小二乘法(RLS)和仿射投影算法(APA)。尽管所有这些都是有用的,但它们具有以下限制,本文提出的技术试图解决这些限制。
1)LMS的收敛性很差,尤其是面对相关的远端信号时。
2)RLS具有出色的性能,但在滤波器长度上具有二次复杂度。
3)APA收敛速度快,但收敛后残余回声相对较高。
子带方法有效地将问题划分为不同的频带。然后可以在每个子带内应用上述三种方法。加权重叠相加(WOLA)方法属于这一类。
对于LMS算法,有一个称为步长的重要标量参数控制收敛速度和稳态残余回声之间的权衡。目前有几种用于调整步长的方案。例如,参见下列中的NP-NLMS和JO-NLMS:IEEE《信号处理快报》13(10),581-584(2006),Benesty,J.、Rey,H.、Vega,L.R.和Tressens,S.所著的“非参量的VSS NLMS算法(A nonparametric VSS NLMS algorithm)”;和《EUROSIP信号处理进展》杂志,2015:97(2015),Paleologu,C.、Ciochin,S.、Benesty J.和Grant,S.L.所著的“用于声学回声消除的优化NLMS算法概述(An overview on optimized NLMSalgorithms for acoustic echo cancellation)”。这个想法是当信道估计误差高且噪声低时使用大步长,而当误差低和/或噪声高时使用小步长。在面向语音的应用中,语音活动检测(VAD)算法可以用于确定何时存在近端声音信号。VAD可以馈入步长控制,使步长在语音活动期间等于零(或接近于零),而在近端语音无声时更大。这是因为预计高语音活动会压倒其他信号,因此在这些时间选择低适应以至无适应。
APA算法有两个参数,一个步长和一个正则化参数。通常,正则化参数设置为一个小的固定水平,以避免数值病态。原则上,该步长可以通过类似于LMS算法的方法来控制。第三个参数是存储长度,通常表示为P。较大的P值有利于快速收敛,但较小的P值会在收敛后产生较低的残余回声。下面提出了一种在不同条件下调整P的方法:Albu,F.、Paleologu,C.和Benesty,J.在2011年《IEEE国际声学、语音和信号处理会议(ICASSP)》(第429-432页),IEEE(2011年5月)的“可变步长进化仿射投影算法(A variable step size evolutionaryaffine projection algorithm)”。似乎还不知道选择或控制步长、正则化和P的有效方法。
为了解决这些和其他问题,并且作为概述,本文的示例性提议包括以下三个组成部分,尽管并非所有组成部分同时都是必需的。为了便于参考,这些组成部分被标记为C1、C2和C3。
(C1)一种新的更新规则,增量最大似然(IML),用于自适应地学习双向音频设置中的回声信道系数。IML更新规则有两个参数:i)固定存储器顺序P和ii)自适应设置的置信度参数(CP)。
(C2)一种基于音频回声消除设置中的可用信息来自适应地设置CP的理论上合理的实用方法。该更新规则可以使IML能够具有快速收敛和低稳态误差,例如,如果IML只能在低近端活动期间运行(例如,借助近端语音活动检测)。
(C3)一种基于IML的回声消除方法,例如,对近端活动具有鲁棒性。该方法涉及并行运行两个IML滤波器。这两个滤波器可以使用不同的假设来设置它们的CP。
现在给出额外的概述,在下文涉及更详细的描述。
示例性实施例涉及移动设备中的免提通信,在该移动设备处设置一个(或多个)扬声器以便将远端声音传送给近端用户,并且设置一个(或多个)麦克风以捕获将被传送给远端用户的近端声音。提供了一种回声消除模块以防止远端声音经由扬声器、本地声道和麦克风的链传播回远端用户。提供了一种用于回声消除模块的自适应机制,该机制使用P个过去样本的窗口来形成信道估计中不确定性的多维统计模型,并将滤波器系数更新为该模型下的最大似然估计。该机制在本文中被称为增量最大似然(IML)算法。该机制有一个控制参数,我们称之为置信度参数,可以对其进行修改以反映在信道估计中的不确定性水平与近端信号的功率电平之间的变化的平衡。参见上面的组成部分(C1)。各种实施例的不同之处在于例如使用组成部分(C2,C3),置信度参数基于可用信息被修改。
示例性实施例解决的一个方面在于置信度参数具有理论最优值,其可以通过不同实施例中的各种技术来估计。特别地,分析表明置信度参数可以被设置,例如,等于残余远端信号功率与近端信号功率的比率。该比率在本文中称为RFNR(残余远端与近端比率)。将IML机制的置信度参数设置为等于所估计的RFNR允许自适应机制在不同情况下表现不同,因此从而在一个机制中结合一些其他众所周知的自适应机制的积极特征。例如,当RFNR较高且置信度参数被相应设置时,IML更新与APA更新几乎相同,从而能够快速降低高残余回声水平。当RFNR较低并置信度参数被相应设置时,IML更新几乎与LMS更新相同,步长较小,这对高的近端噪声水平具有鲁棒性并实现低残余回声。对于RFNR的中间值,IML更新提供了APA或LMS都不能单独捕获的中间行为。当IML算法以约等于RFNR的置信度参数集合操作时,示例性实施例提供了快速收敛和收敛后的低残余回声。与APA和LMS一样,IML的复杂性仅与回声消除滤波器的长度呈线性关系。需注意,无论何时在本文中使用术语“相等”,这在许多示例中都可以暗示为基本上相等,例如在成为相等的某个(例如,相对较小的)阈值内。例如,置信度参数可以设置为例如在百分之一或百分之几或更小的阈值内基本上等于RFNR。
RFNR不是直接可观察的,并且各种实施例根据RFNR的估计方式而不同。通过“直接可观察”,这意味着RFNR很难从数据中估计,例如不可测量或难以测量。在精确VAD模块可用的面向语音的应用中,当近端扬声器不活动时,可以基于平坦背景噪声模型估计RFNR,并且可以简单地假设当检测到近端语音活动时RFNR非常低(参见组成部分C2)。在准确VAD不可用的应用中,例如当近端信号不仅仅是语音信号时,可以使用一对并行回声消除滤波器有效控制置信度参数。一个滤波器利用RFNR的激进估计来控制,另一个利用RFNR的保守估计来控制,两者被经常同步(参见C3点)。在示例性实施例中,激进估计使用较高的置信度参数,而保守估计使用较低的置信度参数。
本文提出的部分技术的技术效果包括以下内容。
组成部分C1的可能影响包括以下内容。当置信度参数设置为约等于残余远端与近端的比率时,IML更新规则平均实现了比用APA或NLMS可以实现的更低的残差远端信号,复杂度远低于最优方法(例如RLS)。
组成部分C1和C2一起可能产生的影响包括以下内容。在已知或可以有效估计强近端活动周期的应用中,与C1和C2一起工作的回声消除器实现在声道条件发生变化后(或在初始化时)的残余回声的快速减少,同时还实现在信道稳定时的非常低的残余回声。快速减少是基于与针对APA的减少的相似性并且具有比LMS更快的减少。低残余回声是基于与LMS实现的残余回声类似的残余回声,并且低于APA实现的残余回声。
组成部分C1和C3一起可能产生的影响包括以下内容。在一般应用中,利用C1和C3操作的回声消除器实现在声道条件发生变化后(或在初始化时)的残余回声的快速减少,同时也实现在信道稳定时的非常低的残余回声,同时还保特在高的近端活动期间的低残余回声。
现在已经提供了概述,提供了其他详细信息。
在继续进行其他细节之前,下面介绍的某些概念以数学形式表征。下表是参数的参考指南及其对应的示例性含义:
提供此表是为了便于参考,并不意味着是详尽的或限制性的。此外,有时可能会使用其他名称来引用这些参数。
考虑图1所示的设置。图1是具有回声消除的示例性典型音频系统的框图。有来自远端的信号15和去往远端的信号65。音频系统10包括扬声器阵列12(在该示例中具有三个扬声器)、麦克风阵列30(在该示例中具有三个麦克风)、声学回声消除器(AEC)90和加法器76。该示例中的AEC 90包括具有系数wt的回声消除器模块50、自适应权重更新函数70和近端活动检测模块80。阵列12和30可以具有从一个元素到多个元素,并且每个阵列12、30的元素数量不必相同。
来自远端的信号15包括扬声器信号xt11,而麦克风(mic)信号yt35包括噪声信号zt40、近端信号ut45和具有回声的远端信号60。w*表示在(一个或多个)扬声器12和(一个或多个)麦克风30之间的信道。在该示例中,系统10的环境在房间20内,并且近端信号45至少由诸如用户(未示出)的近端音频源22创建。
回声消除器50使用和应用系数wt产生回声估计75,加法器76从麦克风信号35中减去该回声估计以创建回声消除输出et65。自适应权重更新函数70更新也可以被认为是权重的系数wt。近端活动检测模块80执行VAD,并向自适应权重更新函数70输出硬输出(例如,0用于未检测到语音,1用于检测到语音)或介于(并且可能包括)0和1之间的数字。响应于此,自适应权重更新函数70将执行或不执行更新,例如,(如果使用的话)使用不同的步长。
图1A是根据示例性实施例的适用于实现回声消除的通信设备110的框图。通信设备110的一个示例是可以访问无线网络的无线设备,通常是移动设备。通信设备110包括一个或多个处理器120、一个或多个存储器125、一个或多个收发器130、以及一个或多个网络(N/W)接口(IF)161,它们通过一个或多个总线127互连。一个或多个收发器130中的每一个包括接收器Rx 132和发射器Tx 133。一个或多个总线127可以是地址、数据或控制总线,并且可以包括任何互连机制,例如主板或集成电路、光纤或其他光通信设备等上的一系列线路。
通信设备110可以是有线的、无线的或两者兼有。对于无线通信,一个或多个收发器130连接到一个或多个天线128。一个或多个存储器125包括计算机程序代码123。一个或多个N/W I/F经由一个或多个有线链路162进行通信。
通信设备110包括控制模块140,控制模块140包括可以以多种方式实现的部分140-1和/或140-2之一或两者。控制模块140可以在硬件中实现为控制模块140-1,例如实现为一个或多个处理器120的一部分。控制模块140-1也可以实现为集成电路或通过诸如可编程门阵列的其他硬件实现。在另一示例中,控制模块140可以实现为控制模块140-2,控制模块140-2实现为计算机程序代码123并且由一个或多个处理器120执行。例如,一个或多个存储器125和计算机程序代码123可以被配置为利用一个或多个处理器120使用户设备110执行如本文所述的操作中的一个或多个。AEC 90可以类似地实现为作为控制模块140-1的一部分的回声消除器模块90-1,实现为作为控制模块140-2的一部分的回声消除器模块59-2。AEC90通常包括回声消除器模块50和自适应权重更新函数70,并且可以包括也可以不包括近端活动检测模块80。
计算机可读存储器125可以为适合于本地技术环境的任何类型,并且可以使用任何适当的数据存储技术,诸如基于半导体的存储器件、闪存、固件、磁存储器件和系统、光学存储器件和系统、固定存储器和可移动存储器,来实现。计算机可读存储器125可以是用于执行存储功能的部件。处理器120可以为适合于本地技术环境的任何类型,并且作为非限制性示例,可以包括通用计算机、专用计算机、微处理器、数字信号处理器(DSP)和基于多核处理器架构的处理器中的一者或多者。处理器120可以是用于执行例如控制通信设备110的功能以及如本文所述的其他功能的部件。
一般而言,通信设备110的各种实施例可以包括但不限于蜂窝电话(诸如智能电话、移动电话、蜂窝电话、互联网协议语音(IP)(VoIP)电话和/或无线本地环路电话)、平板计算机、便携式计算机、室内音频设备、沉浸式音频设备、用于例如无线V2X(车辆对一切)通信的车辆或车载设备、图像捕获设备(例如数码相机)、游戏设备、音乐存储和播放设备、互联网设备(包括物联网IoT设备)、带有用于例如自动化应用的传感器和/或致动器的IoT设备以及结合了这些功能的便携式单元或终端、膝上型计算机、膝上型计算机嵌入式设备(LEE)、安装膝上型计算机的设备(LME)、通用串行总线(USB)加密狗、智能设备、无线客户端设备(CPE)、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如,远程手术)、工业设备和应用(例如,机器人和/或在工业和/或自动化处理链情境中操作的无线设备)、消费电子设备、在商业和/或工业无线网络上运行的设备等。也就是说,通信设备110可以是能够进行无线或有线通信的任何设备。
假设有单个扬声器(在阵列12中)和单个麦克风(在阵列30中)。该算法以简单的方式推广到多个扬声器和/或多个麦克风的案例。在时间t,AEC 90接收以下作为输入:
2)最新的麦克风测量:yt∈R。
3)P-1先前的扬声器和麦克风测量:对于t′=t-1,...,t-P+1,为(xt′,yt′)。
4)回声信道系数wt的当前估计。
现在描述所提出的回声消除方法,即IML,如何将wt更新为其输入的函数。
给定置信度参数ct,定义归一化因子参数如下:
然后,IML将系数wt更新如下:
其中,zt表示具有方差的加性高斯噪声,而ut表示近端用户的信号。首先,考虑近端用户沉默并且ut=0的案例。在这个情况下,理想情况是将参数ct设置为将参数如此设置需要访问w*,但这是不可用的。在解释设置参数ct的实用方法之前,先回顾两个极端情况,以阐明IML。
第一个情况涉及以下:在这个情况中,错位(misalignment)误差||wt-w*||2主导加性噪声,并且应该使ct非常大,设置接近零。这发生在通信会话开始时,当回声消除器没有可靠的系数估计时。在c→∞的极端情况中,可以证明IML简化为没有正则化的标准APA。更一般地说,在这个机制中,c-1作用类似于正则化APA中的正则化参数。
这两个极端情况表明,IML可以解释为APA和LMS之间的智能自适应内插值,这取决于信道估计的准确性以及测量中的噪声水平。
关于置信度参数的设置,如前所述,理想情况下,IML基于在时间t的错位的幂来设置参数ct。但这在实践中是不可用的。受理想选择启发的实用替代方法是将ct设置为
这种实用的选择在实验中效果很好。
关于IML与MLE的连接,为了理解IML及其派生,回顾了正则化APA(R-APA)。R-APA将系数wt更新如下:
这里,δ表示正则化参数。将nw×nw矩阵Pt定义为
从w0=0开始,在迭代t中发生以下情况
其中Zt=[zt,...,zt-P+1]T。Pt是一个nw-P特征值等于1且P特征值严格小于1的矩阵。该特征表明wt中的偏差,即,以指数速率收敛到零。因此,近似地,wt可以建模为其中nw×nw矩阵Mt表示wt的协方差矩阵。现在假设wt~N(wo,Mt)和wo的最大似然估计(MLE)如下:
其中在实践中,可以近似为为了进一步改进这种基于ML的方法,需注意,在这个推导中,过去的P观察已经被同等对待。但是,最新的观察(xt,yt)是未用于wt的估计的新观察。此外,这里,简单地假设Mt是对角矩阵。为了推导出更好的更新规则,建议使用IML,它在两个步骤中使用MLE:首先基于P-1过去的观察估计Mt,其次,使用最新的观察与导出的估计Mt一起更新wt。
现在介绍和研究几个实施例。特别地,描述了第一(实施例1)和第二(实施例2)实施例。
实施例1经由语音活动检测(VAD)解决了对近端信号的鲁棒性。在一些面向语音的应用中,近端信号语音信号ut可以被建模为开启或关闭的随机过程。可以使用各种语音活动检测方法来检测近端语音是开启还是关闭。在硬VAD的案例中,当检测到语音活动时,语音活动检测模块的输出可以表示为at=1,当没有检测到语音活动时,可以表示为at=0,其中“a”用于指示活动。使用软VAD,at可以采用0(零)和1(一)之间的任何值,以反映语音信号处于活动状态的所估计概率。
图2是称为实施例1的第一实施例的逻辑流程图。图2图示了根据示例性实施例的一个或多个示例性方法的操作、执行体现在计算机可读存储器上的计算机程序指令的结果、由在硬件中实现的逻辑执行的功能、和/或用于执行功能的互连装置。假设图2中的框由通信设备110在AEC 90和控制模块140的控制下执行。
在框210中,通信设备110接收用于一个或多个扬声器(图1中的一个或多个扬声器信号11)、一个或多个麦克风(一个或多个麦克风信号35)和VAD(经由近端活动检测模块80)的输入信号。
然后,一个示例性实施例在每个时间步长t按如下方式工作(也参见图2):
原始置信度参数被计算(框220)为语音活动检测模块提供值at。组合置信度参数被计算为更新后的权重向量wt+1经由IML更新步骤以置信度ct计算(框230)。一个示例使用的约定是将采用ct=0的更新解释为将IML更新方程限制为ct→0,即步长为零的LMS更新:wt+1=wt。这可以由图1的自适应权重更新函数70执行,该函数还可以在框240中执行回声滤波器的权重更新。该更新相应地修改回声消除器模块50的响应。
现在描述称为实施例2的第二实施例。该实施例提供了对近端信号的鲁棒性,而不需要语音活动检测(VAD)。也就是说,在某些应用中,语音活动检测(VAD)单元可能不可用或不够用。例如,在一些应用中,近端信号45可以是具有可变强度的连续信号-例如在音乐或其他环境噪声的案例中。在这个情况中,即使在存在近端信号的情况下也能够跟踪变化的信道是有益的,但是可以在跟踪速度和准确度之间进行适当的权衡。
在这种场景中,当来自回声消除器的功率电平增加时,很难判断增加的功率是由于近端信号ut强度的增加还是由于残余回声(wt-w*)Txt的增加,例如由于信道响应w*的变化。在前一情况中,以低置信度执行IML更新以防止强的近端信号破坏(已经准确的)权重向量wt将是理想的。在后一种情况中,以高置信度执行IML更新以尽快校正(不准确的)权重向量wt将是理想的。
由于难以预先区分这两种情况,因此本文提出了一种方法,其中并行地尝试两种行为方案。这两种方法的结果被频繁比较,在这一点上,通过“事后诸葛亮”清楚地知道适当的行动。回声消除通常输出低置信度分支的结果,但当该分支表现出优越性能时切换到高置信度分支。通过这种方式,实现了对强的近端信号的鲁棒性和对信道响应变化的快速响应。
现在更详细地描述这种方法。转向图3,该图是根据示例性实施例的被称为实施例2的第二实施例的AEC 300的框图。在该示例中,AEC 300不包括近端活动检测模块80。在图3中,有两个滤波器:保守滤波器310和激进滤波器360。保守滤波器310具有可调节的系数如标号320所示,并且在经由加法器315与麦克风信号35相加之后产生输出激进滤波器360具有可调节的系数如标号370所示,并且在经由加法器380与麦克风信号35相加之后产生输出保守滤波器310具有输出为的加法器315、IML模块325,而激进滤波器360具有输出为的加法器380和IML模块365。有控制器345,若干功率估计器(est)330、340和350,以及周期性同步块335。至少基于来自功率估计器350的功率估计,控制器345为保守滤波器310及其IML模块325产生置信度参数并为激进滤波器360及其IML模块365产生置信度参数IML模块325、365是自适应权重更新函数70的示例。标号320和370是回声消除器模块50的示例,每个模块分别产生其对应的误差输出或
简而言之,保守滤波器310将滤波器权重(参见标号320)应用于扬声器信号xt并从麦克风信号yt中减去结果。IML模块325基于控制器345提供的置信度参数调整滤波器权重。底部的类似结构实现了激进滤波器360,其中调整基于置信度参数也就是说,激进滤波器360将滤波器权重(参见标号370)应用于扬声器信号xt并将结果从麦克风信号yt中减去。IML模块365基于控制器345提供的置信度参数调整滤波器权重。周期性同步模块335周期性地比较两个滤波器的性能,将性能较差的滤波器的参数替换为较好的滤波器的参数。周期性同步模块335执行图5中的逻辑流程。
假设远端和近端信号在统计上是独立的,对于固定的滤波器系数,输出功率是近端信号功率和残余远端回声功率之和。因此,如果一个滤波器具有比另一个低的输出功率(例如,由功率估计器330、340确定),则该滤波器必须具有较低的残余远端回声,因此具有较低输出功率的滤波器是优选的。这是如何确定在任何时间点是否两个分支中的哪一个是优选的一个示例。
然而,当滤波器不断被调整时,这种方法是有偏差的,需要校正。这是因为当前滤波器依赖于过去的观察(yτ,xτ)τ<t,这些观察进而通常与当前观察(yt,xt)密切相关。为了校正这种偏差,计算出创新观察,这是一个变换后的观察其中远端信号(几乎)与先前的P-1观察Ut-1=[xt-1,...,xt-P+1]正交。
给定当前的远端信号xt、过去的远端信号Ut-1和(例如,高水平的)置信度参数c,变换后的扬声器信号可以计算如下:
还需要一些符号和分析来解释如何估计激进滤波器的置信度参数。回声消除器输出信号如下:
为简单起见,假设对于一些随时间变化的错位参数mt,E[(w*-wt)(w*-wt)T]=mtI。如果还假设wt,xt和zt是统计独立的,那么我们将有以下公式:
需注意,输出功率pt和远端信号强度st是凭经验可观察到的,并且人们想知道mt和νt以形成比率ct=mt/vt.。给定νt,可以按以下公式计算错位:
并且给定错位,可以计算近端信号功率如下:
vt=pt-mtst。
对于激进滤波器360,假设输出功率由错位项支配,并且近端信号是低的。为了防止无限的置信度估计,在一个示例性实施例中不允许噪声估计低于输出功率的给定分数∈。对错位的激进估计如下:
在此背景下,描述了两个并行滤波器的示例性操作。
使用的示例性参数包括以下参数:
1)存储长度P≥2。
2)功率平均步长0<μ<1。
3)最小错位率∈>0。
4)测试阈值0<β<1。
5)乘法因子γ>1。
6)更新周期T。
现在描述一个示例性一般更新过程。分布在图4A和4B上的图4是实施例2的一般更新过程的逻辑流程图。图4图示了根据示例性实施例的一个或多个示例性方法的操作、执行体现在计算机可读存储器上的计算机程序指令的结果、由在硬件中实现的逻辑执行的功能、和/或用于执行功能的互连部件。假设图4中的框由通信设备110在AEC 90和控制模块140的控制下执行。
在框405中,通信设备110从(一个或多个)扬声器和(一个或多个)麦克风接收输入信号。通信设备110计算滤波器输出,对于j∈{1,2},为参见框410和425。需注意,对于保守滤波器310,为j=1,以及对于激进滤波器360,为j=2。将回声消除器输出设置为 这将输出设置为保守滤波器310的输出。参见框415。
在框440中,可以将激进的错位估计被计算为这个公式是在给定观察的情况下的错位的上限;连同下面的对于c2的公式,这产生了RFNR的上限。在框460中,保守的错位估计被计算为 该公式基于低估计和激进估计的历史提供了对错位的低的估计。连同下面对于c1的公式,这产生了对于RFNR的第一估计。
直观地说,该比率估计的合理低值可以基于假设错位(即,在估计系数的误差)与过去的错位相同。定义估计的合理低值的另一种方法是明显低于激进的估计,例如低10倍。然而,重要的是要注意,置信度参数估计并不总是不同的。然而,它们有时非常不同,这对性能很重要。
在框465和445中,针对保守滤波器和激进滤波器,置信度参数估计分别被计算为,对于j∈{1,2},使用术语“置信度参数”,因为这表明系统对测量yt携带有关回声信道的有用信息的信心。当对测量有更大的信心时,可以采用更大的步长。类似地,当测量的置信度较低时,可以采用较小的步长。
其他可能的动作包括以下内容。
其他附带任务包括更新转换后的估计。
对于(3)中的功率电平,这是通过指数平均获得的滤波器输出信号的平均功率电平的运行估计。
还有一个周期性更新步骤,参考图5对其进行了描述。图5是实施例2的周期性更新规则的逻辑流程图。图5图示了根据示例性实施例的一个或多个示例性方法的操作、执行体现在计算机可读存储器上的计算机程序指令的结果、由在硬件中实现的逻辑执行的功能、和/或用于执行功能的互连部件。假设图5中的框由通信设备110在AEC 90和控制模块140的控制下执行。
框550指示在图4已经重复多次之后执行图5,从而重复估计滤波器的误差消除性能。次数决定了周期性,现在描述这样的示例。
周期性地(例如,当t=kT时,对于某个更新周期T和任何整数k),比较和同步两个滤波器。还参见图3中的周期性同步框335。这个过程可能有常数因子β<1和乘法因子γ>1。
在框505中,在框505中接收保守和激进的回声滤波器系数、输出功率和错位。在框510中,通信设备110确定激进滤波器的输出功率是否小于保守滤波器的输出功率乘以常数因子。如果(框510=是),则认为激进滤波器比保守滤波器执行得更好。
作为响应,执行以下操作。
否则(框510=否),保守滤波器被认为是最好的。执行以下作为响应。
在上面的框520和535中,将较差滤波器的系数设置为等于较好滤波器的系数。然而,这只是一种选择。如框521、536所示,系数可译改为设置为“更接近”其他系数。例如,可以将较差滤波器的系数设置为两个滤波器的系数的平均值。这将使系数更接近更好滤波器的系数,但以更渐进的方式。也就是说,术语“更接近”可以定义为减小两个滤波器的系数之间的差的向量范数(考虑每个滤波器的系数由向量w描述)。
此外,虽然在框510中使用了输出功率,但也可以使用性能来代替。参见框511。性能可以确定为回声消除器的较低输出功率意味着更好的性能。可能有其他性能指标,功率输出是一种示例性的性能指标。
为了说明没有语音活动检测的实施例的技术效果,在图6和7中描绘来自回声消除模拟的性能结果。在这个模拟中,远端信号是连续的语音信号,并且近端信号是间歇性语音信号加上少量的背景噪声。从单个扬声器到单个麦克风的回声信道是典型的室内声学回声响应。信道通常是恒定的,但在三个不同的时间间隔(7-9秒(s)、14-16秒和26-28秒),信道会发生明显变化。
图6示出了作为时间函数的远端信号、近端信号和残余回声的强度。该图图示了使用带有运行IML算法的两个并行滤波器的回声消除,在模拟的SISO回声消除场景中的信号功率的演变。在标号610中,呈现了近端信号强度(间歇性语音加上背景噪声)。在标号620中,呈现了回声信号强度(在近端麦克风处接收到的语音远端信号)。在标号630中,呈现了在消除输出处的残余回声信号。标号640突出显示了回声信道发生变化的时间间隔。标号1表明,如果在近端信号为高电平时信道发生变化,则只要近端信号减小,跟踪就会恢复。标号2表明,如果在近端信号低时信道发生变化,跟踪就是快速有效的。标号3表明,当信道固定时,残余回声不受近端信号的影响。
图7示出了错位20log10||wt-w*||-20log10||w*||随时间的演变。标号1、2和3表明与它们在图6中所做的相同。在该图中,通过标号650突出显示了选择激进滤波器而不是保守滤波器的时刻——在所有其他情况下都选择了保守滤波器。标号640突出显示了回声信道发生变化的时间间隔。图7图示了使用带有运行IML算法的两个并行滤波器的回声消除,在图6的模拟的SISO回声消除场景中的归一化错位20log10||wt-w*||-20log10||w*||的演变。
在低的近端信号的时段,错位和残余回声迅速减少——例如接近时间0秒(零秒)和时间17秒。在这些时段,算法正确地使用了以高置信度参数运行IML的激进滤波器。当近端信号强且信道静默时,回声信道的准确性得以保留在例如1-5秒和20-25秒的间隔内。在这些时段,算法正确地使用了以低置信度参数运行IML的保守滤波器。当信道改变时,错位会暂时增加。当信道变化发生在低的近端活动时段期间(cf26-28s)时,滤波器可以足够快地调整以保持低残余回声。当在高的近端活动时段期间(参见7-9秒)发生信道变化时,滤波器必须等待近端信号的中断,以便学习新的回声信道。
该示例说明了在两个并行分支中实现IML更新算法的回声消除器如何可以实现快速跟踪、低残余回声、对近端信号的鲁棒性和低复杂度。
总之,某些示例性实施例可以具有以下优点和技术效果中的一个或多个。
1)当残差高(如APA、RLS)时快速收敛,因为当测量的置信度高时,IML充分利用了来自最近P测量的信息。
2)小的渐近残差(如小步长LMS),因为当测量的置信度较低时,IML会平均来自近端信号的波动。
3)由于对置信度参数的最佳设置的理论理解,使用VAD(实施例1)或不使用VAD(实施例2)对近端活动的自动调整。
4)计算复杂度低(滤波器长度呈线性),因为IML使用与APA相同的计算框架。
在一些实施例中,可以使用滤波器组来执行回声消除,其中麦克风信号和扬声器信号通过具有互补通带的两个或更多个并行滤波器以生成多个子带序列,其中在每个子带内独立地并且并行地执行回声消除,并且其中每个子带中回声消除的输出被组合以生成时域中的最终输出序列。在这个情况中,前面描述的示例可以直接用于每个子带中的序列上。
在一些实施例中,诸如当使用基于离散傅里叶变换(DFT)的滤波器组时,或者当使用载波调制信号的基带表示时,扬声器和麦克风信号以及估计的信道系数可以表示为复数值,而不是实值。前面给出的公式自然地扩展到复杂的情况,这对本领域技术人员来说是显而易见的。例如,前面描述的αt(归一化因子参数)和段落中wt+1的公式将替换为以下公式:
其中AH表示复矩阵或向量A的Hermitian转置。
转向图8,该图是使用控制参数的声学回声消除的逻辑流程图。该图还图示了根据示例性实施例的一个或多个示例性方法的操作、执行体现在计算机可读存储器上的计算机程序指令的结果、由在硬件中实现的逻辑执行的功能、和/或用于执行功能的互连部件。假设该图由通信设备110使用AEC 90执行。
在框810中,执行操作以在自适应回声消除系统处从一个或多个麦克风接收至少部分地基于近端信号和再现的远端信号的音频信号。一个或多个扬声器再现远端信号。
在框820中,执行操作以至少部分地利用至少一个滤波器来操作自适应回声消除系统,以便更新从一个或多个扬声器到一个或多个麦克风的声道的系数的估计。在框830中确定影响自适应回声消除系统的操作的至少一个控制参数,该控制参数是可配置的并且被设置为一系列值中的至少一个值。确定至少一个控制参数是基于估计所述声道的系数的估计的准确性和近端信号的特性。
在框840中,由自适应回声消除系统执行控制操作以在不同时间用至少一个控制参数的不同值来控制至少一个滤波器。
现在给出另外的示例。
示例2.根据图8的示例所述的方法,其中,至少一个滤波器包括第一滤波器和第二滤波器,并且其中,在所述第一滤波器上第一次使用的所述不同值中的一个值不同于所述第二滤波器上第一次使用的所述不同值中的另一个值。
示例3.根据示例2所述的方法,其中,所述在不同时间用所述至少一个控制参数的不同值来控制所述至少一个滤波器进一步包括:
用影响所述声道的所述系数的对应估计的变化率的各自的对应第一控制参数和第二控制参数的不同值,来控制所述第一滤波器和第二滤波器,其中,针对所述第一滤波器设置的所述第一控制参数的值促使所述信道系数估计以比由针对所述第二滤波器的所述第二控制参数的值引起的变化率更慢的速率变化;
重复估计所述第一滤波器和第二滤波器的误差消除性能;以及
在所述重复的估计之后,将被估计为具有较低性能的所述第一滤波器或第二滤波器的系数更新为更接近于被估计为具有较高性能的所述第一滤波器或第二滤波器中的所述另一个滤波器的系数。
示例4.根据示例3所述的方法,其中,所述更新进一步包括:将被估计为具有较低性能的所述第一滤波器或第二滤波器的系数更新为等于被估计为具有较高性能的所述第一滤波器或第二滤波器中的另一个滤波器的系数。
示例5.根据示例3所述的方法,其中,所述性能以输出功率为特征。
示例6.根据示例3所述的方法,其中,利用各自的对应第一控制参数和第二控制参数的不同值来控制所述至少两个滤波器中的所述第一滤波器和第二滤波器进一步包括:
确定残余远端与近端比率的两个估计:
基于第一估计和第二估计的过去历史的所述残余远端与近端比率的所述第一估计,所述第一估计被选为所述比率的合理低值;
基于对来自所述一个或多个麦克风的信号和所述远端信号的观察,作为所述残余远端与近端比率的上限的所述第二估计被选择为所述上限可能是的最大值;
将所述第一自适应滤波器的所述第一置信度参数设置为所述第一估计;
将所述第二自适应滤波器的所述第二置信度参数设置为所述第二估计。
示例7.根据示例6所述的方法,其中,所述第一估计被选择为比所述第二估计明显低一个因子的所述比率的合理低值。
示例8.根据示例3所述的方法,进一步包括:将被估计为具有较低性能的所述第一滤波器或第二滤波器的估计的功率电平设置为等于被估计为具有较高性能的所述第一滤波器或第二滤波器中的另一个滤波器的功率电平。
示例9.根据示例3所述的方法,进一步包括:响应于所述第二滤波器被估计为具有比所述第一滤波器更低的性能而增加所述第一滤波器的所估计的错位。
示例10.根据示例9所述的方法,其中,增加所述第一滤波器的所估计的错位进一步包括:将所述第一滤波器的所述所估计的错位增加恒定乘法因子。
示例11.根据图8的示例所述的方法,其中,所述近端信号的特征包括所述近端信号的信号强度。
示例12.根据示例11所述的方法,其中,所述信号强度由所述近端信号的平均功率表征。
示例13.根据图8中的示例所述的方法,其中,所述确定至少一个控制参数是基于估计在所述声道的系数的所述估计中的误差测量与所述近端信号的强度测量之间的比率。
示例14.根据图8中的示例所述的方法,其中,在第一时间使用的所述不同值中的第一值不同于在第二时间使用的所述不同值中的第二值。
示例15.一种计算机程序,包括用于在所述计算机程序在计算机上运行时执行示例1至14中任一项的所述方法的代码。
示例16.根据示例15所述的计算机程序,其中,所述计算机程序是包括计算机可读介质的计算机程序产品,所述计算机可读介质承载体现在其中的用于与所述计算机一起使用的计算机程序代码。
示例17.根据示例15所述的计算机程序,其中,所述计算机程序可直接加载到所述计算机的内部存储器中。
示例18.一种用于双向音频通信的回声消除的装置,包括用于执行以下操作的部件:
在自适应回声消除系统处从一个或多个麦克风接收至少部分地基于近端信号和再现的远端信号的音频信号,其中,一个或多个扬声器再现所述远端信号;
至少部分地利用至少一个滤波器来操作所述自适应回声消除系统,以便更新从所述一个或多个扬声器到所述一个或多个麦克风的声道的系数的估计;
确定影响所述自适应回声消除系统的操作的至少一个控制参数,所述控制参数是可配置的并且被设置为一系列值中的至少一个值,其中,所述确定至少一个控制参数是基于估计所述声道的所述系数的所述估计的准确性和所述近端信号的特性;以及
由所述自适应回声消除系统在不同时间利用所述至少一个控制参数的不同值来控制所述至少一个滤波器。
示例19.根据示例15所述的装置,其中,至少一个滤波器包括第一滤波器和第二滤波器,并且其中,在所述第一滤波器上第一次使用的所述不同值中的一个值不同于所述第二滤波器上第一次使用的所述不同值中的另一个值。
示例20.根据示例16所述的装置,其中,所述在不同时间用所述至少一个控制参数的不同值控制所述至少一个滤波器进一步包括:
用影响所述声道的所述系数的对应估计的变化率的各自的对应第一控制参数和第二控制参数的不同值,来控制所述第一滤波器和第二滤波器,其中,针对所述第一滤波器设置的所述第一控制参数的值促使所述信道系数估计以比由针对所述第二滤波器的所述第二控制参数的值引起的变化率更慢的速率变化;
重复估计所述第一滤波器和第二滤波器的误差消除性能;以及
在所述重复的估计之后,将估计为具有较低性能的所述第一滤波器或第二滤波器的系数更新为更接近于估计为具有较高性能的所述第一滤波器或第二滤波器中的另一个滤波器的系数。
示例21.根据示例17所述的装置,其中,所述更新进一步包括:将被估计为具有较低性能的所述第一滤波器或第二滤波器的系数更新为等于被估计为具有较高性能的所述第一滤波器或第二滤波器中的另一个滤波器的系数。
示例22.根据示例17所述的装置,其中,所述性能以输出功率为特征。
示例23.根据示例17所述的装置,其中,利用各自的对应第一控制参数和第二控制参数的不同值来控制所述至少两个滤波器中的所述第一滤波器和第二滤波器进一步包括:
确定残余远端与近端比率的两个估计:
基于第一估计和所述第二估计的过去历史的所述残余远端与近端比率的所述第一估计,所述第一估计被选为所述比率的合理低值;
基于对来自所述一个或多个麦克风的信号和所述远端信号的观察,作为所述残余远端与近端比率的上限的所述第二估计被选择为所述上限可能是的最大值;
将所述第一自适应滤波器的所述第一置信度参数设置为所述第一估计;
将所述第二自适应滤波器的所述第二置信度参数设置为所述第二估计。
示例24.根据示例20所述的装置,其中,所述第一估计被选择为比所述第二估计明显低一个因子的所述比率的合理低值。
示例25.根据示例17所述的装置,其中,所述部件被进一步配置为执行:将被估计为具有较低性能的所述第一滤波器或第二滤波器的估计的功率电平设置为等于被估计为具有较高性能的所述第一滤波器或第二滤波器中的另一个滤波器的功率电平。
示例26.根据示例17所述的方法,其中,所述部件被进一步配置为:响应于所述第二滤波器被估计为具有比所述第一滤波器更低的性能而执行增加所述第一滤波器的所估计的错位。
示例27。根据示例23所述的装置,其中,增加所述第一滤波器的所述所估计的错位进一步包括:将所述第一滤波器的所述所估计的错位增加恒定乘法因子。
示例28。根据示例15所述的装置,其中,所述近端信号的所述特征包括所述近端信号的信号强度。
示例29。根据示例25所述的装置,其中,所述信号强度由所述近端信号的平均功率表征。
示例30.根据示例15所述的装置,其中,所述确定至少一个控制参数是基于估计在所述声道的系数的所述估计中的误差测量与所述近端信号的强度测量之间的比率。
示例31。根据示例15所述的装置,其中,在第一时间使用的所述不同值中的第一值不同于在第二时间使用的所述不同值中的第二值。
示例32.根据任何前述装置示例所述的装置,其中,所述部件包括:
至少一个处理器;以及
包括计算机程序代码的至少一个存储器,所述至少一个存储器和计算机程序代码被配置为利用所述至少一个处理器促使所述装置的所述性能。
示例33.一种用于双向音频通信的回声消除的装置,包括:
一个或多个处理器;以及
包括计算机程序代码的一个或多个存储器,
其中,所述一个或多个存储器和所述计算机程序代码被配置为利用所述一个或多个处理器使所述装置:
在自适应回声消除系统处从一个或多个麦克风接收至少部分地基于近端信号和再现的远端信号的音频信号,其中,一个或多个扬声器再现所述远端信号;
至少部分地利用至少一个滤波器来操作所述自适应回声消除系统,以便更新从所述一个或多个扬声器到所述一个或多个麦克风的声道的系数的估计;
确定影响所述自适应回声消除系统的操作的至少一个控制参数,所述控制参数是可配置的并且被设置为一系列值中的至少一个值,其中,所述确定至少一个控制参数是基于估计所述声道的系数的所述估计的准确性和所述近端信号的特性;以及
由所述自适应回声消除系统在不同时间利用所述至少一个控制参数的不同值来控制所述至少一个滤波器。
示例34.根据示例33所述的装置,其中,至少一个滤波器包括第一滤波器和第二滤波器,并且其中,在所述第一滤波器上第一次使用的所述不同值中的一个值不同于所述第二滤波器上第一次使用的所述不同值中的另一个值。
示例35.根据示例34所述的装置,其中,所述在不同时间用所述至少一个控制参数的不同值控制所述至少一个滤波器进一步包括:
用影响所述声道的所述系数的对应估计的变化率的各自的对应第一控制参数和第二控制参数的不同值,来控制所述第一滤波器和第二滤波器,其中,针对所述第一滤波器设置的所述第一控制参数的值促使所述信道系数估计以比由针对所述第二滤波器的所述第二控制参数的值引起的变化率更慢的速率变化;
重复估计所述第一滤波器和第二滤波器的误差消除性能;以及
在所述重复的估计之后,将估计为具有较低性能的所述第一滤波器或第二滤波器的所述系数更新为更接近于估计为具有较高性能的所述第一滤波器或第二滤波器中的另一个滤波器的系数。
示例36.根据示例35所述的装置,其中,所述更新进一步包括:将被估计为具有较低性能的所述第一滤波器或第二滤波器的系数更新为等于被估计为具有较高性能的所述第一滤波器或第二滤波器中的另一个滤波器的系数。
示例37.根据示例35所述的装置,其中,所述性能以输出功率为特征。
示例38.根据示例35所述的装置,其中,利用各自的对应第一控制箱和第二控制参数的不同值来控制所述至少两个滤波器中的所述第一滤波器和第二滤波器进一步包括:
确定残余远端与近端比率的两个估计:
基于第一估计和所述第二估计的过去历史的所述残余远端与近端比率的所述第一估计,所述第一估计被选为所述比率的合理低值;
基于对来自所述一个或多个麦克风的信号和所述远端信号的观察,作为所述残余远端与近端比率的上限的所述第二估计被选择为所述上限可能是的最大值;
将所述第一自适应滤波器的所述第一置信度参数设置为所述第一估计;
将所述第二自适应滤波器的所述第二置信度参数设置为所述第二估计。
示例39.根据示例38所述的装置,其中,所述第一估计被选择为比所述第二估计明显低一个因子的所述比率的合理低值。
示例40.根据示例35所述的装置,其中,所述一个或多个存储器和所述计算机程序代码进一步被配置为利用所述一个或多个处理器促使所述装置:将被估计为具有较低性能的所述第一滤波器或第二滤波器的估计的功率电平设置为等于被估计为具有较高性能的所述第一滤波器或第二滤波器中的另一个滤波器的所述功率电平。
示例41.根据示例35所述的装置,其中,所述一个或多个存储器和所述计算机程序代码进一步被配置为利用所述一个或多个处理器促使所述装置:响应于所述第二滤波器被估计为具有比所述第一滤波器更低的性能增加所述第一滤波器的所估计的错位。
示例42.根据示例41所述的装置,其中,增加所述第一滤波器的所述所估计的错位进一步包括:将所述第一滤波器的所述所估计的错位增加恒定乘法因子。
示例43.根据示例33所述的装置,其中,所述近端信号的所述特征包括所述近端信号的信号强度。
示例44.根据示例43所述的装置,其中,所述信号强度由所述近端信号的平均功率表征。
示例45.根据示例33所述的装置,其中,所述确定至少一个控制参数是基于估计在所述声道的系数的所述估计中的误差测量与所述近端信号的强度测量之间的比率。
示例46.根据示例33所述的装置,其中,在第一时间使用的所述不同值中的第一值不同于在第二时间使用的所述不同值中的第二值。
示例47.一种计算机程序产品,包括承载体现在其中的用于与计算机一起使用的计算机程序代码的计算机可读存储介质,所述计算机程序代码包括:
用于在自适应回声消除系统处从一个或多个麦克风接收至少部分地基于近端信号和再现的远端信号的音频信号的代码,其中,一个或多个扬声器再现所述远端信号;
用于至少部分地利用至少一个滤波器来操作所述自适应回声消除系统,以便更新从所述一个或多个扬声器到所述一个或多个麦克风的声道的系数的估计的代码;
用于确定影响所述自适应回声消除系统的操作的至少一个控制参数的代码,所述控制参数是可配置的并且被设置为一系列值中的至少一个值,其中,所述确定至少一个控制参数是基于估计所述声道的系数的所述估计的准确性和所述近端信号的特性;以及
用于由所述自适应回声消除系统在不同时间利用所述至少一个控制参数的不同值来控制所述至少一个滤波器的代码。
如在本申请中使用的,术语“电路”可以指以下一项或多项或全部:
(a)仅硬件电路实现方式(诸如仅在模拟和/或数字电路中的实现方式)以及
(b)硬件电路和软件的组合,诸如(适用时):(i)(一个或多个)模拟和/或数字硬件电路与软件/固件的组合,以及(ii)带有软件的(一个或多个)硬件处理器的任何部分(包括一个或多个数字信号处理器)、软件以及一个或多个存储器,它们协同工作以使装置(诸如移动电话或服务器)执行各种功能;以及
(c)(一个或多个)硬件电路和/或(一个或多个)处理器,例如一个或多个微处理器或一个或多个微处理器的一部分,其需要软件(例如固件)进行操作,但软件在不需要操作时可能不存在。
该电路的定义适用于本申请中该术语的所有用途,包括在任何权利要求中的用途。作为另一个示例,如在本申请中使用的,术语电路还涵盖仅硬件电路或处理器(或多个处理器)或硬件电路或处理器的一部分及其(或它们的)随附软件和/或固件的实现方式。例如,如果适用于特定权利要求元素,术语电路还涵盖用于移动设备的基带集成电路或处理器集成电路或服务器、蜂窝网络设备或其他计算或网络设备中的类似集成电路。
本文的实施例可以以软件(由一个或多个处理器执行)、硬件(例如,专用集成电路)或软件和硬件的组合来实现。在一个示例实施例中,软件(例如,应用逻辑、指令集)被维持在各种常规计算机可读介质中的任何一者上。在本文档的上下文中,“计算机可读介质”可以是可以包含、存储、传达、传播或传输指令以供指令执行系统、装置或设备(诸如计算机,例如在图1A中描述和描绘了计算机的一个示例)使用或与其结合使用的任何介质或部件。计算机可读介质可以包括计算机可读存储介质(例如,存储器125或其他设备),其可以是可以包含、存储和/或传输指令以供指令执行系统、装置或设备(诸如计算机)使用或与其结合使用的任何介质或部件。计算机可读存储介质不包括传播信号。
如果需要,可以以不同的顺序和/或彼此同时地执行本文所讨论的不同功能。此外,如果需要,上述功能中的一个或多个功能可以为可选的或可以组合的。
尽管在独立权利要求中阐述了本发明的各个方面,但是本发明的其他方面包括来自所描述的实施例和/或从属权利要求的特征与独立权利要求的特征的其他组合,而不仅仅是权利要求中明确阐述的组合。
在此还应注意,虽然以上描述了本发明的示例实施例,但这些描述不应被视为限制性的。相反,在不脱离如所附权利要求所限定的本发明的范围的情况下,可以进行若干变化和修改。
在说明书和/或附图中可能出现的以下缩写定义如下:
5G 第五代
AEC 声学回声消除或声学回声消除器
APA 仿射投影算法
cf 比较
coeffs 系数
CP 置信度参数
IML 增量最大似然
JO-NLMS 联合优化归一化最小均方
LMS 最小均方
Mic 麦克风
MIMO 多输入多输出
MISO 多输入单输出
MLE 最大似然估计
NLMS 归一化最小均方
NP-NLMS 非参数归一化最小均方
R-APA 正则化仿射投影算法
RFNR 残余远端到近端的比率
RLS 递归最小二乘法
s 秒
SISO 单输入单输出
VAD 语音活动检测
WOLA 加权重叠相加
Claims (20)
1.一种用于双向音频通信的回声消除的方法,包括:
在自适应回声消除系统处从一个或多个麦克风接收至少部分地基于近端信号和再现的远端信号的音频信号,其中,一个或多个扬声器再现所述远端信号;
至少部分地利用至少一个滤波器来操作所述自适应回声消除系统,以便更新从所述一个或多个扬声器到所述一个或多个麦克风的声道的系数的估计;
确定影响所述自适应回声消除系统的操作的至少一个控制参数,所述控制参数是可配置的并且被设置为一系列值中的至少一个值,其中,所述确定至少一个控制参数是基于估计所述声道的所述系数的所述估计的准确性和所述近端信号的特性;以及
由所述自适应回声消除系统在不同时间利用所述至少一个控制参数的不同值来控制所述至少一个滤波器。
2.根据权利要求1所述的方法,其中,至少一个滤波器包括第一滤波器和第二滤波器,并且其中,在所述第一滤波器上第一次使用的所述不同值中的一个值不同于所述第二滤波器上第一次使用的所述不同值中的另一个值。
3.根据权利要求2所述的方法,其中,所述在不同时间用所述至少一个控制参数的不同值来控制所述至少一个滤波器进一步包括:
用影响所述声道的所述系数的对应估计的变化率的各自的对应第一控制参数和第二控制参数的不同值来控制所述第一滤波器和第二滤波器,其中,针对所述第一滤波器设置的所述第一控制参数的值促使所述信道系数估计以比由针对所述第二滤波器的所述第二控制参数的值引起的变化率更慢的速率变化;
估计所述第一滤波器和第二滤波器的误差消除性能;以及
在所述估计之后,将被估计为具有较低性能的所述第一滤波器或第二滤波器的系数更新为更接近于被估计为具有较高性能的所述第一滤波器或第二滤波器中的另一个滤波器的系数。
4.根据权利要求3所述的方法,其中,所述更新进一步包括:将被估计为具有较低性能的所述第一滤波器或第二滤波器的系数更新为等于被估计为具有较高性能的所述第一滤波器或第二滤波器中的另一个滤波器的系数。
5.根据权利要求3所述的方法,其中,利用各自的对应第一控制参数和第二控制参数的不同值来控制所述至少两个滤波器中的所述第一滤波器和第二滤波器进一步包括:
确定残余远端与近端比率的两个估计:
基于第一估计和第二估计的过去历史的所述残余远端与近端比率的所述第一估计,所述第一估计被选为所述比率的低值;
基于对来自所述一个或多个麦克风的信号和所述远端信号的观察,作为所述残余远端与近端比率的上限的所述第二估计被选择为所述上限可能是的最大值;
将所述第一自适应滤波器的所述第一置信度参数设置为所述第一估计;以及
将所述第二自适应滤波器的所述第二置信度参数设置为所述第二估计。
6.根据权利要求3所述的方法,进一步包括以下至少一项:将被估计为具有较低性能的所述第一滤波器或第二滤波器的估计的功率电平设置为基本上等于被估计为具有较高性能的所述第一滤波器或第二滤波器中的另一个滤波器的所述功率电平;或响应于所述第二滤波器被估计为具有比所述第一滤波器更低的性能而增加所述第一滤波器的所估计的错位。
7.根据权利要求6所述的方法,其中,增加所述第一滤波器的所述所估计的错位进一步包括:将所述第一滤波器的所述所估计的错位增加恒定乘法因子。
8.根据权利要求1所述的方法,其中,所述近端信号的所述特征包括所述近端信号的信号强度。
9.根据权利要求1所述的方法,其中,所述确定至少一个控制参数是基于估计在所述声道的系数的所述估计中的误差测量与所述近端信号的强度测量之间的比率。
10.根据权利要求1所述的方法,其中,在第一时间使用的所述不同值中的第一值不同于在第二时间使用的所述不同值中的第二值。
11.一种用于双向音频通信的回声消除的装置,包括:
一个或多个处理器;以及
包括计算机程序代码的一个或多个存储器,
其中,所述一个或多个存储器和所述计算机程序代码被配置为利用所述一个或多个处理器使所述装置:
在自适应回声消除系统处从一个或多个麦克风接收至少部分地基于近端信号和再现的远端信号的音频信号,其中,一个或多个扬声器再现所述远端信号;
至少部分地利用至少一个滤波器来操作所述自适应回声消除系统,以便更新从所述一个或多个扬声器到所述一个或多个麦克风的声道的系数的估计;
确定影响所述自适应回声消除系统的操作的至少一个控制参数,所述控制参数是可配置的并且被设置为一系列值中的至少一个值,其中,所述确定至少一个控制参数是基于估计所述声道的所述系数的所述估计的准确性和所述近端信号的特性;以及
由所述自适应回声消除系统在不同时间利用所述至少一个控制参数的不同值来控制所述至少一个滤波器。
12.根据权利要求11所述的装置,其中,至少一个滤波器包括第一滤波器和第二滤波器,并且其中,在所述第一滤波器上第一次使用的所述不同值中的一个值不同于所述第二滤波器上第一次使用的所述不同值中的另一个值。
13.根据权利要求12所述的装置,其中,所述在不同时间用所述至少一个控制参数的不同值控制所述至少一个滤波器进一步包括:
用影响所述声道的所述系数的对应估计的变化率的各自的对应第一控制参数和第二控制参数的不同值来控制所述第一滤波器和第二滤波器,其中,针对所述第一滤波器设置的所述第一控制参数的值促使所述信道系数估计以比由针对所述第二滤波器的所述第二控制参数的值引起的变化率更慢的速率变化;
重复估计所述第一滤波器和第二滤波器的误差消除性能;以及
在所述重复的估计之后,将被估计为具有较低性能的所述第一滤波器或第二滤波器的系数更新为更接近于被估计为具有较高性能的所述第一滤波器或第二滤波器中的另一个滤波器的系数。
14.根据权利要求13所述的装置,其中,所述更新进一步包括:将被估计为具有较低性能的所述第一滤波器或第二滤波器的系数更新为等于被估计为具有较高性能的所述第一滤波器或第二滤波器中的另一个滤波器的系数。
15.根据权利要求13所述的装置,其中,利用各自的对应第一控制参数和第二控制参数的不同值来控制所述至少两个滤波器中的所述第一滤波器和第二滤波器进一步包括:
确定残余远端与近端比率的两个估计:
基于第一估计和第二估计的过去历史的所述残余远端与近端比率的所述第一估计,所述第一估计被选为所述比率的低值;
基于对来自所述一个或多个麦克风的信号和所述远端信号的观察,作为所述残余远端与近端比率的上限的所述第二估计被选择为所述上限可能是的最大值;
将所述第一自适应滤波器的所述第一置信度参数设置为所述第一估计;将所述第二自适应滤波器的所述第二置信度参数设置为所述第二估计。
16.根据权利要求15所述的装置,其中,所述第-估计被选择为比所述第二估计明显低一个因子的所述比率的低值。
17.根据权利要求13所述的装置,其中,所述一个或多个存储器和所述计算机程序代码进一步被配置为利用所述一个或多个处理器促使所述装置执行以下至少一项:将被估计为具有较低性能的所述第一滤波器或第二滤波器的估计的功率电平设置为基本上等于被估计为具有较高性能的所述第一滤波器或第二滤波器中的另一个滤波器的功率电平;或响应于所述第二滤波器被估计为具有比所述第一滤波器更低的性能而增加所述第一滤波器的所估计的错位。
18.根据权利要求11所述的装置,其中,所述近端信号的所述特征包括所述近端信号的信号强度。
19.根据权利要求11所述的装置,其中,所述确定至少一个控制参数是基于估计在所述声道的所述系数的所述估计中的误差测量与所述近端信号的强度测量之间的比率。
20.根据权利要求11所述的装置,其中,在第一时间使用的所述不同值中的第一值不同于在第二时间使用的所述不同值中的第二值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/393,904 US11863702B2 (en) | 2021-08-04 | 2021-08-04 | Acoustic echo cancellation using a control parameter |
US17/393904 | 2021-08-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115706757A true CN115706757A (zh) | 2023-02-17 |
Family
ID=82701632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210929674.4A Pending CN115706757A (zh) | 2021-08-04 | 2022-08-03 | 使用控制参数的声学回声消除 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11863702B2 (zh) |
EP (1) | EP4131913A1 (zh) |
JP (1) | JP2023024338A (zh) |
CN (1) | CN115706757A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230051021A1 (en) * | 2021-08-04 | 2023-02-16 | Nokia Technologies Oy | Apparatus, Methods and Computer Programs for Performing Acoustic Echo Cancellation |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01319360A (ja) * | 1988-06-20 | 1989-12-25 | Nec Corp | 音声会議装置 |
EP0386765B1 (en) * | 1989-03-10 | 1994-08-24 | Nippon Telegraph And Telephone Corporation | Method of detecting acoustic signal |
FI981091A (fi) | 1998-05-15 | 1999-11-16 | Nokia Networks Oy | Menetelmä ja laitteisto kaiun poistamiseksi digitaalisessa matkaviestinjärjestelmässä |
US7545926B2 (en) | 2006-05-04 | 2009-06-09 | Sony Computer Entertainment Inc. | Echo and noise cancellation |
US7346012B2 (en) | 2002-12-13 | 2008-03-18 | Tioga Technologies Ltd. | Transceiver with accelerated echo canceller convergence |
US7577248B2 (en) | 2004-06-25 | 2009-08-18 | Texas Instruments Incorporated | Method and apparatus for echo cancellation, digit filter adaptation, automatic gain control and echo suppression utilizing block least mean squares |
US8526645B2 (en) * | 2007-05-04 | 2013-09-03 | Personics Holdings Inc. | Method and device for in ear canal echo suppression |
US8385557B2 (en) * | 2008-06-19 | 2013-02-26 | Microsoft Corporation | Multichannel acoustic echo reduction |
US8600038B2 (en) | 2008-09-04 | 2013-12-03 | Qualcomm Incorporated | System and method for echo cancellation |
EP2444967A1 (en) * | 2010-10-25 | 2012-04-25 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Echo suppression comprising modeling of late reverberation components |
GB2521881B (en) * | 2014-04-02 | 2016-02-10 | Imagination Tech Ltd | Auto-tuning of non-linear processor threshold |
WO2019044176A1 (ja) * | 2017-08-28 | 2019-03-07 | ソニー株式会社 | 音声処理装置及び音声処理方法、並びに情報処理装置 |
US10482895B2 (en) * | 2017-09-01 | 2019-11-19 | Cirrus Logic, Inc. | Acoustic echo cancellation (AEC) rate adaptation |
CN107749304B (zh) * | 2017-09-07 | 2021-04-06 | 电信科学技术研究院 | 有限冲激响应滤波器系数矢量的可持续更新方法及装置 |
US10446165B2 (en) * | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10482868B2 (en) * | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10573301B2 (en) * | 2018-05-18 | 2020-02-25 | Intel Corporation | Neural network based time-frequency mask estimation and beamforming for speech pre-processing |
US10636434B1 (en) * | 2018-09-28 | 2020-04-28 | Apple Inc. | Joint spatial echo and noise suppression with adaptive suppression criteria |
US10692518B2 (en) * | 2018-09-29 | 2020-06-23 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection via multiple network microphone devices |
US11046256B2 (en) * | 2019-06-17 | 2021-06-29 | Bose Corporation | Systems and methods for canceling road noise in a microphone signal |
US10978086B2 (en) * | 2019-07-19 | 2021-04-13 | Apple Inc. | Echo cancellation using a subset of multiple microphones as reference channels |
GB2614064A (en) * | 2021-12-21 | 2023-06-28 | Nokia Technologies Oy | Apparatus, methods and computer programs for reducing echo |
-
2021
- 2021-08-04 US US17/393,904 patent/US11863702B2/en active Active
-
2022
- 2022-07-22 EP EP22186424.2A patent/EP4131913A1/en active Pending
- 2022-07-29 JP JP2022121401A patent/JP2023024338A/ja active Pending
- 2022-08-03 CN CN202210929674.4A patent/CN115706757A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US11863702B2 (en) | 2024-01-02 |
US20230046637A1 (en) | 2023-02-16 |
EP4131913A1 (en) | 2023-02-08 |
JP2023024338A (ja) | 2023-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10446171B2 (en) | Online dereverberation algorithm based on weighted prediction error for noisy time-varying environments | |
Enzner et al. | Acoustic echo control | |
Gay et al. | Acoustic signal processing for telecommunication | |
CN109754813B (zh) | 基于快速收敛特性的变步长回声消除方法 | |
US10978086B2 (en) | Echo cancellation using a subset of multiple microphones as reference channels | |
Aichner et al. | A real-time blind source separation scheme and its application to reverberant and noisy acoustic environments | |
US8498407B2 (en) | Systems and methods for double-talk detection in acoustically harsh environments | |
van Waterschoot et al. | Double-talk-robust prediction error identification algorithms for acoustic echo cancellation | |
Yang et al. | Statistical convergence analysis for optimal control of DFT-domain adaptive echo canceler | |
Resende et al. | A variable step-size NLMS algorithm with adaptive coefficient vector reusing | |
CN115706757A (zh) | 使用控制参数的声学回声消除 | |
CN105491256A (zh) | 一种声学回声消除器启动阶段稳健的步长调整方法 | |
CN115175063A (zh) | 啸叫抑制方法、装置、音响及扩音系统 | |
US9123324B2 (en) | Non-linear post-processing control in stereo acoustic echo cancellation | |
Tran et al. | Improved practical variable step-size algorithm for adaptive feedback control in hearing aids | |
Cho et al. | Stereo acoustic echo cancellation based on maximum likelihood estimation with inter-channel-correlated echo compensation | |
Doclo et al. | Combined frequency-domain dereverberation and noise reduction technique for multi-microphone speech enhancement | |
Cohen et al. | An online algorithm for echo cancellation, dereverberation and noise reduction based on a Kalman-EM Method | |
Albu et al. | Adaptive filtering in acoustic echo cancellation systems—A practical overview | |
Yan et al. | Optimum step-size control for a variable step-size stereo acoustic echo canceller in the frequency domain | |
US20120224686A1 (en) | Stochastic vector based network echo cancellation | |
US20230051021A1 (en) | Apparatus, Methods and Computer Programs for Performing Acoustic Echo Cancellation | |
EP4280583A1 (en) | Apparatus, methods and computer programs for performing acoustic echo cancellation | |
US8144863B2 (en) | Method and apparatus for echo cancellation | |
CN111883155A (zh) | 回声消除方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |