CN111213359B - 回声消除器和用于回声消除器的方法 - Google Patents
回声消除器和用于回声消除器的方法 Download PDFInfo
- Publication number
- CN111213359B CN111213359B CN201780095151.1A CN201780095151A CN111213359B CN 111213359 B CN111213359 B CN 111213359B CN 201780095151 A CN201780095151 A CN 201780095151A CN 111213359 B CN111213359 B CN 111213359B
- Authority
- CN
- China
- Prior art keywords
- canceller
- echo
- time block
- power spectrum
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
Abstract
本发明涉及一种计算机实现的用于更新回声消除器的至少一个频域滤波器系数Wi,j(k)的方法,回声消除器具有至少一个通道和每通道至少一个段,回声消除器的滤波器系数在频域中在时间区块m处可更新,所述方法包括:确定在第m时间区块期间的消除器输出Em(k);确定在第m‑l时间区块期间的消除器误差ε(k);确定向后看误差(I);将向前看误差(II)确定为(III),其中(IV)基于(V);根据第m时间区块期间的消除器输出Em(k)、根据第m‑l时间区块期间的消除器误差ε(k)、根据向后看误差(I)、以及根据向前看误差(II)确定最佳更新步长μi,j,m(k);以及,通过使用最佳更新步长μi,j,m(k)来更新至少一个滤波器系数Wi,j(k)。本发明进一步涉及实行所述方法的回声消除器(50)。
Description
技术领域
本发明涉及一种计算机实现的用于更新回声消除器的至少一个频域滤波器系数的方法,所述回声消除器具有至少一个通道并且每通道至少一个段,所述回声消除器的滤波器系数在频域中在时间区块处是可更新的。本发明还涉及一种回声消除器,所述回声消除器配置为执行所述方法。
背景技术
声学回声是在诸如视频会议、车载话音通信、话音接口和人机对话系统之类的音频通信中存在的主要障碍。当来自连接于终端的多个扬声器的声音被连接于该终端的麦克风捕捉时,多通道声学回声(参见“声学多通道回声消除”,EP 2438766B1以及“Advances indigital speech transmission”,Wiley,2008(“数字语音传输中的进展”,威利,2008))就显现了。终端可以是指台式计算机或移动电话、平板电脑、话音命令助手、专用音频会议设备、免提汽车电话等。
因为所述终端通常放在房间内,房间墙壁处的多重声音反射以不同时间瞬时和强度到达麦克风,因此产生了大量的声学回声。所述回声“指纹”的特性对麦克风和(多个)扬声器的位置、房间几何结构和在其中存在的物体和人是敏感的。
回声在通信中具有消极影响,因为视频会议中的参与者在他们说话时听到他们回响的话音,语音接口被他们的扬声器系统播放的声音(诸如音乐)“淹没”,并且给汽车驾驶员打移动电话的人听到回响在汽车车室内的他们自己的话音。
虽然单声道(mono)系统仍代表大量的上述终端,但多通道音频系统正在越来越多地出现:汽车声音系统至少是立体声的,专用视频会议设备可以使用若干扬声器用于不同参会者,因此产生了更真实的开会体验,并且嵌入的话音接口共同集成在立体声设备之内。
本发明聚焦了图1所示出的问题场景,其中例如多个音频通道的多个音频源10,由房间中的多个扬声器20播放,并且房间中的所有声音只被一个麦克风30捕捉。因为本发明能够单独地应用在每个麦克风信号上,所以其扩展到多于一个的麦克风(例如用于传输立体声)被认为是直截了当的。从此以后,“有效”扬声器是指所有再现相同音频源或其被线性滤波的版本的所有电声装置。例如,如果立体声的声音再现系统播放单通道(单声道)音频源,则有效扬声器的数量是一个。另一个例子是汽车立体声系统,所述汽车立体声系统可以看作若干(多于两个)物理的扬声器,但如果汽车声音系统例如正在再现立体声音乐,则有效扬声器例如音频通道的数量是两个。
一经模拟到数字转换,由麦克风30捕捉的信号z(n)就能够被表达为下式:
其中,n是离散时间,C是远端音频通道的数量,si(n)是第i通道处的远端音频源,hi(l)是第i个有效扬声器和麦克风之间的等效离散时间的回声路径,LH是所述回声路径的多个取样中的总长度,d(n)是主要(或期望)近端声音信号,并且v(n)是近端背景噪声。最后的项p(n)指的是诸如由于(多个)扬声器的非线性特性而导致的在(1)中的线性回声模型的偏差。主要近端信号d(n)可以由房间内的若干源产生。通常d(n)是向远端听者的具有语义值的语音、音乐或两者等等,因此要在最小失真情况下传输它。另一方面,假设为接近固定的近端背景噪声v(n)携带近端声学情景的相关情境信息。
任何回声降低系统的目的是三重的:
1.将麦克风信号z(n)中的回声分量降低到它们变得听不见的程度;
2.尽可能多地保留麦克风信号z(n)中存在的主要近端信号d(n)的质量,以及
3.维持麦克风信号z(n)中存在的近端背景噪声v(n)的感知印象。
均由回声控制设备管理的声学回声消除器(AEC)、残余回声非线性处理器(NLP)和舒适噪声注入器(CNI)意图分别执行所述的三重目的。
在下文中,回声降低系统的技术背景的简短概观通过参考图1和2来给出。
基本的多通道和多段声学回声消除器200包括多个数字线性横向滤波器210,使得涉及第i通道的响应被建立为:
其中S是每通道的段的数量,L是每个段的滤波器长度,wi,j(l)对应第i通道和第j段的滤波器系数,并且xi,j(n)是对滤波器wi,j(l)的输入信号,定义为:
xi,j(n)=si(n-jL). (3)
来自第i通道中所有S个段的滤波器的串接建立了用于所述第i通道的回声消除器的脉冲响应。
合成的回声模型(2)意图传递与z(n)中的跟第i通道相关的回声类似的信号。如下通过来自所有C个通道的贡献相加,在220中建立总的消除器输出:
产生了被降低了回声内容的输出e(n)。
选择滤波器长度L的标准即,要包围远端信号si(n)的巨大的准静止间隔。例如,在几十毫秒内发现大部分语音音素,但是在更长的范围中,语音通常包含至少两个不同波谱特性的音素。用于汽车空间的具有40毫秒量级的回声路径长度的基于立体声语音的回声控制可以如下设计:回声消除器会具有两个通道,即C=2,并且每通道至少两个段,例如S≥2,其中滤波器长度L等效于价值20毫秒的信号取样,因此四个横向滤波器C×S=2×2=4。对于每个滤波器具有不同长度也可以是可能的。
因为L通常是大数,所以时域卷积(2)产生了代价高的运算。作为其替代方案,消除器的响应能够在频域中利用N点区块来高效计算,使得N被选择为2的次方,以用于更好的计算效率。获得如下所述频域的基于块的卷积:
Xi,j=F[xi,j(n-N+1)…xi,j(n-1)xi,j(n)]T, (7)
其中,T表示转置。
运算(5)刚好提供了线性卷积的M=N-L+1个有效取样,所述取样位于向量u的最后M个最右边元素。通过麦克风信号和按照(4)的整个消除器响应之间的差得到的M个有效误差,被存储在向量e中用于进一步处理:
e=[e(n-M+1)...e(n)]T. (8)
为了获得更接近麦克风信号z(n)中的实际回声的消除器响应(5),第i通道和第j段的频域权重Wi,j经由快速LMS算法(参见《声学回声装置和方法》,US 2006/0018460 A1)而更新如下:
运算符*表示复共轭,向量运算符/表示逐元素相除,|Xi,j|2是通过向量Xi,j中每个复数值的元素的平方大小建立的向量,∈>0防止了被零或接近零的值除,并且μ是步长。
因为新的权重向量的时域对应项应当在其最右侧中包含多个零(6),所以能够通过将所述权重返回时域、将最后的N-L个抽头重置(为零)并且将结果返回到频域来进一步更新新的波谱权重(9)。所述时间约束的运算要求两个附加的DFT运算,从而提高了计算复杂性。如果需要,这一步可以以更缓慢的收敛为代价来避免(参见“Unconstrainedfrequency-domain adaptive filter,”IEEE Transactions on Acoustics,Speech andSignal Processing,October,1982(《不受约束的频域自适应滤波器》,IEEE声学学报,语音和信号处理,1982年10月))。由于这个运算被本领域任何专家所公知,因此我们使用(9)作为权重更新规则的通用表示,所述权重更新规则包括了进行(或不进行)所述时间约束运算的选项。
已知,所述自适应系统(9)的收敛对在范围0<μ<2中的步长是有保证的。然而在实际中考虑范围0<μ≤1,该范围的限制在无干扰状况中对应于冻结的更新μ=0和最快的更新μ=1。
通用的多通道和多段自适应系统(9)已经是深入研究的问题(参见"Generalizedmultichannel frequency-domain adaptive filtering:efficient realization andapplication to hands-free speech communication,"Signal Processing 85,pp.549–570,2005(“一般化的多通道频域自适应滤波:对免提语音通信的高效实现和应用”,信号处理85,549–570页,2005),“声学回声装置和方法”US 2006/0018460 A1,“声学多通道回声消除”EP 2438766 B1,“使用单通道组件用于多通道音频处理的方法和设备”US 8233632 B1,以及“用于多通道音频电话会议的子带回声消除方法以及使用该方法的回声消除器”US6246760 B1)。
为了使现有技术在真实场景中获得成功,若干挑战还要有效地解决:
·误差E中的诸如d(n)和v(n)之类的不可消除项的存在,破坏了更新(9),这作为结果显示了不稳定的表现。双端发声检测器(DTT)旨在通过检测何时训练自适应系统是安全的来防止这个缺点(参见“增强回声消除”,US 8873740 B2)。目前为止,多DTT没有被证明是准确的也没有足够快,尤其是在严重的双端发声之下。因此,抵御任何类型的双端发声的健壮性还有待于有效解决。
·因为总误差E用于对每个滤波器的更新(9),因此任何滤波器的失调被传播到剩余的C×S-1个滤波器,反之亦然。尽管被认为是自适应滤波中所固有的,但这个事实损害了消除器的学习能力。例如,在基于网络的音频会议中,使用者的动作或终端定向的改变对早期回声有更大影响。因此期望的是用真正的独立于滤波器的更新机制来计数。
针对前两个缺点,根据现有技术尝试将滤波器与消除器输出E相适应,会导致不稳定和缓慢的收敛,因此无法将回声足够快地降低到可接受的水平。
针对回声消除,消除器输出E仍可能包含听得见的回声,因为:
·回声路径长度LH大于消除器长度,LH>>S×L,因此晚到的回声不能被消除,
·自适应消除器还要收敛到“稳态”,以及
·由(1)中的p(n)表征的非线性回声分量不能通过线性回声消除器(5)去除。
因此消除器输出能以下面的加法模型来重写:
其中,D对应主要近端信号,V是近端背景噪声,P对应非线性回声分量,Q表示超过消除器时间范围的回声,并且Ri,j是与第i通道和第j段相关的残余回声。
为了将残余回声P、Q和Ri,j有效降低到听不到的水平,非线性处理300(NLP)阶段要作用于整个消除器输出E,提供无回声的输出O。若干策略对其是可能的,诸如滤波、频减法或通过下面的心理声学原理,这最后一个在处理音乐信号时是优选的选项。让我们为了图示的目的考虑基于滤波的途径:
其中,0≤BNLP≤1是NLP滤波器的频率响应。
重要的是指出,与回声消除200不同,非线性处理300(12)引入了在消除器输出E中存在的主要近端信号D的失真,这产生了残余回声的降低与主要近端信号失真之间的微妙权衡。回声消除的阶段在所述权衡中起到了决定性作用:如果回声消除器是显著失调的,则NLP滤波必须在损害主要近端信号的风险下侵略性作用于整个残余回声;相反,如果消除器达成了高效去除大部分回声,则NLP滤波器在整个主要近端信号上的影响可以不被注意到。因此,对消除器输出E中存在的所有残余回声项P、Q和Ri,j的准确估计对高效的NLP阶段是重要的。
残余回声抑制是诸如在“声学回声抑制”,US 2017/0118326 A1中之类的最近的现有技术所关注的,其中回声抑制器的激活取决于一个或多个瞬态或稳态参数。在另一个最近发明“基于半盲多通道分层的用于松散配对装置的健壮的声学回声消除”,US 2016/0029120 A1中,基于独立分量分析来进行半盲多通道源分离以将音频信号分解为近端源信号和残余回声,因此需要多于一个(多个)麦克风来操作。
NLP操作(12)也使近端背景噪声V失真。这个事实引起了背景噪声电平中的沉默周期和/或突然变化,这对听者来说,如果不恼人的话,可能是分散注意力的。舒适的噪声注入400(参见“用于回声消除器的舒适噪声生成器”,US 5949888 A1)通过用合成噪声填塞缝隙来解决这一缺陷,从而给出了均匀背景噪声的错觉。注入的合成噪声必须在波谱内容和电平上都类似实际的近端背景噪声v(n)。如下能够得到回声降低系统的最后输出Y:
在现有技术“在语音通信系统中用于舒适噪声生成的方法和设备”US 7610197 B2中,背景噪声通过随时间累加和平滑波谱取样E来获得;在发明“舒适噪声生成方法和系统”US 2011/0228946 A1、“增强回声消除”US 8873740 B2中,在远端和近端都不活跃时的周期期间进行背景噪声的估计。现有技术可能不会一直有用:在适度混响房间中音频会议情况下,超过消除器范围的残余回声Q可以填塞近端信号中的沉默周期,从而事实上作为背景噪声;无缝音频内容诸如音乐,会进一步加剧这个问题,其中残余回声可能在背景中被弄错为噪声。
发明内容
鉴于上述讨论的问题,本发明的目的是提供一种更稳定并产生更快收敛的改进的声学回声消除器。
所述问题在本发明的第一方面中通过计算机实现的用于更新回声消除器的至少一个频域滤波器系数Wi,j(k)的方法来解决,所述回声消除器具有至少一个通道和每通道至少一个段,所述回声消除器的滤波器系数在频域中在时间区块m处可更新,所述方法包括:
将在第m时间区块期间的消除器输出Em(k)确定为Zm(k)和基于下式的消除项之间的差:
将在第m-l时间区块期间的消除器误差ε(k)确定为Zm-l(k)和基于下式的消除项之间的差:
通过使用所述最佳更新步长μi,j,m(k)来更新所述至少一个滤波器系数Wi,j(k);
其中,
C对应于回声消除器的通道i的数量i=0,……,C-1;
S对应于回声消除器的每通道的段j数量j=0,……,S-1;
l是与零不同的整数;
k表示频率窗口(frequency bin)标引;
∈是正值;
Zm(k)对应于麦克风信号在第m时间区块处的第k波谱窗口;
Zm-l(k)对应于麦克风信号在第m-l时间区块处的第k波谱窗口;
Xi,j,m(k)对应于远端信号在第i通道、第j段和第m时间区块处的第k波谱窗口;
Xi,j,m-l(k)对应于远端信号在第i通道、第j段和第m-l时间区块处的第k波谱窗口;
λ是超调因子;以及
a,b分别是通道和段标引。
由于使用来自在第m时间区块处的消除器输出Em(k)、在第m-l时间区块处的消除器误差ε(k)、以及除了向后看误差之外的向前看误差的信息,所要求保护的方法产出了非常准确的最佳步长μi,j,m(k)。因为整数l能够取正值,所以第m-l时间区块已经是可用的,因此更新中没有引发任何延迟,也就是,在第m时间区块一可用就能够立即得到最佳步长μi,j,m(k)。具有通过用本发明的方法计算的最佳步长μi,j,m(k)的所述滤波器更新产生了比现有技术回声消除器更快的收敛和更有效的降低。
在分别通过(14)和(15)引入Em(k)和ε(k)时采用的用语“基于”,指的是附加标准信号处理,为了在注释中简单起见以及因为对本领域技术人员来说是公知的,附加标准信号处理并不明确包括在其中,即,将由诸如(14)和(15)中两个频域序列的乘积所固有的循环卷积所产生的无效取样丢弃。这些论证可以扩展到分别“基于”(17)和(19)的对和的定义,以及扩展到在优选实施例中计算的项。
优选地,最佳步长μi,j,m(k)要么通过:
要么通过:
来计算,
其中,Ψm(k)是不可消除分量在第m时间区块处的功率谱,并且Φi,j(k)是每个第i,j滤波器的失调的功率谱,其中,Ψm(k)和Φi,j(k)通过求解以下线性方程组来确定:
上述线性方程组受到不等式约束:
Y(k)>0,Ψm(k)>0,Φ0,0(k)>0,…,ΦC-1,s-1(k)>0; (26)
其中,
xi,j,m(k)对应于远端信号在第i通道、第j段和第m时间区块处的第k功率谱窗口,其中所述信号区块优选是加窗的;xi,j,m-l(k)对应于远端信号在第i通道、第j段和第m-l时间区块处的第k功率谱窗口,其中所述信号区块优选是加窗的;
Y(k)对应于不可消除分量在第m-l时间区块处的功率谱;
以及,
具有不等式约束的线性方程组是本发明方法的主要基础之一。因为未知的Y(k)和Ψm(k)以平衡方式出现在所述线性方程组中,所以问题的状况是很好的。将四个方程之一移除会使得那些未知数之一不太看得见,因此大大恶化了整个问题的状况(因为总体状况受到其部分中最坏部分的束缚)。因为方程式数量等于四,本发明的方法尤其适于C=2和每通道一个段S=1的立体声系统,因为这种情况产生四个未知数。
另外,由于以高准确性获得不可消除分量的功率谱Ψm(k),本发明方法对在频繁的近端活跃之下通常的多通道安排,例如C>1是尤其有用的,并且能够在第一次就实现最佳连续适应,而不论近端分量是否存在,而在现有技术中,双端发声检测器需要估计是否存在近端信号以暂时停止所有滤波器系数的更新。
用于最佳步长的第一个公式(20)比第二个公式(21)更简单,因为后者涉及平方根运算;然而公式(21)提供了更好的结果。因此,如果选择第二个公式,则可以使用其泰勒近似,以低得多的计算复杂性提供相似的性能。
可能产生的另外的问题是,当至少通道的数量或每通道段的数量大于一时,例如,当消除器由若干横向滤波器组成时:由于总误差Em(k)用于对每个滤波器更新,一更新就将给出的滤波器的失调传播到剩余滤波器,反之亦然,并且因此将整个自适应系统的收敛减了下来。为了克服这种不期望的缺陷,能够一次一个地将任意第r,s滤波器认为成不是消除器的一部分,例如,把其残余回声看作为不可消除分量,并且计算涉及到对除第r,s滤波器的所有滤波器离线更新的附加向后看误差和附加向前看误差。
为了使用后一策略,本发明提供一种计算机实现的用于更新回声消除器的至少一个频域滤波器系数Wi,j(k)的方法,其中通道的数量或每通道段的数量中的至少一个大于一;并且
根据在第m时间区块期间的所述消除器输出Em(k),根据第m-l时间区块期间的消除器误差ε(k)、根据所述向后看误差根据向前看误差以及对于至少一个第r,s滤波器,根据至少一个附加向后看误差和根据至少一个附加向前看误差来确定最佳步长μi,j,m(k),r和s分别是通道和段的标引,其中
和
在这一实施例中,优选或者按照(20)或者按照(21)计算最佳步长,其中通过用所述至少一个第r,s滤波器的如下附加线性方程求解所述线性方程组(22)、(23)、(24)、(25),来确定不可消除分量的功率谱Ψm(k)和每个第i,j滤波器的失调的功率谱Φi,j(k),
上述附加线性方程受不等式约束:
Y(k)>0,Ψm(k)>0,Φ0,0(k)>0,…,ΦC-1,S-1(k)>0; (35)
其中,
并且
这些实施例尤其不仅仅在之前讨论的具有频繁的近端活跃的场景中有用,而且对多通道和多段安排,例如C>1或S>1是有用的,因为全局学习收敛基本得到改善,尤其通过明确改善对滤波器失调Φr,s(k)的估计,从而用于每个(多个)第r,s滤波器的收敛随之得到改善,而在现有技术中,全局误差通过所有滤波器均匀散布,这导致了较慢的收敛。
直到现在,假设超调因子λ需要等于1,因为这使得失调的降低和不可消除分量的放大之间良好权衡。然而已经分析发现,如果将超调因子λ选择为大于一,在1<λ≤2的范围中,尤其是基本在λ=2时,可以实现更加好的结果。在所述值处,在向后看和向前看误差中的滤波器失调项具有与误差ε(k)和Em(k)中相同的预测水平,但不可消除分量在幅度上刚好产生了两倍大,因此更加“看得见”;这个事实转换成对不可消除分量在多于6dB上的估计增益提升。同样,等于2的超调因子尤其使向后看和向前看误差中第r,s滤波器失调在大小上刚好出现两倍大,因此更加“看得见”,转换成对所述滤波器失调在多于6dB上的估计增益提升。
在本发明的优选实施例中,本方法进一步:
和/或
其中,0<γ<1,和/或
其中,∝表示成正比,
用于对和求值的滤波器失调项Φi,j(k)和功率谱χi,j,m(k)对应于用于对(多个)最佳步长(20)和(21)求值的相同项。结果,那些项被重复使用,从而保持计算复杂性低,同时得益于所述项的高估计准确性。在另一方面,项涉及通过本发明的方法的最佳机制在每个区块快速更新的滤波器Wi,S-1(k)。
通过消除器输出Em(k)同时包括上述项(38)、(39)和(40)而获得所述改进的消除器输出Om(k)的一种方式是使用维纳滤波器或现有技术中已知的任意其它类型。如果要实现优选的维纳滤波器,将改进的消除器输出Om(k)确定为:
Om(k)=Em(k)Bm(k) (41)
其中,
Em(k)是消除器输出,
对三个残余回声项(38)、(39)和(40)的谱功率的确定用于抑制例如滤除(41),否则所述残余回声分量存在于消除器输出Em(k)。在一些情况中,可以优选仅计算上述三个项中的一个或两个,因为一个或两个项可以相对于其它(多个)显著更低。为了提供监听信号,被改善的消除器输出Om(k)被变换为时域。可以使用熟悉本领域的人所公知的标准重叠-加法(overlap-add)处理,以便避免得到的时域输出中的块状效应。
优选地,所述至少一个滤波器系数Wi,j(k)基于下式来更新:
与标准的、其归一化项涉及所有远端功率谱的累加的多滤波器消除器相对照,尽管本发明的方法管理多通道/多段回声消除器,但由于归一化术语仅涉及第i,j远端功率谱|Xi,j,m(k)|2,优选的更新(44)类似单滤波器自适应系统。这种微妙的细节,本领域真正的新颖性,从根本上隐含了将第i,j输入数据有效归一化,并隐含了更新的主要责任在于通过本发明方法确定的最佳步长μi,j,m(k)。
在第二方面,本发明提供了一种回声消除器,所述回声消除器具有至少一个通道和至少一个段,所述回声消除器具有频域中在时间区块m处可更新的滤波器系数Wi,j(k),其中所述回声消除器被配置为:
将在第m时间区块期间的消除器输出Em(k)确定为Zm(k)和基于下式的消除项之间的差:
将在第m-l时间区块期间的消除器误差ε(k)确定为Zm-l(k)和基于下式的消除项之间的差:
通过使用所述最佳更新步长μi,j,m(k)来更新所述至少一个滤波器系数Wi,j(k);
其中,
C对应于回声消除器的通道i的数量i=0,……,C-1;
S对应于回声消除器的每通道的段j数量j=0,……,S-1;
l是与零不同的整数;
k表示频率窗口(frequency bin);
∈是正值;
Zm(k)对应于麦克风信号在第m时间区块处的第k波谱窗口;
Zm-l(k)对应于麦克风信号在第m-l时间区块处的第k波谱窗口;
Xi,j,m(k)对应于远端信号在第i通道、第j段和第m时间区块处的第k波谱窗口;
Xi,j,m-l(k)对应于远端信号在第i通道、第j段和第m-l时间区块处的第k波谱窗口;
λ是超调因子;以及
a,b分别是通道和段标引。
本方法的以上所描述的实施例和变型例的所有优势也由回声消除器所持有。
附图说明
下文在本发明的优选示例性实施例基础上参考附图更详细地解释本发明,其中:
图1示出了多通道声学回声降低的问题和场景。
图2示出了所提出的控制和更新在每个时间区块处的多通道声学回声消除、残余回声抑制和舒适噪声注入的基于计算机的系统。
图3示出了所提出的将回声消除器输出分解为每个通道和段的不可消除分量和残余回声的基于计算机的设备。
图4公开了计算在两个不同时间区块处的回声消除器误差的基于计算机的方法。
图5示出了“超调”因子在频域自适应滤波器中的影响。
具体实施方式
在本发明的若干实施例中,公开了用于多通道声学回声消除器50的方法和设备,其管理第一阶段的对近端干扰是健壮的并具有用于每个横向滤波器的改进的更新的多滤波器自适应回声消除200,然后第二阶段的在保留主要近端信号的质量的同时将消除器输出中存在的残余回声降低到听不见的水平的残余回声抑制300,以及然后第三和最后阶段的用电平和波谱上类似所述实际近端背景噪声的合成噪声来重新补充被抑制的近端背景噪声的舒适噪声注入400。
声学回声消除
本发明目的的多通道和多段声学回声消除器200的输出(4)能够或者直接在时域(2)中得到或者用频域机制(5)得到。不论选择如何,在频域中训练消除器50。
在本发明中,在230中第i,j滤波器的频域系数根据以下规则更新,其中i和j分别是通道和段的标引:
其中标引m表示第m时间区块,也就是,向量Em包含M个时域输出取样的频域转换:
Em=F[0……0 e((m-1)M+1)…e(mM)]T, (52)
而如下建立Xi,j,m:
Xi,j,m=F[xi,j(mM-N+1)…xi,j(mM)]T, (S3)
运算对应于标准时域加窗,所述标准时域加窗将其中固有的循环卷积所产生的无效权重抽头丢弃,参见(10)之后的解释,∈>0防止了被零或接近零的值除,并且μi,j,m是用于第i通道、第j段和第m时间区块的频率选择性步长。i=0,……,C-1以及j=0,……,S-1的(多个)步长μi,j,m的合适选择,对保证自适应回声消除器的稳定和快速收敛是重要的。
在第m时间区块处的消除器输出可以表示为:
其中,第一项Am包括所有的不可消除分量——参见用于定义的(11)——并且第二项对应于还要被消除的残余回声Ri,j,m。
用于对抗消除器训练误差中存在的干扰的理论框架,要基于干扰信号的大小来选择性更新频域滤波器系数。例如,用于单个滤波器的最佳频域(FD)步长已在"A frequency-selective stepfactor control for an adaptive filter algorithm working in thefrequency domain,"Signal Processing 80,September 2000(“在频域中工作的用于自适应滤波器算法的频率选择性步长因子控制”,信号处理80,2000年9月)中推导出。其在本发明情境中的新应用是:
μi,j,m=E{|Ri,j,m|2}/E{|Em|2}, (55)
其中,E{}表示统计期望。用于最佳FD步长的另一表达在"A frequency domainstep-size control method for LMS algorithms,"IEEE Signal Processing Letters17,February 2010(“用于LMS算法的频域步长控制方法”,IEEE信号处理快报,2010年2月17日)中找到。其在本发明情景中的新应用是:
在进一步进行前,值得提到,在频域步长被选择为如下时,标准更新(9)是所提出的更新规则(51)的特别情况:
所述标准步长(57)既不认可每个横向滤波器上的不同失调程度Ri,j,m,也不认可干扰的不可消除项Am的存在。结果是,在大部分实践场景中标准更新显示了缓慢和不稳定的收敛。
因此按照(55)或(56)计算最佳频域步长能够被改造为估计干扰和残余回声的功率谱密度。然而那些C×S+1个未知项都不能直接测量。本领域专家的普遍看法是,在对最佳步长的求值(55)或(56)中所需的对所述项Am和Ri,j,m的平方大小的有效和准确估计接近于不可能。
特此我们引入了以下符号:Am(k)表示频域向量Am的第k个频率窗口(frequencybin),Em(k)表示频域向量Em的第k个频率窗口,等等。第i,j残余回声可以写为:
Ri,j,m(k)=Gi,j(k)Xi,j,m(k), (58)
其中,Gi,j,(k)表示在第i,j滤波器中的失调。我们可以假设以下统计关系:
基于之前的假设,按照(55)的频域步长可以如下改写:
其中,Φi,j(k)和Ψm(k)分别是每个第i,j滤波器中的失调的功率谱密度和不可消除项的功率谱密度:
Φi,j(k)=E{|Gi,j(k)|2} (62)
Ψm(k)=E{|Am(k)|2}, (63)
并且χi,j,m(k)是第i,j远端信号在第m区块处的期望功率谱:
χi,j,m(k)=E{|Xi,j,m(k)|2}. (64)
所述期望功率谱(64)优选从加窗信号区块的功率谱得到。
本发明中所公开的准确估计所述项(62)和(63)的方法根据下面所显示的推理和论证在110中来执行。在机器学习领域已知,对学习机器的客观评价,诸如对所关注的自适应滤波器组的客观评价,必须在统计上独立于训练数据的测试数据上进行。从而这种重要的公理隐含了,用来自第m时间区块的数据进行权重更新只能用来自另一时间区块的数据来评价,并且决不会就用第m区块来评价。
紧接之前的第m-1时间区块能够用作这种“测试”区块,因此由于所述区块已经是可用的,所以不引发任何延迟。另外,因为测试和更新时间区块在时间上都是连贯的,所以在每区块处的实际回声路径被认为是相同的,这是用于最佳执行创新方法的重要需求。只要之后的需求被满足,那么可以使用来自不同时间的其它区块,即第m-l时间区块,其中l是不同于零的整数。为了容易解释,将第m-1时间区块,例如l=1,用作为以下描述中的例子。
由图3和图4的实施例支持,在第一阶段计算两个误差,即,第m时间区块期间的消除器输出(例如误差)Em以如下计算:
(66)中的常数λ是“超调”因子,稍后来解决。
从之前运算产生的正面成果就是,如在(54)中概述的,不可消除项Am不仅仅在第m误差(65)中观测到,而且还在向后看误差(66)中观测到。然而,在第m-1时间区块处的不可消除项Am-1不幸在向后看误差(66)中作为新的未知问题而出现。这个情况要求我们这次通过交换训练和测试时间区块来计算两个附加误差。因此,第m-1个误差ε被计算为:
向后看误差(66)和向前看误差(69)也能够以如下紧凑方式来得到:
在由本发明作者所公开的“用于更新自适应回声消除器的滤波器系数的方法和设备”,EP 2930917 B1的现有技术中,对于单通道单段回声消除器,只对三个误差求值被认为足以估计项(62)和(63)。然而,这种策略经常导致了病态情况的问题,因为在问题模型中存在的未知项是不平衡的。包括向后看(77)和向前看(78)误差两者产生了平衡的良好状况的估计问题。
其中,≡表示恒等于。
将之前的方程式转换成功率谱密度最终产生了本发明的主要优点中的一个。由所涉及的项之间的互不相关性(59)和(60)的假设支持,可以得出结论:
其中项Y(k)=E{|Am-1(k)|2}是未知的并且不在对(多个)最佳步长的求值(61)中使用。
为了将向前看(77)和向后看(78)误差转换成功率谱密度,超调因子λ的作用需要首先被澄清。可以推导出,对滤波器失调(62)的降低通过以下功率因子来规定:
f(λ)=exp(-2λ+λ2). (81)
另一方面,更新方程式(77)和(78)与λ成正比地产生了不可消除项Am和Am-1的放大率,也就是,其功率(63)通过以下得到放大:
g(λ)=λ2. (82)
在图5中带来了对这一新权衡的图示,其中实线对应于(81),并且虚线对应于(82)。引人注意的情况在λ被设定为二(λ=2)时出现:在这种“超调”情况中,期望的失调程度仍保持相同,f(2)=1,但不可消除项的功率被巨大的因子放大,例如g(2)=4。
这样一种值,λ=2,从未用作为自适应滤波中的步长,因为所产生的自适应系统不会收敛。然而,在本发明的范围中,用在(77)和(78)中的所述超调离线更新使得干扰项Am以及Am-1分别在向后看误差和向前看误差中显得大6dB。此后,在130中采用值λ=2,但只要遵守规则(81)和(82),则也能够使用其它λ值。
因此这组波谱误差(77)和(78)的功率谱密度可以写为:
所述四个方程式(79)、(80)、(83)和(84)用于得到在对(多个)最佳频域步长求值中所需的项(62)和(63)。所述方程式能够写为受不等式约束的线性方程系统。在不失通用性的情况下,我们以立体声场景,C=2,每通道一个段,S=1,为例来说明求解系统,在以下中:
受制于
Y(k)>0,Ψm(k)>0,Φ0,0(k)>0,Φ1,0(k)>0. (87)
具有不等式约束(87)的所述反线性问题需要迭代性方法,诸如线性规划。为了加速该过程(以降低迭代次数的数量),好的初始猜测是受欢迎的。正是这个在之前的第m-1时间区块处得到的求解可以用作所述初始化。在150中计算对(87)的求解。
在这一点上,重要的是指出,第m-l时间区块在第m时间区块之前,例如l>0,并且优选l=1。采用负数值l<0,会引发不期望的处理延迟,因为第m-l时间区块将在第m时间区块之后才来。然而,因为两个时间区块都用作对向前/向后看误差的任意一个的训练和测试数据,所以那样的选项实际在本质上与上述优选的情况是不同的:因为在求解系统(87)中的这种对称性,选项l<0变得没有意义。
重要的是指出,只涉及Ψm(k)和Y(k)的(87)中的任意子矩阵具有满秩,例如为不可消除项所得到的求解是准确的。这在理论上证明了所产生的步长提供了抵御双端发声的“瞬时”健壮性,这曾是现有技术尚未有效解决的主要挑战之一。
另一方面,对滤波器失调的估计随着滤波器数量增加而变成病态情况。实践中,用正常初始化来完成的求解,诸如从第m-1区块完成的求解做得比现有技术好。尽管如此,为了改善当通道的数量或每通道段的数量是巨大的时候这个问题的状况,本发明的第二实施例在下文中公开。
改善对失调功率的估计准确性需要对至多两个附加误差求值,以及将所得的线性方程式包含到原始系统中。这一方法背后的策略就是,不将第r,s滤波器看作为自适应系统的一部分,例如将其失调认为是不可消除的“干扰”项,并且离线更新除了第r,s滤波器的所有消除器,导致附加的向后看误差:
以及附加的向前看误差:
其中
除了(92)和(93)之外,所述四个方程式(79)、(80)、(83)、(84)体现了主要算法基础以得到项(62)和(63)。为简单起见,让我们考虑一通道系统,C=1,由两个段组成,S=2。由于第一段的滤波器W0,0处理容易变化并比晚期回声具有更大能量的早期回声,期望改善用于所述滤波器的跟踪性能。为了简单起见,我们在方便的时候删除了频率窗口标引k,也就是,χi,j,m表示χi,j,m(k),等等,最后的求解系统结果如下:
受制于
Y(k)>0,Ψm(k)>0,Φ0,0(k)>0,Φ0,1(k)>0. (96)
对(96)的求解在150中计算。一求解,就按照(56)在180中对最佳FD步长求值如下:
残余回声抑制
由于非常长的回声路径、早期收敛的自适应系统或非线性现象,消除器输出(11)中的回声分量仍然可以听得见。非线性处理(NLP)300旨在将仍存在于消除器输出中的残余回声分量抑制到听不见的水平,同时尽可能多地保留主要近端声音的完整。为了进行有效的NLP,对残余回声在电平和波谱上的准确估计是重要的。
在消除器输出(11)中存在的残余回声由项Rm(k)、Qm(k)和Pm(k)组成。由于所述项彼此互不相关,因此所估计的残余回声的功率谱在330中相加建立如下:
通过以下而容易地提供了,由于滤波器失调导致的残余回声的功率谱:
其中,Φi,j(k)是通用分解问题(96)的结果。
由于长的声学回声路径(LH>>S×L)所导致的残余回声的功率谱可以被定义如下:
其中,对于j=S,…,∞的Wi,j(k),表示超过消除器时间范围的滤波器,因此表示未知的“虚拟”滤波器。在(100)中的所述项可以根据下文的推理来近似计算。
回声路径通常呈现指数式衰减,尤其在其脉冲响应的最后一部分中呈现指数式衰减。因此不论通道如何,时域滤波器wi,S-1(n)被假设遵从模型:
E{log|ωi,s-1(n)|2}=-τn+a, (101)其中τ是与所述滤波器相关的时间常数,并且数量a无关紧要;时间常数τ能够通过以对数标度的所述平方滤波器权重上的线性回归来简单地获得,如(101)中指出的。因此,在(100)中的所述“虚拟”滤波器的功率谱能够近似计算为:
其中,Wi,S-1(k)是现存滤波器,α≥1是整数,并且γ=exp(-τL)。通过将(102)更换到(100)中,并且由于Xi,j,m(k)=Xi,j-1,m-1(k),用以下累加公式得到超过消除器范围的残余回声的功率谱:
其中,在所述公式中涉及的所有元素是可用的。
最后,非线性回声分量以某种不可预测的方式与输入信号xi(n)互相关。这意味着自适应滤波器通常在非线性回声存在于训练误差中的时候抖动或波动。基于从分解问题(96)得到的失调Φi,j(k)和步长μi,j,m(k),容易得到非线性残余回声如下:
其中∝表示成正比于。
针对所估计的总的残余回声Λm(k),由300执行NLP操作的若干方式是可用的,诸如用维纳滤波器、最小化均方误差、感知增强等等。作为例子,维纳滤波器能够近似计算如下:
Om(k)=Em(k)Bm(k). (106)
为了提供监听信号,频域输出Om(k)被变换成时域。必须考虑标准重叠-加法处理,以便避免得到的输出中的区块效应。所述处理是本领域技术人员所熟知的。
舒适噪声注入
回声消除200与NLP操作300一起,提供了无回声输出(回声控制中的第一个目标),也就是:
然而,(108)中的近端背景噪声,例如Vm(k)Bm(k),在电平和波谱上经受波动。为了在400中按照(13)或等效技术重新补充背景噪声并提供相同的感知印象(回声控制中的第三个目标),对其在电平和波谱上准确估计是重要的。
在远端不活跃(直截了当检测的事件),从而Bm(k)=1的情况中,背景噪声能够在沉默的(短)周期期间从功率谱|Om(k)|2中估计。然而在相反情况中,也就是,在远端活跃期间,从而0≤Bm(k)<1期间实际需要舒适噪声的注入。因此,能在任何情况,从而能从原始消除器输出|Em(k)|2跟踪背景噪声,特此代表了要解决的主要挑战。
背景噪声估计的通常途径是从最近的K个消除器输出得到功率谱底:
Γm(k)={|Em(k)|2,|Em-1(k)|2,…,|Em-K+1(k)|2} (109)
本发明根据以下提出在430中估计背景噪声的功率谱:
本发明不限于本文详细描述的特定实施例,而是包括落入所附权利要求的框架内的所有变型,组合和修改。
Claims (16)
1.计算机实现的用于更新回声消除器(50)的至少一个频域滤波器系数Wi,j(k)的方法,所述回声消除器具有至少一个通道并且每通道至少一个段,所述回声消除器(50)的滤波器系数在频域中在时间区块m处可更新,所述方法包括:
将在第m时间区块期间的消除器输出Em(k)确定为Zm(k)和基于下式的消除项之间的差:
将在第m-l时间区块期间的消除器误差ε(k)确定为Zm-l(k)和基于下式的消除项之间的差:
通过使用所述最佳更新步长μi,j,m(k)来更新所述至少一个滤波器系数Wi,j(k);
其中,
C对应于所述回声消除器(50)的通道i的数量i=0,……,C-1;
S对应于所述回声消除器(50)的每通道的段j数量j=0,……,S-1;
l是与零不同的整数;
k表示频率窗口标引;
∈是正值;
Zm(k)对应于麦克风信号在第m时间区块处的第k波谱窗口;
Zm-l(k)对应于所述麦克风信号在第m-l时间区块处的第k波谱窗口;
Xi,j,m(k)对应于远端信号在第i通道、第j段和第m时间区块处的第k波谱窗口;
Xi,j,m-l(k)对应于所述远端信号在第i通道、第j段和第m-l时间区块处的第k波谱窗口;
λ是超调因子;以及
a,b分别是通道和段标引。
2.根据权利要求1所述的方法,其中所述最佳更新步长μi,j,m(k)要么通过:
要么通过:
来计算,
其中,Ψm(k)是不可消除分量第m时间区块处的功率谱,并且Φi,j(k)是每个第i,j滤波器的失调的功率谱,其中,Ψm(k)和Φi,j(k)通过求解以下线性方程组来确定:
上述线性方程组受到不等式约束:
γ(k)>0,Ψm(k)>0,Φ0,0(k)>0,…,ΦC-1,S-1(k)>0;
其中,
Υ(k)对应于不可消除分量在第m-l时间区块处的第k功率谱窗口;
以及,
3.根据权利要求2所述的方法,其中所述通道的数量和所述每通道的段的数量中的至少一个大于一;并且
根据在第m时间区块期间的所述消除器输出Em(k)、根据第m-l时间区块期间的所述消除器误差ε(k)、根据所述向后看误差根据所述向前看误差以及对于至少一个第r,s滤波器,根据至少一个附加向后看误差和根据至少一个附加向前看误差来确定所述最佳更新步长μi,j,m(k),r和s分别是通道和段的标引,其中
和
其中通过用所述至少一个第r,s滤波器的如下附加线性方程求解所述线性方程组,来确定所述不可消除分量第m时间区块处的功率谱Ψm(k)和每个第i,j滤波器的失调的功率谱Φi,j(k),
上述附加线性方程受不等式约束:
γ(k)>0,Ψm(k)>0,Φ0,0(k)>0,…,ΦC-1,S-1(k)>0;
其中,
并且
4.根据权利要求1或2所述的方法,其中所述超调因子λ在1<λ≤2的范围中。
10.根据权利要求4所述的方法,其中所述超调因子λ等于2。
11.一种回声消除器(50),所述回声消除器具有至少一个通道和每通道至少一个段,所述回声消除器(50)具有频域中在时间区块m处可更新的滤波器系数Wi,j(k),其中所述回声消除器被配置为:
将在第m时间区块期间的消除器输出Em(k)确定为Zm(k)和基于下式的消除项之间的差:
将在第m-l时间区块期间的消除器误差ε(k)确定为Zm-l(k)和基于下式的消除项之间的差:
通过使用所述最佳更新步长μi,j,m(k)来更新所述至少一个滤波器系数Wi,j(k);
其中,
C对应于所述回声消除器(50)的通道i的数量i=0,……,C-1;
S对应于所述回声消除器(50)的每通道的段j的数量j=0,……,S-1;
l是与零不同的整数;
k表示频率窗口;
∈是正值;
Zm(k)对应于麦克风信号在第m时间区块处的第k波谱窗口;
Zm-l(k)对应于所述麦克风信号在第m-l时间区块处的第k波谱窗口;
Xi,j,m(k)对应于远端信号在第i通道、第j段和第m时间区块处的第k波谱窗口;
Xi,j,m-l(k)对应于所述远端信号在第i通道、第j段和第m-l时间区块处的第k波谱窗口;
λ是超调因子;以及
a,b分别是通道和段标引。
12.根据权利要求11所述的回声消除器(50),其中所述回声消除器(50)进一步被配置为:最佳更新步长μi,j,m(k)要么通过:
要么通过:
来计算,
其中,Ψm(k)是在不可消除分量第m时间区块处的功率谱,并且Φi,j(k)是每个第i,j滤波器的失调的功率谱,其中,所述回声消除器被配置为通过求解以下线性方程组来确定Ψm(k)和Φi,j(k):
上述线性方程组受到不等式约束:
γ(k)>0,Ψm(k)>0,Φ0,0(k)>0,…,ΦC-1,S-1(k)>0;
其中,
Υ(k)对应于不可消除分量在第m-l时间区块处的功率谱的第k功率谱窗口;
以及,
13.根据权利要求11或12所述的回声消除器(50),其中所述超调因子λ在1<λ≤2的范围中。
16.根据权利要求13所述的回声消除器(50),其中所述超调因子λ等于2。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/AT2017/060247 WO2019068115A1 (en) | 2017-10-04 | 2017-10-04 | ECHO CANCELLATION DEVICE AND METHOD THEREOF |
Publications (3)
Publication Number | Publication Date |
---|---|
CN111213359A CN111213359A (zh) | 2020-05-29 |
CN111213359A9 CN111213359A9 (zh) | 2020-08-21 |
CN111213359B true CN111213359B (zh) | 2021-09-10 |
Family
ID=60119753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780095151.1A Active CN111213359B (zh) | 2017-10-04 | 2017-10-04 | 回声消除器和用于回声消除器的方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10880440B2 (zh) |
EP (1) | EP3692703B9 (zh) |
CN (1) | CN111213359B (zh) |
WO (1) | WO2019068115A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3692703B9 (en) * | 2017-10-04 | 2021-11-17 | proactivaudio GmbH | Echo canceller and method therefor |
CN108390663B (zh) * | 2018-03-09 | 2021-07-02 | 电信科学技术研究院有限公司 | 一种有限冲激响应滤波器系数矢量的更新方法及装置 |
CN109862200B (zh) * | 2019-02-22 | 2021-02-12 | 北京达佳互联信息技术有限公司 | 语音处理方法、装置、电子设备及存储介质 |
CN111885275B (zh) * | 2020-07-23 | 2021-11-26 | 海尔优家智能科技(北京)有限公司 | 语音信号的回声消除方法、装置、存储介质以及电子装置 |
CN112492112B (zh) * | 2020-11-19 | 2022-03-18 | 睿云联(厦门)网络通讯技术有限公司 | 一种基于对讲系统的回音消除方法和装置 |
US20220303386A1 (en) * | 2021-03-22 | 2022-09-22 | DSP Concepts, Inc. | Method and system for voice conferencing with continuous double-talk |
CN116189697A (zh) * | 2021-11-26 | 2023-05-30 | 腾讯科技(深圳)有限公司 | 一种多通道回声消除方法和相关装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101179294A (zh) * | 2006-11-09 | 2008-05-14 | 爱普拉斯通信技术(北京)有限公司 | 自适应回声消除器及其回声消除方法 |
CN101888455A (zh) * | 2010-04-09 | 2010-11-17 | 熔点网讯(北京)科技有限公司 | 一种频域自适应回声抵消方法 |
CN102185991A (zh) * | 2011-03-01 | 2011-09-14 | 杭州华三通信技术有限公司 | 回声消除方法、系统和装置 |
CN103700374A (zh) * | 2013-12-25 | 2014-04-02 | 宁波菊风系统软件有限公司 | 确定声学回声消除中系统延时的方法及声学回声消除方法 |
CN104883462A (zh) * | 2014-02-28 | 2015-09-02 | 中国科学院声学研究所 | 一种用于消除声学回声的自适应滤波器及滤波方法 |
CN104954595A (zh) * | 2015-05-15 | 2015-09-30 | 百度在线网络技术(北京)有限公司 | 残留回声消除方法和装置 |
CN105491256A (zh) * | 2015-12-09 | 2016-04-13 | 天津大学 | 一种声学回声消除器启动阶段稳健的步长调整方法 |
EP2930917B1 (en) * | 2014-04-08 | 2016-11-23 | Luis Weruaga | Method and apparatus for updating filter coefficients of an adaptive echo canceller |
CN106533500A (zh) * | 2016-11-25 | 2017-03-22 | 上海伟世通汽车电子系统有限公司 | 一种优化回声消除器收敛特性的方法 |
CN106601266A (zh) * | 2017-02-24 | 2017-04-26 | 喜大(上海)网络科技有限公司 | 回声消除方法、装置及系统 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5949888A (en) | 1995-09-15 | 1999-09-07 | Hughes Electronics Corporaton | Comfort noise generator for echo cancelers |
JP3654470B2 (ja) | 1996-09-13 | 2005-06-02 | 日本電信電話株式会社 | サブバンド多チャネル音声通信会議用反響消去方法 |
US7333605B1 (en) * | 2002-04-27 | 2008-02-19 | Fortemedia, Inc. | Acoustic echo cancellation with adaptive step size and stability control |
US20060018460A1 (en) | 2004-06-25 | 2006-01-26 | Mccree Alan V | Acoustic echo devices and methods |
US7610197B2 (en) | 2005-08-31 | 2009-10-27 | Motorola, Inc. | Method and apparatus for comfort noise generation in speech communication systems |
US8160239B2 (en) * | 2006-11-10 | 2012-04-17 | Sony Corporation | Echo canceller and speech processing apparatus |
JP5076783B2 (ja) * | 2007-09-28 | 2012-11-21 | ヤマハ株式会社 | エコー除去装置 |
US8320553B2 (en) | 2008-10-27 | 2012-11-27 | Apple Inc. | Enhanced echo cancellation |
BRPI1008266B1 (pt) | 2009-06-02 | 2020-08-04 | Mediatek Inc | Disposição canceladora de eco acústico de múltiplos canais e método de cancelamento de eco acústico de múltiplos canais |
US8625775B2 (en) * | 2009-08-06 | 2014-01-07 | Hti Ip, L.L.C. | Method and system for reducing echo and noise in a vehicle passenger compartment environment |
JP5321372B2 (ja) * | 2009-09-09 | 2013-10-23 | 沖電気工業株式会社 | エコーキャンセラ |
CN102131014A (zh) * | 2010-01-13 | 2011-07-20 | 歌尔声学股份有限公司 | 时频域联合回声消除装置及方法 |
US20110228946A1 (en) | 2010-03-22 | 2011-09-22 | Dsp Group Ltd. | Comfort noise generation method and system |
US8320577B1 (en) | 2011-05-20 | 2012-11-27 | Google Inc. | Method and apparatus for multi-channel audio processing using single-channel components |
CN103179296B (zh) * | 2011-12-26 | 2017-02-15 | 中兴通讯股份有限公司 | 一种回波抵消器及回波抵消方法 |
CN103780998B (zh) * | 2012-10-23 | 2018-06-01 | 韩国电子通信研究院 | 消除声学回波的方法和设备、与自适应滤波系数更新方法 |
US9083783B2 (en) * | 2012-11-29 | 2015-07-14 | Texas Instruments Incorporated | Detecting double talk in acoustic echo cancellation using zero-crossing rate |
US9338551B2 (en) * | 2013-03-15 | 2016-05-10 | Broadcom Corporation | Multi-microphone source tracking and noise suppression |
US8983057B1 (en) * | 2013-09-20 | 2015-03-17 | Amazon Technologies, Inc. | Step size control for acoustic echo cancellation |
GB2515593B (en) | 2013-12-23 | 2015-12-23 | Imagination Tech Ltd | Acoustic echo suppression |
US9036816B1 (en) * | 2014-03-13 | 2015-05-19 | Amazon Technologies, Inc. | Frequency domain acoustic echo cancellation using filters and variable step-size updates |
EP2930977B1 (en) | 2014-04-07 | 2017-11-22 | Alcatel Lucent | A method for operating a base station |
US9762742B2 (en) | 2014-07-24 | 2017-09-12 | Conexant Systems, Llc | Robust acoustic echo cancellation for loosely paired devices based on semi-blind multichannel demixing |
GB201414352D0 (en) * | 2014-08-13 | 2014-09-24 | Microsoft Corp | Reversed echo canceller |
US9972337B2 (en) * | 2016-06-22 | 2018-05-15 | Cisco Technology, Inc. | Acoustic echo cancellation with delay uncertainty and delay change |
US10482895B2 (en) * | 2017-09-01 | 2019-11-19 | Cirrus Logic, Inc. | Acoustic echo cancellation (AEC) rate adaptation |
EP3692703B9 (en) * | 2017-10-04 | 2021-11-17 | proactivaudio GmbH | Echo canceller and method therefor |
-
2017
- 2017-10-04 EP EP17784831.4A patent/EP3692703B9/en active Active
- 2017-10-04 CN CN201780095151.1A patent/CN111213359B/zh active Active
- 2017-10-04 WO PCT/AT2017/060247 patent/WO2019068115A1/en unknown
- 2017-10-04 US US16/646,352 patent/US10880440B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101179294A (zh) * | 2006-11-09 | 2008-05-14 | 爱普拉斯通信技术(北京)有限公司 | 自适应回声消除器及其回声消除方法 |
CN101888455A (zh) * | 2010-04-09 | 2010-11-17 | 熔点网讯(北京)科技有限公司 | 一种频域自适应回声抵消方法 |
CN102185991A (zh) * | 2011-03-01 | 2011-09-14 | 杭州华三通信技术有限公司 | 回声消除方法、系统和装置 |
CN103700374A (zh) * | 2013-12-25 | 2014-04-02 | 宁波菊风系统软件有限公司 | 确定声学回声消除中系统延时的方法及声学回声消除方法 |
CN104883462A (zh) * | 2014-02-28 | 2015-09-02 | 中国科学院声学研究所 | 一种用于消除声学回声的自适应滤波器及滤波方法 |
EP2930917B1 (en) * | 2014-04-08 | 2016-11-23 | Luis Weruaga | Method and apparatus for updating filter coefficients of an adaptive echo canceller |
CN104954595A (zh) * | 2015-05-15 | 2015-09-30 | 百度在线网络技术(北京)有限公司 | 残留回声消除方法和装置 |
CN105491256A (zh) * | 2015-12-09 | 2016-04-13 | 天津大学 | 一种声学回声消除器启动阶段稳健的步长调整方法 |
CN106533500A (zh) * | 2016-11-25 | 2017-03-22 | 上海伟世通汽车电子系统有限公司 | 一种优化回声消除器收敛特性的方法 |
CN106601266A (zh) * | 2017-02-24 | 2017-04-26 | 喜大(上海)网络科技有限公司 | 回声消除方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
EP3692703B1 (en) | 2021-08-25 |
CN111213359A9 (zh) | 2020-08-21 |
EP3692703A1 (en) | 2020-08-12 |
EP3692703B9 (en) | 2021-11-17 |
WO2019068115A1 (en) | 2019-04-11 |
US20200274972A1 (en) | 2020-08-27 |
US10880440B2 (en) | 2020-12-29 |
CN111213359A (zh) | 2020-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111213359B (zh) | 回声消除器和用于回声消除器的方法 | |
CN109727604B (zh) | 用于语音识别前端的频域回声消除方法及计算机储存介质 | |
Enzner et al. | Acoustic echo control | |
Gillespie et al. | Speech dereverberation via maximum-kurtosis subband adaptive filtering | |
JP5671147B2 (ja) | 後期残響成分のモデリングを含むエコー抑制 | |
Doclo et al. | Frequency-domain criterion for the speech distortion weighted multichannel Wiener filter for robust noise reduction | |
KR101250124B1 (ko) | 에코 억제 필터를 위한 제어 정보를 계산하는 장치 및 방법 및 지연 값을 계산하는 장치 및 방법 | |
US9264807B2 (en) | Multichannel acoustic echo reduction | |
US8594320B2 (en) | Hybrid echo and noise suppression method and device in a multi-channel audio signal | |
EP2237271B1 (en) | Method for determining a signal component for reducing noise in an input signal | |
TWI388190B (zh) | 用於回聲抑制的濾波器係數的計算設備和方法 | |
EP3791565B1 (en) | Method and apparatus utilizing residual echo estimate information to derive secondary echo reduction parameters | |
EP1715669A1 (en) | A method for removing echo in an audio signal | |
US8682006B1 (en) | Noise suppression based on null coherence | |
US20070036344A1 (en) | Method and system for eliminating noises and echo in voice signals | |
CN108172231A (zh) | 一种基于卡尔曼滤波的去混响方法及系统 | |
KR20070036777A (ko) | 오디오 신호 반향 억제 | |
KR102076760B1 (ko) | 다채널 마이크를 이용한 칼만필터 기반의 다채널 입출력 비선형 음향학적 반향 제거 방법 | |
KR100633213B1 (ko) | 불가청 정보를 포함함으로써 적응형 필터 성능을개선시키는 방법 및 장치 | |
Akhtar et al. | Acoustic feedback cancellation in hearing aids using dual adaptive filtering and gain-controlled probe signal | |
Yang | Multilayer adaptation based complex echo cancellation and voice enhancement | |
JP2003250193A (ja) | 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体 | |
JP3673727B2 (ja) | 反響消去方法、その装置、そのプログラム及びその記録媒体 | |
JP3583998B2 (ja) | 多チャネルエコー消去方法、その装置及びプログラム記録媒体 | |
Buchner et al. | An acoustic human-machine interface with multi-channel sound reproduction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
CI02 | Correction of invention patent application | ||
CI02 | Correction of invention patent application |
Correction item: Claims|Description Correct: Correct False: error Number: 22-02 Page: ?? Volume: 36 |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |