CN109509481A - 音频信号回声降低 - Google Patents
音频信号回声降低 Download PDFInfo
- Publication number
- CN109509481A CN109509481A CN201810863270.3A CN201810863270A CN109509481A CN 109509481 A CN109509481 A CN 109509481A CN 201810863270 A CN201810863270 A CN 201810863270A CN 109509481 A CN109509481 A CN 109509481A
- Authority
- CN
- China
- Prior art keywords
- signal
- echo
- sampling rate
- estimation
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 12
- 238000005070 sampling Methods 0.000 claims abstract description 122
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000012937 correction Methods 0.000 claims abstract description 8
- 230000004044 response Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 12
- 239000000523 sample Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 239000013074 reference sample Substances 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 102100032352 Leukemia inhibitory factor Human genes 0.000 description 2
- 108090000581 Leukemia inhibitory factor Proteins 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
本申请公开了音频信号回声降低。除了其他之外提供了用于减少音频信号中回声的系统、方法和技术。一个代表性实施例涉及获得输入信号、系统表征函数的估计和参考信号,每个信号处于相应的采样速率并且每个信号被划分成多个子带;分别处理这样的子带,其中对于给定的子带,处理系统表征函数的估计和参考信号,以生成回声估计信号,然后从输入信号中减去回声估计信号,以提供针对该给定子带的回声校正信号;以及组合来自多个子带中的不同子带中的每一个的回声校正信号以提供最终输出信号,其中回声估计信号使用低于对于输入信号的采样速率的处理采样速率来生成。
Description
发明领域
本发明除了其他之外涉及用于音频信号处理的系统、方法和技术,并且对音频信号中的回声的降低具有特别的适用性。
背景
回声的存在是音频系统中经常遇到的问题。其中产生回声的音频子系统10的一个示例在图1中示出。子系统10可以被包括在例如双工音频(例如通信)系统的一端处。其中,音频信号同时输入和输出。具体而言,通过扬声器14输出在图1中被指定为Rx的接收信号12(其通常已经经历了图1中未示出的一些先前处理)。同时,麦克风16输入信号18,该信号的数字化版本被指定为x(n)、也被称为数字输入信号19,该信号最终例如被发送到接收方、被记录或以某种其他方式使用。
不幸的是,通常是这样的情况,通过扬声器14播放的音频信号12的一些部分到达麦克风16,通常经过一些修改,这些修改在图1中由离散时间有限脉冲响应f(n)表示。对脉冲响应f(n)的贡献可以来自例如扬声器14的特性、在与扬声器14和麦克风16相同空间内的声音反射和/或声音吸收表面、和/或扬声器14和麦克风16之间的空气的特性。
为了解决这个问题,信号x(n)19传统上由试图去除回声噪声的数字回声消除器20处理。为此目的,在当前公开中:r(n)用于表示回声参考信号22(其通常是提供给扬声器14的接收信号12的数字化版本),x(n)18(如上所述)是麦克风16接收的信号的数字化版本,并且y(n)是回声消除(EC)数字输出信号24。传统上,这三个信号都处于相同的采样速率,并且x(n)和r(n)之间的关系是:
x(n)=r(n)*f(n)+d(n)
其中,*表示卷积运算,并且d(n)是近端目标信号的数字化版本(即,会在没有回声噪声的情况下出现的麦克风输入信号18的数字化版本)。理想地,回声消除器20输出y(n)=d(n)。为此目的,通常生成输出脉冲响应f(n)的估计值,即,(其中,L是所选择的回声参考长度)。在传统的EC算法中,最小均方(LMS)或归一化最小均方(NLMS)算法用于以原始采样速率R在时间样本的每一个处连续更新脉冲响应估计然后,在某些传统子系统10中,回声消除器20被实现为使得:
这样的系统可以被认为采用了全带EC算法。
可选地,如图2所示,传统的子带EC系统20将全带输入信号分解30成M个等分的子带。这种子带输入信号可以表示为xm(n)和rm(n),m=1,...,M。传统上,这些带通子带信号具有与原始输入信号相同的采样速率R。然后,这些子带信号按D因子被下采样32,主要是为了降低数据速率,从而降低计算复杂度。
现在处于采样速率的分别表示为和的(m=1,...,M)的下采样信号随后被馈送到相应的子带的回声消除模块34m,在图2中标记为EC-m并且在本公开中有时被如此提及。每个这样的回声消除模块34m也以采样速率R/D进行处理,因此,与以原始采样速率R运行相比,使用少得多的计算资源。否则,回声消除模块34m也实现上述方程1。每个回声消除模块34m的输出随后按D因子被上采样36。最后,所有这样的上采样子带输出信号ym被再合成40为全带输出信号42(即,n(n))。
在某些传统的子带实现中,为了进一步节省计算资源,下采样操作32被组合到分解模块30中,并且上采样操作36被组合到再合成模块40中。然而,对于这任一这种实现来说,广泛报道的是在导致更少的计算复杂度的同时增加下采样,而且降低了回声降低性能。
传统的子带回声消除系统通常比全带系统具有更快的收敛和更好的稳态回声抑制性能。然而,提供这种对传统全带回声消除的改进是以计算(或系统)复杂性的显著增加为代价的。
发明概述
除了其他优点之外,本发明提供了可以降低这种复杂性的系统、方法和技术。根据本发明的某些方法,以与r(n)的子带分解不同的速率执行x(n)的子带分解,例如通过使用不同的下采样速率。在某些方法中,以一个采样速率处理x(n),并以一个或更多个不同(优选较低)的速率处理r(n)。在任一情况下,通过适当地构造每个子带的回声消除器,这种不同的速率可用于有效地减小回声参考长度L,从而有助于:(1)降低回声消除器的计算复杂性;(2)加快回声消除器的收敛级;(3)稳定回声消除器的自适应学习和回声降低性能。
本发明的一个特定实施例针对一种减少音频信号中回声的方法。根据该方法,获得输入信号、系统表征函数的估计和参考信号,每一个处于相应的采样速率并且每一个被划分成多个子带。这样的子带被分别处理,使得对于给定的子带,系统表征函数的估计和参考信号被处理以生成回声估计信号,并且然后从输入信号中减去这样的回声估计信号以提供用于该给定子带的回声校正信号。来自子带中的不同子带的回声校正信号然后被组合以提供最终输出信号。这种方法的一个特征在于使用低于对于输入信号的采样速率的处理采样速率来生成回声估计信号。
另一个实施例针对一种用于减少音频信号中回声的系统,其包括:(a)多个回声消除模块,每个这样的回声消除模块包括:(i)回声估计模块,其以第一采样速率输入系统表征函数的估计,并且以第二采样速率输入参考信号,并且以第三采样速率进行处理,以第四采样速率输出回声估计信号,以及(ii)减法器,其从同样处于第四采样速率的输入信号中减去回声估计信号,从而以第四采样速率产生回声消除子带信号;以及(b)合成模块,其合成来自回声消除模块的回声消除子带信号以产生最终输出信号。在系统中,第三采样速率低于第四采样速率。
前面的概述仅旨在提供本发明的某些方面的简要描述。通过结合附图参考权利要求和优选实施例的以下详细描述,可以获得对本发明的更完整的理解。
附图说明
在下面的公开中,参照附图描述本发明。然而,应当理解,附图仅描绘了本发明的某些代表性和/或示例性实施方式和特征,并且不旨在以任何方式限制本发明的范围。以下是各附图的简要说明。
图1是现有技术的音频子系统的框图,示出回声如何能够产生,并包括用于消除这种回声的模块。
图2是现有技术的传统子带回声消除系统的框图。
图3是根据本发明的子带回声消除系统的框图。
图4是示出如何能够形成子带的回声参考的图示。
图5是示出对于没有指定保护带的不同子带的优选可接受下采样速率的图示。
图6是示出对于具有0.5R/4M的保护带的不同子带的优选可接受下采样速率的图示。
图7是示出对于具有R/4M的保护带的不同子带的优选可接受下采样速率的图示。
图8是示出根据本发明的更概括性的实施例的子带回声消除处理的框图。
优选实施例的描述
以下讨论尤其涉及用于执行音频信号回声消除的改进的系统、方法和技术。如本文所使用,术语“消除”不一定指完全消除。尽管完全消除通常是优选目标,但最终可能会留下一些回声。相反,本文中涉及回声消除的表达更好地理解为将回声降低到某个可容忍的水平,这通常需要进行其他权衡。
示例性实施例
图3示出了根据本发明的基于子带的回声消除系统100(其例如可以取代图1和图2中所示的EC系统20)。在系统100中,输入信号19((x(n))的下采样的速率(其发生在子带分解模块130A内)是D,类似于传统EC系统20中所进行的。然而,与传统系统不同,下采样参考信号22(r(n))的速率是1(即,没有下采样)。优选地,输入到回声消除模块134m的每一个中的信号(即,和rm(n))处于不同的采样速率,在这里分别为R/D和R。在索引n处,仍处于采样速率R的回声参考长度L由时间序列组成:
{rm(nD),rm(nD-1),rm(nD-2),…,rm(nD-L+1)},和
其中,是的第m个子带分解。
然而,对于每个子带m,因为已知和rm比x更频带受限,所以本发明人已经发现,可以以Dm的速率(通常大于D,导致更低的有效采样速率)有效地下采样这两个信号,并且仍然实现与相同的回声估计。有效下采样速率Dm的选择优选地仅受在这种下采样过程期间没有(或有限的)频率混叠发生的条件限制。因此,Dm通常可以更大于D,其通常被选择为小于(带通)奈奎斯特下采样速率,以便允许更好的回声降低性能。考虑这样的有效的下采样:
其中,是的Dm速率下采样的版本。在优选实施例中,直接估计由而不是做出。也就是说,系统有限脉冲响应函数(或在其他实施例中的其他类型的系统响应函数)优选地最初以较低采样速率(R/Dm)(即,)生成,而不是生成然后下采样此外,应注意,在方程3中且在系统100中,rm(n)不进行实际下采样,而只是作为在相应的回声消除模块134m中执行的处理的结果进行有效下采样。也就是说,在rm(n)保持在R的采样速率处的同时,处理(并且更具体地说,卷积处理)在回声消除模块134m内以R/Dm的处理采样速率执行,即,仅使用rm(n)的每Dm个样本。一般来说,rm(n)的全速率(R采样速率)版本被保留,从而避免时序失配,其原本将由于Dm与D不同而发生(例如,使得能够任意选择任何特定卷积的起始点)。
在一些情况下,例如,如下面更详细讨论的,将可能的是至少在一定程度上的实际下采样rm(n),而不具有这样的失配。然而,即使没有对rm(n)的任何下采样,给定回声消除模块134m的回声参考长度也从L或L/D减少到L/Dm,从而提供上述益处。
此外,应当注意,由于卷积的交换性,在本发明的可选实施例中,rm(n)由Dm进行实际下采样,或者最初以R/Dm的采样速率获得,并且以全速率R在相应的回声消除模块134m内被估计并保持(即,仅被有效下采样,而不是rm(n))。更进一步,可以只对rm(n)和进行有效(而不是实际)下采样。任何这样的实现将导致回声参考长度的相同减小,或者等效地,导致需要由回声消除模块134m执行的处理量的相同减小。然而,这样的信号中的至少一个的实际下采样可以进一步降低处理要求,且因此是优选的。仅为了便于讨论,本公开主要假设这样一个实施例,其中由Dm进行实际下采样(或以比Dm的因子更低的速率进行的初始估计),同时rm(n)在全速率R处被保持。然而,并不意味着丧失一般性。
如果Dms(或等效地,和rm的有效采样速率)被适当地选择,使得对于{Dm,m=1,…,M}和对于D存在重要的公因数(由Dr表示),这种下采样速率Dr可以对于r(n)在子带分解模块130B处应用(类似于对于x(n)在子带分解模块130A中所做的),以便进一步降低计算复杂性。在这种情况下,对上面的方程3进行适当的索引改变。
在优选实施例中:
(1)对于的回声参考开始于rm(nD),意思是回声参考是{rm(nD),rm(nD-Dm),rm(nD-2Dm),…}。
(2)Dm仅受限于没有频率混叠的条件(潜在地具有某个附加的保护带)。因此,不同的频带m可以使用不同的Dm。
(3)因为如果m1≠m2,可以不同于所以这两个子带的回声参考长度也可以不同。与传统的子带回声消除一样,设计者也可以人为地延长或缩短每个子带的回声参考长度。因为Dm在相同回声参考长度的情况下可以大于D,所以本方法通常可以获得比传统的子带回声消除更好的建模能力,而不牺牲稳定性和收敛速度。
通过选择{Dm,m=1,…,M},可以控制r(n)的子带回声消除模块和子带分解模块之间的计算复杂性平衡/权衡。例如,较高的Dm可以允许相应回声消除模块134m中较短的回声参考,但是可以减少对于r(n)在子带分解模块130B处进行下采样的可能性。
图8示出了如何可以形成第m个子带的回声参考。在该示例中,D=4,Dm=6并且回声参考长度L=7Dm。在时间索引k1D处,子带麦克风信号是其示例性(最新)回声参考样本在相同时间索引rm(k1D)处是rm(n)。跟随的回声参考样本是{rm(k1D-iDm),i=0,1,…,6}。在下一时间索引k2D=(k1+1)D处,示例性的相应回声参考样本是rm(k2D)=rm((k1+1)D)。跟随的回声参考样本是{rm(k1D+D-iDm),i=0,1,…,6}。
在M=32,且不提供任何保护带的情况下,优选可用于不同子带中每一个的Dms在图4中显示为白色单元(而优选不能用于不同子带中每一个的Dms显示为黑色单元)。然而,由于滤波器组130B的分析滤波器的长度有限,每个子带的真实带宽通常大于R/2M。一般来说,在选择Dm时的防护带越大,则将产生的性能越好。在每个子带的每一侧都有0.5R/4M的保护带的情况下,图5示出(再次,作为白色单元)优选可用于不同子带中每一个的所有潜在Dms(而优选不能用于不同子带中每一个的Dms再次被示出为黑色单元)。明显的是,对于大多数子带,Dm可以被选择为大于16(在M=32时,在子带处理系统中,D通常选择为8或甚至4)。最后,在位于每个子带的每一侧的保护带为R/4M的情况下,图6示出(再次地,作为白色单元)优选可用于每个子带的所有潜在Dms(而优选不能用于不同子带中每一个的Dms被示为黑色单元)。即使在这种情况下,对于每个子带仍有大于8的Dm的选择。
在子带回声消除系统中,在回声参考的下采样期间发生的任何频率混叠将导致整个EC系统的回声降低性能的降级。因此,在传统的基于子带的EC系统中,除非D被选择为1,否则通常无法避免一些或所有的子带中的频率混叠,这将使得系统的计算复杂性在M重要时令人望而却步。相反,利用根据本发明的子带EC系统100,可以在每个子带的EC模块134m处对回声参考进行有效下采样,而不会引起任何频率混叠或其他性能降级。因此,即使在避免(或限制)性能降级的同时,也可以实现计算复杂性的显著节省,特别是在M大的时候。
其他一般化实施例
前面的讨论主要集中在一个特定的示例性实施例上,例如为了更好和/或更清楚地说明本发明的一些概念基础。图8示出了根据本发明的优选实施例的回声消除系统200的更一般化的描述。如下文讨论所示,给定已经被适当采样并分离成频带的信号18和22,系统200可以取代图1和图2所示的EC系统20。否则,可以包括附加部件(例如,传统的下采样器和/或滤波器组)以提供这样的信号。
类似于系统100,系统200包括M个回声消除处理模块234m(尽管在图8中仅详细示出了单个),每个模块处理不同的等宽子带m并为该子带m提供回声消除的输出信号ym。然后再合成240这样的输出ym(其可选地包括重采样,例如向上采样回到全带采样速率R),以产生最终输出信号242(y)。
在下面的讨论中,与上面使用的符号相比,使用了稍微不同的符号。图8所示的信号中的每一个是连续时间连续变量(或模拟)信号的量化离散时间(或数字)形式。然而,因为这样的信号可以(并且优选地)以不同的采样速率提供,所以省略了索引(例如,n),并且反而在信号的标记旁边指示对于该信号的采样速率,但是用|符号将其与信号分隔。例如,符号rm|Rrm表示参考信号r的第m个子带,具有采样速率为Rrm。图8中所示和/或本节中提到的所有采样速率都是基于时间的速率(例如,每秒样本),其反映例如信号的原始采样速率(如生成的,或如从连续时间信号采样的)和已经应用的任何后续下采样或上采样的组合。也就是说,例如,对于当前更一般化的实施例的目的,信号最初是具有特定采样速率还是随后被向下二次采样到该速率是无关紧要的。
在前一节中,通常假设所有信号最初都具有为R的全采样速率。然而,在当前更一般化的实施例中,没有作出这样的假设(尽管存在潜在的公共采样速率R的概念,并且所有实际采样速率都是R的整数子速率仍是有用的)。取而代之的是,例如,可以以较低的速率对输入信号x进行初始采样(或者以其他方式输入)。类似地,在回声消除系统200是其一部分的音频子系统内,全采样速率R可以仅用于输出信号,或者甚至根本不使用。
如先前讨论的示例性实施例中,系统200也是子带EC系统,对于每个子带m具有单独的回声消除处理模块234m。尽管在图8中仅详细示出了单个这样的模块234m,但是模块2341-234m是相似的,其中每个模块产生输出信号239m(ym)。
每个回声消除处理模块234m包括回声估计模块236m,该回声估计模块236m输入具有采样速率为Rrm的参考信号222的第m个子带(即,rm)。在上面讨论的示例性实施例中,Rrm通常是R,但是,例如,如上所述,rm先前可能已经通过Dr被下采样,或者可能已经以不同的采样速率被初始输入。模块236m还输入具有采样速率为Rfm的脉冲响应估计223的第m个子带。在上面讨论的示例性实施例中,Rfm典型地将是R/Dm,或者作为下采样的结果,或者最初以这样的速率输入,但是替代地可以是不同的采样速率,诸如R。优选地,如上所讨论,rm和的至少一个处于较低的采样速率。在当前实施例中,如在上面讨论的系统100中,由系统响应估计模块225以常规方式生成,例如,使用最小均方(LMS)或归一化最小均方(NLMS)算法,并由此连续更新。
无论如何,回声估计模块236m基于这两个输入信号(rm222和223)生成回声的估计(例如,在麦克风16处接收的)。在优选实施例中,由每个回声估计模块236m执行的主要(甚至唯一)处理是rm222和223之间的卷积。至少一些这样的处理(例如,至少卷积处理)以采样速率RPm执行。通常,采样速率Rrm、Rfm、和RPm中的至少两个彼此不同,因此信号rm222或223中的一个相比另一个被不同地索引(例如,频率较低,跳过的样本较多)。例如,在上面描述的示例性实施例中,Rfm=RPm<Rrm,因此在具有更多的样本跳过的这种处理期间rm被索引。
回声估计模块236m的第m个子带输出回声估计237(Em)优选地处于与第m个子带输入信号221(xm)相同的采样速率(Rx)处。这个第m个子带输出回声估计237(Em)在减法器238中从第m个子带输入信号221(xm)中减去,以同样处于采样速率Rx提供第m个子带回声校正信号239m(ym)。所有这样的子带回声校正信号239m随后在子带再合成模块240中被再合成为最终输出信号242(y处于为Ry的采样速率),其还可以包括任何期望的重采样(例如,上采样,特别是如果x已经被下采样)。
如上所指示,本发明的优点之一在于,不同的采样速率可以用于整个系统200中的各种信号和处理。例如,由于上面所述的原因,即使在考虑到输入信号221的任何下采样之后,在一些或所有的回声估计模块236m中执行的处理的全部或至少一部分通常优选地处于不同于(优选地低于)输入信号221(xm)的速率的Rx的采样速率RPm。
本发明的另一个优点在于,回声估计模块236m(对于不同的子带m)的处理采样速率(RPm)可以彼此不同。一般来说,优选地,适当地选择各个信号的采样速率,使得:(1)避免混叠或至少将其限制在可接受的水平;(2)回声估计信号237具有与输入信号221相同的采样速率;以及(3)足够的样本可用于在相应的模块236m中执行回声估计处理。如结合以上讨论的示例性实施例所指出的,这可以通过使用对于参考信号222或脉冲响应估计223的全采样速率R并且使用对于另一个这样的信号的子速率R/N1以及对于输入信号221的第二子速率R/N2来实现,其中N1和N2是大于或等于1的整数。然而,基于本教导,其它合适的速率选择是可用的,并且对于本领域普通技术人员来说是明显的。
在前述实施例中,基于参考信号和估计的脉冲响应来估计回声。然而,在可选实施例中,回声可基于参考信号和任何其它系统表征函数来估计,例如用于描述系统对除脉冲之外的任何输入的响应的函数的基于频率的传递函数。
系统环境
一般来说,除非另有明确指示,否则本文所描述的所有系统、方法、功能和技术可使用一个或更多个可编程通用计算装置来实践。这种装置(例如,包括本文所提及的任何电子装置)通常将包括例如经由例如公共总线彼此耦合的以下部件中的至少一些:(1)一个或更多个中央处理单元(CPU);(2)只读存储器(ROM);(3)随机存取存储器(RAM);(4)其他集成或附加存储设备;(5)用于与其他装置以接口方式连接的输入/输出软件和电路(例如,使用硬连线连接,诸如串行端口、并行端口、USB连接或火线连接,或者使用无线协议,诸如射频识别(RFID)、任何其他近场通信(NFC)协议、蓝牙或802.11协议);(6)用于连接到一个或更多个网络的软件和电路,例如使用硬连线连接,诸如以太网卡或无线协议,诸如码分多址(CDMA)、全球移动通信系统(GSM)、蓝牙、802.11协议或任何其他基于蜂窝或非基于蜂窝的系统,这些网络在本发明的许多实施例中又连接到因特网或任何其他网络;(7)显示器(诸如阴极射线管显示器、液晶显示器、有机发光显示器、聚合物发光显示器或任何其他薄膜显示器);(8)其他输出装置(诸如一个或更多个扬声器、耳机、激光器或其他光投影仪和/或打印机);(9)一个或更多个输入装置(诸如鼠标、一个或更多个物理开关或可变控制器、触摸板、平板电脑、触敏显示器或其他定点设备、键盘、小键盘、麦克风和/或照相机或扫描仪);(10)大容量存储单元(诸如硬盘驱动器或固态驱动器);(11)实时时钟;(12)可移动存储读/写设备(例如闪存驱动器、利用半导体存储器的任何其他便携式驱动器、磁盘、磁带、光磁盘、光盘等);和/或(13)调制解调器(例如,用于发送传真或用于连接到因特网或任何其他计算机网络)。在操作中,在由这种通用计算机执行的程度上,实现以上方法和功能的处理步骤通常最初存储在大容量存储器(例如,硬盘或固态驱动器)中,下载到RAM中,然后由CPU从RAM执行。然而,在一些情况下,处理步骤最初存储在RAM或ROM中和/或直接从大容量存储器执行。
用于实现本发明的合适的通用可编程设备可以从各种供应商处获得。在各种实施例中,根据任务的大小和复杂性使用不同类型的设备。这样的设备可以包括例如大型计算机、多处理器计算机、一个或更多个服务器盒、工作站、个人(例如台式、膝上型、平板或平板式)计算机和/或甚至更小的计算机,诸如个人数字助理(PDA)、无线电话(例如智能手机)或任何其他可编程器件或设备,无论是独立的、硬连线到网络还是无线连接到网络。
此外,尽管通用可编程设备可用于上述系统中,但在可选实施例中,替代地(或附加地)使用一个或更多个专用处理器或计算机。一般来说,应当注意,除非另有明确说明,否则上述任何功能可以由执行软件和/或固件的通用处理器、由专用(例如,基于逻辑的)硬件或这些方法的任何组合来实现,其中特定实现是基于已知的工程折衷来选择的。更具体地,在以固定、预定和/或逻辑方式实现上述任何过程和/或功能的情况下,可以通过执行编程的处理器(例如,软件或固件)、逻辑部件(硬件)的适当布置、或两者的任意组合来实现,这是本领域技术人员容易认识到的。换句话说,如何将逻辑和/或算术运算转换成用于在处理器内执行这种运算的指令和/或转换成用于执行这种运算的逻辑门配置是众所周知的;事实上,编译器通常可用于这两种转换。
应当理解,本发明还涉及机器可读的有形(或非暂时性)介质,在该介质上存储有用于执行本发明的方法和功能的软件或固件程序指令(即,计算机可执行处理指令)。例如,这种介质包括磁盘、磁带、可选地诸如CD和DVD的可读介质,或者半导体存储器(诸如各种类型的存储卡、USB、固态驱动器)等。在每种情况中,介质可以采用便携式物品的形式,诸如小型磁盘驱动器或小磁盘、软磁盘、盒式磁带、磁带、卡、字盘等,或者其可以采用相对较大或不移动的物品,诸如在计算机或其他设备中提供的硬盘驱动器、ROM或RAM。如本文所使用的,除非另外明确指出,对存储在计算机可读或机器可读介质上的计算机可执行处理步骤的引用旨在包括这样的处理步骤存储在单个介质上的情况,以及这样的处理步骤存储在多个介质上的情况。
前述描述主要强调电子计算机和设备。然而,应当理解,可以使用任何其他计算或其他类型的设备,诸如利用能够执行基本逻辑和/或算术运算的电子、光学、生物和化学处理的任何组合的设备。
此外,在本公开涉及处理器、计算机、服务器、服务器设备、计算机可读介质或其他存储设备、客户端设备或任何其他类型的装置或设备的情况下,这些引用应当被理解为包括多个这样的处理器、计算机、服务器、服务器设备、计算机可读介质或其他存储设备、客户端设备或任何其他这样的装置或设备的使用,除非另有明确指示。例如,服务器通常可以(并且通常将)使用单个设备或服务器设备集群(本地或地理上分散的)来实现,例如具有适当的负载平衡。类似地,服务器设备和客户端设备通常将协作执行完整方法的处理步骤,例如,每个这样的设备具有存储这样的处理步骤的一部分的它自己的存储设备和执行这些处理步骤的它自己的处理器。
附加考虑事项
如本文所使用的,术语“耦合”或该词的任何其它形式旨在表示直接连接或通过一个或更多个其它元件或处理块连接,例如,出于预处理的目的。在附图和/或它们的讨论中,在各个步骤、模块或处理块被示出和/或讨论为彼此直接连接的情况下,这样的连接应当被理解为耦合,其可以包括附加元件和/或处理块。除非本文另有相反的明确和具体说明,本文中对信号的引用是指信号的任何处理过的或未处理过的版本。也就是说,本文讨论和/或要求保护的具体处理步骤不是排他性的;相反,可以在本文明确讨论或要求保护的任何两个处理步骤之间执行中间处理。
如本文所用,术语“附接”或该词的任何其它形式,在没有进一步修改的情况下,旨在表示直接附接、通过一个或更多个其它中间元件或部件附接、或整体形成在一起。在附图和/或讨论中,在两个单独的部件或元件被示出和/或讨论为彼此直接附接的情况下,这样的附接应当被理解为仅仅是示例性的,并且在可选实施例中,该附接替代地可以包括在这两个部件之间的附加部件或元件。类似地,在本文讨论和/或要求保护的方法步骤并不是排他性的;相反,中间步骤可以在本文明确讨论或要求保护的任何两个步骤之间执行。
在前面的讨论中,术语“操作者”、“操作”、“功能”和类似的术语指代方法步骤或硬件部件,这取决于具体的实现/实施例。
除非明确相反指出,诸如“最优”、“优化”、“最大化”、“最小化”、“最佳”的词语以及类似词语和其他表示比较的单词和后缀在上述讨论中没有使用为其绝对意义。相反,这些术语通常旨在通过任何其他潜在的约束(例如用户指定的约束和目标以及成本和处理限制)来理解。
在以上讨论中,通过将某些过程和/或方法分解成以特定顺序列出的功能或步骤来解释它们。然而,应当注意,在每种这样的情况下,除了清楚地相反地指示或由实际考虑所要求的程度(例如,在一个功能或步骤的结果是执行另一个所必需的情况下),指示的顺序不是关键的,而是所描述的功能和步骤可以被重新排序和/或两个或更多个这样的步骤可以同时执行。
本文中对旨在触发、限制、过滤或以其他方式影响处理步骤、其他动作、处理步骤或动作的主题或任何其他活动或数据的“标准”、“多个标准”、“条件(condition)”、“多个条件(conditions)”或类似词语旨在指“一个或更多个”,而不管是使用单数还是复数形式。例如,任何标准或条件可以包括动作、事件和/或出现(即多部分标准或条件)的任何组合(例如布尔组合)。
类似地,在上面的讨论中,功能有时归因于特定的模块或部件。然而,功能通常可以根据需要在任何不同的模块或部件之间重新分配,在一些情况下完全避免对特定部件或模块的需要和/或需要添加新的部件或模块。如本领域技术人员将理解的,参考本发明的具体实施例,功能的精确分布优选地根据已知的工程折衷来进行。
在上述讨论中,词语“包括(include)”,“包括(includes)”,“包括(including)”及该词语的所有其它形式不应该被理解为限制,而应该将这些单词之后的任何具体项理解为仅仅是示范性的。
上面描述了本发明的几个不同实施例,并且在文件中通过引用并入本文,其中每个这样的实施例被描述为包括某些特征。然而,旨在结合任何单个实施例的讨论描述的特征不限于该实施例,而是可以被包括和/或布置在任何其它实施例中的各种组合中,如将由本领域技术人员理解的。
因此,虽然本发明已经关于其示例性实施例和附图被详细描述,但是对于本领域技术人员明显的是,在不脱离本发明的精神和范围的情况下,可以实现本发明的各种适应和修改。因此,本发明不限于附图所示和上述的精确实施例。相反,意图是不偏离本发明的精神的所有这样的变化被认为是落入其仅由所附权利要求书限定的范围内。
Claims (20)
1.一种减少音频信号中的回声的方法,包括:
(a)获得输入信号、系统表征函数的估计和参考信号,每个信号处于相应的采样速率并且每个信号被划分成多个子带;
(b)分别处理所述子带,其中对于给定子带,处理所述系统表征函数的估计和所述参考信号,以生成回声估计信号,然后从所述输入信号中减去所述回声估计信号,以提供针对所述给定子带的回声校正信号;和
(c)组合来自多个所述子带中的不同子带中的每一个的所述回声校正信号以提供最终输出信号,
其中,所述回声估计信号使用低于对于所述输入信号的采样速率的处理采样速率被生成。
2.根据权利要求1所述的方法,其中,所述系统表征函数的估计是脉冲响应估计。
3.根据权利要求1所述的方法,其中,使用最小均方(LMS)算法或归一化最小均方(NLMS)算法中的至少一种来生成所述系统表征函数的估计。
4.根据权利要求1所述的方法,其中,所述回声估计信号是通过以所述处理采样速率执行所述系统表征函数的估计和所述参考信号的卷积来生成的。
5.根据权利要求1所述的方法,其中,所述回声估计信号是使用不同的处理采样速率对于所述子带中的不同子带而生成的。
6.根据权利要求1所述的方法,其中,(a)所述参考信号或所述系统表征函数的估计中的第一个具有等于用于生成所述回声估计信号的所述处理采样速率的采样速率,以及(b)所述参考信号或所述系统表征函数的估计中的第二个具有更高的采样速率。
7.根据权利要求6所述的方法,其中,所述系统表征函数具有等于用于生成所述回声估计信号的所述处理采样速率的采样速率,并且所述参考信号具有所述更高的采样速率。
8.根据权利要求6所述的方法,其中,通过从全采样速率下采样所述输入信号来实现所述输入信号的采样速率。
9.根据权利要求8所述的方法,其中,所述更高的采样速率等于对于所述输入信号的所述全采样速率。
10.根据权利要求1所述的方法,其中,以等于对于所述输入信号的采样速率的采样速率提供所述回声估计信号。
11.根据权利要求1所述的方法,其中,所述组合步骤还包括上采样。
12.一种用于减少音频信号中的回声的系统,包括:
(a)多个回声消除模块,每个所述回声消除模块包括:(i)回声估计模块,其以第一采样速率输入系统表征函数的估计,并且以第二采样速率输入参考信号,并且以第三采样速率进行处理,以第四采样速率输出回声估计信号,以及(ii)减法器,其从同样处于所述第四采样速率的输入信号中减去所述回声估计信号,从而以所述第四采样速率产生回声消除子带信号;和
(b)合成模块,其合成来自所述回声消除模块的所述回声消除子带信号以产生最终输出信号,
其中,所述第三采样速率低于所述第四采样速率。
13.根据权利要求12所述的系统,其中,所述系统表征函数的估计是脉冲响应估计。
14.根据权利要求12所述的系统,还包括使用最小均方(LMS)算法或归一化最小均方(NLMS)算法中的至少一个来生成所述系统表征函数的估计的模块。
15.根据权利要求12所述的系统,其中,所述回声估计模块以所述第三采样速率执行所述系统表征函数的估计与所述参考信号的卷积。
16.根据权利要求12所述的系统,其中,所述回声估计模块在所述多个回声消除模块上采用不同的处理采样速率。
17.根据权利要求12所述的系统,其中,(a)所述第一采样速率或所述第二采样速率中的第一个等于所述第三采样速率,以及(b)所述第一采样速率或所述第二采样速率中的第二个高于所述第三采样速率。
18.根据权利要求17所述的系统,其中,所述输入信号的所述第四采样速率通过从全采样速率下采样所述输入信号来实现。
19.根据权利要求18所述的系统,其中,所述更高的采样速率等于对于所述输入信号的所述全采样速率。
20.根据权利要求12所述的系统,其中,所述合成模块还执行上采样。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/704,235 | 2017-09-14 | ||
US15/704,235 US10154343B1 (en) | 2017-09-14 | 2017-09-14 | Audio signal echo reduction |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109509481A true CN109509481A (zh) | 2019-03-22 |
CN109509481B CN109509481B (zh) | 2020-12-15 |
Family
ID=64535915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810863270.3A Active CN109509481B (zh) | 2017-09-14 | 2018-08-01 | 音频信号回声降低 |
Country Status (2)
Country | Link |
---|---|
US (2) | US10154343B1 (zh) |
CN (1) | CN109509481B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110265050A (zh) * | 2019-05-29 | 2019-09-20 | 广州小鹏汽车科技有限公司 | Aec音频控制系统及其时钟协商方法 |
WO2023188661A1 (ja) * | 2022-03-29 | 2023-10-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 妨害音抑圧装置、妨害音抑圧方法及び妨害音抑圧プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1535555A (zh) * | 2001-08-01 | 2004-10-06 | 樊大申 | 基于对有用声音静音的心形波束的声学装置、系统和方法 |
US20080037801A1 (en) * | 2006-08-10 | 2008-02-14 | Cambridge Silicon Radio, Ltd. | Dual microphone noise reduction for headset application |
CN101207939A (zh) * | 2006-12-18 | 2008-06-25 | 哈曼贝克自动系统股份有限公司 | 低复杂度的回音补偿 |
US20080253553A1 (en) * | 2007-04-10 | 2008-10-16 | Microsoft Corporation | Filter bank optimization for acoustic echo cancellation |
US20090271187A1 (en) * | 2008-04-25 | 2009-10-29 | Kuan-Chieh Yen | Two microphone noise reduction system |
CN106782593A (zh) * | 2017-02-27 | 2017-05-31 | 重庆邮电大学 | 一种用于声学回声消除的多带结构自适应滤波器切换方法 |
-
2017
- 2017-09-14 US US15/704,235 patent/US10154343B1/en active Active
-
2018
- 2018-08-01 CN CN201810863270.3A patent/CN109509481B/zh active Active
- 2018-10-16 US US16/161,216 patent/US10856080B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1535555A (zh) * | 2001-08-01 | 2004-10-06 | 樊大申 | 基于对有用声音静音的心形波束的声学装置、系统和方法 |
US20080037801A1 (en) * | 2006-08-10 | 2008-02-14 | Cambridge Silicon Radio, Ltd. | Dual microphone noise reduction for headset application |
CN101207939A (zh) * | 2006-12-18 | 2008-06-25 | 哈曼贝克自动系统股份有限公司 | 低复杂度的回音补偿 |
US20080253553A1 (en) * | 2007-04-10 | 2008-10-16 | Microsoft Corporation | Filter bank optimization for acoustic echo cancellation |
US20090271187A1 (en) * | 2008-04-25 | 2009-10-29 | Kuan-Chieh Yen | Two microphone noise reduction system |
CN106782593A (zh) * | 2017-02-27 | 2017-05-31 | 重庆邮电大学 | 一种用于声学回声消除的多带结构自适应滤波器切换方法 |
Non-Patent Citations (1)
Title |
---|
GILLOIRE,A.: "Adaptive Filtering in Subbands with Critical Sampling:Analysis,Experiments,and Application to Acoustic Echo Cancellation", 《IEEE TRAN.ON SIGNAL PROCESSING》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110265050A (zh) * | 2019-05-29 | 2019-09-20 | 广州小鹏汽车科技有限公司 | Aec音频控制系统及其时钟协商方法 |
CN110265050B (zh) * | 2019-05-29 | 2021-06-04 | 广州小鹏汽车科技有限公司 | Aec音频控制系统及其时钟协商方法 |
WO2023188661A1 (ja) * | 2022-03-29 | 2023-10-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 妨害音抑圧装置、妨害音抑圧方法及び妨害音抑圧プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20190082259A1 (en) | 2019-03-14 |
US10154343B1 (en) | 2018-12-11 |
US10856080B2 (en) | 2020-12-01 |
CN109509481B (zh) | 2020-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5122879B2 (ja) | 時間および周波数領域内のパーティションされた高速畳み込み | |
Yin et al. | Stochastic analysis of the normalized subband adaptive filter algorithm | |
CN111341336B (zh) | 一种回声消除方法、装置、终端设备及介质 | |
US20170372722A1 (en) | Acoustic echo cancellation with delay uncertainty and delay change | |
US9866792B2 (en) | Display apparatus and echo cancellation method thereof | |
CN109616134B (zh) | 多通道子带处理 | |
KR102190833B1 (ko) | 에코 억제 | |
CN106165015B (zh) | 用于促进基于加水印的回声管理的装置和方法 | |
CN111246037B (zh) | 一种回声消除方法、装置、终端设备及介质 | |
CN111968658A (zh) | 语音信号的增强方法、装置、电子设备和存储介质 | |
EP3869775B1 (en) | Double-talk state detection method and device, and electronic device | |
CN109509481A (zh) | 音频信号回声降低 | |
CN109509482B (zh) | 回声消除方法、回声消除装置、电子设备和可读介质 | |
CN104054310B (zh) | 用于下行链路蜂窝系统的频域干扰消除和均衡 | |
CN101106384B (zh) | 时域和频域中的分段快速卷积 | |
CN112201273A (zh) | 一种噪声功率谱密度计算方法、系统、设备及介质 | |
US9036752B2 (en) | Low-delay filtering | |
EP3240276B1 (en) | Device and method for canceling noise in a received signal | |
WO2021194859A1 (en) | Echo residual suppression | |
US11837248B2 (en) | Filter adaptation step size control for echo cancellation | |
JP6343585B2 (ja) | 未知伝達系推定装置、未知伝達系推定方法、およびプログラム | |
KR102218742B1 (ko) | 적응형 지연 다이버시티 필터와, 이를 이용하는 에코 제거 장치 및 방법 | |
CN112260662A (zh) | 一种自适应滤波方法、计算机设备和装置 | |
CN113921032A (zh) | 音频处理模型的训练方法及装置、音频处理方法及装置 | |
CN116940980A (zh) | 声学噪声消除的复杂度降低的实现 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |