CN101933088B - 用于回声抑制的滤波器系数的计算设备和方法 - Google Patents
用于回声抑制的滤波器系数的计算设备和方法 Download PDFInfo
- Publication number
- CN101933088B CN101933088B CN200980103757.0A CN200980103757A CN101933088B CN 101933088 B CN101933088 B CN 101933088B CN 200980103757 A CN200980103757 A CN 200980103757A CN 101933088 B CN101933088 B CN 101933088B
- Authority
- CN
- China
- Prior art keywords
- signal
- filter
- echo
- loudspeaker
- component signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 28
- 230000003068 static effect Effects 0.000 claims abstract description 94
- 238000004364 calculation method Methods 0.000 claims abstract description 85
- 238000000605 extraction Methods 0.000 claims abstract description 53
- 238000001228 spectrum Methods 0.000 claims description 91
- 230000003044 adaptive effect Effects 0.000 claims description 56
- 238000012935 Averaging Methods 0.000 claims description 19
- 238000007667 floating Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 abstract description 8
- 239000000284 extract Substances 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 38
- 230000001629 suppression Effects 0.000 description 37
- 230000003595 spectral effect Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 24
- 238000012545 processing Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 16
- 238000000926 separation method Methods 0.000 description 15
- 238000002592 echocardiography Methods 0.000 description 12
- 230000001419 dependent effect Effects 0.000 description 10
- 238000009499 grossing Methods 0.000 description 10
- 230000003111 delayed effect Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 238000005192 partition Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000004576 sand Substances 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 239000011230 binding agent Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 101100379081 Emericella variicolor andC gene Proteins 0.000 description 1
- 235000013290 Sagittaria latifolia Nutrition 0.000 description 1
- 241000135164 Timea Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 235000015246 common arrowhead Nutrition 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B3/00—Line transmission systems
- H04B3/02—Details
- H04B3/20—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
- H04B3/23—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
- H04B3/237—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers using two adaptive filters, e.g. for near end and for end echo cancelling
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
Abstract
一种用于计算自适应滤波器(210)的滤波器系数的设备(200)的实施例,所述自适应滤波器用于对麦克风信号进行滤波,以抑制由扬声器信号导致的回声,所述设备包括:提取装置(250),用于从扬声器信号或从由扬声器信号导出的信号提取静态分量信号或非静态分量信号;以及计算装置(270),用于基于所提取的静态分量信号或所提取的非静态分量信号来计算自适应滤波器(210)的滤波器系数。
Description
技术领域
本发明的实施例涉及用于计算自适应滤波器的滤波器系数的设备和方法,所述自适应滤波器用于对麦克风信号进行滤波,以抑制由扬声器信号导致的回声,可以在例如会议系统的环境中采用。会议系统的示例包括电话会议系统、视频会议系统或其他双向会议系统。
背景技术
例如,当来自扬声器的音调、声音和噪声被相同房间内或相同声学环境内的麦克风拾取时,将出现声学回声。在电信系统中,这种声学反馈信号被发送回远端用户,该用户注意到这是其自己的话音的延迟版本。在这种环境下,回声信号表现为一种非常扰乱的干扰,甚至可能损害交互式的全双工通信。此外,声学回声也可以导致啸声效应(howlingeffects)和声学反馈环路的其他不稳定性。
WO2006/111370A1涉及一种用于去除多声道音频信号中的回声的方法和装置。对于任何免提电信系统,如电话、音频或视频会议系统,声学回声控制和噪声抑制是其重要部分。在这种环境下,在该文献中描述的用于处理多声道音频扬声器信号和至少一个麦克风信号的方法包括以下步骤:将输入麦克风信号变换为输入麦克风短时频谱;根据扬声器信号来计算组合的扬声器信号的短时频谱;根据输入麦克风信号来计算组合的麦克风信号的短时频谱;估计组合的麦克风信号的短时频谱中回声的幅度谱或功率谱;计算用于对输入的麦克风短时频谱进行幅度修正的增益滤波器;将该增益滤波器应用至至少一个输入麦克风频谱;以及将滤波后的输入麦克风频谱转换至时域。
现今所采用的回声抑制和回声抵消系统,可以总称为回声去除系统,通常具有以下问题:尽管使用了自适应滤波器,但是其不能以最优的方式来处理不同声音、音调和噪声分量。例如,如果一个分量相比于另一分量占优,则在这样的通信系统的麦克风信号中将可能出现扬声器信号的回声的非最优抑制。另一方面,在不同源的分量的偏差合成的情况下,由于利用了回声抑制或回声抵消系统,可能出现音调伪像,该音调伪像也被感知为极其恼人。
因此,基于该现有技术,本发明的目的是提高回声抑制系统或回声抵消系统的声音质量。
这个目的是通过如权利要求1所述的设备、如权利要求23所述的方法或如权利要求24所述的程序来实现的。
发明内容
一种用于计算自适应滤波器的滤波器系数的设备的实施例,所述自适应滤波器用于对麦克风信号进行滤波,以抑制由扬声器信号导致的回声,所述设备包括:提取装置,用于从扬声器信号或从扬声器信号导出的信号中提取静态分量信号或非静态分量信号。所述装置还包括计算装置,用于基于所提取的静态分量信号或所提取的非静态分量信号来计算自适应滤波器的滤波器系数。
在这种环境下,一种用于计算自适应滤波器的滤波器系数的方法的实施例,所述自适应滤波器用于对麦克风信号进行滤波,以抑制由扬声器信号导致的回声,所述方法包括:从扬声器信号或从扬声器信号导出的信号中提取静态分量信号或非静态分量信号;以及基于所提取的静态分量信号或所提取的非静态分量信号来计算自适应滤波器的滤波器系数。
本发明的实施例基于以下发现:可以通过以下方式来实现音频质量的改进:在计算用于抑制麦克风信号中的回声的自适应滤波的滤波器系数的环境中,可以改进扬声器信号或从扬声器信号导出的信号的统计特性;针对其统计特性而对扬声器信号进行分解。为此,根据本发明的实施例,针对静态分量和/或非静态分量对扬声器信号或从扬声器信号导出的信号进行分析,其中,从相应的扬声器信号或从扬声器信号导出的信号中提取一个或更多相应的分量信号。然后,基于所提取的静态分量信号或所提取的非静态分量信号来执行对自适应滤波器的滤波器系数的计算。
例如,信号(即例如扬声器信号或从扬声器信号导出的信号)的静态分量在与频率相关的域中可以表示为与能量相关的值,该与能量相关的值随时间仅有很少变化,或可以形成相应的静态分量。因此,例如可以在与频率相关的域中确定这样的信号的静态分量,其中,为相应信号的带通信号确定与能量相关的值,并执行在时间过程上的平均。在使用不同计算规定时,平均能够以浮动平均(floatingaveraging)来执行。例如,在利用IIR滤波器类型的结构时(IIR=无限冲激响应),可以以递归方式来执行这样的计算。类似地,也可以使用FIR滤波器类型的结构(FIR=有限冲激响应)来执行相应的平均。
相应地,可以基于相应信号的相应带通信号来确定扬声器信号或导出的信号中的非静态分量。例如,在本发明的实施例中,例如,可以基于静态分量信号和增益滤波器来确定相关联的非静态分量信号。在实施例中,增益滤波器还可以取决于至少一个控制参数,在本发明的实施例中,例如基于相干函数来确定所述控制参数,所述相干函数考虑了扬声器信号和麦克风信号,或由其导出的信号。
在本发明的实施例中,可以基于静态分量信号来计算第一滤波器系数,可以基于非静态分量信号来计算第二滤波器系数,基于第一滤波器系数和第二滤波器系数来最终确定自适应滤波器的滤波器系数。例如,可以如下进行:使得自适应滤波器的滤波器系数与基于第一滤波器系数的第一滤波器以及基于第二滤波器系数的第二滤波器的串联连接相对应。在本发明的实施例中,也可以基于第一滤波器系数或基于第二滤波器系数来确定滤波器系数。
在本说明书的其他过程中,将对其他实施例的结构和操作模式进行描述。根据具体实施例,静态分量信号和非静态分量信号可以是从相应信号估计出的信号。类似地,根据本发明的实施例的设备还可以包括抑制滤波装置,所述抑制滤波装置被配置为基于滤波器系数来对麦克风信号进行滤波。
附图说明
参照附图,以下将更详细地解释本发明的实施例。因此,根据以下附图,将更好地理解本发明的实施例:
图1示出了声学回声去除问题的一般设置;
图2示出了根据本发明的实施例的用于计算滤波器系数的设备的框图;
图3a至3c示出了根据本发明的实施例的不同的提取装置的框图;
图4a和4b示出了根据本发明的实施例的可选的回声估计滤波器的框图;
图5a至5e示出了根据本发明的各种实施例的计算装置的框图;
图6示出了根据本发明的另一实施例的框图;
图7示出了采取用于计算滤波器数的设备的形式的本发明的另一实施例的框图;
图8a至8c示意了扬声器信号中的静态分量和非静态分量的分离;
图9a示出了用于在1kHz频率处的非静态分量的回声抑制滤波器;
图9b示出了用于信号的静态分量的相关联的回声抑制滤波器;
图10a至10c示意了静态分量和非静态分量的强度之间的关系、预测增益以及扬声器声道的语音活动性;
图11示出了本发明的另一实施例的框图;
图12示出了本发明的另一实施例的框图;
图13示出了用于多声道实现的本发明的实施例的框图;
图14示出了将均匀的短时傅立叶变换频谱分组为多个组,以模仿人类听觉系统的非均匀频率分辨率的示意图;
图15a示出了用于在频率上对增益滤波器进行平滑的Hann插值滤波器;以及
图15b示出了增益滤波器系数的过程及其插值后的曲线。
具体实施方式
在参照图2至15描述在使用静态和非静态信号分量分离的同时实现声学回声抑制的本发明的各种实施例之前,首先参照图1来示意声学回声去除问题的一般设置。
例如,任何时候当扬声器的音调、声音或噪声被相同房间内或相同声学环境内的麦克风拾取时,将出现声学回声。在电信系统中,这些声学反馈信号被发送回远端用户,该用户注意到这是其自己的话音的延迟版本。在这样的环境下,回声信号表现为一种非常扰乱的干扰,甚至可能损害交互式的全双工通信。此外,声学回声可以导致啸声效应和声学反馈环路的其他不稳定性。因此,在适于全双工的免提电信系统中,需要回声控制,用于抑制扬声器和麦克风之间的耦合。图1示意了声学回声问题。
因此,图1示出了在声学环境120(例如可以是房间)中可以提供的扬声器100和麦克风110。类似地,声学环境120也可以是车辆的内部。
在这种环境下,使扬声器信号130对扬声器100可用,在图1中,也将扬声器信号130称为x[n],n是整数时间索引。麦克风110拾取源自声学环境120的噪声、声音和音调,并产生麦克风信号140(在图1中也被称为y[n])。将扬声器信号130和麦克风信号140提供给回声去除处理单元150作为输入信号,回声去除处理单元150在输出处输出麦克风信号140的回声抑制后的信号160(在图1中也被称为e[n])。
因此,图1基本示意了在双向通信系统中可能出现的声学回声问题。由扬声器输出的电信系统的远端的信号在直接路径170上到达麦克风,并经由反射路径180-1、180-2(也被称为间接路径)到达麦克风。出于这种原因,麦克风110不仅拾取本地(近端)的话音,而且也记录了回声,然后将回声反馈给远端的用户。
换言之,扬声器信号x[n]被反馈入麦克风信号y[n]。回声去除处理单元150中执行的回声去除处理理想地去除该回声,同时允许电信系统的本地近端的话音通过。
处理这些回声的一种传统方法是将声学回声抵消器(AEC)与回声信号的传播路径并行放置,参考文献[1]中描述了该方法。在这种声学回声抵消器中,对回声信号的数字副本进行估计,然后从测量或观察到的麦克风信号中减去该副本。抵消声学回声的标准方法依赖于以下假设:可以使用线性FIR(FIR=有限冲激响应)滤波器来对回声路径进行建模,并相应地实现声学回声抵消器,这也在[1]中进行了描述。由于回声路径典型地是未知的,而且可能在操作时间期间改变,因此,典型地,以自适应方式来实现这样的声学回声抵消器的线性滤波器。为了能够对典型回声路径进行建模,典型地,使用数百毫秒的长度(与相应的采样率有关)的FIR滤波器,这也意味着较高的计算复杂度水平。
实际上,由于各种原因,这些传统方法可实现的回声衰减通常不够高。这些各种原因包括例如:长回响时间(回声拖尾效应)、非线性回声分量和收敛问题;其中回声拖尾效应导致回声路径的建模不足(undermodeling);非线性回声分量例如是由振动效应或尤为低成本的音频硬件的非线性性态而导致;如参考文献[2]中所述,收敛问题出现在回声路径的较高的时间改变率的情况下。因此,如参考文献[3]所述,将声学回声抵消器与非线性后处理器组合,以去除回声抵消器无法消除的残留回声和回声分量。通常,如在参考文献[4]中所述,以频率选择性的方式来执行残留回声的抑制。确实,几乎所有的声学回声抵消器使用这样的后处理器,这是由于它们经常不能充分减少回声以使其变为不可听见。
近来,在参考文献[5,6]提出了多种在子带域中操作的声学回声抑制器,这些抑制器与上述非线性后处理器类似,但不需要声学回声抵消器,不需要估计回声路径的冲激响应。这些系统声称具有较低的计算复杂度并具有鲁棒性,同时能够实现高度的双工性。
参考文献[6]中提出的回声抑制器方案应用短时傅立叶变换(STFT)来计算扬声器和麦克风信号的频谱。将两个信号的短时变换后的信号之间的延迟d应用至相应的扬声器信号,所述延迟值被选择为考虑回声路径的冲激响应的多数效应。
然后,对用于模仿初始回声路径的效应的实数值回声估计滤波器进行估计。为了获得估计的回声幅度谱,对扬声器频谱应用估计的延迟值和回声估计滤波器。使用回声幅度谱的估计,计算实数值的回声抑制滤波器,并将其应用至麦克风信号频谱以抑制回声。
然而,上述声学回声抑制系统的缺点在于,在与由静态和非静态信号分量的混合组成的扬声器信号相结合时不能很好地执行功能。例如,当在有噪声的环境中记录远端话音时就是如此。此时扬声器信号和回声信号包含非静态的远端话音和静态的远端背景噪声。
当前的声学回声抑制系统仅为扬声器信号确定一个回声信号去除滤波器。因此,这些方法未考虑以下情况:具有不同特性的回声分量导致近端信号中的不同类型的干扰,因此应当对这些干扰进行区别处理。
图2示出了用于计算自适应滤波器210的滤波器系数的设备200的第一实施例,如相关联的方法一样,所述设备利用静态信号与非静态信号的分离来改进回声抑制,从而提高可实现的音频质量。因此,本发明的实施例能够根据信号的统计属性和特征来进行不同类型的信号抑制的处理,这实现了更有效的较不容易产生伪像的回声抑制。
作为介绍,在结合图3至5来解释本发明的各种实施例的其他实现细节之前,应当首先解释根据本发明的实施例的设备200的框图。在这种环境下,指出以下内容是有用的:即使在图中示出并描述了根据本发明的实施例的设备的框图,也可以将所述框图理解为在指示流程方向的同时描述相应方法步骤的相应方法的流程图。换言之,结合本说明书描述的框图也可以被理解为反映各装置和单元的各方法步骤的相应流程图。
此外,在此注意以下内容是有用的:在本说明书的环境下,相同或相似的参考标号应当用于在功能上相同或相似的装置、对象和结构。另一方面,由相同或相似的参考标号表示的装置、单元和对象包括相同或相似的结构和功能特征。换言之,在本说明书中,相同的参考标号表示在操作、功能、结构上相同或在操作、功能或结构上相似的装置、单元和对象。除非明确地排除,可以将描述段落从一个实施例转移至另一实施例,因此这允许对本发明的实施例进行更简短和更简明的表示。
此外,在本说明书中,概括性参考标号应当用于在一幅图或一个实施例中出现多于一次的装置、结构和对象。例如,在图1中,确实为图1中所示的两个间接路径180-1、180-2给出了不同的参考标号,但是,如果表示间接路径本身,或如果描述其总体特征,在本说明书中应当仅使用概括性参考标号180。这也是为了改进本说明书的易于理解和简明性。
图2所示的设备200包括输入220,用于图2中未示出的扬声器的扬声器信号。输入220的输入侧耦合至时间/频率转换装置230,在图2中,以虚线将时间/频率转换装置230描述为设备200的可选组件。时间/频率转换装置230耦合至可选的第一回声估计滤波器240,然而,第一回声估计滤波器240也是可选组件,不一定要在设备200的环境内实现。回声估计滤波器240的输出耦合至提取装置250的输入250a,提取装置250的第一输出250c和第二输出250d经由第一输入260a和第二输入260b耦合至可选的第二回声估计滤波器260。在本发明的实施例中,可以省去该回声估计滤波器的实现。例如,在设备200的本发明的不同实施例中,可以实现第一回声估计滤波器240和第二回声估计滤波器260,以完全相同的方式,可以实现设备200而完全无需第一或第二回声估计滤波器240、260中的任一个。当然,其中仅实现两个回声估计滤波器240、260之一的实现方式也是可能的。其他组件的实现也是可能的。
如果存在第二回声估计滤波器260,则其第一输出260c和第二输出260d耦合在计算装置270的第一输入270a和第二输入270b处,计算装置270用于计算自适应滤波器210的滤波器系数。计算装置270也经由输出270d耦合至自适应滤波器210的输入。
此外,自适应滤波器210的输入经由可选的时间/频率转换装置290耦合至用于麦克风信号的输入280。自适应滤波器210的输出经由可选的频率/时间转换装置300耦合至用于回声抵消后的麦克风信号的输出。此外,输入280可选地经由时间/频率转换装置290耦合至提取装置250的第二输入250b并耦合至计算装置270的第三输入270c。然而,提取装置250和计算装置270的这两个输入250b、270c是可选的,在本发明的各种实施例中可以互相独立地实现。
例如,可以在图1所示的回声去除处理单元150中实现设备200。
在更详细地解释图2所示的设备200的实施例的操作模式之前,也应提到,基本上可以在分立电路中、在集成电路中或其他更复杂的电路中实现本发明的实施例。例如,也可以在数据处理装置(即处理器)、集成系统(SOC=片上系统)、专用集成电路(ASIC)或其他集成电路和专用处理器中实现本发明的实施例。在这种环境下,很可能以时间上连续的方式在不同装置中采用相应数据处理装置的相同电路部分。例如,首先,在提取装置250的功能的环境中,其次在计算装置270的功能的环境中,可以使用处理器的算术逻辑单元(ALU)的相同逻辑门。然而,这两个装置尤其在其他特征上有所不同,例如在上述情况下,在共同定义不同装置的不同控制命令方面有所不同。因此,不同装置的部分或完全重叠的电路工程实现是很可能的。
尤其出于这种原因,在本说明书中,将互相耦合的装置、组件和结构理解为间接或直接互相连接的装置、组件和结构。例如,如果有基于数据处理装置的实现,则可以通过存储器中的存储位置(其中锁存有信号形式的中间结果)来进行耦合。
然而,此外,即使在本说明书的其他过程中主要描述了数字实现,但是本发明的实施例基本上不局限于数字实现。例如,原则上,模拟实现或包括模拟和数字组件的混合实现是可行的。在这种情况下,例如,可以采用附加的A/D或D/A转换器(模拟/数字和数字/模拟转换器),以可能将一种类型的信号形成为另一种类型的信号。
对于图2所示的设备200的操作模式,可以使用可选存在的时间/频率转换装置230将设备200的输入220处可用的扬声器信号变换至与频率相关的域。在对数据块(帧)进行操作的实现方式的情况下,时间/频率转换装置230确保了相应数据块向频谱表示的转换,使得在时间/频率转换装置230的输出处提供的频谱表示与时域中的数据块相对应。根据具体实现方式,在时间/频率转换装置230的环境中,可以使用基于傅立叶变换的转换器装置、基于子带的转换器装置或基于QMF的转换器装置(QMF=正交镜像滤波器)。不论所实现的时间/频率转换装置230的具体操作模式,所述转换器230将在其输入处提供的信号(存在于时域中)转换为多个带通信号。每个带通信号具有与其相关联的特征频率,所述特征频率可以是例如:中心频率、相应频带的下截止频率或相应频带的上截止频率。根据具体实现方式,各个带通信号可以具有多于一个的特征频率或可以具有与其相关联的其他特征参数。
第一回声估计滤波器240表示了一种对(图1中的)声学环境120进行调制的可能性,使得在其输出处出现的信号理想地包括与由于扬声器信号而被麦克风信号所拾取的信号相对应的幅度谱。然而,如以上已经解释过的,第一回声估计滤波器240是可能不被实现的可选滤波器。
现在,将扬声器信号或由可选组件230、240可选地处理、滤波并相应地导出的信号在提取装置250的第一输入处提供给提取装置250。提取装置250被配置为根据扬声器信号或根据从扬声器信号导出的信号来产生静态分量信号和非静态分量信号。如在本发明的实施例的其他描述中应当看到的,例如,这可以通过对输入信号进行平均以确定静态分量信号来实现。
根据具体实现方式,信号可以是与“实际”静态分量偏离的估计的信号。相应地,可以根据静态分量信号,可能同时使用图2中未示出的增益滤波器,来确定非静态分量或非静态分量信号。
在本发明的其他实施例中,例如,提取装置250也可以使用与所描述的措施不同的稳态措施。
对于非静态分量或非静态分量信号,也可以通过输入信号中时间变化的比较来确定所述分量或信号。此外,在设备200的环境中或在设备200周围实现话音编解码器的情况下,在提取装置中可以使用预测措施,以提取上述两个信号中的至少一个。例如,这样的预测措施可以表示LPC编解码器的误差信号(LPC=线性预测编码)。
提取装置250包括以上已经描述的两个输出,根据实现方式在两个输出处可以提供不同的信号。例如,典型地,在提取装置250的第一输出处至少提供静态分量信号或非静态分量信号。在第二输出处可以提供两个分量信号中的另一个,或提供包括与第一输出处输出的信号相关的信息的信号。例如,该信号可以是用于计算装置270中的相应信号的进一步处理的参数,或可以仅为指示发送两个分量信号中的哪一个的控制信号。
可选的第二回声估计滤波器260在功能上总体与第一回声估计滤波器240相对应。一般地,在被实现为以这种方式来执行回声估计的情况下,第二回声估计滤波器260也能够对输入220处提供的扬声器信号进行估计,从而在不存在其他噪声源的理想情况下获得与麦克风记录的信号相对应的信号。可选地,第一回声估计滤波器240和第二回声估计滤波器260可以包括延迟装置,该延迟装置考虑了由麦克风拾取的扬声器的回声的延迟。换言之,滤波器240、260通过延迟装置的附加实现或由于其内部结构,也可以用于对扬声器信号或由其导出的信号进行延迟。一般地,此外,一方面回声估计和另一方面延迟的两个功能的分离当然也是可能的,例如第一回声估计滤波器240仅用于延迟相应信号,而第二回声估计滤波器260执行实际的回声估计。
然后,将第二回声估计滤波器260提供的信号提供给计算装置270,计算装置270继而被配置为基于所提取的静态分量信号或所提取的非静态分量信号来计算或确定自适应滤波器210的滤波器系数。根据具体实现方式,出于这种目的,计算装置270也可以依赖于在输入280处提供的麦克风信号,或依赖于被转换至与频率相关的域的麦克风信号。如以下更详细描述的,该信号可以对提取装置250可用。
然后,从计算装置270获得滤波器系数的自适应滤波器210执行麦克风信号的实际频谱修正,以在其输出提供麦克风信号的至少部分回声抵消后的版本以待进一步处理。根据具体实现方式,通过频率/时间转换装置300,可以将按照这种方式进行回声抵消或频谱修正的麦克风信号转换回时域,或可以在输出310上直接将其输出。例如,在相应麦克风信号是在频域中,或总之在与频率相关的域中进行编码的情况下,转换装置300执行的向时域的逆变换可能是无用的。
在结合图3a至5e更详细地描述图2所示的设备200的框图中的各个组件之前,在此应当注意,一般地,可以在与频率相关的域中执行扬声器信号或从扬声器信号导出的信号的处理,以便相应地处理单独的相关联的带通信号、多个带通信号、多数带通信号或全部带通信号。
也应当注意,根据具体实现方式,例如在使用与能量相关的值时,各个装置和滤波器可以操作。与能量相关的值是被形成为以实数值为底的偶数指数次幂的值,或是被形成为值的幅度(绝对值)的任意次幂的值。例如,如果在各个滤波器或在各个装置中处理短时频谱,则例如,所述频谱可以对与能量相关的值进行操作、对被形成为相关联频谱系数的幅度平方的能量值进行操作。类似地,可以使用指数1来使用幅度谱,即相应频谱系数的绝对值。换言之,与基于任意值z(z为实数值或复数值)的|z|m(m为正数,例如自然数)成比例的值可以用作与能量相关的值。此外,在实数值z的情况下,与z2m成比例的值可以用作与能量相关的值。
图3a示出了可以在设备200的环境中实现的根据本发明的实施例的提取装置250的框图。该提取装置250仅包括第一输入250a,该输入耦合至图2中可选的第一回声估计滤波器240的输出。然而,图3a所示的提取装置250不包括第二输入(图2中的输入250b)。
提取装置250的第一输入250a耦合至平均装置320,平均装置320被配置为确定在输入250a处提供的信号的均值。这里,术语信号不仅包括时域信号(时间信号),也包括频域或与频率相关的域中的信号,其中相应信号是时域中的信号的频谱表示。类似地,信号也可以包括和发送从上述信号导出的信息,如频域中的值的幅度(频谱幅度)、能量值(幅度平方)、频谱和其他导出的值和量。
在图3a所示的提取装置250中,在平均装置320的输出处,输出在输入250a处提供的所述信号作为提取装置250的第一输出250c处的静态分量信号。如图2也示出的,第一输出250c耦合至可选的第二回声估计滤波器260和/或耦合至计算装置270。
与在平均装置320的输出处提供的静态分量信号一起,还将在第一输入250a处提供的信号提供给增益滤波器330,增益滤波器330在输出处输出非静态分量信号,并将其转发给提取装置250的第二输出250d。增益滤波器330被配置为基于在第一输入250a处输入的扬声器信号,或基于由其导出的信号,以及基于静态分量信号来确定非静态分量信号。关于平均装置320和增益滤波器330的其他功能,应参照上述关于图2给出的解释,并参照在本说明书的其他过程中给出的其他解释。
图3b示出了在本发明的实施例中可以采用的、设备200中的另一种提取装置250。图3b所示的提取装置250与图3a中所示的提取装置250的本质区别在于,图3b所示的提取装置250还包括参数计算装置340,参数计算装置340的输入侧也耦合至第一输入250a。参数计算装置340的输出耦合至增益滤波器330,参数计算装置340向增益滤波器330提供控制参数用于计算非静态分量信号。关于操作模式的更具体细节应参照以下描述。
作为可选组件,图3b所示的提取装置250还包括结合图2已经描述过的第二输入250b,第二输入250b可以一方面间接耦合至参数计算装置340的另一输入,另一方面,如图2也示出的,耦合至用于麦克风信号的输入280。在这种情况下,可以在利用时间/频率转换装置290的同时实现该间接耦合。关于参数计算装置340的操作模式,也应参照以下描述。
图3c示出了可以在图2的设备200中采用的提取装置250的另一潜在实现方式。这里,图3c所示的提取装置250基于图3b所示的提取装置250,也示出了作为可选组件的参数计算装置340及其连接。与图3b所示的提取装置250不同,图3c所示的提取装置250包括分配装置350,在每种情况下,分配装置350的一个输入分别耦合至平均装置的输出和增益滤波器330的输出。向分配装置350提供平均装置320的静态分量信号和增益滤波器330的非静态分量信号。
在输出侧,分配装置350耦合至提取装置250的第一输出250c和第二输出250d。分配装置350被实现为,基于其可用的两个分量信号来确定经由第一输出250c向后续组件提供两个分量信号中的哪一个。根据关心两个分量信号中的哪一个,分配装置350还经由提取装置250的第二输出250d输出控制信号,所述控制信号包括例如关于在第一输出250c处出现两个分量信号中的哪一个的信息,或者,分配装置350输出包括参数的相应控制信号,用于输出的分量信号的进一步处理。关于例如在控制信号的环境中可以发送的不同参数,应当参照以下描述。
根据具体实现方式,分配装置350可以被实现为使得其将与另一分量信号相比包括更高的响度、更高的能量或更高的能量值的分量信号传送至第一输出250c。例如,对不同的频带信号可以输出不同的分量信号。
因此,图3c所示的提取装置250与图3a和3b所示的提取装置250的区别尤其在于:在提取装置250的第一输出250c处仅输出两个分量信号之一。如结合图2已经解释过的,图3c所示的提取装置250仅输出控制信号,所述控制信号包括与在第一输出250c处输出的分量信号相关的信息。
图4a示出了图2中也示为可选组件的第二回声估计滤波器260的第一实施例。可选的第二回声估计滤波器260包括两个滤波器级360-1、360-2,每个滤波器级的输入分别耦合至第二回声估计滤波器260的输入260a、260b。此外,两个滤波器级360-1、360-2的输出分别耦合至第二回声估计滤波器260的输出260c、260d。
在这种环境下,可以结合图3a和3b中所示的提取装置250来采用图4a所示的可选的第二回声估计滤波器260。更具体地,图4a所示的第二回声估计滤波器260能够执行并行处理,通过滤波器级360-1来处理静态分量信号,通过滤波器级360-2来处理非静态分量信号。一般地,根据是否采用不同的回声估计滤波器以针对静态和非静态分量信号来对声学环境120(如图1所示)进行调制,可以将两个滤波器级360-1、360-2配置为相同或不同。自然,在电路工程方面,例如当也实现一个信号的锁存或缓存时,也可以使用相同的电路元件来实现两个滤波器级360-1、360-2。
如结合图2对回声估计滤波器240、260的两部分实现方式的可能性的讨论中已经解释的,滤波器级360也可以是仅实现例如延迟的滤波器级。当然,在第二回声估计滤波器260的环境中,也可以使用与所述回声估计滤波器级不同的其他滤波器级。例如,滤波器级360包括可选的控制输入,用于接收控制信号,以实现滤波效应,使其被调整或影响。
图4b示出了可选的第二回声估计滤波器260的另一实现形式,其与图4a所示的区别仅在于,仅实现了一个滤波器级360,该滤波器级360连接在第一输入260a和第一输出260c之间。在图4所示的实施例中,将第二输入260b处输入的信号传送至第二输出260d。
因此,例如在图3c所示的提取装置250的环境中,可以采用图4b中所示的第二回声估计滤波器260。在这种情况下,回声估计滤波器260不对控制信号进行修正,该控制信号包括关于第一输入260a处输入的分量信号的信息。
当然,在一个实施例中,例如当滤波器级360只对两个分量信号之一进行修正时,也可以使用图3a和3b所示的提取装置250来实现图4b所示的回声估计滤波器。这里,当然也可以使用回声估计滤波器260的镜像版本,其对第二输入260b处输入的信号进行滤波。
图5a示出了可以结合图2中的设备200来采用的根据本发明的实施例的计算装置270的实现方式。这里,计算装置270再次包括第一输入270a和第二输入270b。计算装置270还包括第一和第二滤波器计算装置370-1、370-2,第一和第二滤波器计算装置370-1、370-2的输入侧分别耦合至计算装置270的两个输入270a、270b之一。更具体地,滤波器计算装置370-1的输入侧耦合至第一输入270a,以接收例如静态分量信号。相应地,第二滤波器计算装置370-2耦合至第二输入270b,以从例如根据图3a或3b来实现的提取装置250接收非静态分量信号。当第二回声估计滤波器260连接在提取装置250和计算装置270之间时,将从相应的分量信号导出的信号馈送至两个滤波器计算装置370。
两个滤波器计算装置370使用一个输出耦合至组合装置380,就组合装置380而言,其在输出侧耦合至输出270d。作为可选组件,图5a所示的计算装置270还包括第三输入270c,在计算装置270内,第三输入270c耦合至两个滤波器计算装置370,如图2中也示出的,第三输入270c直接或间接耦合至用于麦克风信号的输入280。
关于计算装置270的操作模式,滤波器计算装置370被配置为,基于对其可用的分量信号,并可选地考虑来自输入280的麦克风信号,计算相应的滤波器系数,随后,滤波器计算装置370使相应的滤波器系数对组合装置380可用。如果从相应分量信号导出的信号(可能经过第二回声估计滤波器260的修正)对两个滤波器计算装置370可用,则滤波器计算装置370基于这些信号来执行相应计算。然而,不考虑这一点,滤波器计算装置370被配置为基于提取装置250提供的分量信号,分别计算第一和第二滤波器系数。
然后,组合装置380将按照这种方式计算的第一和第二滤波器系数组合为滤波器系数集合,然后经由计算装置270的输出270d,将其作为输入数据提供给自适应滤波器210。可以通过多种不同操作来完成该组合。根据实际实现的滤波器技术,尤其也根据所使用的时间/频率转换装置230、290,并根据相关联的频率/时间转换装置300,可以实现用于组合第一滤波器系数和第二滤波器系数的多种不同的可能性,以获得自适应滤波器210的滤波器系数。在本说明书的其他过程中,将更详细地解释相应示例。
图5b示出了与图5a中非常类似的第二计算装置270。其与图5a所示的计算装置270的区别仅在于,现在实现了选择装置390来代替图5a中的组合装置380,所述选择装置390被实现为:基于第一滤波器系数和第二滤波器系数,在输出270d处输出滤波器系数集合,该集合或基于第一滤波器计算装置370-1的第一滤波器系数,或基于第二滤波器计算装置370-2的第二滤波器系数。换言之,选择装置390被实现为基于静态分量信号或基于非静态分量信号来确定自适应滤波器210的滤波器系数。
这里,选择装置390很可能基于计算装置370的相应滤波器系数集合来执行更复杂的数学关系。然而,其与图5a中的计算装置270的组合装置380的区别在于,其仅考虑了滤波器计算装置370输出的两个滤波器系数集合中的一个集合。
图5c示出了另一计算装置270,其与图5a所示的计算装置270的区别在于,图5a中的计算装置270仅包括耦合至计算装置270的第一输入270a的滤波器计算装置370。此外,在图5c所示的计算装置270中,滤波器计算装置370耦合至第二输入270b,并被实现为经由第二输入270b获得用于确定滤波器系数的参数。此外,作为可选组件,图5c的滤波器计算装置370也可以耦合至第三输入270c,以可能基于麦克风信号来执行滤波器系数的计算。
因此,图5c所示的计算装置270与如下的计算装置相对应:其可以结合图3c所示的提取装置250来操作,并可以结合图4b所示的第二回声估计滤波器260来操作。经由提取装置250的第二输出250d,用于在滤波器计算装置370的环境中进行计算的相应参数经由计算装置270的第二输入270b直接发送至相应的滤波器计算装置370。出于这种原因,第二输入270b耦合至滤波器计算装置370的参数输入,经由该参数输入,所述滤波器计算装置370可以接收用于计算滤波器系数的附加参数。
由于使用了该计算装置270,仅实现了单个滤波器计算装置370,因此,可以省去组合装置和选择装置。
图5d示出了另一计算装置270,其在结构和操作模式上与图5c中的计算装置270非常类似。与图5c所示的计算装置270不同,图5d所示的计算装置270还包括参数确定装置400,该参数确定装置400耦合在第二输入270b与滤波器计算装置370的相应参数输入之间。
与图5c所示的计算装置270不同,图5d所示的计算装置270可以在设备200的环境中操作,其中,提取装置250经由第二输出250d提供控制信号,该控制信号仅包括与提取装置250经由相应的第一输出250c输出了两个分量信号中的哪一个相关的信息。如果在滤波器计算装置370的环境中使用的用于计算两个分量信号(或基于两个分量信号的信号)的滤波器系数的规定仅在参数上有区别,则在利用图5d所示的计算装置270时,参数确定装置400可以根据所发送的分量信号来计算相应参数。因此,例如,可以将参数确定装置400实现为存储器或计算电路。如果将其实现为存储器,则可以实现为只读存储器(ROM)、非易失性存储器(NVM)或随机存取存储器(REM)。
图5e示出了另一计算装置270,根据基于其来计算自适应滤波器210的滤波器系数的分量信号,该计算装置270包括两个滤波器计算装置370-1、370-2。这里,两个滤波器计算装置370的输入端均耦合至第一输入270a。除了在可选的第三输入270c处的可选耦合之外,两个滤波器计算装置370中的每一个还分别耦合至分配点410的输入,该分配点的输出耦合至计算装置270的输出。分配点410还包括控制输入,该控制输入耦合至计算装置270的第二输入270b。
因此,基于在第一输入270a处输入的信号,图5e中的计算装置270能够基于滤波器计算装置370-1来计算第一滤波器系数集合,并基于第二滤波器计算装置370-2来计算第二滤波器系数集合。根据经由第二输入270b转发至分配点410的控制输入的信号做出以下选择:将滤波器计算装置370计算的两个滤波器系数中的哪个滤波器系数最终转发至输出270d。分配点410根据在其控制输入处的控制信号,将两个输入之一耦合至输出270d。
因此,例如,图5e的计算装置270可以结合图3c所示的提取装置250来操作,其中,经由第二输出250d发送控制信号,该控制信号包括与经由第一输出250c发送的分量信号相关的信息。因此,例如,如果在滤波器计算装置370的环境中使用的针对两个分量信号的计算规定之间的区别达到这样的程度,即由于参数上的简单改变而使得不能有效地对其进行转换,则可以实现图5c所示的计算装置270。
当然,这里应注意,图3a至3c中描述的各种提取装置250、图4a和4b中描述的各种回声估计滤波器260以及图5a至5e中描述的各种计算装置270可以在各个方面互相组合。例如,在图5e所示的计算装置中,可以使用这样的装置来取代分配点410:除了执行选择要耦合至输出270d的滤波器计算装置370之外,还执行其他操作,例如基于滤波器系数的计算。
在图2至5中已经描述的本发明的实施例表现了一种新技术,能够实现静态和非静态回声分量的单独抑制。这是通过分别根据扬声器信号中的波动和静态分量来估计回声而实现。然后,在本发明的实施例中,对两种信号类型计算两个相应的回声去除滤波器。可以对这些回声去除滤波器进行单独优化,以实现最佳可能的回声抑制性能,同时最小化近端信号的伪像和干扰。
其他描述被组织如下。首先,提出一种扬声器信号的模型。随后,根据该模型,将静态和非静态分量分离,可以基于静态分量的估计来进行该分离。然后,基于回声估计滤波器来对静态和非静态回声分量的功率谱进行估计。相应地,在本发明的一些实施例中,计算两个回声去除滤波器。随后,基于对回声去除滤波器的后验性能的分析来适配静态和非静态分量的分离。
关于信号建模,要说明的是,由于只能考虑真实回声路径长度的一部分,因此,在实际条件下,使用回声估计滤波器对回声成分谱或回声功率谱的估计典型地不是非常精确。为了防止这些不精确性导致残留回声,计算回声去除滤波器使其强烈地抑制回声,使其不留下残留回声。这是通过对回声功率谱进行过高估计并通过时间平滑(有利于较小的增益滤波器值)来实现的。
当扬声器信号包含静态噪声时,回声抑制器将试图抑制所述静态噪声的回声。由于上述强烈的回声抑制滤波器,这经常不仅导致静态噪声回声的抑制,而且导致对静态近端噪声和远端话音的损害。
这里提出的方法通过针对静态和非静态信号分别使用两个不同的回声抑制路径来消除这一问题,在图6中也示意了这种方法。
图6示出了根据本发明的实施例的设备200的框图,设备200包括扬声器100和麦克风110。扬声器100具有对其可用的扬声器信号x[n],将该信号提供给提取装置250。提取装置250也被称为稳态鉴别器(静态鉴别)。如结合图2已经解释的,提取装置250包括两个输出,这两个输出耦合至计算装置270。此外,计算装置270也具有对其可用的麦克风110的信号y[n]。
也如图5a所示,计算装置270包括用于静态分量信号的第一滤波器计算装置370-1以及用于非静态分量信号的滤波器计算装置370-2,这些信号由提取装置250输出。此外,向两个滤波器计算装置370分别提供麦克风信号。
基于在每种情况下对其可用的信号,两个滤波器计算装置370计算滤波器系数HW和HS,并将其提供给组合装置380。为此,两个滤波器计算装置370分别使用一个输出耦合至组合装置380。就组合装置380而言,其向自适应滤波器210输出基于两个滤波器系数集合HW和HS来计算或确定的滤波器系数。
为了最终从麦克风信号y[n]获得回声抑制后的信号e[n],自适应滤波器210还耦合至麦克风,以接收输入处的麦克风信号。在自适应滤波器210的输出处提供回声抑制后的信号e[n]。
因此,自适应滤波器210进行实际的回声抑制,其中,两个滤波器计算装置370中的每一个计算采取相应滤波器系数的形式的回声去除滤波器,然后,组合装置380将其组合为有效的回声去除滤波器。
关于图6中的表示,要注意的是,图6所示的框图是简化框图,其中为了简化表示,未示出例如可能实现的时间/频率转换装置以及回声估计滤波器。
应当对非静态(话音)回声进行强烈抑制,以避免在这种情况下可能被感知为恼人的残留回声。然而,典型地,以较不强烈的方式来对可能源自扬声器信号中的静态噪声的静态回声进行抑制,以防止如音调干扰之类的伪像。
为了产生合适的模型,可以根据以下等式将从扬声器发射的信号x[n]分为:
x[n]=xs[n]+xw[n](1)
其中,xs[n]对非静态话音的成分进行建模,xw[n]对静态噪声的成分进行建模。使用变量n来表示离散时间索引。
关于静态和非静态分量的分离,首先对等式(1)所示的模型的两端均执行短时傅立叶分析(STFT),产生:
X[k,m]=Xs[k,m]+Xw[k,m],(2)
其中m表示频率,k是时间数据块索引。m和k都是整数。在等式(2)中,扬声器功率谱|X[k,m]2中的非静态和静态分量表示为|Xs[k,m]2和|Xw[k,m]2。可以合理假定xs[n]和xw[n]不相关,并具有接近零的均值。
然后,|X[k,m]2由以下给出:
|X[k,m]2≈|Xs[k,m]2+|Xw[k,m]2.(3)
出于这种原因,可以根据以下等式,通过从扬声器信号的功率谱|X[k,m]2中减去静态分量信号的功率谱的估计|Xw[k,m]2来恢复扬声器信号的非静态分量信号xs[n]的瞬时功率谱
实际上,根据以下等式,通过对扬声器信号的功率谱|X[k,m]2进行滤波来估计
根据参考文献[7],滤波器Fx[k,m](也被称为增益滤波器)可以被写为其一般形式,如下:
其中γx是指数,βx是控制参数或在静态信号分量被低估或高估的情况下用于控制静态信号分量的抑制强度的参数。参照图8将针对1kHz的频率来示意静态和非静态分量的分离。
在图2至6所描述的实施例中,由提取装置250的增益滤波器330来执行等式(5)和(6)所描述的功能。
通过随时间来更新估计的噪声短时功率谱可以执行静态噪声估计。在每个数据块(帧)k处,以如下方式来更新噪声功率谱:使用用于确定存在话音还是噪声的两个时间常数来执行单极平均(single-poleaveraging)。较小的上升时间常数(attacktimeconstant)反映当前数据块包括噪声。较大的释放时间常数反映当前数据块包括话音。
实际上,这是根据以下等式来实现的:
其中μ1是上升时间常数,μ2是释放时间常数。更具体地,等式(7)中出现的参数μ1和μ2是无量纲参数,其中适用μ1<μ2。然而,例如考虑到采样频率,这些参数可以被解释为并称为上述时间常数。如以下的比例关系式(16)也要示出的,每个实际时间常数和参数互相成反比。考虑到采样率,上升时间常数μ1可以包括例如10000ms=10s的值,而释放时间常数可以与10ms的值相对应。
在图2至6描述的本发明的实施例中,由提取装置250的平均装置320来实现等式(7)的功能。
对于回声功率估计,根据以下等式,通过将回声估计滤波器G[k,m]应用至扬声器功率谱的时间延迟的版本,可以实现回声信号的回声频谱的估计:
其中,表示麦克风信号中的回声的功率谱的估计。在使用等式(3)时,由非静态扬声器信号分量导致的回声由以下给出:
静态扬声器信号分量给出的回声为:
根据例如结合图2至5所示的本发明的实施例的具体实现方式,例如,可以使用第一回声估计滤波器240来实现等式(8)所描述的功能。相应地,可以使用由两个滤波器级360-1、360-2组成的第二回声估计滤波器260来实现等式(9)和(10)所描述的功能。
如上所述,也可以使用所述回声估计滤波器240、260来实现等式(8)至(10)中出现的、具有延迟值d的信号延迟功能。可选地,如果不实现独立的延迟装置,自然也可以使用时间/频率转换装置230来实现所述延迟功能。
关于回声去除滤波器,计算相关联的回声去除滤波器Hs[k,m]和Hw[k,m]并将其应用至麦克风信号,以抑制来自非静态和静态回声估计和的回声信号。在包括例如图5a所示的计算装置270的实施例的情况下,这是根据以下等式来实现的:
E[k,m]=Hs[k,m]Hw[k,m]Y[k,m].(11)
在这种情况下,在组合装置380中执行回声去除滤波器Hs[k,m]和Hw[k,m]的相应滤波器系数的相乘,这与相应回声去除滤波器的串联连接相对应。在基于频率的域中进行的相应滤波器系数的相乘与时域中的相应冲激响应的卷积相对应。
通过以等式(11)也示出的因式分解的方式来实现回声去除滤波器,可以引入不同的增益因子作为不同回声分量的参数。例如,可以根据以下等式来计算非静态回声去除滤波器的滤波器分量:
可以根据以下等式来计算静态回声去除滤波器的滤波器分量:
设计参数βs、γs、βw和γw可以用于控制每个回声去除滤波器的期望性能。根据本发明的实施例的具体实现方式,所述设计参数可以被选择为固定、设计为可自适应、可编程或可以任何其他方式修改。例如,指数参数的典型选择是γs=γw=2。
使用所谓的高估参数βs和βw来控制回声衰减的强烈性。例如,通过增大高估参数,可以增大相应的回声去除滤波器的强烈性。因此,静态回声去除滤波器Hw[k,m]的典型选择是对于参数βw=2,以便仅应用适度的回声衰减。
另一方面,要以高度强烈的方式来设计负责对非静态回声分量进行抑制的回声去除滤波器,以有效衰减回声信号中的干扰话音分量。因此,通常要将高估因子βs设计为大于βw,使得典型地βs>βw。如果选择了βw=2,则βs可以包括例如20>βs>2=βw范围内的值(例如βs=4)。一般地,βs和βw属于相同的数量级。
限制值Ls和Lw确定所允许的最大回声衰减,以分贝(dB)为单位。静态回声去除滤波器的典型值为Lw=-10dB或-15dB,该值有利地限制了静态回声的衰减,以减小意外的伪像。在远端处的非静态话音的情况下,该衰减应确保相应回声分量的完全衰减,这与用于非静态分量信号的Ls约为-60dB的限制值相对应。
在图2至6所示的实施例中,在滤波器计算装置370的环境中,可以实现并实施等式(12)和(13)所表示的功能。
在本发明的一些实施例中,不是通过应用等式(12)和(13)所描述的回声去除滤波器来直接执行实际的回声抑制。而是基于相应的时间平滑的版本来执行相应的回声去除。如上述设计参数的情况一样,典型地,手动调谐并分别针对非静态和静态回声抑制来优化时间平滑参数。因此,由于对静态噪声分量的抑制的要求与对非静态话音抑制的要求不同,因此可以进一步提高可感知的音频质量。
例如,可以在滤波器计算装置370本身的环境中,或在其下游的任何装置中,例如在组合装置380、选择装置390或分配点410中执行这种功能。如果需要,也可以在自适应滤波器210的环境中直接执行这种时间平滑。
对于上述质量的改进,例如,如参考文献[8]所述,已经知道,在抑制了静态信号分量的情况下,要应用增大的平滑,以避免所谓的音调干扰。另一方面,也应当确保所应用的非静态回声去除滤波器的衰减偏爱较小的值,以产生充分高的回声衰减,所述衰减是由回声路径的回响而导致的。然而,这不应使自适应滤波器210的跟踪能力在回声水平快速改变的情况下退化。这种讨论倾向于是一种定性讨论,清楚地示出了由等式(12)和(13)所示的回声去除滤波器的独立调整和优化的必要性。
图7采取更大更完整的框图或在本说明书的上下文中提出并描述的声学回声衰减算法的流程图的形式,示出了本发明的另一实施例。图7示出的本发明的实施例与图2所描述的实施例很类似。这里,设备200也包括采取短时傅立叶变换单元(STFT)形式的时间/频率转换装置230,向该装置提供了扬声器信号x[n]。作为示例,图7的上部将扬声器信号x[n]的曲线示为时间的函数,基于时间索引n来绘出该曲线。
在将信号x[n]从时域转换至频域之外,时间/频率转换装置230也执行上述延迟值为d的延迟。因此,在时间/频率转换装置230的输出处,频谱X[k-d,m]可用,该频谱一般是复数值频谱。将所述频谱X[k-d,m]提供给提取装置250,继而在图7中由字母SD(静态鉴别)来表示该提取装置250。如结合图2至5中描述的实施例已经解释的,在图7所示的实施例中,提取装置250也提供频域中的静态分量信号Xw[k,m]和频域中的非静态分量信号Xs[k,m]。所述分量信号对计算装置270可用。
此外,图7所示的设备200的实施例包括时间/频率转换装置290,该装置也被实现为短时傅立叶变换单元(STFT)的形式。例如,如图7的上部曲线430所示,向所述时间/频率转换装置290提供麦克风信号y[n]作为输入信号。时间/频率转换装置290也产生频域中的麦克风信号Y[k,m]的相应表示,其中索引k再次表示数据块,而索引m表示频带或频率值或频谱系数。该频谱Y[k,m]一般也是复数值频谱。
然而,与时间/频率转换装置230不同,时间/频率转换装置290不包括附加的延迟功能。一般地,由于与电路和其他组件中的电信号的传播速度相比,声波的传播速度(音速)明显更低(声波的传播速度导致了与相关联的扬声器信号x[n]相比,由麦克风拾取的信号y[n]中的延迟),因此不需要附加延迟功能。
为了示意这一点,对在图7的上部的两条曲线420、430,示出了与扬声器信号x[n]相关的第一大括号440。在图7中,示出了与麦克风信号y[n]相关的第二大括号450,大括号450表示与扬声器信号x[n]中由大括号440所表示的部分相对应的麦克风信号y[n]的范围。因此,扬声器信号x[n]与麦克风信号y[n]互相偏移延迟值d,图7中的箭头460也示出了这一点。
在图7所示的实施例中,向回声估计滤波器装置470提供扬声器信号和麦克风信号的频谱,回声估计滤波器装置470基于输入的信号来估计回声估计滤波器或其分量这些滤波器系数也被发送至计算装置270。
计算装置270继而包括用于静态分量信号和非静态分量信号的两个滤波器计算装置370-1、370-2,在图7所示的实施例中,还向两个滤波器计算装置370-1、370-2提供了麦克风信号的频谱和回声估计滤波器的滤波器系数。因此,这两个滤波器计算装置370不仅实现了如结合图2至5的实施例所解释的实际的滤波器计算功能,而且也实现了第二回声估计滤波器260中包含的功能。
如结合图5a也示出的,两个滤波器计算装置370(在图7中也被称为ERF(回声去除滤波器))均耦合至组合装置380,在图7中将组合装置380称为FC(滤波器组合)。所述组合装置380将从两个滤波器计算装置获得的滤波器系数进行组合,以产生自适应滤波器210的滤波器系数。
相应地,如结合图2和5所讨论的实施例所示,组合装置380耦合至自适应滤波器210,在图7中将自适应滤波器210称为SM(频谱修正)。所述自适应滤波器210基于也对其可用的麦克风信号y[n]的频谱表示Y[k,m]来执行相关联的频谱修正,以衰减或抑制麦克风信号中包含的回声。
最后,自适应滤波器210耦合至频率/时间转换装置300,频率/时间转换装置300是逆短时傅立叶变换单元(ISTFT)。频率/时间转换装置300在时域中输出回声消除后的信号e[n]。
采取例如同样7所示的相应方法或设备200形式的本发明的实施例,能够减小由于自适应滤波器210的频谱修正而引入的伪像的数目。换言之,因此,本发明的实施例能够对其进行功率控制。当仅存在远端话音时,回声抑制处理应当充分强烈,不允许任何信号通过,因此,在这种情况下,可能不需要将非静态和静态信号和分量信号分离。出于这种原因,在这种情况下,通过检测刚刚描述的情况来相应地适配等式(6)中的控制参数βx是可取的,该控制参数正好控制或至少影响从扬声器信号中减去的静态分量信号的幅度。
当扬声器信号仅输出远端话音时,为了在这些情况之间进行区分,计算两个不同的参数。这首先包括所谓的预测增益,该预测增益与扬声器声道和麦克风声道之间的相干函数的全频带平均相对应。第二个参数使用扬声器声道内的语音活动性,例如,可以从扬声器信号的时间信号电平的比较或从例如适于语音传送的编解码器专用的编解码器专用参数导出该语音活动性。这些编解码器包括例如基于LPC的编解码器或基于CELP的编解码器(CELP=码激励线性预测或码本激励线性预测),术语编解码器(codec)是由英文术语编码器(coder)和解码器(decoder)的缩写组合而成的人造词。
预测增益或回声预测增益ω[k]描述了麦克风信号和延迟的扬声器信号之间的相似程度。基于扬声器信号的延迟的功率谱|Xd[k,m]2与麦克风信号的功率谱|Y[k,m]2之间的平方相干函数,根据以下等式来执行预测增益ω[k]的计算:
其中E{...}表示数学期望值。在相干函数Γd[k,m]的短时估计的环境中,可以根据以下等式,通过计算或逼近期望值E{Xd[k,m]2|Y[k,m]2}来获得所述数学期望值:
E{Xd[k,m]2|Y[k,m]2}=α|Xd[k,m]2|Y[k,m]2(15)
+(1-α)E{Xd[k-1,m]2|Y[k-1,m]2}
因子α确定了估计随时间的平滑度。由于等式(15)与指数衰落大致对应,因此该因子具有相关联的时间常数。以秒表示的该指数衰落的时间常数Tα近似为:
其中fs表示采样频率。换言之,比例关系式(16)示意了与采样率fs相关的实际上无量纲的因子(这里是α)如何被表示为时间常数(这里是Tα)。
然后,根据以下等式,将预测增益ω[k]计算为相干函数Γd[k,m]在频率(由索引m=0,...,M-1表示)上的均值:
其中M表示频带的数目。
接近于1的回声增益因子意味着可以基于延迟的扬声器信号来(几乎)完全预测麦克风信号。因此,麦克风信号仅包含远端话音的可能性趋近与1。然后,可以相对于预测增益ω来控制控制参数βx。任何时候当预测增益较高时,仅存在远端话音,回声衰减应当充分强烈以去除所有(回声)信号。因此,将噪声保持在非静态路径内,并使用以分贝(dB)为单位的最低限制值Ls来去除噪声,其中控制参数选择为βx=βw=0。任何时候当预测增益较低时,可能存在远端和近端话音,因此,回声抑制应较不强烈,以不引入伪像。在这种情况下,处理噪声使其通过静态路径,并使用以分贝(dB)为单位的限制值Lw来去除噪声。此外,在这种情况下,使用控制参数βx=βw。
然而,在这种情况下应当注意,如果扬声器信号仅包含由麦克风拾取的噪声而不存在话音,则预测增益可能较高。为了防止在这种情况下将控制参数βx的值选择得过大(这可能导致过度抑制),使用第二控制参数,即扬声器声道内的语音活动性。因此,实际上,仅当在扬声器声道内话音为活动时,上述用于根据预测增益ω来计算控制参数βx的规则才适用。
在图7所示的实施例中,使用计算装置270,更具体地,使用两个滤波器计算装置370和组合装置380来执行等式(14)至(17)所述的这种功能。自然,在图2至5所描述的实施例的环境中,相应的实现方式也是可能的:其中计算装置270可以不仅具有经由输入280向其提供的麦克风信号(在图2中可选地绘出),也具有经由输入220向其提供的可能未修正的扬声器信号。
为了更详细地示意本发明的实施例的操作模式,以下结合图8至10来描述信号处理。图8示出了扬声器信号中的静态分量和非静态分量的分离或提取。在部分图示a中,图8示出了在1kHz频率处的扬声器功率谱,并将其绘制为约5s至约7.5s范围内的时间的函数。这里,部分图示c的横坐标应用于所有三个部分图示a至c。部分图示b示出了非静态分量的相应功率谱,而部分图示c反映了静态分量的相应功率谱。
在部分图示8a中的相关联的功率谱包括较高成分的每种情况下,部分图示8b中所示的非静态分量或相关联的非静态分量信号也包括相应较高的值。然而,在这些范围之间的区域中,非静态分量几乎完全消失。
相反,与图8b的非静态分量相比,通过根据等式(7)的浮动、递归平均来确定的静态分量表现出了在幅度上明显更小的值,而且表现出了由于浮动平均而明显更加平滑的曲线。具体地,图8c中的静态分量和/或在从约6.4s开始的时间段中的相关联的静态分量信号表现出结合比例关系式(16)也提到过的指数或类似指数的下降。这里,这种衰落是由于以下事实:在这个范围中,图8a中的功率谱不再包括由于相应的话音信号造成的较高的值。超过静态分量的频谱成分相应地下降。
基于图8所示的数据,图9描述了相关联的回声去除滤波器。更具体地,图9示出了针对1kHz频率的两个相关联的回声去除滤波器曲线Hs和Hw,这些曲线是基于等式(12)和(13)来计算的。部分图示9a示出了用于1kHz频率处的非静态分量的回声去除滤波器Hs,所述滤波器是根据等式(12)来计算的。部分图示b示出了根据等式(13)的用于静态分量的相应回声去除滤波器Hw。
图10所示的是基于相同的数据,然而,如部分图示10c的横坐标所示,在更大的时间规模上绘出了该数据,部分图示10c的横坐标也适用于部分图示a和b。图10中,在部分图示10a中示意了控制参数βx的强度与静态/非静态分离之间的关系,在部分图示10b中示意了预测增益ω的强度,并在部分图示10c中示意了扬声器声道的语音活动性。
更具体地,如在以上描述中介绍的,图10示意了控制参数βx和两个控制参数ω和语音活动性之间的关系。图10下的仿真的第一个三分之一与仅存在远端话音的情况相对应,该情况的特征在于具有较高的预测增益。在这种情况下,将控制参数βx设置为值βx=βw=0,从而以较强烈的方式来抑制非静态分量,并也抑制静态分量,以便不允许任何信号通过。
该仿真的第二个三分之一与仅在远端存在话音的情况相对应,可以通过较低的预测增益ω以及在扬声器信号中缺少语音活动性来识别和检测出该情况。然后,将控制参数βx选择为较大,以允许所有静态分量通过静态路径并以尽可能小的强烈性来去除静态分量,从而不引入任何伪像。该仿真的最后三分之一与双向通话(double-talk)的情况相对应,在双向通话中,控制参数βx的范围在任何时候在扬声器声道中存在语音活动性时的低值和未检测到语音活动性时的较大值之间。
例如,在图6(也可以被认为是根据本发明的相应实施例的总体流程图)所示的目前已经描述的本发明的实施例中,不是通过对相应的扬声器信号进行分离,而是通过对总回声信号进行估计来实现静态和非静态回声分量的分别抑制。
在本发明的这些实施例中,根据等式(8),通过将回声估计滤波器G[k,m]或G[k,m]2应用至扬声器功率谱的延迟版本来实现回声信号的功率谱的估计,其中表示回声的功率谱的估计,所述估计包含在麦克风信号中。根据等式(3)将扬声器功率谱分离为静态分量|Xw[k,m]2和非静态分量|Xs[k,m]2导致:由等式(10)给出了源自非静态的扬声器信号分量的回声,由等式(9)给出了源自静态扬声器信号分量的回声。
使用非静态和静态回声估计和可以计算相应的回声去除滤波器Hs[k,m]和Hw[k,m]。然后,将这些回声去除滤波器组合,并应用至麦克风信号,以抑制回声信号,根据以下等式来进行该处理:
E[k,m]=H[k,m]Y[k,m],(18)
其中H[k,m]由以下等式给出:
H[k,m]=combination(Hs[k,m],Hw[k,m]).(19)
对不同的回声去除滤波器Hs[k,m]和Hw[k,m]进行组合的一种可能性是根据等式(11)来使用上述两者的乘积,这与将两个滤波器串联连接相对应。
另一种可能性是根据以下等式来使用回声去除滤波器的相应最小值:
E[k,m]=min(Hs[k,m],Hw[k,m])Y[k,m],(20)
其中,函数min(...)表示相应值的最小值。换言之,在这种情况下,适用以下关系:combination(...)=min(...)。
如上所述,例如,可以在组合装置380中,也可以在选择装置390或分配点410中执行这些计算。此外,例如,也可以在相应装置中执行基于线性组合或非线性等式的各个抑制滤波器的更复杂的组合和计算。类似地,可以不以逐带通信号的方式,而是基于带通信号组,或以相同方式对所有带通信号执行相应组合。
通过以这种组合的方式来实现回声去除滤波器,可以对不同的回声分量引入不同的增益。根据等式(12)来计算非静态回声去除滤波器,而根据等式(13)来计算静态回声去除滤波器。
通常,不是基于根据等式(12)和(13)的回声去除滤波器的直接应用,而是基于相应的时间平滑的版本来执行实际的回声抑制。如在上述设计参数的情况下一样,也可以针对非静态和静态回声抑制分别手动调整时间平滑参数。按照这种方式,由于对静态噪声分量的抑制的要求与对非静态话音分量的抑制的要求不同,因此可以进一步提高感知的音频质量。
例如,众所周知,在要抑制静态信号分量的情况下使用更强的平滑是可取的,以避免所谓的音乐音调。另一方面,要确保被应用至非静态回声去除滤波器的平滑偏爱较小的值,以充分抑制源自回声路径的较长成分或是回声路径的长拖尾的回声。然而,这不应损害在回声水平快速改变的情况下的抑制行为。这种定性讨论清楚地示出了根据等式(12)和(13)的两个不同的回声去除滤波器的独立适配和优化的必要性。
以下将描述根据本发明采取方法和/或装置形式的另一实施例的另一措施,其中,将分离的回声去除滤波器应用至静态信号分量和非静态信号分量。图11示出了包括相应自适应滤波器210的设备200的相应框图。由于大量的结构相似性,以下将尤其参考图2至5和6和7所示的实施例的描述。
根据本发明的实施例的设备200再次包括扬声器100或扬声器100的端子或相应扬声器信号x[n]的输入。在被称为DFT(离散傅立叶变换)的时间/频率转换装置230的环境中,将所述扬声器信号x[n]变换为扬声器信号的频谱表示X[k,m]。将所述扬声器信号提供给延迟装置480,延迟装置480产生其延迟版本X[k-d(k,m),m],其中d(k,m)为相应的延迟值。
然后,将延迟装置480延迟后的信号提供给第一回声估计滤波器240,第一回声估计滤波器240基于滤波器系数G[k,m]来产生回声估计信号将所述回声估计信号提供给提取装置250,提取装置250基于该估计的回声信号的频谱系数,产生该信号的非静态和静态功率谱作为扬声器信号的(导出的)分量信号。因此,提取装置250将信号和输出至计算装置270。
麦克风110的麦克风信号y[n]也被提供给时间/频率转换装置290,时间/频率转换装置290被配置为DFT,从时间信号y[n]产生时间信号y[n]的频谱表示Y[k,m]。经由能量值计算装置490来提供该信号,能量值计算装置490基于麦克风信号的频谱分量,通过对各个值的(绝对)幅度求平方来确定所述频谱分量的功率谱。所获得的功率谱也被提供给计算装置270,与上述功率谱一起,计算装置270计算两个回声去除滤波器Hs[k,m]和Hw[k,m]以及实际自适应滤波器H[k,m]的滤波器系数,并将其转发给自适应滤波器210。
自适应滤波器210也耦合至时间/频率转换装置290的输出,因此也接收麦克风信号y[n]的频谱分量Y[k,m],自适应滤波器210考虑滤波器系数H[k,m],根据该频谱分量Y[k,m]来产生频域或与频率相关的域中的回声抑制后的信号E[k,m]。然后,将该回声抑制后的信号提供给频率/时间转换装置300,频率/时间转换装置300被配置为IDFT(逆DFT),频率/时间转换装置300最终将该信号转换回时域。
为了确定延迟装置480的延迟值d(k,m),并为了确定回声估计滤波器240的回声估计滤波器系数,将扬声器信号的频谱表示X[k,m]和麦克风信号的频谱表示Y[k,m]均发送至相应的能量计算装置500、510,能量计算装置500、510耦合至两个时间/频率转换装置230、290的输出。能量计算装置500耦合至时间/频率转换装置230的输出,能量计算装置510耦合至频率/时间转换装置300的输出。
与能量值计算装置490类似,能量计算装置500、510中的每一个通过对相应频谱分量的幅度求平方来计算功率谱,并将这些值提供给另一计算装置520。然后,另一计算装置520基于对其可用的值来确定延迟d(k,m)的估计以及回声估计滤波器240的滤波器系数G[k,m]的值。然后,将上述相应值一方面发送至延迟装置480,另一方面发送至回声估计滤波器240,另一计算装置520与延迟装置480和回声估计滤波器240耦合。
因此,从图11所示的实施例中可以看出,可以基于回声信号频谱的估计来执行相应分量信号(与)的分离,是根据以下等式来计算的:
在回声估计滤波器240中进行该计算。
根据等式(12)和(13)的两个回声去除滤波器Hs[k,m]和Hw[k,m]的定义保持不变。组合的回声去除滤波器H[k,m]的确定也保持不变。
因此,图11中描述的另一种方法或相关联的设备200是基于以下假设:估计的回声信号中的静态和非静态回声分量也是不相关的,使得:
然后,通过从估计的回声信号的功率谱中减去回声估计中的静态分量的估计可以确定静态回声分量的估计的功率谱。因此有:
实际上,根据以下等式,通过对估计的回声信号的功率谱进行滤波来估计信号
采用与增益滤波器Fx[k,m]或Fx[k,m]2类似确定的另一滤波器Fy[k,m]或其平方Fy[k,m]2作为滤波器,因此在此不对其进行详细讨论和解释。提取装置250也基于相应的导出的信号来执行该功能。
在此应注意,图11所示的实施例涉及回声信号的估计的频谱已经可用的情况。当然,相应的方法也能够适用于在仅已知根据等式(8)的估计的回声信号的估计的功率信号的情况。将结合图12所示的实施例来更详细地描述这种情况。
图11示出了声学回声衰减措施的框图,其中基于估计的回声频谱来应用静态和非静态回声分量的分离,而图12中所示的框图示意了一种类似的措施。然而,相反地,后者是基于如下声学回声衰减措施:基于回声信号的估计的功率谱来应用静态和非静态回声分量的分离。
因此,图11和12所示的两个实施例不仅操作模式非常相似,而且,如以下描述所示,其结构也非常相似。
更具体地,图12所示的实施例与图11所示的实施例的本质区别在于,能量计算装置500不再专门地连接在另一计算装置520的上游以用于被转换至频域的扬声器信号x[n],而是直接连接至时间/频率转换装置230(仍被配置为DFT)的输出。按照这种方式,不仅不再向另一计算装置520提供实际的频谱分量,而且也不再向延迟装置480、回声估计滤波器240和提取装置250提供实际的频谱分量,而是向它们提供实际的频谱分量的功率谱。
然而,除此之外,图11和12中所示的两个实施例的区别仅在于,在各个组件和装置中,可能或多或少以不同的方式来进行相应的计算。例如,不再在提取装置250中执行对各个频谱分量的与能量相关的值的相应计算,这是由于能量值计算装置500先前已经执行了该计算。
图13示出了本发明的另一实施例,其中,例如向相应设备200提供了多于一个扬声器信号或多于一个麦克风信号。换言之,图13所示的实施例是一种多声道装置。
尽管以上讨论和描述的本发明的实施例仅针对单独声道或单个声道的情况,其中仅有一个扬声器信号和一个麦克风信号可用,但是,如以下所解释的,本发明的实施例不局限于单独声道的情况。类似地,所述实施例也可以应用至具有多声道能力的声学回声衰减系统。
由于图13所示的设备200的实施例在结构上与图2所示的实施例非常相似,因此,在操作模式、连接和其他方面,以下参照结合图2至5的描述。
图13所示的设备200的多声道变型包括多个输入220-1、220-2……,若干扬声器信号可以从这些输入耦合入设备200。相应地,设备200也包括可选的多个相应的时间/频率转换装置230-1、230-2……,如结合图2已经详细阐述的,这些时间/频率转换装置可以执行将相应扬声器信号从时域向与频率相关的域的变换或转换。
多个时间/频率转换装置230耦合至捆绑(bundling)装置530的相应数目的输入,捆绑装置530基于输入的扬声器信号来形成公共的、导出的扬声器信号,然后,根据可选的第一回声估计滤波器240是否存在来将其转发至第一回声估计滤波器240或提取装置250。如结合图2所示的实施例已经描述的,提取装置250可以耦合至可选的第二回声估计滤波器260或直接耦合至计算装置270。所述装置最终在其输出处输出计算后的滤波器系数。
与图2所示的实施例不同,图13中的设备200的多声道变型还包括另一捆绑装置540,该另一捆绑装置540的输入侧经由可选的时间/频率转换装置290-1、290-2……耦合至用于相应麦克风信号的相应数目的输入280-1、280-2……。与捆绑装置530类似,另一捆绑装置540基于存在于时域或与频率相关的域中并对其可用的麦克风信号来确定导出的、有效的或公共的麦克风信号,可选地,该导出的、有效的或公共的麦克风信号对提取装置250或对计算装置270可用。
图13所示的设备200的多声道变型还包括用于每个麦克风信号或每个麦克风信号输入280的自适应滤波器210-1、210-2……,所述自适应滤波器210-1、210-2……可能经由可选的时间/频率转换装置290-1、290-2……耦合至相应的输入280-1、280-2……。相应地,自适应滤波器210-1、210-2……可能经由多个可选的频率/时间转换装置300-1、300-2……分别耦合至输出310-1、310-2……。自适应滤波器210滤波后的输出信号是回声清除或频谱修正后的信号,然后,该信号在所述输出310处对设备200可用。
自适应滤波器210-1、210-2……都并行地耦合至计算装置270的输出,所述计算装置270在该输出处提供自适应滤波器的滤波器系数。换言之,在如图13所示的本发明的实施例中,从功能的观点来看,使用相同的自适应滤波器,即基于相同的滤波器系数,对多个麦克风信号中的所有麦克风信号进行滤波,以获得相应麦克风信号的频谱修正或回声消除后的版本。
因此,如果x1[n]是第1个扬声器的信号,其中1是从0至L-1范围内的整数,L表示不同扬声器或扬声器信号的数目,与等式(1)类似,可以根据以下等式引入相同的模型:
x1[n]=xs,1[n]+xw,1[n],(25)
其中xs,1[n]对第1个扬声器信号中包含的非静态话音的成分进行调制,xw,1[n]对第1个扬声器信号中包含的静态噪声的成分进行调制。根据等式(2),等式(25)的STFT域表示由以下等式给出:
X1[k,m]=Xs,1[k,m]+Xw,1[k,m].(26)
然后,在图13所示的捆绑装置530中,根据以下等式,通过将各个扬声器信号的频谱进行组合来计算所有扬声器声道的公共的、捆绑的功率谱:
其中L表示扬声器声道的数目。然后针对根据等式(27)的公共的或捆绑的功率谱,执行根据等式(5)和(7)的非静态和静态信号分量的分离。
与此类似,也根据以下等式来计算麦克风声道的公共的或捆绑的功率谱:
其中,Yp[k,m]表示第p个麦克风110的信号,P表示麦克风的数目。索引p仍是从0至P-1范围内的整数。在图13所示的实施例中,可以由另一捆绑装置540来执行该计算。
如在本说明书的之前段落中所解释的,为了确定根据等式(12)和(13)的两个回声去除滤波器,在其他算法步骤的过程中使用根据等式(27)的扬声器(功率)频谱|X[k,m]2和根据等式(28)的麦克风(功率)频谱|Y[k,m]2。也可以基于根据等式(27)和(28)的公共的或捆绑的频谱来执行结合根据等式(14)至(17)的性能控制而描述的控制参数βx的确定。
然后,对每个麦克风信号独立地执行频谱修正环境内的实际回声抑制,但是,根据以下等式,对每个麦克风信号使用相同的回声去除滤波器210:
Ep[k,m]=Hs[k,m]Hw[k,m]Yp[k,m](29)
其中p=0,1,...,P-1。与此类似,如以上所解释的,也可以以不同的方式来实现回声去除滤波器210,例如以与等式(19)类似的方式来实现。
在此值得注意的是,例如,如图13所示,在设备200的多声道变型的环境中,扬声器信号的数目L和麦克风信号的数目P应当彼此相同和不同。原则上,针对扬声器信号和麦克风信号,可以提供任意数目的输入。此外,向多个扬声器信号输入和多个麦克风信号输入提供相应的捆绑装置530、540不是绝对必要的。在本发明的实施例中,很可能仅对相应捆绑装置530实现多个扬声器信号输入,而无需对相应的另一捆绑装置540实现多于一个麦克风信号输入。例如,当由于经由包括若干扬声器的声音系统(例如可以在汽车中实现)来重现远端用户的通信信号,因而有单个麦克风但有多个扬声器时,可以采用这样的系统。
此外,例如在会议系统的环境中,当仅实现了一个中心扬声器,而多个说话者中的每一个都具有对其可用的麦克风时,不必可能地对相应捆绑装置530实现扬声器信号的多于一个的输入。在这种情况下,仅实现另一捆绑装置540可能是可取的。
此外,在此值得注意的是,捆绑装置530、540自然可能被配置为使得其是为比实际向其提供的更多的扬声器信号和麦克风信号而设计的。相应地,设备200可以包括比实际使用的更多的相应输入220、280。在这种情况下,例如,上游电路(如可选的时间/频率转换装置230、290或捆绑装置530、540本身)可以确定活动声道的数目并相应地选择参数L和P。当然,也可以实现从外部提供要列入考虑的声道数目和可能的麦克风和扬声器信号的数目。
在此也应注意,如果将相应参数L和P发送给捆绑装置530、540,图13所示的实施例自然也可以在仅有单个扬声器信号和单个麦克风信号的情况下工作。原则上,等式(27)和(28)也适用于P=1和/或L=1的情况。因此,图13所示的实施例表示了图2所示的实施例的“向下兼容”的扩展。
关于频率分辨率,与STFT的频率分辨率偏离可能是可取的。STFT的均匀频谱分辨率不能很好适合于人类感知。因此,有利地,如也在参考文献[9]中示出的,将均匀间隔的系数|X[k,m]2和|Y[k,m]2分组为多个非重叠分区或组,这些分区或组包括对例如在参考文献[10]中所述的人类听觉系统的频率分辨率进行模仿的带宽。
如参考文献[10]所述,对于16kHz的采样率,512个样本和15个组或分区的STFT的DFT块长度是一种合适的选择,其中每个分区具有大致与等效矩形带宽(ERB)的两倍相对应的带宽。这些频带与如图14中所示的分区相对应。
图14示出了如何将均匀STFT频谱的频谱系数分组或划分为分区或组以模仿人类听觉系统的非均匀频率分辨率。图14所示的频率轴从0Hz延伸至约8000Hz,这与基于16kHz采样频率的有效频带相对应。
仅对每个组的中心频率来计算不同的增益滤波器。此外,与均匀STFT的全频谱分辨率的情况相比,这还带来了计算复杂度的降低。在对均匀STFT信号频谱应用最后的分区或组增益滤波器之前,使用Hann插值滤波器对所述STFT信号频谱进行插值。
图15a示出了用于在频率上对增益滤波器进行平滑的相应Hann插值滤波器。图15b以实线示出了增益滤波器系数,可以通过在各个分区中对增益滤波器的值进行插值来获得这些系数,对所述增益滤波器的值而言,在图15b中使用黑体的点来示出了所述增益滤波器的值。
图15中的部分图示a精确描述了这些Hann滤波器,而部分图示b示出了在插值之前和之后增益滤波器值的示例。图15b中所示的点表示插值之前的值,而实线与插值之后的所述值相对应。增益滤波器的频率平滑导致所产生的频谱作为频率的函数具有更平滑的变化,从而减小了音乐音调和其他伪像。
如之前对本发明的实施例的描述所示,作为简要概括,在一些情况下,本发明的实施例包括功能单元,所述功能单元包括以下步骤。本发明的实施例执行:接收至少一个扬声器信号;接收至少一个麦克风信号;将扬声器信号和麦克风信号转换为短时频谱;计算相应的扬声器和麦克风的功率谱;将扬声器功率谱提取或分离为静态和非静态功率谱;使用静态扬声器功率谱来计算回声去除增益滤波器;使用非静态扬声器功率谱来计算回声去除增益滤波器;将增益滤波器应用至麦克风频谱以抑制回声;以及将回声抑制后的麦克风频谱转换回时域。
根据环境,可以以硬件或软件形式来实现本发明方法的实施例。实现方式可以在数字存储介质上进行,尤其是具有电可读的控制信号的盘、CD或DVD,其可以与可编程计算机系统交互,以执行本发明方法的实施例。一般地,因此,本发明的实施例也在于具有程序代码的软件程序产品或计算机程序产品或程序产品,所述程序代码存储在机器可读载体上,当软件程序产品在计算机或处理器上执行时,所述程序代码执行本发明方法的实施例。换言之,因此,本发明的实施例可以被实现为具有程序代码的计算机程序或软件程序或程序,当程序在处理器上执行时,所述程序代码执行本方法。处理器可以包括计算机、芯片卡(智能卡)、集成系统(SOC=片上系统)、专用集成电路(ASIC)或其他集成电路(IC)。
参考文献
[1]C.Breining,P.Dreiseitel,E.A.Mader,B.Nitsch,H.Puder,T.Schertler,G.Schmidt,andJ.Tilp.Acousticechocontrol.IEEESignalProcessingMagazine,16(4):42-69,July1999.
[2]A.N.BirkettandR.A.Goubran.Limitationsofhandsfreeacousticechocancellersduetononlinearloudspeakerdistortionandenclosurevibrationeffects.InProc.IEEEWorkshoponApplicationsofSignalProcessingtoAudioandAcoustics,pp.13-16,NewPaltz,Oct.1995.
[3]G.SchmidtandE.Acousticechoandnoisecontrol:apracticalapproach.Hoboken:Wiley,2004.
[4]W.L.B.Jeannes,P.Scalart,G.Faucon,andC.Beaugeant.Combinednoiseandechoreductioninhands-freesystems:asurvey.IEEETransactionsonSpeechandAudioProcessing,9(8):808-820,Nov.2001.
[5]C.FallerandJ.Chen.Suppressingacousticechoinasampledauditoryenvelopespace.IEEETrans.onSpeechandAudioProc.,13(5):1.048-1.062,Sept.2005.
[6]C.FallerandC.Tournery.Estimatingthedelayandcolorationeffectoftheacousticechopathforlowcomplexityechosuppression.InProc.Intl.Works.onAcoust.EchoandNoiseControl(IWAENC),Sept.2005.
[7]W.EtterandG.S.Moschytz.Noisereductionbynoise-adaptivespectralmagnitudeexpansion.J.AudioEng.Soc.,42:341-349,May1994.
[8]O.Capp′e.Eliminationofthemusicalnoisephenomenonwiththeephrainandmalahnoisesuppressor.IEEETrans.SpeechandAudioProcessing,2(2):345-349,April1994.
[9]C.FallerandF.Baumgarte.BinauralCueCoding-PartII:Schemesandapplications.IEEETrans.onSpeechandAudioProc.,11(6):520-531,Nov.2003.
[10]B.R.GlasbergandB.C.J.Moore.Derivationofauditoryfiltershapesfromnotched-noisedata.Hear.Res.,47:103-138,1990.
参考标记列表
100扬声器
110麦克风
120声学环境
130扬声器信号
140麦克风信号
150回声去除处理单元
160回声抑制后的信号
170直接路径
180间接路径
200装置
210自适应滤波器
220输入
230时间/频率转换装置
240回声估计滤波器
250提取装置
260回声估计滤波器
270计算装置
280输入
290时间/频率转换装置
300频率/时间转换装置
310输出
320平均装置
330增益滤波器
340参数计算装置
350分配装置
360滤波器级
370滤波器计算装置
380组合装置
390选择装置
400参数确定装置
410分配点
420曲线
430曲线
440大括号
450大括号
460箭头
470回声估计滤波器装置
480延迟装置
490能量值计算装置
500能量值计算装置
510能量值计算装置
520另一计算装置
530捆绑装置
540另一捆绑装置
Claims (19)
1.一种用于计算自适应滤波器(210)的滤波器系数的设备(200),所述自适应滤波器(210)用于对麦克风信号进行滤波,以抑制由扬声器信号导致的回声,所述设备包括:
提取装置(250),用于从所估计的麦克风信号中的回声成分谱或回声功率谱中提取静态分量信号和非静态分量信号;以及
计算装置(270),用于基于静态分量信号和非静态分量信号来计算自适应滤波器(210)的滤波器系数;
其中,所述提取装置(250)被配置为输出静态分量信号和非静态分量信号,所述计算装置(270)被配置为基于静态分量信号来计算第一滤波器系数并基于非静态分量信号来计算第二滤波器系数,所述计算装置还被配置为基于第一滤波器系数或基于第二滤波器系数来确定滤波器系数。
2.如权利要求1所述的设备(200),其中,所述提取装置(250)被配置为:基于扬声器信号的带通信号的能量相关值的平均来提取静态分量信号。
3.如权利要求2所述的设备(200),其中,所述提取装置(250)被配置为以如下形式来执行所述平均:对所述带通信号所基于的当前数据块的值、并仅对在时间上位于所述当前数据块之前的至少一个数据块的值进行浮动平均。
4.如权利要求2所述的设备(200),其中,所述提取装置(250)被配置为以如下形式来执行所述平均:根据当前数据块的能量相关值与之前的数据块的能量相关值或之前获得的平均的值之间的比较,基于不同的计算规定来进行浮动平均。
5.如权利要求3所述的设备(200),其中,所述提取装置(250)被配置为:基于根据加法参数来进行的当前数据块的能量相关值与之前计算的平均的值的相加,执行浮动平均的递归计算;所述加法参数在当前数据块的能量相关值大于之前确定的平均的值的情况下比在当前数据块的能量相关值小于之前确定的平均的值的情况下更小。
6.如权利要求1所述的设备(200),其中,所述提取装置(250)被配置为基于扬声器信号的带通信号来提取非静态分量信号。
7.如权利要求1所述的设备(200),其中,所述提取装置(250)被配置为:基于静态分量信号和增益滤波器来提取非静态分量信号。
8.如权利要求7所述的设备(200),其中,所述提取装置(250)被配置为使得所述增益滤波器依赖于可变或不可变的控制参数。
9.如权利要求8所述的设备(200),其中,所述提取装置(250)被配置为基于相干函数来确定增益滤波器的控制参数,所述相干函数基于扬声器信号或从扬声器信号导出的信号并基于麦克风信号或从麦克风信号导出的信号。
10.如权利要求9所述的设备(200),其中,所述提取装置(250)被配置为:基于相干函数在扬声器信号或从扬声器信号导出的信号的多个带通信号上以及在麦克风信号或从麦克风信号导出的信号的多个带通信号上的平均值来确定所述控制参数。
11.如权利要求1所述的设备(200),其中,所述设备(200)还包括捆绑装置(540),所述捆绑装置(540)用于对多个麦克风信号进行捆绑,以获得捆绑的麦克风信号作为所述麦克风信号或作为导出的麦克风信号。
12.如权利要求1所述的设备(200),其中,所述计算装置(270)被配置为:基于与较高的衰减水平相对应的第一滤波器系数或第二滤波器系数的滤波器系数来确定滤波器系数。
13.如权利要求1所述的设备(200),其中,所述提取装置(250)被配置为提取静态分量信号或非静态分量信号作为估计的信号。
14.如权利要求1所述的设备(200),其中,所述提取装置(250)被配置为输出静态分量信号和非静态分量信号。
15.如权利要求1所述的设备(200),还包括自适应滤波器(210),以基于所述滤波器系数来对麦克风信号进行滤波。
16.如权利要求1所述的设备(200),还包括捆绑装置(540)和多个自适应滤波器(210),以基于计算装置(270)的相同滤波器系数来对多个麦克风信号中的至少两个麦克风信号进行滤波。
17.如权利要求1所述的设备(200),还包括捆绑装置(530),所述捆绑装置(530)用于对多个扬声器信号进行捆绑,以获得捆绑的扬声器信号作为所述扬声器信号。
18.一种用于计算自适应滤波器(210)的滤波器系数的设备(200),所述自适应滤波器(210)用于对麦克风信号进行滤波,以抑制由扬声器信号导致的回声,所述设备包括:
提取装置(250),用于从所估计的麦克风信号中的回声成分谱或回声功率谱中提取静态分量信号和非静态分量信号;以及
计算装置(270),用于基于静态分量信号和非静态分量信号来计算自适应滤波器(210)的滤波器系数;
其中,所述提取装置(250)被配置为提供静态分量信号或非静态分量信号以及控制信息信号,所述控制信息信号包括与输出的分量信号相关的信息,所述计算装置(270)被配置为:基于所述提取装置(250)输出的分量信号、基于从所述提取装置(250)输出的分量信号导出的信号、以及基于所述控制信息信号中包括的信息,来计算滤波器系数。
19.如权利要求18所述的设备(200),其中,所述提取装置(250)被配置为:根据静态分量信号的能量相关值与非静态分量信号的能量相关值之间的关系,向所述计算装置(270)输出静态分量信号或非静态分量信号。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US2500608P | 2008-01-31 | 2008-01-31 | |
US61/025,006 | 2008-01-31 | ||
DE102008039330A DE102008039330A1 (de) | 2008-01-31 | 2008-08-22 | Vorrichtung und Verfahren zum Berechnen von Filterkoeffizienten zur Echounterdrückung |
DE102008039330.4 | 2008-08-22 | ||
PCT/EP2009/000270 WO2009095161A1 (en) | 2008-01-31 | 2009-01-16 | Apparatus and method for computing filter coefficients for echo suppression |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101933088A CN101933088A (zh) | 2010-12-29 |
CN101933088B true CN101933088B (zh) | 2016-05-11 |
Family
ID=40847455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980103757.0A Active CN101933088B (zh) | 2008-01-31 | 2009-01-16 | 用于回声抑制的滤波器系数的计算设备和方法 |
Country Status (14)
Country | Link |
---|---|
US (1) | US8462958B2 (zh) |
EP (1) | EP2238590B1 (zh) |
JP (1) | JP4954334B2 (zh) |
KR (1) | KR101169535B1 (zh) |
CN (1) | CN101933088B (zh) |
AU (1) | AU2009210295B9 (zh) |
BR (1) | BRPI0905794A2 (zh) |
CA (1) | CA2713450C (zh) |
DE (1) | DE102008039330A1 (zh) |
ES (1) | ES2585406T3 (zh) |
HK (1) | HK1149622A1 (zh) |
MX (1) | MX2010008372A (zh) |
TW (1) | TWI388190B (zh) |
WO (1) | WO2009095161A1 (zh) |
Families Citing this family (82)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8949120B1 (en) | 2006-05-25 | 2015-02-03 | Audience, Inc. | Adaptive noise cancelation |
US8150052B2 (en) * | 2008-10-15 | 2012-04-03 | Hewlett-Packard Development Company, L.P. | Integrating acoustic echo cancellation as a subsystem into an existing videoconference and telepresence system |
US8718290B2 (en) | 2010-01-26 | 2014-05-06 | Audience, Inc. | Adaptive noise reduction using level cues |
US8473287B2 (en) | 2010-04-19 | 2013-06-25 | Audience, Inc. | Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system |
US8798290B1 (en) | 2010-04-21 | 2014-08-05 | Audience, Inc. | Systems and methods for adaptive signal equalization |
US9307340B2 (en) | 2010-05-06 | 2016-04-05 | Dolby Laboratories Licensing Corporation | Audio system equalization for portable media playback devices |
EP2567554B1 (en) * | 2010-05-06 | 2016-03-23 | Dolby Laboratories Licensing Corporation | Determination and use of corrective filters for portable media playback devices |
US9245538B1 (en) * | 2010-05-20 | 2016-01-26 | Audience, Inc. | Bandwidth enhancement of speech signals assisted by noise reduction |
EP2444967A1 (en) * | 2010-10-25 | 2012-04-25 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Echo suppression comprising modeling of late reverberation components |
US9420390B2 (en) | 2011-02-03 | 2016-08-16 | Telefonaktiebolaget Lm Ericsson (Publ) | Estimation and suppression of harmonic loudspeaker nonlinearities |
WO2013006324A2 (en) | 2011-07-01 | 2013-01-10 | Dolby Laboratories Licensing Corporation | Audio playback system monitoring |
US20130066638A1 (en) * | 2011-09-09 | 2013-03-14 | Qnx Software Systems Limited | Echo Cancelling-Codec |
US8896651B2 (en) * | 2011-10-27 | 2014-11-25 | Polycom, Inc. | Portable devices as videoconferencing peripherals |
US8737188B1 (en) * | 2012-01-11 | 2014-05-27 | Audience, Inc. | Crosstalk cancellation systems and methods |
US9173025B2 (en) | 2012-02-08 | 2015-10-27 | Dolby Laboratories Licensing Corporation | Combined suppression of noise, echo, and out-of-location signals |
US8712076B2 (en) | 2012-02-08 | 2014-04-29 | Dolby Laboratories Licensing Corporation | Post-processing including median filtering of noise suppression gains |
US9524638B2 (en) * | 2012-02-08 | 2016-12-20 | Qualcomm Incorporated | Controlling mobile device based on sound identification |
JP5897343B2 (ja) * | 2012-02-17 | 2016-03-30 | 株式会社日立製作所 | 残響除去パラメータ推定装置及び方法、残響・エコー除去パラメータ推定装置、残響除去装置、残響・エコー除去装置、並びに、残響除去装置オンライン会議システム |
CN103325380B (zh) | 2012-03-23 | 2017-09-12 | 杜比实验室特许公司 | 用于信号增强的增益后处理 |
CN103325379A (zh) | 2012-03-23 | 2013-09-25 | 杜比实验室特许公司 | 用于声学回声控制的方法与装置 |
CN103516921A (zh) | 2012-06-28 | 2014-01-15 | 杜比实验室特许公司 | 通过隐藏音频信号的回声控制 |
JP5296247B1 (ja) * | 2012-07-02 | 2013-09-25 | リオン株式会社 | 音処理装置及びフィードバックキャンセル方法 |
US9640194B1 (en) | 2012-10-04 | 2017-05-02 | Knowles Electronics, Llc | Noise suppression for speech processing based on machine-learning mask estimation |
US9768884B2 (en) * | 2012-10-17 | 2017-09-19 | Acacia Communications, Inc. | Multi-range frequency-domain compensation of chromatic dispersion |
US9318092B2 (en) | 2013-01-29 | 2016-04-19 | 2236008 Ontario Inc. | Noise estimation control system |
EP2760024B1 (en) * | 2013-01-29 | 2017-08-02 | 2236008 Ontario Inc. | Noise estimation control |
US9536540B2 (en) | 2013-07-19 | 2017-01-03 | Knowles Electronics, Llc | Speech signal separation and synthesis based on auditory scene analysis and speech modeling |
JP6087762B2 (ja) * | 2013-08-13 | 2017-03-01 | 日本電信電話株式会社 | 残響抑圧装置とその方法と、プログラムとその記録媒体 |
GB2515592B (en) * | 2013-12-23 | 2016-11-30 | Imagination Tech Ltd | Echo path change detector |
JP6295722B2 (ja) * | 2014-02-28 | 2018-03-20 | 沖電気工業株式会社 | エコー抑圧装置、プログラム及び方法 |
JP6349899B2 (ja) * | 2014-04-14 | 2018-07-04 | ヤマハ株式会社 | 放収音装置 |
US9398374B2 (en) * | 2014-08-12 | 2016-07-19 | Cirrus Logic, Inc. | Systems and methods for nonlinear echo cancellation |
DE112015003945T5 (de) | 2014-08-28 | 2017-05-11 | Knowles Electronics, Llc | Mehrquellen-Rauschunterdrückung |
US9479650B1 (en) * | 2015-05-04 | 2016-10-25 | Captioncall, Llc | Methods and devices for updating filter coefficients during echo cancellation |
US10504501B2 (en) | 2016-02-02 | 2019-12-10 | Dolby Laboratories Licensing Corporation | Adaptive suppression for removing nuisance audio |
US10743101B2 (en) | 2016-02-22 | 2020-08-11 | Sonos, Inc. | Content mixing |
US10264030B2 (en) | 2016-02-22 | 2019-04-16 | Sonos, Inc. | Networked microphone device control |
US10509626B2 (en) | 2016-02-22 | 2019-12-17 | Sonos, Inc | Handling of loss of pairing between networked devices |
US10095470B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Audio response playback |
US9978390B2 (en) | 2016-06-09 | 2018-05-22 | Sonos, Inc. | Dynamic player selection for audio signal processing |
KR20170142001A (ko) * | 2016-06-16 | 2017-12-27 | 삼성전자주식회사 | 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체 |
US9922637B2 (en) | 2016-07-11 | 2018-03-20 | Microsoft Technology Licensing, Llc | Microphone noise suppression for computing device |
US10134399B2 (en) | 2016-07-15 | 2018-11-20 | Sonos, Inc. | Contextualization of voice inputs |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
US10181323B2 (en) | 2016-10-19 | 2019-01-15 | Sonos, Inc. | Arbitration-based voice recognition |
US20180136352A1 (en) * | 2016-11-14 | 2018-05-17 | Symroc Business And Project Management Ltd. | Vibration-analysis system and method therefor |
EP3588987A4 (en) * | 2017-02-24 | 2020-01-01 | JVC KENWOOD Corporation | FILTER GENERATION DEVICE, FILTER GENERATION METHOD AND PROGRAM |
JP7122756B2 (ja) * | 2017-06-12 | 2022-08-22 | 株式会社オーディオテクニカ | 音声信号処理装置と音声信号処理方法と音声信号処理プログラム |
US10475449B2 (en) | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
US10048930B1 (en) | 2017-09-08 | 2018-08-14 | Sonos, Inc. | Dynamic computation of system response volume |
CN107644649B (zh) * | 2017-09-13 | 2022-06-03 | 黄河科技学院 | 一种信号处理方法 |
US10446165B2 (en) * | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10621981B2 (en) | 2017-09-28 | 2020-04-14 | Sonos, Inc. | Tone interference cancellation |
US10482868B2 (en) | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10051366B1 (en) | 2017-09-28 | 2018-08-14 | Sonos, Inc. | Three-dimensional beam forming with a microphone array |
US10466962B2 (en) | 2017-09-29 | 2019-11-05 | Sonos, Inc. | Media playback system with voice assistance |
US11017798B2 (en) | 2017-12-29 | 2021-05-25 | Harman Becker Automotive Systems Gmbh | Dynamic noise suppression and operations for noisy speech signals |
US11175880B2 (en) | 2018-05-10 | 2021-11-16 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
US10959029B2 (en) | 2018-05-25 | 2021-03-23 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
US11076035B2 (en) | 2018-08-28 | 2021-07-27 | Sonos, Inc. | Do not disturb feature for audio notifications |
US10587430B1 (en) | 2018-09-14 | 2020-03-10 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
US11024331B2 (en) | 2018-09-21 | 2021-06-01 | Sonos, Inc. | Voice detection optimization using sound metadata |
US11100923B2 (en) | 2018-09-28 | 2021-08-24 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US10692518B2 (en) | 2018-09-29 | 2020-06-23 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection via multiple network microphone devices |
US11899519B2 (en) | 2018-10-23 | 2024-02-13 | Sonos, Inc. | Multiple stage network microphone device with reduced power consumption and processing load |
US11183183B2 (en) | 2018-12-07 | 2021-11-23 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
US10602268B1 (en) | 2018-12-20 | 2020-03-24 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
US10867604B2 (en) | 2019-02-08 | 2020-12-15 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
US11120794B2 (en) | 2019-05-03 | 2021-09-14 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
WO2020232659A1 (zh) * | 2019-05-22 | 2020-11-26 | 深圳市汇顶科技股份有限公司 | 双端通话检测方法、双端通话检测装置以及回声消除系统 |
US11200894B2 (en) | 2019-06-12 | 2021-12-14 | Sonos, Inc. | Network microphone device with command keyword eventing |
US10871943B1 (en) | 2019-07-31 | 2020-12-22 | Sonos, Inc. | Noise classification for event detection |
US11189286B2 (en) | 2019-10-22 | 2021-11-30 | Sonos, Inc. | VAS toggle based on device orientation |
US11200900B2 (en) | 2019-12-20 | 2021-12-14 | Sonos, Inc. | Offline voice control |
US11562740B2 (en) | 2020-01-07 | 2023-01-24 | Sonos, Inc. | Voice verification for media playback |
CN113160782B (zh) * | 2020-01-22 | 2022-11-01 | 百度在线网络技术(北京)有限公司 | 音频处理的方法、装置、电子设备及可读存储介质 |
US11308958B2 (en) | 2020-02-07 | 2022-04-19 | Sonos, Inc. | Localized wakeword verification |
WO2021194859A1 (en) | 2020-03-23 | 2021-09-30 | Dolby Laboratories Licensing Corporation | Echo residual suppression |
US11482224B2 (en) | 2020-05-20 | 2022-10-25 | Sonos, Inc. | Command keywords with input detection windowing |
WO2022103290A1 (en) | 2020-11-12 | 2022-05-19 | "Stc"-Innovations Limited" | Method for automatic quality evaluation of speech signals using neural networks for selecting a channel in multimicrophone systems |
US11984123B2 (en) | 2020-11-12 | 2024-05-14 | Sonos, Inc. | Network device interaction by range |
CN113345456B (zh) * | 2021-05-31 | 2023-06-06 | 北京小米移动软件有限公司 | 回声分离方法、装置及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0746133A2 (en) * | 1995-05-31 | 1996-12-04 | AT&T Corp. | Multistage echo canceller including time variation compensation |
US6665645B1 (en) * | 1999-07-28 | 2003-12-16 | Matsushita Electric Industrial Co., Ltd. | Speech recognition apparatus for AV equipment |
EP1429315A1 (en) * | 2001-06-11 | 2004-06-16 | Lear Automotive (EEDS) Spain, S.L. | Method and system for suppressing echoes and noises in environments under variable acoustic and highly fedback conditions |
CN1663230A (zh) * | 2002-06-19 | 2005-08-31 | 皇家飞利浦电子股份有限公司 | 不稳定回波消除器 |
EP1715669A1 (en) * | 2005-04-19 | 2006-10-25 | Ecole Polytechnique Federale De Lausanne (Epfl) | A method for removing echo in an audio signal |
EP1879181A1 (en) * | 2006-07-11 | 2008-01-16 | Harman/Becker Automotive Systems GmbH | Method for compensation audio signal components in a vehicle communication system and system therefor |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61242127A (ja) * | 1985-04-19 | 1986-10-28 | Fujitsu Ltd | エコ−キヤンセラ |
JPS62110336A (ja) * | 1985-11-08 | 1987-05-21 | Matsushita Electric Ind Co Ltd | エコ−キヤンセル装置 |
JPH01129623A (ja) * | 1987-11-16 | 1989-05-22 | Hitachi Ltd | エコーキヤンセラ |
JPH04335721A (ja) * | 1991-05-13 | 1992-11-24 | Matsushita Electric Ind Co Ltd | エコーキャンセラー装置 |
JPH0832494A (ja) * | 1994-07-13 | 1996-02-02 | Mitsubishi Electric Corp | ハンズフリー通話装置 |
JP2947093B2 (ja) * | 1994-11-02 | 1999-09-13 | 日本電気株式会社 | 適応フィルタによるシステム同定の方法および装置 |
US5872728A (en) * | 1996-06-20 | 1999-02-16 | International Business Machines Corporation | Process for computing the coefficients of an adaptive filter in an echo-cancellor |
US5930366A (en) * | 1997-08-29 | 1999-07-27 | Telefonaktiebolaget L M Ericsson | Synchronization to a base station and code acquisition within a spread spectrum communication system |
US6442275B1 (en) * | 1998-09-17 | 2002-08-27 | Lucent Technologies Inc. | Echo canceler including subband echo suppressor |
US6590881B1 (en) * | 1998-12-04 | 2003-07-08 | Qualcomm, Incorporated | Method and apparatus for providing wireless communication system synchronization |
FR2791492B1 (fr) * | 1999-03-26 | 2001-06-08 | France Telecom | Procede et dispositif d'identification adaptative, et annuleur d'echo adaptatif mettant en oeuvre un tel procede |
JP4345208B2 (ja) * | 2000-08-25 | 2009-10-14 | 沖電気工業株式会社 | 反響及び雑音除去装置 |
JP3507020B2 (ja) * | 2000-09-08 | 2004-03-15 | 日本電信電話株式会社 | 反響抑圧方法、反響抑圧装置及び反響抑圧プログラム記憶媒体 |
JP2002111552A (ja) * | 2000-09-29 | 2002-04-12 | Fujitsu Ltd | 音響エコーキャンセラ及びハンズフリー電話機 |
US7889804B2 (en) * | 2003-05-30 | 2011-02-15 | Mohammad Jaber Borran | Partially coherent constellations for multiple-antenna systems |
JP4403776B2 (ja) * | 2003-11-05 | 2010-01-27 | 沖電気工業株式会社 | エコーキャンセラ |
ATE373302T1 (de) | 2004-05-14 | 2007-09-15 | Loquendo Spa | Rauschminderung für die automatische spracherkennung |
US7383179B2 (en) * | 2004-09-28 | 2008-06-03 | Clarity Technologies, Inc. | Method of cascading noise reduction algorithms to avoid speech distortion |
WO2006111370A1 (en) | 2005-04-19 | 2006-10-26 | Epfl (Ecole Polytechnique Federale De Lausanne) | A method and device for removing echo in a multi-channel audio signal |
-
2008
- 2008-08-22 DE DE102008039330A patent/DE102008039330A1/de not_active Ceased
-
2009
- 2009-01-16 JP JP2010544613A patent/JP4954334B2/ja active Active
- 2009-01-16 WO PCT/EP2009/000270 patent/WO2009095161A1/en active Application Filing
- 2009-01-16 US US12/864,890 patent/US8462958B2/en active Active
- 2009-01-16 ES ES09705713.7T patent/ES2585406T3/es active Active
- 2009-01-16 AU AU2009210295A patent/AU2009210295B9/en active Active
- 2009-01-16 BR BRPI0905794-3A patent/BRPI0905794A2/pt active Search and Examination
- 2009-01-16 MX MX2010008372A patent/MX2010008372A/es active IP Right Grant
- 2009-01-16 KR KR1020107017237A patent/KR101169535B1/ko active IP Right Grant
- 2009-01-16 CA CA2713450A patent/CA2713450C/en active Active
- 2009-01-16 CN CN200980103757.0A patent/CN101933088B/zh active Active
- 2009-01-16 EP EP09705713.7A patent/EP2238590B1/en active Active
- 2009-01-23 TW TW098102978A patent/TWI388190B/zh active
-
2011
- 2011-04-12 HK HK11103645.0A patent/HK1149622A1/zh unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0746133A2 (en) * | 1995-05-31 | 1996-12-04 | AT&T Corp. | Multistage echo canceller including time variation compensation |
US6665645B1 (en) * | 1999-07-28 | 2003-12-16 | Matsushita Electric Industrial Co., Ltd. | Speech recognition apparatus for AV equipment |
EP1429315A1 (en) * | 2001-06-11 | 2004-06-16 | Lear Automotive (EEDS) Spain, S.L. | Method and system for suppressing echoes and noises in environments under variable acoustic and highly fedback conditions |
CN1663230A (zh) * | 2002-06-19 | 2005-08-31 | 皇家飞利浦电子股份有限公司 | 不稳定回波消除器 |
EP1715669A1 (en) * | 2005-04-19 | 2006-10-25 | Ecole Polytechnique Federale De Lausanne (Epfl) | A method for removing echo in an audio signal |
EP1879181A1 (en) * | 2006-07-11 | 2008-01-16 | Harman/Becker Automotive Systems GmbH | Method for compensation audio signal components in a vehicle communication system and system therefor |
Non-Patent Citations (2)
Title |
---|
GERALD ENZNERR,et al..Partitioned Residual Echo Power Estimation for Frequency-Domain Acoustic Echo Cancellation and Postfiltering.《European Transactions on Telecommunications,ETT》.2002,第13卷(第2期),106,109. * |
Stefan Gustafsson,et al..A Psychoacoustic Approach to Combined Acoustic Echo Cancellation and Noise Reduction.《IEEE TRANSACTIONS ON SPEECH AND AUDIO PROCESSING》.2002,第10卷(第5期),245-256. * |
Also Published As
Publication number | Publication date |
---|---|
TWI388190B (zh) | 2013-03-01 |
US8462958B2 (en) | 2013-06-11 |
CA2713450C (en) | 2014-07-29 |
ES2585406T3 (es) | 2016-10-05 |
MX2010008372A (es) | 2010-08-23 |
WO2009095161A1 (en) | 2009-08-06 |
JP2011514706A (ja) | 2011-05-06 |
EP2238590B1 (en) | 2016-06-01 |
EP2238590A1 (en) | 2010-10-13 |
KR20100114059A (ko) | 2010-10-22 |
KR101169535B1 (ko) | 2012-07-31 |
BRPI0905794A2 (pt) | 2020-08-11 |
DE102008039330A1 (de) | 2009-08-13 |
JP4954334B2 (ja) | 2012-06-13 |
AU2009210295B9 (en) | 2014-01-30 |
AU2009210295A1 (en) | 2009-08-06 |
CA2713450A1 (en) | 2009-08-06 |
AU2009210295B2 (en) | 2013-05-02 |
RU2010132161A (ru) | 2012-02-10 |
TW200948030A (en) | 2009-11-16 |
HK1149622A1 (zh) | 2011-10-07 |
US20110019833A1 (en) | 2011-01-27 |
CN101933088A (zh) | 2010-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101933088B (zh) | 用于回声抑制的滤波器系数的计算设备和方法 | |
JP5671147B2 (ja) | 後期残響成分のモデリングを含むエコー抑制 | |
US8731207B2 (en) | Apparatus and method for computing control information for an echo suppression filter and apparatus and method for computing a delay value | |
Faller et al. | Suppressing acoustic echo in a spectral envelope space | |
EP3080975B1 (en) | Echo cancellation | |
Eneroth | Stereophonic acoustic echo cancellation: Theory and implementation | |
RU2485607C2 (ru) | Устройство и способ расчета коэффициентов фильтра эхоподавления | |
AU2011322792B9 (en) | Echo suppression comprising modeling of late reverberation components | |
Nakagawa et al. | Subband acoustic echo canceller using two different analysis filters and 8th order projection algorithm | |
Benesty et al. | Some Practical Aspects of Stereo Teleconferencing System Implementation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |