CN101964670B - 回声抑制方法及回声抑制设备 - Google Patents

回声抑制方法及回声抑制设备 Download PDF

Info

Publication number
CN101964670B
CN101964670B CN201010235614XA CN201010235614A CN101964670B CN 101964670 B CN101964670 B CN 101964670B CN 201010235614X A CN201010235614X A CN 201010235614XA CN 201010235614 A CN201010235614 A CN 201010235614A CN 101964670 B CN101964670 B CN 101964670B
Authority
CN
China
Prior art keywords
signal
spectrum
echo
background noise
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010235614XA
Other languages
English (en)
Other versions
CN101964670A (zh
Inventor
刘恩彩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN101964670A publication Critical patent/CN101964670A/zh
Application granted granted Critical
Publication of CN101964670B publication Critical patent/CN101964670B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers

Abstract

本发明公开了回声抑制方法及回声抑制设备，在该回声抑制设备中，自适应滤波器估计近端的回声路径，并产生从远端接收的接收信号的伪回声信号。减法器从包括接收信号的回声信号、近端声音和背景噪声的近端信号中减去伪回声信号，从而产生回声消除信号。背景噪声估计单元估计背景噪声的谱。非线性处理单元执行减谱来从回声消除信号的谱中减去估计的背景噪声的谱，并响应于减谱结果来控制回声消除信号的谱的增益，从而得到传输到远端的传输信号的谱。阈值计算单元计算用于确定回声消除信号中是否存在残留回声的阈值。非线性处理单元比较减谱结果和阈值，随后，在减谱结果高于阈值时以高增益控制回声消除信号的谱，并在减谱结果不高于阈值时以低增益控制回声消除信号的谱。

Description

回声抑制方法及回声抑制设备
技术领域
本发明涉及一种用于移动电话、电视电话系统、语音会议系统、电话线等的回声抑制方法和设备，更具体地涉及一种用于在即使背景噪声电平很高的情况下也可在回声消除处理之后将要执行的非线性处理期间准确地抑制残留回声的方法和设备。
背景技术
在下面的专利参考文献1和2中已经披露了传统的回声抑制设备。图2中示出专利参考文献1的回声抑制设备。图2中所示的回声抑制设备根据传输信号能量M和接收信号能量D估计回声返回损失R，并利用等式“E＝D×R”来计算一定时刻的回声信号的估计的能量E。如果传输信号能量M高于估计的能量E，则确定该传输信号是近端语音信号，于是开关10接通，从而传输信号被传输到远端。如果传输信号能量M不高于估计的能量E，则确定该传输信号是回声，于是开关10断开，从而回声信号不被传输到远端。
图3中示出专利参考文献2的回声抑制设备。自适应滤波器单元12利用自适应滤波器估计回声路径的脉冲响应(传递函数)，根据估计的脉冲响应产生伪回声信号，从传输信号中减去伪回声信号，从而执行回声消除。未被自适应滤波器单元12消除的残留回声通过非线性处理(NLP)衰减单元14衰减。即，NLP衰减单元14对通过自适应滤波器单元12进行了回声消除之后产生的信号(下文称为“回声消除信号”)分配特定的损失(例如30dB的损失值)。NLP衰减单元14以不产生回声时没有损失(例如损失值为0dB)的方式进行操作。通过上述操作，在将损失分配给所述信号的情况下，可以将残留回声衰减到用户不可能听到该残留回声的特定电平。为了减小NLP操作导致的背景噪声的不连续性，将与背景噪声具有相同电平和相同频率成分的伪背景噪声插入传输信号中，并将所得传输信号传输到远端。
[专利参考文献1]公开号为昭59-80029的日本专利申请公开
[专利参考文献2]公开号为2000-138619的日本专利申请公开
[非专利参考文献1]J.-S.Soo和K.Pang发表于1990年2月的IEEE Trans.Acoust.Speech signal Process.，vol.ASSP-38，No.2，pp.373-376上的“Multidelay block frequency domain adaptivefilter”。
[非专利参考文献2]Doblinger G.发表于1995年Proc.Eurospeech，2，pp.1513-1516上的“Computationally efficientspeech enhancement by spectral minima tracking in subbands”。
专利参考文献1中披露的回声抑制设备中，在传输信号中包含了近端背景噪声的情况下，根据开关10的接通/断开操作来传输或阻止背景噪声，从而远端背景噪声变成不自然的断断续续，从而会大大降低通话质量或讲话质量。
专利参考文献2中披露的回声抑制设备将伪背景噪声插入被NLP操作衰减的信号中，从而可以解决背景噪声的传输/阻止所导致的问题。然而，事实上，利用伪背景噪声不可能充分再现真实背景噪声，从而伪背景噪声不可能完全解决由NLP操作导致的背景噪声声音质量不自然的问题。
另外，专利参考文献1和2中披露的回声抑制设备在确定是否传输或阻止(或衰减)所有传输信号时不考虑背景噪声的影响。例如，在专利参考文献1披露的回声抑制设备的情况下，如果包含在传输信号中的背景噪声处于高电平，则尽管传输信号不是近端语音而是残留回声信号，开关10也接通，从而增加了不作任何改变就将残留回声信号传输到远端的可能性。
发明内容
已经作出本发明来克服上述问题，本发明的一个目的是提供用于即使在背景噪声电平很高时也能准确抑制残留回声的回声抑制设备和方法。
为了解决上述问题，根据本发明的回声抑制设备包括：自适应滤波器单元，其估计近端的回声路径，并产生从远端接收的接收信号的伪回声信号；减法器，其从包括接收信号的回声信号、近端声音和背景噪声的近端信号中减去伪回声信号，并产生回声消除信号作为减法的结果；背景噪声估计单元，其估计背景噪声的谱；非线性处理单元，其执行减谱来从回声消除信号的谱中减去估计的背景噪声的谱，并响应于减谱结果来针对回声消除信号的谱的每个频带(例如，通过离散傅立叶变换划分的每个频带)来控制回声消除信号的谱的增益，从而得到传输到远端的传输信号的谱；和阈值计算单元，其针对每个频带计算阈值，所述阈值用于确定回声消除信号中是否存在残留回声，其中非线性处理单元将减谱结果与每个频带中的阈值相比较，随后，在减谱结果高于阈值的一个频带中以高增益来控制回声消除信号的谱，并在减谱结果不高于阈值的另一频带中以低增益来控制回声消除信号的谱，所述低增益被设置为低于所述高增益。
根据本发明实施例的回声抑制设备估计背景噪声的谱，从回声消除信号谱中减去估计的背景噪声的谱，并响应于减谱结果在每个频带处执行回声消除信号谱的增益控制，从而非线性处理单元可以执行增益控制，而不会受到背景噪声的影响。阈值计算单元对每个频带计算阈值，以确定回声消除信号中是否存在残留回声。非线性处理单元比较减谱结果和每个频带中的阈值。与减谱结果高于阈值的特定频带相关联，非线性处理单元确定回声消除信号是近端讲话者声音，从而利用相对高的增益来控制与该特定频带相关的回声消除信号谱。与减谱结果不高于阈值的另一特定频带相关联，非线性处理单元确定回声消除信号是残留回声，从而利用相对低的增益来控制回声消除信号谱。结果，即使背景噪声处于高电平，也能够抑制残留回声。
在一个优选形式中，阈值计算单元通过将自适应滤波器单元中执行的卷积计算的结果乘以预定系数来产生每个频带的阈值，所述卷积计算通过在频域中将接收信号与自适应滤波器单元的滤波系数进行卷积来执行。结果，能够有效利用自适应滤波处理的卷积运算结果，从而可以简化阈值计算处理。
在本发明的一个优选形式中，非线性处理单元在减谱结果高于阈值时以被设置为固定值(例如值1)的高增益来控制回声消除信号的谱，并且在减谱结果不高于阈值时以具有可变值的低增益来控制回声消除信号的谱，所述可变值由表达式[预定增益×(估计的背景噪声的谱÷回声消除信号的谱)]来表示。
如果减谱结果不高于阈值，则抑制残留回声以使得背景噪声理想地以其本身的原始电平输出。结果，不会产生由增益控制导致的背景噪声的音量波动或间断，残留回声被抑制，因此防止了通话质量下降。另外，输出了与实际背景噪声非常相似的背景噪声。因此，本发明的实施例能够使在远端听到的背景噪声的声音质量与采用人造伪背景噪声来处理和输出声音的其它情况相比更为自然。
所述回声抑制设备还包括噪声抑制单元，该噪声抑制单元根据非线性处理单元的输出信号来估计在非线性处理单元的输出信号中包含的噪声信号，并且对包含在输出信号中的噪声信号进行抑制以向远端提供传输信号。
因此，可以将经过了噪声抑制之后的信号传输到远端。在这种情况下，由于非线性处理单元在减谱结果不高于阈值时利用由表达式[预定增益×(估计的背景噪声谱÷回声消除信号谱)]表示的增益来控制回声消除信号，因此抑制了由增益控制引起的音量波动。结果，在后续噪声抑制处理中，可以更准确地估计噪声信号，从而可以稳定地抑制噪声。
在本发明的实施例中，非线性处理单元包括：第一计算器，其从回声消除信号的谱中减去估计的背景噪声的谱，以提供减谱结果；第二计算器，其根据所述表达式计算低增益的可变值；选择器，其选择高增益的固定值和低增益的可变值中之一；和放大器，其以固定值和可变值中被选中的那一个值来放大回声消除信号的谱。非线性处理单元包括对第二计算器计算的可变值进行平均或平滑的另一个单元，从而放大器以平均或平滑后的可变值来放大回声消除信号。
结果，减小了由突然的增益变化产生的声音调制，从而可以提高远端的声音质量。
附图说明
图1是说明根据本发明实施例的用于语音会议系统中的近端系统的示意框图。
图2是说明传统回声抑制设备的框图。
图3是说明另一传统回声抑制设备的框图。
图4是说明图1所示自适应滤波器单元和阈值计算单元的示例配置的框图。
图5是说明图1所示非线性处理(NLP)单元的处理细节的功能框图。
图6是说明在将非线性处理(NLP)单元配置为图4所示的情况下图1所示非线性处理(NLP)单元和噪声抑制单元的操作的操作波形示图。
具体实施方式
现在将参考附图描述本发明的实施例。每个图中相应的部件由相似参考数字代表，重复的描述将省略。图1是说明根据本发明实施例的用于语音会议系统中的近端的配置的示意框图。参考图1，从远端提供并由近端接收的声音信号x(n)(时域采样信号)被数字/模拟(D/A)转换器转换为模拟信号，从而通过扬声器20再现该模拟信号。麦克风22接收近端扬声器的语音信号、通过扬声器单元20再现的另一语音信号的声音回声以及近端背景噪声。麦克风22的声音采集信号由模拟/数字(A/D)转换器转换为时域采样信号d(n)。在近端对时域采样信号d(n)执行预定信号处理，将结果所得信号传输到远端。
下面将参考附图描述要对麦克风22的声音采集信号d(n)执行的信号处理。紧接的是自适应滤波器单元24估计回声路径的脉冲响应(传递函数)，在估计的脉冲响应与接收信号x(n)之间执行卷积运算，从而产生伪回声信号y(n)。可以对自适应滤波器单元24采用公知的自适应算法。例如，可以采用在非专利参考文献1中示出的多延迟分块频域自适应滤波器(multidelay block frequency domainadaptive filter，MDF)、无约束多延迟分块频域自适应滤波器(unconstrained multidelay block frequency domain adaptivefilter，UMDF)、和可选择无约束多延迟分块频域自适应滤波器(alternative unconstrained multidelay block frequency domainadaptive filter，AUMDF)。减法器26从麦克风信号d(n)中减去伪回声信号y(n)，从而消除了麦克风信号d(n)中包含的回声，并产生回声消除信号e(n)。在自适应滤波器单元24能够正确估计回声路径的脉冲响应的情况下，伪回声信号y(n)变得完全与真实回声信号相同，从而从麦克风信号d(n)中完全去除了回声信号。然而，事实上，在麦克风信号d(n)中可能存在干扰信号，比如近端扬声器语音信号(即近端语音信号)和背景噪声，从而自适应滤波器单元24难以完全估计出回声路径的脉冲响应，因此在回声消除信号e(n)中包含了残留回声(即消除处理之后剩下的回声)。因此，回声消除信号e(n)包括近端扬声器语音信号、近端背景噪声和残留回声。
快速傅立叶变换(FFT)单元28对回声消除信号e(n)执行FFT处理，从而将FFT处理后的结果信号转换为频域信号。背景噪声估计单元30从FFT单元28接收回声消除信号的频谱E(k)(复数)，并估计频域中的近端背景噪声的幅谱N(k)(实数)。在这种情况下，幅谱N(k)包含在回声消除信号E(k)的绝对值(实数)幅谱|E(k)|中。已经提出了关于背景噪声估计方法的各种算法。例如，非专利参考文献2中披露的方法可以用作代表性的背景噪声估计方法。
阈值计算单元32利用自适应滤波器单元24的中间结果(频域的卷积运算结果)，从而计算在由FFT处理划分的每个频带中的非线性处理的阈值TH(k)(残留回声估计能量(幅谱)(实数))。在将非专利参考文献1中所示的组成部件用作自适应滤波器单元24的情况下，可以将阈值TH(k)设置成通过下面等式1和2计算的特定值。
[等式1]
TH(k)＝γ|Y(k)|
在等式1中，Y(k)是频域中接收信号x(n)与自适应滤波器系数的卷积运算结果。
[等式2]
Y ( k ) = Σ m = 1 M X ( m , k ) W ( m , k )
在等式1中，|Y(k)|是卷积运算结果Y(k)的绝对值(实数)，并代表幅谱。“γ”可以被设置为比残留回声与绝对值|Y(k)|的比值(即残留回声÷|Y(k)|)略高的常数或者预定系数，从而可以将阈值TH(k)设置为略高于残留回声的值。例如，假设通过上述表达式“残留回声÷|Y(k)|”得到的结果值是“0.1”，“γ”可以被设置为“γ＝0.125～0.15”，从而阈值TH(k)可以被设置为略高于残留回声，并且下面将描述的非线性处理单元34可以抑制残留回声。另外，参考等式2，X(m，k)是在接收信号x(n)的第m个块(用于在时间轴方向上划分接收信号x(n)以执行FFT处理的一个部分。FFT帧)的第k个频率窗口(frequency bin)处得到的快速傅立叶变换(FFT)结果，并且W(m，k)是在接收信号x(n)的第m个块的第k个频率窗口处的自适应滤波系数，“M”是块的总数量。并且，不仅可以通过在等式1中示出的上述方法，还可以通过将专利参考文献1中所示的回声信号估计能量E乘以适当系数的另一方法来计算阈值TH(k)，或者还可以通过根据需要的其它可用方法来计算阈值TH(k)。
在利用非专利参考文献1所示方法作为自适应滤波器单元24的算法并且阈值计算单元32利用自适应滤波器单元24的中间结果来执行等式1和2的计算处理的情况下，可以如图4所示来配置自适应滤波器单元24和阈值计算单元32。参考图4，在自适应滤波器单元24中，FFT单元40对从远端提供的声音信号x(n)(时域的采样信号)执行FFT处理以将该声音信号x(n)转换成频域信号。在时间轴方向上将FFT处理后的信号X(m，k)逐块地延迟一个块的延迟(42-1、42-2、...、42-n-1)。在系数单元(44-1、44-2、...、44-n)中，乘以自适应滤波系数，并通过加法器46将乘法结果相加，从而对声音信号x(n)的第k个频带施加了卷积运算。由IFFT单元48对卷积运算结果Y(k)进行IFFT处理(逆FFT处理)，从而返回到时域信号。剪切部分50从接收自IFFT单元48的时域采样信号中剪切掉不需要的后一半部分，随后将前一半作为伪回声信号y(n)输出。减法器26如上所述从麦克风信号d(n)减去伪回声信号y(n)，消除麦克风信号d(n)中包含的回声，从而产生回声消除信号e(n)。
阈值计算单元32接收作为自适应滤波器单元24的中间结果的卷积运算结果Y(k)，绝对值单元52将接收的结果值变为绝对值，从而得出|Y(k)|。乘法器54将值|Y(k)|乘以常数(γ)，来计算等式1的阈值TH(k)。
在图1中，非线性处理单元(残留回声抑制处理器)34接收背景噪声幅谱H(k)和阈值TH(k)，保留每个频带的回声消除信号幅谱|E(k)|中包含的背景噪声成分N(k)，并同时衰减(抑制)残留回声成分(残留回声幅谱)。噪声抑制单元36从非线性处理单元34接收具有衰减的残留回声成分的回声消除信号谱(E’(k))，利用接收到回声消除信号谱(E’(k))估计噪声成分(噪声信号幅谱)，并抑制噪声成分。背景噪声成分N(k)理论上没有任何改变地保留在噪声抑制单元36的输入信号中，并且不存在由残留回声抑制引起的背景噪声成分N(k)的音量波动，从而噪声抑制单元36以高准确水平估计噪声成分，因此稳定地执行噪声抑制。该噪声抑制处理可以利用公知方法。例如，可以利用减谱法或基于维纳滤波器的方案。噪声抑制单元36的输出信号具有抑制的残留回声和抑制的背景噪声，由IFFT单元38进行IFFT处理，返回到时域信号，并随后传输到远端。另外，可以适当地将人造伪背景噪声添加到上述传输信号中，并且传输添加后所得的信号。
图5中示出非线性处理单元34的处理。该处理可以在由FFT划分的每个频带中执行。计算单元60(第一计算器)接收回声消除信号幅谱|E(k)|和背景噪声幅谱N(k)，对接收的谱执行减谱，计算|E(k)|-αN(k)的结果。结果，去除了包含在回声消除信号幅谱|E(k)|中的背景噪声幅谱N(k)。在这种情况下，α是减法系数，并由图1所示背景噪声估计单元30中使用的噪声估计算法的估计准确度进行调节。例如，在噪声估计算法倾向于高估背景噪声幅谱N(k)的情况下，α由“0＜α＜1”代表。否则，如果噪声估计算法倾向于低估背景噪声幅谱N(k)，则α由“α＞1”代表。如果噪声估计算法可以准确估计背景噪声幅谱N(k)，则α正好被设置为α＝1。比较器62将减谱结果(|E(k)|-αN(k))与每个频带k的阈值TH(k)进行比较，并确定减谱结果|E(k)|-αN(k)是由“|E(k)|-αN(k)＞TH(k)”代表还是由“|E(k)|-αN(k)≤TH(k)”代表。计算单元64(第二计算器)计算背景噪声谱N(K)与回声消除信号幅谱|E(k)|之比(βN(k)÷|E(k)|)。在该情况下，β是用于调节非线性处理单元34的残留回声抑制的程度或深度的参数，其可以被统计性地预设为实验确定的值，或者还可以建立在外部输入的基础上。如果需要，在采用上述回声抑制设备的情况下还可以由用户可变地建立β。例如，β可以被设置为“1”。
回声消除信号谱E(k)的增益可由可变衰减单元(可变放大器)66控制。增益控制器(增益选择器)68响应于比较器62和计算单元64的输出信号利用以下等式3a和3b来可切换地控制可变衰减单元66的增益G(k)。
[等式3a]
G(k)＝1(如果|E(k)|-αN(k)＞TH(k))
[等式3b]
G(k)＝βN(K)÷|E(k)|(如果|E(k)|-αN(k)≤TH(k))
在等式3a和3b中，G(k)是赋予第k个频率窗口的增益(残留回声抑制增益)，|E(k)|是在第k个频率窗口处的非线性处理的输入信号幅谱(回声消除信号幅谱)，N(k)是在第k个频率窗口处估计的背景噪声幅谱，TH(k)是估计的残留回声能量(幅谱)并代表非线性处理的阈值，α是减法系数，β是用于调节残留回声抑制的程度或者深度的参数。
在等式3a中，在减谱结果值(|E(k)|-αN(k))高于阈值TH(k)的情况下，回声消除信号e(n)被认为是近端讲话者的语音或声音，从而回声消除信号谱E(k)不经过任何改变就通过可变衰减单元66。在等式3b中，在减谱结果值(|E(k)|-αN(k))低于阈值TH(k)的情况下，回声消除信号e(n)被认为是残留回声，从而回声消除信号谱E(k)被衰减并输出。在等式3b中，在回声消除信号谱E(k)被衰减并输出的情况下，增益G(k)被计算为背景噪声幅谱N(k)和回声消除信号幅谱之比(βN(K)÷|E(k)|)，从而可以将回声消除信号E(k)抑制到背景噪声幅谱N(k)的电平。即，其中回声消除信号谱E(k)被衰减的信号谱E’(k)由下面的表达式表示。
[表达式]
E’(k)＝E(k)×(βN(K)÷|E(k)|)
＝E(k)÷|E(k)|×βN(K)
在上面的表达式中，(E(k)÷|E(k)|)表明幅度设置为1并且相位等于回声消除信号E(k)的相位，从而衰减信号谱E’(k)示出背景噪声幅谱N(k)的幅度没有改变，并且其相位设置为回声消除信号E(k)的相位。因此，不管是由阈值TH(k)引起的增益G(k)转换还是由比值(βN(K)÷|E(k)|)引起的增益G(k)改变，背景噪声幅谱N(k)都没有任何改变地被输出，从而不产生背景噪声的音量波动或间断，同时可以抑制残留回声。
可变衰减单元66输出其中的残留回声被增益G(k)的控制所抑制的残留回声抑制信号谱E’(k)，从而残留回声抑制信号谱E’(k)的非线性处理单元34的输出信号成为非线性处理单元34的输出信号。为了通过减小由增益G(k)的突然改变而产生的调制来提高近端的声音质量，将平均或平滑处理单元70布置在增益控制器68的输出端，如图5的虚线所示。通过等式3a和3b计算的增益G(k)可以在时间轴方向和/或频率轴方向上进行平均处理或平滑处理。
在专利参考文献1中示出的非线性处理引起的增益可以由下列等式4a和4b表示。
[等式4a]
G(k)＝1(如果|E(k)|＞TH(k))
[等式4b]
G(k)＝0(如果|E(k)|≤TH(k))
如果在近端中没有背景噪声，则可以利用专利参考文献1中示出的技术方法而没有任何问题。如果在近端中存在背景噪声，则专利参考文献1中示出的方法在判定一个信号是近端讲话者的语音还是回声时具有很高可能性会产生由于近端背景噪声而导致的误操作，从而传输没有得到抑制的回声的可能性非常高。按照专利参考文献1中示出的方法，增益G(k)仅被设置为“1”或“0”，从而传输到远端的背景噪声变得间断，从而从远端产生的声音非常不中听。相反，在本发明实施例中使用的方法估计近端背景噪声，并根据没有背景噪声的回声消除信号幅谱来确定声音信号是近端讲话者的声音还是残留回声，由此避免了目标信号受到近端背景噪声的影响。即使在近端背景噪声处于高电平时，本发明的实施例也不会导致误操作，从而可以高准确度地抑制残留回声。非线性处理单元34即使在其确定回声消除信号为残留回声并且残留回声被抑制时也输出原始电平的背景噪声。结果，不会产生背景噪声的音量波动或间断，同时可以抑制残留回声。因此，在后续阶段的噪声抑制单元36处可以高准确度地估计噪声信号，从而可以稳定地执行噪声抑制。
图6示出了当将非线性处理单元34配置为如图4所示时非线性处理单元34和噪声抑制单元36的操作。为描述方便，图6中所示各个信号由时域波形代表。图6(a)示出回声消除信号幅谱|E(k)|、包含在回声消除信号E(k)中的背景噪声幅谱N(k)、和阈值TH(k)。图6(a)示出背景噪声幅谱N(k)处于高电平，回声消除信号幅谱|E(k)|与阈值TH(k)之间的比较不能识别没有近端讲话者声音的特定时间段，从而该特定时间段中相应信号的残留回声没有受到抑制，并没有任何抑制地传输到远端。
图6(b)不仅示出从第一计算单元60产生的幅度减谱结果(|E(k)|-αN(k))，还示出阈值TH(k)。在图6(b)中，将从回声消除信号幅谱|E(k)|减去背景噪声幅谱N(k)时得到的信号与阈值TH(k)比较，从而正确识别处没有近端讲话者声音的时间段。
图6(c)示出由图6(b)的比较结果控制的可变衰减单元66。在图6(c)中，在具有近端讲话者声音的部分中将增益G(k)设置为“1”，并在没有近端讲话者声音的另一部分中将增益G(k)设置为“βN(k)÷|E(k)|”。
图6(d)示出在增益控制下的可变衰减单元66的输出信号的幅谱|E’(k)|。在图6(d)中，阴影部分代表幅谱|E’(k)|中包含的背景噪声的幅谱N(k)。在具有近端讲话者声音的部分中，回声消除信号E(k)没有任何改变地通过可变衰减单元66。在没有近端讲话者声音的另一部分中，残留回声被抑制，同时背景噪声没有被抑制并从可变衰减单元66输出。因此，尽管增益改换或波动，还是没有背景噪声的音量波动。图6(e)示出噪声抑制单元36的输出信号(见图1)的幅谱。
在图6(e)中，背景噪声N(k)在整个部分中受到抑制，从而仅输出近端讲话者声音。抑制了其中的残留回声和背景噪声的近端讲话者声音被IFFT单元38进行IFFT处理，并返回到时域信号，并且将该时域信号传输到远端。
(其它实施例)
虽然上述实施例利用了非线性处理单元34的计算处理中的幅谱，然而应当注意的是还可以使用功率谱。在利用功率谱的情况下，利用下面的等式1’示出的阈值TH’(k)来替代等式1中示出的上述阈值TH(k)。
[等式1’]
TH’(k)＝γ’|Y(k)|2
在等式1’中，γ’是略低于残留回声与|Y(k)|的值之比的常数或预定系数，并通过实验确定。Y(k)由等式2计算。另外，在利用功率谱的情况下，可以通过下面的等式3a’和3b’来控制可变衰减单元66的增益G(k)。
[等式3a’]
G(k)＝1(在|E(k)|2-α|N(k)|2＞TH’(k)的情况下)
[等式3b’]
G(k)＝β(|N(k)|2÷|E(k)|2)1/2(在|E(k)|2-α|N(k)|2≤TH’(k)的情况下)
在等式3a和3b中，|E(k)|2是在第k个频率窗口处的非线性处理的输入信号功率谱(回声消除信号功率谱)，N(k)是在第k个频率窗口处估计的背景噪声功率谱。
按照本发明的上述实施例，虽然背景噪声估计单元30已经根据回声消除之后得出的信号e(n)估计了背景噪声，然而应当注意的是背景噪声估计单元30还可以根据在回声消除之前得出的信号d(n)来估计背景噪声。另外，虽然上述实施例操作使得非线性处理单元34的输出信号受到噪声抑制单元36的噪声抑制并随后被传输到远端，然而应当注意的是，非线性处理单元34的输出信号在没有进行噪声抑制的情况下也可以被传输到远端。

Claims (6)

1.一种回声抑制设备，包括：
自适应滤波器单元，其估计近端的回声路径，并产生从远端接收的接收信号的伪回声信号；
减法器，其从包括接收信号的回声信号、近端声音和背景噪声的近端信号中减去伪回声信号，并产生回声消除信号作为减法的结果；
背景噪声估计单元，其估计背景噪声的谱；
非线性处理单元，其执行减谱来从回声消除信号的谱中减去估计的背景噪声的谱，并响应于减谱结果来针对回声消除信号的谱的每个频带来控制回声消除信号的谱的增益，从而得到传输到远端的传输信号的谱；和
阈值计算单元，其针对每个频带计算阈值，所述阈值用于确定回声消除信号中是否存在残留回声，
其中非线性处理单元将减谱结果与每个频带中的阈值相比较，随后，在减谱结果高于阈值的一个频带中以被设置为固定值的高增益来控制回声消除信号的谱，并在减谱结果不高于阈值的另一频带中以具有可变值的低增益来控制回声消除信号的谱，所述可变值由下述表达式表示：预定增益×(估计的背景噪声的谱÷回声消除信号的谱)，并且所述低增益被设置为低于所述高增益。
2.根据权利要求1的回声抑制设备，其中非线性处理单元包括：第一计算器，其从回声消除信号的谱中减去估计的背景噪声的谱，以提供减谱结果；第二计算器，其根据所述表达式计算低增益的可变值；选择器，其选择高增益的固定值和低增益的可变值中的一个；和放大器，其以固定值利可变值中所选出的那一个值来放大回声消除信号的谱。
3.根据权利要求2的回声抑制设备，其中非线性处理单元包括对第二计算器计算的可变值进行平均或平滑的另一个单元，从而放大器以平均或平滑后的可变值来放大回声消除信号。
4.根据权利要求1至3中任一个的回声抑制设备，还包括噪声抑制单元，该噪声抑制单元根据非线性处理单元的输出信号来估计在非线性处理单元的输出信号中包含的噪声信号，并且对包含在输出信号中的噪声信号进行抑制以向远端提供传输信号。
5.根据权利要求1至4中任一个的回声抑制设备，其中阈值计算单元通过将自适应滤波器单元中执行的卷积计算的结果乘以预定系数来产生针对每个频带的阈值，所述卷积计算通过在频域中将接收信号与自适应滤波器单元的滤波系数进行卷积来执行。
6.一种回声抑制方法，包括：
自适应滤波步骤，估计近端的回声路径并产生从远端接收的接收信号的伪回声信号；
减法步骤，从包括接收信号的回声信号、近端声音和背景噪声的近端信号中减去伪回声信号，并产生回声消除信号作为减法的结果；
背景噪声估计步骤，估计背景噪声的谱；
非线性处现步骤，执行减谱来从回声消除信号的谱中减去估计的背景噪声的谱，并响应于减谱结果来针对回声消除信号的谱的每个频带来控制回声消除信号的谱的增益，从而得到传输到远端的传输信号的谱；和
阈值计算步骤，针对每个频带计算阈值，所述阈值用于确定回声消除信号中是否存在残留回声，
其中非线性处理步骤将减谱结果与每个频带中的阈值相比较，随后，在减谱结果高于阈值的一个频带中以被设置为固定值的高增益来控制回声消除信号的谱，并在减谱结果不高于阈值的另一频带中以具有可变值的低增益来控制回声消除信号的谱，所述可变值由下述表达式表示：预定增益×(估计的背景噪声的谱÷回声消除信号的谱)，并且所述低增益被设置为低于所述高增益。
CN201010235614XA 2009-07-21 2010-07-21 回声抑制方法及回声抑制设备 Expired - Fee Related CN101964670B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-169865 2009-07-21
JP2009169865A JP5347794B2 (ja) 2009-07-21 2009-07-21 エコー抑圧方法およびその装置

Publications (2)

Publication Number Publication Date
CN101964670A CN101964670A (zh) 2011-02-02
CN101964670B true CN101964670B (zh) 2013-10-23

Family

ID=43497345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010235614XA Expired - Fee Related CN101964670B (zh) 2009-07-21 2010-07-21 回声抑制方法及回声抑制设备

Country Status (3)

Country Link
US (1) US8315380B2 (zh)
JP (1) JP5347794B2 (zh)
CN (1) CN101964670B (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012134923A (ja) * 2010-12-24 2012-07-12 Sony Corp 音声処理装置および方法、並びにプログラム
WO2012105940A1 (en) * 2011-01-31 2012-08-09 Empire Technology Development Llc Speech quality enhancement in telecommunication system
WO2012158163A1 (en) * 2011-05-17 2012-11-22 Google Inc. Non-linear post-processing for acoustic echo cancellation
DK2568695T3 (en) * 2011-07-08 2016-11-21 Goertek Inc Method and device for suppressing residual echo
CN102387272B (zh) * 2011-09-09 2013-10-30 南京大学 一种回声抵消系统中残留回声的抑制方法
CN102413384A (zh) * 2011-11-16 2012-04-11 杭州艾力特音频技术有限公司 一种回声消除双向语音对讲设备
US9343078B2 (en) * 2012-01-09 2016-05-17 Intel Corporation Pre-process (amplitude distortion) and post-process (phase synchronization) for linear AEC system
CN103391381B (zh) 2012-05-10 2015-05-20 中兴通讯股份有限公司 回声消除方法及装置
US9280984B2 (en) * 2012-05-14 2016-03-08 Htc Corporation Noise cancellation method
WO2014088659A1 (en) 2012-12-06 2014-06-12 Intel Corporation New carrier type (nct) information embedded in synchronization signal
US10044527B2 (en) * 2014-02-25 2018-08-07 Intel Corporation Apparatus, system and method of simultaneous transmit and receive (STR) wireless communication
JP6295722B2 (ja) * 2014-02-28 2018-03-20 沖電気工業株式会社 エコー抑圧装置、プログラム及び方法
GB2521881B (en) * 2014-04-02 2016-02-10 Imagination Tech Ltd Auto-tuning of non-linear processor threshold
CN104167212A (zh) * 2014-08-13 2014-11-26 深圳市泛海三江科技发展有限公司 一种智能楼宇系统的音频处理方法及装置
GB201501791D0 (en) 2015-02-03 2015-03-18 Microsoft Technology Licensing Llc Non-linear echo path detection
US9607627B2 (en) * 2015-02-05 2017-03-28 Adobe Systems Incorporated Sound enhancement through deverberation
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
CN104954595B (zh) * 2015-05-15 2017-07-25 百度在线网络技术（北京）有限公司 残留回声消除方法和装置
WO2017085761A1 (ja) * 2015-11-16 2017-05-26 三菱電機株式会社 エコーキャンセラ装置及び通話装置
US9923592B2 (en) 2015-12-26 2018-03-20 Intel Corporation Echo cancellation using minimal complexity in a device
US10129408B1 (en) * 2016-10-11 2018-11-13 Google Llc Residual echo detection based on non-causality
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
CN106878575B (zh) * 2017-02-24 2019-11-05 成都喜元网络科技有限公司 残留回声的估计方法及装置
CN107360530B (zh) * 2017-07-03 2020-12-01 苏州科达科技股份有限公司 一种回声消除的测试方法和装置
US10594869B2 (en) * 2017-08-03 2020-03-17 Bose Corporation Mitigating impact of double talk for residual echo suppressors
US10542153B2 (en) 2017-08-03 2020-01-21 Bose Corporation Multi-channel residual echo suppression
EP3692704B1 (en) 2017-10-03 2023-09-06 Bose Corporation Spatial double-talk detector
CN112272848A (zh) * 2018-04-27 2021-01-26 杜比实验室特许公司 使用间隙置信度的背景噪声估计
CN108696648B (zh) * 2018-05-16 2021-08-24 上海小度技术有限公司 一种短时语音信号处理的方法、装置、设备及存储介质
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
CN108962276B (zh) * 2018-07-24 2020-11-17 杭州听测科技有限公司 一种语音分离方法及装置
CN109040498B (zh) * 2018-08-12 2022-01-07 瑞声科技（南京）有限公司 一种提升回声抵消效果的方法及其系统
US11310596B2 (en) 2018-09-20 2022-04-19 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
CN109461455B (zh) * 2018-11-30 2022-08-30 维沃移动通信（深圳）有限公司 一种消除啸叫的系统及方法
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
JP2022526761A (ja) 2019-03-21 2022-05-26 シュアー アクイジッション ホールディングス インコーポレイテッド 阻止機能を伴うビーム形成マイクロフォンローブの自動集束、領域内自動集束、および自動配置
US11303981B2 (en) 2019-03-21 2022-04-12 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
CN111292760B (zh) * 2019-05-10 2022-11-15 展讯通信（上海）有限公司 发声状态检测方法及用户设备
US10964305B2 (en) 2019-05-20 2021-03-30 Bose Corporation Mitigating impact of double talk for residual echo suppressors
CN112292844B (zh) 2019-05-22 2022-04-15 深圳市汇顶科技股份有限公司 双端通话检测方法、双端通话检测装置以及回声消除系统
US11445294B2 (en) 2019-05-23 2022-09-13 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
WO2020243471A1 (en) 2019-05-31 2020-12-03 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
CN110430330A (zh) * 2019-08-08 2019-11-08 北京云中融信网络科技有限公司 一种基于通话的音频数据处理方法及装置
US11297426B2 (en) 2019-08-23 2022-04-05 Shure Acquisition Holdings, Inc. One-dimensional array microphone with improved directivity
CN110782914B (zh) * 2019-10-31 2022-04-15 网易（杭州）网络有限公司 信号处理方法、装置、终端设备及存储介质
CN110838300B (zh) * 2019-11-18 2022-03-25 紫光展锐(重庆)科技有限公司 回声消除的处理方法及处理系统
CN111092983B (zh) * 2019-12-25 2020-12-11 清华大学深圳国际研究生院 一种基于滑模变结构控制的语音通话回声与底噪抑制方法
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN111798863B (zh) * 2020-06-24 2024-03-08 北京梧桐车联科技有限责任公司 消除回声的方法、装置、电子设备及可读存储介质
CN116918351A (zh) 2021-01-28 2023-10-20 舒尔获得控股公司 混合音频波束成形系统
TWI802108B (zh) * 2021-05-08 2023-05-11 英屬開曼群島商意騰科技股份有限公司 降低聲學回音之語音處理裝置及其方法
CN113541851B (zh) * 2021-07-20 2022-04-15 成都云溯新起点科技有限公司 一种稳态宽带电磁频谱抑制方法
US11444813B1 (en) * 2021-07-23 2022-09-13 Macom Technology Solutions Holdings, Inc. Method and apparatus for CTLE equalizer adaptation based on samples from error slicers
CN116962583B (zh) * 2023-09-20 2023-12-08 腾讯科技（深圳）有限公司 一种回声控制的方法、装置、设备、存储介质及程序产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101346896A (zh) * 2005-10-26 2009-01-14 日本电气株式会社 回声抑制方法及设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4644108A (en) * 1982-10-27 1987-02-17 International Business Machines Corporation Adaptive sub-band echo suppressor
JPH08256089A (ja) * 1995-03-17 1996-10-01 Toshiba Corp エコー打消装置
JP2000138619A (ja) 1998-10-30 2000-05-16 Nec Corp エコーキャンセラ
US6373908B2 (en) * 1998-11-11 2002-04-16 Broadcom Corporation Adaptive electronic transmission signal cancellation apparatus for full duplex communication
JP4161628B2 (ja) * 2002-07-19 2008-10-08 日本電気株式会社 エコー抑圧方法及び装置
CN1736039A (zh) * 2003-11-11 2006-02-15 三菱电机株式会社 回波抑制装置
US20060018457A1 (en) * 2004-06-25 2006-01-26 Takahiro Unno Voice activity detectors and methods
JP4413205B2 (ja) * 2006-06-21 2010-02-10 日本電信電話株式会社 エコー抑圧方法、装置、エコー抑圧プログラム、記録媒体
KR101470528B1 (ko) * 2008-06-09 2014-12-15 삼성전자주식회사 적응 빔포밍을 위한 사용자 방향의 소리 검출 기반의 적응모드 제어 장치 및 방법
ATE512438T1 (de) * 2009-03-23 2011-06-15 Harman Becker Automotive Sys Hintergrundgeräuschschätzung
JP5321372B2 (ja) * 2009-09-09 2013-10-23 沖電気工業株式会社 エコーキャンセラ
US8340278B2 (en) * 2009-11-20 2012-12-25 Texas Instruments Incorporated Method and apparatus for cross-talk resistant adaptive noise canceller

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101346896A (zh) * 2005-10-26 2009-01-14 日本电气株式会社 回声抑制方法及设备

Also Published As

Publication number Publication date
US8315380B2 (en) 2012-11-20
JP2011024163A (ja) 2011-02-03
US20110019831A1 (en) 2011-01-27
CN101964670A (zh) 2011-02-02
JP5347794B2 (ja) 2013-11-20

Similar Documents

Publication Publication Date Title
CN101964670B (zh) 回声抑制方法及回声抑制设备
US8355511B2 (en) System and method for envelope-based acoustic echo cancellation
JP3568922B2 (ja) エコー処理装置
KR101017766B1 (ko) 핸드 프리 장치에서의 스펙트럼 도메인 비선형 반향 제거방법
US8472616B1 (en) Self calibration of envelope-based acoustic echo cancellation
EP3080975B1 (en) Echo cancellation
KR101250124B1 (ko) 에코 억제 필터를 위한 제어 정보를 계산하는 장치 및 방법 및 지연 값을 계산하는 장치 및 방법
US8306215B2 (en) Echo canceller for eliminating echo without being affected by noise
CN109716743B (zh) 全双工语音通信系统和方法
US9723152B2 (en) Nonlinear echo suppression
CN105577961A (zh) 增益控制器的自动调谐
US9343073B1 (en) Robust noise suppression system in adverse echo conditions
EP3692703B1 (en) Echo canceller and method therefor
JPH11331046A (ja) エコー抑圧方法及び装置並びにエコー抑圧プログラムが記憶されたコンピュータに読取り可能な記憶媒体
US6834108B1 (en) Method for improving acoustic noise attenuation in hand-free devices
JP3673727B2 (ja) 反響消去方法、その装置、そのプログラム及びその記録媒体
US7023986B2 (en) Echo canceller in a communication system at a terminal
JP2023519249A (ja) エコー残留抑制
RU2722220C1 (ru) Устройство многоканальной адаптивной компенсации эхо-сигналов
CN102956236A (zh) 信息处理设备、信息处理方法和程序
JP2022151366A (ja) エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム
PV et al. Robust Acoustic Echo Suppression In Modulation Domain
KR20050016719A (ko) 고정 스펙트럼 전력 의존 오디오 강화 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131023

Termination date: 20210721