CN110149453B - 用于动态地对回声消除器进行调谐的增益控制系统和方法 - Google Patents

用于动态地对回声消除器进行调谐的增益控制系统和方法 Download PDF

Info

Publication number
CN110149453B
CN110149453B CN201910560710.2A CN201910560710A CN110149453B CN 110149453 B CN110149453 B CN 110149453B CN 201910560710 A CN201910560710 A CN 201910560710A CN 110149453 B CN110149453 B CN 110149453B
Authority
CN
China
Prior art keywords
attenuation
energy
microphone signal
threshold
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910560710.2A
Other languages
English (en)
Other versions
CN110149453A (zh
Inventor
S·K·摩尼
G·那玛尼
S·阿克拉
S·R·T·普鲁谷尔喀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imagination Technologies Ltd
Original Assignee
Imagination Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Imagination Technologies Ltd filed Critical Imagination Technologies Ltd
Publication of CN110149453A publication Critical patent/CN110149453A/zh
Application granted granted Critical
Publication of CN110149453B publication Critical patent/CN110149453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B3/00—Line transmission systems
    • H04B3/02—Details
    • H04B3/20—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/14—Two-way operation using the same type of signal, i.e. duplex
    • H04L5/16—Half-duplex systems; Simplex/duplex switching; Transmission of break signals non-automatically inverting the direction of transmission

Abstract

用于动态地对回声消除器进行调谐的增益控制系统和方法。一种用于控制回声消除器中的非线性处理器的阈值控制系统，所述非线性处理器被构造为去除在所述回声消除器已将麦克风信号减去回声估计之后保留在麦克风信号中的低于阈值的任何信号能量，所述阈值控制系统包括：收敛单元，所述收敛单元被构造为确定自适应滤波器的稳定性的指示，所述自适应滤波器被构造为连续地对回声路径进行建模以便生成所述回声估计；以及阈值调谐器，所述阈值调谐器被构造为根据所述指示来调节所述非线性处理器的阈值。

Description

用于动态地对回声消除器进行调谐的增益控制系统和方法
本申请是原案申请号为201510152076.0的发明专利申请(申请日：2015年4月1日，发明名称：用于控制非线性处理器的阈值控制系统和方法)的分案申请。
技术领域
本发明涉及用于控制声学回声消除器的调谐参数的方法和设备。
背景技术
在电话中，回声是语音信号的反射。它是原型的延迟拷贝。示例场景被例示在图1a中，图1a示出了正由远端麦克风捕获并且由近端扩音器输出的信号。回声是扩音器与麦克风之间的声学耦合的结果；除近端扬声器的语音和任何背景噪声之外，麦克风还捕获起源于它自己的扩音器的信号。结果是在远端扩音器处的回声。回声消除是电话的一个重要特征。免提装置和电话会议尤其需要能够适于具有各式各样的声学特性的环境的回声消除。
声学回声消除器通常合成来自远端语音信号的回声的估计。然后将麦克风信号减去估计回声。这个技术需要自适应信号处理来生成足够准确以有效地消除回声的信号。自适应滤波器常常用来对环境的声学脉冲响应进行建模。自适应性滤波器常常后面有用于去除任何残余回声的非线性处理器(NLP)。非线性处理器可能伴随有舒适噪音生成器(CNG)，因为完全寂静的时段对于用户来说可能是令人不安的。
回声消除器的性能取决于平台，并且特别取决于音频接口、接口驱动器和有关硬件、前置放大器和后置放大器(若有的话)以及麦克风和扬声器的特性。在具有充分回声消除的各式各样的平台上实现全双工语音通信是有挑战性的。因此，大多数回声消除器需要某种形式的平台特定调谐以提供最佳性能。常常，必须手动地执行这个平台特定调谐。
因此，存在对于用于对声学回声消除器进行调谐的改进方法的需要。
发明内容
根据一个实施方式，提供了一种用于控制回声消除器中的非线性处理器的阈值控制系统，所述非线性处理器被构造为去除在所述回声消除器已将麦克风信号减去回声估计之后保留在麦克风信号中的低于阈值的任何信号能量，所述阈值控制系统包括：收敛单元，所述收敛单元被构造为确定自适应滤波器的稳定性的指示，所述自适应滤波器被构造为连续地对回声路径进行建模以便生成所述回声估计；以及阈值调谐器，所述阈值调谐器被构造为根据所述指示来调节所述非线性处理器的阈值。
所述阈值控制系统可以被构造为只有当通过所述回声消除器将所述麦克风信号减去所述回声估计而实现的所述回声消除的指示高于预定阈值才控制所述非线性处理器。
所述收敛单元可以被构造为通过将所述自适应滤波器的系数中的一个或更多个与一组平均系数进行比较来确定所述自适应滤波器的稳定性的指示。
所述收敛单元可以被构造为随着所述自适应滤波器对所述回声路径进行建模而更新所述一组平均系数。
所述阈值调谐器可以被构造为调节所述阈值，以便在以下各项中的两个或更多个之间改变通信装置的操作模式：全双工模式、部分双工模式和半双工模式。
所述阈值调谐器可以被构造为调节所述阈值，使得所述自适应滤波器的系数的与所述一组平均系数的偏差越大，所述阈值越高。
所述阈值调谐器可以被构造为，如果所述自适应滤波器的系数示出与所述一组平均系数基本上没有偏差，则控制所述非线性处理器使得所述通信装置在全双工模式下操作。
所述阈值调谐器可以被构造为，如果所述自适应滤波器的系数示出与所述一组平均系数有大偏差，则控制所述非线性处理器使得所述通信装置在半双工模式下操作。
所述收敛单元可以被构造为计算指示所述自适应滤波器的系数与所述一组平均系数的偏差的值，并且所述阈值调谐器可以被构造为：如果该值小于第一阈值，则控制所述非线性处理器使得所述通信装置在全双工模式下操作；如果该值大于或等于所述第一阈值并且小于第二阈值，则控制所述非线性处理器使得所述通信装置在部分双工模式下操作；以及如果该值大于或等于所述第二阈值，则控制所述非线性处理器使得所述通信装置在半双工模式下操作。
所述收敛单元可以被构造为将所述麦克风信号视为包括多个时间帧，所述收敛单元包括监测单元，所述监测单元被构造为针对所述麦克风信号的各个时间帧，识别与该部分对应的一组自适应滤波器系数，将所识别的该组系数中的一个或更多个与一组平均系数进行比较，根据所述比较给所述麦克风信号的该部分分配区域，并且根据所述比较更新与所分配的区域相关联的阈值。
所述收敛单元可以被构造为，当所述监测单元已将区域分配给所述多个时间帧中的每一个时，识别与被最频繁地分配的所述区域相关联的所述阈值，并且将所述非线性处理器的阈值调节为和所识别的阈值相同。
所述收敛单元可以被构造为通过根据所述比较以及与该区域相关联的平滑参数调节与所述区域相关联的所述阈值来更新与所述区域相关联的所述阈值。
所述收敛单元可以被构造为通过根据比较以及与该区域和所述麦克风信号的先前部分相关联的所述区域的组合相关联的平滑参数调节与所述区域相关联的所述阈值来调节与所述区域相关联的所述阈值。
所述收敛单元可以包括计数器，所述计数器被构造为对区域被分配给所述多个时间帧中的一个的场合的数量进行计数。
所述计数器可以被构造为，如果确定双端通话(double talk)存在于所述多个时间帧中的一个中，则将分配有该时间帧的所述区域的计数设置为零。
所述计数器可以被构造为，当所述监测单元已将区域分配给所述多个时间帧中的每一个时，将所有区域的计数重置为零。
所述阈值控制系统可以包括确认单元，所述确认单元被构造为确定用于所述非线性处理器的所述阈值是否稳定，并且如果是这样的话，则停止所述阈值调谐器控制所述非线性处理器。
所述阈值控制系统可以包括能量估计器，所述能量估计器构造为估计与所述自适应滤波器的脉冲响应相关联的能量，并且根据所估计的能量，选择用于与所述一组平均系数进行比较的所述自适应滤波器的系数中的一个或更多个。
所述能量估计器可以被构造为通过以下步骤来识别用于与所述一组平均系数进行比较的所述自适应滤波器的系数中的一个或更多个：将所述麦克风信号的各个时间帧视为包括多个部分；识别所述自适应滤波器的对应于各个部分的脉冲响应；估计与针对各个部分识别的所述脉冲响应相关联的能量；确定所识别的脉冲响应中的一个或更多个与主要能量相关联；以及选择用于与所述一组平均系数进行比较的对应于所述一个或更多个脉冲响应的所述自适应滤波器的系数中的一个或更多个。
所述能量估计器可以被构造为如果与一个脉冲响应相关联的所估计的能量与针对和所述多个部分中的全部相关联的所述脉冲响应的总的所估计的能量的比率大于预定阈值，则确定该一个脉冲响应与主要能量相关联。
所述能量估计器可以被构造为通过以下步骤来估计与脉冲响应相关联的能量：将所述脉冲响应划分为多个交叠部分；识别与所述脉冲响应所对应的所述麦克风信号的该部分相关联的所述交叠部分的集合；估计包括在所述集合的各个部分中的能量；以及针对所述集合合计所估计的能量。
根据第二实施方式，提供了一种用于控制回声消除器中的非线性处理器的方法，所述非线性处理器被构造为去除在所述回声消除器已将麦克风信号减去回声估计之后保留在麦克风信号中的低于阈值的任何信号能量，所述方法包括以下步骤：确定自适应滤波器的稳定性的指示，所述自适应滤波器被构造为连续地对回声路径进行建模以便生成所述回声估计；以及根据所述指示来调节所述非线性处理器的阈值。
所述方法可以包括只有当通过所述回声消除器将所述麦克风信号减去所述回声估计而实现的所述回声消除的指示高于预定阈值才控制所述非线性处理器。
所述方法可以包括通过将所述自适应滤波器的系数中的一个或更多个与一组平均系数进行比较来确定所述自适应滤波器的稳定性的指示。
所述方法可以包括随着所述自适应滤波器对所述回声路径进行建模而更新所述一组平均系数。
所述方法可以包括调节所述阈值以便在以下各项中的两个或更多个之间改变通信装置的操作模式：全双工模式、部分双工模式和半双工模式。
所述方法可以包括调节所述阈值，使得所述自适应滤波器的系数的与所述一组平均系数的偏差越大，所述阈值越高。
所述方法可以包括，如果所述自适应滤波器的系数示出与所述一组平均系数基本上没有偏差，则控制所述非线性处理器使得所述通信装置在全双工模式下操作。
所述方法可以包括，如果所述自适应滤波器的系数示出与所述一组平均系数有大偏差，则控制所述非线性处理器使得所述通信装置在半双工模式下操作。
所述方法可以包括以下步骤：计算指示所述自适应滤波器的系数与所述一组平均系数的偏差的值；如果该值小于第一阈值，则控制所述非线性处理器使得所述通信装置在全双工模式下操作；如果该值大于或等于所述第一阈值并且小于第二阈值，则控制所述非线性处理器使得所述通信装置在部分双工模式下操作；以及如果该值大于或等于所述第二阈值，则控制所述非线性处理器使得所述通信装置在半双工模式下操作。
所述方法可以包括以下步骤：将所述麦克风信号视为包括多个时间帧，并且针对各个时间帧，识别与该部分对应的一组自适应滤波器系数；将所识别的该组系数中的一个或更多个与一组平均系数进行比较；根据所述比较给所述麦克风信号的该部分分配区域；以及根据所述比较更新与所分配的区域相关联的阈值。
所述方法可以包括，当区域已被分配给所述多个时间帧中的每一个时，识别与被最频繁地分配的所述区域相关联的所述阈值，并且将所述非线性处理器的阈值调节为和所识别的阈值相同。
所述方法可以包括通过根据所述比较以及与该区域相关联的平滑参数调节与所述区域相关联的所述阈值来更新与所述区域相关联的所述阈值。
所述方法可以包括通过根据所述比较以及与该区域和所述麦克风信号的先前部分相关联的所述区域的组合相关联的平滑参数调节与所述区域相关联的所述阈值来调节与所述区域相关联的所述阈值。
所述方法可以包括对区域被分配给所述多个时间帧中的一个的场合的数量进行计数。
所述方法可以包括确定双端通话存在于所述多个时间帧中的一个中并且将分配有该时间帧的所述区域的计数设置为零。
所述方法可以包括，当所述多个时间帧中的每一个已分配了区域时，将所有区域的计数重置为零。
所述方法可以包括确定用于所述非线性处理器的所述阈值是否稳定，并且如果是这样的话，则停止所述非线性处理器的控制。
所述方法可以包括以下步骤：估计与所述自适应滤波器的脉冲响应相关联的能量，并且根据所估计的能量，选择用于与所述一组平均系数进行比较的所述自适应滤波器的系数中的一个或更多个。
所述方法可以包括通过以下步骤来识别用于与所述一组平均系数进行比较的所述自适应滤波器的系数中的一个或更多个：将所述麦克风信号的各个时间帧视为包括多个部分；识别所述自适应滤波器的对应于各个部分的脉冲响应；估计与针对各个部分识别的所述脉冲响应相关联的能量；确定所识别的脉冲响应中的一个或更多个与主要能量相关联；以及选择用于与所述一组平均系数进行比较的对应于所述一个或更多个脉冲响应的所述自适应滤波器的系数中的一个或更多个。
所述方法可以包括如果与一个脉冲响应相关联的所估计的能量与针对和所述多个子部分中的全部相关联的所述脉冲响应的总的所估计的能量的比率大于预定阈值，则确定该一个脉冲响应与主要能量相关联。
所述方法可以包括通过以下步骤来估计与脉冲响应相关联的能量：将所述脉冲响应划分为多个交叠部分；识别与所述脉冲响应所对应的所述麦克风信号的该部分相关联的所述交叠部分的集合；估计包括在所述集合的各个部分中的能量；以及针对所述集合合计所估计的能量。
根据第三实施方式，提供了一种用于动态地对回声消除器进行调谐的增益控制系统，所述回声消除器被构造为估计远端信号的回声并且将麦克风信号减去该回声估计以输出回声消除信号，所述系统包括：监测单元，所述监测单元被构造为估计与被构造为从所述远端信号生成所述回声估计的自适应滤波器的脉冲响应相关联的能量；以及增益调谐器，所述增益调谐器被构造为根据所估计的能量来调节所述麦克风信号和所述远端信号中的至少一个的衰减。
所述增益调谐器可以被构造为，如果与所述脉冲响应相关联的所述能量相对较高，则确定所述自适应滤波器已饱和。
所述增益调谐器可以被构造为，如果确定所述自适应滤波器已饱和，则提高所述麦克风信号的衰减。
所述增益调谐器可以被构造为，如果与所述脉冲响应相关联的所述能量相对较低，则确定所述自适应滤波器尚未饱和。
所述增益调谐器可以被构造为，如果确定所述自适应滤波器尚未饱和，则降低所述麦克风信号的衰减。
所述增益调谐器可以被构造为：如果所估计的能量低于第一阈值则降低所述麦克风信号的衰减；如果所估计的能量大于或等于所述第一阈值并且小于或等于第二阈值则维持所述麦克风信号的衰减；以及如果所估计的能量高于所述第二阈值则提高所述麦克风信号的衰减。
所述增益调谐器可以被构造为，在它提高所述麦克风信号的衰减之前，将所述麦克风信号的衰减与所述远端信号的衰减进行比较，并且：如果所述远端信号的衰减比所述麦克风信号的衰减低，则提高所述麦克风信号的衰减；以及否则，降低所述远端信号的衰减并且维持所述麦克风信号的衰减。
所述监测单元可以包括被构造为通过将所述麦克风信号视为包括多个部分来估计与脉冲响应相关联的能量的能量估计器，所述能量估计器被构造为估计和与所述麦克风信号的各个部分对应的所述脉冲响应相关联的能量，确定所识别的脉冲响应中的一个或更多个与主要能量相关联，并且根据所述主要能量来调节所述麦克风信号和所述远端信号中的至少一个的衰减。
所述能量估计器可以被构造为如果与一个脉冲响应相关联的所估计的能量与针对和所述多个部分中的全部相关联的所述脉冲响应的总的所估计的能量的比率大于预定阈值，则确定该一个脉冲响应与主要能量相关联。
所述能量估计器可以被构造为通过以下步骤来估计与脉冲响应相关联的能量：将所述脉冲响应划分为多个交叠部分；估计包括在各个部分中的能量；以及合计所估计的能量。
根据第四实施方式，提供了一种用于动态地对回声消除器进行调谐的方法，所述回声消除器被构造为估计远端信号的回声并且将麦克风信号减去该回声估计以输出回声消除信号，所述方法包括以下步骤：估计与被构造为从所述远端信号生成所述回声估计的自适应滤波器的脉冲响应相关联的能量；以及根据所估计的能量来调节所述麦克风信号和所述远端信号中的至少一个的衰减。
所述方法可以包括，如果与所述脉冲响应相关联的所述能量相对较高，则确定所述自适应滤波器已饱和。
所述方法可以包括，如果确定所述自适应滤波器已饱和，则提高所述麦克风信号的衰减。
所述方法可以包括，如果与所述脉冲响应相关联的所述能量相对较低，则确定所述自适应滤波器尚未饱和。
所述方法可以包括，如果确定所述自适应滤波器尚未饱和，则降低所述麦克风信号的衰减。
所述方法可以包括以下步骤：如果所估计的能量低于第一阈值则降低所述麦克风信号的衰减；如果所估计的能量大于或等于所述第一阈值并且小于或等于第二阈值则维持所述麦克风信号的衰减；以及如果所估计的能量高于所述第二阈值则提高所述麦克风信号的衰减。
所述方法可以包括以下步骤：在提高所述麦克风信号的衰减之前，将所述麦克风信号的衰减和所述远端信号的衰减进行比较；并且如果所述远端信号的衰减比所述麦克风信号的衰减低，则提高所述麦克风信号的衰减；以及否则，降低所述远端信号的衰减并且维持所述麦克风信号的衰减。
所述方法可以包括以下步骤：将所述麦克风信号视为包括多个部分；估计和与所述麦克风信号的各个部分对应的所述脉冲信号相关联的能量；确定所识别的脉冲响应中的一个或更多个与主要能量相关联；以及根据所述主要能量来调节所述麦克风信号和所述远端信号中的至少一个的衰减。
所述方法可以包括如果与一个脉冲响应相关联的所估计的能量与针对和所述多个部分中的全部相关联的所述脉冲响应的总的所估计的能量的比率大于预定阈值，则确定该一个脉冲响应与主要能量相关联。
所述方法可以包括通过以下步骤来估计与脉冲响应相关联的能量：将所述脉冲响应划分为多个交叠部分；估计包括在各个部分中的能量；以及合计所估计的能量。
附图说明
现在将参照附图通过示例对本发明进行描述。附图中：
图1a示出了两个通信装置的示例；
图1b示出了阈值控制系统的示例；
图1c示出了增益控制系统的示例；
图2示出了实现自动调谐的声学回声消除器的示例；
图3示出了用于收敛稳定性检测的算法的示例；
图4示出了用于估计自适应滤波器的脉冲响应中的能量的算法的示例；
图5示出了麦克风信号和自适应滤波器的对应脉冲响应的示例；
图6示出了用于调节非线性处理器阈值的算法的示例；
图7示出了非线性处理器阈值自适应的示例；
图8示出了不同装置在扬声器模式下的响应时间；
图9示出了不同装置在听筒模式下的响应时间；以及
图10示出了不同装置在耳机模式下的响应时间。
具体实施方式
阈值控制系统的示例被一般地示出在图1b中的101处。它被布置成控制回声消除器中的非线性处理器的阈值。回声消除器可以被包括在被构造为通过有线链路或无线链路实现双向语音通信的通信装置中。
典型的回声消除器包括用于连续地对回声路径进行建模并且从远端信号生成回声估计的自适应滤波器。然后将麦克风信号减去回声估计。非线性处理器被通常构造为去除在回声消除器已将麦克风信号减去回声估计之后保留在麦克风信号中的低于阈值的任何信号能量。阈值因此确定非线性处理器在麦克风信号被发送到远端之前从该麦克风信号中去除有多少能量。如果阈值低，则非线性处理器有效地仅仅去除回声的因为自适应滤波器尚未完美地对回声路径进行建模而保留的任何残余。然而，如果阈值高，则非线性处理器有效地阻止来自近端的任何信号。这意味着控制阈值有效地控制通信装置的操作的模式。当阈值低时，通信装置通过许可信号在两个方向上行进而在全双工模式下操作。当阈值高时，通信装置通过许可信号仅在一个方向上(即从远端到近端)行进而在半双工模式下操作。
图1b所示的阈值控制系统包括被构造为确定自适应滤波器的稳定性的指示的收敛单元102。它还包括被构造为根据该指示来调节非线性处理器的阈值的阈值调谐器103。收敛单元还包括能量估计器104和计数器105。阈值调谐器还包括确认单元106和自适应计数器107。下面更详细地描述这些单元的操作。
增益控制系统的示例被一般地示出在图1c中的108处。增益控制系统包括监测单元109，其被构造为估计与自适应滤波器的脉冲响应相关联的能量。监测单元可以包括用于估计与麦克风信号的多个部分相关联的脉冲响应的能量并且从能量观点识别脉冲响应中的哪一个为主要的能量估计器111。增益控制系统还包括增益调谐器110，该增益调谐器110被构造为根据针对脉冲响应估计的能量来调节麦克风信号和远端信号中的至少一个的衰减。
可以连同阈值控制系统一起实现增益控制系统，在这种情况下它们可以有效地共享一个或更多个功能单元，诸如监测单元、收敛单元和回声估计器。还可以单独地并且彼此完全独立地实现增益控制系统和阈值控制系统。
阈值控制系统和增益控制系统这二者的目标是获得自适应滤波器的稳定性的某种指示。这个指示然后用来自动地对回声消除器的操作参数(在阈值控制系统的情况下为非线性处理器阈值而在增益控制器的情况下为衰减)进行调谐，进而避免手动地对这些参数进行调谐的需要。
在大多数实施方式中，阈值控制系统和增益控制系统将控制同一回声消除器。它们将常常形成通信装置(通常是包括回声消除器的同一通信装置)的一部分。适合的通信装置的示例包括移动电话、智能手机、线路连接电话、膝上型电脑、平板、电话会议设备等。典型的通信装置包括用于输出远端信号的扩音器、用于检测近端信号的麦克风、CPU、存储器、信号处理电路(诸如DSP和滤波器)等。
图1b和图1c(以及实际上包括在其中的所有块设备图)中所示的结构旨在对应于设备中的许多功能块。这仅用于例示性目的。图1b和图1c不旨在限定芯片上的硬件的不同部分之间或软件中的不同程序、过程或函数之间的严格划分。在一些实施方式中，本文所描述的算法中的一些或全部可以全部或部分地用硬件加以执行。在许多实施方式中，阈值控制系统和增益控制系统的至少一部分可以由在软件控制下行动的处理器(例如，通信装置的CPU或DSP)来实现。任何这样的软件优选地基于非暂时性计算机可读介质，诸如存储器(RAM、高速缓存、硬盘等)或其它存储装置(USB棒、CD、磁盘等)。
常常麦克风信号中的信号能量的主源将是远端信号的回声；在近端不存在显著信号能量的其它源。这在本文中被表示为“单端通话(single talk)”。在其它时间，麦克风信号将包含与任何回声无关的显著信号能量。在许多实例中这将是由于在近端说话而导致的。这在本文中被表示为“双端通话”。信号能量当然可能是由于与说话不同的源而导致的。这在电话会议或免提操作期间特别真实。术语“双端通话”因此用来指代近端信号中不是由于回声而导致的任何显著信号能量。
在图2中示出了阈值控制系统和增益控制系统在声学回声消除器内的实际实现的示例。图2是声学回声消除器的高级框图。声学回声消除器实现用于估计最佳麦克风衰减、远端衰减和NLP阈值的算法。记号x(n)、d(n)、e(n)和y(n)分别表示在离散时刻n的远端信号、麦克风信号、误差信号和回声估计信号。h(n)表示回声路径的脉冲响应，并且M和N分别是施加到麦克风信号和远端信号的增益/衰减因子。
声学回声消除器的功能块包括自适应滤波器、回声抑制器以及非线性处理器/舒适噪声生成器。自适应滤波器对回声路径进行建模并且合成回声信号的估计。回声抑制器和非线性处理器被构造为在已将麦克风信号减去估计回声之后处理残余回声或噪声。残余回声可能是相当强的。例如，如果回声路径在双端通话的时段期间动态地改变，则回声路径改变通过自适应滤波器的跟踪可能被所检测到的双端通话抑制，潜在地导致强残余回声。回声抑制器根据估计回声使残余回声衰减。非线性处理器通过消波(clipping)来去除任何剩余的残余误差。当其输入落在时变阈值以下时常常通过简单地将其增益减小至零来实现这个。舒适噪声生成器可以在消波的时段期间插入舒适噪声以避免令人不安的寂静时段。
图2所示的声学回声消除器还包括ERL估计器、增益调谐器(其对应于增益调谐器110)、收敛稳定性检测器(其对应于收敛单元102和/或监测单元109)以及NLP阈值调谐器(其对应于阈值调谐器103)。ERL估计器使用麦克风信号d(n)和远端信号x(n)来估计回声回程损耗。它还接收误差信号e(n)。ERL估计器将控制输入提供给增益调谐器，该增益调谐器进而控制衰减器和放大器。收敛稳定性检测器估计自适应滤波器的稳定性。它将控制输入提供给NLP阈值调谐器，该NLP阈值调谐器进而控制NLP以其减小用于发送到远端的近端信号的增益的阈值。它还将输入提供给增益调谐器。
远端信号x(n)在途中通过衰减器到自适应滤波器。自适应滤波器对回声路径进行建模。它对远端信号进行滤波以生成回声的估计。该回声形成麦克风信号的一部分。将(潜在地衰减的)麦克风信号d(n)减去回声估计。如果麦克风信号已衰减，则回声消除信号的幅值比它本来要低。回声消除信号因此在进一步处理之前被放大，以逆转施加到麦克风信号的任何衰减。(它是被反馈给自适应滤波器的回声消除信号的非放大版本)。可以根据估计回声使用NLP阈值来去除残余回声(若有的话)而使剩余信号衰减。然后向远端发送结果得到的信号。
图2所示的收敛稳定性检测器可以既在阈值调谐中且在增益控制中起作用。阈值控制系统和增益控制系统这二者可以包括收敛稳定性检测器(例如，分别作为图1b和图1c中的收敛单元102和监测单元109)。在组合实施方式(诸如图2所示的组合实施方式)中，可能需要仅一个收敛稳定性检测器。它监测自适应滤波器的稳定性并且检查滤波器系数中的任一个是否已饱和。适宜地，检测器查找经建模的回声路径的主要区域，因为这是饱和及不稳定最可能显现本身的地方。它还及时查看滤波器系数的变化，这提供滤波器的稳定性的指示器。滤波器系数从长期平均变化越少，滤波器被认为越稳定。
收敛稳定性检测器分析自适应滤波器的脉冲响应，使得能够将非线性处理器阈值调谐为提供无回声输出。如果自适应滤波器已实现稳定收敛，则非线性处理器的阈值被优选地设置为相对较低以提供全双工性能。如果自适应滤波器有边际收敛或如果收敛比期望最小值低，则阈值被优选地设置为相应较高的值以从回声消除器捕获残余回声泄漏。取决于阈值的水平，这可以在近端话音的时段期间引起语音中断。
优选地根据回声回程损耗(ERL)：麦克风信号与远端信号的比率，来设置被分别施加到麦克风信号和远端信号的衰减M和衰减N。增益调谐器被优选地构造为调节麦克风信号和远端信号的相对强度。这控制被提供给自适应滤波器的反馈，使得增益调谐器能够将通过自适应滤波器的自适应约束为在由其整数系数所规定的范围内。收敛稳定性检测器向增益调谐器提供另一个输入。它确认并且经常调节由ERL估计器规定的衰减。
增益调谐和阈值调谐这二者涉及分析自适应滤波器已如何对回声路径进行建模。优选地，仅当远端活动时完成这个，否则将根本不对回声路径进行建模。回声消除器可以包括用于检测远端存在的存在检测器(图2中未示出)。如果远端不活动，或如果回声路径建模是不正确的，则阈值调谐器优选地设置用于半双工通信的阈值。其中回声路径建摸可能是不正确的场景的示例包括：(i)声学回声路径是高度非线性的；以及(ii)远端信号与麦克风信号中的回声之间的变化纯延迟。
如果回声消除器正在实现比预定阈值大(例如多于20dB)的回声消除，则阈值调谐器可以简单地设置非线性处理器阈值以得到全双工通信。如果回声消除器正在提供低于该阈值的回声消除，则阈值调谐器优选地将阈值调谐为提供可能的最大双工通信。
现在将参照图3更详细地说明增益控制系统和阈值控制系统的动作，图3例示了用于自动地调节包含增益调谐和阈值调谐这二者的回声消除器的操作参数的算法的示例。
该算法通过将定时器与预定时间段T1进行比较而开始(步骤301)。对于有T1秒钟的持续时间的麦克风信号的时间帧重复接下来的步骤(如下所述)。因此，如果定时器不等于T1则它被更新(步骤302)并且如果它等于T1则被重置为零(步骤303)。
该算法通过能量估计器来估计包括在自适应滤波器的脉冲响应中的能量(步骤304)。在一个示例中，这个步骤可以由解析回声路径滤波器执行。在图4中示出了这个处理，将还参照图5对此进行描述。
首先，麦克风信号的一部分被识别以供考虑。这个部分可以具有持续时间Tms(步骤401)。这在图5中被示出在501处。自适应滤波器被构造为连续地适配它的回声路径的模型。因此，适当的脉冲响应是对应于考虑中的麦克风信号的特定部分的脉冲响应。可以通过任何适合的技术(例如，通过使用自适应滤波器的系数)来获得脉冲响应。
具有尾长度N的脉冲响应(502)被分为K个子部分(步骤402)。各个子部分优选地与前面一个子部分的至少一部分交叠。这被示出在图5中：脉冲响应502被分为504与彼此交叠的子部分503。各个子部分被表示为
Figure BDA0002108194770000131
解析回声路径滤波器然后估计脉冲响应的K个子部分的各个块中的能量(步骤403)。对于麦克风信号的各个部分，K个子部分的不同块用来估计能量。例如，对于麦克风信号的20ms时间帧的第一2ms部分，可以使用子部分1、子部分2和子部分3。类似地对于时间帧的第二2ms，可以使用子部分4、子部分5和子部分6。按照这样的方式适当地完成了这个分组，以便覆盖与麦克风信号的整个时间帧对应的完整脉冲响应长度(即N＝512)。这还由相对于麦克风信号的第二部分在图5中所示的子部分506的集合来表示。
这个处理能够被数学地表达如下：
Figure BDA0002108194770000132
其中：
E(i)是包括在与麦克风信号的部分i对应的脉冲响应中的子部分的组合能量；
h(n)是自适应滤波器的脉冲响应；
T1是要处理的麦克风信号的整个长度；
Tms是考虑中的麦克风信号的部分的长度；
fs是脉冲响应的采样频率；
N是考虑中的脉冲响应中的样本的总数；
K是脉冲响应已被分为的交叠子部分的数量；
TSP是各个子部分的长度；以及
TO是各个交叠的长度。
在一个示例中，脉冲响应的各个部分具有带1ms的交叠的长度4ms。在这个示例中，TSP是4ms，TO是1ms并且K是3。在同一示例中，T1是20ms并且Tms是2ms。
对于麦克风信号的所有部分(即对于所有i)重复步骤401至步骤403中的处理。这产生一组i个组合能量值E(i)。对于其中T1是20ms并且Tms是2ms的以上示例，各个回声估计器总共生成十个组合能量值E(i)。
预定数量的组合能量值被识别为有效能量区域。与这个预定数量的组合能量值对应的滤波器权重被称为有效回声区域(EER)(步骤404)。它们被表示为
Figure BDA0002108194770000144
。例如，如果预定数量是三(使得1≤p≤3)，则可以通过按照降序放置由解析回声路径滤波器所生成的组合能量并且识别最高三个值来识别EER。与那三个能量值对应的滤波器权重被指定为三个EER。主要EER是根据EER以及它们相关联的能量来识别的(步骤405)。
返回到图3，识别主要EER(步骤305)可以被实现如下：
Figure BDA0002108194770000141
其中B是EER的预定数量。
Figure BDA0002108194770000142
因此主要EER通过将主要能量Ed(l)与有效回声区域中的总能量的比率与预定义阈值βth进行比较而被识别。如果EER中的超过一个大于阈值，则生成最大
Figure BDA0002108194770000143
的EER被选择为主要EER。
可以以两个方式使用主要EER：以提供进一步增益调谐并且对NLP阈值进行调谐。
与自适应滤波器的脉冲响应相关联的能量提供自适应滤波器是否接近于饱和的指示。由于以分数格式(fractional format)实现滤波器的高资源要求，回声消除器中的自适应滤波器常常用整数格式(integer format)加以实现。滤波器系数常常由16个比特并且有时由32个比特表示。在一些回声回程损耗场景中比特的有限数量固有地限制声学回声消除器的性能。例如，当回声强(使得ERL有高负值)时，滤波器系数可能饱和或下溢或上溢。用来解决这个问题的一个简单方式是通过使用于误差估计的麦克风信号衰减。因为误差用来适配滤波器系数，所以使麦克风信号衰减可以通过减小误差来防止滤波器系数饱和、上溢或下溢。
主要EER提供滤波器的系数有多么接近于饱和的另一个指示。与主要EER相关联的能量可以与一个或更多个阈值进行比较以将它放置在特定类别中。例如，如果能量低于第一阈值，则它可以被分类为“非常低”；如果它在第一阈值与第二阈值之间则它可以被分类为“边际的”；以及如果它高于第二阈值则它可以被分类为“饱和”。增益调谐器可以使用类别来进一步对衰减器进行调谐。在表6中示出了这个。在“边际的”类别中，可以维持麦克风衰减。在“非常低”类别中，可以减小麦克风衰减。在“饱和”类别中，可以提高麦克风衰减。
DEER中的能量 麦克风衰减
非常低 减小
边际的 保持
饱和 增大
表6：基于主要EER的麦克风衰减
在另一个增强功能中，增益调谐器可以在调节麦克风信号的衰减之前检查什么衰减正施加到远端信号。这是适当的，因为由自适应滤波器看到的远端信号和麦克风信号的比率确定它如何对回声路径进行建模。饱和可能是由相对于远端信号具有高信号强度的麦克风信号所导致的。因此，如果确定主要EER中的能量指示饱和，则增益调谐器可以检查远端信号衰减是否已经比麦克风信号的衰减低。如果是的话，则麦克风衰减增加1。如果不是的话，则维持麦克风衰减并且远端衰减减小1。
主要EER还可以用来通过调节NLP阈值参数(其将阈值表达为值)来对NLP处理器的阈值进行调谐。
自适应滤波器优选地仅在单端通话的时段期间适配，否则滤波器将设法根据与回声无关的麦克风信号的分量对回声路径进行建模。大多数回声消除器具有双端通话检测器，使得必要时能够暂停自适应滤波器的适配。
在分析自适应滤波器的系数的变化之前，阈值调谐器优选地检查自适应滤波器是否当前正在适配。能够通过从回声消除器的双端通话检测器接收将指示通信装置正在经历单端通话、双端通话还是起源于仅近端的通话或其它信号能量的输入来完成这个。另一更直接选项用于阈值调谐器包括跟踪通过自适应滤波器的适配的计数器。
自适应计数器适当地指示使自适应滤波器适配的麦克风信号的当前时间帧(其有持续时间T1)中的样本的数量。它能够用来将通信装置正在其中操作的声学场景分类成三个类别中的一个。表7列举了针对20ms的时间帧的计数器值和有关区域。在该表中计数器值按时间而不是样本的数量加以表达。
AEEF自适应计数器 声学区域
<2ms 噪声/近端
≈10ms 双端通话
≈17.5ms(T<sub>2</sub>) 单端通话回声
表7：基于AEEF自适应计数器的区域的分类
如果自适应计数器高，则区域被识别为单端通话。如果自适应计数器是边际的，则区域被识别为双端通话。如果自适应计数器低，则区域被识别为近端/噪声。
在单端通话期间估计了被称为已建模回声路径变化参数(或MEPV)的参数。它描述已建摸回声路径中的变化。对于每个时间帧T1，MEPV被估计为主要EER中的权重与滤波器权重的平均集相比的标准偏差：
Figure BDA0002108194770000161
可能同样地使用另一比较操作，诸如方差。
在具有自适应滤波器的正确适应的普通场景中，MEPV值低。当自适应滤波器的适应例如由于平台中的不正确的ERL估计或非线性而不正确时，MEPV值高。
短期估计的MEPV值用有效回声区域的峰值能量加以归一化以为平台变化提供归一化并且维持稳定的动态范围：
Figure BDA0002108194770000162
然后计算MEPV值的长期平均以去除短期不连续/突然变化：
σLT(l)＝γ*σLT(l)+(1-γ)*σs(l) (6)
其中γ是长期平均因子。
然后可以使用NLP阈值参数来更新权重的长期平均：
Wave(i)＝αnlp*Wave(i)+(1-αnlp)*W(i) (7)
考虑中的麦克风信号的时间帧根据它的σLT(l)值而分配了特定区域。各个区域与被用来更新NLP阈值参数(如下面所说明的)的特定NLP控制器参数α相关联。NLP控制器参数的各个值对应于通信装置的特定操作模式，如下表8所示。
长期平均MEPV NLP控制器参数 操作的模式 区域
σ<sub>LT</sub>(l)＞σ<sub>1</sub> α＝32000 半双工 A
σ<sub>1</sub>＞σ<sub>LT</sub>(l)≥σ<sub>2</sub> α＝16000 部分双工 B
σ<sub>2</sub>＞σ<sub>LT</sub>(l)≈0 α＝1100 全双工 C
表8：分配给长期平均MEPV的NLP控制器参数
在表8中未示出的另一场景是远端活动但是脉冲响应根本未被建摸的情况。这产生非常低的MEPV估计，但是在这个场景中α的低值将导致回声泄漏。在这样的情况下，α被设置为其最大值以用于半双工通信。
用于更新NLP阈值参数的判定逻辑优选地在一组连续的时间帧上操作。例如，可以基于在麦克风信号的20个时间帧(即400ms)上进行的观察结果来更新NLP阈值。
在图6中示出了用于更新对控制器参数进行调谐的NLP阈值的方法。针对各个时间帧估计长期MEPV值σLT(l)(步骤601)。MEPV值将落入如表8所指示的三个类别A至C中的一个(步骤602)。那些区域中的每一个与计数器和区域特定平滑参数相关联。每当MEPV值落在该区域内时区域的计数器递增(步骤603)。如果该区域的计数器在当前组的时间帧期间是所有区域的计数器中的最大者，则根据下式(8)计算出用于该区域的新的NLP阈值参数(步骤605)。例如，如果σLT(l)的值将时间帧放置在区域X中，其中区域X可能是A、B或C中的任一个，则区域X的计数器递增一。如果区域X的计数器在当前组的20个时间帧期间是所有区域的计数器中的最大者，则依照下式更新用于区域X的NLP阈值参数的值αnlp，x：
αnlp，x＝γx*α+(1-γx)*αnlp，x (8)
其中α是依照表8分配给麦克风信号的当前时间帧的NLP控制器参数并且γx是区域特定平滑参数。在表9中给出了区域特定平滑参数的适合值的示例。
在纯延迟变化或非线性平台的情况下应用不同的区域特定平滑参数。在这样的情况下，回声泄漏将往往在自适应滤波器适配之前发生，导致直接从区域C到区域A即从全双工到半双工的转变。在这种情况下应用特定的区域特定平滑参数γC-A，使得NLP阈值参数更新足够快以避免回声泄漏。
做出关于是否已检测到任何双端通话或非回声近端信号能量的检查(步骤606)。如果是，则重置与σLT(l)对应的区域的计数器(步骤607)。然后做出关于是否已处理该组时间帧的检查(步骤608)。如果否，则处理重复。计数器随着麦克风信号的连续部分在不同区域之间被分配而递增。在已处理该组中的所有时间帧之后，用于控制非线性处理器的NLP阈值参数被更新为具有最高计数器的区域的NLP阈值参数(步骤609)。然后重置所有区域中的计数器(步骤610)。
返回到图3，确认单元检查是否应该冻结NLP阈值参数。如果是，则NLP阈值调谐参数被冻结在它的当前值下并且算法被停止。如果否，则更新NLP阈值调谐参数并且重复算法。如果调谐参数已经在预定范围内达至少预定时间段，则确认单元优选地确定它被冻结。例如，适合的时间段可能是3秒钟。
每当存在音频模式的改变或通信装置的扬声器音量水平的改变时，可以用默认参数重新预置收敛稳定性估计器。
图7例示了针对给定脉冲响应的NLP阈值并且示出了所估计的NLP阈值在已在高得多的值下开始之后如何接近期望值。
已经在三个不同的声学回声区域：纯单端通话区域、双端通话区域和仅近端区域中测试了本文所描述的算法的性能。用来评估算法的性能的度量是冻结远端衰减、麦克风衰减和NLP阈值所花费的时间。这些参数的估计值与通过手动地将参数调谐为提供无回声全双工通信所获得的期望值进行比较。跨越五个不同的基准平台(每一个是通信装置的特定制造商和型号)执行了这个比较。
算法使用表9中列举的常数和阈值加以实现。它被集成到IMG语音引擎中并且在各种不同的移动平台上测试。评估测试使用了宽带编解码器(16kHz采样速率)和512个抽头(与32ms尾长度对应)的自适应滤波器尾长度。在所有测试中，参数被初始化为表9中提供的值并且在双端通话、单端通话和仅近端情况期间针对听筒模式、免提模式和耳机模式指出了响应时间。为了测试增益控制系统的性能，双端通话测试情况使用了总呼叫持续时间的80％的交叠区域。
第一注意点是增益控制算法针对所有音频模式设定了调谐参数。这确认算法在没有手动调谐的情况下提供最佳声学回声消除器性能。
(a)扬声器模式
图7例示了装置在单端通话和双端通话期间在免提模式下的响应时间。在单端通话期间的响应时间有大约2.1秒钟的平均值，然而在双端通话期间它是大约2.6秒钟。
(b)听筒模式
图8例示了装置在单端通话和双端通话期间在听筒模式下的响应时间。与免提模式相似，在单端通话期间的响应时间有大约2.2秒钟的平均值，而在双端通话期间它是大约2.45秒钟。
(c)耳机模式
图9例示了装置在单端通话和双端通话期间在耳机模式下的响应时间。在单端通话期间的响应时间有2.3秒钟的平均值，而在双端通话期间它是2.5秒钟。
参数 值
γ<sub>A</sub> 0.95004
γ<sub>B</sub> 0.8999
γ<sub>C</sub> 0.8001
γ<sub>C-A</sub> 0.049989
β<sub>th</sub> 0.2
σ1 0.0045778
σ2 0.0022889
α(半双工模式) 32000
α(部分双工模式) 16000
α(全双工模式) 1100
表9：使用的常数和阈值
因此能够通过采用动态阈值控制器来避免非线性处理器阈值的手动调谐。这使得单端通话回声可被有效地抑制。在双端通话期间，当可能必须启用半双工时，用户可能经历中断和失真。然而，双端通话在正常通信中是相对罕见的。
本申请人从而孤立地公开本文所描述的各个单独的特征以及两个或更多个这样的特征的任何组合，在这个意义上这样的特征或组合能够总体上鉴于本领域技术人员的公知常识基于本说明书来执行，而不管这样的特征或这些特征的组合是否解决本文所公开的任何问题，并且不限于权利要求的范围。申请人指示本发明的方面可以包括任何这样的单独特征或这些特征的组合。鉴于前面的描述，对于本领域技术人员而言将明显的是，可以在本发明的范围内做出各种修改。

Claims (20)

1.一种用于动态地对回声消除器进行调谐的增益控制系统，其中，所述回声消除器被构造为估计远端信号的回声并且将麦克风信号减去该回声估计以输出回声消除信号，所述系统包括：
监测单元，所述监测单元被构造为估计与被构造为从所述远端信号生成所述回声估计的自适应滤波器的脉冲响应相关联的能量；以及
增益调谐器，所述增益调谐器被构造为根据所估计的能量来调节所述麦克风信号和所述远端信号中的至少一个信号的衰减。
2.如权利要求1所述的增益控制系统，其中，所述增益调谐器被构造为，如果与所述脉冲响应相关联的所述能量相对较高，则确定所述自适应滤波器已饱和。
3.如权利要求1或2所述的增益控制系统，其中，所述增益调谐器被构造为，如果确定所述自适应滤波器已饱和，则提高所述麦克风信号的衰减。
4.如权利要求1或2所述的增益控制系统，其中，所述增益调谐器被构造为，如果与所述脉冲响应相关联的所述能量相对较低，则确定所述自适应滤波器尚未饱和。
5.如权利要求4所述的增益控制系统，其中，所述增益调谐器被构造为，如果确定所述自适应滤波器尚未饱和，则降低所述麦克风信号的衰减。
6.如权利要求1或2所述的增益控制系统，其中，所述增益调谐器被构造为：
如果所估计的能量低于第一阈值，则降低所述麦克风信号的衰减；
如果所估计的能量大于或等于所述第一阈值并且小于或等于第二阈值，则维持所述麦克风信号的衰减；以及
如果所估计的能量高于所述第二阈值，则提高所述麦克风信号的衰减。
7.如权利要求1或2所述的增益控制系统，其中，所述增益调谐器被构造为，在所述增益调谐器提高所述麦克风信号的衰减之前：
将所述麦克风信号的衰减与所述远端信号的衰减进行比较；
如果所述远端信号的衰减比所述麦克风信号的衰减低，则提高所述麦克风信号的衰减；以及
否则，降低所述远端信号的衰减并且维持所述麦克风信号的衰减。
8.如权利要求1或2所述的增益控制系统，其中，所述监测单元包括被构造为通过将所述麦克风信号视为包括多个部分来估计与脉冲响应相关联的能量的能量估计器，所述能量估计器被构造为：
估计和与所述麦克风信号的各个部分对应的所述脉冲响应相关联的能量；
确定所识别的脉冲响应中的一个或更多个脉冲响应与主要能量相关联；以及
根据所述主要能量来调节所述麦克风信号和所述远端信号中的至少一个信号的衰减。
9.如权利要求8所述的增益控制系统，其中，所述能量估计器被构造为，如果与脉冲响应相关联的估计能量相对于针对与所述多个部分中的全部相关联的脉冲响应的总估计能量的比率大于预定阈值，则确定该脉冲响应与主要能量相关联。
10.如权利要求1或2所述的增益控制系统，其中，所述能量估计器被构造为通过以下步骤来估计与脉冲响应相关联的能量：
将所述脉冲响应划分为多个交叠部分；
识别与所述麦克风信号的对应于所述脉冲响应的部分相关联的所述交叠部分的集合；
估计包括在所述集合的各个部分中的能量；以及
针对所述集合合计所估计的能量。
11.一种用于动态地对回声消除器进行调谐的方法，其中，所述回声消除器被构造为估计远端信号的回声并且将麦克风信号减去该回声估计以输出回声消除信号，所述方法包括以下步骤：
估计与被构造为从所述远端信号生成所述回声估计的自适应滤波器的脉冲响应相关联的能量；以及
根据所估计的能量来调节所述麦克风信号和所述远端信号中的至少一个信号的衰减。
12.如权利要求11所述的方法，所述方法包括：如果与所述脉冲响应相关联的所述能量相对较高，则确定所述自适应滤波器已饱和。
13.如权利要求11或12所述的方法，所述方法包括：如果确定所述自适应滤波器已饱和，则提高所述麦克风信号的衰减。
14.如权利要求11或12所述的方法，所述方法包括：如果与所述脉冲响应相关联的所述能量相对较低，则确定所述自适应滤波器尚未饱和。
15.如权利要求14所述的方法，所述方法包括：如果确定所述自适应滤波器尚未饱和，则降低所述麦克风信号的衰减。
16.如权利要求11或12所述的方法，所述方法包括：
如果所估计的能量低于第一阈值，则降低所述麦克风信号的衰减；
如果所估计的能量大于或等于所述第一阈值并且小于或等于第二阈值，则维持所述麦克风信号的衰减；以及
如果所估计的能量高于所述第二阈值，则提高所述麦克风信号的衰减。
17.如权利要求11或12所述的方法，所述方法包括在提高所述麦克风信号的衰减之前：
将所述麦克风信号的衰减与所述远端信号的衰减进行比较；
如果所述远端信号的衰减比所述麦克风信号的衰减低，则提高所述麦克风信号的衰减；以及
否则，降低所述远端信号的衰减并且维持所述麦克风信号的衰减。
18.如权利要求11或12所述的方法，所述方法包括：
将所述麦克风信号视为包括多个部分；
估计和与所述麦克风信号的各个部分对应的所述脉冲响应相关联的能量；
确定所识别的脉冲响应中的一个或更多个脉冲响应与主要能量相关联；以及
根据所述主要能量来调节所述麦克风信号和所述远端信号中的至少一个信号的衰减。
19.如权利要求18所述的方法，所述方法包括：如果与脉冲响应相关联的估计能量相对于针对与所述多个部分中的全部相关联的脉冲响应的总估计能量的比率大于预定阈值，则确定该脉冲响应与主要能量相关联。
20.如权利要求11或12所述的方法，所述方法包括通过以下步骤来估计与脉冲响应相关联的能量：
将所述脉冲响应划分为多个交叠部分；
识别与所述麦克风信号的对应于所述脉冲响应的部分相关联的所述交叠部分的集合；
估计包括在所述集合的各个部分中的能量；以及
针对所述集合合计所估计的能量。
CN201910560710.2A 2014-04-02 2015-04-01 用于动态地对回声消除器进行调谐的增益控制系统和方法 Active CN110149453B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1405965.3 2014-04-02
GB1405965.3A GB2521881B (en) 2014-04-02 2014-04-02 Auto-tuning of non-linear processor threshold
CN201510152076.0A CN104980600B (zh) 2014-04-02 2015-04-01 用于控制非线性处理器的阈值控制系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201510152076.0A Division CN104980600B (zh) 2014-04-02 2015-04-01 用于控制非线性处理器的阈值控制系统和方法

Publications (2)

Publication Number Publication Date
CN110149453A CN110149453A (zh) 2019-08-20
CN110149453B true CN110149453B (zh) 2021-07-13

Family

ID=50737905

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510152076.0A Active CN104980600B (zh) 2014-04-02 2015-04-01 用于控制非线性处理器的阈值控制系统和方法
CN201910560710.2A Active CN110149453B (zh) 2014-04-02 2015-04-01 用于动态地对回声消除器进行调谐的增益控制系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510152076.0A Active CN104980600B (zh) 2014-04-02 2015-04-01 用于控制非线性处理器的阈值控制系统和方法

Country Status (3)

Country Link
US (3) US9706057B2 (zh)
CN (2) CN104980600B (zh)
GB (2) GB2521881B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL3084763T3 (pl) * 2013-12-19 2019-03-29 Telefonaktiebolaget Lm Ericsson (Publ) Szacowanie szumów tła w sygnałach audio
GB2527865B (en) 2014-10-30 2016-12-14 Imagination Tech Ltd Controlling operational characteristics of an acoustic echo canceller
GB2525947B (en) * 2014-10-31 2016-06-22 Imagination Tech Ltd Automatic tuning of a gain controller
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US10225395B2 (en) * 2015-12-09 2019-03-05 Whatsapp Inc. Techniques to dynamically engage echo cancellation
EP3563561A1 (en) * 2016-12-30 2019-11-06 Harman Becker Automotive Systems GmbH Acoustic echo canceling
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
CN113219504B (zh) * 2017-02-28 2023-04-18 荣耀终端有限公司 定位信息确定方法及装置
EP3652867B1 (en) 2017-07-14 2021-05-26 Dolby Laboratories Licensing Corporation Mitigation of inaccurate echo prediction
CN112335261B (zh) 2018-06-01 2023-07-18 舒尔获得控股公司 图案形成麦克风阵列
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
CN108986836A (zh) * 2018-08-29 2018-12-11 质音通讯科技（深圳）有限公司 一种回声抑制器的控制方法、装置、设备和存储介质
WO2020061353A1 (en) 2018-09-20 2020-03-26 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
WO2020191380A1 (en) 2019-03-21 2020-09-24 Shure Acquisition Holdings,Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
EP3942842A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
CN114051738A (zh) 2019-05-23 2022-02-15 舒尔获得控股公司 可操纵扬声器阵列、系统及其方法
JP2022535229A (ja) 2019-05-31 2022-08-05 シュアー アクイジッション ホールディングス インコーポレイテッド 音声およびノイズアクティビティ検出と統合された低レイテンシオートミキサー
CN110310653A (zh) * 2019-07-09 2019-10-08 杭州国芯科技股份有限公司 一种回声消除方法
US11297426B2 (en) 2019-08-23 2022-04-05 Shure Acquisition Holdings, Inc. One-dimensional array microphone with improved directivity
CN111091846B (zh) * 2019-12-26 2022-07-26 江亨湖 一种降噪方法及应用该方法的回声消除系统
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
CN111355855B (zh) * 2020-03-12 2021-06-15 紫光展锐(重庆)科技有限公司 回声处理方法、装置、设备及存储介质
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN111901704B (zh) * 2020-06-16 2022-07-22 深圳市麦驰安防技术有限公司 音频数据处理方法、装置、设备及计算机可读存储介质
CN111798863B (zh) * 2020-06-24 2024-03-08 北京梧桐车联科技有限责任公司 消除回声的方法、装置、电子设备及可读存储介质
CN111970610B (zh) * 2020-08-26 2022-05-20 展讯通信（上海）有限公司 回声路径检测方法、音频信号处理方法及系统、存储介质、终端
EP4285605A1 (en) 2021-01-28 2023-12-06 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system
US11863702B2 (en) * 2021-08-04 2024-01-02 Nokia Technologies Oy Acoustic echo cancellation using a control parameter

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07273599A (ja) * 1994-03-31 1995-10-20 Victor Co Of Japan Ltd 適応フィルタの設計方法及びそれを利用した通話機器
CN1200210A (zh) * 1995-10-18 1998-11-25 艾利森电话股份有限公司 一种自适应双滤波器回声消除方法
US6185299B1 (en) * 1997-10-31 2001-02-06 International Business Machines Corporation Adaptive echo cancellation device in a voice communication system
US6542477B1 (en) * 1999-03-31 2003-04-01 Virata Corporation Digitally-tunable echo-cancelling analog front end for wireline communications devices
CN1416639A (zh) * 2000-01-27 2003-05-07 高通股份有限公司 实现回声对消器的改进系统和方法
CN1810019A (zh) * 2003-06-27 2006-07-26 诺基亚有限公司 统计自适应滤波器控制器
CN101026392A (zh) * 2006-02-22 2007-08-29 阿尔卡特朗讯 对滤波器的调整进行控制的方法
CN101964670A (zh) * 2009-07-21 2011-02-02 雅马哈株式会社 回声抑制方法及回声抑制设备
US8208621B1 (en) * 2007-10-12 2012-06-26 Mediatek Inc. Systems and methods for acoustic echo cancellation
CN102739886A (zh) * 2011-04-01 2012-10-17 中国科学院声学研究所 基于回声频谱估计和语音存在概率的立体声回声抵消方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4628156A (en) * 1982-12-27 1986-12-09 International Business Machines Corporation Canceller trained echo suppressor
US5577097A (en) 1994-04-14 1996-11-19 Northern Telecom Limited Determining echo return loss in echo cancelling arrangements
KR19980701943A (ko) 1995-02-15 1998-06-25 로이드 베리 조지 윌리엄 음성 활성도 검출기 및 검출 방법
US6125179A (en) * 1995-12-13 2000-09-26 3Com Corporation Echo control device with quick response to sudden echo-path change
US6570985B1 (en) * 1998-01-09 2003-05-27 Ericsson Inc. Echo canceler adaptive filter optimization
US6580793B1 (en) * 1999-08-31 2003-06-17 Lucent Technologies Inc. Method and apparatus for echo cancellation with self-deactivation
JP3576430B2 (ja) 1999-09-01 2004-10-13 沖電気工業株式会社 自動利得制御器
US6952472B2 (en) 2001-12-31 2005-10-04 Texas Instruments Incorporated Dynamically estimating echo return loss in a communication link
US6904146B2 (en) * 2002-05-03 2005-06-07 Acoustic Technology, Inc. Full duplex echo cancelling circuit
US7388954B2 (en) * 2002-06-24 2008-06-17 Freescale Semiconductor, Inc. Method and apparatus for tone indication
US7987095B2 (en) * 2002-09-27 2011-07-26 Broadcom Corporation Method and system for dual mode subband acoustic echo canceller with integrated noise suppression
US20060018460A1 (en) * 2004-06-25 2006-01-26 Mccree Alan V Acoustic echo devices and methods
US7142665B2 (en) * 2004-07-16 2006-11-28 Freescale Semiconductor, Inc. Automatic gain control for an adaptive finite impulse response and method therefore
US7508948B2 (en) * 2004-10-05 2009-03-24 Audience, Inc. Reverberation removal
KR100974371B1 (ko) * 2005-10-26 2010-08-05 닛본 덴끼 가부시끼가이샤 에코 억압 방법 및 장치
CN1822709B (zh) * 2006-03-24 2011-11-23 北京中星微电子有限公司 一种麦克风回声消除系统
US8565459B2 (en) * 2006-11-24 2013-10-22 Rasmussen Digital Aps Signal processing using spatial filter
US8515097B2 (en) * 2008-07-25 2013-08-20 Broadcom Corporation Single microphone wind noise suppression
US8600038B2 (en) * 2008-09-04 2013-12-03 Qualcomm Incorporated System and method for echo cancellation
US8750491B2 (en) * 2009-03-24 2014-06-10 Microsoft Corporation Mitigation of echo in voice communication using echo detection and adaptive non-linear processor
US8934620B2 (en) * 2011-04-01 2015-01-13 Cogent Signals, Inc. Acoustic echo cancellation for high noise and excessive double talk
CN102957819B (zh) * 2011-09-30 2015-01-28 斯凯普公司 处理音频信号的方法及其设备
CN103391381B (zh) * 2012-05-10 2015-05-20 中兴通讯股份有限公司 回声消除方法及装置
CN103491488A (zh) * 2013-09-30 2014-01-01 天脉聚源(北京)传媒科技有限公司 一种麦克风回音消除方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07273599A (ja) * 1994-03-31 1995-10-20 Victor Co Of Japan Ltd 適応フィルタの設計方法及びそれを利用した通話機器
CN1200210A (zh) * 1995-10-18 1998-11-25 艾利森电话股份有限公司 一种自适应双滤波器回声消除方法
US6185299B1 (en) * 1997-10-31 2001-02-06 International Business Machines Corporation Adaptive echo cancellation device in a voice communication system
US6542477B1 (en) * 1999-03-31 2003-04-01 Virata Corporation Digitally-tunable echo-cancelling analog front end for wireline communications devices
CN1416639A (zh) * 2000-01-27 2003-05-07 高通股份有限公司 实现回声对消器的改进系统和方法
CN1810019A (zh) * 2003-06-27 2006-07-26 诺基亚有限公司 统计自适应滤波器控制器
CN101026392A (zh) * 2006-02-22 2007-08-29 阿尔卡特朗讯 对滤波器的调整进行控制的方法
US8208621B1 (en) * 2007-10-12 2012-06-26 Mediatek Inc. Systems and methods for acoustic echo cancellation
CN101964670A (zh) * 2009-07-21 2011-02-02 雅马哈株式会社 回声抑制方法及回声抑制设备
CN102739886A (zh) * 2011-04-01 2012-10-17 中国科学院声学研究所 基于回声频谱估计和语音存在概率的立体声回声抵消方法

Also Published As

Publication number Publication date
GB2522538B (en) 2016-02-10
US9706057B2 (en) 2017-07-11
GB2522538A (en) 2015-07-29
GB2521881A (en) 2015-07-08
US10334113B2 (en) 2019-06-25
GB2521881B (en) 2016-02-10
US20150288826A1 (en) 2015-10-08
CN104980600A (zh) 2015-10-14
US10686942B2 (en) 2020-06-16
GB201405965D0 (en) 2014-05-14
US20170272579A1 (en) 2017-09-21
CN104980600B (zh) 2019-07-26
US20190268478A1 (en) 2019-08-29
CN110149453A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN110149453B (zh) 用于动态地对回声消除器进行调谐的增益控制系统和方法
CN110225214B (zh) 对信号进行衰减的方法、衰减单元、系统和介质
CN105577961B (zh) 增益控制器的自动调谐
CN109716743B (zh) 全双工语音通信系统和方法
US8693678B2 (en) Device and method for controlling damping of residual echo
GB2532348A (en) Controlling operational characteristics of acoustic echo canceller
US8718562B2 (en) Processing audio signals
KR20010033993A (ko) 통신 시스템에서 개선된 에코 억제 방법 및 장치
US9491545B2 (en) Methods and devices for reverberation suppression
CN109273019B (zh) 用于回声抑制的双重通话检测的方法及回声抑制
US8064966B2 (en) Method of detecting a double talk situation for a “hands-free” telephone device
CN106297816B (zh) 一种回声消除的非线性处理方法和装置及电子设备
US10403301B2 (en) Audio signal processing apparatus for processing an input earpiece audio signal upon the basis of a microphone audio signal
US20220165286A1 (en) Echo suppression device, echo suppression method, and echo suppression program
CN111970410B (zh) 回声消除方法及装置、存储介质、终端
Schuldt et al. Noise and howling mitigation in audio/video conferencing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant