CN105338450B - 一种残留回波抑制方法及装置 - Google Patents
一种残留回波抑制方法及装置 Download PDFInfo
- Publication number
- CN105338450B CN105338450B CN201510611321.XA CN201510611321A CN105338450B CN 105338450 B CN105338450 B CN 105338450B CN 201510611321 A CN201510611321 A CN 201510611321A CN 105338450 B CN105338450 B CN 105338450B
- Authority
- CN
- China
- Prior art keywords
- signal
- spectral density
- factor
- proximal end
- wiener filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明提供了一种残留回波抑制方法及装置，该方法包括：获取回波滤波过程中的误差信号的能量、误差信号与近端麦克风采集信号的互功率谱密度、误差信号的自功率谱密度、近端麦克风采集的信号能量、参考信号的混响功率谱密度和回声的声衰减系数；根据近端麦克风采集的信号能量与误差信号的能量计算频域维纳滤波的滤波系数；根据误差信号与近端麦克风采集信号的互功率谱密度、误差信号的自功率谱密度、参考信号的混响功率谱密度和回声的声衰减系数计算类似维纳滤波的滤波系数；根据频域维纳滤波的滤波系数和类似维纳滤波的滤波系数进行残留回波滤除。其可适用于多变的应用环境，能够精确地滤除残留回波，同时保证良好的语音质量。
Description
技术领域
本发明涉及语音回声消除领域，具体涉及一种残留回波抑制方法及装置。
背景技术
目前，自适应回波抵消(AEC，Acoustic Echo Canceller)处理中使用最广泛的算法是归一化最小均方(NLMS，normalized least mean square)，其在算法复杂度及收敛速度上与其它算法相比都比较折中。在视频会议系统中，由于各种因素影响，比如：背景噪声、麦克风(MIC)及电视的非线性失真、电视时延及电视时延飘移等等，仅用NLMS不可能将回波完全抵消掉，会存在少量的残留回波，有时残余可能还比较大。因此，一般采用基于最小均方准则的频域维纳滤波算法来抑制残留回波，其还可有效抑制稳态噪声。
但是，一般的频域维纳滤波处理中，常用固定因子alph(表征估计回波信号功率谱与残留回波功率谱的差异)来设定残留回波的抑制程度，但是采用单一的alph不能适用于所有可能情况下场景，alph设置过大，容易语音失真，过小却易留残余回波；并且在实际场景中，NLMS往往对回波的估计不准，甚至有时估计值很小，即使采用较大的alph值也不能消除残余回波。
针对残余回波的消除方法还有很多，例如，《自适应声回波抵消算法的研究与实现》(陈立峰)中主要采用回声抵消处理后的误差信号相对于远端信号能量的衰减小于某一门限THERES时将其置零，该方法能够完全抵制残余回声，但是当近端语音能量小于或远小于播放的回声能量时，这时语音也被压制掉了而出现语音断续的情况。《自适应回波抵消与噪声消除技术研究》(张守勇)中主要基于噪声消除的维纳滤波器法来抑制残留回波，其采用改进的串联结构(消回声和消噪声两个滤波器串联，后置消噪部分滤波器同时具有消除残留回波和噪声的功能)，在近端房音内放置两个麦克风，一个用来拾取近端信号，另一个主要用来拾取噪声信号，且两麦克风放置方向相反。该方法虽能有较好的降噪功能，但当环境比较复杂时，如包含MIC和电视失真、电视时延飘移等，其抑制残留回波的能力还是很有限的。可见，当前已经存在的诸多方法都不能很好的适应环境，消除残留回波。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中的残留回波消除方法不能适应多变的应用环境，容易出现残余回波消除不干净或者因语音被压制而导致音质不好的缺陷，从而提供一种残留回波抑制方法及装置。
为此，本发明提供的技术方案为：
一种残留回波抑制方法，包括如下步骤：
获取回波滤波过程中的误差信号的能量、误差信号与近端麦克风采集信号的互功率谱密度、误差信号的自功率谱密度、近端麦克风采集的信号能量、参考信号的混响功率谱密度和回声的声衰减系数，参考信号是根据远端传向近端的信号获得的；
根据近端麦克风采集的信号能量与误差信号的能量计算频域维纳滤波的滤波系数；
根据误差信号与近端麦克风采集信号的互功率谱密度、误差信号的自功率谱密度、参考信号的混响功率谱密度和回声的声衰减系数计算类似维纳滤波的滤波系数；
根据频域维纳滤波的滤波系数和类似维纳滤波的滤波系数进行残留回波滤除。
优选地，根据近端麦克风采集的信号能量与误差信号的能量计算频域维纳滤波的滤波系数的步骤，包括：
根据近端麦克风采集的信号能量与误差信号的能量的比值计算alph因子，其中
其中，Pmax为alph因子的最大值，alph1为上一帧的alph因子，ρ为平滑系数，Pdd为近端麦克风采集的当前帧信号的能量，Pee为当前帧误差信号的能量，level和cnstValue为常数；
根据alph因子计算频域维纳滤波的滤波系数H(k)，其中
其中，Sed(k)为误差信号与近端麦克风采集信号的互功率谱密度，Szz(k)为估计回波信号的自功率谱密度，Snn(k)为近端背景噪声最小估计的自相关功率谱密度，β为常数。
优选地，参考信号的混响功率谱密度是通过以下步骤获得：
计算混响功率谱平滑系数gamma，
其中，SPL_dmp为声压级衰减分贝值，V为房间体积，Sa为房间内各个吸收表面的吸收系数总积，FrameTime为一帧处理时长；
根据混响功率谱平滑系数计算混响功率谱密度
Syy(i，j)＝gamma*Syy(i，j-1)+(1-gamma)*|y(i，j)|2
其中，Syy(i，j)为当前帧参考信号的混响功率谱密度，Syy(i，j-1)为上一帧参考信号的混响功率谱密度，y(i，j)为根据远端传向近端的当前帧信号获得的参考信号，i为频率点，i>0,j>1。
优选地，类似维纳滤波的滤波系数是通过以下公式计算得到：
其中，Sed(k)为误差信号与近端麦克风采集信号的互功率谱密度，See(k)为误差信号的自功率谱密度，damp_erl为回声的声衰减系数，Syy(k)为参考信号的混响功率谱密度。
优选地，根据频域维纳滤波的滤波系数和类似维纳滤波的滤波系数进行残留回波滤除的步骤包括：
对频域维纳滤波的滤波系数和类似维纳滤波的滤波系数进行加权计算，得到残留回波滤波系数；
对残留回波滤波系数进行频域平滑；
利用平滑后的残留回波滤波系数进行残留回波滤除。
一种残留回波抑制装置，包括：
获取单元，用于获取回波滤波过程中的误差信号的能量、误差信号与近端麦克风采集信号的互功率谱密度、误差信号的自功率谱密度、近端麦克风采集的信号能量、参考信号的混响功率谱密度和回声的声衰减系数，参考信号是根据远端传向近端的信号获得的；
维纳滤波的滤波系数计算单元，用于根据近端麦克风采集的信号能量与误差信号的能量计算频域维纳滤波的滤波系数；
类似维纳滤波的滤波系数计算单元，用于根据误差信号与近端麦克风采集信号的互功率谱密度、误差信号的自功率谱密度、参考信号的混响功率谱密度和回声的声衰减系数计算类似维纳滤波的滤波系数；
残留回波滤除单元，用于根据频域维纳滤波的滤波系数和类似维纳滤波的滤波系数进行残留回波滤除。
优选地，维纳滤波的滤波系数计算单元包括：
alph因子计算子单元，用于根据近端麦克风采集的信号能量与误差信号的能量的比值计算alph因子，其中
其中，Pmax为alph因子的最大值，alph1为上一帧的alph因子，ρ为平滑系数，Pdd为近端麦克风采集的当前帧信号的能量，Pee为当前帧误差信号的能量，level和cnstValue为常数；
维纳滤波的滤波系数计算子单元，用于根据alph因子计算频域维纳滤波的滤波系数H(k)，其中
其中，Sed(k)为误差信号与近端麦克风采集信号的互功率谱密度，Szz(k)为估计回波信号的自功率谱密度，Snn(k)为近端背景噪声最小估计的自相关功率谱密度，β为常数。
优选地，获取单元包括：
混响功率谱平滑系数计算子单元，用于计算混响功率谱平滑系数gamma，
其中，SPL_dmp为声压级衰减分贝值，V为房间体积，Sa为房间内各个吸收表面的吸收系数总积，FrameTime为一帧处理时长；
混响功率谱密度计算子单元，用于根据混响功率谱平滑系数计算混响功率谱密度，
其中，
Syy(i，j)＝gamma*Syy(i，j-1)+(1-gamma)*|y(i，j)|2
Syy(i，j)为当前帧参考信号的混响功率谱密度，Syy(i，j-1)为上一帧参考信号的混响功率谱密度，y(i，j)为根据远端传向近端的当前帧信号获得的参考信号，i为频率点，i>0,j>1。
优选地，残留回波滤除单元包括：
残留回波滤波系数计算子单元，用于对频域维纳滤波的滤波系数和类似维纳滤波的滤波系数进行加权计算，得到残留回波滤波系数；
平滑子单元，用于对残留回波滤波系数进行频域平滑；
残留回波滤波子单元，用于利用平滑后的残留回波滤波系数进行残留回波滤除。
本发明技术方案，具有如下优点：
1.本发明提供的残留回波抑制方法及装置，其并不是直接利用频域维纳滤波来消除残余回声的，而是还结合了类似维纳滤波，该类似维纳滤波结合了声学传播和混响原理。结合频域维纳滤波的滤波系数和类似维纳滤波的滤波系数来进行残留回波滤波可以使得该方法在多变的环境下，也能干净滤除残留回声且很好地保留语音细节。另外，频域维纳滤波的滤波系数是根据近端麦克风采集的信号能量与误差信号的能量动态计算的，可以避免出现残余回波消除不净或者语音因被压制出现语音断续等问题，在保证回声消除干净的同时可以使得语音更加平滑流畅、自然保真。且，该方法的计算量不大，可以在回声抵消处理流程中做到实时处理。
2.本发明提供的残留回波抑制方法及装置，其alph因子是根据近端麦克风采集的当前帧信号的能量与当前帧误差信号的能量的比值动态计算并平滑得到，因此，进行残留回波处理时，每一帧的alph因子数值都是实时调整的，可以在不同场景下有效抑制残留回波且不影响语音。与采用单一alph因子来进行残留回波滤波的方法相比，其适应性较好，基本不会出现因alph值设置过小导致残留回波除不净问题、或者因alph因子设置过大而导致语音失真的问题。
3.本发明提供的残留回波抑制方法及装置，混响功率谱平滑系数的计算综合考虑了房间体积和房间内各个吸收表面的吸收系数，由此计算出的参考信号的混响功率谱密度能够准确反映应用环境中信号的混响模型，即远端传向近端的信号经扬声器播放，再经所处环境的声反射和声吸收等衰减后进入近端话筒的信号的功率谱。综合考虑了混响信号功率谱的残留回波滤除系数，可以更精确的抑制残留回波，同时保证语音质量。
4.本发明提供的残留回波抑制方法及装置，综合利用频域维纳滤波系数和类似维纳滤波的滤波系数来进行残留回波抑制，并且该类似维纳滤波的滤波系数还综合考虑了误差信号的自功率谱密度、根据近端扬声器播放的远端信号(也即远端传向近端的信号)获得的参考信号在房间内衰减后的混响功率谱，从而更精确地抑制残留回波，同时保证良好的语音质量。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中残留回波抑制方法的流程图；
图2为本发明实施例1中混响功率谱密度计算方法的流程图；
图3为本发明实施例1中频域维纳滤波的滤波系数计算方法的流程图；
图4为本发明实施例1中进行残留回波滤除的流程图；
图5为本发明实施例2中残留回波抑制装置的原理框图；
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种残留回波抑制方法，如图1所示，包括如下步骤：
S1：获取回波滤波过程中的误差信号的能量、误差信号与近端麦克风采集信号的互功率谱密度、误差信号的自功率谱密度、近端麦克风采集的信号能量、参考信号的混响功率谱密度和回声的声衰减系数，参考信号是根据远端传向近端的信号获得的；
S2：根据近端麦克风采集的信号能量与误差信号的能量计算频域维纳滤波的滤波系数；
S3：根据误差信号与近端麦克风采集信号的互功率谱密度、误差信号的自功率谱密度、参考信号的混响功率谱密度和回声的声衰减系数计算类似维纳滤波的滤波系数；
S4：根据频域维纳滤波的滤波系数和类似维纳滤波的滤波系数进行残留回波滤除。
本实施例提供的残留回波抑制方法中，并不是直接利用频域维纳滤波来消除残余回声的，而是还结合了类似维纳滤波，该类似维纳滤波是一种类似于线性维纳滤波的一种非线性滤波，该类似维纳滤波函数实际上就是一种残留回波抑制传递函数，其结合了声学传播和混响原理。结合频域维纳滤波的滤波系数和类似维纳滤波的滤波系数来进行残留回波滤波可以使得该方法在多变的环境下，也能干净滤除残留回声且很好地保留语音细节。估计回波信号是根据远端传向近端的信号估计出的回波信号，在自适应回波滤波过程中，是由FIR滤波器模拟回声路径获得的。误差信号是近端麦克风采集的信号与估计回波信号的差值。该方法中，频域维纳滤波的滤波系数是根据近端麦克风采集的信号能量与误差信号的能量动态计算的，可以避免因语音信号本身多变而出现残余回波消除不净或者语音因被压制导致语音断续等问题，在保证回声消除干净的同时可以使得语音更加平滑流畅、自然保真。另外，该方法的计算量不大，可以在回声抵消处理流程中做到实时处理。
具体地，在获取回波滤波过程中的误差信号与近端麦克风采集信号的互功率谱密度和误差信号的自功率谱密度时需要进行时域平滑，误差信号与近端麦克风采集信号的互功率谱密度的平滑公式如下：
误差信号的自功率谱密度的平滑公式如下：
其中，为平滑系数,其中e(i，j)为当前帧误差信号，d(i，j)为近端麦克风采集的当前帧信号，Sed(i，j)为当前帧的误差信号与近端麦克风采集信号的互功率谱密度，Sed(i，j-1)为上一帧的误差信号与近端麦克风采集信号的互功率谱密度，See(i，j)为当前帧的误差信号的自功率谱密度，See(i，j-1)为上一帧的误差信号的自功率谱密度，i表示频率点，i>0，j>1。
另外，回声的声衰减系数的计算公式为：
其中，ERL_dB为回声返回损耗，是度量从近端扬声器到麦克风之间的直接回声和反射回声经过声衰减和声吸收后的损耗，其受房间声学环境、麦克风和扬声器的摆位以及相互距离、环境噪声的影响，一般取值在-15dB～0dB之间。
作为优选的实施方案，如图2所示，步骤S1中参考信号的混响功率谱密度可以通过以下步骤获得：
S11：计算混响功率谱平滑系数gamma，
其中，
其中，SPL_dmp为声压级衰减分贝值，V为房间体积，Sa为房间内各个吸收表面的吸收系数总积，FrameTime为一帧处理时长；
S12：根据混响功率谱平滑系数计算混响功率谱密度，
Syy(i，j)＝gamma*Syy(i，j-1)+(1-gamma)*|y(i，j)|2
其中，Syy(i，j)为当前帧参考信号的混响功率谱密度，Syy(i，j-1)为上一帧参考信号的混响功率谱密度，y(i，j)为根据远端传向近端的当前帧信号获得的参考信号，i为频率点，i>0,j>1。
上述混响功率谱平滑系数公式是由时域平滑衰减公式推导所得，该时域平滑衰减公式为：
10*log(gamman)＝SPL_dmp
从而，
其中，n表示在混响时间T60内能处理帧数据的个数，混响时间T60为声源停止发声后声压级衰减60dB所经历的时间，单位为S(秒)。
本实施例提供的方法中，混响功率谱平滑系数的计算综合考虑了房间体积和房间内各个吸收表面的吸收系数，由此计算出的参考信号的混响功率谱密度能够准确反映应用环境中信号的混响模型，即远端传向近端的信号经扬声器播放，再经所处环境的声反射和声吸收等衰减后进入近端话筒的信号的功率谱。综合考虑了混响信号功率谱的残留回波滤除系数，可以更精确的抑制残留回波，同时保证语音质量。
作为优选的实施方案，如图3所示，步骤S2可以包括如下步骤：
S21：根据近端麦克风采集的信号能量与误差信号的能量的比值计算alph因子，其中
其中，Pmax为alph因子的最大值，alph1为上一帧的alph因子，ρ为平滑系数，0<ρ<1，Pdd为近端麦克风采集的当前帧信号的能量，Pee为当前帧误差信号的能量，level和cnstValue为常数；
S22：根据alph因子计算频域维纳滤波的滤波系数H(k)，其中
其中，Sed(k)为误差信号与近端麦克风采集信号的互功率谱密度，Szz(k)为估计回波信号的自功率谱密度，Snn(k)为近端背景噪声最小估计的自相关功率谱密度，β为常数，一般为1～3。
具体地，上述估计回波信号的自功率谱密度是经时域平滑后的，平滑公式如下：
其中，为平滑系数，z(i，j)为估计回波信号，Szz(i，j)是当前帧估计回波信号的自功率谱密度，Szz(i，j-1)是上一帧估计回波信号的自功率谱密度，i表示频率点，i>0，j>1。
本实施例中的alph因子是根据近端麦克风采集的当前帧信号的能量与当前帧误差信号的能量的比值动态计算并平滑得到，因此，进行残留回波处理时，每一帧的alph因子数值都是实时调整的，可以在不同场景下有效抑制残留回波且不影响语音。与采用单一alph因子来进行残留回波滤波的方法相比，其适应性较好，基本不会出现因alph值设置过小导致残留回波除不净问题、或者因alph因子设置过大而导致语音失真的问题。
具体地，步骤S3中的类似维纳滤波的滤波系数可以通过以下公式计算得到：
其中，Sed(k)为误差信号与近端麦克风采集信号的互功率谱密度，See(k)为误差信号的自功率谱密度，damp_erl为回声的声衰减系数，Syy(k)为参考信号的混响功率谱密度。
具体地，如图4所示，步骤S4中的进行残留回波滤除的过程可以包括：
S41：对频域维纳滤波的滤波系数和类似维纳滤波的滤波系数进行加权计算，得到残留回波滤波系数；
S42：对残留回波滤波系数进行频域平滑；
S43：利用平滑后的残留回波滤波系数进行残留回波滤除。
上述步骤S41中，对两种滤波系数进行加权计算的具体公式如下：
wiener_gain(k)＝μ*H(k)+(1-μ)*G(k)
其中，wiener_gain(k)为残留回波滤波系数，μ为权重，H(k)为频域维纳滤波的滤波系数，G(k)为类似维纳滤波的滤波系数。权重μ是根据实际应用场景和经验值来取值，一般为0.3-0.7。
本实施例提供的残留回波滤波方法中，综合利用频域维纳滤波系数和类似维纳滤波的滤波系数来进行残留回波抑制的，并且该类似维纳滤波的滤波系数还综合考虑了误差信号的自功率谱密度、根据近端扬声器播放的远端信号(也即远端传向近端的信号)获得的参考信号的混响功率谱，从而更精确地抑制残留回波，同时保证良好的语音质量。
实施例2
本施例提供一种残留回波抑制装置，如图5所示，包括：
获取单元U1，用于获取回波滤波过程中的误差信号的能量、误差信号与近端麦克风采集信号的互功率谱密度、误差信号的自功率谱密度、近端麦克风采集的信号能量、参考信号的混响功率谱密度和回声的声衰减系数，参考信号是根据远端传向近端的信号获得的；
维纳滤波的滤波系数计算单元U2，用于根据近端麦克风采集的信号能量与误差信号的能量计算频域维纳滤波的滤波系数；
类似维纳滤波的滤波系数计算单元U3，用于根据误差信号与近端麦克风采集信号的互功率谱密度、误差信号的自功率谱密度、参考信号的混响功率谱密度和回声的声衰减系数计算类似维纳滤波的滤波系数；
残留回波滤除单元U4，用于根据频域维纳滤波的滤波系数和类似维纳滤波的滤波系数进行残留回波滤除。
本实施例提供的残留回波抑制装置中，频域维纳滤波的滤波系数是根据近端麦克风采集的信号能量与误差信号的能量动态计算的，可以避免出现残余回波消除不净或者语音因被压制出现语音断续等问题，在保证回声消除干净的同时可以使得语音更加平滑流畅、自然保真。而且，本实施例并不是直接利用频域维纳滤波来消除残余回声的，而是还结合了类似维纳滤波，该类似维纳滤波结合了声学传播和混响原理。从而，结合频域维纳滤波的滤波系数和类似维纳滤波的滤波系数来进行残留回波滤波可以使得该方法在多变的环境下，也能干净滤除残留回声且很好地保留语音细节。
作为优选的实施方式，获取单元U1包括：
混响功率谱平滑系数计算子单元U11，用于计算混响功率谱平滑系数gamma，
其中，SPL_dmp为声压级衰减分贝值，V为房间体积，Sa为房间内各个吸收表面的吸收系数总积，FrameTime为一帧处理时长；
混响功率谱密度计算子单元U12，用于根据混响功率谱平滑系数计算混响功率谱密度，其中，
Syy(i，j)＝gamma*Syy(i，j-1)+(1-gamma)*|y(i，j)|2
Syy(i，j)为当前帧参考信号的混响功率谱密度，Syy(i，j-1)为上一帧参考信号的混响功率谱密度，y(i，j)为根据远端传向近端的当前帧信号获得的参考信号，i为频率点，i>0,j>1。
本实施例提供的装置中，混响功率谱平滑系数的计算综合考虑了房间体积和房间内各个吸收表面的吸收系数，由此计算出的参考信号的混响功率谱密度能够准确反映应用环境中信号的混响模型，即远端传向近端的信号经扬声器播放，再经所处环境的声反射和声吸收等衰减后进入近端话筒的信号的功率谱。综合考虑了混响信号功率谱的残留回波滤除系数，可以更精确的抑制残留回波，同时保证语音质量。
作为优选的实施方式，维纳滤波的滤波系数计算单元U2包括：
alph因子计算子单元U21，用于根据近端麦克风采集的信号能量与误差信号的能量的比值计算alph因子，其中
其中，Pmax为alph因子的最大值，alph1为上一帧的alph因子，ρ为平滑系数，Pdd为近端麦克风采集的当前帧信号的能量，Pee为当前帧误差信号的能量，level和cnstValue为常数；
维纳滤波的滤波系数计算子单元U22，用于根据alph因子计算频域维纳滤波的滤波系数H(k)，其中
其中，Sed(k)为误差信号与近端麦克风采集信号的互功率谱密度，Szz(k)为估计回波信号的自功率谱密度，Snn(k)为近端背景噪声最小估计的自相关功率谱密度，β为常数。
本实施例提供的残留回波抑制装置中，alph因子是根据近端麦克风采集的当前帧信号的能量与当前帧误差信号的能量的比值动态计算并平滑得到，因此，进行残留回波处理时，每一帧的alph因子数值都是实时调整的，可以在不同场景下有效抑制残留回波且不影响语音。与采用单一alph因子来进行残留回波滤波的方法相比，其适应性较好，基本不会出现因alph值设置过小导致残留回波除不净问题、或者因alph因子设置过大而导致语音失真的问题。
具体地，残留回波滤除单元U4包括：
残留回波滤波系数计算子单元U41，用于对频域维纳滤波的滤波系数和类似维纳滤波的滤波系数进行加权计算，得到残留回波滤波系数；
平滑子单元U42，用于对残留回波滤波系数进行频域平滑；
残留回波滤波子单元U43，用于利用平滑后的残留回波滤波系数进行残留回波滤除。
本实施例提供的残留回波抑制装置中，综合利用频域维纳滤波和类似维纳滤波来进行残留回波抑制，并且该类似维纳滤波的滤波系数还综合考虑了误差信号的自功率谱密度、根据近端扬声器播放的远端信号(也即远端传向近端的信号)获得的参考信号在房间内衰减后的混响功率谱，从而更精确地抑制残留回波，同时保证良好的语音质量。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (9)
1.一种残留回波抑制方法，其特征在于，包括如下步骤：
获取回波滤波过程中的误差信号的能量、误差信号与近端麦克风采集信号的互功率谱密度、误差信号的自功率谱密度、近端麦克风采集的信号能量、参考信号的混响功率谱密度和回声的声衰减系数，所述参考信号是根据远端传向近端的信号获得的；
根据所述近端麦克风采集的信号能量与所述误差信号的能量计算频域维纳滤波的滤波系数；
根据所述误差信号与近端麦克风采集信号的互功率谱密度、所述误差信号的自功率谱密度、所述参考信号的混响功率谱密度和所述回声的声衰减系数计算类似维纳滤波的滤波系数，其中所述类似维纳滤波是一种类似于线性维纳滤波的一种非线性滤波；
根据所述频域维纳滤波的滤波系数和所述类似维纳滤波的滤波系数进行残留回波滤除。
2.根据权利要求1所述的方法，其特征在于，所述根据所述近端麦克风采集的信号能量与所述误差信号的能量计算频域维纳滤波的滤波系数的步骤，包括：
根据所述近端麦克风采集的信号能量与所述误差信号的能量的比值计算alph因子，其中
其中，Pmax为alph因子的最大值，alph1为上一帧的alph因子，ρ为平滑系数，Pdd为近端麦克风采集的当前帧信号的能量，Pee为当前帧误差信号的能量，level和cnstValue为常数；
根据所述alph因子计算频域维纳滤波的滤波系数H(k)，其中
其中，k为频率点且k>0，Sed(k)为误差信号与近端麦克风采集信号的互功率谱密度，Szz(k)为估计回波信号的自功率谱密度，Snn(k)为近端背景噪声最小估计的自相关功率谱密度，β为常数。
3.根据权利要求1或2所述的方法，其特征在于，所述参考信号的混响功率谱密度是通过以下步骤获得：
计算混响功率谱平滑系数gamma，
其中，SPL_dmp为声压级衰减分贝值，V为房间体积，Sa为房间内各个吸收表面的吸收系数总积，FrameTime为一帧处理时长；
根据所述混响功率谱平滑系数计算所述混响功率谱密度
Syy(i,j)＝gamma*Syy(i,j-1)+(1-gamma)*|y(i,j)|2
其中，Syy(i,j)为当前帧参考信号的混响功率谱密度，Syy(i,j-1)为上一帧参考信号的混响功率谱密度，y(i,j)为根据远端传向近端的当前帧信号获得的参考信号，i为频率点，i>0,j>1。
4.根据权利要求1或2所述的方法，其特征在于，所述类似维纳滤波的滤波系数是通过以下公式计算得到：
其中，k为频率点且k>0，Sed(k)为误差信号与近端麦克风采集信号的互功率谱密度，See(k)为误差信号的自功率谱密度，damp_erl为回声的声衰减系数，Syy(k)为参考信号的混响功率谱密度。
5.如权利要求1或2所述的方法，其特征在于，所述根据所述频域维纳滤波的滤波系数和所述类似维纳滤波的滤波系数进行残留回波滤除的步骤包括：
对所述频域维纳滤波的滤波系数和所述类似维纳滤波的滤波系数进行加权计算，得到残留回波滤波系数；
对所述残留回波滤波系数进行频域平滑；
利用平滑后的残留回波滤波系数进行残留回波滤除。
6.一种残留回波抑制装置，其特征在于，包括：
获取单元，用于获取回波滤波过程中的误差信号的能量、误差信号与近端麦克风采集信号的互功率谱密度、误差信号的自功率谱密度、近端麦克风采集的信号能量、参考信号的混响功率谱密度和回声的声衰减系数，所述参考信号是根据远端传向近端的信号获得的；
维纳滤波的滤波系数计算单元，用于根据所述近端麦克风采集的信号能量与所述误差信号的能量计算频域维纳滤波的滤波系数；
类似维纳滤波的滤波系数计算单元，用于根据所述误差信号与近端麦克风采集信号的互功率谱密度、所述误差信号的自功率谱密度、所述参考信号的混响功率谱密度和所述回声的声衰减系数计算类似维纳滤波的滤波系数，其中所述类似维纳滤波是一种类似于线性维纳滤波的一种非线性滤波；
残留回波滤除单元，用于根据所述频域维纳滤波的滤波系数和所述类似维纳滤波的滤波系数进行残留回波滤除。
7.如权利要求6所述的装置，其特征在于，所述维纳滤波的滤波系数计算单元包括：
alph因子计算子单元，用于根据所述近端麦克风采集的信号能量与所述误差信号的能量的比值计算alph因子，其中
其中，Pmax为alph因子的最大值，alph1为上一帧的alph因子，ρ为平滑系数，Pdd为近端麦克风采集的当前帧信号的能量，Pee为当前帧误差信号的能量，level和cnstValue为常数；
维纳滤波的滤波系数计算子单元，用于根据所述alph因子计算频域维纳滤波的滤波系数H(k)，其中
其中，k为频率点且k>0，Sed(k)为误差信号与近端麦克风采集信号的互功率谱密度，Szz(k)为估计回波信号的自功率谱密度，Snn(k)为近端背景噪声最小估计的自相关功率谱密度，β为常数。
8.如权利要求6或7所述的装置，其特征在于，所述获取单元包括：
混响功率谱平滑系数计算子单元，用于计算混响功率谱平滑系数gamma，
其中，SPL_dmp为声压级衰减分贝值，V为房间体积，Sa为房间内各个吸收表面的吸收系数总积，FrameTime为一帧处理时长；
混响功率谱密度计算子单元，用于根据所述混响功率谱平滑系数计算所述混响功率谱密度，
其中，Syy(i,j)＝gamma*Syy(i,j-1)+(1-gamma)*|y(i,j)|2
Syy(i,j)为当前帧参考信号的混响功率谱密度，Syy(i,j-1)为上一帧参考信号的混响功率谱密度，y(i,j)为根据远端传向近端的当前帧信号获得的参考信号，i为频率点，i>0,j>1。
9.如权利要求6或7所述的装置，其特征在于，所述残留回波滤除单元包括：
残留回波滤波系数计算子单元，用于对所述频域维纳滤波的滤波系数和所述类似维纳滤波的滤波系数进行加权计算，得到残留回波滤波系数；
平滑子单元，用于对所述残留回波滤波系数进行频域平滑；
残留回波滤波子单元，用于利用平滑后的残留回波滤波系数进行残留回波滤除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510611321.XA CN105338450B (zh) | 2015-09-23 | 2015-09-23 | 一种残留回波抑制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510611321.XA CN105338450B (zh) | 2015-09-23 | 2015-09-23 | 一种残留回波抑制方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105338450A CN105338450A (zh) | 2016-02-17 |
| CN105338450B true CN105338450B (zh) | 2018-12-18 |
Family
ID=55288669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510611321.XA Active CN105338450B (zh) | 2015-09-23 | 2015-09-23 | 一种残留回波抑制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105338450B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106340305B (zh) * | 2016-11-04 | 2024-03-19 | 北京声智科技有限公司 | 自校准的远场语音交互设备及远场语音自校准方法 |
| CN108696791A (zh) * | 2017-04-10 | 2018-10-23 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种单麦克风的组合感知增益函数语音增强方法 |
| CN107360497B (zh) * | 2017-07-14 | 2020-09-29 | 深圳永顺智信息科技有限公司 | 估算混响分量的计算方法及装置 |
| CN109256145B (zh) * | 2017-07-14 | 2021-11-02 | 北京搜狗科技发展有限公司 | 基于终端的音频处理方法、装置、终端和可读存储介质 |
| CN107346658B (zh) * | 2017-07-14 | 2020-07-28 | 深圳永顺智信息科技有限公司 | 混响抑制方法及装置 |
| CN107749303B (zh) * | 2017-07-31 | 2020-03-31 | 电信科学技术研究院 | 一种声学回声抵消器输出语音信号的后处理方法及装置 |
| CN107770683B (zh) * | 2017-10-12 | 2019-10-11 | 北京小鱼在家科技有限公司 | 一种回声场景下音频采集状态的检测方法及装置 |
| CN107910014B (zh) * | 2017-11-23 | 2021-11-09 | 苏州科达科技股份有限公司 | 回声消除的测试方法、装置及测试设备 |
| CN108696648B (zh) * | 2018-05-16 | 2021-08-24 | 上海小度技术有限公司 | 一种短时语音信号处理的方法、装置、设备及存储介质 |
| CN108711433B (zh) * | 2018-05-18 | 2020-08-14 | 歌尔科技有限公司 | 一种回声消除方法和装置 |
| CN111917926B (zh) * | 2019-05-09 | 2021-08-06 | 上海触乐信息科技有限公司 | 一种通信终端中的回声消除方法、装置及终端设备 |
| CN111933164B (zh) * | 2020-06-29 | 2022-10-25 | 北京百度网讯科技有限公司 | 语音处理模型的训练方法、装置、电子设备和存储介质 |
| CN111968663B (zh) * | 2020-08-12 | 2024-04-16 | 福建星网智慧科技有限公司 | 一种回声残留判断方法 |
| CN114143668A (zh) * | 2020-09-04 | 2022-03-04 | 阿里巴巴集团控股有限公司 | 音频信号处理、混响检测和会议方法、设备及存储介质 |
| CN113055787B (zh) * | 2021-03-25 | 2022-10-04 | 科大讯飞股份有限公司 | 回声消除方法、装置、电子设备和存储介质 |
| CN114061730B (zh) * | 2022-01-19 | 2023-09-19 | 中国船舶工业系统工程研究院 | 目标散射回波变步长快速自适应估计方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101778183A (zh) * | 2009-01-13 | 2010-07-14 | 华为终端有限公司 | 一种残留回声抑制方法及设备 |
| CN102739886A (zh) * | 2011-04-01 | 2012-10-17 | 中国科学院声学研究所 | 基于回声频谱估计和语音存在概率的立体声回声抵消方法 |
| CN103067628A (zh) * | 2011-10-20 | 2013-04-24 | 联芯科技有限公司 | 残留回声抑制方法及其装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719969B (zh) * | 2009-11-26 | 2013-10-02 | 美商威睿电通公司 | 判断双端对话的方法、系统以及消除回声的方法和系统 |
-
2015
- 2015-09-23 CN CN201510611321.XA patent/CN105338450B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101778183A (zh) * | 2009-01-13 | 2010-07-14 | 华为终端有限公司 | 一种残留回声抑制方法及设备 |
| CN102739886A (zh) * | 2011-04-01 | 2012-10-17 | 中国科学院声学研究所 | 基于回声频谱估计和语音存在概率的立体声回声抵消方法 |
| CN103067628A (zh) * | 2011-10-20 | 2013-04-24 | 联芯科技有限公司 | 残留回声抑制方法及其装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105338450A (zh) | 2016-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105338450B (zh) | 一种残留回波抑制方法及装置 | |
| CN109727604B (zh) | 用于语音识别前端的频域回声消除方法及计算机储存介质 | |
| US8977545B2 (en) | System and method for multi-channel noise suppression | |
| CN108141502B (zh) | 降低声学系统中的声学反馈的方法及音频信号处理设备 | |
| KR100989266B1 (ko) | 스펙트럼 음향 특성에 기초한 더블 토크 검출 방법 | |
| CN104883462B (zh) | 一种用于消除声学回声的自适应滤波器及滤波方法 | |
| US10455326B2 (en) | Audio feedback reduction utilizing adaptive filters and nonlinear processing | |
| CN109273019B (zh) | 用于回声抑制的双重通话检测的方法及回声抑制 | |
| US10880440B2 (en) | Echo canceller and method therefor | |
| FR2908005B1 (fr) | Circuit de reduction de l'echo acoustique pour un dispositif "mains libres"utilisable avec un telephone portable | |
| US11056128B2 (en) | Apparatus and method for processing an audio signal using noise suppression filter values | |
| CN112492112B (zh) | 一种基于对讲系统的回音消除方法和装置 | |
| US10516941B2 (en) | Reducing instantaneous wind noise | |
| US20160073209A1 (en) | Maintaining spatial stability utilizing common gain coefficient | |
| AU2002367002A1 (en) | System and method for controlling a filter to enhance speakerphone performance | |
| CN113196733B (zh) | 使用低频近端语音检测的声学回声消除 | |
| CN112929506A (zh) | 音频信号的处理方法及装置，计算机存储介质及电子设备 | |
| JP4396449B2 (ja) | 残響除去方法及びその装置 | |
| CN111654585B (zh) | 回声声场状态确定方法及装置、存储介质、终端 | |
| Rombouts et al. | Proactive notch filtering for acoustic feedback cancellation | |
| EP2816817B1 (en) | Sound field spatial stabilizer with spectral coherence compensation | |
| Gunale et al. | Frequency domain adaptive filter using FFT algorithm for acoustic echo cancellation | |
| KR20230150182A (ko) | 에코 제거 방법、 장치 및 전자 장비 | |
| CN114449115A (zh) | 一种消除残余回声的处理系统 | |
| Schuldt et al. | A combined implementation of echo suppression, noise reduction and comfort noise in a speaker phone application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |