CN114449114B - 一种针对回声消除残余回声的处理方法 - Google Patents

一种针对回声消除残余回声的处理方法 Download PDF

Info

Publication number
CN114449114B
CN114449114B CN202011190675.9A CN202011190675A CN114449114B CN 114449114 B CN114449114 B CN 114449114B CN 202011190675 A CN202011190675 A CN 202011190675A CN 114449114 B CN114449114 B CN 114449114B
Authority
CN
China
Prior art keywords
signal
echo
estimated
filter
end signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011190675.9A
Other languages
English (en)
Other versions
CN114449114A (zh
Inventor
姜涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ingenic Semiconductor Co Ltd
Original Assignee
Beijing Ingenic Semiconductor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ingenic Semiconductor Co Ltd filed Critical Beijing Ingenic Semiconductor Co Ltd
Priority to CN202011190675.9A priority Critical patent/CN114449114B/zh
Publication of CN114449114A publication Critical patent/CN114449114A/zh
Application granted granted Critical
Publication of CN114449114B publication Critical patent/CN114449114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Filters That Use Time-Delay Elements (AREA)

Abstract

本发明提供一种针对回声消除残余回声的处理方法，包含：S1获取远端信号x(n)，近端信号d(n)；S2回声消除器得到估计回声信号y^(n)，并消除d(n)中的回声部分，得到估计期望信号e^(n)；S3把x(n)，d(n)和e^(n)做FFT，得到频域信号X(ejw)，D(ejw)，E(ejw)；S4残余回声消除器通过相关函数，得到x(n)与d(n)的相关性cxd(ejw)；d(n)与e^(n)的相关性cde(ejw)；S5d(n)由y(n)和e(n)组成；S6当滤波器未收敛时，cxd(ejw)接近1，cxd(ejw)也接近1；得到：定义：S7根据滤波器是否收敛，残余回声消除器采用不同方式对E(ejw)做非线性处理：定义：S8最后把处理后的E(ejw)做IFFT，得到最终期望信号r(n)。

Description

一种针对回声消除残余回声的处理方法
技术领域
本发明涉及音频处理技术领域，特别涉及一种针对回声消除残余回声的处理方法。
背景技术
如图1所示，声学回声是语音通话中经常发生的现象。通话时对方发出的语音信号(远端信号)，由设备的扬声器进行播放，经外界传播，最终被设备自己的麦克风拾取。同时该麦克风还拾取了本地说话人的语音信号(期望信号)，所以此时拾取的语音信号是“回声信号”和“期望信号”的叠加，称之为“近端信号”。这种叠加的信号难以理解，对通话双方都会造成极大困扰，所以必须要消除其中的“回声信号”部分。
通常的方法是利用一个回声消除器，消除“回声信号”，得到“期望信号”。回声消除器的原理是，利用一个自适应滤波器，对扬声器到麦克风之间的回声路径进行建模，以此产生一个“回声信号”的延迟估计(估计回声信号)。然后从麦克风拾取到的“近端信号”中减去“估计回声信号”，得到一个干净的“估计期望信号”。
现有的去回声算法通常认为回声路径是一个完全的线性系统，所以回声消除器中使用的都是线性结构的自适应滤波器。
但是由于产品外观设计要求，小型化发展趋势，以及出于产品成本的考虑，实际生产的设备经常采用廉价的小尺寸声学器件，采用不够完善的结构设计。这些因素都会让整个设备表现为一个非线性系统。
而采用线性自适应算法的回声消除器在处理一个存在非线性失真的系统时，由于线性结构不能准确地模拟非线性声学回声路径，造成回声信号中的非线性成分不能通过算法消除，残留下来的回声(残余回声)会大大影响通话质量。
为了保证回声消除器的性能，算法通常采用一个高阶的自适应滤波器，但这就会造成自适应滤波器的收敛速度变慢，呈一个慢收敛的过程。这样在算法初期或者回声路径改变(比如设备移动)时，“残余回声”会更加严重。
本领域的技术术语还包括：
远端信号：语音通话时，接收到的对方发出的语音信号，由扬声器播放。
回声信号：远端信号由设备的扬声器播放，经外界传播，再由设备自己的麦克风拾取到的信号。
期望信号：语音通话时，本地说话人发出的语音信号。
近端信号：近端麦克风拾取的信号，由“回声信号”和“期望信号”叠加而成。
估计回声信号：通过算法产生的一个“回声信号”的延迟估计。
估计期望信号：“近端信号”减去“估计回声信号”，得到的一个期望信号的估计。
残余回声：“估计期望信号”与“期望信号”的差，代表估计的误差。
自适应滤波器：是能够根据输入信号自动调整性能进行数字信号处理的数字滤波器。
快速傅里叶变换(FFT)，是离散傅氏变换的快速算法，它是根据离散傅氏变换的奇、偶、虚、实等特性，对离散傅立叶变换的算法进行改进获得的。FFT原理：将多项式的系数表示转换为点值表示，从而进行卷积运算，理论上从O(n2)降低到O(nlogn)。
f(x)＝a0+a1x+a2x2+…+an-1xn-1
g(x)＝b0+b1x+b2x2+…+bm-1xm-1
f(x)为n次多项式，g(x)为m次多项式，f(x)·g(x)为m+n次多项式。快速傅里叶变换反变换(IFFT)在对点值表示法的多项式进行卷积之后，仍需要将其再次转换回系数表示法，这种转换方式称为逆快速傅里叶变换。
发明内容
为了解决上述现有技术中存在的问题，本发明的目的在于：本发明可以通过信号的相关性，判断出算法未收敛的位置，并以此更准确地估计出此时的“残余回声”。
针对现有回声消除器对非线性系统的不足，提出一种回声消除器的改进方法。该方法根据信号的相关性，对回声消除器的结果做进一步的非线性处理，以此消除“残余回声信号”。并且该发明还能够判断自适应滤波器的收敛情况，然后根据滤波器的收敛情况，采用不同的非线性处理方法。
具体地，本发明提供一种针对回声消除残余回声的处理方法，所述方法具体包含以下步骤：
S1.获取扬声器播放的一帧数据作为远端信号x(n)，麦克风拾取的一帧信号作为近端信号d(n)；
S2.回声消除器通过一个自适应滤波器得到估计回声信号y^(n)，并以此消除d(n)中的回声部分，得到估计期望信号e^(n)；
S3.把远端信号x(n)，近端信号d(n)和估计期望信号e^(n)分别做快速傅里叶变换，分别得到它们的频域信号X(ejw)，D(ejw)，E(ejw)；
S4.残余回声消除器通过相关函数，计算得到x(n)与d(n)的相关性，命名为cxd(ejw)，和d(n)与e^(n)的相关性，命名为cde(ejw)；
S5.近端信号d(n)由回声信号y(n)和期望信号e(n)组成；
当y(n)占的d(n)比重越大，cxd(ejw)越接近1，cdx(ejw)越接近0；
当e(n)占的d(n)比重越大，cxd(ejw)越接近0，cdx(ejw)越接近1；
S6.当滤波器未收敛时，cxd(ejw)接近1，cxd(ejw)也接近1；
这样，就得到滤波器是否收敛的判别式：
这里定义：
S7.根据滤波器是否收敛，残余回声消除器采用不同方式对E(ejw)做非线性处理：
这里定义：
S8.最后把处理后的E(ejw)做快速傅里叶变换反变换，得到最终的期望信号r(n)。
所述步骤S4中，所述的相关函数定义：
其中Φvu(ejw)，Φuu(ejw)，Φvv(ejw)是信号的功率谱与互功率谱密度，可由X(ejw)，D(ejw)，E(ejw)计算得到。
所述步骤S5中，回声信号y(n)是由远端信号x(n)经过房间的音频响应，即线性系统得到的。
所述步骤S5中，估计期望信号e^(n)是由近端信号d(n)消除估计回声信号y^(n)得到的。
所述步骤S6中，当自适应滤波器未收敛时，即使y(n)占的比重很大，由于滤波器未收敛，y^(n)不能很好地估计y(n)，所以，e^(n)中仍然留有很大一部分y(n)的成分。
所述的快速傅里叶变换，用公式来表示是：
快速傅里叶变换反变换，用公式来表示就是：
综上，应用本申请的测试方法能够实现的优势在于：
本申请针对现有回声消除器对非线性系统的不足，提出一种回声消除器的改进方法。该方法根据信号的相关性，对回声消除器的结果做进一步的非线性处理，以此消除“残余回声信号”。并且本申请还能够判断自适应滤波器的收敛情况，然后根据滤波器的收敛情况，采用不同的非线性处理方法。本申请通过自适应滤波器收敛情况的判别方法和对残余回声的非线性处理方法大大提高了准确性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1是现有技术中产生声学回音的示意框图。
图2是涉及本发明方法的回声消除残余回声的示意图。
图3是本发明方法的流程图。
具体实施方式
为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
如图3所示，是本发明的一种针对回声消除残余回声的处理方法，所述方法具体包含以下步骤：
S1.获取扬声器播放的一帧数据作为远端信号x(n)，麦克风拾取的一帧信号作为近端信号d(n)；
S2.回声消除器通过一个自适应滤波器得到估计回声信号y^(n)，并以此消除d(n)中的回声部分，得到估计期望信号e^(n)；
S3.把远端信号x(n)，近端信号d(n)和估计期望信号e^(n)分别做快速傅里叶变换，分别得到它们的频域信号X(ejw)，D(ejw)，E(ejw)；
S4.残余回声消除器通过相关函数，计算得到x(n)与d(n)的相关性，命名为cxd(ejw)，和d(n)与e^(n)的相关性，命名为cde(ejw)；
S5.近端信号d(n)由回声信号y(n)和期望信号e(n)组成；
当y(n)占的d(n)比重越大，cxd(ejw)越接近1，cdx(ejw)越接近0；
当e(n)占的d(n)比重越大，cxd(ejw)越接近0，cdx(ejw)越接近1；
S6.当滤波器未收敛时，cxd(ejw)接近1，cxd(ejw)也接近1；
这样，就得到滤波器是否收敛的判别式：
这里定义：
S7.根据滤波器是否收敛，残余回声消除器采用不同方式对E(ejw)做非线性处理：
这里定义：
S8.最后把处理后的E(ejw)做快速傅里叶变换反变换，得到最终的期望信号r(n)。
进一步，如图2所示，还可以将实施例具体描述如下：
1.获取扬声器播放的一帧数据作为“远端信号”x(n)，麦克风拾取的一帧信号作为“近端信号”d(n)。
2.回声消除器通过一个自适应滤波器得到“估计回声信号”y^(n)，并以此消除d(n)中的回声部分，得到“估计期望信号”e^(n)。
3.把x(n)，d(n)和e^(n)分别做快速傅里叶变换，分别得到它们的频域信号X(ejw)，D(ejw)，E(ejw)。
4.残余回声消除器通过相关函数，计算得到x(n)与d(n)的相关性，命名为cxd(ejw)和d(n)与e^(n)的相关性，命名为cxd(ejw)。
所述的相关函数定义：
其中Φvu(ejw)，Φuu(ejw)，Φvv(ejw)是信号的功率谱与互功率谱密度，可由X(ejw)，D(ejw)，E(ejw)计算得到。
5.d(n)由y(n)和e(n)组成。“回声信号”y(n)是由x(n)经过房间的音频响应(线性系统)得到的。e^(n)是由d(n)消除y^(n)得到的。
当y(n)占的d(n)比重越大，cxd(ejw)越接近1，cdx(ejw)越接近0。
当e(n)占的d(n)比重越大，cxd(ejw)越接近0，cdx(ejw)越接近1。
6.当滤波器未收敛时，即使y(n)占的比重很大，由于滤波器未收敛，y^(n)不能很好地估计y(n)，所以，e^(n)中仍然留有很大一部分y(n)的成分。
因此，当滤波器未收敛时，cxd(ejw)接近1，cdx(ejw)也接近1。
这样，我们就可以得到滤波器是否收敛的判别式：
这里定义：
7.根据滤波器是否收敛，残余回声消除器采用不同方式对E(ejw)做非线性处理，
这里定义：
8.最后把处理后的E(ejw)做快速傅里叶变换反变换，得到最终的期望信号r(n)。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种针对回声消除残余回声的处理方法，其特征在于，所述方法具体包含以下步骤：
S1.获取扬声器播放的一帧数据作为远端信号x(n)，麦克风拾取的一帧信号作为近端信号d(n)；
S2.回声消除器通过一个自适应滤波器得到估计回声信号y^(n)，并以此消除d(n)中的回声部分，得到估计期望信号e^(n)；
S3.把远端信号x(n)，近端信号d(n)和估计期望信号e^(n)分别做快速傅里叶变换，分别得到它们的频域信号X(ejw)，D(ejw)，E(ejw)；
S4.残余回声消除器通过相关函数，计算得到x(n)与d(n)的相关性，命名为cxd(ejw)，和d(n)与e^(n)的相关性，命名为cde(ejw)；
所述步骤S4中，所述的相关函数定义：
其中Φyu(ejw)，Φuu(ejw)，Φvv(ejw)是信号的功率谱与互功率谱密度，可由X(ejw)，D(ejw)，E(ejw)计算得到；
S5.近端信号d(n)由回声信号y(n)和期望信号e(n)组成；
当y(n)占的d(n)比重越大，cxd(ejw)越接近1，cdx(ejw)越接近0；
当e(n)占的d(n)比重越大，cxd(ejw)越接近0，cdx(ejw)越接近1；
S6.当滤波器未收敛时，cxd(ejw)接近1，cxd(ejw)也接近1；
这样，就得到滤波器是否收敛的判别式：
这里定义：
所述步骤S6中，当自适应滤波器未收敛时，即使y(n)占的比重很大，由于滤波器未收敛，y^(n)不能很好地估计y(n)，所以，e^(n)中仍然留有很大一部分y(n)的成分；
S7.根据滤波器是否收敛，残余回声消除器采用不同方式对E(ejw)做非线性处理：
这里定义：
S8.最后把处理后的E(ejw)做快速傅里叶变换反变换，得到最终的期望信号r(n)。
2.根据权利要求1所述的一种针对回声消除残余回声的处理方法，其特征在于，所述步骤S5中，回声信号y(n)是由远端信号x(n)经过房间的音频响应，即线性系统得到的。
3.根据权利要求1所述的一种针对回声消除残余回声的处理方法，其特征在于，所述步骤S5中，估计期望信号e^(n)是由近端信号d(n)消除估计回声信号y^(n)得到的。
4.根据权利要求1所述的一种针对回声消除残余回声的处理方法，其特征在于，所述的快速傅里叶变换，用公式来表示是：
快速傅里叶变换反变换，用公式来表示就是：
CN202011190675.9A 2020-10-30 2020-10-30 一种针对回声消除残余回声的处理方法 Active CN114449114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011190675.9A CN114449114B (zh) 2020-10-30 2020-10-30 一种针对回声消除残余回声的处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011190675.9A CN114449114B (zh) 2020-10-30 2020-10-30 一种针对回声消除残余回声的处理方法

Publications (2)

Publication Number Publication Date
CN114449114A CN114449114A (zh) 2022-05-06
CN114449114B true CN114449114B (zh) 2024-05-03

Family

ID=81357294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011190675.9A Active CN114449114B (zh) 2020-10-30 2020-10-30 一种针对回声消除残余回声的处理方法

Country Status (1)

Country Link
CN (1) CN114449114B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091813A (en) * 1998-06-23 2000-07-18 Noise Cancellation Technologies, Inc. Acoustic echo canceller
CN103561184A (zh) * 2013-11-05 2014-02-05 武汉烽火众智数字技术有限责任公司 基于近端音频信号标定和修正的消除变频回声的方法
CN104754157A (zh) * 2013-12-26 2015-07-01 联芯科技有限公司 一种残留回声抑制方法和系统
CN111370015A (zh) * 2020-02-28 2020-07-03 北京字节跳动网络技术有限公司 回声消除方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6091813A (en) * 1998-06-23 2000-07-18 Noise Cancellation Technologies, Inc. Acoustic echo canceller
CN103561184A (zh) * 2013-11-05 2014-02-05 武汉烽火众智数字技术有限责任公司 基于近端音频信号标定和修正的消除变频回声的方法
CN104754157A (zh) * 2013-12-26 2015-07-01 联芯科技有限公司 一种残留回声抑制方法和系统
CN111370015A (zh) * 2020-02-28 2020-07-03 北京字节跳动网络技术有限公司 回声消除方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114449114A (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN110838300B (zh) 回声消除的处理方法及处理系统
JP4377952B1 (ja) 適応フィルタ及びこれを有するエコーキャンセラ
KR20040030817A (ko) 통신 시스템, 에코 제거 수단 및 에코 제거 방법
CN110956975B (zh) 回声消除方法及装置
CN106571147A (zh) 用于网络话机声学回声抑制的方法
CN110992923A (zh) 回声消除方法、电子设备以及存储装置
EP2741481B1 (en) Subband domain echo masking for improved duplexity of spectral domain echo suppressors
CN107005268A (zh) 回波消除装置和回波消除方法
CN112929506B (zh) 音频信号的处理方法及装置，计算机存储介质及电子设备
CN114449114B (zh) 一种针对回声消除残余回声的处理方法
CN114449115B (zh) 一种消除残余回声的处理系统
CN113241084B (zh) 回声消除的方法、装置及设备
US10819858B2 (en) Method for improving echo cancellation effect and system thereof
US10999444B2 (en) Acoustic echo cancellation device, acoustic echo cancellation method and non-transitory computer readable recording medium recording acoustic echo cancellation program
Shi et al. An efficient acoustic echo cancellation design for systems with long room impulses and nonlinear loudspeakers
JP3543636B2 (ja) ハウリング抑圧方法及び装置
CN112863532A (zh) 回音抑制装置、回音抑制方法以及存储介质
JP4903843B2 (ja) 適応フィルタ及びこれを有するエコーキャンセラ
JP4964267B2 (ja) 適応フィルタ及びこれを有するエコーキャンセラ
JP2008263441A (ja) 非線形エコーキャンセラ装置
WO2018087855A1 (ja) エコーキャンセラ装置、エコー消去方法、及びエコー消去プログラム
CN113873090B (zh) 一种稳健估计仿射投影样条自适应回声消除方法
Mukherjee et al. A novel sub-band filtering based LMS adaptive algorithm for acoustic echo cancellation
JP3217614B2 (ja) 音響反響除去装置
TW202331700A (zh) 回音消除方法、回音消除裝置、及電子設備

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant