CN114449115A - 一种消除残余回声的处理系统 - Google Patents

一种消除残余回声的处理系统 Download PDF

Info

Publication number
CN114449115A
CN114449115A CN202011190690.3A CN202011190690A CN114449115A CN 114449115 A CN114449115 A CN 114449115A CN 202011190690 A CN202011190690 A CN 202011190690A CN 114449115 A CN114449115 A CN 114449115A
Authority
CN
China
Prior art keywords
signal
echo
estimated
filter
residual echo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011190690.3A
Other languages
English (en)
Other versions
CN114449115B (zh
Inventor
姜涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ingenic Semiconductor Co Ltd
Original Assignee
Beijing Ingenic Semiconductor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ingenic Semiconductor Co Ltd filed Critical Beijing Ingenic Semiconductor Co Ltd
Priority to CN202011190690.3A priority Critical patent/CN114449115B/zh
Publication of CN114449115A publication Critical patent/CN114449115A/zh
Application granted granted Critical
Publication of CN114449115B publication Critical patent/CN114449115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/085—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using digital techniques

Abstract

本发明提供一种消除残余回声的处理系统，包含：扬声器，播放声音信号；麦克风，接收声音信号；信号获取模块，获取扬声器播放一帧数据作为远端信号x(n)；麦克风收集一帧信号作为近端信号d(n)；回声消除器，通过一个自适应滤波器得到估计回声信号y^(n)，并消除d(n)中的回声部分，得到估计期望信号e^(n)；处理模块，把x(n)，d(n)和e^(n)分别做FFT，得到频域信号X(ejw)，D(ejw)，E(ejw)；把处理后的E(ejw)做IFFT，得到最终的期望信号r(n)；残余回声消除器，通过相关函数，计算得到x(n)与d(n)的相关性，命名为cxd(ejw)，和d(n)与e^(n)的相关性，命名为cde(ejw)；根据滤波器是否收敛，采用不同方式对E(ejw)做非线性处理：
Figure DDA0002752648290000011
定义：
Figure DDA0002752648290000012

Description

一种消除残余回声的处理系统
技术领域
本发明涉及音频处理技术领域，特别涉及一种消除残余回声的处理系统。
背景技术
如图1所示，声学回声是语音通话中经常发生的现象。通话时对方发出的语音信号(远端信号)，由设备的扬声器进行播放，经外界传播，最终被设备自己的麦克风拾取。同时该麦克风还拾取了本地说话人的语音信号(期望信号)，所以此时拾取的语音信号是“回声信号”和“期望信号”的叠加，称之为“近端信号”。这种叠加的信号难以理解，对通话双方都会造成极大困扰，所以必须要消除其中的“回声信号”部分。
通常会利用一个回声消除器，消除“回声信号”，得到“期望信号”。回声消除器的原理是，利用一个自适应滤波器，对扬声器到麦克风之间的回声路径进行建模，以此产生一个“回声信号”的延迟估计(估计回声信号)。然后从麦克风拾取到的“近端信号”中减去“估计回声信号”，得到一个干净的“估计期望信号”。
现有的去回声系统通常认为回声路径是一个完全的线性系统，所以回声消除器中使用的都是线性结构的自适应滤波器。
但是由于产品外观设计要求，小型化发展趋势，以及出于产品成本的考虑，实际生产的设备经常采用廉价的小尺寸声学器件，采用不够完善的结构设计。这些因素都会让整个设备表现为一个非线性系统。
而采用线性自适应算法的回声消除器在处理一个存在非线性失真的系统时，由于线性结构不能准确地模拟非线性声学回声路径，造成回声信号中的非线性成分不能通过算法消除，残留下来的回声(残余回声)会大大影响通话质量。
为了保证回声消除器的性能，算法通常采用一个高阶的自适应滤波器，但这就会造成自适应滤波器的收敛速度变慢，呈一个慢收敛的过程。这样在算法初期或者回声路径改变(比如设备移动)时，“残余回声”会更加严重。
本领域的技术术语还包括：
远端信号：语音通话时，接收到的对方发出的语音信号，由扬声器播放。
回声信号：远端信号由设备的扬声器播放，经外界传播，再由设备自己的麦克风拾取到的信号。
期望信号：语音通话时，本地说话人发出的语音信号。
近端信号：近端麦克风拾取的信号，由“回声信号”和“期望信号”叠加而成。
估计回声信号：通过算法产生的一个“回声信号”的延迟估计。
估计期望信号：“近端信号”减去“估计回声信号”，得到的一个期望信号的估计。
残余回声：“估计期望信号”与“期望信号”的差，代表估计的误差。
自适应滤波器：是能够根据输入信号自动调整性能进行数字信号处理的数字滤波器。
快速傅里叶变换(FFT)，是离散傅氏变换的快速算法，它是根据离散傅氏变换的奇、偶、虚、实等特性，对离散傅立叶变换的算法进行改进获得的。FFT原理：将多项式的系数表示转换为点值表示，从而进行卷积运算，理论上从O(n2)降低到O(nlogn)。
f(x)＝a0+a1x+a2x2+…+an-1xn-1
g(x)＝b0+b1x+b2x2+…+bm-1xm-1
f(x)为n次多项式，g(x)为m次多项式，f(x)·g(x)为m+n次多项式。快速傅里叶变换反变换(IFFT)在对点值表示法的多项式进行卷积之后，仍需要将其再次转换回系数表示法，这种转换方式称为逆快速傅里叶变换。
发明内容
为了解决上述现有技术中存在的问题，本发明的目的在于：
针对现有回声消除器对非线性系统的不足，提出一种消除残余回声的处理系统。通过增加残余回声消除器，根据信号的相关性，对回声消除器的结果做进一步的非线性处理，以此消除“残余回声信号”。并且该系统还能够判断自适应滤波器的收敛情况，然后根据滤波器的收敛情况，采用不同的非线性处理方法进行处理。
具体地，本发明提供一种消除残余回声的处理系统，所述系统包含：
扬声器，用于播放声音信号；
麦克风，用于接收声音信号；
信号获取模块，用于获取扬声器播放的一帧数据作为远端信号x(n)；获取麦克风收集的一帧信号作为近端信号d(n)；
回声消除器，回声消除器通过一个自适应滤波器得到估计回声信号y^(n)，并以此消除近端信号d(n)中的回声部分，得到估计期望信号e^(n)；
处理模块，用于把远端信号x(n)，近端信号d(n)和估计期望信号e^(n)分别做快速傅里叶变换，分别得到它们的频域信号X(ejw)，D(ejw)，E(ejw)；以及，在最后把处理后的E(ejw)做快速傅里叶变换反变换，得到最终的期望信号r(n)；
残余回声消除器，用于通过相关函数，计算得到远端信号x(n)与近端信号d(n)的相关性，命名为cxd(ejw)，和近端信号d(n)与估计期望信号e^(n)的相关性，命名为cde(ejw)；根据滤波器是否收敛，采用不同方式对E(ejw)做非线性处理：
Figure BDA0002752648270000041
定义：
Figure BDA0002752648270000043
所述残余回声消除器中，所述的相关函数定义：
Figure BDA0002752648270000042
其中Φvu(ejw)，Φuu(ejw)，Φvv(ejw)是信号的功率谱与互功率谱密度，可由X(ejw)，D(ejw)，E(ejw)计算得到。
所述近端信号d(n)由回声信号y(n)和期望信号e(n)组成，所述回声信号y(n)是由远端信号x(n)经过房间的音频响应即线性系统得到的。
所述估计期望信号e^(n)是由近端信号d(n)消除估计回声信号y^(n)得到的。
所述残余回声消除器中，
当y(n)占的d(n)比重越大，cxd(ejw)越接近1，cdx(ejw)越接近0；
当e(n)占的d(n)比重越大，cxd(ejw)越接近0，cdx(ejw)越接近1；
当滤波器未收敛时，即使y(n)占的比重很大，由于滤波器未收敛，y^(n)不能很好地估计y(n)，所以，e^(n)中仍然留有很大一部分y(n)的成分；
因此，当滤波器未收敛时，cxd(ejw)接近1，cdx(ejw)也接近1；
得到滤波器是否收敛的判别式：
Figure BDA0002752648270000051
这里定义：
Figure BDA0002752648270000052
Figure BDA0002752648270000053
所述的快速傅里叶变换，用公式来表示是：
Figure BDA0002752648270000054
快速傅里叶变换反变换，用公式来表示就是：
Figure BDA0002752648270000055
综上，应用本申请的测试方法能够实现的优势在于：
本申请针对现有回声消除器对非线性系统的不足，提出一种消除残余回声的系统。该系统根据信号的相关性，通过残余回声消除器消除“残余回声信号”。并且本申请还能够判断自适应滤波器的收敛情况，然后根据滤波器的收敛情况，采用不同的非线性处理方法消除残余回声。本申请大大提高了消除回声的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1是现有技术中产生声学回音的示意框图。
图2是涉及本发明方法的回声消除残余回声的示意图。
图3是本发明系统的系统框图。
具体实施方式
为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
如图3所示，是本发明的一种消除残余回声的处理系统，所述系统包含：
扬声器，用于播放声音信号；
麦克风，用于接收声音信号；
信号获取模块，用于获取扬声器播放的一帧数据作为远端信号x(n)；
获取麦克风收集的一帧信号作为近端信号d(n)；
回声消除器，回声消除器通过一个自适应滤波器得到估计回声信号y^(n)，并以此消除近端信号d(n)中的回声部分，得到估计期望信号e^(n)；
处理模块，用于把远端信号x(n)，近端信号d(n)和估计期望信号e^(n)分别做快速傅里叶变换，分别得到它们的频域信号X(ejw)，D(ejw)，E(ejw)；以及，在最后把处理后的E(ejw)做快速傅里叶变换反变换，得到最终的期望信号r(n)；
残余回声消除器，用于通过相关函数，计算得到远端信号x(n)与近端信号d(n)的相关性，命名为cxd(ejw)，和近端信号d(n)与估计期望信号e^(n)的相关性，命名为cde(ejw)；根据滤波器是否收敛，采用不同方式对E(ejw)做非线性处理：
Figure BDA0002752648270000061
定义：
Figure BDA0002752648270000062
所述残余回声消除器中，所述的相关函数定义：
Figure BDA0002752648270000071
其中Φvu(ejw)，Φuu(ejw)，Φvv(ejw)是信号的功率谱与互功率谱密度，可由X(ejw)，D(ejw)，E(ejw)计算得到。
当滤波器未收敛时，cxd(ejw)接近1，cdx(ejw)也接近1；
得到滤波器是否收敛的判别式：
Figure BDA0002752648270000072
这里定义：
Figure BDA0002752648270000073
Figure BDA0002752648270000074
进一步，如图2所示，本系统应用还可以具体描述如下：
1.获取扬声器播放的一帧数据作为“远端信号”x(n)，麦克风拾取的一帧信号作为“近端信号”d(n)。
2.回声消除器通过一个自适应滤波器得到“估计回声信号”y^(n)，并以此消除d(n)中的回声部分，得到“估计期望信号”e^(n)。
3.把x(n)，d(n)和e^(n)分别做快速傅里叶变换，分别得到它们的频域信号X(ejw)，D(ejw)，E(ejw)。
4.残余回声消除器通过相关函数，计算得到x(n)与d(n)的相关性，命名为cxd(ejw)和d(n)与e^(n)的相关性，命名为cde(ejw)。
所述的相关函数定义：
Figure BDA0002752648270000076
其中Φvu(ejw)，Φuu(ejw)，Φvv(ejw)是信号的功率谱与互功率谱密度，可由X(ejw)，D(ejw)，E(ejw)计算得到。
5.d(n)由y(n)和e(n)组成。“回声信号”y(n)是由x(n)经过房间的音频响应(线性系统)得到的。e^(n)是由d(n)消除y^(n)得到的。
当y(n)占的d(n)比重越大，cxd(ejw)越接近1，cdx(ejw)越接近0。
当e(n)占的d(n)比重越大，cxd(ejw)越接近0，cdx(ejw)越接近1。
6.当滤波器未收敛时，即使y(n)占的比重很大，由于滤波器未收敛，y^(n)不能很好地估计y(n)，所以，e^(n)中仍然留有很大一部分y(n)的成分。
因此，当滤波器未收敛时，cxd(ejw)接近1，cdx(ejw)也接近1。
这样，我们就可以得到滤波器是否收敛的判别式：
Figure BDA0002752648270000081
这里定义：
Figure BDA0002752648270000082
Figure BDA0002752648270000083
7.根据滤波器是否收敛，残余回声消除器采用不同方式对E(ejw)做非线性处理，
Figure BDA0002752648270000084
这里定义：
Figure BDA0002752648270000085
8.最后把处理后的E(ejw)做快速傅里叶变换反变换，得到最终的期望信号r(n)。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种消除残余回声的处理系统，其特征在于，所述系统包含：
扬声器，用于播放声音信号；
麦克风，用于接收声音信号；
信号获取模块，用于获取扬声器播放的一帧数据作为远端信号x(n)；
获取麦克风收集的一帧信号作为近端信号d(n)；
回声消除器，回声消除器通过一个自适应滤波器得到估计回声信号y^(n)，并以此消除近端信号d(n)中的回声部分，得到估计期望信号e^(n)；
处理模块，用于把远端信号x(n)，近端信号d(n)和估计期望信号e^(n)分别做快速傅里叶变换，分别得到它们的频域信号X(ejw)，D(ejw)，E(ejw)；以及，在最后把处理后的E(ejw)做快速傅里叶变换反变换，得到最终的期望信号r(n)；
残余回声消除器，用于通过相关函数，计算得到x(n)与d(n)的相关性，命名为cxd(ejw)，和d(n)与e^(n)的相关性，命名为cde(ejw)；根据滤波器是否收敛，采用不同方式对E(ejw)做非线性处理：
Figure FDA0002752648260000011
定义：
Figure FDA0002752648260000012
2.根据权利要求1所述的一种消除残余回声的处理系统，其特征在于，所述残余回声消除器中，所述的相关函数定义：
Figure FDA0002752648260000013
其中Φvu(ejw)，Φuu(ejw)，Φvv(ejw)是信号的功率谱与互功率谱密度，可由X(ejw)，D(ejw)，E(ejw)计算得到。
3.根据权利要求1所述的一种消除残余回声的处理系统，其特征在于，所述近端信号d(n)由回声信号y(n)和期望信号e(n)组成，所述回声信号y(n)是由远端信号x(n)经过房间的音频响应即线性系统得到的。
4.根据权利要求3所述的一种消除残余回声的处理系统，其特征在于，所述估计期望信号e^(n)是由近端信号d(n)消除估计回声信号y^(n)得到的。
5.根据权利要求4所述的一种消除残余回声的处理系统，其特征在于，所述残余回声消除器中，
当y(n)占的d(n)比重越大，cxd(ejw)越接近1，cdx(ejw)越接近0；
当e(n)占的d(n)比重越大，cxd(ejw)越接近0，cdx(ejw)越接近1；
当滤波器未收敛时，即使y(n)占的比重很大，由于滤波器未收敛，y^(n)不能很好地估计y(n)，所以，e^(n)中仍然留有很大一部分y(n)的成分；因此，当滤波器未收敛时，cxd(ejw)接近1，cdx(ejw)也接近1；
得到滤波器是否收敛的判别式：
Figure FDA0002752648260000021
这里定义：
Figure FDA0002752648260000022
Figure FDA0002752648260000023
6.根据权利要求1所述的一种消除残余回声的处理系统，其特征在于，所述的快速傅里叶变换，用公式来表示是：
Figure FDA0002752648260000031
快速傅里叶变换反变换，用公式来表示就是：
Figure FDA0002752648260000032
CN202011190690.3A 2020-10-30 2020-10-30 一种消除残余回声的处理系统 Active CN114449115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011190690.3A CN114449115B (zh) 2020-10-30 2020-10-30 一种消除残余回声的处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011190690.3A CN114449115B (zh) 2020-10-30 2020-10-30 一种消除残余回声的处理系统

Publications (2)

Publication Number Publication Date
CN114449115A true CN114449115A (zh) 2022-05-06
CN114449115B CN114449115B (zh) 2024-05-03

Family

ID=81357785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011190690.3A Active CN114449115B (zh) 2020-10-30 2020-10-30 一种消除残余回声的处理系统

Country Status (1)

Country Link
CN (1) CN114449115B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561184A (zh) * 2013-11-05 2014-02-05 武汉烽火众智数字技术有限责任公司 基于近端音频信号标定和修正的消除变频回声的方法
US20150181018A1 (en) * 2013-12-23 2015-06-25 Imagination Technologies Limited Acoustic Echo Suppression
CN106657507A (zh) * 2015-11-03 2017-05-10 中移（杭州）信息技术有限公司 一种声学回声消除方法及装置
CN111370015A (zh) * 2020-02-28 2020-07-03 北京字节跳动网络技术有限公司 回声消除方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561184A (zh) * 2013-11-05 2014-02-05 武汉烽火众智数字技术有限责任公司 基于近端音频信号标定和修正的消除变频回声的方法
US20150181018A1 (en) * 2013-12-23 2015-06-25 Imagination Technologies Limited Acoustic Echo Suppression
CN106657507A (zh) * 2015-11-03 2017-05-10 中移（杭州）信息技术有限公司 一种声学回声消除方法及装置
CN111370015A (zh) * 2020-02-28 2020-07-03 北京字节跳动网络技术有限公司 回声消除方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114449115B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN109727604B (zh) 用于语音识别前端的频域回声消除方法及计算机储存介质
CN110838300B (zh) 回声消除的处理方法及处理系统
CN108141502B (zh) 降低声学系统中的声学反馈的方法及音频信号处理设备
JP4161628B2 (ja) エコー抑圧方法及び装置
KR101469739B1 (ko) 오디오 신호들을 처리하는 디바이스 및 방법
WO2010055650A1 (ja) 適応フィルタ及びこれを有するエコーキャンセラ
JP2004537219A (ja) 高調波計算のための非線形エコーサプレッサを備えたエコーキャンセラ
CN110956975B (zh) 回声消除方法及装置
JP3359460B2 (ja) 適応フィルタ及びエコーキャンセラ
US9020144B1 (en) Cross-domain processing for noise and echo suppression
EP2741481B1 (en) Subband domain echo masking for improved duplexity of spectral domain echo suppressors
Rombouts et al. Robust and efficient implementation of the PEM-AFROW algorithm for acoustic feedback cancellation
EP2930917A1 (en) Method and apparatus for updating filter coefficients of an adaptive echo canceller
CN107005268B (zh) 回波消除装置和回波消除方法
Schwarz et al. Combined nonlinear echo cancellation and residual echo suppression
CN112929506B (zh) 音频信号的处理方法及装置，计算机存储介质及电子设备
CN113870881A (zh) 一种鲁棒哈默斯坦子带样条自适应回声消除方法
CN114449115B (zh) 一种消除残余回声的处理系统
CN115620737A (zh) 语音信号处理装置、方法、电子设备和扩音系统
JP4396449B2 (ja) 残響除去方法及びその装置
Mohammed A new adaptive beamformer for optimal acoustic echo and noise cancellation with less computational load
CN114449114B (zh) 一种针对回声消除残余回声的处理方法
JP3543636B2 (ja) ハウリング抑圧方法及び装置
JP2000134138A (ja) 副帯エコ―を打ち消すための無遅延システム
JP3616341B2 (ja) 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant