CN108376548A - 一种基于麦克风阵列的回声消除方法与系统 - Google Patents

一种基于麦克风阵列的回声消除方法与系统 Download PDF

Info

Publication number
CN108376548A
CN108376548A CN201810040648.XA CN201810040648A CN108376548A CN 108376548 A CN108376548 A CN 108376548A CN 201810040648 A CN201810040648 A CN 201810040648A CN 108376548 A CN108376548 A CN 108376548A
Authority
CN
China
Prior art keywords
echo
aec
velocity
signal
wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810040648.XA
Other languages
English (en)
Other versions
CN108376548B (zh
Inventor
张惠荣
王伟廷
朴志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Yilian Communication Technology Co ltd
Original Assignee
Xiamen Yealink Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Yealink Network Technology Co Ltd filed Critical Xiamen Yealink Network Technology Co Ltd
Priority to CN201810040648.XA priority Critical patent/CN108376548B/zh
Priority to PCT/CN2018/078199 priority patent/WO2019140755A1/zh
Publication of CN108376548A publication Critical patent/CN108376548A/zh
Application granted granted Critical
Publication of CN108376548B publication Critical patent/CN108376548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02085Periodic noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

本发明涉及一种基于麦克风阵列的回声消除方法及系统,其通过波速形成、线性回声消除与非线性回声消除三重结构抑制了拾取信号中的回声能量,其中,波束形成模块稳定抑制喇叭方位的直达声信号,不受环境变化影响;线性回声消除模块对波速形成后的残留回声进行抑制,消除回声的反射部分;而非线性回声消除模块利用参考信号与残留回声信号的长时幅度相关度进行增益抑制,进一步抑制回声能量。本发明在大幅提升对回声的抑制效果的同时保证了拾取信号的清晰、自然,与现有技术相比有更强的性能以及更好的稳定性。

Description

一种基于麦克风阵列的回声消除方法与系统
技术领域
本发明涉及音频信号处理领域,具体涉及一种基于麦克风阵列的回声消除方法与系统。
背景技术
实时通信设备进行麦克风拾音时,会受环境噪声、混响、电路噪声的干扰,同时还受回声的干扰。当远端话者的讲话通过受话器播放时,麦克风在拾取话者声音的同时也拾取受话器信号。受话器信号会直接传达到麦克风,同样也会经过物体反射,衍射,共振等方式传递到麦克风。因此,远端话者在说话同时,会听到自己的声音从对方传回来。信号处理系统与通信的总延时超过10ms时,话者会感知到自己的回声;当回声的总延时超过数十毫秒时,话者会觉得回声干扰了自己说话。而实际通信中,信号延时往往会大于100ms以上。在语音/音频信号处理领域,已经有了很多经典而成熟的回声消除方法。其中LMS、NLMS、GSPAPA等算法已经广泛应用于话机、移动电话,保证了优质的通话音质,使用户免受回声的干扰。
然而,对于免提通话以及视频会议系统等开放式通信场景中,特别是对于麦克风与喇叭安置在同一机器上的免提式通信设备,麦克风拾取的声信号中,回声能量经常会多于话者能量及SER(Signal-to-Acoustic Echoes-Ratio)小于0。而SER越小,回声消除算法需要抑制的回声等级就越大。为了提升回声的抑制等级,回声消除算法需要提高自适应滤波器的精确度。而过度提高精确度导致自适应速率变慢。考虑到各方面因数,传统回声消除算法在上述环境中无法干净的消除拾取信号中的回声信号。
在不得已的情况下,多数免提设备限制了扬声器输出保证的最低限度的SER。还有一些设备在扬声器播放大功率声音时动态降低输入灵敏度,保留了扬声器音量,保证了单工通信质量。然而面对多人会议环境中,不免会出现远端与近端话者同时讲话的情况。此时,远端话者会接收到忽高忽低的拾音信号,严重影了全双工通信的自然通话质量。
总而言之,如何能够在免提环境下提供更有效的回声消除方法,保证自然地全双工通信成为了本领域技术人员迫切解决的问题。
发明内容
本发明的目的在于提供一种基于麦克风阵列的回声消除方法与系统,其可以大幅提高回声抑制等级,有效消除回声,保证了全双工通信的自然通话质量。
为实现上述目的,本发明采用的技术方案是:
一种基于麦克风阵列的回声消除方法,其具体包括以下步骤:
步骤1、对多路输入的时域音频信号xM进行分帧,短时时频变换得到频域输入信号Xn;对参考信号ref进行分帧,短时时频变换得到频域参考信号REFn
步骤2、根据频域输入信号Xn,通过波速形成迭代算法更新自适应波速形成增益WABF
步骤3、通过步骤1得到的频域输入信号Xn与步骤2得到的波速形成增益WABF,计算波速形成后的频域信号YABF,
YABF[k]=WABF[k]*Xn[k] (1)
其中,k=0,…,N/2-1;N=2R,R为帧长;
步骤4、根据步骤3得到的波速形成后的频域信号YABF,与步骤1得到的频域参考信号REFn,通过自适应回声消除得到频域回声消除残留信号EAEC
步骤5、根据步骤4得到的频域回声消除残留信号EAEC,与步骤1得到的频域参考信号REFn,通过幅度自适应回声消除得到回声消除输出信号YAEC
步骤6、将回声消除输出信号YAEC进行时频逆变换的得到时域输出信号。
所述步骤1中的短时时频变换为重叠加窗短时傅里叶变换,窗函数选择汉宁窗;
所述频域输入信号Xn为:
所述频域参考信号REFn为:
其中,k=0,…,N/2-1;N=2R,R为帧长;m=0,…,M-1,M为麦克风阵列的麦克风总数;n为帧序号。
所述步骤2具体如下:
步骤2.1、根据步骤1得到的频域输入信号xM得到频域输入矩阵Xm,
其中,BNABF为波速形成的分块数目;k=0,…,N/2-1;N=2R,R为帧长;m=0,…,M-1,M为麦克风阵列的麦克风总数;n为帧序号;
步骤2.2、根据步骤2.1得到的频域输入矩阵Xm与自适应波速形成增益WABF,计算
其中,为上一帧回声消除后的残留信号,PA为波速形成的投影矩阵,μABF为波速形成自适应步长;
步骤2.3、计算更新后的自适应波速形成增益WABF
其中,为自适应增益,为约束增益。
所述步骤2中的波速形成的投影矩阵PA与约束增益根据麦克风摆设及拾音方位确定,具体如下:
步骤2.2.1、根据麦克风摆设位置与拾音方位计算约束矩阵计算距离dm
其中,m=1,2,…,M;x,y,z是空间坐标;
步骤2.2.2、根据频点频率f计算各频率波长λ,
λ[k]=c/f[k] (25)
其中,c为环境中声音传播速度;
步骤2.2.3、根据麦克风距离dm与波长λ计算各个频率的转向矩阵a,
其中,d0为参考位置的坐标;
步骤2.2.4、根据转向矩阵a计算约束矩阵C,
C[k]={a[k],sp[k]} (27)
其中,sp为喇叭方位的转向矩阵;
步骤2.2.5、根据约束矩阵C计算各个频率的约束增益
其中,
步骤2.2.6、根据约束矩阵C计算各个频率的投影矩阵PA,
PA[k]=I-C[k]/(C*[k]C[k])C*[k] (29)
其中,I为单位矩阵。
所述步骤4具体为:
步骤4.1、根据频域参考信号REFn计算回声消除的参考矩阵XFm,
BNAEC为回声消除的分块数目,k=0,…,N/2-1;N=2R,R为帧长;n为帧序号;
步骤4.2、根据回声消除的参考矩阵XFm与上一帧迭代得到的回声消除自适应增益计算AAEC
其中,BNABF为波速形成的分块数目;
步骤4.3、根据步骤3得到的波速形成后的频域信号YABF与步骤4.2得到的AAEC,计算回声消除后的残留信号EAEC
EAEC[k]=YABF[k]-AAEC[k] (9)
步骤4.4、根据步骤3得到的波速形成后的频域信号YABF计算回声消除的谱功率PAEC
其中,α为平滑系数,α∈[0,1];
步骤4.5、根据步骤4.4得到的谱功率PAEC与步骤4.3得到的回声消除后的残留信号EAEC,计算回声消除的归一化残留信号
步骤4.6、根据步骤4.5得到的回声消除的归一化残留信号计算回声消除的迭代因子PP,
其中,n=0,…,BNAEC-1,thAEC为归一化阈值;
步骤4.7、根据回声消除的迭代因子PP更新回声消除自适应增益WAEC
其中,μAEC为回声消除的迭代步长。
所述步骤5中,幅频自适应回声消除具体如下:
步骤5.1、根据步骤1得到的频域参考信号REFn计算幅度回声消除的参考矩阵XFmAEC_Mag
步骤5.2、根据幅度回声消除的参考矩阵XFmAEC_Mag与上一帧迭代得到的幅度回声消除的自适应增益计算AAEC_Mag
步骤5.3、根据AAEC_Mag与步骤5得到的回声消除后的残留信号EAEC得到幅度回声消除的后的残留信号EAEC_Mag
EAEC_Mag[k]=|EAEC[k]|-AAEC_Mag[k] (16)
步骤5.4、根据回声消除后的残留信号EAEC计算幅度回声消除的谱功率PAEC_Mag
其中,α为平滑系数,α∈[0,1];
步骤5.5、根据谱功率PAEC_Mag与幅度回声消除后的残留信号EAEC_Mag计算归一化残留信号
步骤5.6、根据上述归一化残留信号计算幅度回声消除的迭代因子PPMag
其中,n=0,…,BNAEC-1;
步骤5.7、根据幅度回声消除的迭代因子PPMag更新幅度回声消除自适应增益WAEC_Mag
其中,μAEC_Mag为迭代步长;
步骤5.8、根据步骤5.4得到的幅度回声消除后的残留信号EAEC_Mag与步骤4得到的幅度回声消除后的残留信号EAEC,计算幅度回声消除非线性增益
其中,MINGAIN为非线性最小增益;
步骤5.9、根据幅度回声消除非线性增益与步骤4得到的回声消除后的残留信号EAEC得到回声消除输出信号YAEC
其中,为幅度回声消除非线性增益,EAEC为回声消除后的残留信号。
所述步骤6中的幅频逆变换为短时傅里叶逆变换,得到的时域输出信号为:
其中,r=0,…,N-1,N=2R,n为帧序号,时域输出信号y初始值为0。
相应地,本发明还提供一种基于麦克风阵列的回声消除系统,其包括短时时频变换模块、话者方位检测模块、波速形成重置模块、波速形成自适应模块、波速形成模块、线性回声消除模块、非线性回声消除模块和短时时频逆变换模块;
所述短时时频变换模块,用于将输入的时域音频信号进行分帧并变换到频域,并进行缓冲处理;
所述话者方位检测模块,用于输出实时检测的话者方位坐标;
所述波速形成重置模块,用户设定的指向或检测到的用户方位变更时重新计算约束增益与投影矩阵;
所述波速形成自适应模块,根据回声与干扰声最小化算法,自适应变化波速形成增益;
所述波速形成模块,用于对频域输入信号应用波速形成增益,消除回声的直达部分;
所述线性回声消除模块,根据参考信号自适应学习,对波速形成后的残留回声进行抑制,消除回声的反射部分;
所述非线性回声消除模块,利用参考信号与残留回声信号的长时幅度相关度进行增益抑制,进一步抑制回声能量;
所述短时时频逆变换模块,用于将回声消除信号进行时频逆变换,以获取其频域信号。
本发明通过波速形成、线性回声消除与非线性回声消除三重结构抑制了拾取信号中的回声能量,其中,波束形成模块稳定抑制喇叭方位的直达声信号,不受环境变化影响;线性回声消除模块对波速形成后的残留回声进行抑制,消除回声的反射部分;而非线性回声消除模块利用参考信号与残留回声信号的长时幅度相关度进行增益抑制,进一步抑制回声能量。本发明在大幅提升对回声的抑制效果的同时保证了拾取信号的清晰、自然,与现有技术相比有更强的性能以及更好的稳定性。
本发明在回声消除之前首先进行波速形成,确保了波速形成算法不受回声消除自适应变化带来的干扰,同时也避免了采用多路回声消除时产生的庞大计算量。
附图说明
图1本发明的系统框图;
图2本发明具体实施例结构示意图;
图3本发明具体实施例预设拾音方向示意图;
图4为本发明具体实施例样本信号时幅图;
图5为本发明具体实施例样本信号时频图;
图6为传统回声消除方式的处理后的时幅图;
图7为传统回声消除方式的处理后的时频图;
图8为本发明具体实施例处理后的时幅图;
图9为本发明具体实施例处理后的时频图。
具体实施方式
如图1所示,本发明揭示了一种基于麦克风阵列的回声消除方法,其具体包括以下步骤:
步骤1、对多路输入的时域音频信号xM进行分帧,短时时频域变换得到频域输入信号Xn;对参考信号ref进行分帧,短时时频变换得到频域参考信号REFn
其中,短时时频变换为重叠加窗(overlap-add method)短时傅里叶变换(STFT),窗函数选择汉宁窗,得到的频域输入信号Xn如式(2)所示:
其中,k=0,…,N/2-1;N=2R,R为帧长;m=0,…,M-1,M为麦克风阵列的麦克风总数;n为帧序号。后续步骤中k均表示子带序号,m均表示麦克风序号,不再进行重复说明。
而进行短时时频变换得到的频域参考信号REFn如式(3)所示:
步骤2、根据频域输入信号Xn,通过波速形成迭代算法更新自适应波速形成增益WABF
而波速形成迭代算法包括:
步骤2.1、根据步骤1得到的频域输入信号xM得到频域输入矩阵Xm,如式(4)所示:
其中,BNABF为波速形成的分块数目。
步骤2.2、根据步骤2.1得到的频域输入矩阵Xm,与自适应波速形成自增益WABF得到如式(5)所示:
其中,为上一帧回声消除后的残留信号,PA为波速形成的投影矩阵,μABF为波速形成自适应步长。
步骤2.3、根据步骤2.2得到的与约束增益相加得到更新后的自适应波速形成增益WABF,如式(6)所示:
步骤3、通过步骤1得到的频域输入信号Xn与步骤2得到的波速形成增益WABF,计算波速形成后的频域信号YABF,如式(1)所示;
YABF[k]=WABF[k]*Xn[k] (1)
步骤4、根据步骤3得到的波速形成后的频域信号YABF,与步骤1得到的频域参考信号REFn,通过自适应回声消除得到频域回声消除残留信号EAEC
步骤4.1、根据频域参考信号REFn计算回声消除的参考矩阵XFm,如式(7)所示:
BNAEC为回声消除的分块数目。
步骤4.2、根据回声消除的参考矩阵XFm与上一帧迭代得到的回声消除自适应增益计算回声信号AAEC,如式(8)所示:
步骤4.3、根据步骤3得到的波速形成后的频域信号YABF与步骤4.2得到的AAEC,计算回声消除后的残留信号EAEC,如式(9)所示:
EAEC[k]=YABF[k]-AAEC[k] (9)
步骤4.4、根据步骤3得到的波速形成后的频域信号YABF计算回声消除的谱功率PAEC,如式(10)所示:
其中,α为平滑系数,α∈[0,1]。
步骤4.5、根据步骤4.4得到的谱功率PAEC与步骤4.3得到的回声消除后的残留信号EAEC,计算回声消除的归一化残留信号如式(11)所示:
步骤4.6、根据步骤4.5得到的回声消除的归一化残留信号计算回声消除的迭代因子PP,如式(12)所示:
其中,n=0,…,BNAEC-1,thAEC为归一化阈值。
步骤4.7、根据回声消除的迭代因子PP更新回声消除自适应增益WAEC,如式(13)所示:
WAEC[k][n]=WAEC[k][n]+μAECPP[k][n] (13)
其中,μAEC为回声消除的迭代步长。
步骤5、根据步骤4得到的频域回声消除残留信号EAEC,与步骤1得到的频域参考信号REFn,通过幅度自适应回声消除得到回声消除输出信号YAEC
其中,幅频自适应回声消除具体如下:
步骤5.1、根据步骤1得到的频域参考信号REFn计算幅度回声消除的参考矩阵XFmAEC_Mag,如式(14)所示:
步骤5.2、根据幅度回声消除的参考矩阵XFmAEC_Mag与上一帧迭代得到的幅度回声消除的自适应增益计算AAEC_Mag,如式(15)所示:
步骤5.3、根据AAEC_Mag与步骤5得到的回声消除后的残留信号EAEC得到幅度回声消除的后的残留信号EAEC_Mag,如式(16)所示:
EAEC_Mag[k]=|EAEC[k]|-AAEC_Mag[k] (16)
步骤5.4、根据回声消除后的残留信号EAEC计算幅度回声消除的谱功率PAEC_Mag,如式(17)所示:
其中,α为平滑系数,α∈[0,1]。
步骤5.5、根据谱功率PAEC_Mag与幅度回声消除后的残留信号EAEC_Mag计算归一化残留信号如式(18)所示:
其中,n=0,…,BNAEC-1。
步骤5.7、根据幅度回声消除的迭代因子PPMag更新幅度回声消除自适应增益WAEC_Mag,如式(20)所示:
其中,μAEC_Mag为迭代步长。
步骤5.8、根据步骤5.4得到的幅度回声消除后的残留信号EAEC_Mag与步骤4得到的幅度回声消除后的残留信号EAEC,计算幅度回声消除非线性增益如式(21)所示:
其中,MINGAIN为非线性最小增益。
步骤5.9、根据幅度回声消除非线性增益与步骤4得到的回声消除后的残留信号EAEC得到回声消除输出信号YAEC,如式(22)所示:
步骤6、根据上述回声消除输出信号YAEC进行时频逆变换的得到时域输出信号。
其中,幅频逆变换为短时傅里叶逆变换,如式(23)所示:
其中,r=0,…,N-1,N=2R,n为帧序号,时域输出信号y初始值为0。
上述步骤2中的波速形成的投影矩阵PA与约束增益可根据麦克风摆设及拾音方位确定,具体如下:
步骤2.2.1、根据麦克风摆设位置与拾音方位计算约束矩阵计算距离dm,如式(24)所示:
其中,m=1,2,…,M;x,y,z是空间坐标。
步骤2.2.2、根据频点频率f计算各频率波长λ,如式(25)所示:
λ[k]=c/f[k] (25)
其中,c为环境中声音传播速度。
步骤2.2.3、根据声延时τ计算各个频率的转向矩阵a,如式(26)所示:
其中,d0为参考位置的坐标,通常选择麦克风阵列的中心位置。
步骤3.2.4、根据转向矩阵a计算约束矩阵C,如式(27)所示:
C[k]={a[k],sp[k]} (27)
其中,sp为喇叭方位的转向矩阵,同样可通过式(26)得出。
步骤2.2.5、根据约束矩阵C计算各个频率的约束增益如式(28)所示:
其中,
步骤2.2.6、根据约束矩阵C计算各个频率的投影矩阵PA,如式(29)所示:
PA[k]=I-C[k]/(C*[k]C[k])C*[k] (29)
其中,I为单位矩阵。
基于上述回声消除方法,本发明还揭示了一种基于麦克风阵列的回声消除系统,其包括短时时频变换模块、话者方位检测模块、波速形成重置模块、波速形成自适应模块、波速形成模块、线性回声消除模块、非线性回声消除模块和短时时频逆变换模块;
其中,短时时频变换模块,用于将输入的时域音频信号进行分帧并变换到频域,并进行缓冲处理;
话者方位检测模块,用于输出实时检测的话者方位坐标;
波速形成重置模块,用户设定的指向或检测到的用户方位变更时重新计算约束增益与投影矩阵;
波速形成自适应模块,根据回声与干扰声最小化算法,自适应变化波速形成增益;
波速形成模块,用于对频域输入信号应用波速形成增益,消除回声的直达部分;
线性回声消除模块,根据参考信号自适应学习,对波速形成后的残留回声进行抑制,消除回声的反射部分;
非线性回声消除模块,波速形成与回声消除的迭代误差导致残留部分仍存在回声信号,非线性回声消除模块利用参考信号与残留回声信号的长时幅度相关度进行增益抑制,进一步抑制回声能量。
所述短时时频逆变换模块,用于将回声消除信号进行时频逆变换,以获取其频域信号。
在上述基于麦克风阵列的回声消除方法与系统的基础上,如图2所示,本发明的具体实施例采用了6个麦克风1的环形摆设,即M=6,麦克1风间距d为5.6CM;喇叭2摆设于设备中心位置;采样率fs=16KHz,帧长R=256。在该实施例中,波速形成的分块数目BNABF=10;波速形成自适应步长μABF=0.05。
如图3所示,该实施例预先规定了12个方向的拾音区,话者方位检测模块会根据这12个区域进行检测,返回话者方位,当话者所属区域发生变化时,触发波速形成重置模块,根据步骤2.2.1至步骤2.2.6重新计算投影矩阵PA与约束增益
根据麦克风间距为d,步骤2.2.1中的麦克风摆设位置如式(30)所示:
参考位置规定为拾音区中心角度上距离1M,高度0.2M。因此,步骤2.2.1所述的拾音方位根据12个拾音区分别为:
其中,l为0至11的整数。
进一步的,步骤2.2.2中,频点频率f,可通过采样率fs与帧长R得出,如式(32)所示:
本实施例中喇叭安置在设备中心位置与参考位置d0一致。为了得出步骤2.2.4的喇叭方位的转向矩阵sp,把0代入式(26):
sp[m][k]=e-2πj(0)/λ[k] (33)
其中,指数部分有一项始终为0,因此,sp始终为1。
本实施例中的参数设置如下:步骤4.2中的回声消除的分块数目BNAEC=5;步骤4.4与步骤5.4的平滑系数α=0.1;步骤4.6与步骤5.6所述的归一化阈值thAEC=1.5e-6;步骤4.7的回声消除的迭代步长μAEC=0.05;步骤5.7的幅度回声消除的迭代步长μAEC_Mag=0.2;步骤6.8的为非线性最小增益MINGAIN=0.01。
现结合样本信号进行进一步说明,如图4所示,样本信号采样率为16KHz,长度1分60秒。在该样本信号中,前33秒为单独喇叭发生区域;33秒至1分03秒为单独话者发声区域;1分03秒之后为喇叭与话者同时发声区域。可以看到,因麦克风非常靠近喇叭,麦克风拾取的回声信号明显大于话者信号;样本信号的时频图如图6所示。
图8为样本采用本发明回声消除方法后的信号时幅图,图9为对应时频图。作为对比,图6为通过传统回声消除NLMS方法得到的输出信号时幅图,图7为对应时频图。
通过对比可知,传统NLSM回声消除方法有明显的回声消除效果,然而,当回声信号大于话者信号时仍有明显的残留回声。而采用本发明回声消除方法后,明显降低了残留回声能量,大幅改善了拾音音质。
再者,通过对比图7与图9的前10秒区间可知,在滤波器快速收敛阶段,本发明的处理效果明显优于传统的回声消除方法。这是因为本发明中波速形成算法优先对回声直达声进行约束,降低了系统对滤波器系数变化的敏感度,提高了整体稳定性。
总之,本发明提出的基于麦克风阵列的回声消除方法对比传统的回声消除方法有效降低了残留回声能量,保证了免提设备的全双工通话质量的同时没有产生信号失真或谐波过大等不良效应。
以上所述,仅是本发明实施例而已,并非对本发明的技术范围作任何限制,故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (8)

1.一种基于麦克风阵列的回声消除方法,其特征在于:所述方法具体包括以下步骤:
步骤1、对多路输入的时域音频信号xM进行分帧,短时时频变换得到频域输入信号Xn;对参考信号ref进行分帧,短时时频变换得到频域参考信号REFn
步骤2、根据频域输入信号Xn,通过波速形成迭代算法更新自适应波速形成增益WABF
步骤3、通过步骤1得到的频域输入信号Xn与步骤2得到的波速形成增益WABF,计算波速形成后的频域信号YABF,
YABF[k]=WABF[k]*Xn[k] (1)
其中,k=0,…,N/2-1;N=2R,R为帧长;
步骤4、根据步骤3得到的波速形成后的频域信号YABF,与步骤1得到的频域参考信号REFn,通过自适应回声消除得到频域回声消除残留信号EAEC
步骤5、根据步骤4得到的频域回声消除残留信号EAEC,与步骤1得到的频域参考信号REFn,通过幅度自适应回声消除得到回声消除输出信号YAEC
步骤6、将回声消除输出信号YAEC进行时频逆变换的得到时域输出信号。
2.根据权利要求1所述的一种基于麦克风阵列的回声消除方法,其特征在于:所述步骤1中的短时时频变换为重叠加窗短时傅里叶变换,窗函数选择汉宁窗;
所述频域输入信号Xn为:
所述频域参考信号REFn为:
其中,k=0,…,N/2-1;N=2R,R为帧长;m=0,…,M-1,M为麦克风阵列的麦克风总数;n为帧序号。
3.根据权利要求1所述的一种基于麦克风阵列的回声消除方法,其特征在于:所述步骤2具体如下:
步骤2.1、根据步骤1得到的频域输入信号xM得到频域输入矩阵Xm,
其中,BNABF为波速形成的分块数目;k=0,…,N/2-1;N=2R,R为帧长;m=0,…,M-1,M为麦克风阵列的麦克风总数;n为帧序号;
步骤2.2、根据步骤2.1得到的频域输入矩阵Xm与自适应波速形成增益WABF,计算
其中,为上一帧回声消除后的残留信号,PA为波速形成的投影矩阵,μABF为波速形成自适应步长;
步骤2.3、计算更新后的自适应波速形成增益WABF
其中,为自适应增益,为约束增益。
4.根据权利要求3所述的一种基于麦克风阵列的回声消除方法,其特征在于:所述步骤2中的波速形成的投影矩阵PA与约束增益根据麦克风摆设及拾音方位确定,具体如下:
步骤2.2.1、根据麦克风摆设位置与拾音方位计算约束矩阵计算距离dm
其中,m=1,2,…,M;x,y,z是空间坐标;
步骤2.2.2、根据频点频率f计算各频率波长λ,
λ[k]=c/f[k] (25)
其中,c为环境中声音传播速度;
步骤2.2.3、根据麦克风距离dm与波长λ计算各个频率的转向矩阵a,
其中,d0为参考位置的坐标;
步骤2.2.4、根据转向矩阵a计算约束矩阵C,
C[k]={a[k],sp[k]} (27)
其中,sp为喇叭方位的转向矩阵;
步骤2.2.5、根据约束矩阵C计算各个频率的约束增益
其中,
步骤2.2.6、根据约束矩阵C计算各个频率的投影矩阵PA,
PA[k]=I-C[k]/(C*[k]C[k])C*[k] (29)
其中,I为单位矩阵。
5.根据权利要求1所述的一种基于麦克风阵列的回声消除方法,其特征在于:所述步骤4具体为:
步骤4.1、根据频域参考信号REFn计算回声消除的参考矩阵XFm,
BNAEC为回声消除的分块数目,k=0,…,N/2-1;N=2R,R为帧长;n为帧序号;
步骤4.2、根据回声消除的参考矩阵XFm与上一帧迭代得到的回声消除自适应增益计算AAEC
其中,BNABF为波速形成的分块数目;
步骤4.3、根据步骤3得到的波速形成后的频域信号YABF与步骤4.2得到的AAEC,计算回声消除后的残留信号EAEC
EAEC[k]=YABF[k]-AAEC[k] (9)
步骤4.4、根据步骤3得到的波速形成后的频域信号YABF计算回声消除的谱功率PAEC
其中,α为平滑系数,α∈[0,1];
步骤4.5、根据步骤4.4得到的谱功率PAEC与步骤4.3得到的回声消除后的残留信号EAEC,计算回声消除的归一化残留信号
步骤4.6、根据步骤4.5得到的回声消除的归一化残留信号计算回声消除的迭代因子PP,
其中,n=0,…,BNAEC-1,thAEC为归一化阈值;
步骤4.7、根据回声消除的迭代因子PP更新回声消除自适应增益WAEC
WaeC[k][N]=WAEC[k][n]+μAECPP[k][n] (13)
其中,μAEC为回声消除的迭代步长。
6.根据权利要求1所述的一种基于麦克风阵列的回声消除方法,其特征在于:所述步骤5中,幅频自适应回声消除具体如下:
步骤5.1、根据步骤1得到的频域参考信号REFn计算幅度回声消除的参考矩阵XFmAEC_Mag
步骤5.2、根据幅度回声消除的参考矩阵XFmAEC_Mag与上一帧迭代得到的幅度回声消除的自适应增益计算AAEC_Mag
步骤5.3、根据AAEC_Mag与步骤5得到的回声消除后的残留信号EAEC得到幅度回声消除的后的残留信号EAEC_Mag
EAEC_Mag[k]=|EAEC[k]|-AAEC_Mag[k] (16)
步骤5.4、根据回声消除后的残留信号EAEC计算幅度回声消除的谱功率PAEC_Mag
其中,α为平滑系数,α∈[0,1];
步骤5.5、根据谱功率PAEC_Mag与幅度回声消除后的残留信号EAEC_Mag计算归一化残留信号
步骤5.6、根据上述归一化残留信号计算幅度回声消除的迭代因子PPMag
其中,n=0,…,BNAEC-1;
步骤5.7、根据幅度回声消除的迭代因子PPMag更新幅度回声消除自适应增益WAEC_Mag
其中,μAEC_Mag为迭代步长;
步骤5.8、根据步骤5.4得到的幅度回声消除后的残留信号EAEC_Mag与步骤4得到的幅度回声消除后的残留信号EAEC,计算幅度回声消除非线性增益
其中,MINGAIN为非线性最小增益;
步骤5.9、根据幅度回声消除非线性增益与步骤4得到的回声消除后的残留信号EAEC得到回声消除输出信号YAEC
其中,为幅度回声消除非线性增益,EAEC为回声消除后的残留信号。
7.根据权利要求1所述的一种基于麦克风阵列的回声消除方法,其特征在于:所述步骤6中的幅频逆变换为短时傅里叶逆变换,得到的时域输出信号为:
其中,r=0,…,N-1,N=2R,n为帧序号,时域输出信号y初始值为0。
8.一种基于麦克风阵列的回声消除系统,其特征在于:包括短时时频变换模块、话者方位检测模块、波速形成重置模块、波速形成自适应模块、波速形成模块、线性回声消除模块、非线性回声消除模块和短时时频逆变换模块;
所述短时时频变换模块,用于将输入的时域音频信号进行分帧并变换到频域,并进行缓冲处理;
所述话者方位检测模块,用于输出实时检测的话者方位坐标;
所述波速形成重置模块,用户设定的指向或检测到的用户方位变更时重新计算约束增益与投影矩阵;
所述波速形成自适应模块,根据回声与干扰声最小化算法,自适应变化波速形成增益;
所述波速形成模块,用于对频域输入信号应用波速形成增益,消除回声的直达部分;
所述线性回声消除模块,根据参考信号自适应学习,对波速形成后的残留回声进行抑制,消除回声的反射部分;
所述非线性回声消除模块,利用参考信号与残留回声信号的长时幅度相关度进行增益抑制,进一步抑制回声能量;
所述短时时频逆变换模块,用于将回声消除信号进行时频逆变换,以获取其频域信号。
CN201810040648.XA 2018-01-16 2018-01-16 一种基于麦克风阵列的回声消除方法与系统 Active CN108376548B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810040648.XA CN108376548B (zh) 2018-01-16 2018-01-16 一种基于麦克风阵列的回声消除方法与系统
PCT/CN2018/078199 WO2019140755A1 (zh) 2018-01-16 2018-03-07 一种基于麦克风阵列的回声消除方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810040648.XA CN108376548B (zh) 2018-01-16 2018-01-16 一种基于麦克风阵列的回声消除方法与系统

Publications (2)

Publication Number Publication Date
CN108376548A true CN108376548A (zh) 2018-08-07
CN108376548B CN108376548B (zh) 2020-12-08

Family

ID=63015145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810040648.XA Active CN108376548B (zh) 2018-01-16 2018-01-16 一种基于麦克风阵列的回声消除方法与系统

Country Status (2)

Country Link
CN (1) CN108376548B (zh)
WO (1) WO2019140755A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109637555A (zh) * 2019-02-15 2019-04-16 广东科学技术职业学院 一种商务会议用日语语音识别翻译系统
CN109817240A (zh) * 2019-03-21 2019-05-28 北京儒博科技有限公司 信号分离方法、装置、设备及存储介质
CN109949820A (zh) * 2019-03-07 2019-06-28 出门问问信息科技有限公司 一种语音信号处理方法、装置及系统
CN110097891A (zh) * 2019-04-22 2019-08-06 广州视源电子科技股份有限公司 一种麦克风信号处理方法、装置、设备及存储介质
CN110246515A (zh) * 2019-07-19 2019-09-17 腾讯科技(深圳)有限公司 回声的消除方法、装置、存储介质及电子装置
CN110491405A (zh) * 2019-08-21 2019-11-22 南京信息工程大学 基于协同非线性自适应滤波的麦克风阵列语音增强方法
CN110838300A (zh) * 2019-11-18 2020-02-25 紫光展锐(重庆)科技有限公司 回声消除的处理方法及处理系统
CN112367594A (zh) * 2020-11-25 2021-02-12 厦门亿联网络技术股份有限公司 Aec调试方法、装置及计算机可读存储介质
CN113055787A (zh) * 2021-03-25 2021-06-29 科大讯飞股份有限公司 回声消除方法、装置、电子设备和存储介质
CN113077809A (zh) * 2021-03-23 2021-07-06 北京儒博科技有限公司 一种回声消除方法、装置、设备及存储介质
CN113542980A (zh) * 2021-07-21 2021-10-22 深圳市悦尔声学有限公司 一种抑制扬声器串扰的方法
CN114023307A (zh) * 2022-01-05 2022-02-08 阿里巴巴达摩院(杭州)科技有限公司 声音信号处理方法、语音识别方法、电子设备和存储介质
TWI759858B (zh) * 2020-09-11 2022-04-01 點通科技股份有限公司 具回音消除之通話系統及其操作方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028374A1 (en) * 2001-07-31 2003-02-06 Zlatan Ribic Method for suppressing noise as well as a method for recognizing voice signals
US7617099B2 (en) * 2001-02-12 2009-11-10 FortMedia Inc. Noise suppression by two-channel tandem spectrum modification for speech signal in an automobile
CN101604012A (zh) * 2008-06-11 2009-12-16 索尼株式会社 信号处理装置、信号处理方法以及程序
CN101667426A (zh) * 2009-09-23 2010-03-10 中兴通讯股份有限公司 一种消除环境噪声的装置及方法
CN101852846A (zh) * 2009-03-30 2010-10-06 索尼公司 信号处理设备、信号处理方法和程序
CN103077726A (zh) * 2012-01-09 2013-05-01 美商威睿电通公司 用于线性声学回声消除系统的预处理和后处理
CN104519212A (zh) * 2013-09-27 2015-04-15 华为技术有限公司 一种消除回声的方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102739886B (zh) * 2011-04-01 2013-10-16 中国科学院声学研究所 基于回声频谱估计和语音存在概率的立体声回声抵消方法
CN102509552B (zh) * 2011-10-21 2013-09-11 浙江大学 一种基于联合抑制的麦克风阵列语音增强方法
US9173025B2 (en) * 2012-02-08 2015-10-27 Dolby Laboratories Licensing Corporation Combined suppression of noise, echo, and out-of-location signals
CN103856871B (zh) * 2012-12-06 2016-08-10 华为技术有限公司 麦克风阵列采集多声道声音的装置及其方法
CN103778920B (zh) * 2014-02-12 2016-03-09 北京工业大学 数字助听器中语音增强和频响补偿相融合方法
CN107301869B (zh) * 2017-08-17 2021-01-29 珠海全志科技股份有限公司 麦克风阵列拾音方法、处理器及其存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7617099B2 (en) * 2001-02-12 2009-11-10 FortMedia Inc. Noise suppression by two-channel tandem spectrum modification for speech signal in an automobile
US20030028374A1 (en) * 2001-07-31 2003-02-06 Zlatan Ribic Method for suppressing noise as well as a method for recognizing voice signals
CN101604012A (zh) * 2008-06-11 2009-12-16 索尼株式会社 信号处理装置、信号处理方法以及程序
CN101852846A (zh) * 2009-03-30 2010-10-06 索尼公司 信号处理设备、信号处理方法和程序
CN101667426A (zh) * 2009-09-23 2010-03-10 中兴通讯股份有限公司 一种消除环境噪声的装置及方法
CN103077726A (zh) * 2012-01-09 2013-05-01 美商威睿电通公司 用于线性声学回声消除系统的预处理和后处理
CN104519212A (zh) * 2013-09-27 2015-04-15 华为技术有限公司 一种消除回声的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A. STENGER, W. KELLERMANN.: "Nonlinear acoustic echo cancellation with fast converging memoryless preprocessor", 《ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, 2000. ICASSP "00. PROCEEDINGS》 *
台宏达: "语音通信系统中的自适应回声消除技术", 《计算机仿真》 *
支艳利, 张云伟等: "基于环形麦克风阵列的远场语音识别系统", 《微型电脑应用》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109637555B (zh) * 2019-02-15 2022-05-24 广东科学技术职业学院 一种商务会议用日语语音识别翻译系统
CN109637555A (zh) * 2019-02-15 2019-04-16 广东科学技术职业学院 一种商务会议用日语语音识别翻译系统
CN109949820A (zh) * 2019-03-07 2019-06-28 出门问问信息科技有限公司 一种语音信号处理方法、装置及系统
CN109817240A (zh) * 2019-03-21 2019-05-28 北京儒博科技有限公司 信号分离方法、装置、设备及存储介质
CN110097891A (zh) * 2019-04-22 2019-08-06 广州视源电子科技股份有限公司 一种麦克风信号处理方法、装置、设备及存储介质
CN110097891B (zh) * 2019-04-22 2022-04-12 广州视源电子科技股份有限公司 一种麦克风信号处理方法、装置、设备及存储介质
CN110246515A (zh) * 2019-07-19 2019-09-17 腾讯科技(深圳)有限公司 回声的消除方法、装置、存储介质及电子装置
CN110246515B (zh) * 2019-07-19 2023-10-24 腾讯科技(深圳)有限公司 回声的消除方法、装置、存储介质及电子装置
CN110491405A (zh) * 2019-08-21 2019-11-22 南京信息工程大学 基于协同非线性自适应滤波的麦克风阵列语音增强方法
CN110491405B (zh) * 2019-08-21 2022-02-01 南京信息工程大学 基于协同非线性自适应滤波的麦克风阵列语音增强方法
CN110838300B (zh) * 2019-11-18 2022-03-25 紫光展锐(重庆)科技有限公司 回声消除的处理方法及处理系统
CN110838300A (zh) * 2019-11-18 2020-02-25 紫光展锐(重庆)科技有限公司 回声消除的处理方法及处理系统
TWI759858B (zh) * 2020-09-11 2022-04-01 點通科技股份有限公司 具回音消除之通話系統及其操作方法
CN112367594B (zh) * 2020-11-25 2022-03-11 厦门亿联网络技术股份有限公司 Aec调试方法、装置及计算机可读存储介质
CN112367594A (zh) * 2020-11-25 2021-02-12 厦门亿联网络技术股份有限公司 Aec调试方法、装置及计算机可读存储介质
CN113077809A (zh) * 2021-03-23 2021-07-06 北京儒博科技有限公司 一种回声消除方法、装置、设备及存储介质
CN113055787A (zh) * 2021-03-25 2021-06-29 科大讯飞股份有限公司 回声消除方法、装置、电子设备和存储介质
CN113055787B (zh) * 2021-03-25 2022-10-04 科大讯飞股份有限公司 回声消除方法、装置、电子设备和存储介质
CN113542980A (zh) * 2021-07-21 2021-10-22 深圳市悦尔声学有限公司 一种抑制扬声器串扰的方法
CN113542980B (zh) * 2021-07-21 2023-03-31 深圳市悦尔声学有限公司 一种抑制扬声器串扰的方法
CN114023307A (zh) * 2022-01-05 2022-02-08 阿里巴巴达摩院(杭州)科技有限公司 声音信号处理方法、语音识别方法、电子设备和存储介质

Also Published As

Publication number Publication date
WO2019140755A1 (zh) 2019-07-25
CN108376548B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN108376548A (zh) 一种基于麦克风阵列的回声消除方法与系统
US8751224B2 (en) Combined microphone and earphone audio headset having means for denoising a near speech signal, in particular for a “hands-free” telephony system
US9992572B2 (en) Dereverberation system for use in a signal processing apparatus
US7773759B2 (en) Dual microphone noise reduction for headset application
CN103428385B (zh) 用于处理音频信号的方法及用于处理音频信号的电路布置
US9264807B2 (en) Multichannel acoustic echo reduction
CN105825864B (zh) 基于过零率指标的双端说话检测与回声消除方法
US10115412B2 (en) Signal processor with side-tone noise reduction for a headset
CN108447496B (zh) 一种基于麦克风阵列的语音增强方法及装置
CN104883462B (zh) 一种用于消除声学回声的自适应滤波器及滤波方法
US20070253574A1 (en) Method and apparatus for selectively extracting components of an input signal
US9699554B1 (en) Adaptive signal equalization
CN107483761A (zh) 一种回波抑制方法及装置
KR20090050372A (ko) 혼합 사운드로부터 잡음을 제거하는 방법 및 장치
WO2013033991A1 (zh) 一种多麦克风阵列噪声消除方法、装置及系统
JP2012524917A (ja) アクティブ雑音消去の自動制御のためのシステム、方法、装置、およびコンピュータ可読媒体
WO2019213769A1 (en) Method, apparatus, and computer-readable media utilizing residual echo estimate information to derive secondary echo reduction parameters
CN1533665A (zh) 含有用于谐波计算的非线性回波抑制器的回波消除器
US20220301577A1 (en) Echo cancellation method and apparatus
WO2021114779A1 (zh) 基于双端发声检测的回声消除方法、装置及系统
US9373338B1 (en) Acoustic echo cancellation processing based on feedback from speech recognizer
CN1956480A (zh) 一种声学回声消除方法
Compernolle DSP techniques for speech enhancement
CN115579016B (zh) 一种声学回声消除的方法和系统
CN102316231B (zh) 一种回声消除的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230506

Address after: Room 208-7, Hengye Building, No. 100 Xiangxing Road, Xiang'an Industrial Zone, Torch High tech Zone, Xiamen City, Fujian Province, 361100

Patentee after: Xiamen Yilian Communication Technology Co.,Ltd.

Address before: 361009 unit 402-502, No.63, erwanghailu, software park, Xiamen City, Fujian Province

Patentee before: YEALINK (XIAMEN) NETWORK TECHNOLOGY Co.,Ltd.