CN111312269B - 一种智能音箱中的快速回声消除方法 - Google Patents

一种智能音箱中的快速回声消除方法 Download PDF

Info

Publication number
CN111312269B
CN111312269B CN201911280021.2A CN201911280021A CN111312269B CN 111312269 B CN111312269 B CN 111312269B CN 201911280021 A CN201911280021 A CN 201911280021A CN 111312269 B CN111312269 B CN 111312269B
Authority
CN
China
Prior art keywords
echo
signal
microphone
transfer function
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911280021.2A
Other languages
English (en)
Other versions
CN111312269A (zh
Inventor
王冬霞
张伟
周城旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning University of Technology
Tianjin University of Technology and Education China Vocational Training Instructor Training Center
Original Assignee
Liaoning University of Technology
Tianjin University of Technology and Education China Vocational Training Instructor Training Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning University of Technology, Tianjin University of Technology and Education China Vocational Training Instructor Training Center filed Critical Liaoning University of Technology
Priority to CN201911280021.2A priority Critical patent/CN111312269B/zh
Publication of CN111312269A publication Critical patent/CN111312269A/zh
Application granted granted Critical
Publication of CN111312269B publication Critical patent/CN111312269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Abstract

本发明公开了一种智能音箱中的快速回声消除方法，包括：步骤一、建立包含语音信号、回声信号、背景噪声和麦克风接受信号的声学函数模型；步骤二、得到每个麦克风的声学传递函数模型；步骤三、得到固定波束形成器的上支路语音参考信号；步骤四、计算第一通道回声信号；步骤五、根据麦克风阵列空间结构，计算第一秒回声信号的相对回声传递函数，得到麦克风阵列的其他通道的回声信号；步骤六、由固定波束形成得到的语音参考信号和自适应波束形成噪声参考信号之间的最小均方误差值来构建代价函数对波束形成器系数进行更新迭代，得到消除回声信号和背景噪声的音箱声学函数模型，本发明结合自适应波束形成算法进行回声消除，不需要进行残留回声估计，在很好的抑制回声的同时，也能保证目标语音信号较小的失真。

Description

一种智能音箱中的快速回声消除方法
技术领域
本发明涉及音箱回声处理领域，尤其涉及一种智能音箱中的快速回声消除方法。
背景技术
近年来，随着人工智能技术的不断发展，语音交互成为最方便快捷的人机交互方式，其中智能音箱是人们日常主要应用对象。当智能音箱中扬声器播放音乐时，会经房间传播后被智能音箱中麦克风采集，即为智能音箱中的回声，该回声与使用者发出的目标语音信号叠加在一起，严重影响目标语音信号质量和唤醒与识别结果，从而不能继续对智能音箱进行有效的语音控制。因此研究如何去除智能音箱中的回声显得愈发重要。
在通信中，传统的单通道声学回声消除主要采用自适应滤波技术，现有的自适应滤波回声消除算法包括归一化最小均方算法、分块频域自适应算法、开源Speex算法和WEBRTC算法等。在多通道情况下，回声消除最直接的解决方案是在每个麦克风的输出端分别放置一个回声消除器，然而通道回声消除的复杂度与麦克风的数量成正比。对于较长的自适应滤波器，算法的复杂性既与麦克风数量成正比，又与回声消除器长度成正比，因此它很容易超过可用的计算资源。
当麦克风接收的信号不仅包含回声和目标语音信号，还包含背景噪声时，AEC的最终目标是完全去除回声和背景噪声，使其只有目标语音信号。但在大混响，低回噪比条件下，自适应滤波收敛后，仍会有残留回声存在，学者普遍认为单独的AEC无法抑制背景噪声和残留回声。单通道AEC通常应用后处理技术来抑制存在于回声消除输出后的背景噪声和残余回声。多通道AEC可以结合波束形成技术抑制背景噪声和残余回声。但在低回噪比条件下，由于波束形成中残留回声估计过高，会使目标语音信号有一定的失真，影响语音可懂度。因此，如何对多通道回声消除降低复杂性和失真性也变得愈发重要。
发明内容
本发明设计开发了一种智能音箱中的快速回声消除方法，结合相对回声传递函数进行回声估计并结合自适应波束形成算法进行回声消除，减少算法的复杂度，并且进一步减少在低回噪比下语音失真现象。
本发明提供的技术方案为：
一种智能音箱中的快速回声消除方法，包括：
步骤一、利用音箱的扬声器播放声波信号，并利用多个全向麦克风组成的均匀线性阵列采集扬声器发出的信号，建立包含语音信号、回声信号、背景噪声和麦克风接收信号的声学函数模型；
步骤二、根据麦克风的阵列结构，并结合所述声学函数模型改写每个麦克风的声学传递函数模型，并进行分帧处理和短时傅里叶变换；
步骤三、计算固定波束形成器，对每个麦克风的声学传递函数模型进行初级降噪，得到上支路语音参考信号；
步骤四、计算第一通道的回声信号，利用最小均方误差作为代价函数，使用梯度下降自适应算法进行更新；
步骤五、根据麦克风阵列空间结构，计算第一秒回声信号的相对回声传递函数，得到麦克风阵列的其他通道的回声信号，当做自适应波束形成噪声参考信号；
步骤六、由所述固定波束形成得到的上支路语音参考信号和自适应波束形成噪声参考信号之间的最小均方误差值来构建代价函数，使用归一化最小均方算法对波束形成器系数进行更新迭代，得到消除回声信号和背景噪声的音箱声学函数模型。
优选的是，所述声学函数模型为：
Yn(l,k)＝Dn(l,k)+Sn(l,k)+Vn(l,k)；
其中，Dn(l,k)表示回声信号，
Figure GDA0004006665500000031
hn(l,k)＝[Hn(0,k),…,Hn(B-1,k)]T，x(l,k)＝[X(l,k),…,X(l-B+1,k)]T，上脚标(·)T和(·)H表示转置和共轭转置，hn(l,k)是扬声器和麦克风之间的第n个声学回声传递函数AETF向量，B为hn(l,k)的长度，X(l,k)是扬声器播放的信号；
Sn(l,k)表示语音信号，Vn(l,k)表示背景噪声，l表示帧索引，k表示频域带索引，n表示麦克风索引，n∈{1,…,N}，N表示麦克风个数；
优选的是，所述相对回声传递函数为：
Figure GDA0004006665500000032
其中，hn(l,k)是扬声器和麦克风之间的第n个声学回声传递函数AETF向量。
优选的是，所述每个麦克风的声学传递函数模型为：
Figure GDA0004006665500000033
其中，
Figure GDA0004006665500000041
为第n个麦克风的声学函数模型，Cn(l,k)为每通道目标语音信号的相对传递函数，D1(l,k)为第一通道的回声信号，S1(l,k)为第一通道的语音信号。
优选的是，所述上支路语音参考信号为：
YFBF(l,k)＝wH(l,k)y(l,k)；
其中，y(l,k)＝{Y1(l,k),…,YN(l,k)}T是麦克风阵列接收信号，YFBF(l,k)为上支路语音参考信号；
w(l,k)＝c(l,k)(cH(l,k)c(l,k))-1；
其中，c(l,k)表示目标语音信号RTF向量，c(l,k)＝[1,C2(l,k),…,CN(l,k)]T，w(l,k)表示固定波束形成器权系数，w(l,k)＝[W1(l,k),…,WN(l,k)]T，WN(l,k)表示固定波束形成器的每通道权系数。
优选的是，所述步骤四的计算过程包括：
步骤1、利用自适应滤波技术计算第一通道回声信号，其计算公式为：
Figure GDA0004006665500000042
其中，
Figure GDA0004006665500000043
为第一通道的回声信号估计值，
Figure GDA0004006665500000044
为扬声器和麦克风之间的第一个声学回声传递函数AETF转置向量的估计值；
步骤2、根据所述第一通道回声信号，计算第一通道误差信号，其计算公式为：
Figure GDA0004006665500000045
其中，E1(l,k)为第一通道的误差信号；
步骤3、利用最小均方误差作为代价函数，使用梯度下降自适应算法进行更新，则更新等式表示为：
Figure GDA0004006665500000051
其中，M1(l,k)是一个B×B的自适应步长矩阵，
Figure GDA0004006665500000052
Figure GDA0004006665500000053
表示相关矩阵，
Figure GDA0004006665500000054
μ为固定步长，β为遗忘因子。
优选的是，所述步骤五的计算过程为：
先估计出前1s的相对回声传递函数，当作整段信号的相对回声传递函数，计算相对回声传递函数，其计算公式为：
Figure GDA0004006665500000055
则当n∈{2,…,N}时，回声估计信号可以表示为：
Figure GDA0004006665500000056
优选的是，所述步骤六的计算过程为：
根据固定波束形成得到的上支路语音参考信号YFBF(l,k)和自适应波束形成噪声参考信号YANC(l,k)之间的最小均方误差值来构建代价函数：
Figure GDA0004006665500000057
然后，使用归一化最小均方算法对波束形成器系数进行更新迭代
Figure GDA0004006665500000058
其中，YANC(l,k)＝qH(l,k)u(l,k)；
Figure GDA0004006665500000059
p(l,k)＝αpp(l,k)+(1-αp)||u(l,k)||2；
u(l,k)＝[D1(l,k),…,Dn(l,k),V1(l,k),…,Vn(l,k)]T是噪声参考信号，由估计回声和估计噪声向量串联组成。
本发明所述的有益效果
本发明设计开发了一种智能音箱中的快速回声消除方法，结合相对回声传递函数进行回声估计并结合自适应波束形成算法进行回声消除，减少算法的复杂度，并且进一步减少在低回噪比下语音失真现象，利用相对回声传递函数的回声估计，使计算量降低，便于在硬件上实现。本发明结合自适应波束形成算法进行回声消除，不需要进行残留回声估计，在很好的抑制回声的同时，也能保证目标语音信号较小的失真。
附图说明
图1为本发明所述的智能音箱环境下的声学模型图。
图2为本发明所述的回声消除算法框图。
图3为本发明所述的回声估计算法框图。
图4为本发明所述的第一通道AETF声学回声传递函数回声估计信号。
图5为本发明所述的第二通道真实回声信号。
图6为本发明所述的对比算法第二通道的回声估计信号。
图7为本发明所述的第二通道的回声估计信号。
图8为本发明所述的目标语音信号。
图9为本发明所述的第一通道麦克风接收信号。
图10为本发明所述的对比算法的信号图。
图11为本发明提供的回声消除算法的信号图。
图12为目标语音信号的语谱图。
图13为第一通道回声信号的语谱图。
图14为第一通道噪声信号的语谱图。
图15为第一通道麦克风信号的语谱图。
图16为对比算法的回声消除算法语谱图。
图17为本发明提供的回声消除算法语谱图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
如图1-3所示，本发明提供的智能音箱中的快速回声消除方法，包括以下步骤：
步骤一、利用音箱的扬声器播放声波信号，并利用多个全向麦克风组成的均匀线性阵列采集扬声器发出的信号，建立包含语音信号、回声信号背景噪声和麦克风接收信号的声学函数模型；
声学函数模型为：
Yn(l,k)＝Dn)l,k)+Sn(l,k)+Vn(l,k)；
其中，Dn(l,k)表示回声信号，当房间混响较大时，回声信号可以使用卷积传递函数近似表示为：
Figure GDA0004006665500000071
hn(l,k)＝[Hn(0,k),…,Hn(B-1,k)]T，x(L,k)＝[X(l,k),…,X(l-B+1,k)]T，上脚标(·)T和(·)H表示转置和共轭转置，hn(l,k)是扬声器和麦克风之间的第n个声学回声传递函数AETF向量，B为hn(l,k)的长度，X(l,k)是扬声器播放的信号；
Sn(l,k)表示语音信号，Vn(l,k)表示背景噪声，l表示帧索引，k表示频域带索引，n表示麦克风索引，n∈{1,…,N}，N表示麦克风个数。
步骤二、根据麦克风的阵列结构，并结合所述声学函数模型改写每个麦克风的声学传递函数模型，并进行分帧处理和短时傅里叶变换；
第一通道与其他通道间的相对回声传递函数为：
Figure GDA0004006665500000081
其中，hn(l,k)是扬声器和麦克风之间的第n个声学回声传递函数AETF向量。
麦克风的声学传递函数模型为：
Figure GDA0004006665500000082
其中，
Figure GDA0004006665500000083
为第n个麦克风的声学传递函数模型，Cn(l,k)为每通道目标语音信号的相对传递函数，D1(l,k)为第一通道的回声信号，S1(l,k)为第一通道的语音信号。
步骤三、计算固定波束形成器，对麦克风阵列接收信号进行初级降噪，得到上支路语音参考信号；
固定波束形成器表达式为
w(l,k)＝c(l,k)(cH(l,k)c(l,k))-1
式中：c(l,k)＝[1,C2(l,k),…,CN(l,k)]T，w(l,k)＝[W1(l,k),…,WN(l,k)]T，c(l,k)表示目标语音信号RTF向量。w(l,k)表示固定波束形成器权系数。
固定波束形成的输出为
YFBF(l,k)＝wH(l,k)y(l,k)；
式中：y(l,k)＝{Y1(l,k),…,YN(l,k)}T是麦克风阵列接收信号。
YFBF(l,k)作为上支路语音参考信号。
步骤四、计算第一通道的回声信号，利用最小均方误差作为代价函数，使用梯度下降自适应算法进行更新；
步骤1、利用自适应滤波技术计算第一通道回声信号，其计算公式为：
Figure GDA0004006665500000091
其中，
Figure GDA0004006665500000092
为第一通道的回声信号估计值，
Figure GDA0004006665500000093
为扬声器和麦克风之间的第一个声学回声传递函数AETF转置向量的估计值；
步骤2、根据所述第一通道回声信号，计算第一通道误差信号，其计算公式为：
Figure GDA0004006665500000094
其中，E1(l,k)为第一通道的误差信号；
步骤3、利用最小均方误差作为代价函数，使用梯度下降自适应算法进行更新，则更新等式表示为：
Figure GDA0004006665500000095
其中，M1(l,k)是一个B×B的自适应步长矩阵，
Figure GDA0004006665500000096
Figure GDA0004006665500000097
表示相关矩阵，
Figure GDA0004006665500000098
μ为固定步长，β为遗忘因子。
步骤五、根据麦克风阵列空间结构，计算第一秒回声信号的相对回声传递函数，得到麦克风阵列的其他通道的回声信号估算，当做自适应波束形成噪声参考信号；
先估计出前1s的相对回声传递函数，当作整段信号的相对回声传递函数，计算相对回声传递函数，其计算公式为：
Figure GDA0004006665500000099
则当n∈{2,…,N}时，回声估计信号可以表示为：
Figure GDA0004006665500000101
步骤六、由所述固定波束形成得到的上支路语音参考信号和自适应波束形成噪声参考信号之间的最小均方误差值来构建代价函数，使用归一化最小均方算法对波束形成器系数进行更新迭代，得到消除回声信号和背景噪声的音箱声学函数模型。
根据固定波束形成得到的上支路语音参考信号YFBF(l,k)和自适应波束形成噪声参考信号YANC(l,k)之间的最小均方误差值来构建代价函数：
Figure GDA0004006665500000102
然后，使用归一化最小均方算法对波束形成器系数进行更新迭代
Figure GDA0004006665500000103
其中，YANC(l,k)＝qH(l,k)u(l,k)；
Figure GDA0004006665500000104
p(l,k)＝αpp(l,k)+(1-αp)||u(l,k)||2；
u(l,k)＝[D1(l,k),…,Dn(l,k),V1(l,k),…,Vn(l,k)]T是噪声参考信号，由估计回声和估计噪声向量串联组成。
本算法的运行环境及仿真结果为：
模拟一个智能音箱设备，它由一个扬声器和一个麦克风阵列组成。麦克风阵列是由四个麦克风组成的均匀线性阵列，麦克风的间距是1.5cm。扬声器与阵列中心之间的距离为10cm。扬声器播放信号的到达方向设定为12°。此外，将所需的远场目标信号用另一个扬声器模拟，放置在距离阵列中心2.5m，71°处。选择与扬声器最接近的麦克风作为主麦克风，即n＝1。实验使用房间脉冲发生器，用镜像法对一个尺寸为3×5×2.5m3的房间产生两组AIR，每一组为有4个AIR。房间的混响时间设定为T60＝0.35s。采样率为fs＝16kHz，截断AIR的长度L＝1536个样本。STFT的长度K＝512，窗选择汉明窗，帧移R＝128，AETF滤波器长度
Figure GDA0004006665500000111
Figure GDA0004006665500000112
自适应滤波器固定步长为μ＝0.1，遗忘因子β＝exp{-R/(0.075fs)}，
Figure GDA0004006665500000113
初始化为零。自适应波束形成器固定步长μq＝0.005，遗忘因子αp＝0.9，q(l,k)初始化为零。由于噪声估计算法并不在本发明研究内，所以采用真实噪声信号进行试验。RTF在线下进行计算。实验选取最新文献的回声消除算法进行性能比较和分析。
表1为不同回噪比下各算法平均ERLE比较，表2为不同回信比和回噪比下各算法SDR与STOI得分。
表1不同回噪比下各算法平均ERLE比较
Figure GDA0004006665500000114
表2不同回信比和回噪比下各算法SDR与STOI得分
Figure GDA0004006665500000121
如图3～17所示，为回噪比为0dB时不同算法回声估计时域信号波形，回噪比0dB和回信比0dB不同算法目标语音时域信号波形，回噪比0dB回信比0dB时不同算法语谱图。结果表明，本发明性能参数提高明显由于对比文献提供的方法，一定程度上可以进一步提高目标语音的可懂度，减少语音失真。
其中，对比算法为通过自适应滤波对整段语音不断估计相对回声传递函数，得到每通道回声，并通过多通道维纳滤波算法进行回声消除和噪声减少。
本发明设计开发了一种智能音箱中的快速回声消除方法，结合相对回声传递函数进行回声估计并结合自适应波束形成算法进行回声消除，减少算法的复杂度，并且进一步减少在低回噪比下语音失真现象，于相对回声传递函数的回声估计，使计算量降低，便于在硬件上实现。本发明结合自适应算法进行回声消除，不需要进行残留回声估计，在很好的抑制回声的同时，也能保证目标语音信号较小的失真。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (4)

1.一种智能音箱中的快速回声消除方法，其特征在于，包括：
步骤一、利用音箱的扬声器播放声波信号，并利用多个全向麦克风组成的均匀线性阵列采集扬声器发出的信号，建立包含语音信号、回声信号、背景噪声和麦克风接收信号的声学函数模型；
步骤二、根据麦克风的阵列结构，并结合所述声学函数模型改写每个麦克风的声学传递函数模型，并进行分帧处理和短时傅里叶变换；
步骤三、计算固定波束形成器，对每个麦克风的声学传递函数模型进行初级降噪，得到上支路语音参考信号；
步骤四、计算第一通道的回声信号，利用最小均方误差作为代价函数，使用梯度下降自适应算法进行更新；
步骤五、根据麦克风阵列空间结构，计算第一秒回声信号的相对回声传递函数，得到麦克风阵列的其他通道的回声信号，当做自适应波束形成噪声参考信号；
步骤六、由所述固定波束形成得到的上支路语音参考信号和自适应波束形成噪声参考信号之间的最小均方误差值来构建代价函数，使用归一化最小均方算法对波束形成器系数进行更新迭代，得到消除回声信号和背景噪声的音箱声学函数模型；
所述声学函数模型为：
Yn(l，k)＝Dn(l，k)+Sn(l，k)+Vn(l，k)；
其中，Dn(l，k)表示回声信号，
Figure FDA0004006665490000011
hn(l，k)＝[Hn(0，k)，…，Hn(B-1，k)]T，x(l，k)＝[X(l，k)，…，X(l-B+1，k)]T，上脚标(·)T和(·)H表示转置和共轭转置，hn(l，k)是扬声器和麦克风之间的第n个声学回声传递函数AETF向量，B为hn(l，k)的长度，X(l，k)是扬声器播放的信号；
Sn(l，k)表示语音信号，Vn(l，k)表示背景噪声，l表示帧索引，k表示频域带索引，n表示麦克风索引，n∈{1，…，N}，N表示麦克风个数；
所述步骤六的计算过程为：
根据固定波束形成得到的上支路语音参考信号YFBF(l，k)和自适应波束形成噪声参考信号YANC(l，k)之间的最小均方误差值来构建代价函数：
Figure FDA0004006665490000025
然后，使用归一化最小均方算法对波束形成器系数进行更新迭代
Figure FDA0004006665490000021
其中，YANC(l，k)＝qH(l，k)u(l，k)；
Figure FDA0004006665490000022
p(l，k)＝αpp(l，k)+(1-αp)||u(l，k)||2；
u(l，k)＝[D1(l，k)，…，Dn(l，k)，V1(l，k)，…，Vn(l，k)]T是噪声参考信号，由估计回声和估计噪声向量串联组成；
自适应波束形成器固定步长μq，遗忘因子αp；
所述相对回声传递函数为：
Figure FDA0004006665490000023
其中，hn(l，k)是扬声器和麦克风之间的第n个声学回声传递函数AETF向量；
所述每个麦克风的声学传递函数模型为：
Figure FDA0004006665490000024
其中，
Figure FDA0004006665490000031
为第n个麦克风的声学传递函数模型，Cn(l，k)为每通道目标语音信号的相对传递函数，D1(l，k)为第一通道的回声信号，S1(l，k)为第一通道的语音信号。
2.根据权利要求1所述的智能音箱中的快速回声消除方法，其特征在于，所述上支路语音参考信号为：
YFBF(l，k)＝wH(l，k)y(l，k)；
其中，y(l，k)＝{Y1(l，k)，…，YN(l，k)}T是麦克风阵列接收信号，YFBF(l，k)为上支路语音参考信号；
w(l，k)＝c(l，k)(cH(l，k)c(l，k))-1；
其中，c(l，k)表示目标语音信号RTF向量，c(l，k)＝[1，C2(l，k)，…，CN(l，k)]T，w(l，k)表示固定波束形成器权系数，w(l，k)＝[W1(l，k)，…，WN(l，k)]T，WN(l，k)表示固定波束形成器的每通道权系数。
3.根据权利要求2所述的智能音箱中的快速回声消除方法，其特征在于，所述步骤四的计算过程包括：
步骤1、利用自适应滤波技术计算第一通道回声信号，其计算公式为：
Figure FDA0004006665490000032
其中，
Figure FDA0004006665490000033
为第一通道的回声信号估计值，
Figure FDA0004006665490000034
为扬声器和麦克风之间的第一个声学回声传递函数AETF转置向量的估计值；
步骤2、根据所述第一通道回声信号，计算第一通道误差信号，其计算公式为：
Figure FDA0004006665490000035
其中，E1(l，k)为第一通道的误差信号；
步骤3、利用最小均方误差作为代价函数，使用梯度下降自适应算法进行更新，则更新等式表示为：
Figure FDA0004006665490000041
其中，M1(l，k)是一个B×B的自适应步长矩阵，
Figure FDA0004006665490000042
Figure FDA0004006665490000043
表示相关矩阵，
Figure FDA0004006665490000044
μ为固定步长，β为遗忘因子。
4.根据权利要求3所述的智能音箱中的快速回声消除方法，其特征在于，所述步骤五的计算过程为：
先估计出前1s的相对回声传递函数，当作整段信号的相对回声传递函数，计算相对回声传递函数，其计算公式为：
Figure FDA0004006665490000045
则当n∈{2，…，N}时，回声估计信号可以表示为：
Figure FDA0004006665490000046
CN201911280021.2A 2019-12-13 2019-12-13 一种智能音箱中的快速回声消除方法 Active CN111312269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911280021.2A CN111312269B (zh) 2019-12-13 2019-12-13 一种智能音箱中的快速回声消除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911280021.2A CN111312269B (zh) 2019-12-13 2019-12-13 一种智能音箱中的快速回声消除方法

Publications (2)

Publication Number Publication Date
CN111312269A CN111312269A (zh) 2020-06-19
CN111312269B true CN111312269B (zh) 2023-01-24

Family

ID=71161405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911280021.2A Active CN111312269B (zh) 2019-12-13 2019-12-13 一种智能音箱中的快速回声消除方法

Country Status (1)

Country Link
CN (1) CN111312269B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970610B (zh) * 2020-08-26 2022-05-20 展讯通信（上海）有限公司 回声路径检测方法、音频信号处理方法及系统、存储介质、终端
CN113470678B (zh) * 2021-07-08 2024-03-15 泰凌微电子(上海)股份有限公司 麦克风阵列降噪方法、装置和电子设备
CN113921007B (zh) * 2021-09-28 2023-04-11 乐鑫信息科技（上海）股份有限公司 提升远场语音交互性能的方法和远场语音交互系统
WO2023065317A1 (zh) * 2021-10-22 2023-04-27 阿里巴巴达摩院(杭州)科技有限公司 会议终端及回声消除方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564539A (zh) * 2017-08-29 2018-01-09 苏州奇梦者网络科技有限公司 面向麦克风阵列的声学回声消除方法及装置
EP3393140A1 (en) * 2017-04-20 2018-10-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for multichannel interference cancellation
US10229698B1 (en) * 2017-06-21 2019-03-12 Amazon Technologies, Inc. Playback reference signal-assisted multi-microphone interference canceler

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101470528B1 (ko) * 2008-06-09 2014-12-15 삼성전자주식회사 적응 빔포밍을 위한 사용자 방향의 소리 검출 기반의 적응모드 제어 장치 및 방법
US8385557B2 (en) * 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction
US20140037100A1 (en) * 2012-08-03 2014-02-06 Qsound Labs, Inc. Multi-microphone noise reduction using enhanced reference noise signal
EP3416407B1 (en) * 2017-06-13 2020-04-08 Nxp B.V. Signal processor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3393140A1 (en) * 2017-04-20 2018-10-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for multichannel interference cancellation
US10229698B1 (en) * 2017-06-21 2019-03-12 Amazon Technologies, Inc. Playback reference signal-assisted multi-microphone interference canceler
CN107564539A (zh) * 2017-08-29 2018-01-09 苏州奇梦者网络科技有限公司 面向麦克风阵列的声学回声消除方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
人工智能电视远场语音设计;郭斌;《电子产品世界》;20181031;全文 *

Also Published As

Publication number Publication date
CN111312269A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN111312269B (zh) 一种智能音箱中的快速回声消除方法
CN106782590B (zh) 基于混响环境下麦克风阵列波束形成方法
CN109841206B (zh) 一种基于深度学习的回声消除方法
CN106710601B (zh) 一种语音信号降噪拾音处理方法和装置及冰箱
JP5124014B2 (ja) 信号強調装置、その方法、プログラム及び記録媒体
CN111161751A (zh) 复杂场景下的分布式麦克风拾音系统及方法
CN108172235A (zh) 基于维纳后置滤波的ls波束形成混响抑制方法
WO2013033991A1 (zh) 一种多麦克风阵列噪声消除方法、装置及系统
CN113129918B (zh) 联合波束形成和深度复数U-Net网络的语音去混响方法
CN102347028A (zh) 双麦克风语音增强装置及方法
CN105869651A (zh) 基于噪声混合相干性的双通道波束形成语音增强方法
Huang et al. Analysis and comparison of multichannel noise reduction methods in a common framework
Doclo et al. Multimicrophone noise reduction using recursive GSVD-based optimal filtering with ANC postprocessing stage
CN111312275A (zh) 一种基于子带分解的在线声源分离增强系统
CN112331226B (zh) 一种针对主动降噪系统的语音增强系统及方法
Aroudi et al. Cognitive-driven convolutional beamforming using EEG-based auditory attention decoding
CN113409810B (zh) 一种联合去混响的回声消除方法
CN113160842B (zh) 一种基于mclp的语音去混响方法及系统
Kawase et al. Automatic parameter switching of noise reduction for speech recognition
Yoshioka et al. Speech dereverberation and denoising based on time varying speech model and autoregressive reverberation model
Sun et al. A New Lightweight Dual-Microphone RNN-VAD Assist Adaptive Blocking Matrix for Dual-Channel Speech Enhancement
CN112017684B (zh) 一种基于麦克风阵列的密闭空间混响消除方法
Liang et al. An Implementaion of the CNN-Based MVDR Beamforming For Speech Enhancement
Stern Robust speech recognition
CN117877503A (zh) 一种基于自适应多通道线性预测的低复杂度语音去混响方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211216

Address after: 300222 Dagu South Road, Jinnan District, Tianjin

Applicant after: TIANJIN University OF TECHNOLOGY AND EDUCATION (CHINA VOCATIONAL TRAINING INSTRUCTOR TRAINING CENTER)

Applicant after: Liaoning University of Technology

Address before: 121001, 169 street, Guta District, Liaoning, Jinzhou

Applicant before: LIAONING University OF TECHNOLOGY

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant