CN106782590B - 基于混响环境下麦克风阵列波束形成方法 - Google Patents

基于混响环境下麦克风阵列波束形成方法 Download PDF

Info

Publication number
CN106782590B
CN106782590B CN201611150238.8A CN201611150238A CN106782590B CN 106782590 B CN106782590 B CN 106782590B CN 201611150238 A CN201611150238 A CN 201611150238A CN 106782590 B CN106782590 B CN 106782590B
Authority
CN
China
Prior art keywords
signal
microphone
frequency
received
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611150238.8A
Other languages
English (en)
Other versions
CN106782590A (zh
Inventor
郭业才
陈小燕
韩金金
禹胜林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Xinshiyun Science and Technology Co.,Ltd.
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201611150238.8A priority Critical patent/CN106782590B/zh
Publication of CN106782590A publication Critical patent/CN106782590A/zh
Application granted granted Critical
Publication of CN106782590B publication Critical patent/CN106782590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

本发明公开了一种基于混响环境下麦克风阵列波束形成方法：步骤1、获取麦克风接收到的信号；步骤2、对第n个麦克风接收到的信号xn(k)进行分帧加窗处理，得第n个麦克风接收到的加窗信号xnw(k)；步骤3、对第n个麦克风接收到的加窗信号xnw(k)进行第i个频率点的傅里叶变换；步骤4、基于维纳滤波的方法获得的输出信号；步骤5、通过基于维纳滤波的LCMV波束形成方法获得麦克风阵列波束形成器的输出信号。可有效抑制麦克风阵列混响问题，是一种适用于任意阵列结构的波束形成方法。

Description

基于混响环境下麦克风阵列波束形成方法
技术领域
本发明涉及一种基于混响环境下麦克风阵列波束形成方法。
背景技术
波束成形技术已经在语音通信系统、电话会议、语音识别和助听器等方面有着广泛应用，波束成形作为空间滤波器，从由一组麦克风接收的混合信号中提取目标信号。目前，波束形成器有固定波束形成、最小方差无失真响应(minimum variancedistortionless response，MVDR)等经典的宽带波束形成器，但存在阵列响应频率不变性较差、主瓣宽度因频率增大而减小、信号畸变等现象。为了解决宽带波束的畸变，目前出现了最小二乘方法、凸优化方法、特殊阵列结构方法、空间响应约束方法等，这些方法虽然改善了频率不变性，但是对于混响环境应用，上述的方法并不满足要求。
在封闭的空间环境中的目标语音信号通常会受到混响和噪声影响导致语音信号失真，因此抑制混响是目前语音信号处理当中的一个热点问题。近年来研究成熟的抑制或者去除混响的方法包括：逆滤波器方法、广义奇异值分解方法等。其中，逆滤波方法根据房间脉冲响应，设计相应的逆滤波器，通过对混响信号的逆滤波恢复出目标语音信号；而广义奇异值分解方法是估计房间脉冲响应，并且通过匹配滤波实现逆卷积。以上去混响的方法只能去除前期混响，且均没有考虑语音信号在空间上的信息。虽然具有空间指向性的线性约束最小方差波束形成方法(linear constrained minimum variance beamformer,LCMV)在理论上能够去除混响，但是计算复杂度较高，实际上难以实现。
发明内容
针对上述问题，本发明提供一种基于混响环境下麦克风阵列波束形成方法，可有效抑制麦克风阵列混响问题，是一种适用于任意阵列结构的波束形成方法。
为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
一种基于混响环境下麦克风阵列波束形成方法，包括如下步骤：
步骤1、获取麦克风接收到的信号：
设在封闭的室内环境下，由N个相同的全向性麦克风组成均匀线阵，有M个语音信号，位置为rm,m＝1,…,M，其中，目标语音信号位置为r1，其余位置的信号为干扰信号，N＞M，则第n个麦克风接收到的信号xn(k)表示为：
Figure GDA0002545000720000021
式中，Hnm,l是第m个语音到第n个麦克风、长度为l的房间冲激响应，且n＝1,…,N，l＝1,…,L；L为房间冲激响应的长度；sm(k)是第m个语音信号，vn(k)是第n个麦克风接收到的噪声；k表示离散时间；
步骤2、对第n个麦克风接收到的信号xn(k)进行分帧加窗处理，得第n个麦克风接收到的加窗信号xnw(k)；下标w表示加窗处理；
步骤3、对第n个麦克风接收到的加窗信号xnw(k)进行第i个频率点的傅里叶变换，得：xnw(ωi,k)
Figure GDA0002545000720000022
式中，sm(ωi,k)是sm(k)第n个麦克风接收信号的第i个频率带中的第k帧噪声信号；vn(ωi,k)是vn(k)在第n个麦克风接收信号的第i个频率带中的第k帧噪声信号；
步骤4、基于维纳滤波的方法获得的输出信号：
Figure GDA0002545000720000023
式中，W(ωi)是第i个频率点的维纳滤波器的系数，
Figure GDA0002545000720000024
是在维纳滤波输出信号的第i个频率带中的第k帧信号，i∈[1,I],I表示离散频率点的总数，I为整数；vn(ωi,k)表示第n个麦克风接收信号的第i个频率带中的第k帧噪声信号；i∈[1,I],I表示离散频率点的总数，I为整数；
步骤5、通过基于维纳滤波的LCMV波束形成方法获得麦克风阵列波束形成器的输出信号
Figure GDA0002545000720000031
其中Wn,opt(ω)是第n个麦克风阵列响应的最优权向量，
Figure GDA0002545000720000032
是第n个麦克风接收的信号在整个频率带中的维纳滤波输出信号。
优选，步骤2中的窗函数采用汉明窗函数w(k)，且w(k)＝0.5(1-cos(2πk))。
优选，步骤3中的傅里叶变换为短时傅里叶变换：通过在I个均等间隔的频率点上对频率变量ω进行采样，即ωi＝2πi/I，得到一个短时傅里叶变换
Figure GDA0002545000720000033
其中q是汉明窗移动的长度。
优选，步骤4中，维纳滤波器系数W(ωi)的确定方法为：
Figure GDA0002545000720000034
式中，Φss(ωi)为目标语音信号在第i个频率点的自功率谱，Φxx(ωi)为麦克风接收信号在第i个频率点的自功率谱。
优选，混响环境下维纳滤波的LCMV分频波束形成方法中麦克风阵列响应的最优权向量获取步骤如下：
1)计算麦克风阵列接收信号的自功率谱Φxx(ω)和维纳滤波器系数W(ωi)，得到维纳滤波器输出
Figure GDA0002545000720000035
2)将室内环境下的干扰抑制作为约束条件，则波束形成器分频带响应约束条件为：
Figure GDA0002545000720000036
Figure GDA0002545000720000037
Figure GDA0002545000720000041
Figure GDA0002545000720000042
式中，CN表示N维复数域；
Figure GDA0002545000720000043
是频率响应权向量；(·)*T表示共轭转置；
Figure GDA0002545000720000044
是低频段频率响应权向量，上标lcmv1表示低频段的LCMV波束形成方法，
Figure GDA0002545000720000045
是高频段频率响应权向量，上标lcmv2表示高频段LCMV波束形成方法，
Figure GDA0002545000720000046
是麦克风阵列接收到的信号
Figure GDA0002545000720000047
的自功率谱，
Figure GDA0002545000720000048
H1n,l表示目标语音信号方向的第n个麦克风、长度为l的房间冲激响应向量；Hnm,l表示第m个语音信号方向的第n个麦克风、长度为l的房间冲激响应向量；GD1(ω)为从目标语音信号点到线阵参考点麦克风的波束形成器输出的直达路径低频响应函数，下标D1表示目标语音信号低频段；GD2(ω)为从目标语音信号点到线阵参考点麦克风的波束形成器输出的直达路径高频响应，下标D2表示目标语音信号高频段；vn(ω)表示第n个麦克风接收信号的噪声向量；
3)根据LCMV准则，通过维纳滤波器输出语音信号的频域信息分别计算出低频段
Figure GDA0002545000720000049
和高频段
Figure GDA00025450007200000410
最优权值，其中：
Figure GDA00025450007200000411
Figure GDA00025450007200000412
Figure GDA00025450007200000413
Figure GDA00025450007200000414
式中，
Figure GDA00025450007200000415
维纳滤波器输出信号向量；
Figure GDA00025450007200000416
是第n个麦克风接收的信号在整个频率带中的维纳滤波输出信号；H是房间冲激响应向量，H＝Hn1,l......Hnm,l，则基于分频维纳滤波器的LCMV波束形成的最优权向量Wn,opt(ω)为：
Figure GDA0002545000720000051
式中，α是矩阵加权系数，是正常数。
优选，设实际环境中接收信号的频率范围是(ωmin，ωmax)，ω0是ωmin和ωmax的平均值，则高频和低频的划分方法为：当ω＞ω0为高频段，当ω≤ω0为低频段。
本发明的有益效果是：
本发明首先通过从空域滤波角度出发将自由场推广到混响场，对麦克风阵列接收到的信号进行短时傅里叶变换，得到具有空域信息和频域信息的麦克风阵列接收信号，然后将接收到的麦克风阵列信号输入到各个通道维纳滤波器中进行频域处理，最后通过维纳滤波器输出语音信号的频域信息，使用麦克风阵列线性约束最小方差(Linearconstrained minimum variance,LCMV)波束形成方法并由拉格朗日乘子法分别计算高频段和低频段最优权向量，从混响语音中分离出语音直达声语音信号。本发明方法可有效抑制麦克风阵列混响问题，是一种适用于任意阵列结构的波束形成方法。
附图说明
图1是本发明基于全频维纳滤波器的线性约束最小方差波束形成的结构图；
图2是本发明基于分频维纳滤波器的线性约束最小方差波束形成的结构图；
图3是消声室内的实验布局设置；
图4是目标语音信号的示意图；
图5是麦克风阵列通道1接收信号的示意图；
图6是全频波束形成方法的效果图；
图7是本发明分频去混响方法的效果图。
具体实施方式
下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
如图1-7所示，一种基于混响环境下麦克风阵列波束形成方法，包括如下步骤：
步骤1、获取麦克风接收到的信号：
设在封闭的室内环境下，由N个相同的全向性麦克风组成均匀线阵，有M个语音信号，位置为rm,m＝1,…,M，其中，目标语音信号位置为r1，其余位置的信号为干扰信号，N＞M，则第n个麦克风接收到的信号xn(k)表示为：
Figure GDA0002545000720000061
式中，Hnm,l是第m个语音到第n个麦克风、长度为l的房间冲激响应，且n＝1,…,N，l＝1,…,L；L为房间冲激响应的长度；sm(k)是第m个语音信号，vn(k)是第n个麦克风接收到的噪声；k表示离散时间。
步骤2、对第n个麦克风接收到的信号xn(k)进行分帧加窗处理，得第n个麦克风接收到的加窗信号xnw(k)；下标w表示加窗处理，窗函数可以采用汉明窗函数w(k)，且w(k)＝0.5(1-cos(2πk))。
步骤3、对第n个麦克风接收到的加窗信号xnw(k)进行第i个频率点的傅里叶变换，得xnw(ωi,k)：
Figure GDA0002545000720000062
式中，sm(ωi,k)是sm(k)第n个麦克风接收信号的第i个频率带中的第k帧噪声信号；vn(ωi,k)是vn(k)在第n个麦克风接收信号的第i个频率带中的第k帧噪声信号。
步骤3中的傅里叶变换为短时傅里叶变换：本发明通过在I个均等间隔的频率点上对频率变量ω进行采样，即ωi＝2πi/I，得到一个短时傅里叶变换
Figure GDA0002545000720000071
其中q是汉明窗移动的长度。
步骤4、基于维纳滤波的方法获得的输出信号
Figure GDA0002545000720000072
式中，W(ωi)是第i个频率点的维纳滤波器的系数，
Figure GDA0002545000720000073
是在维纳滤波输出信号的第i个频率带中的第k帧信号，i∈[1,I],I表示离散频率点的总数，I为整数；vn(ωi,k)也即在第n个麦克风接收信号的第i个频率带中的第k帧噪声信号；i∈[1,I],I表示离散频率点的总数，I为整数。
维纳滤波器系数W(ωi)的确定方法为：
Figure GDA0002545000720000074
式中，Φss(ωi)为目标语音信号在第i个频率点的自功率谱，Φxx(ωi)为麦克风接收信号在第i个频率点的自功率谱。
步骤5、通过基于维纳滤波的LCMV波束形成方法获得麦克风阵列波束形成器的输出信号
Figure GDA0002545000720000075
其中Wn,opt(ω)是第n个麦克风阵列响应的最优权向量，
Figure GDA0002545000720000076
是第n个麦克风接收的信号在整个频率带中的维纳滤波输出信号。
在封闭环境内，麦克风阵列采集到的语音信号不仅仅包含直达路径传播的信号，而且包含了由于房间反射而产生的延迟衰减信号，这种多径传播效应在接收信号中引入导致谱失真，称为混响。
本发明对麦克风阵列接收到的信号进行分帧加窗的短时傅里叶变换之后，计算接收信号的自功率谱，由这些短时功率谱估计得到维纳滤波器的系数，最后将接收到的麦克风阵列信号输入到各个通道维纳滤波器中进行频域处理。
如图1所示，基于维纳滤波的LCMV全频波束形成方法中麦克风阵列响应的最优权向量获取步骤如下：
1)计算麦克风阵列接收信号的自功率谱Φxx(ω)和维纳滤波器系数W(ωi)，得到维纳滤波器输出
Figure GDA0002545000720000081
由维纳滤波器理论可知，最佳滤波器系数W(ωi)为：
Figure GDA0002545000720000082
Φxx(ωi)＝E[|x(ωi,k)|2]
Φvv(ωi)＝E[|v(ωi,k)|2]
Φss(ωi)＝Φxx(ωi)-Φvv(ωi)
式中，Φss(ωi)为目标语音信号在第i个频率点的自功率谱，Φxx(ωi)为麦克风接收信号在第i个频率点的自功率谱，Φvv(ωi)为噪声信号在第i个频率点的自功率谱，单通道接收的信号x(ωi,k)，单通道接收的噪声信号v(ωi,k)。
2)将室内环境下的干扰抑制作为约束条件：在麦克风阵列各个通道信号经过维纳滤波器输出增强信号
Figure GDA0002545000720000083
这时各个通道内的混响得到一定程度的衰减，为了满足能够在室内达到干扰抑制和降噪的理想性能，则波束形成器全频带响应应满足条件为：
Figure GDA0002545000720000084
Figure GDA0002545000720000085
Figure GDA0002545000720000086
式中，CN表示N维复数域；
Figure GDA0002545000720000087
表示频率响应权向量，上标lcmv表示线性约束最小方差波束形成方法，下标n表示第n个麦克风；(·)*T表示共轭转置；
Figure GDA0002545000720000088
是麦克风阵列接收到的信号
Figure GDA0002545000720000089
的自功率谱，
Figure GDA00025450007200000810
H是房间冲激响应向量，H＝Hn1,l......Hnm,l，H1n,l表示目标语音信号方向的第n个麦克风、长度为l的房间冲激响应向量，Hnm,l表示第m个语音信号方向的第n个麦克风、长度为l的房间冲激响应向量；G(ω)表示从目标语音信号点到线阵参考点麦克风的波束形成器输出的直达路径传递函数，且G(ω)＝[GD(ω) 0]T，标D表示目标语音信号；vn(ω)表示第n个麦克风接收信号的噪声向量；需要说明的是奇数个麦克风线阵的参考点取为中间的麦克风，偶数个麦克风取为最内的两个麦克风的连线的中垂线；
3)求解最优权向量
Figure GDA0002545000720000091
为：
Figure GDA0002545000720000092
式中，
Figure GDA0002545000720000093
是麦克风阵列接收到的信号
Figure GDA0002545000720000094
的自功率谱
Figure GDA0002545000720000095
的矩阵求逆运算。
基于维纳滤波的LCMV全频波束形成方法抑制混响影响的效果较差，主要是由于该方法没有考虑不同频率的语音信号产生混响的差异性，因此本发明方法充分考虑不同频率语音信号产生混响的差异性，给出了一种改进的基于分频维纳滤波器的LCMV波束形成结构，如图2所示。按图2，本发明方法优化波束形成器权向量步骤如下：
1)计算麦克风阵列接收信号的自功率谱Φxx(ω)和维纳滤波器系数W(ωi)，得到维纳滤波器输出
Figure GDA0002545000720000096
2)将室内环境下的干扰抑制作为约束条件，则本发明方法给出的波束形成器分频带响应约束条件为：
Figure GDA0002545000720000097
Figure GDA0002545000720000098
Figure GDA0002545000720000099
Figure GDA0002545000720000101
式中，CN表示N维复数域；
Figure GDA0002545000720000102
是频率响应权向量；
Figure GDA0002545000720000103
是高频段频率响应权向量，上标lcmv1表示低频段的LCMV波束形成方法，
Figure GDA0002545000720000104
是高频段频率响应权向量，上标lcmv2表示高频段LCMV波束形成方法，
Figure GDA0002545000720000105
是麦克风阵列接收到的信号
Figure GDA0002545000720000106
的自功率谱，
Figure GDA0002545000720000107
H1n,l表示目标语音信号方向的第n个麦克风、长度为l的房间冲激响应向量；Hnm,l表示第m个语音信号方向的第n个麦克风、长度为l的房间冲激响应向量；GD1(ω)为从目标语音信号点到线阵参考点麦克风的波束形成器输出的直达路径低频响应函数，下标D1表示目标语音信号低频段；GD2(ω)为从目标语音信号点到线阵参考点麦克风的波束形成器输出的直达路径高频响应，下标D2表示目标语音信号高频段；vn(ω)表示第n个麦克风接收信号的噪声向量；需说明：高频段和低频段可根据实际情况进行分频，因为实际环境中接收信号的频率范围可以通过分析得到频率分布在一定范围内，本发明采用分频方法如下：设实际环境中接收信号的频率范围是(ωmin，ωmax)，ω0是ωmin和ωmax的平均值，即ω0＝(ωmin+ωmax)/2，当ω＞ω0为高频段，当ω≤ω0为低频段；
3)根据LCMV准则，通过维纳滤波器输出语音信号的频域信息分别计算出低频段
Figure GDA0002545000720000108
和高频段
Figure GDA0002545000720000109
最优权值，其中：
Figure GDA00025450007200001010
Figure GDA00025450007200001011
式中，
Figure GDA00025450007200001012
维纳滤波器输出信号向量；
Figure GDA00025450007200001013
是第n个麦克风接收的信号在整个频率带中的维纳滤波输出信号；H是房间冲激响应向量，H＝Hn1,l......Hnm,l，这时基于分频维纳滤波器的LCMV波束形成的最优权向量Wn,opt(ω)为：
Figure GDA0002545000720000111
式中，α是矩阵加权系数，是正常数。
本发明性能评价如下：采用分段信噪比(SNRseg)和语音质量评估(Perceptualevaluation of speech quality,PESQ)，用于评估语音去混响的性能。
分段信噪比定义为
Figure GDA0002545000720000112
式中，s(k)是第k个时间帧无混响的直达目标语音信号，
Figure GDA0002545000720000113
分别是第k个时间帧增强的目标语音信号。
对于PESQ分数，它是由ITU-T为3.2GHz的手机电话和窄带语音编解码器(ITU，2000,2003)的语音质量评估的建议，它是由平均干扰值Dind和平均的线性组合获得的对称干扰值Aind，则PESQ定义为：
PESQ＝4.5-0.1Dind-0.0309Aind
本发明的效果可以通过以下实施例来说明：
实验环境的布局设置如图3所示，采用了一个由7个全向麦克风组成的线阵，其位置分别为(2.0,3.0,1.4)，(2.1,3.0,1.4)，(2.2,3.0,1.4)，(2.3,3.0,1.4)，(2.4,3.0,1.4)，(2.5,3.0,1.4)，(2.6,3.0,1.4)(坐标值的测量单位是米，m)；为了模拟目标语音，在位置(3.7,2.0,1.4)m处放置一个人工嘴，播放一段事先录制好的男声语音信号，如图3中所示的单个目标语音信号。
本发明的含混响语音是通过消声室中测得标准方向目标语音和实际会场测得房间脉冲响应做卷积得到混响信号，采样率为8kHz，实际会场总的混响时间为2s。将待处理的含混响语音信号分帧变成频域，通过维纳滤波器得到高低频段语音信号；然后再将高低频段的语音信号输入到LCMV滤波器中进行分频段去混响。图5是麦克风阵列通道1接收含混响的语音信号。
实施例结果，如图4-7所示：
从图5和图4的波形时域图对比可以看出混响信号比原先干净信号多出了很多部分，根据混响的定义多出的部分是叠加在原始干净语音信号上的混响部分。图6是全频带方法处理的效果，比较图7是本发明分频方法处理后的效果，波形时域图的波峰波谷和原始干净语音信号相比更加明显，可以明显的看出去混响的效果。
从图5和图4的语谱图对比可以看出，图5含混响语谱图的深色重叠区域较多，特别是低频部分前后覆盖严重不利于语音识别应用。图6是全频带方法处理的语谱图，比较图7是本发明分频去混响效果的语谱图，相较于图5颜色变浅，能量降低，且与图3原始语音信号的语谱图相似度较高，代表着去混响的效果比较好。
下面采用两个评价标准，即分段信噪比和语音质量评估，来定量的评价目标语音去混响的性能，如表1所示。
表1分频和全频方法去混响性能对比表
Figure GDA0002545000720000121
从表1中可以得出，分频去混响比全频去混响的分段信噪比提高3.2dB；语音质量评估的得分两者相当，但是对比含混响目标语音分数提高了0.2左右。这个表明本发明方法的效性。
本发明首先通过从空域滤波角度出发将自由场推广到混响场，对麦克风阵列接收到的信号进行短时傅里叶变换，得到具有空域信息和频域信息的麦克风阵列接收信号，然后将接收到的麦克风阵列信号输入到各个通道维纳滤波器中进行频域处理，最后通过维纳滤波器输出语音信号的频域信息使用麦克风阵列线性约束最小方差波束形成方法(LCMV)并由拉格朗日乘子法分别计算高频段和低频段最优权向量，从混响语音中分离出语音直达声语音信号。可有效抑制麦克风阵列混响问题，是一种适用于任意阵列结构的波束形成方法。
本发明方法基于每个频段上混响时间不同的特性，在麦克风阵列接收信号的各个通道维纳滤波器中进行分频处理，将波束形成方法应用到高低频域的子带中，提高了去混响的精度。实测实验结果表明，本发明方法去混响效果更加有效。本发明方法可广泛应用于多通道语音增强、人机语音交互系统、助听器、车载免提语音通信、远程电视会议系统以及机器人听觉等诸多领域。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (2)

1.一种基于混响环境下麦克风阵列波束形成方法，其特征在于，包括如下步骤：
步骤1、获取麦克风接收到的信号：
设在封闭的室内环境下，由N个相同的全向性麦克风组成均匀线阵，有M个语音信号，N＞M，位置为rm,m＝1,…,M，其中，目标语音信号位置为r1，其余位置的信号为干扰信号，则第n个麦克风接收到的信号xn(k)表示为：
Figure FDA0002545000710000011
式中，Hnm,l是第m个语音到第n个麦克风的房间冲激响应，且长度为l，其中n＝1,…,N，l＝1,…,L；L为房间冲激响应的长度；sm(k)是第m个语音信号，vn(k)是第n个麦克风接收到的噪声；k表示离散时间；
步骤2、对第n个麦克风接收到的信号xn(k)进行分帧加窗处理，得第n个麦克风接收到的加窗信号xnw(k)；下标w表示加窗处理；
步骤3、对第n个麦克风接收到的加窗信号xnw(k)进行第i个频率点的傅里叶变换，得xnw(ωi,k)：
Figure FDA0002545000710000012
式中，sm(ωi,k)是sm(k)第n个麦克风接收信号的第i个频率带中的第k帧噪声信号；vn(ωi,k)是vn(k)在第n个麦克风接收信号的第i个频率带中的第k帧噪声信号；
步骤4、基于维纳滤波的方法获得的输出信号
Figure FDA0002545000710000013
式中，W(ωi)是第i个频率点的维纳滤波器的系数，
Figure FDA0002545000710000014
是在维纳滤波输出信号的第i个频率带中的第k帧信号，i∈[1,I],I表示离散频率点的总数，I为整数；vn(ωi,k)表示第n个麦克风接收信号的第i个频率带中的第k帧噪声信号；i∈[1,I],I表示离散频率点的总数，I为整数；
步骤5、通过基于维纳滤波的LCMV波束形成方法获得麦克风阵列波束形成器的输出信号
Figure FDA0002545000710000021
其中Wn,opt(ω)是第n个麦克风阵列响应的最优权向量，
Figure FDA0002545000710000022
是第n个麦克风接收的信号在整个频率带中的维纳滤波输出信号；
步骤2中的窗函数采用汉明窗函数w(k)，且w(k)＝0.5(1-cos(2πk))；
步骤3中的傅里叶变换为短时傅里叶变换：通过在I个均等间隔的频率点上对频率变量ω进行采样，即ωi＝2πi/I，得到一个短时傅里叶变换
Figure FDA0002545000710000023
其中q是汉明窗移动的长度；
步骤4中，维纳滤波器系数W(ωi)的确定方法为：
Figure FDA0002545000710000024
式中，Φss(ωi)为目标语音信号在第i个频率点的自功率谱，Φxx(ωi)为麦克风接收信号在第i个频率点的自功率谱；
混响环境下维纳滤波的LCMV分频波束形成方法中麦克风阵列响应的最优权向量获取步骤如下：
1)计算麦克风阵列接收信号的自功率谱Φxx(ω)和维纳滤波器系数W(ωi)，得到维纳滤波器输出
Figure FDA0002545000710000025
2)将室内环境下的干扰抑制作为约束条件，则波束形成器分频带响应约束条件为：
Figure FDA0002545000710000026
Figure FDA0002545000710000027
Figure FDA0002545000710000028
Figure FDA0002545000710000031
式中，C N表示N维复数域；
Figure FDA0002545000710000032
是频率响应权向量；(·)*T表示共轭转置；
Figure FDA0002545000710000033
是低频段频率响应权向量，上标lcmv1表示低频段的LCMV波束形成方法，
Figure FDA0002545000710000034
是高频段频率响应权向量，上标lcmv2表示高频段LCMV波束形成方法，
Figure FDA0002545000710000035
是麦克风阵列接收到的信号
Figure FDA0002545000710000036
的自功率谱，
Figure FDA0002545000710000037
H1n,l表示目标语音信号方向的第n个麦克风、长度为l的房间冲激响应向量；Hnm,l表示第m个语音信号方向的第n个麦克风、长度为l的房间冲激响应向量；GD1(ω)为从目标语音信号点到线阵参考点麦克风的波束形成器输出的直达路径低频响应函数，下标D1表示目标语音信号低频段；GD2(ω)为从目标语音信号点到线阵参考点麦克风的波束形成器输出的直达路径高频响应，下标D2表示目标语音信号高频段；vn(ω)表示第n个麦克风接收信号的噪声向量；
3)根据LCMV准则，通过维纳滤波器输出语音信号的频域信息分别计算出低频段
Figure FDA0002545000710000038
和高频段
Figure FDA0002545000710000039
最优权值，其中：
Figure FDA00025450007100000310
Figure FDA00025450007100000311
Figure FDA00025450007100000312
Figure FDA00025450007100000313
式中，
Figure FDA00025450007100000314
维纳滤波器输出信号向量；
Figure FDA00025450007100000315
是第n个麦克风接收的信号在整个频率带中的维纳滤波输出信号；H是房间冲激响应向量，H＝Hn1,l......Hnm,l，则基于分频维纳滤波器的LCMV波束形成的最优权向量Wn,opt(ω)为：
Figure FDA00025450007100000316
式中，α是矩阵加权系数，是正常数。
2.根据权利要求1述的一种基于混响环境下麦克风阵列波束形成方法，其特征在于，设实际环境中接收信号的频率范围是(ωmin，ωmax)，ω0是ωmin和ωmax的平均值，则高频和低频的划分方法为：当ω＞ω0为高频段，当ω≤ω0为低频段。
CN201611150238.8A 2016-12-14 2016-12-14 基于混响环境下麦克风阵列波束形成方法 Active CN106782590B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611150238.8A CN106782590B (zh) 2016-12-14 2016-12-14 基于混响环境下麦克风阵列波束形成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611150238.8A CN106782590B (zh) 2016-12-14 2016-12-14 基于混响环境下麦克风阵列波束形成方法

Publications (2)

Publication Number Publication Date
CN106782590A CN106782590A (zh) 2017-05-31
CN106782590B true CN106782590B (zh) 2020-10-09

Family

ID=58876833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611150238.8A Active CN106782590B (zh) 2016-12-14 2016-12-14 基于混响环境下麦克风阵列波束形成方法

Country Status (1)

Country Link
CN (1) CN106782590B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108172235B (zh) * 2017-12-26 2021-05-14 南京信息工程大学 基于维纳后置滤波的ls波束形成混响抑制方法
CN111667844A (zh) * 2018-06-22 2020-09-15 重庆瑞可利科技有限公司 一种基于麦克风阵列的低运算量语音增强装置
CN109283496B (zh) * 2018-09-05 2020-12-15 南京信息工程大学 一种抗运动干扰和抗导向失配的稳健波束形成方法
CN109490822B (zh) * 2018-10-16 2022-12-20 南京信息工程大学 基于ResNet的语音DOA估计方法
CN109493844A (zh) * 2018-10-17 2019-03-19 南京信息工程大学 基于fir滤波器的恒定束宽波束形成方法
CN111261178A (zh) * 2018-11-30 2020-06-09 北京京东尚科信息技术有限公司 波束形成方法和装置
CN111624554B (zh) * 2019-02-27 2023-05-02 北京京东尚科信息技术有限公司 声源定位方法和装置
CN111024208B (zh) * 2019-11-26 2022-03-25 中国船舶重工集团有限公司第七一0研究所 一种垂直阵声压梯度波束形成与信号检测方法
CN110913306B (zh) * 2019-12-02 2021-07-02 北京飞利信电子技术有限公司 一种实现阵列麦克风波束形成的方法
CN110956951A (zh) * 2019-12-23 2020-04-03 苏州思必驰信息科技有限公司 一种语音增强采集配件、方法、系统、设备及存储介质
CN111866439B (zh) * 2020-07-21 2022-07-05 厦门亿联网络技术股份有限公司 一种优化音视频体验的会议装置、系统及其运行方法
CN112017684B (zh) * 2020-08-27 2022-06-24 北京计算机技术及应用研究所 一种基于麦克风阵列的密闭空间混响消除方法
CN112712818A (zh) * 2020-12-29 2021-04-27 苏州科达科技股份有限公司 语音增强方法、装置、设备
CN113281727B (zh) * 2021-06-02 2021-12-07 中国科学院声学研究所 一种基于水平线列阵的输出增强的波束形成方法及其系统
CN113470678B (zh) * 2021-07-08 2024-03-15 泰凌微电子(上海)股份有限公司 麦克风阵列降噪方法、装置和电子设备
US11329705B1 (en) 2021-07-27 2022-05-10 King Abdulaziz University Low-complexity robust beamforming for a moving source
CN114613383B (zh) * 2022-03-14 2023-07-18 中国电子科技集团公司第十研究所 一种机载环境下多输入语音信号波束形成信息互补方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447190A (zh) * 2008-06-25 2009-06-03 北京大学深圳研究生院 基于嵌套子阵列的后置滤波与谱减法联合语音增强方法
EP2747451A1 (en) * 2012-12-21 2014-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Filter and method for informed spatial filtering using multiple instantaneous direction-of-arrivial estimates
CN104835503A (zh) * 2015-05-06 2015-08-12 南京信息工程大学 一种改进gsc自适应语音增强方法
CN105206281B (zh) * 2015-09-14 2019-02-15 胡旻波 基于分布式麦克风阵列网络的语音增强方法

Also Published As

Publication number Publication date
CN106782590A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106782590B (zh) 基于混响环境下麦克风阵列波束形成方法
CN106710601B (zh) 一种语音信号降噪拾音处理方法和装置及冰箱
Simmer et al. Post-filtering techniques
CN108172235B (zh) 基于维纳后置滤波的ls波束形成混响抑制方法
CN102306496B (zh) 一种多麦克风阵列噪声消除方法、装置及系统
CN105590631B (zh) 信号处理的方法及装置
Brandstein et al. Microphone arrays: signal processing techniques and applications
CN110085248B (zh) 个人通信中降噪和回波消除时的噪声估计
JP5007442B2 (ja) 発話改善のためにマイク間レベル差を用いるシステム及び方法
CN111312269B (zh) 一种智能音箱中的快速回声消除方法
Yang et al. Dereverberation with differential microphone arrays and the weighted-prediction-error method
Yousefian et al. Using power level difference for near field dual-microphone speech enhancement
Comminiello et al. A novel affine projection algorithm for superdirective microphone array beamforming
Priyanka et al. Generalized sidelobe canceller beamforming with combined postfilter and sparse NMF for speech enhancement
Xu et al. Adaptive speech enhancement algorithm based on first-order differential microphone array
Mahmoudi A microphone array for speech enhancement using multiresolution wavelet transform.
Yu et al. Speech enhancement based on the generalized sidelobe cancellation and spectral subtraction for a microphone array
Miyazaki et al. Theoretical analysis of parametric blind spatial subtraction array and its application to speech recognition performance prediction
Borisovich et al. Improvement of microphone array characteristics for speech capturing
Li et al. A two-microphone noise reduction method in highly non-stationary multiple-noise-source environments
Do et al. A robust sound-source separation algorithm for an adverse environment that combines MVDR-PHAT with the CASA framework
Habets Towards multi-microphone speech dereverberation using spectral enhancement and statistical reverberation models
Lotter et al. A stereo input-output superdirective beamformer for dual channel noise reduction.
CN114724574B (zh) 一种期望声源方向可调的双麦克风降噪方法
Jeong et al. Kepstrum approach to real-time speech enhancement methods using two microphones

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211222

Address after: 210012 19 / F, B1 building, Kechuang City, 34 Dazhou Road, Yuhuatai District, Nanjing City, Jiangsu Province

Patentee after: Jiangsu Xinshiyun Science and Technology Co.,Ltd.

Address before: 210044, No. 219, Ning six road, Pukou District, Jiangsu, Nanjing

Patentee before: NANJING University OF INFORMATION SCIENCE & TECHNOLOGY

TR01 Transfer of patent right