CN106992010B - 无直达声条件下的麦克风阵列语音增强装置 - Google Patents

Abstract

无直达声条件下的麦克风阵列语音增强装置，涉及麦克风阵列语音信号处理。设有麦克风阵列、波束域综合搜索模块、反射方向估计模块、反射声对准增强模块和自适应增强模块；所述麦克风阵列设有若干个定位麦克风和1个参考麦克风；所述麦克风阵列为5元圆形麦克风阵列，其中分布在圆周的4个定位麦克风阵元用于进行语音信号多通道采集，位于圆心的参考麦克风用于获取参考信号经前置放大、模数转换后通过数据线输出至波束域综合搜索模块，麦克风阵列中4个圆周定位麦克风采集的语音信号经前置放大、模数转换后通过数据线分别输入波束域综合搜索模块和反射声对准增强模块。

Description

无直达声条件下的麦克风阵列语音增强装置

技术领域

本发明涉及麦克风阵列语音信号处理，尤其是涉及无直达声条件下的麦克风阵列语音增强装置。

背景技术

通过将一组麦克风按一定方式布置在空间不同位置上形成麦克风阵列可获得多通道语音信号的空间信息，从而形成麦克风阵列空间指向特性，实现噪声抑制和语音增增强，改善语音信号处理性能。当前，麦克风阵列已在人机交互、智能家居、指令识别等领域得到了广泛的研究和应用。

现有麦克风技术通常采用先获取声源方位，然后进行针对性波束对准、语音增强的处理方法，在说话人与麦克风阵列间存在直达声路径的环境下，由于直达声具有最高能量，声源定位及后续语音增强可获得较好的性能。

中国专利ZL 200510105526.7公开一种使用噪声降低的多通道自适应语音信号处理方法，该方法通过对GSC的固定波束通路增加一个自适应处理器改善信号通道的信噪比。该方法借助频域时延估计来补偿各通道时延，以使得波束对准声源方向。该方法在获取了声源方向后，按照声源方向通过阻塞矩阵形成参考噪声通路，因此当部分语音信号成分泄漏到参考噪声通路时将影响GSC算法的语音增强性能。

但是，随着麦克风阵列技术在各领域的广泛应用，在远场人机交互、语音跟踪等环境下有大量说话人和麦克风阵列间不存在直达声的场景，此时，由于无法通过检测能量最强的直达路径来获得声源方位，常规麦克风阵列语音增强算法的性能受到严重影响。也制约了麦克风阵列技术在实际应用中的推广，因此，研究可工作于无直达声条件的麦克风阵列语音增强装置对于提高麦克风阵列语音信号处理系统的稳健性和实用性都具有重要意义。目前针对无直达声条件的麦克风阵列算法及技术研究还不多见。

S.Kitic,B.Bertin,R.Gribonval,Hearing behind walls:Localizing sourcesin the room next door with cosparsity,2014 IEEE International Conference onAcoustic,Speech and Signal Processing,(ICASSP)中提出了一种采用分析稀疏表示(cosparse)的处理方法实现无直达声条件下的语音增强，该方法基于波动方程在存在及无声源条件下的不同稀疏建模进行匹配获取声源位置，运算复杂度高且需要满足一定的理想声场假设，随可通过理想条件下的数值计算初步验证该方法可行性，其性能还有待实验验证。

对于大量实际人机远场交互、智能家居、语音跟踪领域不同建筑结构如门、过道、墙体阻挡造成的无直达声存在的场合：一方面，由于无直达声时传统广义互相关处理输出的相关峰由大量微弱的反射分量相关峰组成，无法通过对相关峰的检测获得对应声源方向的正确到达时延差(Time difference of arrival,TDOA)，估计声源位置；另一方面，由于只能接收经过多次反射获取的微弱语音信号，语音信号信噪低，严重影响了传统阵列语音信号处理算法的性能。因此，在不存在直达声条件下，传统麦克风阵列语音增强方法性能明显下降，需利用其他信息来保证麦克风阵列语音增强的效果。

进一步，在通过波束域互相关获得2个反射声方向后，可采用本领域通用的波束对准算法进行反射声对准增强处理，考虑到由于不存在直达声，反射声信号信噪比较低，本发明进一步提出通过获得的2个反射声方向首先进行波束成形对准初步增强；由于波束对准增强后的多个反射语音分量在相位上并不一致，无法直接进行合并增强，本装置将多个对准增强后的反射语音输入自适应滤波器进行反射声增强处理并进行合并输出，从而输出无直达声条件下的麦克风阵列语音增强信号。

发明内容

本发明的目的在于提供无直达声条件下的麦克风阵列语音增强装置。

本发明设有麦克风阵列、波束域综合搜索模块、反射方向估计模块、反射声对准增强模块和自适应增强模块；所述麦克风阵列设有若干个定位麦克风和1个参考麦克风；所述麦克风阵列为5元圆形麦克风阵列，其中分布在圆周的4个定位麦克风阵元用于进行语音信号多通道采集，位于圆心的参考麦克风用于获取参考信号经前置放大、模数转换后通过数据线输出至波束域综合搜索模块，麦克风阵列中4个圆周定位麦克风采集的语音信号经前置放大、模数转换后通过数据线分别输入波束域综合搜索模块和反射声对准增强模块；

所述波束域综合搜索模块对无直达声情况下接收到的微弱语音信号分别对准各个假设反射角度并采用波束成形方法进行波束成形，获取波束成形输出，对各个假设反射角度对应的波束成形输出一方面计算能量并输出能量结果，另一方面与参考麦克风获得的参考语音进行互相关计算输出互相关结果，形成两路输出并送入反射方向估计模块；

所述反射方向估计模块根据波束域综合搜索模块输出的各假设反射角度对应能量结果、互相关结果进行综合比较判决，挑选出能量、互相关最优的前两个反射角度并输出至反射声对准增强模块；

反射声对准增强模块根据反射方向估计模块输出的两个反射角度分别对麦克风阵列中4个圆周麦克风采集的语音信号进行对准增强，通过波束成形算法进行对准增强处理，并输出对准两个反射角度波束成形获得的对应波形信号，形成两路输出送入自适应增强模块；

自适应增强模块根据反射声对准增强模块输出的两路波束成形信号分别作为自适应迭代的输入信号和训练信号自适应增强进行自适应噪声对消处理，并输出增强语音信号。

本发明实现语音增强功能的步骤包括：麦克风阵列、波束域综合搜索、反射方向估计、反射声对准增强、自适应增强步骤。

波束域综合搜索步骤对接收到麦克风阵列信号分别进行波束对准扫描，获取每个反射角度对应的波束能量和波束信号与参考信号互相关输出；反射方向估计步骤根据每个反射角度对应的波束能量及波束信号与参考信号互相关输出进行反射角度搜索，获得能量、互相关最优的2个反射方向；反射声对准增强步骤对反射方向估计步骤获得的2个反射方向进行对准波束成形，获得初步增强语音；自适应增强步骤对反射声对准增强步骤获得的对应2个反射方向的2路初步增强语音进行自适应迭代增强，最后输出增强语音。

本发明提供一种简单方便、可适应无直达声条件的麦克风阵列语音增强装置。针对人机交互、远场识别、智能家居等领域存在无直达声条件下麦克风阵列语音增强的困难，本发明提出首先结合参考麦克风的引入采用技术成熟、使用方便的波束域综合搜索方法根据波束能量、波束信号与参考信号互相关来综合判决获得两路反射语音角度，进一步考虑到无直达声条件下反射语音信噪比低，采用自适应增强处理对两路反射语音进行迭代增强，从而实现无直达声条件下的麦克风阵列语音增强。

本发明实现无直达声条件下麦克风阵列语音增强的具体思路为：首先对接收的麦克风阵列语音信号进行波束域扫描，获取各个假设反射角度对应的波束信号，并分别计算波束能量，及波束信号与引入的参考信号之间的互相关；通过对各个反射角度对应输出的波束能量、波束信号与参考信号互相关进行搜索获得2个反射方向；获得2个反射方向后进行自适应增强处理实现无直达声条件下的语音增强。

基于上述考虑，本发明首先提出波束域互相关处理方法获取反射声方向：通过在麦克风阵列几何中心位置增加一个参考麦克风，并建立不同来波方向条件下其他麦克风相对参考麦克风的到达时延差(TDOA)关系，并利用其他麦克风获取的语音信号通过逐一设定反射声方向合成对应的波束域参考信号，并获得每一反射声方向的波束能量；同时，通过引入的参考麦克风，对波束信号和参考信号进行互相关处理，可获得每个设定来波方向对应的互相关输出；通过设定门限综合对波束能量和互相关输出进行检测，可从各设定方向波束成形获得的能量、互相关输出中根据波束能量、与参考信号互相关准则检测出两个最优反射声方向。

由于本发明提出的无直达声条件下麦克风阵列语音增强装置利用的是各来波方向合成语音与参考麦克风接收信号在波束域存在的相关性进行反射声方向检测，可有效避免不存在直达声导致常规的信号域互相关处理性能下降的问题，结合获取多个反射声方向后进行对准、自适应迭代增强和合并输出，因而可适用于无直达声的恶劣条件下改善麦克风阵列语音增强性能。

与现有的麦克风阵列语音增强方法相比，本发明提出的可适应无直达声条件下麦克风阵列语音增强装置的突出优点在于：由于引入参考麦克风信号，采用波束扫描结合波束能量、波束信号与参考信号互相关进行判决提高无直达声条件下的反射角估计性能；进一步，在波束域能量、互相关搜索获得2个反射方向后，考虑到非直达声信号信噪比低，本发明采用对2路反射信号进行自适应增强处理处理输出最终的增强语音。

附图说明

图1为本发明实施例的结构框图。

图2为本发明实施例的5元麦克风阵列及其与微处理器连接电路图。

图3为本发明实施例的波束域综合搜索时延补偿波束成形原理图。

具体实施方式

为了使本发明的技术内容、特征、优点更加明显易懂，以下以本发明可适应强烈背景噪声的麦克风阵列语音增强装置实施例并结合附图具体说明如下：

参见图1，本发明实施例设有麦克风阵列1、波束域综合搜索模块2、反射方向估计模块3、反射声对准增强模块4和自适应增强模块5；所述麦克风阵列1设有若干个定位麦克风11和1个参考麦克风12；所述麦克风阵列1为5元圆形麦克风阵列，其中分布在圆周的4个定位麦克风阵元用于进行语音信号多通道采集，位于圆心的参考麦克风12用于获取参考信号经前置放大、模数转换后通过数据线输出至波束域综合搜索模块2，麦克风阵列1中4个圆周定位麦克风11采集的语音信号经前置放大、模数转换后通过数据线分别输入波束域综合搜索模块2和反射声对准增强模块4。

所述波束域综合搜索模块2对无直达声情况下接收到的微弱语音信号分别对准各个假设反射角度并采用波束成形方法进行波束成形，获取波束成形输出，对各个假设反射角度对应的波束成形输出一方面计算能量并输出能量结果，另一方面与参考麦克风12获得的参考语音进行互相关计算输出互相关结果，形成两路输出并送入反射方向估计模块3；

所述反射方向估计模块3根据波束域综合搜索模块2输出的各假设反射角度对应能量结果、互相关结果进行综合比较判决，挑选出能量、互相关最优的前两个反射角度并输出至反射声对准增强模块4；

反射声对准增强模块4根据反射方向估计模块3输出的两个反射角度分别对麦克风阵列1中4个圆周麦克风采集的语音信号进行对准增强，通过波束成形算法进行对准增强处理，并输出对准两个反射角度波束成形获得的对应波形信号，形成两路输出送入自适应增强模块5；自适应增强模块5根据反射声对准增强模块4输出的两路波束成形信号分别作为自适应迭代的输入信号和训练信号自适应增强进行自适应噪声对消处理，并输出增强语音信号。

本发明实施例中麦克风阵列由4个圆周上等间隔排列的麦克风(m1，m2，…m4)和位于圆心的参考麦克风m0组成圆阵，圆形阵列中4个圆周麦克风采集的语音信号在波束域综合搜索中分别对准各个反射方向进行波束成形，并分别计算波束能量，及波束信号与参考麦克风信号的互相关以进行反射方向估计。

具体地，4个圆周麦克风和1个圆心参考麦克风均由体积小、结构简单、电声性能好的压强式驻极体麦克风mic0,…,mic4，NJM2100运算放大器芯片构成的前置放大电路及MAX118模数转换芯片构成，在本实施例中圆形麦克风阵列直径d＝0.2m。

本实施例中波束域综合搜索模块、反射声方向估计模块、反射声对准增强模块、自适应增强模块均属于数字信号处理模块，在本实施例中采用ARM9S3C2440微处理器进行软件编程实现。

该麦克风阵列语音增强装置中5元麦克风线阵与微处理器的连接方式为：5元麦克风线阵中5个麦克风输出信号经过图2所示运算放大器构成的2级前置放大电路放大后输入多通道模数转换芯片MAX118，S3C2440微处理器通过IO口GPB2,3,4控制MAX118的输入通道端A1、A2、A3，通过定时器输出脚TOUT0、TOUT1控制MAX118的读出/写入端口WR、RD进行采样频率16ksps的模数转换,通过数据线DATA0至DATA7进行8bit模数转换结果到S3C2440微处理器的传送。

该麦克风阵列语音增强装置中多通道语音信号模数转换进入微处理器后，以软件形式运行的各数字信号处理模块间的数据、控制流连接方式如图3所示，具体说明如下。

波束域综合搜索模块通过波束能量和波束互相关两种指标综合的方式进行反射角度选择：

首先是波束能量计算：通过对麦克风阵列圆周4个麦克风阵元各通道信号采用本领域通用的波束成形算法可以对各进行对准增强获得波束信号并计算能量。均匀圆阵波束成形原理结合图3具体说明如下：在本发明实施例中，以圆形麦克风作为坐标原点建立极其坐标系，则依次对准假设的反射声角度θ_j进行如下时延补偿波束形成公式为(如图3所示)：

x'_i(k)＝x_i(k')；

k'＝k+round[D_i,j],i＝1,2,3,4；

其中：xi(k’)为时延调整前圆周麦克风阵列第i通道的采样信号，k'为时延调整前信号采样点的时间刻度，i为圆阵中各圆周麦克风通道的编号，i＝1,2,3,4；x’i(k)为波束成形算法时延调整后圆周麦克风第i通道采样信号，k为时延调整后信号采样点的时间刻度；

j＝1,2,3,…,18代表360度范围内假设的反射声角度搜索，本实施例中将360度范围划分为18个反射声角度进行搜索，则θj为第j个对应角度θj＝20*j；θd为圆周麦克风第1通道圆周麦克风的固定方位角(本实施例中θd＝30度)；

Di,j代表第i个圆周麦克风在反射声角度θj下相对中心麦克风的时延值对应的采样点数；r为圆阵半径，本实施例中r＝0.1m；c为空气中的声速(本实施例中取340m/s)；fs为麦克风阵列语音信号的采样频率(单位为Hz，在本实施例中取16000Hz)；round()代表取整运算。

则：在计算窗长L内(本实施例中L＝500)对各圆周麦克风接收的含噪语音对准假定反射声角度θj波束成形可获得对应的波束能量E(θ_j),j＝1，2，3,…，18。

其中：n为当前采样点，

为对应反射声角度θj进行波束成形获得的波束信号。本实施例中，由于考虑不存在直达声的情况，此时波束能量中信号能量往往已被混响、噪声掩盖。因此，本发明在进行波束能量计算的同时，通过引入圆心麦克风作为参考麦克风通道，进行波束信号与参考麦克风信号的互相关计算。

对准假定声发射角度θj时，波束信号与参考麦克风信号的互相关计算过程为：

其中：x0(k)为圆心麦克风获得的参考通道信号，l为互相关计算时波束信号与参考麦克风信号之间的时延差，S为时延搜索范围，本实施例中取为250。波束域综合搜索模块对每个假设的反射声角度获得的波束能量和互相关输出进行综合判决，获得2个从波束能量、互相关综合考虑而言最优的反射声角度

并采用本领域通用的波束成形算法对反射声角度

进行对准波束成形，获得两路反射声信号

考虑到本发明针对的是无直达声条件，此时反射声信号信噪比低，且不同反射路径的声信号因为相位不同无法直接叠加进行增强。本发明进一步采用自适应增强对波束域综合搜索获得的发射声信号角度

对应的两路反射信号进行增强，增强的具体过程如下：

本实施例中将对准反射角度θN1获得的波束信号

作为自适应增强的训练信号，对准反射角度θN2获得的波束信号

作为输入信号，则自适应增强的目的是构造一个M阶的增强滤波器系数WθT＝[w1w2w3w4……wM]，通过自适应算法(本实施例中M＝50，采用本领域通用的最小均方误差LMS自适应算法)以训练信号

作为目标信号进行系数WθT的自适应迭代学习，迭代学习的准则是最小化误差ek的均方：

W_k+1＝W_k+μ·e_k·R_k (1)

k＝1,2,...N

其中u为自适应迭代的步长因子，本实施例中取为0.002。经过波束域综合搜索获得的两路反射声信号进行自适应增强处理后，反射声信号中的语音信号得到增强，系统最后输出增强输出z(k)。

本发明公开的可适应无直达声条件的麦克风阵列语音增强装置最大的特点在于：通过引入位于圆心的参考麦克风通道，综合考虑波束能量、波束信号与参考通道信号互相关进行反射声角度综合搜索；同时，考虑到无直达声信号，通过检测2路反射声信号进行自适应增强克服了反射声信号信噪比较低的问题。综上，本发明克服了传统麦克风阵列增强方法在声源定位、增强处理中需要依赖能量、信噪比较高的直达声信号保证算法性能的缺点，从而可适应无直达声信号条件下的麦克风阵列语音增强。

Claims (1)

1.无直达声条件下的麦克风阵列语音增强装置，其特征在于设有麦克风阵列、波束域综合搜索模块、反射方向估计模块、反射声对准增强模块和自适应增强模块；所述麦克风阵列设有若干个定位麦克风和1个参考麦克风；所述麦克风阵列为5元圆形麦克风阵列，其中分布在圆周的4个定位麦克风阵元用于进行语音信号多通道采集，位于圆心的参考麦克风用于获取参考信号，参考信号经前置放大、模数转换后通过数据线输出至波束域综合搜索模块，麦克风阵列中4个圆周定位麦克风采集的语音信号经前置放大、模数转换后通过数据线分别输入波束域综合搜索模块和反射声对准增强模块；

所述波束域综合搜索模块对无直达声情况下接收到的微弱语音信号分别对准各个假设反射角度并采用波束成形方法进行波束成形，获取波束成形输出，对各个假设反射角度对应的波束成形输出一方面计算能量并输出能量结果，另一方面与参考麦克风获得的参考语音进行互相关计算输出互相关结果，形成两路输出并送入反射方向估计模块；

所述反射方向估计模块根据波束域综合搜索模块输出的各假设反射角度对应能量结果、互相关结果进行综合比较判决，挑选出能量、互相关最优的前两个反射角度并输出至反射声对准增强模块；

反射声对准增强模块根据反射方向估计模块输出的两个反射角度分别对麦克风阵列中4个圆周麦克风采集的语音信号进行对准增强，通过波束成形算法进行对准增强处理，并输出对准两个反射角度波束成形获得的对应波形信号，形成两路输出送入自适应增强模块；

自适应增强模块根据反射声对准增强模块输出的两路波束成形信号分别作为自适应迭代的输入信号和训练信号自适应增强进行自适应噪声对消处理，并输出增强语音信号。

Images