CN109920442B - 一种麦克风阵列语音增强的方法和系统 - Google Patents

Abstract

公开了一种麦克风阵列语音增强的方法和系统，其包括利用麦克风阵列对输入语音进行扫描获取语音波束信息，利用语音波束信息，分析语音波束信息中的波束能量和混响程度，以此对语音波束的综合质量进行评估，根据语音波束的综合质量评估麦克风阵列信号各通道的时延补偿值，形成波束增强输出。在保持技术方案低运算复杂度的同时具备抑制混响影响的能力，改善会议室等室内结构环境下的麦克风阵列语音增强性能。

Description

一种麦克风阵列语音增强的方法和系统

技术领域

本发明涉及麦克风阵列语音信号处理，尤其是涉及一种麦克风阵列语音增强的方法和系统。

背景技术

麦克风已经成为各类会议室的必备设备，为了保证会议效果往往在每个会议座位均配备麦克风，会议发言人通过按下麦克风按钮启动对应的麦克风发言，形成会议麦克风系统。但是，在实际会议使用环境中，考虑到会议多人发言、讨论等具体情况，采用这种方式往往无法保证根据会议情况灵活切换；另一方面，当会议参会人数多于麦克风数时会导致使用上的不便。同时，由于麦克风可以拾取拾音范围内的任何声音，因此不可避免地引入背景噪音，从而影响会议效果。

利用多个麦克风组成阵列结合处理而达到智能的语音信号处理可大大提高语音质量。例如可通过传统时延差算法或超分辨方位估计算法获取语音声源方位之后，利用波束形成技术形成一个指向目标说话人的波束来增强该方向的接收信号。因此，麦克风阵列技术可广泛利用于具有嘈杂背景的语音处理场合，例如智能家居、多媒体教室、车载免提电话和助听器等。

需要指出，获得声源方位是麦克风阵列语音增强技术的前提条件。因此，对于会议场景，如何在存在可能的多说话人的情况下实时获得说话人方位信息实现麦克风阵列对准提高语音质量是一个关键问题。

麦克风阵列声源定位技术主要可分为三类：一是基于最大输出功率的可控波束形成的声源定位技术，该方法通过控制波束扫描并选取其中最大能量方法作为声源方向；二是基于高分辨率谱估计的声源定位技术，此方法主要适用于窄带信号，对于语音信号这样的宽带信号，会导致算法运算量增加；三是基于互相关时延估计的声源定位技术，该算法计算量较小、易实现，但是在存在多个说话人的场景效果急剧下降。因此，在人机交互、视频会议等场合波束扫描方法仍然得到较为广泛的应用。

考虑到会议室等相对空间尺寸有限的应用场景，由于会议室墙壁、天花板、桌面等结构反射，往往导致波束扫描方法可以通过扫描获得多个具有较高能量的语音波束。传统的声源处理方法是选择多个波束中能量最大的作为声源方向，进行对准增强，而实际上考虑到室内结构混响的复杂性，特别是在靠近墙壁、桌面或结构拐角处等反射结构处常存在能量较高的强混响语音，因此单纯考虑能量选取的语音波束从语音质量而言往往并非最优，如：从说话人到麦克风阵列的直达语音能量有可能弱于结构反射导致的混响语音，从而影响了对准增强后麦克风阵列输出语音的效果。

发明内容

本发明提出了麦克风阵列语音增强的方法和系统。

在一个方面，本发明提出了一种麦克风阵列语音增强的方法，该方法包括以下步骤：

S1：利用麦克风阵列对输入语音进行扫描获取语音波束信息；

S2：利用语音波束信息，分析语音波束信息中的波束能量和混响程度，以此对语音波束信息的综合质量进行评估；

S3：根据语音波束信息的综合质量评估结果来评估麦克风阵列信号各通道的时延补偿值，形成语音波束信息的增强输出。

通过波束扫描获取的语音波束信息进行混响评估，在会议室等室内混响的环境下，如会议室墙壁、天花板、桌面等结构容易产生反射，通过混响评估语音波束信息的综合质量，可以抑制墙壁、桌面等强室内混响的影响，提高语音增强性能。

在一些具体实施例中，混响程度具体表现为语音波束信息中波束尖锐程度。通过波束尖锐程度的计算可以直观的获得混响程度的数据，便于进行语音波束信息的综合质量的评估。

在一些具体实施例中，步骤S2具体包括以下步骤：

S21：利用获取的语音波束信息，选择语音波束信息中波束能量最高的3个语音波束信息；

S22：利用3个语音波束信息分析波束尖锐程度；

S23：根据波束能量和语音波束尖锐程度，评估语音波束信息的综合质量。

在一些具体实施例中，波束尖锐程度

的计算公式为：

3个语音波束信息对应角度分别为：

其中，Beam(θ_j)表示语音波束信息，θj为每次时延调整后形成扫描语音波束信息的对应角度，j＝0,±1,±2,±3,…代表语音波束信息扫描序号。

在一些具体实施例中，语音波束信息的综合质量G(q)的计算公式为：

通过综合考虑波束能量、混响程度后说话人方向信息后，麦克风阵列即可对准选定的波束较窄直达语音方向进行增强，即麦克风阵列各通道信号按照波束质量对准而非波束能量对准的说话人方向进行时延补偿增强，从而有利于输出音质较好的增强语音。

在一些具体实施例中，麦克风阵列包括5个等间距排列的麦克风组成的5元麦克风线阵。5元麦克风线阵具有体积小、结构简单、电声性能好的优点。

在一些具体的实施例中，步骤S2还包括通过语音波束信息的综合质量进行说话人方向获取。

根据本发明的另一方面，提出了一种麦克风阵列语音增强系统，该系统包括：麦克风阵列：用于扫描获取语音波束信息；

语音波束信息扫描装置：用于对输入语音进行扫描获取语音波束信息；

语音波束信息综合质量评估装置：利用语音波束信息，分析语音波束信息中的波束能量和混响程度，以此对语音波束的综合质量进行评估；

波束对准装置：用于根据语音波束信息的综合质量计算麦克风阵列信号各通道的时延补偿值，形成语音波束信息的增强输出。

在一些具体的实施例中，麦克风阵列包括麦克风、前置放大电路和模数转换器，麦克风的间距d＝0.1m。

在一些具体的实施例中，麦克风阵列的输出端与语音波束信息扫描装置的输入端连接，语音波束信息扫描装置的输出端与语音波束信息综合质量评估装置的输入端连接，语音波束信息综合质量评估的输出端与波束对准增强装置的输入端连接。

本发明提出一种麦克风阵列语音增强的方法和系统，在采用波束扫描获取说话人方位的同时，对波束能量、混响程度进行综合评估，即并非单纯利用能量选择语音波束的方向，而是综合考虑能量及混响程度计算语音波束信息的综合质量从而选择说话人方向进行对准，由此提高在会议室等有限尺寸的结构空间内的麦克风阵列语音增强性能。

附图说明

包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本发明的一个实施例的麦克风阵列语音增强的方法流程图；

图2是根据本发明的一个实施例的波束扫描的原理图；

图3是根据本发明的一个实施例的麦克风阵列语音增强系统的结构图；

图4是根据本发明的一个实施例的5元麦克风线阵与微处理器的连接电路图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本发明的一个实施例的麦克风阵列语音增强的方法，图1示出了根据本发明的实施例的麦克风阵列语音增强的方法流程图。如图1所示，该方法包括以下步骤：

S1：利用麦克风阵列对输入语音进行扫描获取语音波束信息。麦克风阵列由5个等间距排列的麦克风(m0，m2，…m4))组成线阵，通过阵列波束扫描获取语音波束信息并用于作为语音波束信息的综合质量评估装置的输入。

在具体的实施例中，5元麦克风线阵由体积小、结构简单、电声性能好的压强式驻极体麦克风mic0,…,mic4，NJM2100运算放大器芯片构成的前置放大电路及MAX118模数转换器构成。

在具体的实施例中，通过对麦克风阵列各通道信号时延进行逐次时延调整后叠加以获得不同的波束对应的波束成形信号。波束扫描原理如图2所示，以5元麦克风线阵所在水平线为X轴，以5元麦克风线阵中间的麦克风m2位置为坐标原点建立定位坐标系，麦克风线阵各阵元间距为d＝0.1m。声源处于远场范围，其发出的语音信号到达麦克风线阵时可以认为是平面入射波。以麦克风线阵的中心阵元麦克风m2作为基准进行波束扫描：即m2接收的语音信号不作时延补偿，线阵中其余通道麦克风接收的语音信号x_i进行如下时延补偿计算后得到x’_i：

x′_i(k)＝x_i(k′)，

其中，i为线阵中各通道的编号，j＝0,±1,±2,±3,…代表波束扫描序号，θj为每次时延调整后形成扫描波束的对应角度，k为时间标度，C为空气中的声速C＝340m/s，fs为麦克风阵列语音信号的采样频率，round()代表取整运算。

在具体的实施例中，逐次时延补偿后对各通道语音信号x’i进行叠加获得语音波束信息Beam(θ_j)，具体的计算公式如下

其中L为波束扫描的语音窗长。

在具体的实施例中，麦克风线阵在进行波束扫描的过程中，可实现正负90度范围的波束信息扫描，即麦克风线阵前方180度的范围进行波束信息扫描，扫描的采样频率为fs＝16000Hz。

S2：利用语音波束信息，分析语音波束信息中的波束能量和混响程度，以此对语音波束信息的综合质量进行评估。波束的混响程度主要体现为语音波束的尖锐程度，通过扫描获得的语音波束信息，进行计算获得尖锐程度的数据，进而对语音波束信息的综合质量进行评估，可以抑制混响所带来的影响，降低的运算复杂度。

在具体的实施例中，本发明的一个重要的发明点为利用扫描各角度获得的语音波束信息进行语音波束信息的综合质量评估，综合考虑波束能量、混响程度来进行自对准获得说话人方向信息。具体体现为，考虑语音混响程度可以从扫描获得波束尖锐程度进行体现，选择3个最高能量波束进行波束尖锐程度计算，即首先根据能量选择三个语音波束对应角度：

定义波束尖锐程度：

获得波束能量和波束尖锐程度后，定义语音波束的综合质量因子为：

在具体的实施例中，考虑到由会议室等室内结构环境导致的混响语音往往具有较宽的波束宽度，而相反地直达语音的波束宽度较窄，从而可通过语音波束信息的综合质量进行自对准麦克风阵列的说话人方向获取，即：

S3：根据语音波束信息的综合质量评估麦克风阵列信号各通道的时延补偿值，形成语音波束信息的增强输出。综合考虑波束能量、混响程度后说话人方向信息后，麦克风阵列即可对准选定的波束较窄直达语音方向进行增强，即麦克风阵列各通道信号按照波束质量对准而非波束能量对准的说话人方向进行时延补偿增强，从而有利于输出音质较好的增强语音。

如图3所示，示出了根据本发明的一种麦克风阵列语音增强系统，该系统包括麦克风阵列1、语音波束信息扫描装置2、语音波束信息综合质量评估装置3、波束对准增强装置4。

在具体的实施例中，麦克风阵列1的输出端与语音波束信息扫描装置2的输入端连接，语音波束信息扫描装置2的输出端与语音波束信息综合质量评估装置3的输入端连接，语音波束信息综合质量评估装置3的输出端与波束对准增强装置4的输入端连接。

在具体的实施例中，麦克风阵列1为5元麦克风线阵，5元麦克风线阵由压强式驻极体麦克风11，及MAX118模数转换器12构成，在本实施例中麦克风的间距d＝0.1m。该麦克风具有体积小、结构简单、电声性能好的优点，可以更好配合语音波束信息扫描装置2进行语音信号的扫描。

在具体的实施例中，麦克风线阵在进行语音信号采样的时候，对麦克风线阵前方180度的范围进行波束的扫描，扫描的采样频率为16000Hz。

在具体的实施例中，语音波束信息综合质量评估装置3具体包括波束能量评估装置31和波束尖锐程度评估装置32，波束能量评估装置31选择3个能量最高的语音波束信息，利用这3个能量最高的语音波束信息，导入波束尖锐程度评估装置32，生成波束尖锐程度的相关参数，波束能量评估装置31和波束尖锐程度评估装置32对语音波束信息的综合质量进行评估，波束对准增强装置4接收最优波束方向的数据，根据麦克风阵列1各通道接收信号的时延补偿进行波束的对准增强，输出增强语音信号。针对会议室等室内混响环境，利用波束能量评估装置31和波束尖锐程度评估装置32的筛选和计算，使波束对准增强装置更有效的输出语音波束信息，可以抑制墙壁、桌面等强室内混响所造成的影响，提高语音增强性能。

在具体的实施例中，该系统还包括ARM9 S3C2440微处理器5，ARM9 S3C2440微处理器与麦克风阵列中的放大电路连接，如图4所示，该麦克风阵列语音增强装置中5元麦克风线阵与微处理器的连接方式为：5元麦克风线阵中5个麦克风输出信号经过运算放大器构成的2级前置放大电路放大后与多通道模数转换器MAX118的输入端IN1～IN5连接，S3C2440微处理器通过IO口TOUT2/GPB2、TOUT3/GPB3、TOUT0/GPB4与MAX118的输入通道端A2、A1、A0分别连接，通过定时器输出脚TOUT0/GPB0、TOUT1/GPB1连接MAX118的读出/写入端口

进行采样模数的转换，其中，采样频率的16ksps的，通过数据线DATA0至DATA7进行8bit模数转换结果到S3C2440微处理器的传送。

在具体的实施例中，语音波束信息扫描装置2、语音波束信息综合质量评估装置3、波束对准增强装置4均属于数字信号处理装置，可采用本领域通用的处理器进行工程实现。在本实施例中采用ARM9 S3C2440微处理器进行软件编程实现，本实施例所使用的S3C2440微处理器是多用途的通用芯片，具有低功耗高性能和低成本的特点，可以广泛适用于便携式电子产品中。

综上所述，本发明的麦克风阵列语音增强的方法和系统利用5元麦克风线阵用于进行语音信号多通道采集，麦克风阵列采集的语音信号经前置放大、模数转换后通过数据线按照时间顺序输入语音波束信息扫描装置进行语音波束信息的扫描，获取语音的声源方向信息并将语音波束信息输入语音波束信息综合质量评估装置；语音波束信息综合质量评估装置对语音波束进行能量、混响程度的综合评估，并选择最优波束方向作为声源方向，波束对准增强装置根据声源方向信息计算各通道时延补偿值，并据此对麦克风阵列各通道接收信号进行时延补偿波束对准增强，并输出增强语音信号，从而实现会议室结构环境下的说话人自对准语音增强。

显然，本领域技术人员在不偏离本发明的精神和范围的情况下可以作出对本发明的实施例的各种修改和改变。以该方式，如果这些修改和改变处于本发明的权利要求及其等同形式的范围内，则本发明还旨在涵盖这些修改和改变。词语“包括”不排除未在权利要求中列出的其它元件或步骤的存在。某些措施记载在相互不同的从属权利要求中的简单事实不表明这些措施的组合不能被用于获利。权利要求中的任何附图标记不应当被认为限制范围。

Claims (8)

1.一种麦克风阵列语音增强的方法，其特征在于，包括以下步骤：

S1：利用麦克风阵列对输入语音进行扫描获取语音波束信息；

S2：利用所述语音波束信息，分析所述语音波束信息中的波束能量和混响程度，以此对所述语音波束信息的综合质量进行评估，其中，所述混响程度具体为所述语音波束信息中波束尖锐程度；

S3：根据所述语音波束信息的综合质量评估结果来评估所述麦克风阵列信号各通道的时延补偿值，形成语音波束信息的增强输出。

2.根据权利要求1所述的一种麦克风阵列语音增强的方法，其特征在于，所述步骤S2具体包括以下步骤：

S21：利用获取的所述语音波束信息，选择所述语音波束信息中波束能量最高的3个语音波束信息；

S22：利用所述3个语音波束信息分析所述波束尖锐程度：

S23：根据所述波束能量和所述波束尖锐程度，评估所述语音波束信息的综合质量。

3.根据权利要求2所述的一种麦克风阵列语音增强的方法，其特征在于，所述语音波束信息的综合质量G(q)的计算公式为G(q)＝Sharp(q)Beam(θ_maxq)，q＝1，2，3，其中，sharp(q)表示波束尖锐程度，Beam(θ_maxq)表示语音波束信息。

4.根据权利要求1所述的一种麦克风阵列语音增强的方法，其特征在于，所述麦克风阵列包括5个等间距排列的麦克风组成的5元麦克风线阵。

5.根据权利要求1所述的一种麦克风阵列语音增强的方法，其特征在于，所述步骤S3之前还包括通过所述语音波束信息的综合质量进行说话人方向获取。

6.一种麦克风阵列语音增强系统，其特征在于，该系统包括：

麦克风阵列：用于扫描获取语音波束信息；

语音波束信息扫描装置：用于对输入语音进行扫描获取所述语音波束信息；

语音波束信息综合质量评估装置：利用所述语音波束信息，分析所述语音波束信息中的波束能量和混响程度，以此对所述语音波束信息的综合质量进行评估，其中，所述混响程度具体为所述语音波束信息中波束尖锐程度；

波束对准装置：用于根据所述语音波束信息的综合质量计算所述麦克风阵列信号各通道的时延补偿值，形成语音波束信息增强输出。

7.根据权利要求6所述的一种麦克风阵列语音增强系统，其特征在于，所述麦克风阵列包括麦克风、前置放大电路和模数转换器，所述麦克风的间距d＝0.1m。

8.根据权利要求6所述的一种麦克风阵列语音增强系统，其特征在于，所述麦克风阵列的输出端与所述语音波束信息扫描装置的输入端连接，所述语音波束信息扫描装置的输出端与所述语音波束信息综合质量评估装置的输入端连接，所述语音波束信息综合质量评估装置的输出端与所述波束对准增强装置的输入端连接。

Images