CN115515038A - 波束形成方法、装置及设备 - Google Patents
波束形成方法、装置及设备 Download PDFInfo
- Publication number
- CN115515038A CN115515038A CN202210995421.7A CN202210995421A CN115515038A CN 115515038 A CN115515038 A CN 115515038A CN 202210995421 A CN202210995421 A CN 202210995421A CN 115515038 A CN115515038 A CN 115515038A
- Authority
- CN
- China
- Prior art keywords
- vector
- target direction
- microphone
- determining
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/08—Mouthpieces; Microphones; Attachments therefor
- H04R1/083—Special constructions of mouthpieces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/03—Connection circuits to selectively connect loudspeakers or headphones to amplifiers
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请公开了波束形成方法、装置及设备。其中所述方法包括:获取目标方向信息、麦克风指向方向信息和麦克风阵列形状信息;根据麦克风指向方向信息和目标方向信息,确定麦克风阵列对目标方向的响应矢量;根据麦克风阵列形状信息和目标方向信息,确定麦克风阵列对目标方向的第一导向矢量;根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定差分波束形成器的权重向量。采用这种处理方式,使得基于指向性麦克风阵列进行差分波束形成,并在差分波束形成中增加了基于麦克风指向方向信息获得的振幅响应,这样在低频段可获得更高的白噪声增益,在高频段可获得更高的指向性因子,波束图更具有频率不变性;因此,可以有效提升差分波束成形的鲁棒性。
Description
技术领域
本申请涉及语音处理技术领域,具体涉及波束形成方法和装置,拾音设备。
背景技术
互联网技术带来人们通信工具的改变,基于云计算的音视频会议系统逐步普及。在有噪声和混响环境下,音视频会议终端采用波束成形技术以达到高质量拾音,因此视频会议环境下的波束成形一直都是研究的热点。
基于麦克风阵列的波束形成可以增强目标信号的期望方向,并抑制来自非期望方向的干扰。一种典型的波束形成是使用全向麦克风阵列的差分波束形成。白噪声增益(WNG)和指向性因子(DF)是评估波束形成效果的两个重要指标。白噪声增益用于度量波束形成器的鲁棒性,指向性因子用来评估存在混响时的阵列性能。
然而,在实现本发明过程中,发明人发现现有方案至少存在如下问题:波束图会随着频率而变化,具体表现为:低频下的白噪声增益(WNG)较低,高频下的指向性因子(DF)下降,因此,基于全向麦克风阵列的差分波束形成存在鲁棒性较低的问题。
发明内容
本申请提供波束形成方法,以解决基于全向麦克风阵列的差分波束形成存在鲁棒性较低的问题。本申请另外提供波束形成装置,拾音设备。
本申请提供一种波束形成方法,用于拾音设备,所述拾音设备包括指向性麦克风阵列,所述方法包括:
获取目标方向信息、麦克风指向方向信息和麦克风阵列形状信息;
根据麦克风指向方向信息和目标方向信息,确定麦克风阵列对目标方向的响应矢量;
根据麦克风阵列形状信息和目标方向信息,确定麦克风阵列对目标方向的第一导向矢量;
根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定差分波束形成器的权重向量。
可选的,所述指向性麦克风阵列包括线性阵列;
所述麦克风指向方向信息包括麦克风朝向与端射方向之间的夹角。
可选的,所述指向性麦克风阵列包括由非均匀指向的指向性麦克风组成的线性阵列。
可选的,所述根据麦克风指向方向信息和目标方向信息,确定麦克风阵列对目标方向的响应矢量,包括:
获取目标方向与麦克风指向方向之间的夹角;
根据所述夹角,获取各麦克风对目标方向的振幅响应。
可选的,所述根据麦克风指向方向信息和目标方向信息,确定麦克风阵列对目标方向的响应矢量,包括:
根据所述麦克风指向方向信息、目标方向信息和一阶指向性麦克风的系数,确定麦克风阵列对目标方向的响应矢量。
可选的,还包括:
为不同指向性麦克风设置不同的一阶指向性麦克风的系数。
可选的,所述根据麦克风阵列形状信息和目标方向信息,确定麦克风阵列对目标方向的第一导向矢量,包括:
根据麦克风阵列形状信息,获取各麦克风与参考麦克风之间的距离值;
根据所述距离值和所述目标方向,获取所述目标方向的第一导向矢量。
可选的,所述根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定差分波束形成器的权重向量,包括:
根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定所述目标方向的第二导向矢量;
根据所述目标方向的第二导向矢量,确定所述权重向量。
可选的,还包括:
获取方向矢量和与所述方向矢量对应的约束响应矢量,所述方向矢量包括目标方向和多个非目标方向;
根据麦克风指向方向信息和非目标方向信息,确定麦克风阵列对非目标方向的响应矢量;
根据麦克风阵列形状信息和非目标方向信息,确定麦克风阵列对非目标方向的第一导向矢量;
所述根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定差分波束形成器的权重向量,包括:
根据各入射方向的响应矢量、各入射方向的第一导向矢量和所述约束响应矢量,确定差分波束形成器的权重向量。
可选的,所述根据各入射方向的响应矢量、各入射方向的第一导向矢量、所述约束响应矢量,确定差分波束形成器的权重向量,包括:
根据各入射方向的响应矢量和各入射方向的第一导向矢量,确定各入射方向的第二导向矢量;
根据与不同入射方向对应的多个第二导向矢量和所述约束响应矢量,确定所述权重向量。
本申请还提供波束形成装置,包括:
信息获取单元,用于获取目标方向信息、麦克风指向方向信息和麦克风阵列形状信息;
目标方向响应矢量确定单元,用于根据麦克风指向方向信息和目标方向信息,确定麦克风阵列对目标方向的响应矢量;
目标方向第一导向矢量确定单元,用于根据麦克风阵列形状信息和目标方向信息,确定麦克风阵列对目标方向的第一导向矢量;
权重向量确定单元,用于根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定差分波束形成器的权重向量。
可选的,所述装置还可包括:
参数设置单元,用于获取方向矢量和与所述方向矢量对应的约束响应矢量,所述方向矢量包括目标方向和多个非目标方向;
非目标方向响应矢量确定单元,用于根据麦克风指向方向信息和非目标方向信息,确定麦克风阵列对非目标方向的响应矢量;
非目标方向第一导向矢量确定单元,用于根据麦克风阵列形状信息和目标方向信息,确定麦克风阵列对非目标方向的第一导向矢量;
所述权重向量确定单元,具体用于根据各入射方向的响应矢量、各入射方向的第一导向矢量和所述约束响应矢量,确定差分波束形成器的权重向量。
可选的,所述权重向量确定单元,具体用于根据各入射方向的响应矢量和各入射方向的第一导向矢量,确定各入射方向的第二导向矢量;根据与不同入射方向对应的多个第二导向矢量和所述约束响应矢量,确定所述权重向量。
本申请还提供一种拾音设备,包括:
扬声器;
指向性麦克风阵列;
处理器;以及
存储器,用于存储实现上述波束形成方法的程序,该终端通电并通过所述处理器运行该方法的程序。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各种方法。
本申请还提供一种包括指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各种方法。
与现有技术相比,本申请具有以下优点:
本申请实施例提供的波束形成方法,通过获取目标方向信息、麦克风指向方向信息和麦克风阵列形状信息;根据麦克风指向方向信息和目标方向信息,确定麦克风阵列对目标方向的响应矢量;根据麦克风阵列形状信息和目标方向信息,确定麦克风阵列对目标方向的第一导向矢量;根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定差分波束形成器的权重向量。采用这种处理方式,使得基于指向性麦克风阵列进行差分波束形成,并在差分波束形成中增加了基于麦克风指向方向信息获得的振幅响应,这样在低频段可获得更高的白噪声增益,在高频段可获得更高的指向性因子,波束图更具有频率不变性;因此,可以有效提升差分波束成形的鲁棒性。
附图说明
图1本申请提供的波束形成方法的实施例的流程示意图;
图2本申请提供的波束形成方法的实施例的场景示意图;
图3本申请提供的波束形成方法的实施例的麦克风阵列示意图;
图4本申请提供的波束形成装置的实施例的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本申请中,提供了波束形成方法和装置,会议终端。在下面的实施例中逐一对各种方案进行详细说明。
第一实施例
请参看图1,其为本申请的波束形成方法的实施例的流程示意图。在本实施例中,所述方法可包括如下步骤:
步骤S101:获取目标方向信息、麦克风指向方向信息和麦克风阵列形状信息。
本申请实施例提供的方法用于拾音设备,拾音设备包括但不限于音视频会议终端,如扬声电话等。拾音设备包括指向性麦克风阵列,指向性麦克风包括但不限于:心形,超心形,枪型,双指向式,麦克风阵列可以是如图2所示的线性阵列,也可以是其它几何形状的阵列,如方形阵列、三角形阵列、圆形阵列、L形阵列等,还可以是不规则几何形状的阵列。
波束成形(Superdirective Beamforming)是基于麦克风阵列实现的一种空间滤波算法(spatialfilteralgorithm)。所谓空间滤波就是设定一个目标方向,目标方向范围内的信号会被拾取,而目标方向范围外的信号就会被抑制。目标方向是期望方向,波束形成在期望方向上可显示无失真响应,在不期望的方向上显示一定的失真响应。目标方向可以是设定的方向。由此基于波束成形算法,麦克风阵列可以实现特定方向范围的拾音,而特定方向之外的声音会被抑制。
差分阵列是通过比较阵列中相邻阵元收集到信号的空间声压差异性处理数据,它的响应为声压场的空间导数,即N阶差分阵列的响应可看声压的零到N阶空间导数的线性组合。现有差分波束形成方法是使用全向麦克风均匀线性阵列差分波束形成,仅利用了全向麦克风阵列的阵列形状信息。而本申请实施例提供的方法,在现有差分波束形成方法的基础上还包含了麦克风的指向特性,将此声学特性参数(即麦克风指向方向信息)融入到差分波束成形的计算之中,因此需要获取麦克风指向方向信息。
指向性麦克风对不同方向的声音具有不同的敏感度。如图3所示,麦克风指向方向信息与麦克风朝向和阵列的几何形状有关。以线性阵列为例,麦克风指向方向信息是麦克风朝向与如图2所示的端射方向之间的夹角。阵列中每个麦克风的指向方向可以不同,而非所有麦克风指向方向统一为垂直于阵列指向一侧。为了便于描述,本实施例将不同指向的指向性麦克风线性阵列称为非均匀指向的指向性麦克风线性阵列。以圆形阵列为例,麦克风指向方向是麦克风与水平方向之间的夹角和麦克风朝向与直径方向之间的夹角的和,也即麦克风朝向与水平方向之间的夹角。阵列中每个麦克风的朝向与直径方向之间的夹角可以相同,也可以不同。
所述阵列形状信息,与阵列的几何形状有关。以线性阵列为例,如图2所示,阵列形状信息可包括麦克风之间的距离等信息,本实施例中的不同的相邻麦克风之间的距离可以相同或者不同。以圆形阵列为例,阵列形状信息可包括半径、麦克风与麦克风阵列水平方向之间的夹角等信息。
步骤S103:根据麦克风指向方向信息和目标方向信息,确定麦克风阵列对目标方向的响应矢量。
本申请提供的方法是基于指向性麦克风阵列的波束形成方法,当指向性麦克风采集信号时,对于每一个麦克风本身,不同方向的声音采集之后,指向性麦克风本身就会有一个由麦克风指向方向与信号入射方向之间的夹角导致的幅度响应(又称为振幅响应),如果不同麦克风指向不同方向时,那么麦克风之间对于某个方向的语音信号,就会有由不同夹角导致的差异性的幅度响应,该幅度响应是由指向性麦克风本身带来的振幅差导致的,这与指向性麦克风的朝向有关,与麦克风之间的位置差异无关。所述响应矢量包括多个麦克风对应的幅度响应。
具体实施时,步骤S103可采用如下方式实现:获取目标方向与麦克风指向方向之间的夹角,该夹角又称为入射信号相对麦克风的离轴角;根据所述夹角,获取指向性麦克风对目标方向的振幅响应。
在一个示例中,步骤S103可采用如下方式实现:根据所述麦克风指向方向信息、目标方向信息和一阶指向性麦克风的系数,确定麦克风阵列对目标方向的响应矢量。一阶指向性麦克风的系数可以用p表示,p=0形成偶极子波束模式,p=0.5形成心形波束模式,p=1为全向麦克风。采用一阶指向麦克风可有效节约硬件成本,以及减小麦克风阵列的尺寸。
在采用一阶指向麦克风的情况下,根据所述夹角获取指向性麦克风对目标方向的振幅响应的步骤,可采用如下方式:获取目标方向与麦克风指向方向之间的夹角的余弦值;根据所述余弦值,获取指向性麦克风对目标方向的振幅响应。具体实施时,可采用如下公式计算指向性麦克风的振幅响应:
um(p,θ)=p+(1-p)cos(θ-αm)
在该公式中,um(p,θ)表示第m个指向性麦克风对来自θ方向的声音信号的振幅响应,θ表示信号入射方向(可以是目标方向,也可以是非目标方向),αm是第m个指向性麦克风的指向方向。在这种情况下,响应矢量可表示为如下形式:
u(p,θ)=[u1,u2,…,um,…,uM]
在该公式中,M表示麦克风阵列包括M个麦克风。
可见,在采用一阶指向麦克风的情况下,当信号入射方向与麦克风指向方向αm一致时,两者夹角为0,麦克风对入射方向的信号的振幅响应为1;当信号入射方向与麦克风指向方向垂直时,夹角为90度,振幅响应为p;当信号入射方向与麦克风指向方向之间的夹角介于0到90度之间时,振幅响应介于p到1之间,如果一阶指向性麦克风的系数p=0,形成偶极子波束模式,则振幅响应介于0到1之间,如果一阶指向性麦克风的系数p=0.5,形成心形波束模式,则振幅响应介于0.5到1之间。
在一个示例中,所述方法还可包括如下步骤:为不同指向性麦克风设置不同的一阶指向性麦克风的系数p。通过对每个指向性麦克风单独控制p,如p=1、0.5或者0,这样可引入更多的自由度,适用于一些特殊情况。
需要说明的是,本申请实施例提供的方法并不限于一阶指向麦克风,也能实现高阶指向,指向性麦克风的振幅响应矩阵为一个高阶响应矩阵。
步骤S105:根据麦克风阵列形状信息和目标方向信息,确定麦克风阵列对目标方向的第一导向矢量。
第一导向矢量(array steering vector)表示阵列不同麦克风之间的相位差关系以及声源来波方向之间的关系。第一导向矢量可描述空间相位差,第一导向矢量的结构和阵元之间的相对位置有关系,是传统全向麦克风阵列的导向矢量。
在一个示例中,指向性麦克风阵列为非均匀指向的线性阵列,步骤S105可采用如下方式实现:根据麦克风阵列形状信息,获取各麦克风与参考麦克风之间的距离值,所述参考麦克风可以是从左到右排在线性阵列首位的麦克风;根据距离值和所述目标方向,获取所述第一导向矢量。
具体实施时,第m个指向性麦克风在方向θ上的相位差可采用如下公式:
在该公式中,θ表示信号入射方向,表示虚数单位,ω=2πf表示角频率,f表示时间频率(又称为时序频率或者闪动频率,简称时频);δ是相邻麦克风之间的距离,(m-1)δ表示第m个麦克风与第一个麦克风之间的距离。在这种情况下,第一导向矢量可表示为如下形式:
在该公式中,M表示麦克风阵列包括M个麦克风,T表示矩阵的转置操作。
在另一个示例中,指向性麦克风阵列为均匀圆形阵列,步骤S105可采用如下方式实现:根据麦克风阵列半径信息和所述目标方向信息,获取所述第一导向矢量。
步骤S107:根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定差分波束形成器的权重向量。
多通道波束形成是对各个麦克风通道接收信号进行加权重因子系数调节并相加的过程。波束模式使得目标方向范围内的信号会被拾取,而目标方向范围外的信号就会被抑制。波束模式为波束形成器的权重矢量和导向矢量的乘积。
在现有技术中,波束模式为波束形成器的权重矢量和第一导向矢量的乘积。对各个阵元来说,假设信号在一瞬间的幅值相同,使用不同的权矢量作加权处理,只做信号的相位调整,不做幅度改变。
在本申请实施例提供的方法中,包含了麦克风的指向特性,将此声学特性参数融入到波束成形的计算之中。本步骤是在现有的差分波束形成(differential beamform)基础上增加一个自由度,即基于麦克风指向信息获得的振幅响应,根据所述响应矢量和传统全向麦克风阵列的导向矢量(即第一导向矢量),确定波束形成器(beamformer)的权重向量,以形成上述波束模式。
在一个示例中,步骤S107可包括如下子步骤:
步骤S1071:根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定所述目标方向的第二导向矢量。
第二导向矢量不仅与相位差有关,还与由麦克风指向引起的振幅响应有关。第二导向矢量可采用如下形式表示:
d(ω,θ)=[d1,d2,…,dm,…,dN]T
其中,M表示麦克风阵列包括M个麦克风。
具体实施时,如果麦克风阵列为由非均匀指向的指向性麦克风组成的线性阵列,则第二导向矢量中的元素dm(ω,θ)可采用如下公式计算:
通过该公式可得到如下关系:麦克风阵列的第二导向矢量可以是响应矢量与第一导向矢量的基本积,公式化表示为:
d(ω,θ)=u(p,θ)oa(ω,θ)
其中,u(p,θ)=[u1,u2,…,um,…,uM]
步骤S1073:根据所述目标方向的第二导向矢量,确定所述权重向量。
在本实施例中,波束模式为波束形成器的权重矢量与所述第二导向矢量的积。对各个阵元来说,信号在一瞬间的幅值并不相同,使用不同的权矢量作加权处理,不仅做信号的相位调整,还做幅度改变。波束形成的权重矢量h(ω)与所述第二导向矢量d(ω,θ)的积为1,对特定方向的信号不失真,麦克风阵列可以实现特定方向范围的拾音;积为0,对特定方向之外的信号失真,麦克风阵列可以实现特定方向之外的声音会被抑制。
基于麦克风阵列的差分波束形成器(differential beamformer)的传统设计基于多阶差分阵列(differentialmicrophonearray,DMA),其中n阶DMA通过两个N-1阶DMA输出的减法获得。然而,这种方法在设计高于2阶的DMA时通常非常困难。为此,可将零约束(null-constrained)方法用于设计具有最大WNG的鲁棒差分波束形成器。在本实施例中,基于这种零约束方法进行差分波束形成。相应的,本申请实施例提供的方法还可包括如下步骤:
步骤S201:获取方向矢量和与所述方向矢量对应的约束响应矢量,所述方向矢量包括目标方向和多个非目标方向。
在本实施例中,为了设计具有零约束的差分波束形成器h(ω),可将约束表示为线性方程组,如下所示:
R(ω,θ)h(ω)=cθ
其中,大小为NXM的约束矩阵为R(ω,θ)可表示为如下形式:
dH(ω,θn)是长度为M的导向矢量,n=1,2,…,N;
θ=[θ1 θ2…θN]T
cθ=[cθ1 cθ2…cθN]T
其中,Θ表示所述方向矢量,是信号入射角度参数向量,θ1表示信号入射方向1(如0度),θ2表示信号入射方向2(如5度),θN表示信号入射方向N(如90度),θ1至θN可以是差分波束形成器的设计参数;cθ表示约束响应矢量。Θ和cθ均是长度为N的矢量,矢量Θ和cθ是波束形成器的设计参数。θ1,…,θN定义了期望或者零方向,cθ1,…,cθN是这些方向的相应响应。例如,如果cθ1=1,则信号入射角度为θ1的导向矢量遵循dH(ω,θ1)h(ω)=1,表示θ1为波束形成器的期望方向,对于来自方向θ1的声音信号,波束形成器产生无失真输出。对于θ1以外的其它方向(θ2…θN),cθi=0,也就是说,这些θi决定了波束形成的空值。可见,波束形成器的特性由设计中需要指定的约束向量cθ和角度参数向量θ决定。
步骤S203:根据麦克风指向方向信息和非目标方向信息,确定麦克风阵列对非目标方向的响应矢量。
步骤S205:根据麦克风阵列形状信息和非目标方向信息,确定麦克风阵列对非目标方向的第一导向矢量。
步骤S203与上述步骤S103相对应,步骤S205与上述步骤S105相对应,不同之处仅在于信号入射方向不同,因此此处不再赘述。
相应的,步骤S107可采用如下方式实现:根据各入射方向的响应矢量和第一导向矢量、所述约束响应矢量,确定差分波束形成器的权重向量。
具体实施时,步骤S107可包括如下子步骤:根据各入射方向的响应矢量和各入射方向的第一导向矢量,确定各入射方向的第二导向矢量;根据与不同入射方向对应的多个第二导向矢量和所述约束响应矢量,确定所述权重向量。
上述差分波束形成器的设计可表述为以下优化问题:
优化函数minhH(ω)h(ω)
约束条件R(ω,θ)h(ω)=cθ
在这种情况下,波束形成器可通过以下方式获得:
h(ω)=RH(ω,θ)[R(ω,θ)RH(ω,θ)]-1cθ
如果指向性麦克风阵列为基于非均匀指向的指向性麦克风线性阵列(LA-NSDM),则相应的波束形成器可通过以下方式获得:
hLA-NSDM(ω)=RH(ω,θ)[R(ω,θ)RH(ω,θ)]-1cθ
在本申请实施例提供的方法中,包含了麦克风的指向特性,将此声学特性参数融入到波束成形的计算之中,即可表示为如下形式:
R(ω,θ)=U(p,θ)°A(ω,θ)
U(p,θ)为指向性麦克风响应矩阵,可表示为如下形式:
A(ω,θ)为全向麦克风的常规远场导向矢量,可表示为如下形式:
权重矢量h(ω)是所求参数,可定义为如下形式:
h(ω)=[H1(ω),H2(ω),…,Hm(ω),…,HM(ω)]T
波束模式可采用如下方式表示:
在该公式中,H表示共轭转置,θdesired表示目标方向(特定方向),该波束模式表示麦克风阵列可以实现特定方向范围的拾音,特定方向之外的声音会被抑制。
在本实施例中,权重向量可采用如下公式实现:
h(ω)=AH(ω,θ)°UH(p,θ)[(U(p,θ)°A(ω,θ))(AH(ω,θ)°UH(p,θ))]-1cθ
其中,A表示麦克风阵列的第一导向矢量矩阵,U表示指向性麦克风阵列的响应矢量矩阵;o表示基本积操作;[]H表示共轭矩阵。
上述公式中的矢量θ是波束形成器的设计参数,θ1至θN表示目标方向或者空方向。cθ表示与方向对应的响应。例如,θ1为目标方向,cθ1=1表示θ1上的波束模式为1,产生无失真输出;cθi=0,i=2,…,N,θi决定波束模式的空值。由约束向量cθ和角度参数向量θ来决定波束形成器的属性,需要预先设置约束向量cθ和角度参数向量θ。
通过上述内容可见,本申请实施例提供的波束形成方法通过引入一个自由度来扩展现有的差分波束形成方法,这个自由度就是指向性麦克风响应矩阵u(p,θ)。实际上,在麦克风响应矩阵衰减为(p=1全向麦克风)一个矩阵时,现有的差分波束形成方法是本申请实施例提供的差分波束形成方法的一个特例。
针对本申请实施例提供的差分波束形成方法,可采用白噪声增益(WNG)、波束模式和指向性因子(DF)对该方法的效果进行评估。白噪声是指功率谱密度在整个频域内是常数的噪声,所有频率具有相同能量密度的随机噪声称为白噪声。WNG可评估波束形成器抑制空间无关噪声的能力,可评估波束形成器对某些缺陷的灵敏度,如指向性麦克风本身产生的噪声、麦克风位置误差等。波束形成器抑制空间无关噪声的能力,与波束形成的权重矢量相关。WNG可采用如下公式进行定义:
波束模式说明了波束形成器对从入射角度θ入射到阵列上的平面波的方向灵敏度。波束模型可采用如下公式进行定义:
DF是所需导向矢量上阵列输出的信号功率与所有方向上的平均功率之间的比率,可采用如下公式进行定义:
DL[h(ω)]=10log10(DF[h(ω)])
经过实验表明,本申请提供的方法可以在获得与现有技术相同DF指标的情况下,显著提升低频下的白噪声增益,波束图更具有频率不变性,从而提升差分波束成形的鲁棒性。
从上述实施例可见,本申请实施例提供的波束形成方法,通过获取目标方向信息、麦克风指向方向信息和麦克风阵列形状信息;根据麦克风指向方向信息和目标方向信息,确定麦克风阵列对目标方向的响应矢量;根据麦克风阵列形状信息和目标方向信息,确定麦克风阵列对目标方向的第一导向矢量;根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定差分波束形成器的权重向量。采用这种处理方式,使得基于指向性麦克风阵列进行差分波束形成,并在差分波束形成中增加了基于麦克风指向方向信息获得的振幅响应,这样在低频段可获得更高的白噪声增益,在高频段可获得更高的指向性因子,波束图更具有频率不变性;因此,可以有效提升差分波束成形的鲁棒性。
第二实施例
在上述的实施例中,提供了一种波束形成方法,与之相对应的,本申请还提供一种波束形成装置。该装置是与上述方法的实施例相对应。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
请参看图4,其为本申请的波束形成装置的实施例的结构示意图。在本实施例中,所述装置包括:信息获取单元401,目标方向响应矢量确定单元403,目标方向第一导向矢量确定单元405,权重向量确定单元407。
信息获取单元,用于获取目标方向信息、麦克风指向方向信息和麦克风阵列形状信息;目标方向响应矢量确定单元,用于根据麦克风指向方向信息和目标方向信息,确定麦克风阵列对目标方向的响应矢量;目标方向第一导向矢量确定单元,用于根据麦克风阵列形状信息和目标方向信息,确定麦克风阵列对目标方向的第一导向矢量;权重向量确定单元,用于根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定差分波束形成器的权重向量。
在一个示例中,所述装置还包括:参数设置单元,非目标方向响应矢量确定单元,非目标方向第一导向矢量确定单元。
参数设置单元,用于获取方向矢量和与所述方向矢量对应的约束响应矢量,所述方向矢量包括目标方向和多个非目标方向;非目标方向响应矢量确定单元,用于根据麦克风指向方向信息和非目标方向信息,确定麦克风阵列对非目标方向的响应矢量;非目标方向第一导向矢量确定单元,用于根据麦克风阵列形状信息和目标方向信息,确定麦克风阵列对非目标方向的第一导向矢量;相应的,所述权重向量确定单元,具体用于根据各入射方向的响应矢量、各入射方向的第一导向矢量和所述约束响应矢量,确定差分波束形成器的权重向量。
在一个示例中,所述权重向量确定单元,具体用于根据各入射方向的响应矢量和各入射方向的第一导向矢量,确定各入射方向的第二导向矢量;根据与不同入射方向对应的多个第二导向矢量和所述约束响应矢量,确定所述权重向量。
所述指向性麦克风阵列包括但不限于线性阵列。所述指向性麦克风阵列包括但不限于由非均匀指向的指向性麦克风组成的线性阵列。如果采用线性阵列,所述麦克风指向方向信息包括麦克风朝向与端射方向之间的夹角。
在一个示例中,所述目标方向响应矢量确定单元,具体用于获取目标方向与麦克风指向方向之间的夹角;根据所述夹角,获取各麦克风对目标方向的振幅响应。
在一个示例中,所述目标方向响应矢量确定单元,具体用于根据所述麦克风指向方向信息、目标方向信息和一阶指向性麦克风的系数,确定麦克风阵列对目标方向的响应矢量。
在一个示例中,所述装置还可包括:麦克风属性设置单元,用于为不同指向性麦克风设置不同的一阶指向性麦克风的系数。
在一个示例中,目标方向第一导向矢量确定单元,具体用于根据麦克风阵列形状信息,获取各麦克风与参考麦克风之间的距离值;根据所述距离值和所述目标方向,获取所述目标方向的第一导向矢量。
在一个示例中,权重向量确定单元,具体用于根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定所述目标方向的第二导向矢量;根据所述目标方向的第二导向矢量,确定所述权重向量。
第三实施例
在上述的实施例中,提供了一种波束形成方法,与之相对应的,本申请还提供一种拾音设备。该设备是与上述方法的实施例相对应。由于设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种拾音设备,包括:扬声器;指向性麦克风阵列;处理器;以及存储器。其中,存储器用于存储实现上述波束形成方法的程序,该终端通电并通过所述处理器运行该方法的程序。
所述电子设备,可以是音视频会议终端,也可以是拾音设备。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
2、本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
Claims (14)
1.一种波束形成方法,用于拾音设备,所述拾音设备包括指向性麦克风阵列,其特征在于,包括:
获取目标方向信息、麦克风指向方向信息和麦克风阵列形状信息;
根据麦克风指向方向信息和目标方向信息,确定麦克风阵列对目标方向的响应矢量;
根据麦克风阵列形状信息和目标方向信息,确定麦克风阵列对目标方向的第一导向矢量;
根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定差分波束形成器的权重向量。
2.根据权利要求1所述的方法,其特征在于,
所述指向性麦克风阵列包括线性阵列;
所述麦克风指向方向信息包括麦克风朝向与端射方向之间的夹角。
3.根据权利要求2所述的方法,其特征在于,所述指向性麦克风阵列包括由非均匀指向的指向性麦克风组成的线性阵列。
4.根据权利要求1所述的方法,其特征在于,所述根据麦克风指向方向信息和目标方向信息,确定麦克风阵列对目标方向的响应矢量,包括:
获取目标方向与麦克风指向方向之间的夹角;
根据所述夹角,获取各麦克风对目标方向的振幅响应。
5.根据权利要求1所述的方法,其特征在于,所述根据麦克风指向方向信息和目标方向信息,确定麦克风阵列对目标方向的响应矢量,包括:
根据所述麦克风指向方向信息、目标方向信息和一阶指向性麦克风的系数,确定麦克风阵列对目标方向的响应矢量。
6.根据权利要求5所述的方法,其特征在于,还包括:
为不同指向性麦克风设置不同的一阶指向性麦克风的系数。
7.根据权利要求1所述的方法,其特征在于,所述根据麦克风阵列形状信息和目标方向信息,确定麦克风阵列对目标方向的第一导向矢量,包括:
根据麦克风阵列形状信息,获取各麦克风与参考麦克风之间的距离值;
根据所述距离值和所述目标方向,获取所述目标方向的第一导向矢量。
8.根据权利要求1所述的方法,其特征在于,所述根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定差分波束形成器的权重向量,包括:
根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定所述目标方向的第二导向矢量;
根据所述目标方向的第二导向矢量,确定所述权重向量。
9.根据权利要求1所述的方法,其特征在于,还包括:
获取方向矢量和与所述方向矢量对应的约束响应矢量,所述方向矢量包括目标方向和多个非目标方向;
根据麦克风指向方向信息和非目标方向信息,确定麦克风阵列对非目标方向的响应矢量;
根据麦克风阵列形状信息和非目标方向信息,确定麦克风阵列对非目标方向的第一导向矢量;
所述根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定差分波束形成器的权重向量,包括:
根据各入射方向的响应矢量、各入射方向的第一导向矢量和所述约束响应矢量,确定差分波束形成器的权重向量。
10.根据权利要求9所述的方法,其特征在于,所述根据各入射方向的响应矢量、各入射方向的第一导向矢量、所述约束响应矢量,确定差分波束形成器的权重向量,包括:
根据各入射方向的响应矢量和各入射方向的第一导向矢量,确定各入射方向的第二导向矢量;
根据与不同入射方向对应的多个第二导向矢量和所述约束响应矢量,确定所述权重向量。
11.一种波束形成装置,其特征在于,包括:
信息获取单元,用于获取目标方向信息、麦克风指向方向信息和麦克风阵列形状信息;
目标方向响应矢量确定单元,用于根据麦克风指向方向信息和目标方向信息,确定麦克风阵列对目标方向的响应矢量;
目标方向第一导向矢量确定单元,用于根据麦克风阵列形状信息和目标方向信息,确定麦克风阵列对目标方向的第一导向矢量;
权重向量确定单元,用于根据所述目标方向的响应矢量和所述目标方向的第一导向矢量,确定差分波束形成器的权重向量。
12.根据权利要求11所述的装置,其特征在于,还包括:
参数设置单元,用于获取方向矢量和与所述方向矢量对应的约束响应矢量,所述方向矢量包括目标方向和多个非目标方向;
非目标方向响应矢量确定单元,用于根据麦克风指向方向信息和非目标方向信息,确定麦克风阵列对非目标方向的响应矢量;
非目标方向第一导向矢量确定单元,用于根据麦克风阵列形状信息和目标方向信息,确定麦克风阵列对非目标方向的第一导向矢量;
所述权重向量确定单元,具体用于根据各入射方向的响应矢量、各入射方向的第一导向矢量和所述约束响应矢量,确定差分波束形成器的权重向量。
13.根据权利要求12所述的装置,其特征在于,所述权重向量确定单元,具体用于根据各入射方向的响应矢量和各入射方向的第一导向矢量,确定各入射方向的第二导向矢量;根据与不同入射方向对应的多个第二导向矢量和所述约束响应矢量,确定所述权重向量。
14.一种拾音设备,其特征在于,包括:
扬声器;
指向性麦克风阵列;
处理器;以及
存储器,用于存储实现根据权利要求1-10任一项所述方法的程序,该终端通电并通过所述处理器运行该方法的程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210995421.7A CN115515038A (zh) | 2022-08-18 | 2022-08-18 | 波束形成方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210995421.7A CN115515038A (zh) | 2022-08-18 | 2022-08-18 | 波束形成方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115515038A true CN115515038A (zh) | 2022-12-23 |
Family
ID=84502926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210995421.7A Pending CN115515038A (zh) | 2022-08-18 | 2022-08-18 | 波束形成方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115515038A (zh) |
-
2022
- 2022-08-18 CN CN202210995421.7A patent/CN115515038A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111025233B (zh) | 一种声源方向定位方法和装置、语音设备和系统 | |
US9894434B2 (en) | Conference system with a microphone array system and a method of speech acquisition in a conference system | |
CN109102822B (zh) | 一种基于固定波束形成的滤波方法及装置 | |
US8098844B2 (en) | Dual-microphone spatial noise suppression | |
Huang et al. | Design of robust concentric circular differential microphone arrays | |
US9591404B1 (en) | Beamformer design using constrained convex optimization in three-dimensional space | |
CN109616136B (zh) | 一种自适应波束形成方法、装置及系统 | |
Sun et al. | Localization of distinct reflections in rooms using spherical microphone array eigenbeam processing | |
JP2013543987A (ja) | 遠距離場マルチ音源追跡および分離のためのシステム、方法、装置およびコンピュータ可読媒体 | |
Ryan et al. | Array optimization applied in the near field of a microphone array | |
US9628905B2 (en) | Adaptive beamforming for eigenbeamforming microphone arrays | |
WO2014007911A1 (en) | Audio signal processing device calibration | |
JP2020500480A5 (zh) | ||
Jackson et al. | Sound field planarity characterized by superdirective beamforming | |
Huang et al. | On the design of robust steerable frequency-invariant beampatterns with concentric circular microphone arrays | |
WO2007059255A1 (en) | Dual-microphone spatial noise suppression | |
Wang et al. | Design of frequency-invariant uniform concentric circular arrays with first-order directional microphones | |
WO2023056905A1 (zh) | 声源定位方法、装置及设备 | |
CN115515038A (zh) | 波束形成方法、装置及设备 | |
JPWO2019167671A1 (ja) | マイクロホンアレイ、収録装置および方法、並びにプログラム | |
CN115547354A (zh) | 波束形成方法、装置及设备 | |
CN113491137B (zh) | 具有分数阶的灵活差分麦克风阵列 | |
CN109417666A (zh) | 噪声去除装置、回声消除装置、异常音检测装置和噪声去除方法 | |
WO2020034095A1 (zh) | 音频信号处理装置及方法 | |
Liu et al. | Sound source localization and speech enhancement algorithm based on fixed beamforming |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |