CN115547354A - 波束形成方法、装置及设备 - Google Patents

波束形成方法、装置及设备 Download PDF

Info

Publication number
CN115547354A
CN115547354A CN202210993863.8A CN202210993863A CN115547354A CN 115547354 A CN115547354 A CN 115547354A CN 202210993863 A CN202210993863 A CN 202210993863A CN 115547354 A CN115547354 A CN 115547354A
Authority
CN
China
Prior art keywords
microphone
target signal
incidence
vector
directional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210993863.8A
Other languages
English (en)
Inventor
黄伟隆
冯津伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dingtalk China Information Technology Co Ltd
Original Assignee
Dingtalk China Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dingtalk China Information Technology Co Ltd filed Critical Dingtalk China Information Technology Co Ltd
Priority to CN202210993863.8A priority Critical patent/CN115547354A/zh
Publication of CN115547354A publication Critical patent/CN115547354A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请公开了波束形成方法、装置及设备。其中所述方法包括：获取目标信号入射方向和目标信号入射俯仰角、麦克风指向方向信息和麦克风阵列形状信息；根据麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的响应矢量；根据麦克风阵列形状信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的第一导向矢量；根据所述响应矢量和第一导向矢量，确定超指向波束形成器的权重向量。采用这种处理方式，使得基于指向性麦克风阵列进行超指向波束形成，并在超指向波束形成中增加基于麦克风指向信息获得的振幅响应，这样在低频段可获得更高的白噪声增益，在高频段可获得更高的指向性因子，提升了超指向波束成形的鲁棒性。

Description

波束形成方法、装置及设备
技术领域
本申请涉及语音处理技术领域，具体涉及波束形成方法和装置，拾音设备。
背景技术
互联网技术带来人们通信工具的改变，基于云计算的音视频会议系统逐步普及。在有噪声和混响环境下，音视频会议终端采用波束成形技术以达到高质量拾音，因此视频会议环境下的波束成形一直都是研究的热点。
基于麦克风阵列的波束形成可以增强目标信号的期望方向，并抑制来自非期望方向的干扰。一种典型的波束形成是使用全向麦克风均匀圆阵的超指向波束形成。白噪声增益(WNG)和指向性因子(DF)是评估波束形成效果的两个重要指标。白噪声增益用于度量波束形成器的鲁棒性，指向性因子用来评估存在混响时的阵列性能。
然而，在实现本发明过程中，发明人发现现有方案至少存在如下问题：波束图会随着频率而变化，具体表现为：低频下的白噪声增益较低，高频下的指向性因子下降，因此，基于全向麦克风阵列的超指向波束形成存在鲁棒性较低的问题。
发明内容
本申请提供波束形成方法，以解决基于全向麦克风阵列的超指向波束形成存在的鲁棒性较低的问题。本申请另外提供波束形成装置，拾音设备。
本申请提供一种波束形成方法，用于拾音设备，所述拾音设备包括指向性麦克风阵列，所述方法包括：
获取目标信号入射方向和目标信号入射俯仰角、麦克风指向方向信息和麦克风阵列形状信息；
根据麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的响应矢量；
根据麦克风阵列形状信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的第一导向矢量；
根据所述响应矢量和第一导向矢量，确定超指向波束形成器的权重向量。
可选的，所述指向性麦克风阵列包括环形阵列；
所述麦克风指向方向信息，采用如下方式获取：
获取麦克风与水平方向之间的第一夹角和麦克风朝向与直径方向之间的第二夹角；
将第一夹角与第二夹角的和作为麦克风指向方向信息。
可选的，所述根据麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的响应矢量，包括：
获取目标信号入射方向与麦克风指向方向之间的夹角；
根据所述夹角和所述目标信号入射俯仰角，获取指向性麦克风的振幅响应。
可选的，所述指向性麦克风为一阶指向性麦克风；
所述根据麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的响应矢量，包括：
根据所述麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角和一阶指向性麦克风的系数，确定麦克风阵列的响应矢量。
可选的，还包括：
为不同指向性麦克风设置不同的一阶指向性麦克风的系数。
可选的，指向性麦克风阵列为环形阵列；
所述根据麦克风阵列形状信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的第一导向矢量，包括：
获取目标信号入射方向与麦克风的第一夹角之间的第三夹角，所述第一夹角是指麦克风与环形阵列水平方向之间的夹角；
根据环形阵列的半径信息、所述第三夹角和所述目标信号入射俯仰角，获取指向性麦克风的第一导向矢量。
可选的，指向性麦克风阵列为线性阵列；
所述根据麦克风阵列形状信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的第一导向矢量，包括：
根据麦克风阵列形状信息,获取各麦克风与参考麦克风之间的距离值，所述参考麦克风可以是从左到右排在线性阵列首位的麦克风；
根据距离值、所述目标信号入射方向和目标信号入射俯仰角，获取所述第一导向矢量。
可选的，所述根据所述响应矢量和第一导向矢量，确定超指向波束形成器的权重向量，包括：
根据响应矢量和第一导向矢量，确定第二导向矢量；
根据第二导向矢量，确定球状噪声场矩阵；
根据球状噪声场矩阵和第二导向矢量，确定所述权重向量。
本申请还提供一种波束形成装置，用于拾音设备，所述拾音设备包括指向性麦克风阵列，其特征在于，包括：
参数获取单元，用于获取目标信号入射方向和目标信号入射俯仰角、麦克风指向方向信息和麦克风阵列形状信息；
响应矢量确定单元，用于根据麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的响应矢量；
第一导向矢量确定单元，用于根据麦克风阵列形状信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的第一导向矢量；
权重向量确定单元，用于根据所述响应矢量和第一导向矢量，确定超指向波束形成器的权重向量。
本申请还提供一种拾音设备，包括：
扬声器；
指向性麦克风阵列；
处理器；以及
存储器，用于存储实现上述方法的程序，该终端通电并通过所述处理器运行该方法的程序。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各种方法。
本申请还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种方法。
与现有技术相比，本申请具有以下优点：
本申请实施例提供的波束形成方法，通过获取目标信号入射方向和目标信号入射俯仰角、麦克风指向方向信息和麦克风阵列形状信息；根据麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的响应矢量；根据麦克风阵列形状信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的第一导向矢量；根据所述响应矢量和第一导向矢量，确定超指向波束形成器的权重向量。采用这种处理方式，使得基于指向性麦克风阵列进行超指向波束形成，并在超指向波束形成中增加一个自由度，即基于麦克风指向信息获得的振幅响应，这样在低频段可获得更高的白噪声增益，在高频段可获得更高的指向性因子，波束图更具有频率不变性；因此，可以有效提升超指向波束成形的鲁棒性。
附图说明
图1本申请提供的波束形成方法的实施例的流程示意图；
图2本申请提供的波束形成方法的实施例的声源信号方向示意图；
图3本申请提供的波束形成方法的实施例的均匀环形阵列的示意图；
图4本申请提供的波束形成方法的实施例的非均匀环形阵列示意图；
图5本申请提供的波束形成装置的实施例的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请中，提供了波束形成方法和装置，会议终端。在下面的实施例中逐一对各种方案进行详细说明。
第一实施例
请参看图1，其为本申请的波束形成方法的实施例的流程示意图。在本实施例中，所述方法可包括如下步骤：
步骤S101：获取目标信号入射方向和目标信号入射俯仰角、麦克风指向方向信息和麦克风阵列形状信息。
本申请实施例提供的方法用于拾音设备，拾音设备包括但不限于音视频会议终端，如扬声电话等。拾音设备包括指向性麦克风阵列，指向性麦克风包括但不限于：心形，超心形，枪型，双指向式，麦克风阵列可以是如图2所示的圆形阵列，也可以是其它几何形状的阵列，如线性阵列、方形阵列、三角形阵列等，还可以是不规则几何形状的阵列。
波束成形是基于麦克风阵列实现的一种空间滤波算法(spatialfilteralgorithm)。所谓空间滤波就是设定一个目标方向，目标方向范围内的信号会被拾取，而目标方向范围外的信号会被抑制。由此基于波束成形算法，麦克风阵列可以实现特定方向范围的拾音，而特定方向之外的声音会被抑制。
在本实施例中，信号方向为三维空间中的方向，目标方向包括目标信号入射方向和目标信号入射俯仰角。如图2所示，目标信号入射方向θd的取值范围是0-360度，目标信号入射俯仰角
Figure BDA0003804843890000051
是入射信号x(t)在麦克风阵列平面上的投影与水平方向x之间的夹角。采用本申请实施例提供的方法所形成的超指向性波束形成器对特定方向
Figure BDA0003804843890000052
的信号不失真，麦克风阵列可以实现特定方向范围的拾音；对特定方向之外的信号失真，麦克风阵列可以实现特定方向之外的声音会被抑制。θd和
Figure BDA0003804843890000053
是波束形成器的设计参数，决定了超指向性波束形成器的属性，可预先设置。
声音信号在空间中大量的反射会形成接近球形的各向同性噪声场。超指向性波束形成(Superdirective Beamforming，SBF)是利用各向同性散射噪声场矩阵，抑制来自各方向噪声对目标信号的影响，输出比常规波束形成具有更高“方向性”的阵列增益信号，从而改善降噪处理效果。现有超指向性波束形成方法是使用全向麦克风均匀圆形阵列的超指向性波束形成，仅利用了全向麦克风阵列的阵列形状信息。而本申请实施例提供的方法，不仅利用麦克风阵列形状信息，还将与麦克风指向方向相关的指向性麦克风的声学特性融入到波束成形的计算之中,因此需要获取麦克风指向方向信息。
指向性麦克风对不同方向的声音具有不同的敏感度，麦克风指向方向信息与麦克风朝向和阵列的几何形状有关。麦克风阵列可以是环形阵列，麦克风指向方向信息可采用如下方式获取：获取麦克风与水平方向之间的第一夹角和麦克风朝向与直径方向之间的第二夹角，第二夹角又称为指向性麦克风的离轴角；将第一夹角与第二夹角的和作为麦克风指向方向信息。麦克风阵列也可以是线性阵列，麦克风指向方向信息是麦克风朝向与麦克风阵列的端射方向之间的夹角。
如图3所示，指向性麦克风阵列可以为均匀指向且均匀排列的圆形阵列,简称为均匀环形阵列。阵列形状信息包括圆形阵列半径r、麦克风与麦克风阵列水平方向之间的夹角
Figure BDA0003804843890000054
等，如第m个麦克风与水平方向之间的第一夹角为
Figure BDA0003804843890000055
由于指向性麦克风阵列为均匀排列的圆形阵列，因此两个相邻指向性麦克风之间的角度为
Figure BDA0003804843890000061
其中M为指向性麦克风阵列包括的麦克风数量。具体实施时，可采用公式
Figure BDA0003804843890000062
进行计算，其中m表示第m个麦克风，
Figure BDA0003804843890000063
表示第一个麦克风与麦克风阵列水平方向之间的夹角，
Figure BDA0003804843890000064
可以是大于0或者等于0的角度。在这种情况下，如果每个麦克风的朝向均与麦克风阵列的直径方向一致，则麦克风指向方向信息就是麦克风与麦克风阵列水平方向之间的夹角。如果每个麦克风的朝向与麦克风阵列的直径方向的夹角相同，则麦克风指向方向信息就是麦克风与麦克风阵列水平方向之间的夹角与麦克风朝向与麦克风阵列的直径方向的夹角之和。
如图4所示，指向性麦克风阵列也可以为非均匀指向且非均匀排列的圆形阵列。图4示出了麦克风相对阵列圆心的方向，即麦克风与圆形阵列直径方向之间的第二夹角，如第1个麦克风与直径方向之间的夹角为α1，第m个麦克风与直径方向之间的夹角为αm，第M个麦克风与直径方向之间的夹角为αM。在这种情况下，第m个麦克风的指向方向可以是麦克风与水平方向之间的第一夹角
Figure BDA0003804843890000065
麦克风与直径方向之间的第二夹角αm的和，即
Figure BDA0003804843890000066
所述阵列形状信息与麦克风数量及阵列的几何形状有关。以线性阵列为例，阵列形状信息可包括麦克风之间的距离，不同的相邻麦克风之间的距离可以相同或者不同。以圆形阵列为例，阵列形状信息可包括半径、麦克风与麦克风阵列水平方向之间的夹角等信息。
步骤S103：根据麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的响应矢量。
本申请实施例提供的方法，将指向性麦克风器件的声学特性及入射信号在三维空间的俯仰角信息融入到波束成形的计算之中。本步骤可根据麦克风指向方向、目标信号入射方向和目标信号入射俯仰角，确定指向性麦克风的振幅响应。
当指向性麦克风器件采集信号时，对于每一个麦克风本身，不同方向的声音采集之后，指向性麦克风本身会有一个由指向性麦克风的指向方向与信号入射方向之间的夹角导致的幅度响应，如果不同麦克风指向不同方向时，那么麦克风之间对于某个方向的语音信号，就会有由不同夹角导致的差异性的幅度响应。在本实施例中，振幅响应是由指向性麦克风本身的带来的振幅差导致的，这与指向性麦克风的指向方向有关，与麦克风之间的位置差异无关。所述响应矢量包括多个麦克风对应的幅度响应。
具体实施时，步骤S103可采用如下方式实现：获取目标信号入射方向与麦克风指向方向之间的夹角，该夹角又称为入射信号相对麦克风的离轴角；根据所述夹角和所述目标信号入射俯仰角，获取指向性麦克风的振幅响应。
在一个示例中，考虑到指向性麦克风的尺寸或者价格，可采用一阶指向性麦克风；相应的，步骤S103可采用如下方式实现：根据所述麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角和一阶指向性麦克风的系数，确定麦克风阵列的响应矢量。一阶指向性麦克风的系数可以用p表示，p＝0形成偶极子波束模式，p＝0.5形成心形波束模式，p＝1为全向麦克风。
在采用一阶指向麦克风的情况下，根据所述夹角和所述目标信号入射俯仰角，获取指向性麦克风的振幅响应的步骤，可采用如下方式：获取所述夹角的余弦值；获取所述目标信号入射俯仰角的正弦值；根据所述余弦值和正弦值，获取指向性麦克风的振幅响应。具体实施时，一阶指向麦克风的振幅响应可采用如下公式表示：
Figure BDA0003804843890000071
在该公式中，
Figure BDA0003804843890000072
为第m个指向性麦克风的振幅响应；θ为信号入射方向，取值范围是0-360度；
Figure BDA0003804843890000073
为第m个指向性麦克风与麦克风阵列水平方向之间的夹角；αm为第m个指向性麦克风的朝向与圆形阵列直径方向之间的夹角；
Figure BDA0003804843890000074
为第m个指向性麦克风的指向方向，
Figure BDA0003804843890000075
为入射信号俯仰角，p是一阶指向性麦克风的系数。
在一个示例中，所述方法还可包括如下步骤：为不同指向性麦克风设置不同的一阶指向性麦克风的系数p。通过对每个指向性麦克风单独控制p，如p＝1、0.5或者0，这样可引入更多的自由度，适用于一些特殊情况。
其中，p＝0形成偶极子波束模式，p＝0.5形成心形波束模式，p＝1为全向麦克风。这三个模式对应了三种不同的麦克风类型，不同之处就是麦克风的声学特性会不同，本申请实施例提供的方法核心就是设计超指向性波束形成的时候利用麦克风的声学特性，当麦克风声学特性不同的时候，设计出来的波束成形也会不同，其中基于偶极子(p＝0)或者心形(p＝0.5)的麦克风会比全向麦克风(p＝1带来带来明显的WNG的提升。
需要说明的是，本申请实施例提供的方法并不限于一阶指向麦克风，也能实现高阶指向。在实现高阶指向时，指向性麦克风的振幅响应矩阵为一个高阶响应矩阵。
步骤S105：根据麦克风阵列形状信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的第一导向矢量。
第一导向矢量(array steering vector)表示阵列不同麦克风之间的相位差关系以及声源来波方向之间的关系。第一导向矢量可描述空间相位差，第一导向矢量的结构和阵元之间的相对位置有关系。
本申请实施例提供的方法，将入射信号在三维空间的俯仰角信息融入到波束成形的计算之中。本步骤可根据麦克风阵列形状信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的第一导向矢量，是传统全向麦克风阵列的导向矢量。
在一个示例中，指向性麦克风阵列为均匀排列的环形阵列，步骤S105可包括如下子步骤：获取目标信号入射方向与麦克风的第一夹角之间的第三夹角，所述第一夹角是指麦克风与环形阵列水平方向之间的夹角；根据环形阵列的半径信息、所述第三夹角和所述标信号入射俯仰角，获取指向性麦克风的第一导向矢量。
具体实施时，第m个指向性麦克风在方向θ上的相位差可采用如下公式：：
Figure BDA0003804843890000081
在该公式中，θ表示信号入射方向，取值范围是0-360度,
Figure BDA0003804843890000082
表示虚数单位，ω＝2πf表示角频率，f表示时间频率(又称为时序频率或者闪动频率，简称时频)；
Figure BDA0003804843890000083
为第m个指向性麦克风与麦克风阵列水平方向之间的第一夹角；
Figure BDA0003804843890000084
是信号入射方向与第m个指向性麦克风的第一夹角之间的第三夹角；
Figure BDA0003804843890000085
为入射信号俯仰角；r是圆形阵列的半径。
在另一个示例中，指向性麦克风阵列为线性阵列，步骤S105可采用如下方式实现：根据麦克风阵列形状信息,获取各麦克风与参考麦克风之间的距离值，所述参考麦克风可以是从左到右排在线性阵列首位的麦克风；根据距离值、所述目标信号入射方向和目标信号入射俯仰角，获取所述第一导向矢量。
具体实施时，第m个指向性麦克风在方向θ上的相位差可采用如下公式：
Figure BDA0003804843890000086
在该公式中,θ表示信号入射方向,
Figure BDA0003804843890000087
表示虚数单位，ω＝2πf表示角频率，f表示时间频率(又称为时序频率或者闪动频率，简称时频)；δ是相邻麦克风之间的距离，(m-1)δ表示第m个麦克风与第一个麦克风之间的距离。
需要说明的是，具体实施时，也可以先执行步骤S105，计算第一导向矢量；然后，再执行步骤S103，计算上述响应矢量。
步骤S107：根据所述响应矢量和第一导向矢量，确定超指向波束形成器的权重向量。
多通道波束形成是对各个麦克风通道接收信号进行加权重因子系数调节并相加的过程。波束模式使得目标方向范围内的信号会被拾取，而目标方向范围外的信号就会被抑制。波束模式为波束形成器的权重矢量和导向矢量的乘积。波束模式可采用如下公式表示：
Figure BDA0003804843890000091
h(ω)＝[H1(ω)H2(ω)…HM(ω)]T
其中上标H表示共轭转置，
Figure BDA0003804843890000092
表示导向矢量；h(ω)表示波束形成的权重向量；θd表示目标信号入射方向，
Figure BDA0003804843890000093
表示目标信号入射俯仰角，M表示麦克风数量。该公式表示：对特定方向
Figure BDA0003804843890000094
的信号不失真，麦克风阵列可以实现特定方向范围的拾音，乘积为1；对特定方向之外的信号失真，麦克风阵列可以实现特定方向之外的声音会被抑制，乘积小于1。h(ω)表示波束形成的权重矢量,是所求参数。
在现有技术中，波束模式为波束形成器的权重矢量和第一导向矢量的乘积。对各个阵元来说，假设信号在一瞬间的幅值相同，使用不同的权矢量作加权处理，只做信号的相位调整，不做幅度改变。
在本申请实施例提供的方法中，包含了麦克风的指向特性，将此声学特性参数融入到超指向波束成形的计算之中。本步骤是在现有的超指向波束形成(SuperdirectiveBeamforming，SBF)基础上增加一个自由度，即基于麦克风指向信息获得的振幅响应，根据所述响应矢量和传统全向麦克风阵列的导向矢量(即第一导向矢量)，确定波束形成器(beamformer)的权重向量，以形成上述波束模式。
在一个示例中，步骤S107可包括如下子步骤：
步骤S1071：根据响应矢量和第一导向矢量，确定第二导向矢量。
第二导向矢量不仅与相位差有关，还与由麦克风指向引起的振幅响应有关。第二导向矢量可采用如下形式表示：
Figure BDA0003804843890000101
其中,M表示麦克风阵列包括M个麦克风。
具体实施时，如果麦克风阵列为指向性麦克风的圆形阵列，且采用一阶指向性麦克风，则第二导向矢量中的元素
Figure BDA0003804843890000102
可采用如下公式计算：
Figure BDA0003804843890000103
通过该公式可得到如下关系：麦克风阵列的第二导向矢量可以是响应矢量与第一导向矢量的基本积，公式化表示为：
Figure BDA0003804843890000104
其中，
Figure BDA0003804843890000105
Figure BDA0003804843890000106
Figure BDA0003804843890000107
Figure BDA0003804843890000108
具体实施时，如果麦克风阵列为由非均匀指向的指向性麦克风组成的线性阵列，则第二导向矢量中的元素dm(ω,θ)可采用如下公式计算：
Figure BDA0003804843890000109
通过该公式可得到如下关系：麦克风阵列的第二导向矢量可以是响应矢量与第一导向矢量的基本积，公式化表示为：
Figure BDA00038048438900001010
其中，
Figure BDA00038048438900001011
Figure BDA00038048438900001012
Figure BDA00038048438900001013
步骤S1073：根据第二导向矢量，确定球状噪声场矩阵。
声音信号在空间中大量的反射会形成接近球形的各向同性噪声场。超指向性波束形成利用各向同性散射噪声场矩阵，抑制来自各方向噪声对目标信号的影响，输出比常规波束形成具有更高“方向性”的阵列增益信号，从而改善降噪处理效果。
在本实施例中，根据引入了指向性麦克风的指向特性的第二导向矢量来生成球状噪声场矩阵。球状噪声场矩阵可定义为第二导向矢量及其共轭矩阵之间的基本积的积分。具体实施时，球状噪声场矩阵可采用如下公式表示：
Figure BDA0003804843890000111
其中，θ表示信号入射方向变量和信号入射俯仰角变量
Figure BDA0003804843890000112
Figure BDA0003804843890000113
步骤S1075：根据球状噪声场矩阵和第二导向矢量，确定所述权重向量。
在本实施例中，权重向量可采用如下方式确定：获取球状噪声场矩阵的逆矩阵和第二导向矢量之间的第一基本积；获取第二导向矢量的共轭矩阵、球状噪声场矩阵的逆矩阵和第二导向矢量之间的第二基本积；将第一基本积与第二基本积的比值作为权重向量。具体实施时，权重矢量的计算可采用如下公式表示：
Figure BDA0003804843890000114
其中，Г表示球状噪声场矩阵，ω表示角频率；
Figure BDA0003804843890000115
表示第二导向矢量，
Figure BDA0003804843890000116
θd表示目标方向，
Figure BDA0003804843890000117
表示目标信号入射俯仰角。
上述公式的推导过程可采用如下公式：
Figure BDA0003804843890000118
约束条件：
Figure BDA0003804843890000119
通过求解超指向波束形成器的上述目标函数(优化问题)，可获得最大化指向性因子(DF)。其中，B表示球形坐标系下的波束模式，可采用如下公式表示：
Figure BDA00038048438900001110
在上述公式中，
Figure BDA00038048438900001111
表示指向性因子DF，DF定义为麦克风阵列输出在期望转向方向上的信号功率和所有方向上的平均功率之间的比率，可采用如下公式表示：
Figure BDA0003804843890000121
上述优化问题可表示为如下公式：
Minh(ω)HГ(ω)h(ω)
约束条件：
Figure BDA0003804843890000122
因此，麦克风阵列的超指向波束形成器表示为：
Figure BDA0003804843890000123
通过上述内容可见，本申请实施例提供的波束形成方法通过引入一个自由度来扩展现有的超指向波束形成方法，这个自由度就是指向性麦克风响应矩阵
Figure BDA0003804843890000124
实际上，在麦克风响应矩阵衰减为(p＝1全向麦克风)一个矩阵时，现有的超指向波束形成方法是本申请实施例提供的波束形成方法的一个特例。
针对本申请实施例提供的差分波束形成方法，可采用白噪声增益(WNG)、波束模式和指向性因子(DF)对该方法的效果进行评估。白噪声是指功率谱密度在整个频域内是常数的噪声，所有频率具有相同能量密度的随机噪声称为白噪声。WNG可评估波束形成器抑制空间无关噪声的能力，可评估波束形成器对某些缺陷的灵敏度，如指向性麦克风本身产生的噪声、麦克风位置误差等。波束形成器抑制空间无关噪声的能力，与波束形成的权重矢量相关。WNG可采用如下公式进行定义：
Figure BDA0003804843890000125
波束模式说明了波束形成器对从入射角度θ入射到阵列上的平面波的方向灵敏度。波束模型可采用如下公式进行定义：
Figure BDA0003804843890000128
其中，B表示球形坐标系下的波束模式，θ表示方位角，
Figure BDA0003804843890000126
表示高程角。
DF是所需导向矢量上阵列输出的信号功率与所有方向上的平均功率之间的比率，可采用如下公式进行定义：
Figure BDA0003804843890000127
DL[h(ω)]＝10log10(DF[h(ω)])
经过实验表明，本申请提供的方法可以在获得与现有技术相同DF指标的情况下，显著提升低频下的白噪声增益，波束图更具有频率不变性，从而提升超指向波束成形的鲁棒性。
从上述实施例可见，本申请实施例提供的波束形成方法，通过获取目标信号入射方向和目标信号入射俯仰角、麦克风指向方向信息和麦克风阵列形状信息；根据麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的响应矢量；根据麦克风阵列形状信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的第一导向矢量；根据所述响应矢量和第一导向矢量，确定超指向波束形成器的权重向量。采用这种处理方式，使得基于指向性麦克风阵列进行超指向波束形成，并在超指向波束形成中增加一个自由度，即基于麦克风指向信息获得的振幅响应，这样在低频段可获得更高的白噪声增益，在高频段可获得更高的指向性因子，波束图更具有频率不变性；因此，可以有效提升超指向波束成形的鲁棒性。
第二实施例
在上述的实施例中，提供了一种波束形成方法，与之相对应的，本申请还提供一种波束形成装置。该装置是与上述方法的实施例相对应。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
请参看图5，其为本申请的波束形成装置的实施例的结构示意图。在本实施例中，所述装置包括：信息获取单元501，响应矢量确定单元503，第一导向矢量确定单元505，权重向量确定单元507。
参数获取单元，用于获取目标信号入射方向和目标信号入射俯仰角、麦克风指向方向信息和麦克风阵列形状信息；响应矢量确定单元，用于根据麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的响应矢量；第一导向矢量确定单元，用于根据麦克风阵列形状信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的第一导向矢量；权重向量确定单元，用于根据所述响应矢量和第一导向矢量，确定超指向波束形成器的权重向量。
在一个示例中，所述指向性麦克风阵列包括环形阵列；所述麦克风指向方向信息，采用如下方式获取：获取麦克风与水平方向之间的第一夹角和麦克风朝向与直径方向之间的第二夹角；将第一夹角与第二夹角的和作为麦克风指向方向信息。
在一个示例中，所述响应矢量确定单元，具体用于获取目标信号入射方向与麦克风指向方向之间的夹角；根据所述夹角和所述目标信号入射俯仰角，获取指向性麦克风的振幅响应。
在一个示例中，所述指向性麦克风为一阶指向性麦克风；所述响应矢量确定单元，具体用于根据所述麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角和一阶指向性麦克风的系数，确定麦克风阵列的响应矢量。
在一个示例中，所述装置还包括：参数设置单元，用于为不同指向性麦克风设置不同的一阶指向性麦克风的系数。
在一个示例中，指向性麦克风阵列为均匀排列的环形阵列；所述第一导向矢量确定元，具体用于获取目标信号入射方向与麦克风的第一夹角之间的第三夹角，所述第一夹角是指麦克风与环形阵列水平方向之间的夹角；根据环形阵列的半径信息、所述第三夹角和所述目标信号入射俯仰角，获取指向性麦克风的第一导向矢量。
在一个示例中，指向性麦克风阵列为线性阵列；所述第一导向矢量确定单元，具体用于根据麦克风阵列形状信息,获取各麦克风与参考麦克风之间的距离值，所述参考麦克风可以是从左到右排在线性阵列首位的麦克风；根据距离值、所述目标信号入射方向和目标信号入射俯仰角，获取所述第一导向矢量。
在一个示例中，所述权重向量确定单元，用于根据响应矢量和第一导向矢量，确定第二导向矢量；根据第二导向矢量，确定球状噪声场矩阵；根据球状噪声场矩阵和第二导向矢量，确定所述权重向量。
第三实施例
在上述的实施例中，提供了一种波束形成方法，与之相对应的，本申请还提供一种拾音设备。该设备是与上述方法的实施例相对应。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种拾音设备，包括：扬声器；指向性麦克风阵列；处理器；以及存储器。其中，存储器用于存储实现上述波束形成方法的程序，该终端通电并通过所述处理器运行该方法的程序。
所述电子设备，可以是音视频会议终端，也可以是拾音设备。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (10)

1.一种波束形成方法，用于拾音设备，所述拾音设备包括指向性麦克风阵列，其特征在于，包括：
获取目标信号入射方向和目标信号入射俯仰角、麦克风指向方向信息和麦克风阵列形状信息；
根据麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的响应矢量；
根据麦克风阵列形状信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的第一导向矢量；
根据所述响应矢量和第一导向矢量，确定超指向波束形成器的权重向量。
2.根据权利要求1所述的方法，其特征在于，
所述指向性麦克风阵列包括环形阵列；
所述麦克风指向方向信息，采用如下方式获取：
获取麦克风与水平方向之间的第一夹角和麦克风朝向与直径方向之间的第二夹角；
将第一夹角与第二夹角的和作为麦克风指向方向信息。
3.根据权利要求1所述的方法，其特征在于，所述根据麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的响应矢量，包括：
获取目标信号入射方向与麦克风指向方向之间的夹角；
根据所述夹角和所述目标信号入射俯仰角，获取指向性麦克风的振幅响应。
4.根据权利要求1所述的方法，其特征在于，
所述指向性麦克风为一阶指向性麦克风；
所述根据麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的响应矢量，包括：
根据所述麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角和一阶指向性麦克风的系数，确定麦克风阵列的响应矢量。
5.根据权利要求4所述的方法，其特征在于，还包括：
为不同指向性麦克风设置不同的一阶指向性麦克风的系数。
6.根据权利要求1所述的方法，其特征在于，
指向性麦克风阵列为环形阵列；
所述根据麦克风阵列形状信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的第一导向矢量，包括：
获取目标信号入射方向与麦克风的第一夹角之间的第三夹角，所述第一夹角是指麦克风与环形阵列水平方向之间的夹角；
根据环形阵列的半径信息、所述第三夹角和所述目标信号入射俯仰角，获取指向性麦克风的第一导向矢量。
7.根据权利要求1所述的方法，其特征在于，
指向性麦克风阵列为线性阵列；
所述根据麦克风阵列形状信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的第一导向矢量，包括：
根据麦克风阵列形状信息,获取各麦克风与参考麦克风之间的距离值，所述参考麦克风可以是从左到右排在线性阵列首位的麦克风；
根据距离值、所述目标信号入射方向和目标信号入射俯仰角，获取所述第一导向矢量。
8.根据权利要求1所述的方法，其特征在于，所述根据所述响应矢量和第一导向矢量，确定超指向波束形成器的权重向量，包括：
根据响应矢量和第一导向矢量，确定第二导向矢量；
根据第二导向矢量，确定球状噪声场矩阵；
根据球状噪声场矩阵和第二导向矢量，确定所述权重向量。
9.一种波束形成装置，其特征在于，用于拾音设备，所述拾音设备包括指向性麦克风阵列，其特征在于，包括：
参数获取单元，用于获取目标信号入射方向和目标信号入射俯仰角、麦克风指向方向信息和麦克风阵列形状信息；
响应矢量确定单元，用于根据麦克风指向方向信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的响应矢量；
第一导向矢量确定单元，用于根据麦克风阵列形状信息、目标信号入射方向和目标信号入射俯仰角，确定麦克风阵列的第一导向矢量；
权重向量确定单元，用于根据所述响应矢量和第一导向矢量，确定超指向波束形成器的权重向量。
10.一种拾音设备，其特征在于，包括：
扬声器；
指向性麦克风阵列；
处理器；以及
存储器，用于存储实现根据权利要求1-8任一项所述方法的程序，该终端通电并通过所述处理器运行该方法的程序。
CN202210993863.8A 2022-08-18 2022-08-18 波束形成方法、装置及设备 Pending CN115547354A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210993863.8A CN115547354A (zh) 2022-08-18 2022-08-18 波束形成方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210993863.8A CN115547354A (zh) 2022-08-18 2022-08-18 波束形成方法、装置及设备

Publications (1)

Publication Number Publication Date
CN115547354A true CN115547354A (zh) 2022-12-30

Family

ID=84726069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210993863.8A Pending CN115547354A (zh) 2022-08-18 2022-08-18 波束形成方法、装置及设备

Country Status (1)

Country Link
CN (1) CN115547354A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115515038A (zh) * 2022-08-18 2022-12-23 钉钉(中国)信息技术有限公司 波束形成方法、装置及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115515038A (zh) * 2022-08-18 2022-12-23 钉钉(中国)信息技术有限公司 波束形成方法、装置及设备

Similar Documents

Publication Publication Date Title
CN109102822B (zh) 一种基于固定波束形成的滤波方法及装置
CN107976651B (zh) 一种基于麦克风阵列的声源定位方法及装置
US9894434B2 (en) Conference system with a microphone array system and a method of speech acquisition in a conference system
Coleman et al. Personal audio with a planar bright zone
US20150110288A1 (en) Augmented elliptical microphone array
US9628905B2 (en) Adaptive beamforming for eigenbeamforming microphone arrays
CN110931036B (zh) 一种麦克风阵列波束形成方法
JP2013543987A (ja) 遠距離場マルチ音源追跡および分離のためのシステム、方法、装置およびコンピュータ可読媒体
Ryan et al. Array optimization applied in the near field of a microphone array
WO2014042715A1 (en) Systems, methods, apparatus, and computer-readable media for generating obfuscated speech signal
Atkins Robust beamforming and steering of arbitrary beam patterns using spherical arrays
Jackson et al. Sound field planarity characterized by superdirective beamforming
CN115547354A (zh) 波束形成方法、装置及设备
Huang et al. Steerable differential beamformers with planar microphone arrays
Frank et al. Constant-beamwidth kronecker product beamforming with nonuniform planar arrays
WO2023056905A1 (zh) 声源定位方法、装置及设备
Wang et al. Design of frequency-invariant uniform concentric circular arrays with first-order directional microphones
CN115866483A (zh) 一种音频信号的波束形成方法及设备
JPWO2019167671A1 (ja) マイクロホンアレイ、収録装置および方法、並びにプログラム
CN115515038A (zh) 波束形成方法、装置及设备
CN113491137B (zh) 具有分数阶的灵活差分麦克风阵列
US11902755B2 (en) Linear differential directional microphone array
CN109688491B (zh) 一种超指向性波束形成方法及装置
Liu et al. Sound source localization and speech enhancement algorithm based on fixed beamforming
Derkx First-order adaptive azimuthal null-steering for the suppression of two directional interferers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination