CN105976822B - 基于参数化超增益波束形成器的音频信号提取方法及装置 - Google Patents
基于参数化超增益波束形成器的音频信号提取方法及装置 Download PDFInfo
- Publication number
- CN105976822B CN105976822B CN201610545565.7A CN201610545565A CN105976822B CN 105976822 B CN105976822 B CN 105976822B CN 201610545565 A CN201610545565 A CN 201610545565A CN 105976822 B CN105976822 B CN 105976822B
- Authority
- CN
- China
- Prior art keywords
- gain
- parameterized
- normalized autocorrelation
- autocorrelation matrix
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims abstract description 132
- 238000000605 extraction Methods 0.000 claims description 27
- 238000000354 decomposition reaction Methods 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/18—Methods or devices for transmitting, conducting or directing sound
- G10K11/26—Sound-focusing or directing, e.g. scanning
- G10K11/34—Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明提供了一种基于参数化超增益波束形成器的音频信号提取方法及装置，其中方法包括：获取传感器阵列的结构信息，基于传感器阵列的结构信息，构造各向同性噪声的归一化自相关矩阵；在归一化自相关矩阵中引入参数，根据引入参数后的归一化自相关矩阵构建参数化超增益波束形成器；获取传感器阵列中各个传感器采集到的音频信号，该音频信号为时域信号；利用参数化超增益波束形成器对音频信号进行提取，得到来自期望方向的音频信号。通过本发明中的基于参数化超增益波束形成器的音频信号提取方法及装置，只需要在一个很小的范围内选取一个合适的参数，就能够在白噪声增益和指向性因子之间获得很好地平衡，实施简单，实用性强。
Description
技术领域
本发明涉及声学信号处理领域，具体而言，涉及一种基于参数化超增益波束形成器的音频信号提取方法及装置。
背景技术
波束形成技术在信号处理领域有着广泛的应用，它通常是利用传感器阵列在空间形成一个滤波器，该滤波器响应最大的方向对准期望方向，该滤波器对干扰的抑制取决于干扰方向上滤波器响应的幅度。图1示出了相关技术中的传感器阵列的响应示意图，如图1所示，该传感器阵列在0°方向的响应最大。
波束形成大致可以分为两大类，一类是固定波束形成，另一类是自适应波束形成。固定波束形成的滤波器系数不随应用环境的变化而变化，如延迟相加波束形成和超增益波束形成，而自适应波束形成的滤波器系数随信号统计特性的变化而自适应的改变，如线性约束最小方差波束形成。
超增益波束形成器属于固定波束形成器，和其它的固定波束形成器相比，在同样传感器数目的情况下，超增益波束形成器可以获得最大的指向性，因此能更为有效地抑制来自主波束以外其它方向上的噪声。但在实际应用中，超增益波束形成面临最大的问题就是白噪声放大问题，尤其是对于阵列间距很小的超增益波束形成，其低频处的白噪声增益非常低，因而限制了其在实际系统中的应用。如何开发出稳健的超增益波束形成技术一直是一个很具挑战性的问题。常见的解决办法是对噪声的归一化自相关矩阵进行对角加载，通过在噪声的归一化自相关矩阵的对角线元素上加载一个小的常数(又称加载因子)来改变该矩阵的条件数，从而提高白噪声增益。
发明人在研究中发现，相关技术中基于对角加载的超增益波束形成虽然能够提高白噪声增益，但是理论上加载因子的选择范围是从零到无穷大，在实际应用中，将很难去选择一个合适的加载因子，导致基于对角加载的超增益波束形成技术实施困难，实用性不足。
发明内容
有鉴于此，本发明的目的在于提供一种基于参数化超增益波束形成器的音频信号提取方法及装置，只需要在一个很小的范围内选取一个合适的参数，就能够在白噪声增益和指向性因子之间获得很好地平衡，实施简单，实用性强。
第一方面，本发明实施例提供了一种基于参数化超增益波束形成器的音频信号提取方法，所述方法包括：获取传感器阵列的结构信息，基于所述传感器阵列的结构信息，构造各向同性噪声的归一化自相关矩阵；在所述归一化自相关矩阵中引入参数，根据引入参数后的所述归一化自相关矩阵构建参数化超增益波束形成器；获取所述传感器阵列中各个传感器采集到的音频信号，所述音频信号为时域信号；利用所述参数化超增益波束形成器对所述音频信号进行提取，得到来自期望方向的音频信号。
结合第一方面，本发明实施例提供了第一方面第一种可能的实施方式，其中，基于所述传感器阵列的结构信息，构造各向同性噪声的归一化自相关矩阵，包括：根据所述传感器阵列中传感器的数量M和相邻传感器之间的间距δ构造M×M的各向同性噪声的归一化自相关矩阵Γ(ω)，矩阵Γ(ω)的第(ij)个元素表示为：其中，ω为角频率，τ0为相邻传感器之间的最大声传播时延，τ0＝δ/c，c为所述音频信号在空气中的传播速度。
结合第一方面，本发明实施例提供了第一方面第二种可能的实施方式，其中，在所述归一化自相关矩阵中引入参数，根据引入参数后的所述归一化自相关矩阵构建参数化超增益波束形成器，包括：在所述归一化自相关矩阵中引入参数，根据引入参数后的所述归一化自相关矩阵定义参数化信噪比增益；在期望方向信号不失真约束条件下最大化所述参数化信噪比增益，得到所述参数化超增益波束形成器。
结合第一方面第二种可能的实施方式，本发明实施例提供了第一方面第三种可能的实施方式，其中，在所述归一化自相关矩阵中引入参数，根据引入参数后的所述归一化自相关矩阵定义参数化信噪比增益，包括：对所述归一化自相关矩阵Γ(ω)进行特征分解，得到Γ(ω)＝U(ω)Λ(ω)UT(ω)，其中，ω为角频率，U(ω)为正交矩阵，Λ(ω)为对角矩阵，UT(ω)为矩阵U(ω)的转置；基于所述特征分解的结果，在所述归一化自相关矩阵Γ(ω)中引入参数p，定义1/p阶归一化自相关矩阵为其中，为所述1/p阶归一化自相关矩阵，p∈[1,3]；根据所述1/p阶归一化自相关矩阵定义所述参数化信噪比增益为其中，Gp[h(ω)]为所述参数化信噪比增益，h(ω)为长度为M的线性滤波器，M为所述传感器阵列中传感器的数量，hH(ω)为h(ω)的共轭转置，d(ω)为所述传感器阵列的导向矢量。
结合第一方面第二种可能的实施方式，本发明实施例提供了第一方面第四种可能的实施方式，其中，在期望方向信号不失真约束条件下最大化所述参数化信噪比增益，得到所述参数化超增益波束形成器，包括：求解优化问题subject to hH(ω)d(ω)＝1的解，得到所述参数化超增益波束形成器其中，hP,p(ω)为所述参数化超增益波束形成器，ω为角频率，h(ω)表示长度为M的线性滤波器，M为所述传感器阵列中传感器的数量，hH(ω)为h(ω)的共轭转置，为1/p阶归一化自相关矩阵，d(ω)为所述传感器阵列的导向矢量，dH(ω)为d(ω)的共轭转置，为阶归一化自相关矩阵，p∈[1,3]。
结合第一方面，本发明实施例提供了第一方面第五种可能的实施方式，其中，在利用所述参数化超增益波束形成器对所述音频信号进行提取之前，所述方法还包括：应用短时傅里叶变换将所述音频信号由时域信号转换为频域信号；利用所述参数化超增益波束形成器对所述音频信号进行提取，包括：利用所述参数化超增益波束形成器对所述频域信号进行提取。
第二方面，本发明实施例提供了一种基于参数化超增益波束形成器的音频信号提取装置，矩阵构造模块，用于获取传感器阵列的结构信息，基于所述传感器阵列的结构信息，构造各向同性噪声的归一化自相关矩阵；波束形成器构建模块，用于在所述归一化自相关矩阵中引入参数，根据引入参数后的所述归一化自相关矩阵构建参数化超增益波束形成器；信号获取模块，用于获取所述传感器阵列中各个传感器采集到的音频信号，所述音频信号为时域信号；信号提取模块，用于利用所述参数化超增益波束形成器对所述音频信号进行提取，得到来自期望方向的音频信号。
结合第二方面，本发明实施例提供了第二方面第一种可能的实施方式，其中，所述波束形成器构建模块包括：信噪比增益定义单元，用于在所述归一化自相关矩阵中引入参数，根据引入参数后的所述归一化自相关矩阵定义参数化信噪比增益；波束形成器构建单元，用于在期望方向信号不失真约束条件下最大化所述参数化信噪比增益，得到所述参数化超增益波束形成器。
结合第二方面第一种可能的实施方式，本发明实施例提供了第二方面第二种可能的实施方式，其中，所述信噪比增益定义单元包括：特征分解子单元，用于对所述归一化自相关矩阵Γ(ω)进行特征分解，得到Γ(ω)＝U(ω)Λ(ω)UT(ω)，其中，ω为角频率，U(ω)为正交矩阵，Λ(ω)为对角矩阵，UT(ω)为矩阵U(ω)的转置；矩阵定义子单元，用于基于所述特征分解的结果，在所述归一化自相关矩阵Γ(ω)中引入参数p，定义1/p阶归一化自相关矩阵为其中，为所述1/p阶归一化自相关矩阵，p∈[1,3]；信噪比增益定义子单元，用于根据所述1/p阶归一化自相关矩阵定义所述参数化信噪比增益为其中，Gp[h(ω)]为所述参数化信噪比增益，h(ω)为长度为M的线性滤波器，M为所述传感器阵列中传感器的数量，hH(ω)为h(ω)的共轭转置，d(ω)为所述传感器阵列的导向矢量。
结合第二方面第一种可能的实施方式，本发明实施例提供了第二方面第三种可能的实施方式，其中，所述波束形成器构建单元用于：求解优化问题subject to hH(ω)d(ω)＝1的解，得到所述参数化超增益波束形成器其中，hP,p(ω)为所述参数化超增益波束形成器，ω为角频率，h(ω)表示长度为M的线性滤波器，M为所述传感器阵列中传感器的数量，hH(ω)为h(ω)的共轭转置，为1/p阶归一化自相关矩阵，d(ω)为所述传感器阵列的导向矢量，dH(ω)为d(ω)的共轭转置，为阶归一化自相关矩阵，p∈[1,3]。
本发明实施例中，首先构造各向同性噪声的归一化自相关矩阵，然后在归一化自相关矩阵中引入参数构建参数化超增益波束形成器，最后利用参数化超增益波束形成器对传感器阵列中各个传感器采集到的音频信号进行提取，得到来自期望方向的音频信号。通过本发明实施例中的基于参数化超增益波束形成器的音频信号提取方法及装置，只需要在一个很小的范围内，如1至3的范围内，选取一个合适的参数构建参数化超增益波束形成器，就能够在白噪声增益和指向性因子之间获得很好地平衡，实现复杂环境下对期望方向信号的获取，实施简单，实用性强，从而有效缓解相关技术中加载因子选择困难，基于对角加载的超增益波束形成技术实施困难，实用性不足的问题。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了相关技术中的传感器阵列的响应示意图；
图2示出了本发明实施例1提供的一种基于参数化超增益波束形成器的音频信号提取方法的流程示意图；
图3示出了本发明实施例1提供的另一种基于参数化超增益波束形成器的音频信号提取方法的流程示意图；
图4示出了本发明实施例2提供的一种基于参数化超增益波束形成器的音频信号提取装置的模块组成示意图；
图5示出了本发明实施例2提供的另一种基于参数化超增益波束形成器的音频信号提取装置的模块组成示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到相关技术中基于对角加载的超增益波束形成技术实施困难，实用性不足的问题，本发明提供了一种基于参数化超增益波束形成器的音频信号提取方法及装置，下面结合实施例进行具体描述。
实施例1
本实施例提供了一种基于参数化超增益波束形成器的音频信号提取方法，本发明实施例的执行主体为音频信号提取服务器，音频信号提取服务器首先构造各向同性噪声的归一化自相关矩阵，其次在归一化自相关矩阵中引入参数构建参数化超增益波束形成器，然后获取传感器阵列中各个传感器采集到的音频信号，最后利用参数化超增益波束形成器对音频信号进行提取，得到来自期望方向的音频信号。其中，来自期望方向的音频信号简称为期望方向信号，音频信号提取服务器可以使用现有的任何型号的计算终端，这里不再一一赘述。
图2示出了本发明实施例1提供的一种基于参数化超增益波束形成器的音频信号提取方法的流程示意图，如图2所示，该方法包括以下步骤：
步骤S202，获取传感器阵列的结构信息，基于该传感器阵列的结构信息，构造各向同性噪声的归一化自相关矩阵。
本实施例中，传感器阵列可以为任意形状，包括但不限于方形阵列、圆形阵列等。本实施例中的方法既可以用来处理窄带信号亦可以处理宽带信号如语音信号。
本步骤中，根据传感器阵列中传感器的数量M和相邻传感器之间的间距δ构造M×M的各向同性噪声的归一化自相关矩阵Γ(ω)，矩阵Γ(ω)的第(ij)个元素表示为：
公式(1)，ω为角频率，ω＝2πf,f>0为时间频率.τ0为相邻传感器之间的最大声传播时延，τ0＝δ/c，c为音频信号在空气中的传播速度。
具体地，步骤S202中，假设一均匀线性传感器阵列含有M个全指向性传感器，声源以平面波的形式传播，其入射方位和传感器阵列呈角度θ。理想情况下各个传感器上接收到的信号刚好相差一个时延，此时阵列的导向矢量可以表示为：
上式(2)中上标T表示对向量的转置操作，是虚数单位。
对于超增益波束形成，假设相邻传感器的间距δ很小，且声源信号从端射方向入射，即θ＝0，因此，麦克风阵列接收信号可以表示为：
y(ω)＝[Y1(ω) Y2(ω) ... YM(ω)]T
＝x(ω)+v(ω)
＝d(ω)X(ω)+v(ω)， (3)
这里是第m个传感器接收到的信号，X(ω)是期望方向信号，Vm(ω)是第m个传感器上的加性噪声，x(ω)＝d(ω)X(ω)，这里d(ω)＝d(ω,0)，v(ω)类似y(ω)定义。
通常，波束形成是对各传感器接收到的信号乘以一个复数权值再相加得到输出，即
这里Z(ω)是对期望方向信号X(ω)的估计，上标*表示取共轭，h(ω)是长度为M的线性滤波器，上标H是共轭转置操作。同时需要期望方向信号不失真，该不失真约束定义为hH(ω)d(ω)＝1。
为了推导出最优波束形成器，本实施例定义几个基本的性能评价参数，它们分别是波束图、白噪声增益、指向性因子。
(1)波束图反应了阵列对平面波从θ方向入射时的响应，它定义为
(2)白噪声增益反应了阵列对阵列和传感器对各种不匹配的鲁棒性，它定义为如下形式
(3)指向性因子反应了波束形成器的方向性增益，它被定义为
这里上式中M×M的各向同性噪声的归一化自相关矩阵Γ(ω)的第(ij)个元素如公式(1)所示，表示为：
步骤S204，在归一化自相关矩阵中引入参数，根据引入参数后的归一化自相关矩阵构建参数化超增益波束形成器。
本步骤能够通过以下两个子步骤(1)和(2)实现：
(1)在归一化自相关矩阵中引入参数，根据引入参数后的归一化自相关矩阵定义参数化信噪比增益。
本子步骤(1)具体包括：
(11)对归一化自相关矩阵Γ(ω)进行特征分解，得到
Γ(ω)＝U(ω)Λ(ω)UT(ω)， (8)
其中，ω为角频率，U(ω)为正交矩阵,UT(ω)为矩阵U(ω)的转置，UT(ω)U(ω)＝U(ω)UT(ω)＝IM，Λ(ω)为对角矩阵，Λ(ω)的所有对角元素都是正值。
(12)基于特征分解的结果，在归一化自相关矩阵Γ(ω)中引入参数p，定义1/p阶归一化自相关矩阵为
其中，为1/p阶归一化自相关矩阵，p∈[1,∞]，优选p∈[1,3]。
(13)根据1/p阶归一化自相关矩阵定义参数化信噪比增益为
其中，Gp[h(ω)]为参数化信噪比增益，h(ω)为长度为M的线性滤波器，M为传感器阵列中传感器的数量，hH(ω)为h(ω)的共轭转置，d(ω)为传感器阵列的导向矢量。这里很显然有G∞[h(ω)]＝W[h(ω)]andG1[h(ω)]＝D[h(ω)]。
(2)在期望方向信号不失真约束条件下最大化参数化信噪比增益，得到参数化超增益波束形成器。
本子步骤具体执行为：求解优化问题subject to hH(ω)d(ω)＝1的解，得到参数化超增益波束形成器
其中，hP,p(ω)为参数化超增益波束形成器，ω为角频率，h(ω)表示长度为M的线性滤波器，M为传感器阵列中传感器的数量，hH(ω)为h(ω)的共轭转置，为1/p阶归一化自相关矩阵，d(ω)为传感器阵列的导向矢量，dH(ω)为d(ω)的共轭转置，为阶归一化自相关矩阵，p∈[1,∞]，优选p∈[1,3]。
这里1/p是参数超增益波束形成的参数阶数，参数矩阵可如下计算：
至此，能够得到参数化超增益波束形成器的白噪声增益为
参数化超增益波束形成器的指向性系数为
对于任意的p1≥p2，总有
很显然，通过调节参数p，可以得到不同形式的波束形成器：当p＝1时，能够得到传统的超增益波束形成器，即hP,1(ω)＝hS(ω)，它在给定传感器数目的前提下能得到最大的指向性因子；当p＝∞时，能够得到延时相加波束形成器，即，它在给定传感器数目的前提下能得到最大的白噪声增益；当1<p<∞时，能够得到折衷的波束形成器，它的白噪声增益随着参数p的增加而增加，指向性因子随着参数p增加而减小，如果选择合适的参数p，参数化超增益波束形成器hP,p(ω)能够在很好地改善白噪声放大问题的前提下同时保持合理的指向性。
步骤S206，获取上述传感器阵列中各个传感器采集到的音频信号，该音频信号为时域信号。
步骤S208，利用参数化超增益波束形成器对上述音频信号进行提取，得到来自期望方向的音频信号。
本步骤具体可以为，利用公式对上述音频信号进行提取，得到来自期望方向的音频信号。
本步骤中，能够利用参数化超增益波束形成器对时域信号进行提取，得到来自期望方向的音频信号，还能够利用参数化超增益波束形成器对频域信号进行提取，得到来自期望方向的音频信号。当对频域信号提取时，在步骤S208之前，本实施例中的方法还包括：应用短时傅里叶变换将上述音频信号由时域信号转换为频域信号；此时，利用参数化超增益波束形成器对音频信号进行提取，具体执行为：利用参数化超增益波束形成器对频域信号进行提取。
需要说明的是，本实施例中，对传感器接收到的信号进行傅里叶变换(对于非平稳的信号如语音信号，采取分帧处理进行短时傅里叶变换)，对变换后的频域信号在各个频段分开处理，如果是窄带信号就只需要在有信号能量的频段处理，如果是宽带信号则在全频段或者信号能量集中的频段进行处理。
本发明实施例中，首先构造各向同性噪声的归一化自相关矩阵，然后在归一化自相关矩阵中引入参数构建参数化超增益波束形成器，最后利用参数化超增益波束形成器对传感器阵列中各个传感器采集到的音频信号进行提取，得到来自期望方向的音频信号。通过本发明实施例中的基于参数化超增益波束形成器的音频信号提取方法，只需要在一个很小的范围内，如1至3的范围内，选取一个合适的参数构建参数化超增益波束形成器，就能够在白噪声增益和指向性因子之间获得很好地平衡，实现复杂环境下对期望方向信号的获取，实施简单，实用性强，从而有效缓解相关技术中加载因子选择困难，基于对角加载的超增益波束形成技术实施困难，实用性不足的问题。
需要说明的是，本实施例中步骤S202至步骤S204所示的构建参数化超增益波束形成器的过程与步骤S206所示的获取音频信号的过程可以同时进行，也可以先获取音频信号，后构建参数化超增益波束形成器，也可以如图2所示先构建参数化超增益波束形成器，后获取音频信号。因此，本领域技术人员应当理解本实施例中的方案中，步骤S202至步骤S204所示的构建参数化超增益波束形成器的过程与步骤S206所示的获取音频信号的过程的先后顺序可以不进行具体限定。
为进一步说明构建参数化超增益波束形成器的过程与获取音频信号的过程之间的逻辑关系，本实施例还提供了如图3所示的方法流程，该流程中，构建参数化超增益波束形成器与获取音频信号同时进行，图3所示的方法流程，具备图2所示的方法流程相同的技术效果。
为了更好的展示本发明实施例的效果，这里利用一个含有8个全指向性麦克风的均匀线性阵列，麦克风的间距为1.5cm，依照如图2所示的方法设计参数化超增益波束形成器，并用波束图、白噪声增益和指向性因子对其性能进行评价。
通过实验能够发现，本实施例中的参数化超增益波束形成器当参数p＝1时，是传统的超增益波束形成器，波束图在θ＝0°度上的响应为1，在0°到180°的范围上有三个零点，此时的波束图对应为三阶的超心形，这和理论上M个麦克风设计的超增益波束形成器对应M-1超心形相符合。随着参数p的增加，波束图由超心形向延时相加波束图过度，当参数p的取值较大(如p＝10)时，此时的波束图已经非常接近延时相加波束图。
通过实验还能够发现，与传统的超增益波束形成器相比，本实施例中的参数化超增益波束形成器能够在高的指向性因子和低的白噪声增益之间获得很好的平衡。随着参数p的值从1.1增加到10，指向性因子的值相应减小而白噪声增益的值显著增加。
通过实验还能够发现，指向性因子随着参数p的增加而减小，白噪声增益随着参数p的增加而增加，尤其值得注意的是，其随着参数p的显著变化集中在1到3这个很小的范围内，当p的值大于3时，指向性因子和白噪声增益都不再显著变化，这说明本实施例可以通过在一个很小的范围内选取合适的参数p去设计最优的参数化超增益波束形成器。
实施例2
对应实施例1中的基于参数化超增益波束形成器的音频信号提取方法，本实施例提供了一种基于参数化超增益波束形成器的音频信号提取装置，如图4所示，该装置包括：
矩阵构造模块31，用于获取传感器阵列的结构信息，基于传感器阵列的结构信息，构造各向同性噪声的归一化自相关矩阵；
波束形成器构建模块32，用于在归一化自相关矩阵中引入参数，根据引入参数后的归一化自相关矩阵构建参数化超增益波束形成器；
信号获取模块33，用于获取上述传感器阵列中各个传感器采集到的音频信号，该音频信号为时域信号；
信号提取模块34，用于利用参数化超增益波束形成器对上述音频信号进行提取，得到来自期望方向的音频信号。
上述矩阵构造模块31具体用于：根据传感器阵列中传感器的数量M和相邻传感器之间的间距δ构造M×M的各向同性噪声的归一化自相关矩阵Γ(ω)，矩阵Γ(ω)的第(ij)个元素表示为：其中，ω为角频率，τ0为相邻传感器之间的最大声传播时延，τ0＝δ/c，c为音频信号在空气中的传播速度。
上述波束形成器构建模块32包括：信噪比增益定义单元，用于在归一化自相关矩阵中引入参数，根据引入参数后的归一化自相关矩阵定义参数化信噪比增益；波束形成器构建单元，用于在期望方向信号不失真约束条件下最大化参数化信噪比增益，得到参数化超增益波束形成器。
其中，信噪比增益定义单元包括：特征分解子单元，用于对归一化自相关矩阵Γ(ω)进行特征分解，得到Γ(ω)＝U(ω)Λ(ω)UT(ω)，其中，ω为角频率，U(ω)为正交矩阵，Λ(ω)为对角矩阵，UT(ω)为矩阵U(ω)的转置；矩阵定义子单元，用于基于特征分解的结果，在归一化自相关矩阵Γ(ω)中引入参数p，定义1/p阶归一化自相关矩阵为其中，为1/p阶归一化自相关矩阵，p∈[1,3]；信噪比增益定义子单元，用于根据1/p阶归一化自相关矩阵定义参数化信噪比增益为其中，Gp[h(ω)]为参数化信噪比增益，h(ω)为长度为M的线性滤波器，M为传感器阵列中传感器的数量，hH(ω)为h(ω)的共轭转置，d(ω)为传感器阵列的导向矢量。
其中，波束形成器构建单元用于：求解优化问题subject tohH(ω)d(ω)＝1的解，得到参数化超增益波束形成器其中，hP,p(ω)为参数化超增益波束形成器，ω为角频率，h(ω)表示长度为M的线性滤波器，M为传感器阵列中传感器的数量，hH(ω)为h(ω)的共轭转置，为1/p阶归一化自相关矩阵，d(ω)为传感器阵列的导向矢量，dH(ω)为d(ω)的共轭转置，为阶归一化自相关矩阵，p∈[1,3]。
当对频域信号进行处理时，本实施例中的装置还包括：傅里叶变换模块，用于应用短时傅里叶变换将音频信号由时域信号转换为频域信号。该种情况下，上述信号提取模块34具体用于：利用参数化超增益波束形成器对频域信号进行提取。
本发明实施例中，首先构造各向同性噪声的归一化自相关矩阵，然后在归一化自相关矩阵中引入参数构建参数化超增益波束形成器，最后利用参数化超增益波束形成器对传感器阵列中各个传感器采集到的音频信号进行提取，得到来自期望方向的音频信号。通过本发明实施例中的基于参数化超增益波束形成器的音频信号提取装置，只需要在一个很小的范围内，如1至3的范围内，选取一个合适的参数构建参数化超增益波束形成器，就能够在白噪声增益和指向性因子之间获得很好地平衡，实现复杂环境下对期望方向信号的获取，实施简单，实用性强，从而有效缓解相关技术中加载因子选择困难，基于对角加载的超增益波束形成技术实施困难，实用性不足的问题。
需要说明的是，本实施例中矩阵构造模块31和波束形成器构建模块32所示的构建参数化超增益波束形成器的过程与信号获取模块33所示的获取音频信号的过程可以同时进行，也可以先获取音频信号，后构建参数化超增益波束形成器，也可以如图4所示先构建参数化超增益波束形成器，后获取音频信号。因此，本领域技术人员应当理解本实施例中的方案中，波束形成器构建模块32可以通过信号获取模块33与信号提取模块34相连，也可以直接与信号提取模块34相连。
为进一步说明构建参数化超增益波束形成器的过程与获取音频信号的过程之间的逻辑关系，本实施例还提供了如图5所示的装置模块组成，该装置中，构建参数化超增益波束形成器与获取音频信号同时进行，波束形成器构建模块32直接与信号提取模块34相连，图5所示的装置组成，具备图4所示的装置组成相同的技术效果。
本发明实施例所提供的基于参数化超增益波束形成器的音频信号提取装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (6)
1.一种基于参数化超增益波束形成器的音频信号提取方法，其特征在于，所述方法包括：
获取传感器阵列的结构信息，基于所述传感器阵列的结构信息，构造各向同性噪声的归一化自相关矩阵；
在所述归一化自相关矩阵中引入参数，根据引入参数后的所述归一化自相关矩阵构建参数化超增益波束形成器，其中，所述参数用于对所述归一化自相关矩阵进行对角加载；
获取所述传感器阵列中各个传感器采集到的音频信号，所述音频信号为时域信号；
利用所述参数化超增益波束形成器对所述音频信号进行提取，得到来自期望方向的音频信号；
在所述归一化自相关矩阵中引入参数，根据引入参数后的所述归一化自相关矩阵构建参数化超增益波束形成器，包括：
在所述归一化自相关矩阵中引入参数，根据引入参数后的所述归一化自相关矩阵定义参数化信噪比增益；
在期望方向信号不失真约束条件下最大化所述参数化信噪比增益，得到所述参数化超增益波束形成器；
在所述归一化自相关矩阵中引入参数，根据引入参数后的所述归一化自相关矩阵定义参数化信噪比增益，包括：
对所述归一化自相关矩阵Γ(ω)进行特征分解，得到Γ(ω)＝U(ω)Λ(ω)UT(ω)，其中，ω为角频率，U(ω)为正交矩阵，Λ(ω)为对角矩阵，UT(ω)为矩阵U(ω)的转置；
基于所述特征分解的结果，在所述归一化自相关矩阵Γ(ω)中引入参数p，定义1/p阶归一化自相关矩阵为其中，为所述1/p阶归一化自相关矩阵，p∈[1,3]；
根据所述1/p阶归一化自相关矩阵定义所述参数化信噪比增益为其中，Gp[h(ω)]为所述参数化信噪比增益，h(ω)为长度为M的线性滤波器，M为所述传感器阵列中传感器的数量，hH(ω)为h(ω)的共轭转置，d(ω)为所述传感器阵列的导向矢量。
2.根据权利要求1所述的方法，其特征在于，基于所述传感器阵列的结构信息，构造各向同性噪声的归一化自相关矩阵，包括：
根据所述传感器阵列中传感器的数量M和相邻传感器之间的间距δ构造M×M的各向同性噪声的归一化自相关矩阵Γ(ω)，矩阵Γ(ω)的第(ij)个元素表示为：
其中，ω为角频率，τ0为相邻传感器之间的最大声传播时延，τ0＝δ/c，c为所述音频信号在空气中的传播速度。
3.根据权利要求1所述的方法，其特征在于，在期望方向信号不失真约束条件下最大化所述参数化信噪比增益，得到所述参数化超增益波束形成器，包括：
求解优化问题subject to hH(ω)d(ω)＝1的解，得到所述参数化超增益波束形成器
其中，hP,p(ω)为所述参数化超增益波束形成器，ω为角频率，h(ω)表示长度为M的线性滤波器，M为所述传感器阵列中传感器的数量，hH(ω)为h(ω)的共轭转置，为1/p阶归一化自相关矩阵，d(ω)为所述传感器阵列的导向矢量，dH(ω)为d(ω)的共轭转置，为阶归一化自相关矩阵，p∈[1,3]。
4.根据权利要求1所述的方法，其特征在于，在利用所述参数化超增益波束形成器对所述音频信号进行提取之前，所述方法还包括：
应用短时傅里叶变换将所述音频信号由时域信号转换为频域信号；
利用所述参数化超增益波束形成器对所述音频信号进行提取，包括：
利用所述参数化超增益波束形成器对所述频域信号进行提取。
5.一种基于参数化超增益波束形成器的音频信号提取装置，其特征在于，所述装置包括：
矩阵构造模块，用于获取传感器阵列的结构信息，基于所述传感器阵列的结构信息，构造各向同性噪声的归一化自相关矩阵；
波束形成器构建模块，用于在所述归一化自相关矩阵中引入参数，根据引入参数后的所述归一化自相关矩阵构建参数化超增益波束形成器，其中，所述参数用于对所述归一化自相关矩阵进行对角加载；
信号获取模块，用于获取所述传感器阵列中各个传感器采集到的音频信号，所述音频信号为时域信号；
信号提取模块，用于利用所述参数化超增益波束形成器对所述音频信号进行提取，得到来自期望方向的音频信号；
所述波束形成器构建模块包括：
信噪比增益定义单元，用于在所述归一化自相关矩阵中引入参数，根据引入参数后的所述归一化自相关矩阵定义参数化信噪比增益；
波束形成器构建单元，用于在期望方向信号不失真约束条件下最大化所述参数化信噪比增益，得到所述参数化超增益波束形成器；
所述信噪比增益定义单元包括：
特征分解子单元，用于对所述归一化自相关矩阵Γ(ω)进行特征分解，得到Γ(ω)＝U(ω)Λ(ω)UT(ω)，其中，ω为角频率，U(ω)为正交矩阵，Λ(ω)为对角矩阵，UT(ω)为矩阵U(ω)的转置；
矩阵定义子单元，用于基于所述特征分解的结果，在所述归一化自相关矩阵Γ(ω)中引入参数p，定义1/p阶归一化自相关矩阵为其中，为所述1/p阶归一化自相关矩阵，p∈[1,3]；
信噪比增益定义子单元，用于根据所述1/p阶归一化自相关矩阵定义所述参数化信噪比增益为其中，Gp[h(ω)]为所述参数化信噪比增益，h(ω)为长度为M的线性滤波器，M为所述传感器阵列中传感器的数量，hH(ω)为h(ω)的共轭转置，d(ω)为所述传感器阵列的导向矢量。
6.根据权利要求5所述的装置，其特征在于，所述波束形成器构建单元用于：
求解优化问题subject to hH(ω)d(ω)＝1的解，得到所述参数化超增益波束形成器
其中，hP,p(ω)为所述参数化超增益波束形成器，ω为角频率，h(ω)表示长度为M的线性滤波器，M为所述传感器阵列中传感器的数量，hH(ω)为h(ω)的共轭转置，为1/p阶归一化自相关矩阵，d(ω)为所述传感器阵列的导向矢量，dH(ω)为d(ω)的共轭转置，为阶归一化自相关矩阵，p∈[1,3]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610545565.7A CN105976822B (zh) | 2016-07-12 | 2016-07-12 | 基于参数化超增益波束形成器的音频信号提取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610545565.7A CN105976822B (zh) | 2016-07-12 | 2016-07-12 | 基于参数化超增益波束形成器的音频信号提取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105976822A CN105976822A (zh) | 2016-09-28 |
| CN105976822B true CN105976822B (zh) | 2019-12-03 |
Family
ID=56952075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610545565.7A Active CN105976822B (zh) | 2016-07-12 | 2016-07-12 | 基于参数化超增益波束形成器的音频信号提取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105976822B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11902769B2 (en) | 2019-07-02 | 2024-02-13 | Dolby International Ab | Methods, apparatus and systems for representation, encoding, and decoding of discrete directivity data |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108877828B (zh) * | 2017-05-16 | 2020-12-08 | 福州瑞芯微电子股份有限公司 | 语音增强方法/系统、计算机可读存储介质及电子设备 |
| WO2019023422A1 (en) * | 2017-07-26 | 2019-01-31 | Mayo Foundation For Medical Education And Research | METHODS FOR ULTRASONIC IMAGING WITH CODED MULTIPLE PULSE CONTRAST AUGMENTATION |
| WO2020103035A1 (zh) * | 2018-11-21 | 2020-05-28 | 深圳市欢太科技有限公司 | 音频处理方法、装置、存储介质及电子设备 |
| CN109816598A (zh) * | 2018-12-03 | 2019-05-28 | 浙江蓝卓工业互联网信息技术有限公司 | 一种图像降噪方法及系统 |
| CN111257859B (zh) * | 2019-11-26 | 2022-10-11 | 中国船舶重工集团有限公司第七一0研究所 | 一种波束域自相关水下目标识别方法 |
| CN112581974B (zh) * | 2020-11-30 | 2023-10-24 | 科大讯飞股份有限公司 | 波束设计方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1207195A (zh) * | 1996-11-07 | 1999-02-03 | 松下电器产业株式会社 | 声源矢量生成装置以及声音编码装置和声音解码装置 |
| JP4095348B2 (ja) * | 2002-05-31 | 2008-06-04 | 学校法人明治大学 | 雑音除去システムおよびプログラム |
| CN102760444A (zh) * | 2012-04-25 | 2012-10-31 | 清华大学 | 基于支撑向量机的基带时域音频信号分类方法 |
| CN102903363A (zh) * | 2011-07-25 | 2013-01-30 | 哈曼贝克自动系统股份有限公司 | 立体声解码 |
| CN104157293A (zh) * | 2014-08-28 | 2014-11-19 | 福建师范大学福清分校 | 一种增强声环境中目标语音信号拾取的信号处理方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9100734B2 (en) * | 2010-10-22 | 2015-08-04 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for far-field multi-source tracking and separation |
-
2016
- 2016-07-12 CN CN201610545565.7A patent/CN105976822B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1207195A (zh) * | 1996-11-07 | 1999-02-03 | 松下电器产业株式会社 | 声源矢量生成装置以及声音编码装置和声音解码装置 |
| JP4095348B2 (ja) * | 2002-05-31 | 2008-06-04 | 学校法人明治大学 | 雑音除去システムおよびプログラム |
| CN102903363A (zh) * | 2011-07-25 | 2013-01-30 | 哈曼贝克自动系统股份有限公司 | 立体声解码 |
| CN102760444A (zh) * | 2012-04-25 | 2012-10-31 | 清华大学 | 基于支撑向量机的基带时域音频信号分类方法 |
| CN104157293A (zh) * | 2014-08-28 | 2014-11-19 | 福建师范大学福清分校 | 一种增强声环境中目标语音信号拾取的信号处理方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11902769B2 (en) | 2019-07-02 | 2024-02-13 | Dolby International Ab | Methods, apparatus and systems for representation, encoding, and decoding of discrete directivity data |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105976822A (zh) | 2016-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105976822B (zh) | 基于参数化超增益波束形成器的音频信号提取方法及装置 | |
| Khaykin et al. | Acoustic analysis by spherical microphone array processing of room impulse responses | |
| CN107221336B (zh) | 一种增强目标语音的装置及其方法 | |
| Teutsch et al. | Acoustic source detection and localization based on wavefield decomposition using circular microphone arrays | |
| Salvati et al. | Incoherent frequency fusion for broadband steered response power algorithms in noisy environments | |
| Yan | Optimal design of modal beamformers for circular arrays | |
| CN107369460B (zh) | 基于声学矢量传感器空间锐化技术的语音增强装置及方法 | |
| Bai et al. | Application of convex optimization to acoustical array signal processing | |
| Teutsch et al. | Detection and localization of multiple wideband acoustic sources based on wavefield decomposition using spherical apertures | |
| CN103856866A (zh) | 低噪微分麦克风阵列 | |
| Huleihel et al. | Spherical array processing for acoustic analysis using room impulse responses and time-domain smoothing | |
| Pan et al. | Design of robust differential microphone arrays with orthogonal polynomials | |
| Guo et al. | Low-frequency beamforming for a miniaturized aperture three-by-three uniform rectangular array of acoustic vector sensors | |
| Wang et al. | Broadband pattern synthesis for circular sensor arrays | |
| CN106031196A (zh) | 信号处理装置、方法以及程序 | |
| WO2021243634A1 (en) | Binaural beamforming microphone array | |
| Li et al. | Subspace superdirective beamformers based on joint diagonalization | |
| CN111681665A (zh) | 一种全向降噪方法、设备及存储介质 | |
| Benesty et al. | Array beamforming with linear difference equations | |
| Alon et al. | Spherical microphone array with optimal aliasing cancellation | |
| Gao et al. | An order-aware scheme for robust direction of arrival estimation in the spherical harmonic domain | |
| Bai et al. | Design and implementation of a space domain spherical microphone array with application to source localization and separation | |
| Pan et al. | A multistage minimum variance distortionless response beamformer for noise reduction | |
| Traverso et al. | Design of frequency-invariant robust beam patterns by the oversteering of end-fire arrays | |
| Jin et al. | Sound field analysis using sparse recovery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |