CN108735228A - 语音波束形成方法及系统 - Google Patents

语音波束形成方法及系统 Download PDF

Info

Publication number
CN108735228A
CN108735228A CN201710259957.1A CN201710259957A CN108735228A CN 108735228 A CN108735228 A CN 108735228A CN 201710259957 A CN201710259957 A CN 201710259957A CN 108735228 A CN108735228 A CN 108735228A
Authority
CN
China
Prior art keywords
formers
former
icmv
inequality constraints
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710259957.1A
Other languages
English (en)
Other versions
CN108735228B (zh
Inventor
蒲文强
J·萧
T·张
Z-Q·罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Starkey Laboratories Inc
Original Assignee
Starkey Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Starkey Laboratories Inc filed Critical Starkey Laboratories Inc
Priority to CN201710259957.1A priority Critical patent/CN108735228B/zh
Priority to US16/605,518 priority patent/US11019433B2/en
Priority to EP18788256.8A priority patent/EP3614696B1/en
Priority to PCT/CN2018/083930 priority patent/WO2018192571A1/zh
Publication of CN108735228A publication Critical patent/CN108735228A/zh
Application granted granted Critical
Publication of CN108735228B publication Critical patent/CN108735228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix

Abstract

本申请提出了一种语音波束形成方法和语音波束形成系统。所述语音波束形成方法，包括：获取多个输入音频信号；根据具有不等式约束的最优化问题模型，求解波束形成函数的最优解；以及根据所述波束形成函数的最优解以及所述多个输入音频信号来获得输出音频信号，其中，在所述最优化问题模型中，目标函数包括受惩罚变量，并且所述不等式约束包括被所述目标函数中的所述受惩罚变量限制边界的不等式约束。本申请的波束形成方法能够处理更多个干扰以及对到达方向误差具有鲁棒性。

Description

语音波束形成方法及系统
技术领域
本发明涉及语音信号处理领域，更具体地，涉及一种具有惩罚不等式约束的语音波束形成方法和语音波束形成系统。
背景技术
在过去几十年中，利用由麦克风阵列带来的多自由度(degree of freedom，DoF)的各种波束形成算法已被广泛研究(例如，非专利文献2及其中所引用的其他文献)。除性能受到麦克风拓扑和空间混叠(spatial aliasing)限制的数据独立波束形成器外，数据依赖波束形成器由于其对信号统计的适应性也可用作最优多通道滤波器(optimal multi-channel filter)。根据信号处理过程的目的，数据依赖波束形成器主要分为两类：多通道维纳滤波器(multi-channel Wiener filer，MWF)波束形成器和最小方差无失真响应(minimum variance distortionless response，MVDR)波束形成器(例如，非专利文献6)。MWF波束形成器对目标信号执行最小均方差误差(MMSE)估计，而MVDR波束形成器施加线性约束从而在减少噪声能量时确保目标信号的非失真响应。非专利文献2很好地总结了这两类波束形成器的对比和联系。
作为MVDR波束形成器的延伸，线性约束最小方差(linearly constrainedminimum variance，LVMV)(例如，非专利文献7)波束形成器利用线性等式约束来保护目标和抑制干扰。在这种方法中，需要与目标/干扰相对应的声学传递函数(ATF)。在具有精确估计的ATF的情况下，LCMV波束形成器实现了出色的噪声和干扰削减以及目标保留。然而，在诸如助听器应用的实践中，由于ATF估计的误差，导致LCMV波束形成器的性能会显著降低(例如，非专利文献8)。特别地，为了处理目标的到达方向(direction of arrival，DoA)误差(其可由例如助听器佩戴者移动头部而引起)，最近在非专利文献1和9中提出了一种具有鲁棒性的波束形成器，其将LCMV波束形成器中的等式约束放宽到不等式约束，也即所谓的不等式约束最小方差(inequality constrained minimum variance，ICMV)波束形成器。对于ICMV波束形成器来说，可以施加对邻近角的额外约束以实现对DoA误差或ATF估计误差的鲁棒性。在LCMV波束形成器和ICMV波束形成器两者中，波束形成器能够处理的干扰的数量受到麦克风阵列提供的DoF的限制。上述限制使得所述两类波束形成器在某些多人讲话环境中的应用受限。此外，DoF还限制了可以在ICMV中施加的不等式约束的数量，从而在某些情况下，导致具有鲁棒性的ICMV问题不可行。
现有技术
非专利文献1
W.C.Liao,M.Hong,I.Merks,T.Zhang,and Z.Q.Luo,“Incorporating spatialinformation in binaural beamforming for noise suppression in hearing aids,”in2015IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP),April 2015,pp.5733–5737.
非专利文献2
S.Doclo,W.Kellermann,S.Makino,and S.E.Nordholm,“Multichannel signalenhancement algorithms for assisted listening devices:Exploiting spatialdiversity using multiple microphones,”IEEE Signal Processing Magazine,vol.32,no.2,pp.18–30,March 2015.
非专利文献3
G.Elko,“Microphone array systems for hands-free telecommunication,”Speech communication,vol.20,no.3-4,pp.229–240,1996.
非专利文献4
E.Mabande,A.Schad,and W.Kellermann,“Design of robust superdirectivebeamformers as a convex optimization problem,”in 2009IEEE InternationalConference on Acoustics,Speech and Signal Processing,April 2009,pp.77–80.
非专利文献5
J.Kates and M.Weiss,“A comparison of hearing-aid array-processingtechniques,”The Journal of the Acoustical Society of America,vol.99,no.5,pp.3138–3148,1996.
非专利文献6
S.Doclo,S.Gannot,M.Moonen,and A.Spriet,“Acoustic beamforming forhearing aid applications,”Handbook on array processing and sensor networks,pp.269–302,2008.
非专利文献7
E.Hadad,S.Doclo,and S.Gannot,“The binaural LCMV beam-former and itsperformance analysis,”IEEE/ACM Transactions on Audio,Speech,and LanguageProcessing,vol.24,no.3,pp.543–558,March 2016.
非专利文献8
E.Hadad,D.Marquardt,and et al,“Comparison of two bin-auralbeamforming approaches for hearing aids,”in ICASSP,2017(Accepted).
非专利文献9
W.C.Liao,Z.Q.Luo,I.Merks,and T.Zhang,“An effective low complexitybinaural beamforming algorithm for hearing aids,”in 2015IEEE Workshop onApplications of Signal Pro-cessing to Audio and Acoustics(WASPAA),Oct 2015,pp.1–5.
非专利文献10
M.Grant,S.Boyd,and Y.Ye,“CVX:Matlab software for disciplined convexprogramming,”2008.
非专利文献11
S.Boyd,N.Parikh,E.Chu,B.Peleato,and J.Eckstein,“Distributedoptimization and statistical learning via the alternating direction method ofmultipliers,”Foundations and Trends R in Machine Learning,vol.3,no.1,pp.1–122,2011.
非专利文献12
D.P.Bertsekas,Nonlinear programming,Athena scientific Belmont,1999.
非专利文献13
J.B.Allen and D.A.Berkley,“Image method for efficiently simulatingsmall-room acoustics,”The Journal of the Acoustical Society of America,vol.65,no.4,pp.943–950,1979.
非专利文献14
A.Spriet,M.Moonen,and J.Wouters,“Robustness analysis of multichannelwiener filtering and generalized sidelobe cancellation for multimicrophonenoise reduction in hearing aid applications,”IEEE Transactions on Speech andAudio Processing,vol.13,no.4,pp.487–503,July 20
发明内容
发明人利用凸优化技术(Convex optimization technique)重新审视波束形成器设计的问题。发明人致力于设计一种能够在有限DoF条件下处理多个干扰的波束形成器。通过引入被在成本函数(cost function)中受到惩罚的变量限制边界的不等式约束的机制，可以增加不等式约束的数量而不会导致不可行的问题。这使得该波束形成器能够处理环境中所有干扰而不受阵列DoF的限制。针对所提出的公式化推导出了基于交替方向乘子法(alternating direction method of multipliers，ADMM)的低复杂度迭代算法。该迭代算法提供了一种可在助听器中实现的简单的波束形成器适配例。
在一个方面，本申请提出了一种语音波束形成方法。所述方法包括：获取多个输入音频信号；根据具有不等式约束的最优化问题模型，求解波束形成函数的最优解；以及根据所述波束形成函数的最优解以及所述多个输入音频信号来获得输出音频信号。其中，在所述最优化问题模型中，目标函数包括受惩罚变量，并且所述不等式约束包括被所述目标函数中的所述受惩罚变量限制边界的不等式约束。
在另一个方面，本申请还提出了一种语音波束形成系统。所述系统包括：获取多个输入音频信号的装置；根据具有不等式约束的最优化问题模型求解波束形成函数的最优解的装置；以及根据所述波束形成函数的最优解以及所述多个输入音频信号来获得输出音频信号的装置，其中，在所述最优化问题模型中，目标函数包括受惩罚变量，并且所述不等式约束包括被所述目标函数中的所述受惩罚变量限制边界的不等式约束。
本申请的波束形成方法及系统中的波束形成器被公式化为二阶锥规划。利用不等式约束通过对成本函数进行惩罚来处理有限的自由度。使用基于交替方向乘子法的低复杂度迭代算法来更新所述波束形成器。在仿真模拟中，将本申请的波束形成器与线性约束最小方差波束形成器以及不等式约束最小方差波束形成器进行比较，展现了本申请的波束形成器的能够处理更多个干扰的能力以及对到达方向误差所具有的鲁棒性。
附图说明
以下附图仅仅是根据所公开的各种实施例的以示意性为目的的示例，并非旨在限定本发明的范围。
图1示出了用于对根据本申请实施例的波束形成器与现有波束形成器进行比较的模拟的声学环境。
图2示出了根据本申请实施例的波束形成器与现有波束形成器各自的干扰抑制水平。
图3示出了根据本申请实施例的波束形成器与现有波束形成器在图2的情景1中的频率1kHz处的波束图案。
图4示出了根据本申请实施例的波束形成器与现有波束形成器在图2的情景2中的频率1kHz处的波束图案。
具体实施方式
现在将参照以下实施例更加详细地描述本公开。应当注意的是，在本文中，一些实施例的以下描述仅仅是以示意和说明为目的而呈现的。其并非意为详尽的或者限于所公开的精确形式。
波束形成中的一个有待解决的问题在于，当阵列提供的自由度少于环境中源的数量时，对多个干扰的抑制会受到限制。根据本申请的实施例，提供了一种克服上述限制的波束形成器设计。具体地将所述波束形成器设计公式化为二阶锥规划(second-order coneprogramming,SOCP)。利用不等式约束通过对成本函数进行惩罚来处理有限的自由度。使用基于交替方向乘子法(alternating direction method of multipliers,ADMM)的低复杂度迭代算法来更新所述波束形成器。在仿真模拟中，将根据本申请实施例的波束形成器与线性约束最小方差(LCMV)波束形成器以及不等式约束最小方差(ICMV)波束形成器进行比较，展现了本文所述的波束形成器的能够处理更多个干扰的能力以及对到达方向(DoA)误差所具有的鲁棒性。
[问题描述]
考虑一种双耳助听器，其每侧有M个麦克风。环境中有1个目标源和K个干扰源。麦克风处接收到的信号在时频域(time-frequency domain)中可以表示为:
其中，y(l，f)表示帧l和频带f处的麦克风信号；hs(f)和hk(f)表示目标和第k个干扰的ATF；s(1,f)和ik(l,f)分别表示目标和第k个干扰信号；以及n(l,f)表示背景噪声。
波束形成器通过将2M个麦克风处接收到的信号线性组合而产生了每个耳朵处的输出信号。具体地，令wL(f)和wR(f)分别表示在频带f应用于左耳和右耳的波束形成器。左右耳处的输出信号为：
为简化符号，本文余下部分将省略L和R以及时间和频率索引l和f。
接下来，将呈现用于描述根据本申请实施例的波束形成器的数学公式。根据本申请实施例的波束形成器是非专利文献1中ICMV波束形成器的延伸，旨在处理更多的干扰。为了在2M小于或等于K时克服DoF限制，在根据本申请实施例的波束形成器中，将ICMV公式中的不等式约束修改为惩罚版本。因此，将本发明构思的波束形成器命名为惩罚ICMV(penalized-ICMV)波束形成器或简称为P-ICMV波束形成器。利用RTF(相对于参考麦克风(relative to the ref.mic)，其可以是比如每侧的前麦克风)，通过平衡以下三个目标来设计所述P-ICMV波束形成器：
(一)语音失真控制：为了平衡目标失真和噪声/干扰抑制，将LCMV波束形成器中的等式约束放宽到可容忍失真的不等式约束。另外，可以施加在所估计的目标角度附近的邻近角处的多个约束来提高其对DoA误差的鲁棒性。这导致了针对目标的以下约束(公式(1))：
(二)干扰抑制：当阵列中的麦克风数量少于干扰的数量时，即，当2M小于或等于K时，直接施加等式约束或不等式约束来抑制全部干扰可能会导致一种不可行的设计。为了克服这一问题，引入额外的优化变量并提出一种极小化极大优化标准以同时抑制全部K个干扰，如公式(2)所示。
注意到，采用所述额外变量，使得公式(4)中的约束总是可行的。
(三)噪声能量减少：背景噪声的能量可表示为
通过结合公式(1)至公式(3)，得到以下由公式(4)用于提供具有鲁棒性的P-ICMV波束形成器的优化问题：
其中，引入了一个额外参数μ用于噪声减少与干扰抑制之间的折中。
与ICMV波束形成器相比，P-ICMV波束形成器具有一个额外的优化变量，该变量使得等式约束中的上限可调。从而，针对干扰抑制的约束的数量不再受到DoF的限制。换句话说，P-ICMV波束形成器可以处理任意数量的干扰。
作为特例，如果有足够数量的DoF，则公式(4)所示的优化问题的最优解为ε＝0。这种情况下，P-ICMV波束形成器等价于一种对干扰抑制零约束的ICMV波束形成器。另外，当没有鲁棒性约束并且对目标应用等式约束时，所述P-ICMV波束形成器和ICMV波束形成器都等价于LCMV波束形成器。
目标函数中的惩罚项使P-ICMV波束形成器能够智能地分配DoF，从而利用较大的权重k来使想要处理的干扰最小化。这允许选择性地抑制干扰，从而在许多实际应用中提供额外的好处。例如，较大的权重可施加于具有较大嘈杂度的干扰。
P-ICMV波束形成器的优化问题是二阶锥规划(second-order cone programming，SOCP)，一般的内点求解器(interior point solver)(参见非专利文献10)可以用来解决这一问题。然而，在助听器应用领域中，相关计算复杂度的费用依旧很高。下面，将推导针对公式(4)所示的优化问题的有效优化算法(ADMM)，其在每次迭代时具有简单的更新规则。
[P-ICMV波束形成器的ADMM算法]
为了推导出公式(4)所示的优化问题的ADMM算法，在本申请中，引入了辅助变量δθ和δΦ，通过该辅助变量，公式(4)可被等价地表示为：
使Lρ(w，δθ，δΦ，∈，λθ，λΦ)作为公式(5)的增广拉格朗日函数(参见非专利文献11)，其中λθ和λΦ为与等式约束(5c)和(5e)相关的拉格朗日因子，ρ＞0是针对ADMM算法的预定义的惩罚参数。在第r次迭代时，ADMM算法以下面的方式更新所有的变量：
对于上述迭代算法，本发明提出以下命题。
命题1(参见非专利文献11)：如果2M≥|θ|，则公式(6)生成的迭代(w，r)收敛到公式(4)的最优解。
接着，推导出针对每个迭代r的(6a)、(6b)和(6c)中子问题的封闭解。为简单起见，忽略迭代索引(iteration index)r。
(1)从(6a)中求解w：关于w的子问题(6a)是一个无约束凸二次问题，表示为
以封闭形式获得最优w：
w*＝-A-1b，
其中
(2)从(6b)中求解δθ：子问题(6b)相对于δθ可分离(separable)。因此，每个最佳δθ可通过分别求解以下问题来获得:
封闭形式的δθ可表示为：
(3)从(6c)求解δΦ：子问题(6c)等价于
γk∈k≤t，k＝1，...，K.
在卡罗需-库恩-塔克(KKT)最优化条件下(参见非专利文献12)，可通过求解以下关于t的等式在区间(0，tmax]中的根来获得最优的t，其中tmax＝maxk maxφ∈Φk{γk|τφ/cφ|2:
基于所获得的t，能够从t中容易地提取出封闭形式的最优和
[数值模拟]
图1示出了用于对根据本申请实施例的波束形成器与现有波束形成器进行比较的模拟的声学环境。所模拟的声学环境用于比较所提出的P-ICMV波束形成器和另外两个基于最小方差的波束形成器：LCMV波束形成器和ICMV波束形成器。在模拟中使用大小为12.7×10m、高度为3.6m的房间。混响时间设为0.6秒。房间脉冲响应(RIRs)由所谓的镜像法生成(参见非专利文献13)。助听器佩戴者位于房间中央。每只助听器具有两个麦克风，麦克风之间有7.5mm的内距离。前麦克风被设为参考麦克风。通过利用模特所佩戴的助听器的头部相关的RTF的测量结果来将聆听者的头影效应也考虑在内。
将目标源和干扰源呈现为通过距离聆听者1米远的扬声器。所述目标为0度。在70度和150度处共有4个干扰(图1中的1号至4号)。背景嘈杂噪音(background babble noise)通过位于不同位置的24个扬声器来模拟。所有的扬声器和助听器麦克风都位于高度为1.2m的同一水平面上。参考麦克风处的输入信号噪声比(SNR)设为5dB，而每个干扰处的信号干扰比(signal-to-interference,SIR)设为10dB。以16kHz对信号进行采样。利用50％重叠的1024点FFT来将信号转化到时频域。智能加权的SINR改善(Intelligibility-weightedSINR improvement,IW-SINRI)和智能加权的谱失真(intelligibility-weightedspectral distortion,IW-SD)被用作性能的度量标准。
有限的DoF
在此模拟中，使用了所有的4个干扰并且比较了三种波束形成器的性能。包括目标在内，一共有5个源。然而，由于只有4个麦克风，这就导致无论LCMV波束形成器还是ICMV波束形成器都无法处理全部的源。换句话说，除了保护目标，LCMV波束形成器和ICMV波束形成器最多可抑制3个干扰，这就意味着有一个干扰不得不被忽略。本说明书中，“情景i”表示第i号干扰(图1)被忽略，参数设定列在表1中。在此模拟中，假定已知每个声音源的无回声的AFT和DoA。表2中比较了三种波束形成器的性能。在所有4个情景中，就IW-SINRI度量标准而言，与LCMV波束形成器和ICMV波束形成器相比，P-ICMV波束形成器能够抑制更多的干扰和噪音。就IW-SD得分而言，三种波束形成器具有相似的语音失真度。
表1.LCMV、ICMV以及P-ICMV的参数设定
表2.IW-SINRI和IW-SD[dB]
还可以看出，在一个前干扰被忽略的情景1和情景4中，LCMV波束形成器/ICMV波束形成器实现了合理的干扰抑制。然而，在一个后干扰被忽略的情景2和情景3中，LCMV波束形成器/ICMV波束形成器的SNRI改善结果较差。这可通过各自的干扰抑制水平和波束图案的相应快照来解释。图2示出了在情景1和情景2中根据本申请实施例的波束形成器与现有波束形成器各自的干扰抑制水平。各自的干扰抑制水平被定义为20log10rin/rout，其中rin是参考麦克风处信号的均方根(RMS)，rout是波束形成器输出处信号的RMS。情景3和情景4中也可发现类似的行为，此处不再提供其示图。可见，对于全部干扰，P-ICMV波束形成器可实现约10dB的干扰抑制，然而，对于LCMV波束形成器和ICMV波束形成器来说，仅抑制了有约束的干扰。取决于不同情景，被忽略的干扰或被轻微抑制，或甚至增强。
图3和图4示出了情景1和情景2中三种波束形成器在1kHz时的波束图案的一个快照。可以看出，P-ICMV波束形成器在全部4个干扰处的空间响应具有低增益。对于LCMV波束形成器和ICMV波束形成器，被忽略的干扰方向(70度)由于目标约束而有合理的增益控制，但在情景2中，被忽略的干扰方向(150度)依然很高(大于0dB)。
对DoA误差的鲁棒性
在此模拟中，在存在目标DoA误差或干扰DoA误差的情况下比较三种波束形成器。为了简化比较，仅在150度模拟一个干扰。为LCMV波束形成器指定了两个等式约束，其中一个等式约束针对目标。对于具有鲁棒性的ICMV波束形成器和P-ICMV波束形成器，它们两者具有三个针对目标的不等式约束。但是由于有限的DoF，ICMV波束形成器针对干扰抑制仅仅施加了一个不等式约束，而P-ICMV波束形成器不受DoF的限制。因此，针对干扰抑制的鲁棒性可通过施加三个不等式约束来实现。
在表3中比较了在DoA误差变化的情况下三种波束形成器的性能。随着DoA误差从0度增长到15度，LCMV波束形成器在干扰抑制和目标语音保护方面显著劣化。对于具有鲁棒性的ICMV波束形成器和P-ICMV波束形成器，即使DoA误差增长，也能一直很好地保留目标语音。但是由于DoF的限制，ICMV波束形成器在干扰抑制方面仍然受到DoA误差的影响。当DoA误差从0度变为15度时，ICMV波束形成器的IW-SINR性能降低了多于4dB，而对于P-ICMV波束形成器，仅降低了不到2dB。
表3.IW-SINRI和IW-SD[dB]
本申请提出了一种利用凸优化工具的自适应双耳波束形成器。通过受惩罚的不等式约束，根据本申请实施例的波束形成器能够处理任意数量的干扰，为具有有限DoF的阵列中的波束形成提供了一种解决方案。同时，针对助听器应用，在本申请中，推导出一种能够有效实施的低复杂度迭代算法。在数值模拟中，通过与现有的自适应波束形成器的比较，展现出了根据本申请实施例的波束形成器能够处理更多个源的能力和对DoA误差所具有的鲁棒性。
已经以示意和说明为目的而呈现了本发明实施例的以上描述。其并非旨在穷举性的，也并非旨在将本发明限于所公开的精确形式或示例性实施例。因此，以上描述应当视为示意性的而非限制性的。显然，许多修改和变化对于本领域技术实践人员而言将是显而易见的。选择和描述这些实施例是为了解释本发明的原理及其最佳模式的实际应用，以使得本领域技术人员能够通过各种实施例以及适于特定应用或所构思的实施方式的各种修改例来理解本发明。除非另外指明，否则本发明的范围旨在由所附权利要求及其等价形式限定，在其中所有术语应当被理解为其最宽泛的合理含义。因此，术语“所述发明”、“本发明”等并不一定将权利要求的范围限定在特定的实施例，并且参照本发明示例性实施例并不意味着对本发明的限制，也不应推断出任何这样的限制。本发明仅由所附权利要求的精神和范围所限定。此外，这些权利要求可适于在名词或元件之前使用“第一”、“第二”等。这些术语应当理解为一种命名法，而不应被理解为对这些命名法所修饰的元件的数量进行限制，除非已经给出了具体的数量。所描述的任何优点和益处可不适用于本发明的所有实施例。应当理解的是，在不脱离由所附权利要求限定的本发明的范围的情况下，本领域技术人员可以对所描述的实施例进行各种变化。此外，本公开的任何元件和组件均不旨在贡献给公众，无论所述元件或组件是否在所附权利要求中明确记载。

Claims (2)

1.一种语音波束形成方法，包括：
获取多个输入音频信号；
根据具有不等式约束的最优化问题模型，求解波束形成函数的最优解；以及
根据所述波束形成函数的最优解以及所述多个输入音频信号来获得输出音频信号，
其中，在所述最优化问题模型中，目标函数包括受惩罚变量，并且所述不等式约束包括被所述目标函数中的所述受惩罚变量限制边界的不等式约束。
2.一种语音波束形成系统，包括：
获取多个输入音频信号的装置；
根据具有不等式约束的最优化问题模型求解波束形成函数的最优解的装置；以及
根据所述波束形成函数的最优解以及所述多个输入音频信号来获得输出音频信号的装置，
其中，在所述最优化问题模型中，目标函数包括受惩罚变量，并且所述不等式约束包括被所述目标函数中的所述受惩罚变量限制边界的不等式约束。
CN201710259957.1A 2017-04-20 2017-04-20 语音波束形成方法及系统 Active CN108735228B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710259957.1A CN108735228B (zh) 2017-04-20 2017-04-20 语音波束形成方法及系统
US16/605,518 US11019433B2 (en) 2017-04-20 2018-04-20 Beam former, beam forming method and hearing aid system
EP18788256.8A EP3614696B1 (en) 2017-04-20 2018-04-20 Beam former, beam forming method and hearing aid system
PCT/CN2018/083930 WO2018192571A1 (zh) 2017-04-20 2018-04-20 波束形成器和波束形成方法以及助听系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710259957.1A CN108735228B (zh) 2017-04-20 2017-04-20 语音波束形成方法及系统

Publications (2)

Publication Number Publication Date
CN108735228A true CN108735228A (zh) 2018-11-02
CN108735228B CN108735228B (zh) 2023-11-07

Family

ID=63855550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710259957.1A Active CN108735228B (zh) 2017-04-20 2017-04-20 语音波束形成方法及系统

Country Status (4)

Country Link
US (1) US11019433B2 (zh)
EP (1) EP3614696B1 (zh)
CN (1) CN108735228B (zh)
WO (1) WO2018192571A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899757B (zh) * 2020-09-29 2021-01-12 南京蕴智科技有限公司 针对目标说话人提取的单通道语音分离方法及系统
CN115276746B (zh) * 2022-07-12 2023-05-30 湖北工业大学 基于交替方向惩罚的频率一致宽带波束形成方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120093344A1 (en) * 2009-04-09 2012-04-19 Ntnu Technology Transfer As Optimal modal beamformer for sensor arrays
US8824711B1 (en) * 2010-10-20 2014-09-02 Starkey Laboratories, Inc. Efficient convex optimization for real-time robust beamforming with microphone arrays
CN104076334A (zh) * 2014-07-08 2014-10-01 西安电子科技大学 一种设计mimo雷达波形和发射天线阵列的方法
US20140313859A1 (en) * 2011-11-04 2014-10-23 Brüel & Kjær Sound & Vibration Measurement A/S Computationally efficient broadband filter-and-sum array focusing
CN105655727A (zh) * 2015-09-28 2016-06-08 中国电子科技集团公司第二十九研究所 一种基于凸优化的增益损失恒定波束的形成方法及装置
US9591404B1 (en) * 2013-09-27 2017-03-07 Amazon Technologies, Inc. Beamformer design using constrained convex optimization in three-dimensional space
CN112332894A (zh) * 2020-10-28 2021-02-05 香港中文大学（深圳） 一种惩罚锥约束的稳健波束的形成方法和移动终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0321722D0 (en) * 2003-09-16 2003-10-15 Mitel Networks Corp A method for optimal microphone array design under uniform acoustic coupling constraints
CN104768099B (zh) * 2014-01-02 2018-02-13 中国科学院声学研究所 用于圆环形阵的模态波束形成器及频域宽带实现方法
CN105681972B (zh) * 2016-01-14 2018-05-01 南京信息工程大学 线性约束最小方差对角加载的稳健频率不变波束形成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120093344A1 (en) * 2009-04-09 2012-04-19 Ntnu Technology Transfer As Optimal modal beamformer for sensor arrays
US8824711B1 (en) * 2010-10-20 2014-09-02 Starkey Laboratories, Inc. Efficient convex optimization for real-time robust beamforming with microphone arrays
US20140313859A1 (en) * 2011-11-04 2014-10-23 Brüel & Kjær Sound & Vibration Measurement A/S Computationally efficient broadband filter-and-sum array focusing
US9591404B1 (en) * 2013-09-27 2017-03-07 Amazon Technologies, Inc. Beamformer design using constrained convex optimization in three-dimensional space
CN104076334A (zh) * 2014-07-08 2014-10-01 西安电子科技大学 一种设计mimo雷达波形和发射天线阵列的方法
CN105655727A (zh) * 2015-09-28 2016-06-08 中国电子科技集团公司第二十九研究所 一种基于凸优化的增益损失恒定波束的形成方法及装置
CN112332894A (zh) * 2020-10-28 2021-02-05 香港中文大学（深圳） 一种惩罚锥约束的稳健波束的形成方法和移动终端

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
ELIOR HADAD 等: "Comparison of two binaural beamforming approaches for hearing aids" *
JINJUN XIAO 等: "Evaluation of the Penalized Inequality Constrained Minimum Variance Beamformer for Hearing Aids" *
K. BUCKLEY 等: "Spatial/Spectral filtering with linearly constrained minimum variance beamformers" *
WEI-CHENG LIAO: "An effective low complexity binaural beamforming algorithm for hearing aids" *
WENQIANG PU 等: "A Penalized Inequality-Constrained Approach for Robust Beamforming with DoF Limitation" *
WENQIANG PU: "A penalized inequality-constrained minimum variance beamformer with applications in hearing aids" *
王大宇 等: "基于宽带MVDR波束形成的弱信号检测研究" *
蒲文强: "优化算法在阵列信号处理中的若干应用研究" *

Also Published As

Publication number Publication date
CN108735228B (zh) 2023-11-07
EP3614696A1 (en) 2020-02-26
EP3614696B1 (en) 2023-02-22
EP3614696A4 (en) 2020-12-09
US20200077205A1 (en) 2020-03-05
US11019433B2 (en) 2021-05-25
WO2018192571A1 (zh) 2018-10-25

Similar Documents

Publication Publication Date Title
Hadad et al. The binaural LCMV beamformer and its performance analysis
US10657981B1 (en) Acoustic echo cancellation with loudspeaker canceling beamformer
CN104902418B (zh) 用于估计目标和噪声谱方差的多传声器方法
Doclo et al. Superdirective beamforming robust against microphone mismatch
AU2007323521B2 (en) Signal processing using spatial filter
US11146897B2 (en) Method of operating a hearing aid system and a hearing aid system
CN110140359B (zh) 使用波束形成的音频捕获
DK3008924T3 (en) METHOD OF SIGNAL PROCESSING IN A HEARING SYSTEM AND HEARING SYSTEM
CA2574713A1 (en) Separation of target acoustic signals in a multi-transducer arrangement
Marquardt et al. Interaural coherence preservation for binaural noise reduction using partial noise estimation and spectral postfiltering
CN111078185A (zh) 录制声音的方法及设备
WO2019086439A1 (en) Method of operating a hearing aid system and a hearing aid system
Neo et al. Robust microphone arrays using subband adaptive filters
US20160050500A1 (en) Hearing assistance device with beamformer optimized using a priori spatial information
Ali et al. Generalised sidelobe canceller for noise reduction in hearing devices using an external microphone
Kompis et al. Performance of an adaptive beamforming noise reduction scheme for hearing aid applications. I. Prediction of the signal-to-noise-ratio improvement
Lawin-Ore et al. Reference microphone selection for MWF-based noise reduction using distributed microphone arrays
CN108735228A (zh) 语音波束形成方法及系统
US20190348056A1 (en) Far field sound capturing
As’ad et al. Beamforming designs robust to propagation model estimation errors for binaural hearing aids
Gordy et al. Beamformer performance limits in monaural and binaural hearing aid applications
DK201800462A1 (en) METHOD OF OPERATING A HEARING AID SYSTEM AND A HEARING AID SYSTEM
EP4199541A1 (en) A hearing device comprising a low complexity beamformer
Ayllón et al. Optimum microphone array for monaural and binaural in-the-canal hearing aids
Mittal et al. Frame-by-frame mixture of beamformers for source separation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant