CN104717587B - 用于音频信号处理的耳机和方法 - Google Patents

用于音频信号处理的耳机和方法 Download PDF

Info

Publication number
CN104717587B
CN104717587B CN201410773717.XA CN201410773717A CN104717587B CN 104717587 B CN104717587 B CN 104717587B CN 201410773717 A CN201410773717 A CN 201410773717A CN 104717587 B CN104717587 B CN 104717587B
Authority
CN
China
Prior art keywords
signal
microphone
pair
beamformer
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410773717.XA
Other languages
English (en)
Other versions
CN104717587A (zh
Inventor
拉斯穆斯·孔斯格德·奥尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GN Audio AS
Original Assignee
GN Netcom AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GN Netcom AS filed Critical GN Netcom AS
Publication of CN104717587A publication Critical patent/CN104717587A/zh
Application granted granted Critical
Publication of CN104717587B publication Critical patent/CN104717587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication

Abstract

本发明涉及用于音频信号处理的耳机和方法。被配置为处理来自多个麦克风的音频信号的耳机和方法，包括：输出第一对麦克风信号的第一对麦克风和输出第二对麦克风信号的第二对麦克风；第一近场束形成器和第二近场束形成器，均被配置为接收一对麦克风信号并且当以相应的束形成器输出的相应的束形成信号测量时适配相应的麦克风对的空间灵敏度；其中，空间灵敏度适于抑制与期望的信号有关的噪声；第三束形成器，被配置成将从第一束形成器和第二束形成器输出的信号动态地组合为组合信号；其中，信号被组合从而使得组合信号中的信号能量被最小化而同时保持期望的信号；及降噪单元，被配置为处理来自第三束形成器的组合信号并且输出组合信号，以噪声降低。

Description

用于音频信号处理的耳机和方法
技术领域
本发明涉及束形成器的技术领域，更具体地涉及用于音频信号处理的耳机和方法。
背景技术
已经发现，使用多个麦克风和使用束形成技术提供了比单个麦克风或者非束形成系统卓越的音频信号再现。多个麦克风位于不同的位置并且允许所谓的空间采样，从而能够消除与诸如人的声音的期望的信号干涉的噪声，这也被称为束形成、空间滤波、或者噪声消除。随后的时变后置滤波器通常被应用为进一步将人的声音从(背景)噪声信号区分出来的装置。
耳机、助听器、膝上型电脑、以及其他电子消费设备中通常包含多个麦克风和束形成技术的使用。
束形成器的技术领域已经进行了大量的研究；然而，它们的质量和配置还没有被充分的开发。
相关的现有技术
US 2012/0020485公开了一种音频信号处理方法，该音频信号处理方法评估由第一对麦克风所接收的第一声音分量相对于第一对麦克风的到达方向的第一指示；并且评估由第二对麦克风所接收的第二声音分量相对于第二对麦克风的到达方向的第二指示。在使用该方法的设备的正常操作过程中，第一对麦克风和第二对麦克风被设置在人的头部的相应侧处。该方法还包括基于第一方向指示和第二方向指示控制音频信号的增益以产生输出信号。
发明内容
提供一种被配置为处理来自多个麦克风的音频信号的诸如耳机的装置，包括：第一对麦克风和第二对麦克风，第一对麦克风输出第一对麦克风信号并且第二对麦克风输出第二对麦克风信号；其中，第一对麦克风设置有第一相互距离并且第二对麦克风设置有第二相互距离，并且其中，至少在该装置处于正常操作时，第一对麦克风被设置成距所述第二对麦克风大于所述第一相互距离和第二相互距离的距离；第一束形成器和第二束形成器，均被配置为接收一对麦克风信号并且当以从相应束形成器输出的相应束形成信号测量适配相应的麦克风对的空间灵敏度；其中，空间灵敏度适于抑制与期望信号有关的噪声；第三束形成器，被配置为将从第一束形成器和第二束形成器输出的信号动态地组合成组合信号；其中，信号被组合为使得组合信号中的噪声能量被最小化而同时保持期望的信号；以及降噪单元，降噪单元被配置为处理来自第三束形成器的组合信号并且输出组合信号以使得噪声降低。
因此，在具有处理麦克风信号的第一束形成器和第二束形成器的第一束形成级和具有处理从第一阶段输出的信号的第三束形成器的第二级中提供束形成。第一束形成级用于通过适配相应的麦克风对的空间灵敏度来局部增强或者强化相对于麦克风信号的期望的信号。例如，通过调整束形成器系数来控制束形成器空值的空间配置而适配空间灵敏度，调整束形成器系数可包括调整束形成器系数以使得束形成器获得全方向特征，其有助于避免放大诸如风噪声的不相关的(麦克风之间的)噪声。第一束形成级的效力取决于每个麦克风对中的麦克风均紧紧地靠近彼此的假设(出于下列说明的原因)。
除在捕获希望信号时的这样的局部优化之外，噪声分量的等级在第一束形成信号与第二束形成信号之间可显著地变化。这可能是由于麦克风处的不同等级，例如，风湍流是高度局部现象，和来自在头戴式设备中的用户头部的音响阴影效果。而且，第一束形成器和第二束形成器可能不能够根据麦克风对的相对位置、关注的信号、以及干扰噪声等同地消除噪声。
因此，第三束形成器被配置为接收已经经过第一级束形成器的局部优化的信号，通过所述局部优化，尽可能地将期望的信号隔离。通过动态地组合来自左手侧和右手侧的信号，可以选择或强化来自最有利定位的麦克风对的空间上受控的信号。
以这种方式处理麦克风信号，通过降噪单元(如所述要求的，当其被配置为处理来自第三束形成器的组合信号时)提高噪声抑制的效果。这部分是由于所观察到的在这样的两级束形成之后期望的信号更清晰并且由此使得噪声抑制更为有效。而且，两级束形成器方法利用已知的双麦克风束形成器实现了紧密隔开的麦克风和非紧密隔开的麦克风的束形成的组合效益(benefit，好处)。第三束形成器可通过输入信号的线性或者非线性权重组合其输入信号。
诸如耳机、助听器、或者通过麦克风拾取音频信号的另一装置的装置可被配置为由人佩戴，使得第一对麦克风设置在人头部的左手侧，而第二对麦克风设置在人头部的右手侧。通常，两对麦克风位于耳机的耳罩上，眼镜架或者横梁或者位于人头部的相应侧的其他突起。麦克风至少大致被布置成所谓的端射配置(end-fire configuration)。可替代地或者此外，麦克风可被布置成较宽的配置。
通过设置麦克风，使得对内麦克风(intra-pair microphones)至少在耳机处于正常操作且对内麦克风为指向佩戴耳机的用户的嘴巴的端射配置时比对间麦克风(inter-pair microphones)位于更靠近，第一束形成器和第二束形成器可利用所谓的近场效应的优点在低频比更高频更高地提高信噪比，并且可以消除更多的更高频噪声，从而避免空间混淆现象。信噪比的提高可以高达15dB。此外，第三束形成器可利用不同麦克风对暴露的不同局部噪声等级。当麦克风对位于人的头部的不同侧时，头部可形成降低人头部的一侧上的噪声等级的风影和/或声影。本发明的主要优点在于，设计对所有麦克风输入进行操作的单一适配性束形成器的高度复杂的问题被分解成三个简单的、鲁棒、非常易于理解的双麦克风束形成器。
总之，可以选择具有不同特征的不同类型的麦克风。
通常，期望的信号是表示来自麦克风附近的讲话者的语音或者从相对于麦克风的方位的特定方向出现的语音的信号。期望的信号被表征为从相对于麦克风的空间位置的具有预定空间位置的一个或者多个声源发出。因为使用多个麦克风来拾取期望的信号，所以期望的信号由麦克风信号和/或束形成信号之间的预定相差和/或振幅差来表征。期望的信号还可以由预定的时间特征和/或预定的相频/幅频特征来表征。
噪声信号或者简单的噪声可包括由以足够高的风速出现并且作用于麦克风隔膜上的风而引起的湍流声音(turbulence sound)。噪声还可包括诸如来自机器的音调的背景声音、来自物品卡嗒或者叮当的声音、来自彼此之间谈话的人的声音等。在一些定义中，噪声由从位于不同于期望的信号的其他位置的一个或者多个声源发出来表征。
第一束形成器和第二束形成器逐渐地或者以以下步骤来适配方向灵敏度，所述步骤包括至少根据以下特征组近似灵敏度：全方向性、双向性、心型、子心型、超心型(hypercardioid)、超级心形(supercardioid)、或者猎枪型(shotgun)。方向灵敏度可以逐渐在全方向、双向性、以及心型特征之间逐渐改变。第一束形成器可以如WO 2009/132646中所公开地配置，对于尤其结合其图1所公开的所有内容，通过引用结合于此。
第三束形成器可根据从噪声功率评估的系数组合来自第一束形成器和第二束形成器的信号。在来自第一束形成器的信号的噪声功率高于来自第二束形成器的信号的噪声功率的情况下，来自第二束形成器的信号高于来自第一束形成器的信号被加权，反之亦然。当语音被检测为不存在时，可以评估信号的噪声等级。
在端射对的情况下，根据希望的方向灵敏度，第一对麦克风之间的第一相互距离和第二对麦克风之间的第二相互距离短于所关注的最小波长。在波长比所关注的波长更短的频率或者以上，由于空间混淆现象的效应，抑制或者消除噪声的能力将降低。麦克风对之间的距离可对应于人的两耳之间的直线距离(约为18cm-22cm)。对于高达4KHz的所关注的带宽，第一相互距离和第二相互距离可以为约10mm、20mm、或者40mm。
通常，该装置可以在时域或者时频域内执行信号处理。在后者情况下，在运行基础上，对预定时间段的信号块执行时间到频率的变换。在时频域中，信号被表示为多个频率区中的时域采样。因此，对经过时频域处理的信号执行频率到时间的重构。
在一些实施方式中，降噪单元被配置为响应于噪声抑制系数对来自第三束形成器的组合信号执行噪声抑制；并且从麦克风信号和/或束形成信号评估噪声抑制系数。降噪单元被配置为时域或时频域中的时变滤波器。噪声抑制系数可以随时间改变并确定时变滤波。
噪声抑制系数可包括从第一组麦克风信号以及从束形成信号评估的第一系数。可替代地或者此外，噪声抑制系数可包括从第二组麦克风信号以及从束形成信号评估的第二系数。从第一系数和第二系数可对噪声抑制系数进行组合。
噪声抑制系数可以是时频域内的乘法器的增益因数或者时域滤波器的滤波器系数。
在一些实施方式中，所述装置包括：第一控制分支，从第一对麦克风信号和/或第一束形成器合成第一噪声抑制增益；第二控制分支，从第二对麦克风信号和/或第二束形成器合成第二噪声抑制增益；以及选择器，被配置为动态地选择和/或输出第一噪声抑制增益或第二噪声抑制增益；其中，降噪单元被配置为响应于从选择器所选择和/或输出的噪声抑制增益处理来自第三束形成器的组合信号。
因此，可以动态地选择第一噪声抑制增益或者第二噪声抑制增益，从而使得其是根据从由相应束形成器输出的相应束形成信号和相应噪声抑制增益所评估的信号质量测量。这是有利的，因为可以在第一和第二降噪增益并不是等同有利的条件下计算第一降噪增益和第二降噪增益。结果，噪声不能被等同地很好地抑制和/或期望的信号不能被等同地很好地保持。例如，用于计算第一噪声抑制增益的机制可访问使其自身更容易区分噪声信号与期望信号的信号。该情形可以根据如下情况而出现，在所述情况中，由于引起较少风声噪声或者背景噪声的用户头部阴影，在第一束形成器输入处噪声不大。在由第一噪声抑制计算所采用的空间线索(spatial cue)更容易区分的情况也可能出现这种情形。
滞后量或者阈值可被应用并用作是否启用选择器的标准。因此，当评估噪声能级低于预定滞后量或者阈值时，可以禁用开关。滞后量或者阈值可以在约1dB至约3dB的范围内。因此，可以在(1)实现最低输出噪声等级与(2)使诸如语音信号的期望信号的失真最小化之间进行权衡。
在一些实施方式中，选择器被配置为响应于第一信号质量指示符和第二信号质量指示符进行操作；从响应于相应的降噪增益被处理为降低噪声的相应束形成信号合成信号质量指示符。
就噪声抑制方面而言，信号质量的重要方面是信噪比。例如，参考图2，当使用束形成的、降噪信号作为信号质量评估的输入时，通过XL和XR影响信噪比。例如，如果XL的信噪比大于XR的信噪比，则在AL和AR将降低噪声分量降低相同因数的情况下，ALXL的信噪比将大于ARXR的信噪比。
而且，信号质量评估受到AL和AR的质量影响。在一些情况下，在头部的一侧，更容易从噪声中区分出语音。原因在于，用户头部可以在用户头部的下风侧上保护麦克风免受风。另一原因在于，在用户头部的下风侧上可更为清楚地区分噪声抑制计算所采用的空间线索。
可以根据相应的降噪增益AL；AR与相应的束形成信号XL；XR的均方乘积来计算信号质量指示符PL；PR。可以计算每个频带的信号质量指示符或者累积所有频带的信号质量指示符。
在一些实施方式中，响应于降噪增益被处理以降低噪声的束形成信号被输入到评估器中，所述评估器被配置为将控制信号输出到选择器并且由此控制选择；并且在语音活动性被检测被不存在时的时间间隔期间，评估器根据最小功率的标准评估响应于相应的降噪增益被处理以降低噪声的束形成信号。
因此，可以根据在人的头部的相应侧处的噪声条件(例如，噪声功率)的评估执行对相应噪声抑制增益的选择。
用作选择标准的左和右束形成的降噪信号的最小噪声功率将多个质量参数组合成简单的计算。如上所述，当麦克风输入通过对准滤波器被对准时，噪声功率是信噪比的相似测量，但计算更为简单。
当执行降噪时，存在引入使语音质量劣化的语音处理人为现象的风险。最小噪声功率标准中所使用的噪声功率测量在许多情况下选择更高的语音质量。当该标准基于最小功率时，优选更容易检测语音分量的所有部分，尤其是低等级部分的信号，从而导致语音处理认为现象的更少的可听事件。语音活动性检测器可输出指示是否检测到语音活动性的信号。当一个或者多个麦克风信号和/或束形成信号的振幅或者峰值大小或者功率水平超过预定或者时变阈值时，可以检测到语音活动性。阈值等级可被适配成评估的噪声等级。
在一些实施方式中，计算噪声抑制系数以通过预定的固定因数降低噪声。
例如，预定因数可以是13dB、6dB、10dB、15dB或者另一因数。这可以通过将噪声抑制增益限制为预定因数来实现。
作为一个实例，第一束形成器和第二束形成器输出处的评估的噪声等级可以分别为如-30dB和-20dB；固定因数可以为如10dB；因此，噪声抑制之后的评估的噪声等级则分别为-40dB和-30dB。
例如，可以使用噪声抑制增益选择模块之前的信号链中任一点处的麦克风上的对准滤波器/增益在朝向所关注的信号的等级匹配左和右信号束形成信号。作为使用固定噪声抑制因数和等级匹配的左和右信道的有益结果，噪声功率计算被调节成用作反映更高程度的左和右束形成器输出的信噪比的左和右信号质量测量。
在一些实施方式中，第一束形成器和第二束形成器中的至少一个被配置为包括：第一级，从输入信号生成求和信号和差分信号，且使输入信号中的至少一个相对于期望的信号与输入信号中的另一个相位和/或振幅对准；以及第二级，过滤差分信号并且生成滤波信号；其中，从求和信号与滤波信号之间的差生成束形成输出信号；并且其中，滤波器适于使用最小均方技术来使得束形成输出信号的功率最小化。
因此，第一束形成器和/或第二束形成器选择性并且适配性地消除来自特定方向的声音。
滤波器可具有低通特性以相对于高频分量增强低频分量。滤波器可以是低音增强滤波器(bass-boost filter)。
这样的束形成器配置为如WO 2009/132646中所公开的，对于其所公开的全部内容，通过引用结合于此。
在一些实施方式中，第三束形成器被配置为相对于与麦克风的空间位置相关的预定的空间位置具有固定的灵敏度。
固定灵敏度意味着第三束形成器相对于从预定空间位置处的声源发出的声音施加固定的频率响应。
预定位置相对于第一组麦克风和第二组麦克风的空间位置和方位以预定方式定位。当人按照正常方式佩戴该装置时，预定空间优选为关于人的嘴巴居中。
第三束形成器的束形成系数可被约束为对固定增益求和，例如，对空间位置的单位增益。就增益不可适配这种意义而言，增益是固定的。然而，可以结合校准调整增益或者将增益调整为优选设置。
第三束形成器可通过线性组合对输入信号进行组合。可替代地，可以通过非线性组合对信号进行组合。
在一些实施方式中，麦克风输出数字信号；该装置在多频带内执行数字信号到时频表示的变换；并且该装置执行至少组合信号到时域表示的逆变换。
可以通过施加给预定时间段的信号块的快速傅里叶变换FFT执行该变换。这种变换可包括应用Hann窗口或者另一类型的窗口。经由逆快速傅里叶变换IFFT可从时频表示重构时域信号。
预定时间段内的信号块可具有50％重叠的8ms时限，这意味着，每隔4ms计算变化、适配更新、降噪更新、以及时域信号重构。然而，其他时间段和/或更新间隔也是可以的。数字信号可以以多次过采样速率的一位信号、两位信号或者三位信号、或者8位、10位、12位、16位或者24位信号。
在可替代的实现方式/实施方式中，系统的全部或者部分直接在时域内操作。例如，通过FIR或者IIR滤波、在频域中计算的噪声抑制滤波器系数可将噪声抑制应用至时域信号。
在一些实施方式中，麦克风输出模拟信号；装置执行模拟信号的模数转换以提供数字信号；装置执行多频带内数字信号到时频表示的变换；并且装置执行至少组合信号到时域表示的逆变换。
在一些实施方式中，当人使用该装置时，麦克风组中的至少一对麦克风被设置成定位朝向期望人的嘴巴所期望处于的位置的端射配置。例如，对于耳机或者助听器，这样的配置已经显示具有良好的噪声消除和抑制功能。
还提供一种用于处理来自多个麦克风的音频信号的方法，包括：分别从第一对麦克风和第二对麦克风接收第一对麦克风信号和第二对麦克风信号；其中，第一对麦克风设置有第一相互距离并且第二对麦克风设置有第二相互距离，并且其中，第一对麦克风被布置成在至少该装置处于正常操作时距第二对麦克风大于第一相互距离和第二相互距离的距离；对第一对麦克风信号和第二对麦克风信号执行第一束形成和第二束形成以输出相应的束形成信号；当以相应的束形成信号测量时通过相应的麦克风对适配空间灵敏度，从而使得空间灵敏度被适于抑制与期望的信号有关的噪声；执行第三束形成，以将从第一束形成和第二束形成输出的信号组合为组合信号；其中，信号被组合成成使得自合信号中的噪声能量被最小化而同时保持期望的信号；以及执行降噪以处理来自第三束形成器的组合信号并且输出组合信号，从而降低噪声。
例如，还提供了一种存储在诸如DVD的计算机可读介质上的计算机程序产品，包括程序代码方法，当所述程序代码方法在数据处理系统上被执行时，适于使数据处理系统执行所述方法中的步骤。
例如，还提供了一种计算机信号，例如，下载信号，包含在载波中并且表示指令序列，当由处理器执行所述指令序列时，使得处理器执行方法中的步骤。
此处，在下文中，术语“处理装置”和“处理单元”旨在包括适于执行本文所描述的功能的任何电路和/或设备。具体地，上述术语包括通用或者专用可编程微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、场可编程门阵列(FPGA)、专用电子电路等、或者其组合。
附图说明
将参考附图，通过本发明的实施方式的以下示出的非限制性的细节描述进一步阐述本发明的上述目标和/或其他目标、特性以及优点，其中：
图1示出了信号处理器的框图；
图2示出了信号处理器的更为详细的框图；以及
图3示出了具有多个麦克风的装置的不同配置。
具体实施方式
在下列描述中，将参考通过例如示例示出如何实现本发明的附图。
图1示出了信号处理器以及第一对麦克风和第二对麦克风的框图。第一组麦克风101和102以及第二组麦克风103和104设置有麦克风间的对内距离，所述对内距离与麦克风对之间的麦克风对间距离相比相对较短。以参考标号100表示信号处理器。
第一对麦克风101和102输出被输入到第一束形成器105的第一麦克风信号对，而第二对麦克风103和104输出被输入到第二束形成器106的第二麦克风信号对。第一束形成器105和第二束形成器106输出相应的输出信号XL和XR。
第一束形成器105和第二束形成器106均被配置成适配其空间灵敏度。空间灵敏度被适配成消除或者抑制与期望的信号相关的噪声。第一束形成器和第二束形成器可以如WO2009/132646中所公开的那样配置。
第三束形成器107被配置为将从第一束形成器105和第二束形成器106输出的信号XL；XR动态地组合为组合信号XC。可以下列表达式表达组合信号XC：
XC＝GLXL+GRXR
其中，GL和GR分别表示来自接收XL的第一输入和来自接收XR的第二输入的转移函数(transfer function)。上述表达式取决于频域表示；XL和XR是复数。对于时域表示，存在等同表示。第三束形成器被配置为动态地调整实数或者复数GL和GR以输出具有最低噪声等级的XC而同时保持期望的信号。
下列表达式是如何计算实数GL、GR的实例：
其中，Re是复数的实部，*、<·>、以及|·|分别表示复共轭、时间间隔的平均以及绝对值。
实数和的上述表达式是受以下约束的均方成本函数(mean squares costfunction)的解：
受限于：
即，XC的均方被最小化为收到约束的实数GL的函数。该约束确保期望的信号优于来自至少一些其他位置的信号。
在一些实施方式中，匹配滤波器被插入在麦克风和第一级的束形成器(即，实施方式中所示的第一和第二束形成器)的输入之间。从而过滤输入到第一束形成器和第二束形成器的信号，从而，在所有输入中，期望的信号分量充分地相同(即，相对于相位和振幅)。滤波器补偿期望信号至麦克风的声通路中的变化以及麦克风灵敏度的变化或者其他变化。这样的匹配滤波器还可以由对准滤波器并且匹配可以由对准表示。由于相对于期望源的输入对准，第一束形成器和第二束形成器的输出的期望的信号分量由于内置约束而几乎相同(例如，WO 2009/132646中所描述的)。即，第三束形成器的输入相对于期望的信号分量充分相同。因此，约束导致第三束形成器的输出和输入相对于期望的信号充分相同。
可选择输入中的一个作为用于麦克风对准的参考。例如，对准滤波器中的一个可被配置为产生全通特征；其他对准滤波器被相应地配置。结果，第一级束形成器中的每个的输出相对于期望的信号充分相似并且还与参考输入相似。
通过假定并且补偿原始期望信号与麦克风之间的已知的声学关系并且通过使用灵敏度变化非常小的麦克风可预先配置麦克风对准滤波器。可以在生产时的校准步骤中评估麦克风灵敏度。可以在设备运行时评估麦克风对准滤波器；例如，当被语音或者噪声活动性检测器激活时，通过最小平方技术评估对准滤波器。
通过将麦克风对准滤波器直接集成到一个或者多个束形成器的计算中，或者可替代地，在第一束形成器和第二束形成器输出处，可以等同地实现束形成器相对于期望的信号的约束。
当以这种方式组合输入信号(XL；XR)时，表现出最低噪声等级的输入信号相对于其他的输入信号被强化。
用于计算GL和GR的上述表达式至少在一定程度上限制对期望的信号的影响并且可充分地发挥作用而不需要任何的音活动性检测器VAD。
下列表达式是可选的并且需要稍微少的资源来进行计算少，但是，结合语音活动性检测器VAD使用比较有利：
其中，XR和XL是相应信号的复数表示。该表达式收到相似的最小化并且受如上所述的约束，但是，假定XR和XL中的噪声分量不相关。在这种情况下，语音活动性检测器被应用于丢弃XR和XL的其中为了评估GL和GR而存在语音的信号部分。对于多麦克风收，在US7206421B1中公开了这样的加权规则。
为了更为鲁棒的性能，GL和GR可被进一步约束为如0与1之间的间隔。
通常，应注意，发射期望的信号的源的评估位置可被预先配置并且被锁定至相对于麦克风位置的期望位置。这可以是耳机的情况，其中，当耳机被佩戴在正常位置时，可以充分地限定人的嘴巴的位置。在其他情况下，该装置可包括根据例如来自一个、两个或者多个麦克风对或者两组以上麦克风的信号的相差和/或振幅差评估期望的信号的源的位置的跟踪器。这可以是用于例如汽车中的通信设备的喇叭扩音器或者免提装置的情况。
将来自束形成信号XL和XR的组合信号XC输入到计算噪声抑制增益AS的噪声抑制单元109中。此外，噪声抑制单元109在计算噪声抑制增益AS的过程中可包括来自一个或者多个麦克风101、102、103、104的麦克风信号。来自M3和M4的信号和从束形成器106输出的信号XR被标记为‘a’、‘b’、以及‘c’并且如相应标签所指示地被输入到噪声抑制单元109中。
下面进一步描述噪声抑制增益AS的计算。
在所示的实施方式中，通过乘法器108将噪声抑制增益AS施加到组合信号XC。从乘法器输出的信号是包括由麦克风拾取的束形成和噪声抑制信号分量的再现音频信号。标签‘O’表示来自信号处理器的输出。该输出经受进一步的信号处理、放大和/或传输。
图2示出了信号处理器的更为详细的框图。其示出了将噪声抑制增益AS选择为第一或左噪声抑制增益AL或者第二或右噪声抑制增益AR。左噪声抑制增益AL根据束形成信号XL和/或麦克风信号xm1和/或xm2而计算。对应地，右噪声抑制增益AR根据束形成信号XR和/或麦克风信号xm3和/或xm4而计算。
AL经由乘法器205被施加到XL并且AR经由乘法器209被施加到XR。乘法器105和209的相应输出被输入到相应的信号质量评估器203和208。输入可被解释为左降噪的束形成信号和右降噪的束形成信号。
信号质量评估器203和208可根据信噪比的标准评估从乘法器205和209输出的信号的信号质量。可替代地，可以根据当语音活动性被检测为不存在的时间间隔期间的噪声信号功率标准来评估信号质量。这可以通过应用麦克风对准滤波器以使期望的信号分量在所有的束形成器输入和输出处充分相同来促进。在这种情况下，信噪比和噪声功率是信号质量的相似的测量。信号质量评估器经由选择器204输出选择AL或者AR的信号PL和PR。从选择器输出的AS表示所选择的噪声抑制增益并且其经由乘法器108被施加到XC。
信号PL和PR以及由此的信号质量评估器203和208可被定义为有关作为输入接收的信号的噪声分量的功率计算。例如，PL可被定义为仅是噪声间隔过程中的束形成的降噪输入的均方。可以对合适的时间间隔(例如，100ms或者1s)并且可以对合适的频率间隔(例如，0Hz-8000Hz)执行平均。
当PL小于PR时，选择器204可被配置为选择AL，并且当PL大于PR时，选择器204可被配置为相反地选择AR。语音活动性检测器202和207分别将表示是否检测到语音的信号输出到信号质量评估器203和208。
单输入型的语音活动性检测器VAD可被配置为通过接收输入信号并且计算输入信号的缓慢变化的量级平均值而评估噪声本底等级N。当信号的大小暂时超过所评估的噪声本底为如10dB的预定因数时，比较器可输出表示存在语音信号的信号。当检测存在语音时，VAD可禁用噪声本底评估。当噪声处于准稳态并且当语音的大小充分超过评估的噪声本底时，语音检测器工作。这样的语音活动性检测器可以限带信号或多频带操作以生成从多频带聚合的语音活动性信号。当语音活动性检测器以多频带操作时，其可输出用于相应的多频带的多个语音活动性信号。
多输入型的语音活动性检测器VAD可被配置为计算表示多个信号之间的相关性的信号。例如，由于嘴巴比噪声源更靠近于麦克风，所以语音信号可表现出麦克风之间更高等级的相关性。其他类型的语音活动性检测器基于计算诸如方向性和接近度的空间特征或者线索以及将信号分解成代码本时间/频率配置文件的字典方法(dictionary approach)。
从下列表达式可以计算指定的GNS、或AL、或AR的噪声抑制增益：
其中，PN是时间实例t时的评估噪声本底等级的平方；|X|2是时间实例t时的输入信号的平方；并且F是因数，例如，因数10。噪声抑制增益如果在频域内被应用，噪声抑制增益则影响经由乘法器的输入信号。
因此，一方面，如果噪声本底等级非常低，则当明显存在语音时，GNS变成1。另一方面，如果不存在语音或者噪声等级上升时，GNS移至小于1的值并且由此抑制输入信号。因数F被选择为设置应如何积极地抑制输入信号。
关于语音活动性检测器和噪声抑制增益的以上描述，其输入信号可以是从第一束形成器和/或第二束形成器和/或第三束形成器输出的信号和/或任何麦克风信号。
通常，评估信号与噪声关系的方式基于跟踪噪声本底，其中，语音或者噪杂的语音通过明显超过噪声本底等级的信号部分被识别。例如，再生等级例如通过如[R.Martin,“Noise Power Spectral Density Estimation Based on Optimal Smoothing andMinimum Statistics,”Trans.on Speech and Audio Processing,Vol.9,No.5,July2001]中的最小统计学来评估，其中，适配性地评估最小信号等级。
识别信号和噪声部分的其他方式基于计算诸如方向性和接近度[O.Yilmaz andS.Rickard,“Blind Separation of Speech Mixtures via Time-Frequency Masking”,IEEE Transactions on Signal Processing,Vol.52,No.7,pages 1830-1847,July 2004]或者相干性[K.Simmer et al.,"Post-filtering techniques."MicrophoneArrays.Springer Berlin Heidelberg,2001.39-60]的多麦克风/空间特征。也可以应用将信号分解成代码本时间/频率分布的字典方法[M.Schmidt and R.Olsson:"Single-channel speech separation using sparse non-negative matrix factorization,"Interspeech,2006]。
通常，可以如[Y.Ephraim and D.Malah,“Speech enhancement using optimalnon-linear spectral amplitude estimation,”in Proc.IEEE Int.Conf.Acoust.SpeechSignal Processing,1983,pp.1118-1121]中描述的那样或者如有关噪声抑制技术的文献中的其他地方所描述的那样来实现噪声抑制。通常，对信号应用时变滤波器。通常在表示多个频带的信号的频率变换域/滤波器组中实施分析和/或滤波。在每个表示的频率中，根据评估的期望信号与噪声分量的关系计算时变增益，例如，当评估的信噪比超过预定的适配性或者固定阈值时，增益被控制为趋于1。相反，当评估的信噪比不超过阈值时，增益被设置成小于1的值。指定‘x’和‘y’的标签连接相应的信号：x到x以及y到y。
图3示出了具有多个麦克风的装置的不同配置。在左手侧，具有眼睛框(bow)306的眼镜架303被配置有两组麦克风304和305。在右手侧，柔性颈带307被配置有两组麦克风308和309。参考标号301表示佩戴眼镜架303的人的头部，并且参考标号302表示佩戴颈带307的人的头部。
麦克风可被布置成所谓的端射配置，其中，相应对或者相应组的麦克风中的麦克风位于与期望的信号的源的位置交叉或者靠近于期望的信号的源的位置的线上。该位置可以是人的嘴巴开口的位置或者靠近人的嘴巴开口的位置。在端射配置中，麦克风对中的麦克风位于与期望的信号的源的位置交叉的直线上。据发现，当该装置是耳机、助听器等时，这样的配置适合用于有效地抑制或者消除来自位于其他地方的源的噪声。
在可替代的配置中，使用用于麦克风位置的所谓的较宽配置(broadsideconfiguration)。在较宽配置中，麦克风对中的麦克风位于距期望的信号的源的位置成相等的距离的直线上。
在可替代的配置中，麦克风对中的麦克风位于相对于从麦克风对至期望的信号的源的位置的方向以例如5°、10°、45°倾斜的直线上，从而提供实际上更为适用的配置。
通常，在上面中，假定了使用输出数字信号的所谓的数字麦克风。然而，可以使用结合模数转换器或者从声场到采样域的任何其他换能器的模拟麦克风。麦克风通常被包括在直径范围从通常3mm至5mm或者6mm的所谓封壳中。
通常，束形成器可从一对以上的麦克风接收信号。束形成器，例如，第一级束形成器，可从3个、4个或者多个麦克风接收麦克风信号。第一级可包括除第一束形成器和第二束形成器之外的束形成器；例如，第一级可包括3个、4个或者多个束形成器。
应该注意的是，在助听器和助听装置中，相比于在耳机中采用的近场束形成，束形成被配置用于远场束形成。
此外，束形成不能产生净的正效应，除非背景噪声充分超过麦克风噪声。这是因为束形成器的所谓的白色噪声增益(white-noise-gain)，其中，(输入之间)不相关的噪声，诸如麦克风噪声、风噪声和量子化噪声被束形成器放大。
对于朝向远场源的有效束形成，在低频，需要大约30dB的净空(headroom)，而对于朝向近场源的束形成，大约15dB的显著较低的净空就足够了。
因此，有时，当背景噪声不够高时，在一个频率范围内，束形成在该范围内必须被禁用以避免噪声的净放大。
由于当源处于近场时严格的净空要求，在低频时的大部分时间，通常必须禁用远场束形成器。
相反，朝向近场源束形成的近场束形成器在大多数时间的运行通常是不受阻的。结果，当第一束形成器和第二束形成器被配置为近场束形成器时，第三束形成器不可思议地更有效地操作。因此，由于第一束形成器和第二束形成器在大多数时间的运行不受阻，所以，第一束形成器的输出和第二束形成器的输出之间的信噪比中存在显著差异的可能性更高。因此，由于第三束形成器选择性地组合第一束形成器的输出和第二束形成器的输出，所以，信噪比被显著改善。这是因为(具有近场束形成器的)麦克风将不会经常(像远场束形成器那样)引起第一束形成器和第二束形成器被有效地禁用。
主要优点在于所要求的耳机和方法组合了朝向近场源(其为用户的嘴巴)的端射阵列束形成的优点，具有用户的头部的噪声和风屏蔽效果的好处，而达到噪声抑制的不可预料的水平。该极大地提高了例如在室外环境中拾取的语音信号的质量，从而提高了在例如电话呼叫的远程端处的语音理解(speech comprehension)。
用于耳机的束形成器(即，近场束形成器)被配置为在距第一对麦克风和/或第二对麦克风的距离小于25cm±10％或小于约20cm±10％或小于约18cm±10％的范围内空间聚焦(focus)在源(诸如用户的嘴巴)上。据此，第一对麦克风设置有第一相互距离，第二对麦克风设置有第二相互距离。第一相互距离和/或第二相互距离处于大约5mm±10％至大约20mm±10％或大约35mm±10％，例如，大约10mm或15mm的范围内。
聚焦在佩戴耳机的用户的嘴巴上的近场束形成器意味着束形成器被聚焦在用户的嘴巴的开口的位置上或靠近用户的嘴巴，例如，在嘴巴前面几厘米，诸如2、3、4、5、10或15cm。
可以通过以频域(复数)表示的以下表达式更详细地描述普通的理想化的双麦克风束形成器：
Z＝(X1-Δ2·X2)·EQ
其中，X1和X2是分别来自端射麦克风配置中的前面和后面麦克风的麦克风信号；Δ2是确定束形成器的方向特征(例如，心型(cardiod)或双向)的时间延迟(相位修改)；EQ确定束形成器的输出处的频率特征；Z为束形成输出，假设由所述表达式表示的束形成器从匹配的麦克风接收其输入。
现在研究束形成器对所关注的源的响应。在其后续中，X1和X2由来自共用源的共用源信号S和从共用源至麦克风的相应的转移函数B1和B2表达：
X1＝B1·S
X2＝B2·S
没有一般性损耗，我们指定束形成器应该表现出对作为第一麦克风的源的相同的响应。
Z＝B1·S
然后
其产生了用于远场束形成器的如下的：
这是因为源处于近场中。从以下的表达式可以看出，由于分母接近于0，所以，对于低频，EQ增大。由此产生了非常高的麦克风噪声增益。
用于远场束形成器的EQ因此可以以如下方式表达：
其中，Δ12是时间延迟(即，相位修改)。
对于近场束形成器，从近场源至麦克风对中的麦克风的一个的转移函数B2和从近场至麦克风对中的麦克风的另一个的转移函数B1之间的比率的绝对值等于常数a(以频域符号或复数符号)，即：
其中，a的值小于1而大于0，0＜a＜1。a的值取决于从用户的嘴巴到一对麦克分的路径。麦克风对的端射配置给出了相对低的a值。a的值可以例如约为0.7±10％或者在0.4至0.9的范围内。a的值可以大约是那样的值或处于所关注的频率范围，例如，从大约500Hz±10％或800Hz±10％至大约4KHz±10％或8KHz±10％的频率范围或更宽或更窄的频率范围，的范围内。从以上表达式可以看出，由于a，EQNF小于低频处的EQFF。由此产生了更低的麦克风噪声增益并因此产生了束形成器将提高信噪比的更宽的背景噪声。

Claims (12)

1.一种被配置为处理来自第一对麦克风和第二对麦克风的音频信号的耳机，所述第一对麦克风和所述第二对麦克风设置在在正常位置对准朝向佩戴所述耳机的用户的嘴巴的相应的第一和第二端射配置中，所述耳机包括：
第一对麦克风(101，102)和第二对麦克风(103，104)，所述第一对麦克风(101，102)输出第一对麦克风信号并且所述第二对麦克风(103，104)输出第二对麦克风信号；其中，所述第一对麦克风被设置有第一相互距离并且所述第二对麦克风被设置有第二相互距离，并且其中，至少在所述耳机处于正常操作时，所述第一对麦克风被设置成距所述第二对麦克风的距离大于所述第一相互距离和所述第二相互距离；
第一束形成器(105)和第二束形成器(106)，被配置为分别接收所述第一对麦克风信号和所述第二对麦克风信号并且执行聚焦在佩戴所述耳机的用户的嘴巴上的相应的近场束形成；
第三束形成器(107)，被配置为通过加权将从所述第一束形成器(105)和所述第二束形成器(106)输出的束形成信号(XL；XR)动态地组合成组合信号(XC)；其中，所述第三束形成器计算所述束形成信号(XL；XR)的相应的噪声等级并被配置为输出具有最低噪声等级的所述组合信号(XC)；
降噪单元(109)，被配置为通过时变滤波器过滤来自所述第三束形成器(107)的所述组合信号(XC)。
2.根据权利要求1所述的耳机，
其中，所述降噪单元(109)被配置为响应于噪声抑制增益(AL；AR)对来自所述第三束形成器(107)的所述组合信号(XC)执行噪声抑制；以及
其中，根据麦克风对信号的麦克风信号中的一个或多个麦克风信号和/或束形成信号(XL；XR)中的一个或多个来评估所述噪声抑制增益(AL；AR)。
3.根据权利要求1或2所述的耳机，包括：
第一控制分支，根据所述第一对麦克风信号和/或来自所述第一束形成器的信号合成第一噪声抑制增益(AL)；
第二控制分支，根据所述第二对麦克风信号和/或来自所述第二束形成器的信号合成第二噪声抑制增益(AR)；
选择器，被配置为动态地选择和/或输出所述第一噪声抑制增益(AL)或所述第二噪声抑制增益(AR)；
其中，所述降噪单元被配置为响应于从所述选择器中选择和/或输出的噪声抑制增益(AS)过滤来自所述第三束形成器的所述组合信号。
4.根据权利要求3所述的耳机，
其中，所述选择器被配置为响应于第一信号质量指示符(PL)和第二信号质量指示符(PR)进行操作；以及
其中，根据相应的束形成信号(XL；XR)合成所述第一信号质量指示符(PL)和所述第二信号质量指示符(PR)。
5.根据权利要求3所述的耳机，
其中，束形成信号(XL；XR)被处理以响应于相应的噪声抑制增益(AL；AR)而降低噪声，并且然后被输入至评估器(203,208)，所述评估器被配置为将信号质量指示符(PL；PR)输出至所述选择器(204)并且从而控制选择；以及
其中，在语音活动性被检测为不存在的时间间隔期间，所述评估器(203，208)根据最小功率标准响应于相应的噪声抑制增益(AL；AR)评估所述束形成信号(XL；XR)。
6.根据权利要求2所述的耳机，其中，所述噪声抑制增益(AL；AR)被计算以通过预定的固定因数降低噪声。
7.根据权利要求1或2所述的耳机，其中，所述第一束形成器或所述第二束形成器中的至少一个被配置为包括：
第一级，根据输入信号生成求和信号和差分信号，且使所述输入信号中的至少一个相对于期望的信号与所述输入信号中的另一个相位和/或振幅对准；以及
第二级，过滤所述差分信号并生成滤波信号；
其中，根据所述求和信号与所述滤波信号之间的差生成所述束形成信号(XL；XR)；以及
其中，过滤适于使用最小均方技术来使所述束形成信号(XL；XR)的功率最小化。
8.根据权利要求1或2所述的耳机，其中所述第三束形成器被配置为相对于与所述麦克风的空间位置相关的预定的空间位置具有固定的灵敏度。
9.根据权利要求1或2所述的耳机，其中，所述麦克风输出数字信号；
其中，所述耳机执行多频带内的所述数字信号到时频表示的变换；并且
其中，所述耳机执行至少所述组合信号到时域表示的逆变换。
10.根据权利要求1或2所述的耳机，其中，所述麦克风输出模拟信号；
其中，所述耳机对所述模拟信号执行模数转换以提供数字信号；
其中，所述耳机执行多个频带内的所述数字信号到时频表示的变换；并且
其中，所述耳机执行至少所述组合信号到时域表示的逆变换。
11.一种用于处理来自设置在耳机中的多个麦克风的音频信号的方法，包括：
分别从第一对麦克风(101，102)和第二对麦克风(103，104)接收第一对麦克风信号和第二对麦克风信号；其中，所述第一对麦克风设置有第一相互距离并且所述第二对麦克风设置有第二相互距离，并且其中，所述第一对麦克风被布置成至少在所述耳机处于正常操作时距所述第二对麦克风大于所述第一相互距离和所述第二相互距离的距离；
对所述第一对麦克风信号和所述第二对麦克风信号执行第一近场束形成和第二近场束形成并在正常位置聚焦在佩戴耳机的用户的嘴巴上以输出相应的束形成信号(XL；XR)；
执行第三束形成以通过加权将从所述第一近场束形成和所述第二近场束形成输出的束形成信号(XL；XR)动态地组合成组合信号(XC)；其中，所述第三束形成计算所述束形成信号(XL；XR)的相应的噪声等级并输出具有最低噪声等级的所述组合信号(XC)；
通过时变滤波器过滤来自所述第三束形成(107)的所述组合信号(XC)来执行噪声降低。
12.一种包括程序代码方法的计算机可读介质，当所述程序代码方法在数据处理系统上被执行时，适于使得所述数据处理系统执行根据权利要求11所述的方法的步骤。
CN201410773717.XA 2013-12-13 2014-12-12 用于音频信号处理的耳机和方法 Active CN104717587B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13197139 2013-12-13
EP13197139.2 2013-12-13

Publications (2)

Publication Number Publication Date
CN104717587A CN104717587A (zh) 2015-06-17
CN104717587B true CN104717587B (zh) 2019-07-12

Family

ID=49765885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410773717.XA Active CN104717587B (zh) 2013-12-13 2014-12-12 用于音频信号处理的耳机和方法

Country Status (3)

Country Link
US (2) US20150172807A1 (zh)
EP (1) EP2884763B1 (zh)
CN (1) CN104717587B (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9257952B2 (en) 2013-03-13 2016-02-09 Kopin Corporation Apparatuses and methods for multi-channel signal compression during desired voice activity detection
US10306389B2 (en) 2013-03-13 2019-05-28 Kopin Corporation Head wearable acoustic system with noise canceling microphone geometry apparatuses and methods
US9484043B1 (en) * 2014-03-05 2016-11-01 QoSound, Inc. Noise suppressor
US9990939B2 (en) * 2014-05-19 2018-06-05 Nuance Communications, Inc. Methods and apparatus for broadened beamwidth beamforming and postfiltering
US10163453B2 (en) 2014-10-24 2018-12-25 Staton Techiya, Llc Robust voice activity detector system for use with an earphone
US9812113B2 (en) * 2015-03-24 2017-11-07 Bose Corporation Vehicle engine harmonic sound control
KR101731714B1 (ko) * 2015-08-13 2017-04-28 중소기업은행 음질 개선을 위한 방법 및 헤드셋
US9401158B1 (en) * 2015-09-14 2016-07-26 Knowles Electronics, Llc Microphone signal fusion
EP3148217B1 (en) * 2015-09-24 2019-01-09 Sivantos Pte. Ltd. Method for operating a binaural hearing system
CN105260333B (zh) * 2015-09-24 2018-08-28 福州瑞芯微电子股份有限公司 音频信号的加速处理方法及装置
US11631421B2 (en) * 2015-10-18 2023-04-18 Solos Technology Limited Apparatuses and methods for enhanced speech recognition in variable environments
EP3223279B1 (en) * 2016-03-21 2019-01-09 Nxp B.V. A speech signal processing circuit
DK3236672T3 (da) 2016-04-08 2019-10-28 Oticon As Høreanordning, der omfatter en stråleformerfiltreringsenhed
US11463833B2 (en) * 2016-05-26 2022-10-04 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for voice or sound activity detection for spatial audio
CN105979415B (zh) * 2016-05-30 2019-04-12 歌尔股份有限公司 一种自适应调节降噪增益的降噪方法、装置及降噪耳机
GB201615538D0 (en) * 2016-09-13 2016-10-26 Nokia Technologies Oy A method , apparatus and computer program for processing audio signals
CN110073607B (zh) * 2016-11-03 2022-02-25 诺基亚技术有限公司 波束成形
US9930447B1 (en) * 2016-11-09 2018-03-27 Bose Corporation Dual-use bilateral microphone array
US9843861B1 (en) 2016-11-09 2017-12-12 Bose Corporation Controlling wind noise in a bilateral microphone array
US10237654B1 (en) 2017-02-09 2019-03-19 Hm Electronics, Inc. Spatial low-crosstalk headset
US10311889B2 (en) 2017-03-20 2019-06-04 Bose Corporation Audio signal processing for noise reduction
US10366708B2 (en) 2017-03-20 2019-07-30 Bose Corporation Systems and methods of detecting speech activity of headphone user
US10499139B2 (en) 2017-03-20 2019-12-03 Bose Corporation Audio signal processing for noise reduction
US10424315B1 (en) 2017-03-20 2019-09-24 Bose Corporation Audio signal processing for noise reduction
DK3383067T3 (da) * 2017-03-29 2020-07-20 Gn Hearing As Høreapparat med adaptiv underbåndsstråledannelse og tilhørende fremgangsmåde
US10555094B2 (en) * 2017-03-29 2020-02-04 Gn Hearing A/S Hearing device with adaptive sub-band beamforming and related method
US10395667B2 (en) * 2017-05-12 2019-08-27 Cirrus Logic, Inc. Correlation-based near-field detector
US10249323B2 (en) 2017-05-31 2019-04-02 Bose Corporation Voice activity detection for communication headset
EP3416407B1 (en) * 2017-06-13 2020-04-08 Nxp B.V. Signal processor
EP3422736B1 (en) * 2017-06-30 2020-07-29 GN Audio A/S Pop noise reduction in headsets having multiple microphones
CN107743279B (zh) * 2017-10-09 2019-11-19 维沃移动通信有限公司 一种耳机降噪方法、耳机及移动终端
EP3480809B1 (en) * 2017-11-02 2021-10-13 ams AG Method for determining a response function of a noise cancellation enabled audio device
CN109831717B (zh) * 2017-11-23 2020-12-15 深圳市优必选科技有限公司 一种降噪处理方法、系统及终端设备
EP3713253A1 (en) 2017-12-29 2020-09-23 Oticon A/s A hearing device comprising a microphone adapted to be located at or in the ear canal of a user
DK179837B1 (en) * 2017-12-30 2019-07-29 Gn Audio A/S MICROPHONE APPARATUS AND HEADSET
US10522167B1 (en) * 2018-02-13 2019-12-31 Amazon Techonlogies, Inc. Multichannel noise cancellation using deep neural network masking
US10438605B1 (en) 2018-03-19 2019-10-08 Bose Corporation Echo control in binaural adaptive noise cancellation systems in headsets
DK3588981T3 (da) * 2018-06-22 2022-01-10 Oticon As Høreanordning der omfatter en akustisk hændelsesdetektor
US11335357B2 (en) * 2018-08-14 2022-05-17 Bose Corporation Playback enhancement in audio systems
JP2020036304A (ja) * 2018-08-29 2020-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 信号処理方法及び信号処理装置
EP3629602A1 (en) * 2018-09-27 2020-04-01 Oticon A/s A hearing device and a hearing system comprising a multitude of adaptive two channel beamformers
US10567898B1 (en) * 2019-03-29 2020-02-18 Snap Inc. Head-wearable apparatus to generate binaural audio
KR102586866B1 (ko) * 2019-06-28 2023-10-11 스냅 인코포레이티드 헤드-웨어러블 장치를 사용하여 캡처된 신호들의 신호 대 잡음비를 개선하기 위한 동적 빔포밍
US11295754B2 (en) * 2019-07-30 2022-04-05 Apple Inc. Audio bandwidth reduction
US11043201B2 (en) * 2019-09-13 2021-06-22 Bose Corporation Synchronization of instability mitigation in audio devices
EP4035420A1 (en) * 2019-09-27 2022-08-03 Widex A/S A method of operating an ear level audio system and an ear level audio system
CN110830870B (zh) * 2019-11-26 2021-05-14 北京声加科技有限公司 一种基于传声器技术的耳机佩戴者语音活动检测系统
CN112669877B (zh) * 2020-09-09 2023-09-29 珠海市杰理科技股份有限公司 噪声检测及压制方法、装置、终端设备和系统、芯片
US11521633B2 (en) * 2021-03-24 2022-12-06 Bose Corporation Audio processing for wind noise reduction on wearable devices
EP4302488A1 (en) * 2021-05-25 2024-01-10 Sivantos Pte. Ltd. Method for operating a hearing system
CN117356111A (zh) * 2021-05-25 2024-01-05 西万拓私人有限公司 用于操作听力系统的方法
CN113823315B (zh) * 2021-09-30 2024-02-13 深圳万兴软件有限公司 降风噪方法、装置、双麦克风设备及存储介质
US20240064478A1 (en) * 2022-08-22 2024-02-22 Oticon A/S Mehod of reducing wind noise in a hearing device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007137364A1 (en) * 2006-06-01 2007-12-06 Hearworks Pty Ltd A method and system for enhancing the intelligibility of sounds
CN101192411A (zh) * 2007-12-27 2008-06-04 北京中星微电子有限公司 大距离麦克风阵列噪声消除的方法和噪声消除系统
WO2010022456A1 (en) * 2008-08-31 2010-03-04 Peter Blamey Binaural noise reduction
CN103026733A (zh) * 2010-07-26 2013-04-03 高通股份有限公司 用于多麦克风位置选择性处理的系统、方法、设备和计算机可读媒体
CN103348686A (zh) * 2011-02-10 2013-10-09 杜比实验室特许公司 用于风检测和抑制的系统和方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206421B1 (en) 2000-07-14 2007-04-17 Gn Resound North America Corporation Hearing system beamformer
US8098844B2 (en) * 2002-02-05 2012-01-17 Mh Acoustics, Llc Dual-microphone spatial noise suppression
US20040175008A1 (en) 2003-03-07 2004-09-09 Hans-Ueli Roeck Method for producing control signals, method of controlling signal and a hearing device
US20070047743A1 (en) * 2005-08-26 2007-03-01 Step Communications Corporation, A Nevada Corporation Method and apparatus for improving noise discrimination using enhanced phase difference value
US8150054B2 (en) * 2007-12-11 2012-04-03 Andrea Electronics Corporation Adaptive filter in a sensor array system
US8818000B2 (en) 2008-04-25 2014-08-26 Andrea Electronics Corporation System, device, and method utilizing an integrated stereo array microphone
US8693703B2 (en) 2008-05-02 2014-04-08 Gn Netcom A/S Method of combining at least two audio signals and a microphone system comprising at least two microphones
DK2347603T3 (en) 2008-11-05 2016-02-01 Hear Ip Pty Ltd System and method for producing a directional output signal
DK2629551T3 (en) * 2009-12-29 2015-03-02 Gn Resound As Binaural hearing aid system
US9113247B2 (en) 2010-02-19 2015-08-18 Sivantos Pte. Ltd. Device and method for direction dependent spatial noise reduction
US9467775B2 (en) 2011-09-02 2016-10-11 Gn Netcom A/S Method and a system for noise suppressing an audio signal
US9456286B2 (en) * 2012-09-28 2016-09-27 Sonova Ag Method for operating a binaural hearing system and binaural hearing system
US9313572B2 (en) * 2012-09-28 2016-04-12 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
US9191755B2 (en) * 2012-12-14 2015-11-17 Starkey Laboratories, Inc. Spatial enhancement mode for hearing aids

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007137364A1 (en) * 2006-06-01 2007-12-06 Hearworks Pty Ltd A method and system for enhancing the intelligibility of sounds
CN101192411A (zh) * 2007-12-27 2008-06-04 北京中星微电子有限公司 大距离麦克风阵列噪声消除的方法和噪声消除系统
WO2010022456A1 (en) * 2008-08-31 2010-03-04 Peter Blamey Binaural noise reduction
CN103026733A (zh) * 2010-07-26 2013-04-03 高通股份有限公司 用于多麦克风位置选择性处理的系统、方法、设备和计算机可读媒体
CN103348686A (zh) * 2011-02-10 2013-10-09 杜比实验室特许公司 用于风检测和抑制的系统和方法

Also Published As

Publication number Publication date
US20150172807A1 (en) 2015-06-18
EP2884763B1 (en) 2019-05-29
CN104717587A (zh) 2015-06-17
US20150170632A1 (en) 2015-06-18
EP2884763A1 (en) 2015-06-17
US9472180B2 (en) 2016-10-18

Similar Documents

Publication Publication Date Title
CN104717587B (zh) 用于音频信号处理的耳机和方法
CN104254029B (zh) 一种具有麦克风的耳机、及改善耳机的音频灵敏度的方法
EP3253075B1 (en) A hearing aid comprising a beam former filtering unit comprising a smoothing unit
CA2407855C (en) Interference suppression techniques
CN110809211A (zh) 对耳机主动降噪的方法、主动降噪系统以及耳机
CN103907152B (zh) 用于音频信号噪声抑制的方法和系统
WO2018213102A1 (en) Dual microphone voice processing for headsets with variable microphone array orientation
EP2095678A1 (en) Signal processing using spatial filter
CN109660928A (zh) 包括用于影响处理算法的语音可懂度估计器的听力装置
CN112492434A (zh) 包括降噪系统的听力装置
Tashev et al. Microphone array for headset with spatial noise suppressor
US11902758B2 (en) Method of compensating a processed audio signal
CN103546849B (zh) 具有频率无掩蔽的双耳助听器
US20190090052A1 (en) Cost effective microphone array design for spatial filtering
EP3545691A1 (en) Far field sound capturing
As’ad et al. Beamforming designs robust to propagation model estimation errors for binaural hearing aids
US20230097305A1 (en) Audio device with microphone sensitivity compensator
US20230101635A1 (en) Audio device with distractor attenuator
US20230098384A1 (en) Audio device with dual beamforming
Low et al. Robust microphone array using subband adaptive beamformer and spectral subtraction
EP4156183A1 (en) Audio device with a plurality of attenuators
US11937047B1 (en) Ear-worn device with neural network for noise reduction and/or spatial focusing using multiple input audio signals
CN116405818A (zh) 包括低复杂性波束形成器的听力装置
Zhang et al. A frequency domain approach for speech enhancement with directionality using compact microphone array.
Li et al. A Subband Feedback Controlled Generalized Sidelobe Canceller in Frequency Domain with Multi-Channel Postfilter

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant