CN104412616A - 基于麦克风阵列中的声音的相关性的噪声抑制 - Google Patents

基于麦克风阵列中的声音的相关性的噪声抑制 Download PDF

Info

Publication number
CN104412616A
CN104412616A CN201280072631.3A CN201280072631A CN104412616A CN 104412616 A CN104412616 A CN 104412616A CN 201280072631 A CN201280072631 A CN 201280072631A CN 104412616 A CN104412616 A CN 104412616A
Authority
CN
China
Prior art keywords
microphone
microphone signal
signal
frequency band
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280072631.3A
Other languages
English (en)
Other versions
CN104412616B (zh
Inventor
M·奈斯特龙
J·尼尔森
S·斯麦拉吉科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN104412616A publication Critical patent/CN104412616A/zh
Application granted granted Critical
Publication of CN104412616B publication Critical patent/CN104412616B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

一种麦克风阵列包括左麦克风、右麦克风和处理器,该处理器接收来自右麦克风的右麦克风信号和来自左麦克风的左麦克风信号。处理器确定左麦克风信号和右麦克风信号之间的时序差。处理器确定时序差是否处于时间阈值内。基于时序差,处理器对左麦克风信号和右麦克风信号中的一个麦克风信号进行时移。处理器还对进行了时移的所述一个麦克风信号与所述左麦克风信号和所述右麦克风信号中的另一个麦克风信号求和,以形成输出信号。

Description

基于麦克风阵列中的声音的相关性的噪声抑制
技术领域
本发明通常涉及麦克风阵列,更具体地,涉及麦克风阵列中的抑制噪声。
背景技术
麦克风是声能至电能的转换器,即,麦克风是将声音转换成电信号的装置。麦克风的指向性或极性图指示出麦克风对以不同角度入射到麦克风的中心轴线的声音有多么灵敏。可将噪声抑制应用到麦克风,以降低噪声对从特定方向和/或以特定频率范围检测到的声音的影响。
发明内容
在一个实施方式中,麦克风阵列中的计算机实现方法(所述麦克风阵列包括左麦克风和右麦克风)可包括:接收来自所述右麦克风的右麦克风信号;接收来自所述左麦克风的左麦克风信号;确定所述左麦克风信号和所述右麦克风信号之间的时序差;确定所述时序差是否处于时间阈值内;当所述时序差处于所述时间阈值内时,基于所述时序差,对所述左麦克风信号和所述右麦克风信号中的一个麦克风信号进行时移;以及对进行了时移的所述一个麦克风信号与所述左麦克风信号和所述右麦克风信号中的另一个麦克风信号求和,以形成输出信号。
另外,识别所述左麦克风信号和所述右麦克风信号中的每一个在预定的时间间隙处的平均声压级;并将所述左麦克风信号和所述右麦克风信号中具有最低平均声压级的麦克风信号选择为所述预定的时间间隙处的输出信号。
另外,确定前一时间间隙处的输出信号是否与所述预定的时间间隙处的输出信号来自同一麦克风信号;当所述前一时间间隙处的输出信号与所述预定的时间间隙处的输出信号不来自同一麦克风信号时,识别所述前一时间间隙和所述预定的时间间隙的边界附近的跨零点;并且基于所述跨零点,将所述前一时间间隙处的输出信号转换为所述预定的时间间隙处的输出信号。
另外,使到所述左麦克风信号和所述右麦克风信号中具有最低相对声压级的所述麦克风信号的转换平滑。
另外,基于所述左麦克风信号和所述右麦克风信号中的每一个的振幅响应、频率响应或者时序中的至少一者来识别所述左麦克风信号和所述右麦克风信号是否与目标声音类型一致。
另外,识别与所述左麦克风和所述右麦克风中的每一个相关联的声压级;确定所述时序差和所述与所述左麦克风和所述右麦克风中的每一个相关联的声压级之间的相关性;并且确定所述相关性是否指示所述左麦克风信号和所述右麦克风信号是基于来自目标源的语音的。
另外,所述计算机实现方法可包括:将所述左麦克风信号和所述右麦克风划分为多个频带;识别所述多个频带中的至少一个频带中的噪声;以及过滤所述多个频带中的所述至少一个频带中的所述噪声。
另外,所述计算机实现方法可包括:过滤所述多个频带中的所述至少一个频带中的所述噪声的步骤进一步包括:基于所述多个频带中的所述至少一个频带中的每一个中的信噪比来选择用于过滤所述多个频带中的所述至少一个频带中的所述噪声的极性图。
另外,所述计算机实现方法可包括:基于与所述双麦克风阵列相关联的高指向性极性图和全指向性极性图之间的比较来确定所述左麦克风信号和所述右麦克风信号中是否存在噪声。
另外,所述计算机实现方法可包括:选择用于使声音在所述双麦克风阵列中传递的转换角;以及基于所选择的所述转换角来确定所述时间阈值的值。
在另一个实施方式中,一种双麦克风阵列装置可包括:左麦克风;右麦克风;存储器,该存储器存储多个指令;以及处理器,该处理器被配置为执行所述存储器中的指令,以:接收来自所述右麦克风的右麦克风信号;接收来自所述左麦克风的左麦克风信号;确定所述左麦克风信号和所述右麦克风信号之间的时序差;确定所述时序差是否处于时间阈值内;当所述时序差处于所述时间阈值内时,基于所述时序差,对所述左麦克风信号和所述右麦克风信号中的至少一个麦克风信号进行时移;以及对进行了时移的所述至少一个麦克风信号与所述左麦克风信号和所述右麦克风信号中的另一个麦克风信号求和,以形成输出信号。
另外,所述处理器进一步被配置为:识别所述左麦克风信号和所述右麦克风信号中的每一个在预定的时间间隙处的平均声压级;将所述左麦克风信号和所述右麦克风信号中具有最低平均声压级的麦克风信号选择为所述预定的时间间隙处的输出信号。
另外,所述处理器进一步被配置为:确定前一时间间隙处的输出信号是否与所述预定的时间间隙处的输出信号来自同一麦克风信号;当所述前一时间间隙处的输出信号不与所述预定的时间间隙处的输出信号来自同一麦克风信号时,识别所述前一时间间隙和所述预定的时间间隙的边界附近的跨零点;基于所述跨零点,将所述前一时间间隙处的输出信号转换为所述预定的时间间隙处的输出信号。
另外,所述处理器进一步被配置为:将所述左麦克风信号和所述右麦克风划分为多个频带;识别所述多个频带中的至少一个频带中的噪声;以及过滤所述多个频带中的所述至少一个频带中的所述噪声。
另外,所述双麦克风阵列装置可进一步包括振动传感器,其中,所述处理器进一步被配置为:基于由所述振动传感器提供的输入来识别用户语音;以及基于当前发生的用户语音来选择极性图。
另外,所述双麦克风阵列装置可进一步包括:定位元件,该定位元件在用户的躯干上将所述左麦克风和所述右麦克风中的每一个保持成距离面朝前的该用户的嘴大约相等的距离。
另外,所述处理器进一步被配置为:基于所述左麦克风信号和所述右麦克风信号中的每一个的振幅响应、频率响应或者时序中的至少一者来识别所述左麦克风信号和所述右麦克风信号是否与声音一致。
另外,所述处理器进一步被配置为:识别与所述左麦克风和所述右麦克风中的每一个相关联的声压级;确定所述时序差和所述与所述左麦克风和所述右麦克风中的每一个相关联的声压级之间的相关性;以及确定所述相关性是否指示所述左麦克风信号和所述右麦克风信号是基于来自目标源的语音的。
另外,当过滤所述多个频带中的所述至少一个频带中的所述噪声时,所述处理器进一步被配置为:基于所述多个频带中的所述至少一个频带中的每一个中的信噪比来选择用于过滤所述多个频带中的所述至少一个频带中的所述噪声的极性图;并且其中,所述处理器被配置为从包括全指向性极性图、数字8形极性图以及频率无关极性图的组中选择所述极性图。
在另一个实施方式中,一种计算机可读媒介可包括待由与麦克风阵列相关联的处理器执行的指令,其中,所述麦克风阵列包括左麦克风和右麦克风,所述指令包括一个或多个指令,当所述指令被所述处理器执行时,用于使所述处理器:接收来自所述右麦克风的右麦克风信号;接收来自所述左麦克风的左麦克风信号;确定所述左麦克风信号和所述右麦克风信号之间的时序差;确定所述时序差是否处于时间阈值内;基于所述时序差,将所述左麦克风信号和所述右麦克风信号中的一个麦克风信号时移到所述左麦克风信号和所述右麦克风信号中的另一个麦克风信号的时序;以及对进行了时移的所述一个麦克风信号与所述另一个所述麦克风信号求和,以形成输出信号。
附图说明
并入说明书并组成说明书的一部分的附图图示了本文描述的一个或多个实施方式,并且连同说明书一起解释了这些实施方式。附图中:
图1A和图1B以与本文描述的实施方式一致的方式分别图示了示范性的双麦克风阵列以及该示范性的双麦克风阵列关于用户的定位;
图2是图1A至图1B的装置的示范性部件的框图;
图3A、图3B和图3C以与本文描述的实施方式一致的方式图示了左和右麦克风关于声源的相对位置,并且图示了时间和声压级(SPL)之间的相关关系;
图4A和图4B分别图示了不对称放置的声源的时序差以及相关的不对称的偶极极性图;
图5以与本文描述的实施方式一致的方式图示了麦克风阵列的频率无关的实现方式的偶极极性图;
图6以与本文描述的实施方式一致的方式图示了示范性频带过滤;
图7A、图7B、图7C和图7D以与本文描述的实施方式一致的方式图示了基于在双麦克风阵列的右麦克风或左麦克风中检测到的最低相对SPL的噪声抑制;以及
图8是与本文描述的实施方式一致的抑制双麦克风阵列中的噪声的示范性处理的流程图。
具体实施方式
以下详细说明参考了附图。不同附图中的相同的附图标记可以标识相同或类似的元件。同样,以下详细说明仅是示范性和说明性的,并且不局限于本发明,如所要求保护的。
本文描述的实施方式涉及用于抑制双麦克风阵列中的噪声的装置、方法和系统。此处包括的方法可以利用两个配戴在颈部上的麦克风之间的相关性来抑制基于麦克风应用的声音的噪声,诸如刮擦噪声、风噪声和周围的音频噪声。
按照本文描述的实施方式,可以基于麦克风之间的相关性实现双麦克风阵列中的噪声抑制。另选地,按照本文描述的实施方式,可以使用频带的过滤完成双麦克风阵列中的噪声抑制。
图1A图示了按照本文描述的实施方式的示例性双麦克风阵列100。双麦克风阵列100可以包括左麦克风100-L和右麦克风100-R。左麦克风和右麦克风100-R可以通过有线/支架102连接。双麦克风阵列100还可以包括与麦克风100-L和100-R连接的微控制器单元(MCU)104。图1所图示的双麦克风阵列100的部件的配置仅用于说明性的目的。虽然未示出,但是双麦克风阵列100可以包括比图1所示的部件更多、更少和/或不同的部件。双麦克风阵列100还可以包括双麦克风阵列100的其他部件,和/或可以实现其他结构。例如,双麦克风阵列100可以包括诸如用于从其它装置接收信息/将信息发送到其它装置之类的接口的一个或多个网络接口、一个或多个处理器等。
图1B图示了为了在用户110上进行操作而定位的双麦克风阵列100。左麦克风100-L和右麦克风100-R被定位以接收来自用户110的嘴112的声音。例如,左麦克风100-L可以被定位在嘴112的左边,并且右麦克风100-R可以被定位在嘴112的右边。左麦克风100-L和右麦克风100-R横跨用户110的横平面(身体的)相对于彼此大约镜面对称地被定位。例如,左麦克风100-L可以被定位在用户110的左上胸部(或者锁骨),并且右麦克风100-R可以被定位在用户110的右上胸部。麦克风100-L-R都可以通过相关联的销连接机构(未示出)(例如,插头、按钮、维可牢尼龙搭扣等)或者通过例如搁在用户110颈部的有线/支架102来保持位置。
在本文描述的实现方式中,双麦克风阵列100可以利用在左麦克风100-L和右麦克风100-R处检测到的声音之间的相关性来实现对由双麦克风阵列100接收到的声音中的噪声的抑制,诸如刮擦噪声、风噪声和周围音频噪声。
图2是装置200的示范性部件的框图。装置200可以表示任何一个双麦克风阵列100,和/或该麦克风阵列的部件,诸如MCU 104。如图5所示,装置200可以包括处理器202、存储器204、存储单元206、输入部件208、输出部件210和通信路径214。
处理器202可以包括处理器、微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或能够处理信息和/或控制装置200的其他处理逻辑(例如,音/视频处理器)。
存储器204可以包括用于保存数据和机器可读指令的诸如只读存储器(ROM)之类的静态存储器,和/或诸如随机存取存储器(RAM)之类的动态存储器,或者板载缓存。存储单元206可以包括磁和/或光存储/记录媒介。在一些实现方式中,存储单元206可以被装配在目录树下或者映射到驱动器。
输入部件208和输出部件210可以包括显示屏、键盘、鼠标、扬声器、麦克风、数字视频盘(DVD)记录器、DVD读出器、通用串行总线(USB)端口和/或用于将物理事件或者现象转换成关于装置200的数字信号和/或转换来自关于装置200的数字信号的其他类型的部件。通信路径214可以提供接口,通过该接口,装置200的部件可以彼此通信。
在不同的实现方式中,装置200可以包括比图2所图示的部件更多、更少或不同的部件。例如,装置200可以包括一个或多个网络接口,诸如用于从其他装置接收信息/将信息发送到其他装置的接口。在另一示例中,装置200可以包括操作系统、应用程序、设备驱动程序、图形用户界面部件、通信软件、数字声音处理器(DSP)部件等。
图3A至图3C图示了左麦克风100-L和右麦克风100-R相对于声源(嘴112)的相对位置以及在左麦克风100-L和右麦克风100-R处接收的声音在时间和声压级(SPL)之间的关联关系。图3A图示了定位在距嘴112相等距离处的左麦克风100-L和右麦克风100-R。图3B图示了定位在距嘴112不同距离处的左麦克风100-L和右麦克风100-R。图3C示出了基于左麦克风100-L和右麦克风100-R之间的时序差的关联关系的SPL。
如图3A所示,左麦克风100-L和右麦克风100-R可定位在距嘴112相等距离处。在这种情况下,到达左麦克风100-L和右麦克风100-R的来自目标源的声音(即,来自嘴112的语音)将具有在左麦克风100-L和右麦克风100-R处分别检测到的非常相似的时间、振幅和频率响应。当用户110向前伸出嘴112时,声音可以同时到达麦克风100-L-R,并且具有相似的SPL,因为向各个麦克风100-L-R发出声音的传播路径大约是相等的。
如图3B所示,当用户110转头时,在这种情况下,向右转头,右麦克风100-R的路径短于左麦克风100-L的路径。声音传播到右麦克风100-R的时序差减去声音传播到左麦克风100-L的时序差将是负的,这是因为声音会首先到达右麦克风100-R。声音传播的路径长度与SPL成正比。该SPL将与声源球面扩展图案的半径的平方成比例地下降。换句话说,如果声音首先达到右麦克风100-R,该声音还被认为在右麦克风100-R中较大(即,较高的SPL)。
如图3C所示,声音(由SPL表示,纵轴上示出)具有与距离以及时间(如横纵上示出的)的线性关系。嘴112可被解析为一大部分(例如,基于频带)发出语音的球面声源。因此,对于头部转动/位置的改变以及麦克风中接收的信号,存在时序差与SPL差之间的强相关性。对于来自嘴112的声音,在嘴112到左麦克风100-L和嘴112到右麦克风100-R之间的距离差与声音从嘴112传播到左麦克风100-L的时间和声音从嘴112传播到右麦克风100-R的时间之差具有线性关系。
对于来自用户110侧面的声音,左麦克风100-L和右麦克风100-R可以具有不同的时间(即,在各个麦克风100-L-R处检测到的时序差),并且对于多个声音,还可以具有不同的振幅和频率响应。在各个麦克风100-L-R中本质上未校正刮擦噪声和风噪声。与来自嘴112的声音相比,这些差可用于抑制来自侧面的声音。可以基于在各个麦克风100-L-R处达到时间窗口内的声音以及在各个麦克风100-L-R处检测到的SPL之间的相应相关性识别发出的语音(来自嘴112)。
图4A和图4B图示了从左麦克风100-L和右麦克风100-R到不对称放置的声源(在这种情况下,嘴112(图4A,在图400中示出))的时序差之间的关系以及作为结果的偶极极性图(图4B,在图450中示出)。
如图4A所示,嘴112被定位在距左麦克风100-L和右麦克风100-R不同的(即,不对称)距离(分别是402-L和402-R)处。对于来自嘴112的口头声音,在左麦克风100-L和右麦克风100-R之间将存在时序差,其大约与左麦克风100-L和右麦克风100-R与嘴112之间的距离差(即,402-L减去402-R)成比例。
对于图4B,当用户把她/他的头(相应地,他们的嘴112)转向侧面时,会出现左麦克风100-L和右麦克风100-R之间的时序差,即,由时间调整的偶极极性图452。麦克风极性图表示双麦克风阵列100对以不同角度入射到左麦克风100-L和右麦克风100-R的中心轴线的声音的灵敏度。基于左麦克风100-L和右麦克风100-R之间的调整的时序差,时间调整的偶极极性图452可以是不对称的偶极极性图。例如,可以基于各个麦克风100-L-R何时从嘴112接收到信号与何时与右麦克风100-R接收的信号组合之间的时序差来调整左麦克风100-L接收的信号。
时间调整的偶极极性图452可以是对指向用户110的嘴112的声音的灵敏度的空间图案。发自除了嘴112之外的源的声音,诸如在时间调整的偶极极性图452之外的源,可以被认为是噪声,并且被抑制(因为该噪声超出时间调整的偶极极性图452的范围)。基于当前的时序差,时间调整的偶极极性图452可以被连续地更新。例如,可以基于时序差调整时间调整的偶极极性图452,在实例中,用户110靠近嘴112定位麦克风100-L-R之一,并且将另一个麦克风保持在远离嘴112的位置。
根据一个实施方式,可以基于从与双麦克风阵列100相关联的振动传感器(未示出,即,检测由骨传导语音产生的振动的传感器)调整时间调整的偶极极性图452。双麦克风阵列100可以使用检测的振动作为识别用户110正在讲话的场合的输入。可以基于用户110是否被识别为正在说话而激活时间调整的偶极极性图452。如果用户没有说话,则抑制/阻止声音。
图5图示了频率无关的偶极极性图500。偶极极性图500可以通过调整来自左麦克风100-L和右麦克风100-R的输出信号之间的时间相关性的阈值以及求和该调整的输出信号产生。作为示例,参照图4A和图4B来描述偶极极性图500。
在左麦克风100-L和右麦克风100-R接收的声音之间的时序差与声音的相位无关(即,来自嘴112的声音以等速传播,与相位无关)。因此,通过调整来自左麦克风100-L和右麦克风100-R的输出信号之间的时序差,可以独立于频率确定偶极极性图500。相对于频率有关的极性图(未示出),对于同相声音可检测整个信号,对于异相信号可检测较低信号,偶极极性图500检测特定方向中的声音,而与相位无关。当与其他偶极极性图相比时,偶极极性图500可以提供改善的指向性。
根据一个实施方式,可以基于用于时间相关性的预定阈值确定偶极极性图500。预定阈值的单位是时间,对于诸如图1B所示的实现方式是几百毫秒的规模。例如,在左麦克风100-L和右麦克风100-R之间的时序差可以根据采样序列确定。如果时序差小于预定阈值,该采样可被加到输出信号,但是如果时序差大于预定阈值,这些采样将被忽略或者丢弃。在两个麦克风中的刮擦和风噪声可被抑制,因为刮擦噪声和风噪声是例如到达麦克风(例如,左麦克风100-L)的未校正的声音,并且在明显延迟的时间(即,在预定阈值外)可被双麦克风阵列100抑制。
预定阈值的大小确定偶极极性图500中的开度角502(示为43.1度)。大的预定阈值(即,大的时序差)给定大的开度角502,而小的阈值给定偶极极性图500中的小的开度角502。例如,声音可以是来自左麦克风100-L和右麦克风100-R两者的有限的采样序列(例如,在44kHz采样频率的220次连续采样对应于持续时间5毫秒的声音)。左麦克风100-L和右麦克风100-R可以分别是78mm。在44kHz采样率处,每个采样大约7.8mm长。+/-5采用的阈值时间窗(等于+/-0.1毫秒)可以对应于偶极极性图500中的+/-30度(即总60度)的开度角502。
根据另一个实施方式,可以在声音的时间和抑制之间设置比例系数。可以选择该比例系数以基于特定条件提供在声音的抑制和流通之间的可选转换角度。可以施加进一步的过滤,以相对于左麦克风100-L和右麦克风100-R的总输出改善性能,例如,如参照图6和图7A至图7D所描述的。
图6图示了声音过滤图600。声音过滤图600包括语音602和噪声604,其在声音强度606的纵轴和频率608的横轴上被测量。频率608被分成多个频带610。
如图6所示,可以通过基于在特定频带610内检测到的信噪比选择适合的极性图来过滤在左麦克风100-L和右麦克风100-R接收到的声音。可以从与多个频带610相关的声音中提取信号,在基于各个频带610内选择的极性图形成波束之后。波束是允许声音传递的区域。各个频带的噪声级别被估算,并且用于设定波束形成的值。可以选择不同的极性图来产生频带内的较窄波束,其中,噪声604比较高(例如,数字8形极性图612),以及频带内的较宽波束(例如,全指向性极性图614),其中,噪声604比较低或者未检测到。
根据一个实现方式,对于特定频率可以选择数字8形极性图612(例如,麦克风之间的半波长),以形成允许声音被包括于麦克风信号的波束。数字8形极性图612在平面上具有方向指数2,在空间上具有方向指数4。换句话说,对于来自所有方向的外界噪声,仅可以检测/接收到来自特定25%的方向的噪声(即,噪声仅可以传递来自25%的可能方向的偶极8字形),同时来自嘴112的声音未受影响,因为这些都处于数字8形极性图612中。
图7A至图7D图示了基于在双麦克风阵列100的右麦克风100-R或者左麦克风100-L中检测到的最低相对SPL的噪声抑制。
当用户110说话时,语音信号同时出现在麦克风100-L-R中。图7A示出了在右麦克风100-R接收到的语音信号。图7B示出了在左麦克风100-L接收到的语音信号。右麦克风100-R和左麦克风100-L中的语音信号是相关的。然而,来自刮擦和风的噪声未被校正,并且可能存在于一个麦克风中(例如,右麦克风100-R),在特定时刻地存在于另一麦克风中(例如,左麦克风100-L)。如图7C所示,可以对来自右麦克风100-R和左麦克风100-L的语音信号求和。然而,当语音和噪声被求和在一个麦克风时,相对于如果噪声未出现于麦克风中,该SPL可能更高。
来自这两个麦克风的信号的级别可经由选定时间间隙合并。如图7D所示,对于每个时间间隙,输出是从在该时间间隙内具有最低级别的麦克风中选择出来的。如果麦克风的级别非常不同,差别可能归因于具有最高级别的麦克风中的风和/或刮擦噪声。具有最低信号的麦克风可以对应于噪声的较低级别。
根据一个实现方式,麦克风信号之间的转换(即,当相对噪声切换时,从一个麦克风信号到另一个麦克风信号)可在“跨零点”处执行,即,当级别低的时候。如果在从一个麦克风到另一个麦克风的转换中的信号之间存在差别,还可以施加平滑。
图8是与本文描述的实现方式相一致的方式的用于使用双麦克风阵列中的各个麦克风接收的声音之间的相关性的示范性过程800的流程图。过程800可以运行于并入或者集成到双麦克风阵列100中的MCU 104中。应当显而易见的是,以下参照图8描述的过程表示概括性说明,并且在不脱离过程800的范围内,可以增加其他的元件或者可以移除、更改或重新排列现有的元件。
MCU 104可以接收来自右麦克风100-R的右麦克风信号(块802)。例如,右麦克风100-R可以接收来自嘴112或者外部噪声(例如风噪声或刮擦噪声)中的一个或者两个。MCU 104可以将右麦克风信号存储在右麦克风缓冲器中(未示出)。
MCU 104可以接收来自左麦克风100-L的左麦克风信号(块804)。MCU 104可以将左麦克风信号存储在左麦克风缓冲器中(未示出)。
MCU 104可以确定左麦克风信号和右麦克风信号之间的时序差(块806)。例如,MCU 104可以确定,在右麦克风信号之后,是否在特定量的声音采样内接收到左麦克风信号(即,声音大约同时到达右麦克风100-R和左麦克风100-L中的每一个)。MCU 104可以从接收到相应右麦克风信号的时间减去接收到左麦克风信号的时间。
MCU 104可以确定时序差是否处于时间阈值内(块808),例如参照图5上述的时间阈值和频率无关的偶极极性图500。
在块810,当时序差处于时间阈值内时(块808=是),基于该时序差,MCU 104可以对左麦克风信号和右麦克风信号之一进行时移。MCU 104可以对进行了时移的麦克风信号和另一个麦克风信号求和,以形成输出信号(块812)。
MCU 104还可以过滤这些信号,例如,如参照图7A至图7D所描述的(块814)。MCU 104还可以将过滤施加于不同频带,例如参照图6所描述的。
根据另一个实现方式,可以使用频率和/或振幅相关性过滤麦克风信号,以选出和抑制噪声源。MCU 104可以传递(即,允许)在振幅和/或频率上具有高相关性的声音以进行传递(即,MCU 104可以把满足这些标准的声音认为是来自嘴112的声音)。MCU 104可以抑制(或者丢弃)不满足所需标准的声音,例如具有不同振幅的声音(例如,可能来自附近正在说话的人的声音)。
来自附近某人的声音的强度(例如,某人说话时经过用户110的肩膀)将随距离而减小,并且在这两个麦克风中给出不同的振幅。
在块816,当时序差未处于时间阈值内时(块808=否),MCU 104可以抑制双麦克风阵列100中的噪声。例如,MCU 104可以丢弃到达一个麦克风的未校正并且同时大于时间阈值的声音(例如,左麦克风100-L)。
如上所述,过程800可以连续出现通过右麦克风100-R和左麦克风100-L检测的声音。
上述实现方式的描述提供了说明性的,但不是指详尽的或者对公开的精确形式的限定。根据上述教导可以存在更改及变更,或者可从这些教导的实践中获得更改及变更。例如,上述技术可以适当地与用在单个麦克风上的已知的噪声抑制技术相结合。另外,虽然参照双麦克风阵列描述了示例,但是公开的原理可以扩展到包括两个以上麦克风的麦克风阵列。
在上文中,虽然参照示例性过程描述了一系列块,但是可以按照其他实现方式更改这些块的顺序。另外,不相关的块可以表示可对其他块并行执行的动作。进一步地,取决于功能部件的实现方式,可以从一个或多个过程中省略一些块。
将显而易见的是,本文描述的方面可以按照图中所图示的实现方式中的多种不同形式的软件、固件和硬件来实现。用于实现这些方面的实际软件代码或者专用控制硬件并未限制本发明。因此,与这些具体的软件代码无关描述的这些方面的操作和行为被理解为软件和控制硬件可被设计成基于本文的描述实现这些方面。
应该强调的是,当在说明书中使用时,术语“包括/包含”被看作指定固定特征、整体、步骤或部件的存在,但不排除一个或多个其他特征、整体、步骤、部件或其组合的存在或增加。
进一步地,某些部分的实现方式被描述为执行一个或多个功能的“逻辑”。该逻辑可以包括诸如处理器、微处理器、专用集成电路或现场可编程门阵列之类的硬件、软件或者硬件和软件的组合。
用于本申请的元件、动作或指令不应被理解为对本文描述的实现方式是关键的或者必需的,除非对此明确描述。同样,如本文所用的,冠词“一个”是指包括一项或多项。进一步地,短语“基于”是指“至少部分地基于”,除非另有明确规定。

Claims (20)

1.一种麦克风阵列中的计算机实现方法,其中,所述麦克风阵列包括左麦克风和右麦克风,所述方法包括:
接收来自所述右麦克风的右麦克风信号;
接收来自所述左麦克风的左麦克风信号;
确定所述左麦克风信号和所述右麦克风信号之间的时序差;
确定所述时序差是否处于时间阈值内;
当所述时序差处于所述时间阈值内时,基于所述时序差,对所述左麦克风信号和所述右麦克风信号中的一个麦克风信号进行时移;以及
对进行了时移的所述一个麦克风信号与所述左麦克风信号和所述右麦克风信号中的另一个麦克风信号求和,以形成输出信号。
2.如权利要求1所述的计算机实现方法,该方法进一步包括:
识别所述左麦克风信号和所述右麦克风信号中的每一个在预定的时间间隙处的平均声压级;
将所述左麦克风信号和所述右麦克风信号中具有最低平均声压级的麦克风信号选择为所述预定的时间间隙处的输出信号。
3.如权利要求2所述的计算机实现方法,该方法进一步包括:
确定前一时间间隙处的输出信号是否与所述预定的时间间隙处的输出信号来自同一麦克风信号;
当所述前一时间间隙处的输出信号与所述预定的时间间隙处的输出信号不来自同一麦克风信号时,识别所述前一时间间隙和所述预定的时间间隙的边界附近的跨零点;
基于所述跨零点,将所述前一时间间隙处的输出信号转换为所述预定的时间间隙处的输出信号。
4.如权利要求2所述的计算机实现方法,该方法进一步包括:
使到所述左麦克风信号和所述右麦克风信号中具有最低相对声压级的所述麦克风信号的转换平滑。
5.如权利要求1所述的计算机实现方法,该方法进一步包括:
基于所述左麦克风信号和所述右麦克风信号中的每一个的振幅响应、频率响应或者时序中的至少一者来识别所述左麦克风信号和所述右麦克风信号是否与目标声音类型一致。
6.如权利要求1所述的计算机实现方法,该方法进一步包括:
识别与所述左麦克风和所述右麦克风中的每一个相关联的声压级;
确定所述时序差和所述与所述左麦克风和所述右麦克风中的每一个相关联的声压级之间的相关性;以及
确定所述相关性是否指示所述左麦克风信号和所述右麦克风信号是基于来自目标源的语音的。
7.如权利要求1所述的计算机实现方法,该方法进一步包括:
将所述左麦克风信号和所述右麦克风划分为多个频带;
识别所述多个频带中的至少一个频带中的噪声;以及
过滤所述多个频带中的所述至少一个频带中的所述噪声。
8.如权利要求7所述的计算机实现方法,其中,过滤所述多个频带中的所述至少一个频带中的所述噪声的步骤进一步包括:
基于所述多个频带中的所述至少一个频带中的每一个中的信噪比来选择用于过滤所述多个频带中的所述至少一个频带中的所述噪声的极性图。
9.如权利要求1所述的计算机实现方法,该方法进一步包括:
基于与所述双麦克风阵列相关联的高指向性极性图和全指向性极性图之间的比较来确定所述左麦克风信号和所述右麦克风信号中是否存在噪声。
10.如权利要求1所述的计算机实现方法,该方法进一步包括:
选择用于使声音在所述双麦克风阵列中传递的转换角;以及
基于所选择的所述转换角来确定所述时间阈值的值。
11.一种双麦克风阵列装置,该双麦克风阵列装置包括:
左麦克风;
右麦克风;
存储器,该存储器存储多个指令;以及
处理器,该处理器被配置为执行所述存储器中的指令,以:
接收来自所述右麦克风的右麦克风信号;
接收来自所述左麦克风的左麦克风信号;
确定所述左麦克风信号和所述右麦克风信号之间的时序差;
确定所述时序差是否处于时间阈值内;
当所述时序差处于所述时间阈值内时,基于所述时序差,对所述左麦克风信号和所述右麦克风信号中的至少一个麦克风信号进行时移;以及
对进行了时移的所述至少一个麦克风信号与所述左麦克风信号和所述右麦克风信号中的另一个麦克风信号求和,以形成输出信号。
12.如权利要求11所述的双麦克风阵列,其中,所述处理器进一步被配置为:
识别所述左麦克风信号和所述右麦克风信号中的每一个在预定的时间间隙处的平均声压级;
将所述左麦克风信号和所述右麦克风信号中具有最低平均声压级的麦克风信号选择为所述预定的时间间隙处的输出信号。
13.如权利要求12所述的双麦克风阵列,其中,所述处理器进一步被配置为:
确定前一时间间隙处的输出信号是否与所述预定的时间间隙处的输出信号来自同一麦克风信号;
当所述前一时间间隙处的输出信号不与所述预定的时间间隙处的输出信号来自同一麦克风信号时,识别所述前一时间间隙和所述预定的时间间隙的边界附近的跨零点;
基于所述跨零点,将所述前一时间间隙处的输出信号转换为所述预定的时间间隙处的输出信号。
14.如权利要求12所述的双麦克风阵列,其中,所述处理器进一步被配置为:
将所述左麦克风信号和所述右麦克风划分为多个频带;
识别所述多个频带中的至少一个频带中的噪声;以及
过滤所述多个频带中的所述至少一个频带中的所述噪声。
15.如权利要求11所述的双麦克风阵列,该双麦克风阵列进一步包括振动传感器,其中,所述处理器进一步被配置为:
基于由所述振动传感器提供的输入来识别用户语音;以及
基于当前发生的用户语音来选择极性图。
16.如权利要求11所述的双麦克风阵列,该双麦克风阵列进一步包括:
定位元件,该定位元件在用户的躯干上将所述左麦克风和所述右麦克风中的每一个保持成距离面朝前的该用户的嘴大约相等的距离。
17.如权利要求11所述的双麦克风阵列,其中,所述处理器进一步被配置为:
基于所述左麦克风信号和所述右麦克风信号中的每一个的振幅响应、频率响应或者时序中的至少一者来识别所述左麦克风信号和所述右麦克风信号是否与声音一致。
18.如权利要求11所述的双麦克风阵列,其中,所述处理器进一步被配置为:
识别与所述左麦克风和所述右麦克风中的每一个相关联的声压级;
确定所述时序差和所述与所述左麦克风和所述右麦克风中的每一个相关联的声压级之间的相关性;以及
确定所述相关性是否指示所述左麦克风信号和所述右麦克风信号是基于来自目标源的语音的。
19.如权利要求18所述的双麦克风阵列,其中,当过滤所述多个频带中的所述至少一个频带中的所述噪声时,所述处理器进一步被配置为:
基于所述多个频带中的所述至少一个频带中的每一个中的信噪比来选择用于过滤所述多个频带中的所述至少一个频带中的所述噪声的极性图;并且
其中,所述处理器被配置为从包括全指向性极性图、数字8形极性图以及频率无关极性图的组中选择所述极性图。
20.一种计算机可读媒介,该计算机可读媒介包括待由与麦克风阵列相关联的处理器执行的指令,其中,所述麦克风阵列包括左麦克风和右麦克风,所述指令包括一个或多个指令,当所述指令被所述处理器执行时,用于使所述处理器:
接收来自所述右麦克风的右麦克风信号;
接收来自所述左麦克风的左麦克风信号;
确定所述左麦克风信号和所述右麦克风信号之间的时序差;
确定所述时序差是否处于时间阈值内;
基于所述时序差,将所述左麦克风信号和所述右麦克风信号中的一个麦克风信号时移到所述左麦克风信号和所述右麦克风信号中的另一个麦克风信号的时序;以及
对进行了时移的所述一个麦克风信号和所述另一个所述麦克风信号求和,以形成输出信号。
CN201280072631.3A 2012-04-27 2012-04-27 基于麦克风阵列中的声音的相关性的噪声抑制 Expired - Fee Related CN104412616B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2012/052141 WO2013160735A1 (en) 2012-04-27 2012-04-27 Noise suppression based on correlation of sound in a microphone array

Publications (2)

Publication Number Publication Date
CN104412616A true CN104412616A (zh) 2015-03-11
CN104412616B CN104412616B (zh) 2018-01-16

Family

ID=49477308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280072631.3A Expired - Fee Related CN104412616B (zh) 2012-04-27 2012-04-27 基于麦克风阵列中的声音的相关性的噪声抑制

Country Status (5)

Country Link
US (1) US20130287224A1 (zh)
EP (1) EP2842348B1 (zh)
JP (1) JP6162220B2 (zh)
CN (1) CN104412616B (zh)
WO (1) WO2013160735A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107820631A (zh) * 2015-06-25 2018-03-20 伯斯有限公司 用于主动降噪的在阵列和同相扬声器配置之间的转换
CN108702354A (zh) * 2016-02-02 2018-10-23 高通股份有限公司 基于传感器信号的活跃度确定
CN109618273A (zh) * 2018-12-29 2019-04-12 北京声智科技有限公司 麦克风质检的装置及方法
CN109754803A (zh) * 2019-01-23 2019-05-14 上海华镇电子科技有限公司 车载多音区语音交互系统及方法
CN110447239A (zh) * 2017-03-24 2019-11-12 雅马哈株式会社 拾音装置及拾音方法
CN111316665A (zh) * 2017-10-31 2020-06-19 伯斯有限公司 用于扬声器系统的非对称麦克风阵列
CN111800722A (zh) * 2019-04-28 2020-10-20 深圳市豪恩声学股份有限公司 前馈麦克风功能检测方法、装置、终端设备及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9135915B1 (en) * 2012-07-26 2015-09-15 Google Inc. Augmenting speech segmentation and recognition using head-mounted vibration and/or motion sensors
US9497528B2 (en) * 2013-11-07 2016-11-15 Continental Automotive Systems, Inc. Cotalker nulling based on multi super directional beamformer
US9706299B2 (en) * 2014-03-13 2017-07-11 GM Global Technology Operations LLC Processing of audio received at a plurality of microphones within a vehicle
WO2017065092A1 (ja) 2015-10-13 2017-04-20 ソニー株式会社 情報処理装置
EP3544311B1 (en) * 2015-10-13 2022-11-30 Sony Group Corporation Information processing device
EP3280154B1 (en) * 2016-08-04 2019-10-02 Harman Becker Automotive Systems GmbH System and method for operating a wearable loudspeaker device
US9807498B1 (en) * 2016-09-01 2017-10-31 Motorola Solutions, Inc. System and method for beamforming audio signals received from a microphone array
US9949021B1 (en) * 2017-11-06 2018-04-17 Bose Corporation Intelligent conversation control in wearable audio systems
US10250973B1 (en) * 2017-11-06 2019-04-02 Bose Corporation Intelligent conversation control in wearable audio systems
EP3793179A1 (en) * 2019-09-10 2021-03-17 Peiker Acustic GmbH Hands-free speech communication device
DE102020202206A1 (de) 2020-02-20 2021-08-26 Sivantos Pte. Ltd. Verfahren zur Unterdrückung eines Eigenrauschens einer Mikrofonanordnung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120540A1 (en) * 2004-12-07 2006-06-08 Henry Luo Method and device for processing an acoustic signal
CN1866356A (zh) * 2005-08-15 2006-11-22 华为技术有限公司 一种宽带波束形成方法和装置
US20070047742A1 (en) * 2005-08-26 2007-03-01 Step Communications Corporation, A Nevada Corporation Method and system for enhancing regional sensitivity noise discrimination
CN101807404A (zh) * 2010-03-04 2010-08-18 清华大学 一种电子耳蜗前端指向性语音增强的预处理系统
CN102254563A (zh) * 2010-05-19 2011-11-23 上海聪维声学技术有限公司 用于双麦克风数字助听器的风噪声抑制方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3279040B2 (ja) * 1994-02-28 2002-04-30 ソニー株式会社 マイクロホン装置
JPH09140000A (ja) * 1995-11-15 1997-05-27 Nippon Telegr & Teleph Corp <Ntt> 会議用拡聴器
JP4356670B2 (ja) * 2005-09-12 2009-11-04 ソニー株式会社 雑音低減装置及び雑音低減方法並びに雑音低減プログラムとその電子機器用収音装置
JP2007267331A (ja) * 2006-03-30 2007-10-11 Railway Technical Res Inst 発話音声収集用コンビネーション・マイクロフォンシステム
JP4914319B2 (ja) * 2007-09-18 2012-04-11 日本電信電話株式会社 コミュニケーション音声処理方法とその装置、及びそのプログラム
US8285208B2 (en) * 2008-07-25 2012-10-09 Apple Inc. Systems and methods for noise cancellation and power management in a wireless headset
JP2010193213A (ja) * 2009-02-18 2010-09-02 Panasonic Corp 補聴器
JP2010197124A (ja) * 2009-02-24 2010-09-09 Tokyo Electric Power Co Inc:The 異音検出装置、方法及びプログラム
JP2010232862A (ja) * 2009-03-26 2010-10-14 Toshiba Corp 音声処理装置、音声処理方法、及び、プログラム
US9083288B2 (en) * 2009-06-11 2015-07-14 Invensense, Inc. High level capable audio amplification circuit
JP5493611B2 (ja) * 2009-09-09 2014-05-14 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8781137B1 (en) * 2010-04-27 2014-07-15 Audience, Inc. Wind noise detection and suppression
JP5516169B2 (ja) * 2010-07-14 2014-06-11 ヤマハ株式会社 音響処理装置およびプログラム
JP5198530B2 (ja) * 2010-09-28 2013-05-15 株式会社東芝 音声付き動画像呈示装置、方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120540A1 (en) * 2004-12-07 2006-06-08 Henry Luo Method and device for processing an acoustic signal
CN1866356A (zh) * 2005-08-15 2006-11-22 华为技术有限公司 一种宽带波束形成方法和装置
US20070047742A1 (en) * 2005-08-26 2007-03-01 Step Communications Corporation, A Nevada Corporation Method and system for enhancing regional sensitivity noise discrimination
CN101807404A (zh) * 2010-03-04 2010-08-18 清华大学 一种电子耳蜗前端指向性语音增强的预处理系统
CN102254563A (zh) * 2010-05-19 2011-11-23 上海聪维声学技术有限公司 用于双麦克风数字助听器的风噪声抑制方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107820631A (zh) * 2015-06-25 2018-03-20 伯斯有限公司 用于主动降噪的在阵列和同相扬声器配置之间的转换
CN107820631B (zh) * 2015-06-25 2021-09-28 伯斯有限公司 用于主动降噪的在阵列和同相扬声器配置之间的转换
CN108702354A (zh) * 2016-02-02 2018-10-23 高通股份有限公司 基于传感器信号的活跃度确定
CN108702354B (zh) * 2016-02-02 2021-08-17 高通股份有限公司 基于传感器信号的活跃度确定
CN110447239A (zh) * 2017-03-24 2019-11-12 雅马哈株式会社 拾音装置及拾音方法
CN110447239B (zh) * 2017-03-24 2021-12-03 雅马哈株式会社 拾音装置及拾音方法
CN111316665A (zh) * 2017-10-31 2020-06-19 伯斯有限公司 用于扬声器系统的非对称麦克风阵列
US11134339B2 (en) 2017-10-31 2021-09-28 Bose Corporation Asymmetric microphone array for speaker system
CN111316665B (zh) * 2017-10-31 2021-10-26 伯斯有限公司 用于扬声器系统的非对称麦克风阵列
CN109618273A (zh) * 2018-12-29 2019-04-12 北京声智科技有限公司 麦克风质检的装置及方法
CN109754803A (zh) * 2019-01-23 2019-05-14 上海华镇电子科技有限公司 车载多音区语音交互系统及方法
CN111800722A (zh) * 2019-04-28 2020-10-20 深圳市豪恩声学股份有限公司 前馈麦克风功能检测方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
JP6162220B2 (ja) 2017-07-12
EP2842348A1 (en) 2015-03-04
CN104412616B (zh) 2018-01-16
JP2015520551A (ja) 2015-07-16
WO2013160735A1 (en) 2013-10-31
US20130287224A1 (en) 2013-10-31
EP2842348B1 (en) 2016-07-20

Similar Documents

Publication Publication Date Title
CN104412616A (zh) 基于麦克风阵列中的声音的相关性的噪声抑制
US10959018B1 (en) Method for autonomous loudspeaker room adaptation
US10777214B1 (en) Method for efficient autonomous loudspeaker room adaptation
US10735887B1 (en) Spatial audio array processing system and method
EP1983799B1 (en) Acoustic localization of a speaker
JP5710792B2 (ja) 可聴音と超音波とを用いたソース特定のためのシステム、方法、装置、およびコンピュータ可読媒体
Haneda et al. Common-acoustical-pole and zero modeling of head-related transfer functions
KR101555416B1 (ko) 음향 삼각 측량에 의한 공간 선택적 사운드 취득 장치 및 방법
US10341775B2 (en) Apparatus, method and computer program for rendering a spatial audio output signal
JP4725643B2 (ja) 音波出力装置、通話装置、音波出力方法、及びプログラム
EP1349419A2 (en) Orthogonal circular microphone array system and method for detecting three-dimensional direction of sound source using the same
CN106659936A (zh) 用于确定增强现实应用中音频上下文的系统和方法
CN105580076A (zh) 用于听觉上表征电子设备所处的环境的方法和装置
CN110830870B (zh) 一种基于传声器技术的耳机佩戴者语音活动检测系统
EP3671271A2 (en) Near ultrasound based proximity sensing for mobile devices
KR101086304B1 (ko) 로봇 플랫폼에 의해 발생한 반사파 제거 신호처리 장치 및 방법
US20170322306A1 (en) Method and apparatus for obtaining vibration information and user equipment
US20170307436A1 (en) Method and apparatus for obtaining vibration information and user equipment
US11997474B2 (en) Spatial audio array processing system and method
WO2019073234A1 (en) REPRODUCTIVE ATTACK DETECTION
KR101661106B1 (ko) 헤드셋 기반 2채널 음향 입출력 장치를 이용한 위험상황 알림장치
Cirillo et al. Sound mapping in reverberant rooms by a robust direct method
CN114910867A (zh) 设备间的相对位置检测方法及装置
Ihara et al. Multichannel speech separation and localization by frequency assignment
JP2017097101A (ja) 雑音除去装置、雑音除去プログラム、及び雑音除去方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180116

Termination date: 20190427

CF01 Termination of patent right due to non-payment of annual fee