CN104854878A - 使用双麦克风阵列的空间干扰抑制 - Google Patents
使用双麦克风阵列的空间干扰抑制 Download PDFInfo
- Publication number
- CN104854878A CN104854878A CN201380065162.7A CN201380065162A CN104854878A CN 104854878 A CN104854878 A CN 104854878A CN 201380065162 A CN201380065162 A CN 201380065162A CN 104854878 A CN104854878 A CN 104854878A
- Authority
- CN
- China
- Prior art keywords
- microphone
- signal
- filter coefficient
- equipment
- signal processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/25—Array processing for suppression of unwanted side-lobes in directivity characteristics, e.g. a blocking matrix
Landscapes
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
用于使用双麦克风阵列抑制空间干扰的系统、处理、设备、装置、算法、和计算机可读介质,从被隔开预定距离且被配置为接收源信号的第一麦克风和第二麦克风接收基于所接收的源信号的相应的第一麦克风信号和第二麦克风信号。基于预定距离计算第一麦克风信号和第二麦克风信号之间的相位差。基于相位差计算源信号的到达方向与期望的捕获方向之间的角距。基于角距计算方向滤波器系数。基于方向滤波器系数从输出中滤除不期望的源信号。
Description
背景技术
在个人远程监控系统或话音通信系统中,话音/音频信号可以由一个全向麦克风捕获。当环境嘈杂时,全向麦克风不仅拾取期望的语音,还拾取环境中的干扰,这会导致语音质量受损和低质量的用户体验。
发明内容
用于抑制空间干扰的系统、处理、设备、装置、算法、和计算机可读介质可以使用双麦克风阵列,从被隔开预定距离且被配置为接收源信号的第一麦克风和第二麦克风接收基于所接收的源信号的相应的第一麦克风信号和第二麦克风信号。第一麦克风信号和第二麦克风信号之间的相位差可以基于预定距离被计算出来。源信号的到达方向(DOA)与期望的捕获方向之间的角距可以基于相位差被计算出来。方向滤波器系数可以基于角距被计算出来。不期望的源信号可以基于方向滤波器系数被从输出中滤除。
一种设备可以包括第一麦克风和第二麦克风,该第一麦克风和第二麦克风可以被隔开预定距离,并且可以被配置为接收源信号并基于所接收的源信号输出相应的第一麦克风信号和第二麦克风信号。设备的信号处理器可以被配置为:基于预定距离计算第一麦克风信号和第二麦克风信号之间的相位差,基于相位差计算源信号的到达方向与期望的捕获方向之间的角距;以及基于角距计算方向滤波器系数。信号处理器可以基于方向滤波器系数从信号处理器的输出中滤除不期望的源信号。
信号处理器可以被配置为通过以下处理计算相位差:横跨第一麦克风信号和第二麦克风信号的多个离散子带,针对特定的短时间帧计算第一麦克风信号和第二麦克风信号之间的相位差。信号处理器可以被配置为通过以下处理计算角距:通过对由信号处理器计算出的相位差应用三角函数,横跨第一麦克风信号和第二麦克风信号的多个离散子带针对特定的短时间帧计算角距。信号处理器可以被配置为通过对由信号处理器计算出的角距应用三角函数,横跨第一麦克风信号和第二麦克风信号的多个离散子带针对特定的短时间帧计算方向滤波器系数。
信号处理器可以被配置为利用第二子带范围的方向滤波器系数的平均值替换第一子带范围的每个方向滤波器系数。第一频率子带范围可以对应于80~400Hz,而第二频率子带范围可以对应于2~3kHz。
信号处理器可以被配置为使用相对稳健的子带的方向滤波器系数的平均来计算全局增益,并将此平均作为全局应用至所有计算出的子带的方向滤波器系数。该相对稳健的子带的方向滤波器系数对应于1~7kHz。
第一麦克风和第二麦克风可以是全向麦克风,并且预定距离可以在0.5cm到50cm之间。预定距离可以是2cm左右,并且可以是1.7cm。
信号处理器可以被配置为根据以下等式对第一麦克风信号和第二麦克风信号进行处理:以及这里,n表示短时间帧,k表示子带,并且X1,2、S1,2、V1,2、和分别表示麦克风信号、第一麦克风信号和第二麦克风信号的信号幅度、噪声、和相位。信号处理器还可以被配置为根据下面的等式来计算相位差:
信号处理器可以被配置为根据下面的等式来计算角差:
信号处理器可以被配置为根据下面的等式来计算方向滤波器系数:G(n,k)={0.5+0.5·cos[β·Δθ(n,k)]]α。这里,G(n,k)表示针对帧n和子带k的方向系数,β是用于波束宽度控制的参数,并且α是抑制因子。
信号处理器可以被配置为通过用第二子带范围的方向滤波器系数的平均值替换第一子带范围的方向滤波器系数来提高计算出的方向系数的低频稳健性。这里,第二子带范围包括比第一子带范围的频率更高的频率范围,并且该替换可以根据以下等式进行:
信号处理器可以被配置为通过以下处理来减少空间假频:使用相对稳健的子带的方向滤波器系数的平均来计算全局增益,并将此平均作为全局应用至所有计算出的子带的方向滤波器系数。这里,该相对稳健的子带的方向滤波器系数对应于1~7kHz。
一种设备也可以包括第一麦克风和第二麦克风,该第一麦克风和第二麦克风被隔开预定距离,并且被配置为接收源信号并基于所接收的源信号输出相应的第一麦克风信号和第二麦克风信号。信号处理装置可以执行:基于预定距离计算第一麦克风信号和第二麦克风信号之间的相位差,基于相位差计算源信号的到达方向与期望的捕获方向之间的角距,并基于角距计算方向滤波器系数。信号处理装置可以基于方向滤波器系数从该信号处理装置的输出中滤除不期望的源信号。
一种方法可以包括:从被隔开预定距离并且被配置为接收源信号的第一麦克风和第二麦克风接收基于所接收的源信号的相应的第一麦克风信号和第二麦克风信号。第一麦克风信号和第二麦克风信号之间的相位差可以基于预定距离被计算出来。源信号的到达方向与期望的捕获方向之间的角距可以基于相位差被计算出来。方向滤波器系数可以基于角距被计算出来。不期望的源信号可以基于方向滤波器系数被从输出中滤除。一个或多个编码有软件的非暂态计算机可读存储介质,该软件包括计算机可执行指令,该计算机可执行指令在被一个或多个处理器执行时,执行此方法。
已通过一般介绍的方式提供了上述段落。通过结合附图参考以下详细描述,所述实施例及其带来的优点将被最好地理解。
附图说明
通过参考以下具体描述并结合附图,对本公开及其带来的优点的更完整的认识将能够被容易地获得同时也变得更好理解,其中:
图1示出了作为入射角和频率的函数的近似误差;
图2示出了针对所有频率窗口(frequency bin)具有约2度的相位失配的、1.7cm的双麦克风阵列的角估计结果,其中真实的入射角是0度;
图3A和3B示出了传统的ThinkPad W510方案与示例性实现方式之间的指向性图案的比较;
图4示意性地示出了作为膝上型个人计算机的示例性处理系统;
图5示意性地示出了作为可安装相机的示例性处理系统;
图6示意性地示出了控制器和/或计算机系统的处理系统;以及
图7是示出用于使用双麦克风阵列来抑制空间干扰的算法的流程图。
具体实施方式
在附图中,相似的标号/标识符指定贯穿数个视图的相同或相应的部分。另外,除非以其他方式明确说明,否则使用的单数词语(例如,“一”“一个”等等)包含“一个或多个”的含义。
以下是本申请中提到的参考文献的列表。
[1]2001年德国柏林的斯普林格出版的由硕士Brandstein和D.Ward主编的Microphone Arrays:Signal Processing Techniques and Applications。
[2]1997年在Proc.ICASSP 1997的第223-226页的第1卷出版的由G.W.Elko和A.T.N.Pong所著的“A steerable and variable first-orderdifferential microphone array”。
[3]2001年在Proc.IEEE WASPAA的第163-166页出版的由H.Teutsch和G.W.Elko所著的“An adaptive close-talking microphone array”。
[4]2001年在Proc.IWAENC 2001的第35-38页出版的由H.Teutsch和G.W.Elko所著的“First-and second-order adaptive differential microphonearrays”。
[5]2002年在Eur.Trans.Telecomm.的第115-122页的第13卷出版的由M.Buck所著的“Aspects of first-order differential microphone arrays in thepresence of sensor imperfections”。
[6]2009在Proc.ICASSP 2009的第221-224页出版的由M.Buck、T.Wolff、T.Haulick、和G.Schmidt所著的“A compact microphone arraysystem with spatial post-filtering for automotive applications”。
[7]2012年9月在Proc.IWAENC 2012的第1-4页出版的由Y.Kerner和H.Lau所著的“Two microphone array MVDR beamforming withcontrolled beamwidth and immunity to gain mismatch”。
[8]2011年在IEEE Trans Audio Speech Lang Proc的第1045-1051页的第19卷出版的由H.Sun、S.Yan、和U.P.Svensson所著的“RobustMinimum Sidelobe Beamforming for Spherical Microphone Arrays”。
[9]2011年在Proc.of HSCMA 2011的第31-35页出版的由H.Sun、S.Yan、和U.P.Svensson所著的“Worst-case performance optimization forspherical microphone array modal beamformers”。
[10]2009年在美国纽约的127th AES Convention,Paper 7853中出版的由O.Tiergart等所著的“Localization of Sound Sources in ReverberantEnvironments Based on Directional Audio Coding Parameters”。
单向麦克风可以抑制一些环境干扰。然而,抑制性能十分有限,并且在一些系统(例如,膝上型计算机)中集成方向麦克风是非常困难的。另外,这样的系统天生对机械振动敏感。
在传统系统中,可以采用结合波束成形算法的麦克风阵列,如文献[1]。麦克风阵列波束成形器对来自麦克风的所有信号进行加权和累加,并应用后滤波技术来形成空间波束,该空间波束能够提取来自期望方向的期望语音并同时抑制来自其他方向的空间干扰。
在个人和移动语音通信设备中,期望以具有较少麦克风的紧密麦克风阵列来实现方向滤波。因此,已经存在对于紧密双麦克风阵列波束成形技术的许多研究。例如参见文献[2]-[6]。这些文献讨论了差分阵列波束成形(参见文献[2]-[5])、超方向波束成形(参见文献[1])、自适应波束成形(参见文献[4])、以及自适应波束成形和后滤波(参见文献[6])。
双麦克风阵列可以被实现于膝上型计算机(例如,由Lenovo(注册商标)(联想集团有限公司)制造的ThinkPad W510)中。ThinkPad W510包括具有音频信号处理器的双麦克风阵列,其由科胜讯系统公司(Conexant Systems,Inc.)提供。用于音频信号处理器的算法(双麦克风阵列波束成形技术)被呈现在文献[7]中。
传统的双麦克风阵列波束成形技术会具有以下缺陷。当处理宽带音频信号时,会有较高的计算复杂度或相对长的收敛时间。当存在麦克风偏差(麦克风灵敏度/相位失配)时,波束成形性能和话音质量会恶化。在低频率处会有麦克风自噪声放大或截止(cut-off)。传统上,需要进行麦克风校准或稳健性算法设计(例如,参见文献[5]和[7]-[9]),这会进一步增加算法复杂度。
现有的努力以及传统的努力集中于先进的信号模型、更优化的阵列几何结构、以及更复杂但更智能的算法,来实现更好的阵列处理性能。在下面的论述中,简化的信号模型、仅包括两个全向元件的小型麦克风阵列、以及低复杂度的干扰抑制算法的实现方式被描述,以为实际的话音通信设备提供易于实现且高性能的解决方案。
低复杂度空间干扰抑制器
算法运行在短时间频域中。针对每个短时间帧和频率子带,以简单但有效的方式来计算源信号的到达方向(DOA)与所期望的捕获方向之间的角距(angular distance)并估计双麦克风相位差。然后,基于角距信号计算方向滤波器(directional-filter)系数并将该系数应用于麦克风信号处理模块的输出,该麦克风信号处理模块保存来自期望方向的声音并衰减来自其他方向的声音。该方向滤波概念类似于传统的波束成形方法,但它能够基于以下信号模型假设以高效的手段被设计和实现。
在房间声学环境中,两个被捕获的时域麦克风信号(包括来自期望源的声音和来自其他方向的其他干扰声音(来自不期望源的声音、前期反射、和传感器噪声)二者)通过使用分析滤波器组被分解为短时间频率子带。为了设计高效且实用的干扰抑制算法,所有的源信号被假设为针对每个短时间子带是W-分离正交的(W-disjoint orthogonal,WDO)。就是说,信号针对大多数短时间子带不重叠。该假设是简单的,但对于频域瞬时话音混合(甚至在文献[10]中所述的混响环境中)是合理的。
基于上面提到的简化信号模型,短时间帧n和子带k中的麦克风信号(包括一个主要的源信号和噪声)可以被写作:
其中,X1,2、S1,2、V1,2、和分别表示在第一和第二麦克风处所捕获的麦克风信号、所捕获信号的信号幅度、噪声、和相位。
当帧n和子带k中的信噪比足够高时,两个麦克风通道之间的相位差可以通过下式被简单估计出来:
然后,使用三角特性来计算源DOA与期望方向θ0之间的角距Δθ(n,k):
其中,c是声速,fk是子带k的中心频率,并且d是两个麦克风之间的距离。
在话音通信设备(膝上型计算机、远程监控系统等)中,双麦克风阵列可以以宽边风格被放置,其以前向方向(θ0=0)作为期望方向。在此情形中,角距(4)的估计可以被进一步简化为:
当信号入射角接近零(前向)(这应当被保留)时,此近似方案可以相当精确地估计Δθ(n,k),因为如果入射角θ接近于零,那么arcsin(θ)≈θ的事实。当信号从波束外方向到达时,针对Δθ(n,k)的估计偏差增加。然而,由于所有的波束外信号应当被抑制,所以针对这些波束外信号的精确DOA估计是不必要的。作为不同入射角和频率窗口的函数的式(5)的近似误差被示出在图1中,其中假设小型双麦克风阵列具有1.7cm的麦克风距离。
使用所获取的角距信息,方向滤波器系数可以通过下式得出:
G(n,k)=[0.5+0.5·cos[β·Δθ(n,k)]}α (6)
其中,G(n,k)表示针对帧n和子带k的方向系数,其能够被乘至麦克风信号处理器的输出(例如,单通道声学回声消除器的输出)。当信号来自期望方向时,G(n,k)约为单元值,且信号将被保留。否则,G(n,k)较低,并且声音被抑制。β是用于波束宽度控制的参数。β越高,波束宽度越窄。β还可以被用于寻找波束宽度和算法稳健性(robustness)之间的折衷。β越低时,波束越宽,但同时算法对于麦克风相位失配和期望信号消除将变得越稳健。α是抑制因子。更高的α将导致对来自不期望的方向的信号的更积极的衰减。α还可以是可变参数,其可在运行时间内自动调整。例如,一方面,当波束内信号被检测到时(即,在相同的短时间帧处针对许多子带的Δθ(n,k)≈0),α可以被设为更低以避免期望信号被消除。另一方面,当仅针对数个子带检测到波束内信号时,α可以被设为更高以更加积极地抑制环境干扰。
为了避免经滤波的话音信号中的音乐音调伪影(music-toneartifact),时间平滑和频率平滑可被应用于所有获得的系数。
时间平滑通常是使用具有可变时间常数的单极点低通滤波器来实现的,例如当波束内信号被检测到时,时间常数可被设为较低(产生更快的适应),否则时间常数被设为较高(产生更慢的适应)。这样,期望的话音信号可以被更好地保护,特别是对于弱话音开始部分和尾部分。
简单的频率平滑可以只(仅)通过将相邻子带系数之间的差限制在给定阈值(例如,12dB)以下来实现。其他频率平滑技术(通常使用心理声学理论)也可以被应用于此。
方向滤波器系数可以针对每个短时间帧和子带被应用于麦克风信号处理器的输出,并且作为结果的经空间滤波的时域信号可以使用综合滤波器组来恢复。
上述处理仅使用麦克风相位信息。因此,它对所有种类的麦克风幅度失配都是稳健的。这是相比于需要相位信息和幅度信息二者的大多数传统波束成形方法的优点。
提高低频稳健性
在一些个人话音通信设备中,期望有具有十分短的麦克风距离(例如,1.7cm)的小型阵列,因为它们要求较小的空间并能够被容易地安装。然而,从式(5)中可以看出,当麦克风距离非常短且存在麦克风相位失配时,针对低频子带的角估计可能具有较大的误差,这导致较差的算法稳健性,即使这些子带处的相位失配非常小。图2示出了示例性的针对所有频率窗口具有约2度的相位失配的1.7cm的双麦克风阵列的角估计结果。
从在办公室环境中进行的试验性研究中看出,通过使用具有约1.7cm麦克风距离的小型阵列,对于400Hz以上的频率子带的角估计是相当精确的并且对于正常的麦克风相位失配是稳健的。因此,为了解决低频的差稳健性问题,横跨2-3kHz的频率子带(根据试验,话音信号的最稳健的频率范围)的平均滤波器系数被选择,以替换80-400Hz的低频子带的系数。
其中,表示平均值。主观和客观评估结果二者均显示此方法显著地提高了声音质量。同时,由于所有的滤波器系数分布于0和1之间,不像许多传统的超方向波束成形方法,这样的技术不会产生任何自噪声放大的问题。
减少空间假频
理论上,如果一个子带声音信号的波长的一半短于麦克风距离,则会出现空间假频(spatial aliasing),并且角估计器会产生模糊结果。如果麦克风距离在例如2cm左右,那么频率在8kHz以上的所有子带将具有空间假频问题。为了解决此问题,针对每个短时间帧,使用相对稳健的子带系数来计算全局增益,并且将该增益应用于所有得到的子带系数,即:
这样,由高频率的角估计的模糊性产生的不正确的方向滤波器系数可以被有效解决。
根据示例性方面的麦克风阵列具有包含2个麦克风的小形状因子,其仅需要较小的安装空间并且易于集成。信号处理算法可以具有相对较低的计算复杂度以及较短的收敛时间。相比于传统的波束成形技术,麦克风阵列对于麦克风灵敏度失配是更稳健的。麦克风阵列可以被集成到远程监控系统中的现有回声消除器和噪声抑制器内。麦克风阵列还可以在较宽的频率范围内工作并产生良好的音频质量,从而避免了低频子带处的麦克风自噪声放大或期望信号消除,并且减少了高频子带处的空间假频。
实时实现和评估是利用数字信号处理系统来执行的,该数字信号处理系统包括模拟至数字信号转换器和分析器。无混响环境和混响环境二者中的主观和客观测试显示出比ThinkPad W510方案更好的声音质量,并具有令人满意的干扰抑制性能。图3A和3B示出了ThinkPad W510和所述处理之间的方向性图案比较。图3A示出了来自ThinkPad W510方案的结果,而图3B示出了来自所述处理的结果。试验是在半电波暗室中进行的。能够看出,这里所述的技术产生了更宽的频率范围和更加频率稳定的方向性图案,而没有低频截止和高频空间假频,这是商业产品中十分期望的。
基于短时间频域信号模型,已经设计并实现了低复杂度但有效的双麦克风阵列干扰抑制。期望的声音提取和干扰抑制性能被提供。此外,该实现方式对于低频噪声放大和高频空间假频是稳健的,而该低频噪声放大和高频空间假频是传统波束成形方法中的固有问题。
上面提到的技术和/或处理的示例性实现方式可以在诸如图4中示意性示出的膝上型计算机中实现。膝上型计算机包括计算机硬件(包括中央处理单元(CPU))。膝上型计算机包括可编程音频部件,其是CPU中被专门设计用于音频处理的部分(即,电路)。还可提供离散的可编程音频处理电路。膝上型计算机的(一个或多个)处理器可以采用存储器(包括易失性和非易失性存储器)的各种组合来执行算法和处理、以及为(一个或多个)处理器提供编程存储。
膝上型计算机可以包括显示器、键盘、和轨迹板(track pad)。膝上型计算机可以包括用于立体声再现(或者单声道的音频再现或多于两个通道的音频再现)的扬声器(例如,SPK 1和SPK 2)。还可以提供附加的扬声器。膝上型计算机还可以包括麦克风对。示例的麦克风对在图4中被示出为MIC 1和MIC 2对、以及MIC 3和MIC 4对。麦克风MIC 1和MIC 2被放置在显示器的顶部,而麦克风MIC 3和MIC 4被放置在轨迹板下方。相机CAM被置于麦克风MIC 1和MIC 2之间。尽管一种实现方式涉及仅采用两个麦克风(例如,MIC 1和MIC 2对、以及MIC 3和MIC 4对中的一者),但多于两个麦克风可以被采用来进行进一步优化。此外,如图4中的MIC 5和MIC 6的麦克风对所示,麦克风可以被放置于膝上型计算机的显示器的下方。所示出的麦克风对还可以被设置于台式监视器或一体式计算机的相似或相应位置中。尽管未在所示实现方式中示出,但麦克风对还可以被设置为偏离显示器的中心或者外壳的其他地方。
图5示意性地示出了作为可安装相机的示例性处理系统。可安装相机包括被设置于麦克风MIC 1和MIC 2之间的相机CAM。CAM、MIC 1、和MIC 2可以被设置于底座顶上的外壳中,该底座能够被适用于固定于例如计算机监视器的顶部或桌子的顶部。处理系统(例如,下文所述的处理系统)可以被合并到外壳中,以使得来自MIC 1和MIC 2的信号以及来自CAM的信号可以经由无线网络被无线传输,或者通过诸如通用串行总线(USB)线缆之类的有线线缆进行传输。这里所述的算法可以被实现于可安装相机内,或被实现于连接至可安装相机的个人计算机中。
上述麦克风可以是全向麦克风,其相隔距离L地被放置。距离L可以是1.7cm。距离L是0.5到50cm之间的变量,并且距离L优选地是2cm左右或周围(例如,在1.5cm到2.4cm之间)。
图6示出了示例性处理系统,并示出了在控制器或计算系统(例如,个人计算机(即,膝上型计算机或台式计算机))中发现的用于实现和/或执行本公开中所述的处理、算法、和/或方法的示例硬件。根据本公开的麦克风系统和/或处理系统可以在诸如移动电话之类的移动设备、数字语音记录器、听写机、话音文本转换设备、台式计算机屏幕、平板计算机、和其他消费电子设备中实现。
如图6中所示,根据本公开的处理系统可以使用微处理器或其等同物(例如,中央处理单元(CPU)和/或至少一个专用处理器ASP(未示出))来实现。微处理器是采用诸如存储器电路(例如,ROM、EPROM、EEPROM、闪存存储器、静态存储器、DRAM、SDRAM、和它们的等同物)之类的计算机可读存储介质的电路,该计算机可读存储介质被配置为控制微处理器执行和/或控制本公开的处理和系统。其他存储介质可以经由诸如可以控制硬盘驱动或光盘驱动的盘控制器之类的控制器来进行控制。
在替代实施例中,微处理器或其各方面可以包括或排他性地包括用于增强或完全实现本公开的逻辑设备。这样的逻辑设备包括但不限于:专用集成电路(ASIC)、现场可编程门阵列(FPGA)、通用阵列逻辑(GAL)、和它们的等同物。微处理器可以是分立设备或单个处理机构。另外,本公开可以受益于多核CPU的并行处理能力。
在另一方面,根据本公开的处理的结果可以经由显示控制器被显示至监视器。显示控制器将优选地包括至少一个图形处理单元,该图形处理单元可以由多个图形处理核心来提供,用于提高计算效率。另外,I/O(输入/输出)接口被设置用于输入来自麦克风(MIC)1、2...N和/或相机(CAM)1、2...M的信号和/或数据,以及用于将控制信号输出至一个或多个执行机构以控制例如相机和/或麦克风中的一个或多个的方向对齐。
另外,其他输入设备同样可以作为外围设备被连接至I/O接口。例如,用于控制本公开的各种处理和算法的参数的键盘或指向设备可以被连接至I/O接口,以提供附加的功能和配置选项,或者控制显示特性。另外,监视器可以被设置有触敏界面,用于提供命令/指令接口。
上述组件可以经由用于包括可控制参数在内的数据的发送和接收的网络接口被耦合至诸如互联网或本地内联网之类的网络。中央总线被提供以将上述硬件组件连接在一起,并提供用于它们之间的数字通信的至少一条路径。
图7示出了由一个或多个处理器或电路执行的算法700。在图7中,来自诸如MIC 1和MIC 2之类的麦克风的信号在S702处被处理系统、设备、和/或电路所接收。每个信号的相位在S704处被计算,并且相位差在S706处被从其中计算出来。参见式(1)-(3)。
在S708基于所计算出的相位差来计算角距,并且在S710处获取方向滤波器系数。参见式(4)-(6)。优选地,在S710处还包括(作为获取方向滤波器系数的一部分并行执行,或者在获取方向滤波器系数之后执行)替换低频系数以提升低频稳健性。参见式(7)。另外优选地,在S712处当麦克风距离是2cm左右时,频率高于8kHz的所有子带将具有空间假频问题。在S712处,针对每个短时间帧,使用相对稳健的子带系数来计算全局增益并将该全局增益应用到所有获得的子带系数。参见式(8)。作为结果的系数然后被应用至麦克风输出以实现上述结果。
示例性实现方式已经被描述。然而,可在不背离本公开的精神和范围的情况下做出各种修改。例如,如果所公开的技术的步骤以不同的顺序来执行,如果所公开的系统中的组件以不同的方式来组合,或者如果组件被其他组件所替换或补充,则可能实现有利的结果。这里所述的功能、处理、和算法可在硬件或者由硬件执行的软件中执行,该硬件包括被配置为执行程序代码和/或计算机指令以执行这里所述的功能、处理、和算法的计算机处理器和/或可编程电路。此外,一些实现方式可在不等同于这里所述的那些模块或硬件的模块或硬件上执行。因此,其他实现方式在要求保护的范围之内。
Claims (20)
1.一种设备,包括:
第一麦克风和第二麦克风,该第一麦克风和第二麦克风被隔开预定距离,并且被配置为接收源信号并基于所接收的源信号输出相应的第一麦克风信号和第二麦克风信号;以及
信号处理器,该信号处理器被配置为:基于所述预定距离计算所述第一麦克风信号和所述第二麦克风信号之间的相位差,基于所述相位差计算所述源信号的到达方向与期望的捕获方向之间的角距,并基于所述角距计算方向滤波器系数,其中
所述信号处理器被配置为基于所述方向滤波器系数从所述信号处理器的输出中滤除不期望的源信号。
2.如权利要求1所述的设备,其中所述信号处理器被配置为横跨所述第一麦克风信号和所述第二麦克风信号的多个离散子带,针对特定的短时间帧计算所述第一麦克风信号和所述第二麦克风信号之间的相位差。
3.如权利要求2所述的设备,其中所述信号处理器被配置为通过对由所述信号处理器计算出的相位差应用三角函数,横跨所述第一麦克风信号和所述第二麦克风信号的多个离散子带,针对特定的短时间帧计算角距。
4.如权利要求3所述的设备,其中所述信号处理器被配置为通过对由所述信号处理器计算出的角距应用三角函数,横跨所述第一麦克风信号和所述第二麦克风信号的多个离散子带,针对特定的短时间帧计算方向滤波器系数。
5.如权利要求1所述的设备,其中所述信号处理器被配置为利用第二子带范围的方向滤波器系数的平均值替换第一子带范围的每个方向滤波器系数。
6.如权利要求5所述的设备,其中:
所述第一频率子带范围对应于80~400Hz,并且
所述第二频率子带范围对应于2~3kHz。
7.如权利要求1所述的设备,其中所述信号处理器被配置为使用相对稳健的子带的方向滤波器系数的平均来计算全局增益,并将此平均作为全局应用至所有计算出的子带的方向滤波器系数。
8.如权利要求7所述的设备,其中所述相对稳健的子带的方向滤波器系数对应于1~7kHz。
9.如权利要求1所述的设备,其中所述第一麦克风和所述第二麦克风是全向麦克风,并且所述预定距离在0.5cm到50cm之间。
10.如权利要求9所述的设备,其中所述预定距离是2cm左右。
11.如权利要求1所述的设备,其中:
所述信号处理器被配置为根据下面的等式对所述第一麦克风信号和所述第二麦克风信号进行处理:
以及
其中
n表示短时间帧,k表示子带,并且X1,2、S1,2、V1,2、和分别表示麦克风信号、所述第一麦克风信号和所述第二麦克风信号的信号幅度、噪声、和相位,并且
所述信号处理器被配置为根据下面的等式计算所述相位差:
12.如权利要求11所述的设备,其中所述信号处理器被配置为根据下面的等式计算角差:
其中
c是声速,fk是子带k的中心频率,并且d是所述预定距离。
13.如权利要求12所述的设备,其中所述信号处理器被配置为根据下面的等式计算所述方向滤波器系数:
G(n,k)={0.5+0.5·cos[β·Δθ(n,k)]}α,其中
G(n,k)表示针对帧n和子带k的方向系数,β是用于波束宽度控制的参数,并且α是抑制因子。
14.如权利要求13所述的设备,其中所述信号处理器被配置为通过以下处理来提高计算出的方向系数的低频稳健性:
用第二子带范围的方向滤波器系数的平均值替换第一子带范围的方向滤波器系数,其中所述第二子带范围包括比所述第一子带范围的频率更高的频率范围。
15.如权利要求14所述的设备,其中所述替换是根据下面的等式进行的:
16.如权利要求15所述的设备,其中所述信号处理器被配置为通过使用相对稳健的子带的方向滤波器系数的平均来计算全局增益、并将此平均作为全局应用至所有计算出的子带的方向滤波器系数,来减少空间假频。
17.如权利要求16所述的设备,其中所述相对稳健的子带的方向滤波器系数对应于1~7kHz。
18.一种设备,包括:
第一麦克风和第二麦克风,该第一麦克风和第二麦克风被隔开预定距离,并且被配置为接收源信号并基于所接收的源信号输出相应的第一麦克风信号和第二麦克风信号;以及
信号处理装置,该信号处理装置用于:基于所述预定距离计算所述第一麦克风信号和所述第二麦克风信号之间的相位差,基于所述相位差计算所述源信号的到达方向与期望的捕获方向之间的角距,并基于所述角距计算方向滤波器系数,其中
信号处理装置基于所述方向滤波器系数从该信号处理装置的输出中滤除不期望的源信号。
19.一种方法,包括:
从被隔开预定距离并且被配置为接收源信号的第一麦克风和第二麦克风接收基于所接收的源信号的相应的第一麦克风信号和第二麦克风信号;
基于所述预定距离计算所述第一麦克风信号和所述第二麦克风信号之间的相位差;
基于所述相位差计算所述源信号的到达方向与期望的捕获方向之间的角距;
基于所述角距计算方向滤波器系数;以及
基于所述方向滤波器系数从输出中滤除不期望的源信号。
20.一个或多个编码有软件的非暂态计算机可读存储介质,该软件包括计算机可执行指令,该计算机可执行指令在被一个或多个处理器执行时,执行如权利要求19所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/713,357 | 2012-12-13 | ||
US13/713,357 US9210499B2 (en) | 2012-12-13 | 2012-12-13 | Spatial interference suppression using dual-microphone arrays |
PCT/US2013/074727 WO2014093653A1 (en) | 2012-12-13 | 2013-12-12 | Spatial interference suppression using dual- microphone arrays |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104854878A true CN104854878A (zh) | 2015-08-19 |
CN104854878B CN104854878B (zh) | 2017-12-12 |
Family
ID=49885468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380065162.7A Active CN104854878B (zh) | 2012-12-13 | 2013-12-12 | 使用双麦克风阵列抑制空间干扰的设备、方法和计算机介质 |
Country Status (4)
Country | Link |
---|---|
US (2) | US9210499B2 (zh) |
EP (1) | EP2932731B1 (zh) |
CN (1) | CN104854878B (zh) |
WO (1) | WO2014093653A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016197745A3 (zh) * | 2016-03-04 | 2017-02-02 | 中兴通讯股份有限公司 | 一种实现音频录制的方法、终端和计算机可读存储介质 |
CN106501773A (zh) * | 2016-12-23 | 2017-03-15 | 上海语知义信息技术有限公司 | 基于差分阵列的声源方向定位方法 |
CN108028980A (zh) * | 2015-09-30 | 2018-05-11 | 索尼公司 | 信号处理装置、信号处理方法及程序 |
CN111163411A (zh) * | 2018-11-08 | 2020-05-15 | 塞舌尔商元鼎音讯股份有限公司 | 减少干扰音影响的方法及声音播放装置 |
TWI700004B (zh) * | 2018-11-05 | 2020-07-21 | 塞席爾商元鼎音訊股份有限公司 | 減少干擾音影響之方法及聲音播放裝置 |
WO2020248235A1 (zh) * | 2019-06-14 | 2020-12-17 | 深圳市汇顶科技股份有限公司 | 差分波束形成方法及模块、信号处理方法及装置、芯片 |
CN114339582A (zh) * | 2021-11-30 | 2022-04-12 | 北京小米移动软件有限公司 | 双通道音频处理、方向感滤波器生成方法、装置以及介质 |
CN116416250A (zh) * | 2023-06-12 | 2023-07-11 | 山东每日好农业发展有限公司 | 一种速食罐装产品产线的成品检测系统 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9210499B2 (en) | 2012-12-13 | 2015-12-08 | Cisco Technology, Inc. | Spatial interference suppression using dual-microphone arrays |
US9191736B2 (en) * | 2013-03-11 | 2015-11-17 | Fortemedia, Inc. | Microphone apparatus |
US20170236547A1 (en) * | 2015-03-04 | 2017-08-17 | Sowhat Studio Di Michele Baggio | Portable recorder |
US10389885B2 (en) | 2017-02-01 | 2019-08-20 | Cisco Technology, Inc. | Full-duplex adaptive echo cancellation in a conference endpoint |
GB201710085D0 (en) | 2017-06-23 | 2017-08-09 | Nokia Technologies Oy | Determination of targeted spatial audio parameters and associated spatial audio playback |
GB201710093D0 (en) | 2017-06-23 | 2017-08-09 | Nokia Technologies Oy | Audio distance estimation for spatial audio processing |
US11076251B2 (en) | 2019-11-01 | 2021-07-27 | Cisco Technology, Inc. | Audio signal processing based on microphone arrangement |
AU2022218336A1 (en) | 2021-02-04 | 2023-09-07 | Neatframe Limited | Audio processing |
GB202101561D0 (en) | 2021-02-04 | 2021-03-24 | Neatframe Ltd | Audio processing |
CN113053408B (zh) * | 2021-03-12 | 2022-06-14 | 云知声智能科技股份有限公司 | 一种声源分离方法及装置 |
US11671753B2 (en) | 2021-08-27 | 2023-06-06 | Cisco Technology, Inc. | Optimization of multi-microphone system for endpoint device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100241428A1 (en) * | 2009-03-17 | 2010-09-23 | The Hong Kong Polytechnic University | Method and system for beamforming using a microphone array |
US20110038489A1 (en) * | 2008-10-24 | 2011-02-17 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for coherence detection |
WO2011140110A1 (en) * | 2010-05-03 | 2011-11-10 | Aliphcom, Inc. | Wind suppression/replacement component for use with electronic systems |
EP2395506A1 (en) * | 2010-06-09 | 2011-12-14 | Siemens Medical Instruments Pte. Ltd. | Method and acoustic signal processing system for interference and noise suppression in binaural microphone configurations |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005109951A1 (en) | 2004-05-05 | 2005-11-17 | Deka Products Limited Partnership | Angular discrimination of acoustical or radio signals |
EP1818909B1 (en) | 2004-12-03 | 2011-11-02 | Honda Motor Co., Ltd. | Voice recognition system |
JP5201093B2 (ja) * | 2009-06-26 | 2013-06-05 | 株式会社ニコン | 撮像装置 |
US9025782B2 (en) * | 2010-07-26 | 2015-05-05 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for multi-microphone location-selective processing |
US9210499B2 (en) | 2012-12-13 | 2015-12-08 | Cisco Technology, Inc. | Spatial interference suppression using dual-microphone arrays |
US9215543B2 (en) | 2013-12-03 | 2015-12-15 | Cisco Technology, Inc. | Microphone mute/unmute notification |
-
2012
- 2012-12-13 US US13/713,357 patent/US9210499B2/en active Active
-
2013
- 2013-12-12 WO PCT/US2013/074727 patent/WO2014093653A1/en active Application Filing
- 2013-12-12 CN CN201380065162.7A patent/CN104854878B/zh active Active
- 2013-12-12 EP EP13814766.5A patent/EP2932731B1/en active Active
-
2015
- 2015-11-06 US US14/934,409 patent/US9485574B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110038489A1 (en) * | 2008-10-24 | 2011-02-17 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for coherence detection |
US20100241428A1 (en) * | 2009-03-17 | 2010-09-23 | The Hong Kong Polytechnic University | Method and system for beamforming using a microphone array |
WO2011140110A1 (en) * | 2010-05-03 | 2011-11-10 | Aliphcom, Inc. | Wind suppression/replacement component for use with electronic systems |
EP2395506A1 (en) * | 2010-06-09 | 2011-12-14 | Siemens Medical Instruments Pte. Ltd. | Method and acoustic signal processing system for interference and noise suppression in binaural microphone configurations |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108028980B (zh) * | 2015-09-30 | 2021-05-04 | 索尼公司 | 信号处理装置、信号处理方法及计算机可读存储介质 |
CN108028980A (zh) * | 2015-09-30 | 2018-05-11 | 索尼公司 | 信号处理装置、信号处理方法及程序 |
WO2016197745A3 (zh) * | 2016-03-04 | 2017-02-02 | 中兴通讯股份有限公司 | 一种实现音频录制的方法、终端和计算机可读存储介质 |
CN106501773A (zh) * | 2016-12-23 | 2017-03-15 | 上海语知义信息技术有限公司 | 基于差分阵列的声源方向定位方法 |
CN106501773B (zh) * | 2016-12-23 | 2018-12-11 | 云知声(上海)智能科技有限公司 | 基于差分阵列的声源方向定位方法 |
TWI700004B (zh) * | 2018-11-05 | 2020-07-21 | 塞席爾商元鼎音訊股份有限公司 | 減少干擾音影響之方法及聲音播放裝置 |
CN111163411A (zh) * | 2018-11-08 | 2020-05-15 | 塞舌尔商元鼎音讯股份有限公司 | 减少干扰音影响的方法及声音播放装置 |
WO2020248235A1 (zh) * | 2019-06-14 | 2020-12-17 | 深圳市汇顶科技股份有限公司 | 差分波束形成方法及模块、信号处理方法及装置、芯片 |
US11381909B2 (en) | 2019-06-14 | 2022-07-05 | Shenzhen GOODIX Technology Co., Ltd. | Method and apparatus for forming differential beam, method and apparatus for processing signal, and chip |
CN114339582A (zh) * | 2021-11-30 | 2022-04-12 | 北京小米移动软件有限公司 | 双通道音频处理、方向感滤波器生成方法、装置以及介质 |
CN114339582B (zh) * | 2021-11-30 | 2024-02-06 | 北京小米移动软件有限公司 | 双通道音频处理、方向感滤波器生成方法、装置以及介质 |
CN116416250A (zh) * | 2023-06-12 | 2023-07-11 | 山东每日好农业发展有限公司 | 一种速食罐装产品产线的成品检测系统 |
CN116416250B (zh) * | 2023-06-12 | 2023-09-05 | 山东每日好农业发展有限公司 | 一种速食罐装产品产线的成品检测系统 |
Also Published As
Publication number | Publication date |
---|---|
US20160066092A1 (en) | 2016-03-03 |
US20140169576A1 (en) | 2014-06-19 |
US9210499B2 (en) | 2015-12-08 |
WO2014093653A1 (en) | 2014-06-19 |
EP2932731B1 (en) | 2017-05-03 |
EP2932731A1 (en) | 2015-10-21 |
US9485574B2 (en) | 2016-11-01 |
CN104854878B (zh) | 2017-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104854878A (zh) | 使用双麦克风阵列的空间干扰抑制 | |
US9984702B2 (en) | Extraction of reverberant sound using microphone arrays | |
US10123113B2 (en) | Selective audio source enhancement | |
US9031257B2 (en) | Processing signals | |
US9100734B2 (en) | Systems, methods, apparatus, and computer-readable media for far-field multi-source tracking and separation | |
JP6074263B2 (ja) | 雑音抑圧装置及びその制御方法 | |
Kumatani et al. | Microphone array processing for distant speech recognition: Towards real-world deployment | |
US20080247274A1 (en) | Sensor array post-filter for tracking spatial distributions of signals and noise | |
US9241223B2 (en) | Directional filtering of audible signals | |
WO2008121905A2 (en) | Enhanced beamforming for arrays of directional microphones | |
Wang et al. | Noise power spectral density estimation using MaxNSR blocking matrix | |
US9478230B2 (en) | Speech processing apparatus, method, and program of reducing reverberation of speech signals | |
Huleihel et al. | Spherical array processing for acoustic analysis using room impulse responses and time-domain smoothing | |
Jin et al. | Multi-channel noise reduction for hands-free voice communication on mobile phones | |
Hu et al. | Direction of arrival estimation of multiple acoustic sources using a maximum likelihood method in the spherical harmonic domain | |
Li et al. | Distributed-microphones based in-vehicle speech enhancement via sparse and low-rank spectrogram decomposition | |
Delcroix et al. | Multichannel speech enhancement approaches to DNN-based far-field speech recognition | |
Madhu et al. | Localisation-based, situation-adaptive mask generation for source separation | |
Malek et al. | Informed generalized sidelobe canceler utilizing sparsity of speech signals | |
Athanasopoulos et al. | The effect of speech denoising algorithms on sound source localization for humanoid robots | |
Yen et al. | Rotor noise-aware noise covariance matrix estimation for unmanned aerial vehicle audition | |
Hayashi et al. | Speech enhancement by non-linear beamforming tolerant to misalignment of target source direction | |
Kondo et al. | Improved method of blind speech separation with low computational complexity | |
Kinoshita et al. | Blind source separation using spatially distributed microphones based on microphone-location dependent source activities. | |
Jie et al. | A dual-channel beamformer based on time-delay compensation estimator and shifted PCA for speech enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |