CN104865550A - 声源方向估计设备和声源方向估计方法 - Google Patents

声源方向估计设备和声源方向估计方法 Download PDF

Info

Publication number
CN104865550A
CN104865550A CN201510086405.6A CN201510086405A CN104865550A CN 104865550 A CN104865550 A CN 104865550A CN 201510086405 A CN201510086405 A CN 201510086405A CN 104865550 A CN104865550 A CN 104865550A
Authority
CN
China
Prior art keywords
mark
phase distribution
template
sound source
local maximum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201510086405.6A
Other languages
English (en)
Inventor
丁宁
木田祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN104865550A publication Critical patent/CN104865550A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/808Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23Direction finding using a sum-delay beam-former

Abstract

本发明提供声源方向估计设备和声源方向估计方法。根据实施例,声源方向估计设备包含获取单元、生成器、比较器和估计器。获取单元被配置成从多个传声器获取多个信道的声信号。生成器被配置成对于每个预定频率窗,计算多个信道的声信号的相位差,以生成相位差分布。比较器被配置成将相位差分布与预先对于每个方向生成的模板进行比较,并且按照相位差分布和每个方向的模板之间的相似性来计算分数。估计器被配置成基于计算出的分数来估计声源的方向。

Description

声源方向估计设备和声源方向估计方法
相关申请的交叉引用
这个申请基于并且要求2014年2月26日提交的第2014-036032号日本专利申请的优先权的权益;其全部内容通过引用被结合于此。
技术领域
此处描述的实施例一般涉及声源方向估计设备和声源方向估计方法。
背景技术
作为在不依赖从声源到传声器的距离的情况下,用于精确地估计声源方向的技术,存在有利用从多个信道的声信号生成的相位差分布的技术。相位差分布是表示用于多个信道的声信号的各个频率的相位差的分布,并且按照收集来自多个信道的声信号的声音的传声器之间的距离,具有依赖于声源的方向的特定图案。即使当多个信道的声信号的声压级差小时,这个图案也不变。为此,即使当声源被定位成远离导致多个信道的声信号的声压级差变小的传声器时,相位差分布的使用也能够使得声源的方向能够被精确地估计。
但是,在使用相位差分布来估计声源的方向的传统技术中,从相位差分布获得方向的处理所需的计算量是大的,从而阻碍了利用具有低计算能力的设备来实时地估计声源的方向。为此,需要的是,以低的计算量来进行使用相位差分布的声源方向的估计。
发明内容
实施例的目的是提供一种声源方向估计设备,该声源方向估计设备能够以低的计算量,估计使用相位差分布的声源方向。
根据实施例,声源方向估计设备包含获取单元、生成器、比较器和估计器。获取单元被配置成从多个传声器获取多个信道的声信号。生成器被配置成对于每个预定频率区,计算多个信道的声信号的相位差,以生成相位差分布。比较器被配置成将相位差分布与预先对于每个方向生成的模板进行比较,并且按照相位差分布和每个方向的模板之间的相似性来计算分数。估计器被配置成基于计算出的分数来估计声源的方向。
根据上述声源方向估计设备,能够以低的计算量估计使用相位差分布的声源方向。
附图说明
图1是图解根据第一实施例的声源方向估计设备的功能配置实例的框图;
图2是图解相位差分布的实例的图;
图3是图解量化的相位差分布的实例的图;
图4是模板中使用的各个方向的相位差分布的实例的图;
图5A到5C是各自图解通过量化各个方向的相位差分布所生成的模板的实例的图;
图6是图解对于每个方向计算的分数的实例的图;
图7是图解通过根据第一实施例的声源方向估计设备的处理过程的实例的流程图;
图8是图解根据第二实施例的声源方向估计设备的功能配置实例的框图;
图9是图解通过根据第二实施例的声源方向估计设备的处理过程的实例的流程图;
图10是图解根据第三实施例的声源方向估计设备的功能配置实例的框图;
图11是图解通过根据第三实施例的声源方向估计设备的处理过程的实例的流程图;
图12是图解根据第四实施例的声源方向估计设备的功能配置实例的框图;
图13是图解分数波形的实例的图;
图14是图解通过根据第四实施例的声源方向估计设备的处理过程的实例的流程图;
图15是图解根据第五实施例的声源方向估计设备的功能配置实例的框图;
图16是图解分数波形的实例的图;
图17是图解通过根据第五实施例的声源方向估计设备的处理过程的实例的流程图;
图18是说明不能区分声源的方向的实例的图;
图19是图解变形例中的传声器的布置的实例的图;
图20图解从分数转换的全方向分数的实例;
图21图解从分数转换的全方向分数的实例;
图22图解从分数转换的全方向分数的实例;以及
图23是图解其中全方向分数被合并的合并分数的实例的图。
具体实施方式
第一实施例
图1是图解根据第一实施例的声源方向估计设备的功能配置实例的框图。如图1中图的,根据本实施例的声源方向估计设备包含获取单元11、生成器12、比较器13、存储器14、估计器15以及输出单元16。
获取单元11从构成传声器阵列的多个传声器中获取多个信道的声信号。在本实施例中,如图1中图解的,从两个传声器M1和M2中获取两个信道的声信号。构成传声器阵列的两个传声器M1和M2具有固定的相对位置关系,并且这两个传声器之间的距离不会改变。当声源是人(说话者)时,例如,声信号是诸如说话者的谈话的语音信号。
生成器12对于每个预定频率窗(frequency bin),计算由获取单元11获取到的多个信道的声信号的相位差,以生成相位差分布。
具体地,生成器12经由快速傅里叶变换(FFT)等等,将获取单元11获取到的两个信道的每个声信号从时域信号转换成频域信号。然后,生成器12根据下面的等式(1),对于每个信号频率,计算两个信道的相位差φ(ω),从而生成相位差分布。
φ ( ω ) = arg [ X 1 ( ω ) X 1 ( ω ) ] - - - ( 1 )
这里,ω是频率;X1(ω)是频域中的两个信道中的一个信道的信号;以及X2(ω)是频域中的两个信道中的另一个信道的信号。计算出的相位差的周期是2π。在本实施例中,相位差的范围被定义为不小于-π并且不大于的范围π。注意,可以定义相位差的不同的范围,例如,不小于0并且不大于2π的范围。
在图2中图解了相位差分布的实例。在本实施例中,对于在不小于1kHz并且不大于8kHz的范围内的每1kHz,定义频率窗。生成器12对于每个预定频率窗,计算两个信道的声信号的相位差,以生成诸如图2中图解的相位差分布。
比较器13将生成器生成的相位差分布与预先对于每个方向生成的模板进行比较,并且对于每个方向按照两者之间的相似性来计算分数。对于计算相似性,例如可以利用两者之间的距离。在本实施例中,比较器13将量化的相位差分布视为图像,并且计算与量化的相位差分布与模板重叠的程度相对应的分数。为此,比较器13具有包含量化器131和分数计算器132的配置。
量化器131量化由生成器12生成的相位差分布。量化的相位差分布q(ω,n)用下面的等式(2)表示:
这里,α是量化系数;以及n是指示对于每个频率窗量化的相位差的值的指数。量化系数α可以按照必要的分辨率被定义。在本实施例中,量化系数α被定义为π/5。在这种情况下,指数n指示以π/5为单位被量化的相位差的值。
在图3中图解了量化的相位差分布的实例。量化器131量化由生成器12生成的相位差分布,以生成诸如图3中图解的量化的相位差分布。
分数计算器132将量化的相位差分布与预先对于每个方向生成的模板进行比较,并且计算两者彼此重叠的频率窗的数目,具体地,相位差分布中的量化的相位差和模板中的量化的相位差一致的频率窗的数目,作为对于与模板相对应的方向的分数。
这里,将描述用于在每个方向上的分数计算的模板。以与量化器131中相同的方法(例如,量化系数是相同的),通过量化预先使用传声器之间已知的距离计算的每个方向的相位差分布,来预先准备模板。根据下面的等式(3)的计算等式,获得要被用于模板的每个方向的相位差分布φ(ω,θ)。
Φ ( ω , θ ) = d c ω · sin θ - - - ( 3 )
这里,d是构成传声器阵列的两个传声器M1和M2之间的距离;c是声速;以及θ是由计算相位差分布的方向相对于连接两个传声器M1和M2的位置的直线所形成的角度(度)。在下文中,这个角度被称为方向角。在变成方向估计的对象的角度范围之内先准备模板的方向角可以根据必要的角分辨率被定义。
在图4中图解了模板中使用的各个方向的相位差分布的实例。在本实施例中,对于在不小于-90度并且不大于90度的方向角的角度范围之内的每1度,预先准备模板。图4中图解的实例指示,当内传声器距离d是0.2m时,对于在不小于-90度并且不大于90度的角度范围之内的每1度计算的相位差分布。这里,为了方便起见,只列出有-60度、30度和90度的方向角θ的相位差分布,即,在这些方向角θ上的各个频率窗的相位差的值(不小于-π并且不大于π的值)。
如上计算的各个方向的相位差分布以与量化器131中相同的方法被量化,并且作为各个方向的模板,被存储在存储器14中,存储器被安置在声源方向估计设备之内或之外。通过量化每个方向的相位差分布所准备的模板Q(ω,θ,n)由下面的等式(4)表示。
注意,量化系数α被定义为与量化器131中定义的量化系数α相同的值。在本实施例中,量化系数α被定义为π/5。
在图5A到5C中图解了通过量化图4中图解的各个方向的相位差分布所生成的模板的实例。图5A指示与具有-60度的方向角θ的方向相对应的模板的实例。图5B指示与具有30度的方向角θ的方向相对应的模板的实例。图5C指示与具有90度的方向角θ的方向相对应的模板的实例。
这里,在本实施例中,各个方向的量化的相位差分布作为模板被存储在存储器14中,如图5A到5C中图解的。但是,本发明不局限于此。例如,如图4中图解的,各个方向的相位差分布可以作为模板被存储在存储器14。然后,当由生成器12生成的相位差分布通过量化器131被量化时,作为模板被存储在存储器14中的各个方向的相位差分布也可以通过量化器131被量化。
分数计算器132重复一个接一个地顺序地读取被存储在存储器14中的每个方向的模板、以将量化器131所量化的相位差分布与从存储器14中被读取到的模板进行比较的处理。因此,计算每个方向的分数。具体地,分数计算器132计算量化器131量化的相位差分布中的相位差和要被比较的模板中的相位差一致的频率窗的数目,作为与模板相对应的方向(方向角θ)上的分数。每个方向的分数ν(θ)通过下面的等式(5)的计算等式被计算。
v ( θ ) = Σ ω q ( ω , n ) , ifQ ( ω , θ , n ) = 1 - - - ( 5 )
在本实施例中,通过将相等的部分分数给予量化的相位差分布与模板一致的频率窗、并且累积这些部分分数,来计算每个方向的分数ν(θ)。图6中图解了通过将图3中图解的量化的相位差分布与图5A到5C中图解的模板进行比较所计算出的各个方向的分数的实例。图6指示通过以方向角的次序排列各个方向的分数并且插入被排列的分数所获得的波形(在下文中,被称为分数波形)。在具有-60度的方向角的方向上的分数是1(ν(-60)=1);在具有30度的方向角的方向上的分数是5(ν(30)=5);以及在具有90度的方向角的方向上的分数是1(ν(90)=1)。
估计器15估计声源的方向是在生成器12生成的相位差分布和模板之间具有高相似性的方向,也就是说,分数计算器132计算出的分数高的方向。估计器15估计出的声源的方向由下面的等式(6)表示。
θ ^ = arg max θ v ( θ ) - - - ( 6 )
输出单元16外部地输出由估计器15估计出的声源的方向。
图7是图解通过根据第一实施例的声源方向估计设备的处理过程的实例的流程图。在下文中,将沿着图7的流程图来描述根据第一实施例的声源方向估计设备的操作概要。
当图7中图解的处理开始时,获取单元11获取形成两个传声器M1和M2的两个信道的声信号(步骤S101)。
接下来,生成器12对于每个频率窗,计算在步骤S101中获取到的两个信道的声信号的相位差,以生成相位差分布(步骤S102)。
接下来,量化器131量化在步骤S102中生成的相位差分布,以生成量化的相位差分布(步骤S103)。
接下来,分数计算器132从存储器14中读取要被比较的一个模板(步骤S104)。然后,分数计算器132将在步骤S103中生成的量化的相位差分布与在步骤S104中从存储器14中读取到的模板进行比较,并且计算量化的相位差一致的频率窗的数目,作为与模板相对应的方向上的分数(步骤S105)。
此后,分数计算器132判定是否已经对于被存储在存储器14中的要被比较的所有的模板进行步骤S105的处理(步骤S106)。当有模板还没有被比较时(步骤S106:否),过程返回到步骤S104,以重复该处理。
另一方面,当已经对于被存储在存储器中的要被比较的所有的模板进行步骤S105的处理时(步骤S106:是),估计器15估计声源的方向是在步骤S105中计算出的分数之中获得最高分数的方向(步骤S107)。然后,输出单元16将步骤S107中估计出的声源的方向输出到声源方向估计设备之外(步骤S108),并且终止一系列处理。
如上所述,通过参考具体的实例,根据本实施例的声源方向估计设备将从多个传声器M1和M2获取到的多个信道的声信号的相位差分布与预先对于每个方向准备的模板进行比较。然后,声源方向估计设备对于每个方向,按照两者之间的相似性来计算分数,并且基于该分数来估计声源的方向。因此,根据本实施例的声源方向估计设备,能够以低的计算量来进行使用相位差分布的声源方向的估计。因此,即使当用于计算的硬件资源具有低的规格时,也能够实时地进行声源方向的精确估计。
特别地,根据本实施例的声源方向估计设备量化多个信道的声信号的相位差分布,并且将量化的相位差分布与每个方向的模板进行比较。然后,声源方向估计设备计算量化的相位差一致的频率窗的数目,作为与要被比较的模板相对应的方向上的分数。为此,分数计算所需的计算量非常低。
第二实施例
接下来,将描述第二实施例。在上述的第一实施例中,通过将相等的部分分数给予量化的相位差分布与模板一致的频率窗,并且累积这些部分分数,来计算每个方向的分数。但是,传声器M1和M2的性能、噪声、混响等等有时导致在相位差分布中生成异常值。这个异常值可以对声源方向的估计具有不利影响。为了解决这个顾虑,在本实施例中,对于每个频率窗,设定附加分数,以便计算对于量化的相位差分布与模板一致的各个频率窗所设定的附加分数的总和,作为与要被比较的模板相对应的方向上的分数。因而,抑制了异常值的影响。
在下文中,将在适当地省略通过在附图中赋予相同的参考数字而与第一实施例中的构成部分所共有的构成部分的重复描述的同时,描述本实施例的部分特征。
图8是图解根据第二实施例的声源方向估计设备的功能配置实例的框图。如图8中图解的,根据本实施例的声源方向估计设备包含比较器21,代替根据第一实施例的比较器13。除了那点之外,配置与第一实施例中的配置相似。比较器21包含与第一实施例中的量化器相似的量化器131、设定单元211和分数计算器212。
设定单元211基于获取单元11获取到的两个信道的声信号,为生成器12计算相位差的每个频率窗设定附加分数。附加分数被设定成,当频率窗中的相位差是异常值的可能性较低时,附加分数的值较高。
具体地,例如,与每个频率窗中的声信号的对数幂(log power)的大小相对应的值,诸如对数幂本身的值,或者与对数幂的值成比例的值,可以被设定为每个频率窗的附加分数。替代地,与每个频率窗中的声信号的信号/噪声比(S/N比)的大小相对应的值,诸如S/N比本身的值,或者与S/N比成比例的值,可以被设定为每个频率窗的附加分数。
与根据第一实施例的分数计算器132相似的分数计算器212,重复一个接一个地顺序地读取被存储在存储器14中的每个方向的模板、以将量化器131量化的相位差分布与从存储器14中被读取到的模板进行比较的处理。因此,计算每个方向的分数。但是,根据本实施例的分数计算器212计算由设定单元211对于量化器131所量化的相位差分布中的相位差和要被比较的模板中的相位差一致的各个频率窗所设定的附加分数的总和,作为与模板相对应的方向上的分数。
图9是图解通过根据第二实施例的声源方向估计设备的处理过程的实例的流程图。在下文中,将沿着图9的流程图来描述根据第二实施例的声源方向估计设备的操作概要。
因为图9中的从步骤S201到步骤S203的处理与图7中图解的从步骤S101到步骤S103的处理相似,所以将省略其描述。
在本实施例中,在步骤S203中生成量化的相位差分布之后,设定单元211基于步骤S201中获取到的声信号,对于各个频率窗设定附加分数(步骤S204)。注意,步骤S204的这个处理可以在步骤S202和步骤S203的处理之前进行,或者与步骤S202和步骤S203的处理并行进行。
接下来,分数计算器212从存储器14中读取要被比较的一个模板(步骤S205)。然后,分数计算器132将在步骤S203中生成的量化的相位差分布与在步骤S205中从存储器14中读取到的模板进行比较,并且计算在步骤S204中对于量化的相位差一致的频率窗所设定的附加分数的总和,作为对于与模板相对应的方向的分数(步骤S206)。
因为图9中的从步骤S207到步骤S209的处理与图7中图解的从步骤S106到步骤S108的处理相似,所以将省略其描述。
如上所述,根据本实施例的声源方向估计设备基于从传声器M1和M2获取到的声信号,对于各个频率窗设定附加分数,并且计算对于量化的相位差分布与模板一致的各个频率窗所设定的附加分数的总和,作为与要被比较的模板相对应的方向上的分数。因此,根据本实施例的声源方向估计设备,能够有效地抑制相位差分布中的异常值的影响。因而,能够比第一实施例更精确地进行声源方向的估计。
第三实施例
接下来,将描述第三实施例。在上述的第一实施例中,被存储在存储器14中的各个方向的所有的模板被顺序地读取作为量化的相位差分布的比较对象,用于进行处理。但是,当用户请求的角分辨率相对于已经预先准备模板的方向的角分辨率较低时,不必使用所有的模板作为比较对象来进行处理。因此,在本实施例中,为了进一步地减少计算量,接受用户对角分辨率的指定,并且以与指定的角分辨率相对应的数目来选择模板,用于进行处理。
在下文中,将在适当地省略通过在附图中赋予相同的参考数字而与第一实施例中的构成部分所共有的构成部分的重复描述的同时,描述本实施例的部分特征。注意,虽然下面将描述以与第一实施例中相似的方法来进行分数计算的实例,但是可以以与第二实施例中相似的方法来进行分数计算。
图10是图解根据第三实施例的声源方向估计设备的功能配置实例的框图。如图10中图解的,根据本实施例的声源方向估计设备除了第一实施例中的配置之外,还包含分辨率指定接受器31。此外,根据本实施例的声源方向估计设备包含比较器32,代替根据第一实施例的比较器13。除了那点之外,配置与第一实施例中的配置相似。比较器32包含与第一实施例中的量化器相似的量化器131和分数计算器321。
分辨率指定接受器31接受用户对角分辨率的指定。角分辨率表示声源的方向被估计的细度。角分辨率可以被指定有数值,或者可以以例如5度、10度、15度等等的方式从预定的角分辨率中选择出来。
分数计算器321在被存储在存储器14中的各个方向的模板之中,选择与用户指定的角分辨率相对应的数目的模板,作为由量化器131量化的相位差分布的比较对象。例如,在用户指定的角分辨率是10度的情况下,当每1度的方向角的模板被存储在存储器14中时,分数计算器321从被存储在存储器14中的模板中,选择方向角中的每10度的模板,即1/10数目的模板,作为比较对象。
然后,分数计算器321重复从存储器14中一个接一个地顺序地读取被选择作为比较对象的模板、以将量化器131量化的相位差分布与从存储器14中被读取到的模板进行比较的处理。从而,计算与用户指定的角分辨率相对应的每个方向的分数。注意,分数计算的方法与根据第一实施例的分数计算器132中的分数计算的方法相似。
图11是图解通过根据第三实施例的声源方向估计设备的处理过程的实例的流程图。在下文中,将沿着图11的流程图来描述根据第三实施例的声源方向估计设备的操作概要。
因为图11中的从步骤S301到步骤S303的处理与图7中图解的从步骤S101到步骤S103的处理相似,所以将省略其描述。
在本实施例中,在步骤S303中的生成量化的相位差分布之后,分辨率指定接受器31接受用户对角分辨率的指定(步骤S304)。注意,步骤S304的这个处理可以在步骤S301到步骤S303中的任何步骤的处理之前进行,或者与步骤S301到步骤S303中的任何步骤的处理平行进行。
接下来,分数计算器321按照步骤S304中指定的角分辨率,在被存储在存储器14中的各个方向的模板之中,选择要被比较的模板(步骤S305)。然后,分数计算器321从存储器14中读取步骤S305中选择出的一个模板(步骤S306),并且将在步骤S303中生成的量化的相位差分布与在步骤S306中从存储器14中读取到的模板进行比较,以计算量化的相位差一致的频率窗的数目,作为对于与模板相对应的方向的分数(步骤S307)。
此后,分数计算器321判定是否已经对在S305中被选择作为比较对象的所有的模板进行步骤S307的处理(步骤S308)。当有模板还没有被比较时(步骤S308:否),分数计算器321返回到步骤S306,以重复该处理。
另一方面,当已经对于在步骤S305中被选择作为比较对象的所有的模板进行步骤S307的处理时(步骤S308:是),估计器15估计声源的方向是在步骤S307中计算出的分数之中获得最高分数的方向(步骤S309)。然后,输出单元16将步骤S309中估计出的声源的方向输出到声源方向估计设备外(步骤S310),并且终止一系列处理。
如上所述,根据本实施例的声源方向估计设备按照用户指定的角分辨率来选择要被比较的模板,并且将量化的相位差分布与每个选择出的模板进行比较,以计算与指定的角分辨率相对应的每个方向的分数。因此,根据本实施例的声源方向估计设备,与第一实施例中的相比,声源方向的估计所需的计算量能够被进一步地减少。
第四实施例
接下来,将描述第四实施例。在上述的第一实施例中,基于声源的数目在估计器15估计声源的方向时为一个的假定,声源的方向被估计为在比较器13中的处理中获得最高分数的方向。但是,在实际的感测中,有时同时从多个声源发出声音。为了解决这个顾虑,第四实施例被配置成,接受用户对声源的数目的指定,以估计指定数目的声源的方向。
在下文中,将在适当地省略通过在附图中赋予相同的参考数字而与第一实施例中的构成部分所共有的构成部分的重复描述的同时,描述本实施例的部分特征。注意,虽然下面将描述以与第一实施例中相似的方法来进行分数计算的实例,但是可以以与第二实施例或者第三实施例中相似的方法来进行分数计算。
图12是图解根据第四实施例的声源方向估计设备的功能配置实例的框图。如图12中图解的,根据本实施例的声源方向估计设备除了第一实施例中的配置之外,还包含声源数目指定接受器41。此外,根据本实施例的声源方向估计设备包含估计器42,代替根据第一实施例的估计器15。除了那点之外,配置与第一实施例中的配置相似。
声源数目指定接受器41接受用户对声源的数目的指定。已经被声源数目指定接受器41所接受的用户指定的声源的数目被传送到估计器42。
估计器42通过以方向角的次序排列由比较器13的分数计算器132计算出的各个方向的分数、并且插入被排列的分数,来生成波形,并且检测这个分数波形的局部最大值。然后,估计器42在从分数波形中检测到的局部最大值之中,以分数递减的次序选择数目与用户指定的声源的数目相等的局部最大值,并且估计声源的方向是与选择出的局部最大值相对应的方向。
图13是图解由估计器42生成的分数波形的实例的图。在图13中图解的分数波形中,局部最大值存在于-60度、-30度和60度的方向角的位置。这里,当用户指定的声源的数目是两个时,估计器42在这三个局部最大值之中,以分数递减的次序选择两个局部最大值,即,在60度的方向角的位置处的局部最大值和在-30度的方向角的位置处的局部最大值。然后,估计器42估计声源的方向是与这两个选择出的局部最大值相对应的方向,即,具有60度的方向角的方向和具有-30度的方向角的方向。
图14是图解通过根据第四实施例的声源方向估计设备的处理过程的实例的流程图。在下文中,将沿着图14的流程图来描述根据第四实施例的声源方向估计设备的操作概要。
因为从图14中的步骤S401到步骤S403的处理与从图7中图解的步骤S101到步骤S103的处理相似,所以将省略其描述。
在本实施例中,在步骤S403中生成量化的相位差分布之后,声源数目指定接受器41接受用户对声源的数目的指定(步骤S404)。注意,步骤S404的这个处理可以在步骤S401到步骤S403中的任何步骤的处理之前被进行,或者平行于步骤S401到步骤S403中的任何步骤的处理被进行。同样,步骤S404的这个处理可以在随后描述的步骤S405到步骤S408中的任何步骤的处理之后被进行,或者平行于随后描述的步骤S405到步骤S408中的任何步骤的处理被进行,只要步骤S404的处理在随后描述的步骤S409的处理之前被进行。
因为从图14中的步骤S405到步骤S407的处理与从图7中图解的步骤S104到步骤S106的处理相似,所以将省略其描述。
在本实施例中,当在步骤S407中判定已经对于被存储在存储器14中的作为比较对象的所有的模板进行步骤S406的处理时(步骤S407:是),估计器42通过以方向角的次序排列在步骤S406中计算出的分数、并且插入被排列的分数来生成分数波形,并且检测分数波形的局部最大值(步骤S408)。然后,估计器42在检测到的局部最大值之中,选择数目等于步骤S404中指定的声源的数目的局部最大值,并且估计声源的方向是与选择出的局部最大值相对应的方向(步骤S409)。然后,输出单元16将步骤S409中估计出的声源的方向输出到声源方向估计设备之外(步骤S410),并且终止一系列处理。
如上所述,根据本实施例的声源方向估计设备从各个方向的分数生成分数波形,以检测局部最大值,并且在检测到的局部最大值之中,以分数递减的次序选择数目等于用户指定的声源的数目的局部最大值,并且估计声源的方向是与选择出的局部最大值相对应的方向。因此,根据本实施例的声源方向估计设备,即使当从多个声源同时发出声音时,也能够以小的计算量精确地估计这些声源的方向。
第五实施例
接下来,将描述第五实施例。第五实施例是如上述的第四实施例中的估计声源的多个方向,但是在不接受来自用户的声源的数目的指定的情况下,估计声源的多个方向。
在下文中,将在适当地省略通过在附图中赋予相同的参考数字而与第一实施例中的构成部分所共有的构成部分的重复描述的同时,描述本实施例的部分特征。注意,虽然下面将描述以与第一实施例中相似的方法来进行分数计算的实例,但是可以以与第二实施例或者第三实施例中相似的方法来进行分数计算。
图15是图解根据第五实施例的声源方向估计设备的功能配置实例的框图。如图15中图解的,根据本实施例的声源方向估计设备包含估计器51,代替根据第一实施例的估计器15。除了那点之外,配置与第一实施例中的配置相似。
与根据第四实施例的估计器42相似地,估计器51通过以方向角的次序排列由比较器13的分数计算器132计算出的各个方向的分数,并且插入被排列的分数,来生成波形,并且检测这个分数波形的局部最大值。但是,根据本实施例的估计器51在从分数波形中检测到的局部最大值之中,选择具有数目等于或者高于预定阈值的局部最大值,并且估计声源的方向是与选择出的局部最大值相对应的方向。
图16是图解由估计器51生成的分数波形的实例的图。在图16中图解的分数波形中,局部最大值存在于-60度、-30度和60度的方向角的位置。这里,当3被设定为分数的阈值时,估计器51在这三个局部最大值之中,选择具有3以上的分数的局部最大值,即,在60度的方向角的位置处的局部最大值和在-30度的方向角的位置处的局部最大值。然后,估计器51估计声源的方向是与这两个选择出的局部最大值相对应的方向,即,具有60度的方向角的方向和具有-30度的方向角的方向。
图17是图解通过根据第五实施例的声源方向估计设备的处理过程的实例的流程图。在下文中,将沿着图17的流程图来描述根据第五实施例的声源方向估计设备的操作概要。
因为从图17中的步骤S501到步骤S506的处理与从图7中图解的步骤S101到步骤S106的处理相似,所以将省略其描述。
在本实施例中,当在步骤S506中判定已经对于被存储在存储器14中的作为比较对象的所有的模板进行步骤S505的处理时(步骤S506:是),估计器51通过以方向角的次序排列在步骤S505中计算出的分数、并且插入被排列的分数来生成分数波形,并且检测分数波形的局部最大值(步骤S507)。然后,估计器42在检测到的局部最大值之中,选择具有等于或者高于预定阈值的分数的局部最大值,并且估计声源的方向是与选择出的局部最大值相对应的方向(步骤S508)。然后,输出单元16将步骤S508中估计出的声源的方向输出到声源方向估计设备外(步骤S509),并且终止一系列处理。
如上所述,根据本实施例的声源方向估计设备从各个方向的分数中生成分数波形,以检测局部最大值,并且在检测到的局部最大值之中,选择具有等于或者高于阈值的分数的局部最大值,并且估计声源的方向是与选择出的局部最大值相对应的方向。因此,根据本实施例的声源方向估计设备,即使当从多个声源同时发出声音时,也能够以小的计算量精确地估计这些声源的方向。
变形例
接下来,将描述上述实施例的变形例。在上述实施例中,从两个传声器M1和M2获取两个信道的声信号,以生成相位差分布。在这个实例中,当各个声源存在于相对于连接两个传声器M1和M2的位置的线对称的位置处时,从各个声源的声信号生成的相位差分布一致。因此,不可能区分声源的方向。例如,在图18中图解的实例中,从60度的方向角的位置处的声源SS1的声信号生成的相位差分布与从120度的方向角的位置处的声源SS2的声信号生成的相位差分布相同。因此,不可能唯一地判定声源的方向是60度还是120度。为此,在上述实施例中,用于估计声源的方向的角度范围被局限于不小于-90度并且不大于90度。
但是,通过增加用于获取声信号的传声器的数目,用于估计声源的方向的角度范围能够被扩展。在下文中,将描述有变形例,在该变形例中,使用三个传声器获取三个信道的声信号,以累积从这三个信道中的两个信道的声信号获得的分数,因此在360度的角度范围(在相同平面上的全方向)之内估计声源方向。
在图19中图解了在本变形例中的传声器的布置的实例。在本变形例中,假设三个传声器M1、M2和M3以图19中图解的位置关系被排列。同样,假定声源SS被定位成在60度的方向角的方向上。
首先,通过对于从两个传声器M1和M2获取到的两个信道的声信号进行与第一实施例中相似的处理,能够在不小于-90度并且不大于90度的角度范围之内,获得有各个方向的分数(与图6中相似的分数波形)。在本变形例中,考虑到传声器M1和传声器M2的布置,以这种方式获得的分数被转换成在-180度到180度的角度范围之内的分数(全方向分数)。在这种情况下,因为两个方向候选存在于相对于连接传声器M1和传声器M2的线对称的位置,所以获得的全方向分数包含图20中的(a)中图解的第一候选分数和图20中的(b)中图解的第二候选分数。
相似地,考虑到传声器M2和传声器M3的布置,通过对于从两个传声器M2和M3获取到的两个信道的声信号进行与第一实施例中相似的处理所获得的分数,被转换成的全方向分数,以便获得图21中的(a)中图解的第一候选分数和图21中的(b)中图解的第二候选分数。相似地,考虑到传声器M3和传声器M1的布置,通过对于从两个传声器M3和M1获取到的两个信道的声信号进行与第一实施例中相似的处理所获得的分数,被转换成全方向分数,以便获得图22中的(a)中图解的第一候选分数和图22中的(b)中图解的第二候选分数。
最后,通过累积从任何两个信道的声信号获得的全方向分数,生成图23中图解的合并分数。从任何两个信道的声信号获得的全方向分数包含两个候选,诸如如上所述的第一候选分数和第二候选分数。但是,声源SS实际存在的方向上的分数在两个信道的所有的组合中是相同的。为此,通过累积从任何两个信道的声信号的获得的全方向分数,能够获得有在声源SS存在的方向上的分数高的合并分数,如图23中图解的。在图23中图解的实例中,因为在60度的方向角的方向上的分数最高,所以声源SS的方向能够被估计为60度。
这里,在上述描述中,从三个传声器M1、M2和M3获取到的三个信道的声信号被用于全方向地估计在相同平面上的声源方向。但是,当从四个以上的传声器获取到的四个以上的信道的声信号被使用时,基于相似的原理,不仅能够在相同的平面上进行估计,而且还能够在空间方向上进行估计。同样,通过增加用于获取声信号的传声器的数目,从而增加用于生成相位差分布的声信号的组合的数目,并且累积分数,能够减少异常值的影响,以提高声源方向的估计精确度。
根据上述实施例的声源方向估计设备能够通过例如使用通用计算机装置作为基本硬件来被实现。即,根据实施例的声源方向估计设备能够通过使得安装在通用计算机装置中的处理器执行程序来被实现。这里,可以通过预先在计算机装置中安装上述程序来实现声源方向估计设备,或者可以通过将程序存储在诸如CD-ROM的存储介质中或者经由网络分布上述程序,以适当地在计算机装置中安装这个程序来实现声源方向估计设备。同样,可以通过在服务器计算机装置上执行上述程序,并且允许其结果经由网络被客户端计算机所接收,来实现声源方向估计设备。
同样,能够通过适当地利用内置在上述计算机装置中的或者被外部附接到上述计算机装置的存储器和硬盘,或者可以被提供作为计算机程序产品的诸如CD-R、CD-RW、DVD-RAM和DVD-R的存储介质,来存储要在根据上述实施例的声源方向估计设备中使用的各种信息。例如,能够通过适当地利用存储介质,来存储要被根据上述实施例的声源方向估计设备所使用的模板。
要在根据实施例的声源方向估计设备中被执行的程序具有模块结构,该模块结构包含构成声源方向估计设备的处理单元(获取单元11、生成器12、比较器13(比较器21和32)、估计器15(估计器42和51)、和输出单元16)。作为实际的硬件,例如,处理器从上述存储介质读取程序,并且执行读取出的程序,以在主存储器上加载并且生成上述处理单元。根据本实施例的声源方向估计设备还能够通过利用诸如ASIC(专用集成电路)和FPGA(现场可编程门阵列)的专用硬件来实现上述处理单元的一部分或者全部。
根据上述至少一个实施例声源方向估计设备,该设备包含获取单元、生成器、比较器和估计器。获取单元被配置成从多个传声器获取多个信道的声信号。生成器被配置成对于每个预定频率窗,计算多个信道的声信号的相位差,以生成相位差分布。比较器被配置成将相位差分布与预先对于每个方向生成的模板进行比较,并且按照相位差分布和每个方向的模板之间的相似性来计算分数。估计器被配置成基于分数来估计声源的方向。因此,能够以低的计算量来估计使用相位差分布的声源方向。
虽然已经描述了某些实施例,但是这些实施例仅仅通过实例的方式被呈现,而不意欲限制本发明的范围。实际上,此处描述的新颖的实施例可以以各种其他的形式被具体化;此外,在不背离本发明的精神的情况下,可以以此处描述的实施例的形式进行各种省略、替换和变化。附有的权利要求书和它们的同等物意欲覆盖将属于本发明的范围和精神的这种形式或者修改。

Claims (10)

1.一种声源方向估计设备,其特征在于,包括:
获取单元,所述获取单元被配置成从多个传声器获取多个信道的声信号;
生成器,所述生成器被配置成对于每个预定频率窗,计算所述多个信道的所述声信号的相位差,以生成相位差分布;
比较器,所述比较器被配置成将所述相位差分布与预先对于每个方向生成的模板进行比较,并且按照所述相位差分布和每个方向的所述模板之间的相似性来计算分数;以及
估计器,所述估计器被配置成基于计算出的所述分数来估计声源的方向。
2.如权利要求1所述的设备,其特征在于,
所述比较器被配置成计算每个分数,以致当所述相位差分布和所述模板之间的所述相似性较高时,与所述模板相对应的方向的所述每个分数变得较高,以及
所述估计器被配置成估计声源的所述方向是所述分数高的方向。
3.如权利要求2所述的设备,其特征在于,
所述比较器包含
量化器,所述量化器被配置成对所述相位差分布进行量化;以及
分数计算器,所述分数计算器被配置成将所述量化的相位差分布与通过对预先对于每个方向计算出的相位差分布进行所述量化所获得的所述模板进行比较,并且计算所述相位差分布中的所述量化的相位差和所述模板中的所述量化的相位差一致的频率窗的数目,作为所述分数。
4.如权利要求2所述的设备,其特征在于,
所述比较器包含
量化器,所述量化器被配置成对所述相位差分布进行量化;
设定单元,所述设定单元被配置成基于所述声信号对于每个频率窗设定附加分数;以及
分数计算器,所述分数计算器被配置成将所述量化的相位差分布与通过对预先对于每个方向计算出的相位差分布进行所述量化所获得的所述模板进行比较,并且计算对于所述相位差分布中的所述量化的相位差和所述模板中的所述量化的相位差一致的各个频率窗所设定的所述附加分数的总和,作为所述分数。
5.如权利要求4所述的设备,其特征在于,所述设定单元被配置成按照每个频率窗中的声信号的对数幂的大小来设定附加分数。
6.如权利要求4所述的设备,其特征在于,所述设定单元被配置成按照每个频率窗中的声信号的信号/噪声比的大小来设定所述附加分数。
7.如权利要求2到6中任一项所述的设备,其特征在于,所述估计器被配置成生成具有以方向角的次序排列的所述分数的分数波形,检测所述分数波形的局部最大值,在检测到的所述局部最大值之中,以所述分数递减的次序选择指定数目的局部最大值,并且估计声源的所述方向是与各个选择出的局部最大值相对应的方向。
8.如权利要求2到6中任一项所述的设备,其特征在于,所述估计器被配置成生成具有以方向角的次序排列的所述分数的分数波形,检测所述分数波形的局部最大值,在检测到的所述局部最大值之中,选择各自具有高于预定阈值的所述分数的局部最大值,并且估计声源的所述方向是与各个选择出的局部最大值相对应的方向。.
9.如权利要求1到6中任一项所述的设备,其特征在于,所述比较器被配置成在预先对于各个方向生成的所述模板之中,按照指定的角分辨率,选择多个模板,将所述相位差分布与每个选择出的模板进行比较,并且计算与所述指定的角分辨率相对应的各个方向的所述分数。
10.一种在声源方向估计设备中执行的声源方向估计方法,其特征在于,所述方法包括:
从多个传声器获取多个信道的声信号;
对于每个预定频率窗,计算所述多个信道的所述声信号的相位差,以生成相位差分布;
将所述相位差分布与预先对于每个方向生成的模板进行比较;
按照所述相位差分布和每个方向的所述模板之间的相似性,计算分数;以及
基于计算出的所述分数,估计声源的方向。
CN201510086405.6A 2014-02-26 2015-02-16 声源方向估计设备和声源方向估计方法 Withdrawn CN104865550A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-036032 2014-02-26
JP2014036032A JP6289936B2 (ja) 2014-02-26 2014-02-26 音源方向推定装置、音源方向推定方法およびプログラム

Publications (1)

Publication Number Publication Date
CN104865550A true CN104865550A (zh) 2015-08-26

Family

ID=53883554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510086405.6A Withdrawn CN104865550A (zh) 2014-02-26 2015-02-16 声源方向估计设备和声源方向估计方法

Country Status (3)

Country Link
US (1) US9473849B2 (zh)
JP (1) JP6289936B2 (zh)
CN (1) CN104865550A (zh)

Cited By (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109997370A (zh) * 2016-09-30 2019-07-09 搜诺思公司 多取向回放设备麦克风
CN110192397A (zh) * 2016-11-16 2019-08-30 Dts公司 用于扬声器位置估计的系统和方法
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10847143B2 (en) 2016-02-22 2020-11-24 Sonos, Inc. Voice control of a media playback system
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10891932B2 (en) 2017-09-28 2021-01-12 Sonos, Inc. Multi-channel acoustic echo cancellation
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10970035B2 (en) 2016-02-22 2021-04-06 Sonos, Inc. Audio response playback
US11006214B2 (en) 2016-02-22 2021-05-11 Sonos, Inc. Default playback device designation
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US11080005B2 (en) 2017-09-08 2021-08-03 Sonos, Inc. Dynamic computation of system response volume
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11133018B2 (en) 2016-06-09 2021-09-28 Sonos, Inc. Dynamic player selection for audio signal processing
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US11159880B2 (en) 2018-12-20 2021-10-26 Sonos, Inc. Optimization of network microphone devices using noise classification
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US11175888B2 (en) 2017-09-29 2021-11-16 Sonos, Inc. Media playback system with concurrent voice assistance
US11184969B2 (en) 2016-07-15 2021-11-23 Sonos, Inc. Contextualization of voice inputs
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11197096B2 (en) 2018-06-28 2021-12-07 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11200889B2 (en) 2018-11-15 2021-12-14 Sonos, Inc. Dilated convolutions and gating for efficient keyword spotting
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11302326B2 (en) 2017-09-28 2022-04-12 Sonos, Inc. Tone interference cancellation
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11308961B2 (en) 2016-10-19 2022-04-19 Sonos, Inc. Arbitration-based voice recognition
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11354092B2 (en) 2019-07-31 2022-06-07 Sonos, Inc. Noise classification for event detection
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11380322B2 (en) 2017-08-07 2022-07-05 Sonos, Inc. Wake-word detection suppression
US11405430B2 (en) 2016-02-22 2022-08-02 Sonos, Inc. Networked microphone device control
US11432030B2 (en) 2018-09-14 2022-08-30 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11482978B2 (en) 2018-08-28 2022-10-25 Sonos, Inc. Audio notifications
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11501773B2 (en) 2019-06-12 2022-11-15 Sonos, Inc. Network microphone device with command keyword conditioning
US11501795B2 (en) 2018-09-29 2022-11-15 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11531520B2 (en) 2016-08-05 2022-12-20 Sonos, Inc. Playback device supporting concurrent voice assistants
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US11551669B2 (en) 2019-07-31 2023-01-10 Sonos, Inc. Locally distributed keyword detection
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11556306B2 (en) 2016-02-22 2023-01-17 Sonos, Inc. Voice controlled media playback system
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11641559B2 (en) 2016-09-27 2023-05-02 Sonos, Inc. Audio playback settings for voice interaction
US11646023B2 (en) 2019-02-08 2023-05-09 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11646045B2 (en) 2017-09-27 2023-05-09 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US11664023B2 (en) 2016-07-15 2023-05-30 Sonos, Inc. Voice detection by multiple devices
US11676590B2 (en) 2017-12-11 2023-06-13 Sonos, Inc. Home graph
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11710487B2 (en) 2019-07-31 2023-07-25 Sonos, Inc. Locally distributed keyword detection
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11726742B2 (en) 2016-02-22 2023-08-15 Sonos, Inc. Handling of loss of pairing between networked devices
US11798553B2 (en) 2019-05-03 2023-10-24 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11984123B2 (en) 2021-11-11 2024-05-14 Sonos, Inc. Network device interaction by range

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6289936B2 (ja) * 2014-02-26 2018-03-07 株式会社東芝 音源方向推定装置、音源方向推定方法およびプログラム
JP6221158B2 (ja) * 2014-08-27 2017-11-01 本田技研工業株式会社 自律行動ロボット、及び自律行動ロボットの制御方法
US10609479B2 (en) * 2017-09-14 2020-03-31 Fujitsu Limited Device and method for determining a sound source direction
US10264354B1 (en) * 2017-09-25 2019-04-16 Cirrus Logic, Inc. Spatial cues from broadside detection
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
DK3704873T3 (da) 2017-10-31 2022-03-28 Widex As Fremgangsmåde til at betjene et høreapparatsystem og et høreapparatsystem
US10524051B2 (en) * 2018-03-29 2019-12-31 Panasonic Corporation Sound source direction estimation device, sound source direction estimation method, and recording medium therefor
JP7079189B2 (ja) * 2018-03-29 2022-06-01 パナソニックホールディングス株式会社 音源方向推定装置、音源方向推定方法及びそのプログラム
US11408963B2 (en) 2018-06-25 2022-08-09 Nec Corporation Wave-source-direction estimation device, wave-source-direction estimation method, and program storage medium
WO2020003342A1 (ja) * 2018-06-25 2020-01-02 日本電気株式会社 波源方向推定装置、波源方向推定方法、およびプログラム記録媒体
JP7243105B2 (ja) * 2018-09-27 2023-03-22 富士通株式会社 音源方向判定装置、音源方向判定方法、及び音源方向判定プログラム
WO2023243348A1 (ja) * 2022-06-14 2023-12-21 ソニーグループ株式会社 物体位置解析装置、および物体位置解析方法、並びにプログラム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347496A (en) * 1993-08-11 1994-09-13 The United States Of America As Represented By The Secretary Of The Navy Method and system of mapping acoustic near field
US5878367A (en) * 1996-06-28 1999-03-02 Northrop Grumman Corporation Passive acoustic traffic monitoring system
JP4815661B2 (ja) * 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
US7123727B2 (en) * 2001-07-18 2006-10-17 Agere Systems Inc. Adaptive close-talking differential microphone array
JP2003337164A (ja) * 2002-03-13 2003-11-28 Univ Nihon 音到来方向検出方法及びその装置、音による空間監視方法及びその装置、並びに、音による複数物体位置検出方法及びその装置
US7809145B2 (en) * 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
JP4035069B2 (ja) * 2003-02-27 2008-01-16 財団法人名古屋産業科学研究所 熱音響効果を利用した音波増幅・減衰器を備えた配管装置
DE10313331B4 (de) * 2003-03-25 2005-06-16 Siemens Audiologische Technik Gmbh Verfahren zur Bestimmung einer Einfallsrichtung eines Signals einer akustischen Signalquelle und Vorrichtung zur Durchführung des Verfahrens
US7054228B1 (en) * 2003-03-25 2006-05-30 Robert Hickling Sound source location and quantification using arrays of vector probes
JP4521549B2 (ja) * 2003-04-25 2010-08-11 財団法人くまもとテクノ産業財団 上下、左右方向の複数の音源の分離方法、そのためのシステム
JP3906230B2 (ja) 2005-03-11 2007-04-18 株式会社東芝 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4247195B2 (ja) 2005-03-23 2009-04-02 株式会社東芝 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録した記録媒体
JP4300194B2 (ja) * 2005-03-23 2009-07-22 株式会社東芝 音響再生装置、音響再生方法および音響再生プログラム
JP4234746B2 (ja) 2006-09-25 2009-03-04 株式会社東芝 音響信号処理装置、音響信号処理方法及び音響信号処理プログラム
JP4310371B2 (ja) * 2007-09-11 2009-08-05 パナソニック株式会社 音判定装置、音検知装置及び音判定方法
JP2009080309A (ja) 2007-09-26 2009-04-16 Toshiba Corp 音声認識装置、音声認識方法、音声認識プログラム、及び音声認識プログラムを記録した記録媒体
EP2202531A4 (en) 2007-10-01 2012-12-26 Panasonic Corp DETECTOR FOR SOUND SOUND ALIGNMENT
WO2009076523A1 (en) * 2007-12-11 2009-06-18 Andrea Electronics Corporation Adaptive filtering in a sensor array system
DE602008005250D1 (de) * 2008-01-04 2011-04-14 Dolby Sweden Ab Audiokodierer und -dekodierer
JP4816711B2 (ja) * 2008-11-04 2011-11-16 ソニー株式会社 通話音声処理装置および通話音声処理方法
KR101012709B1 (ko) * 2009-05-20 2011-02-09 국방과학연구소 위상비교 방향탐지기의 채널위상오차 제거 시스템 및 방법
US8265341B2 (en) * 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
JP5337072B2 (ja) * 2010-02-12 2013-11-06 日本電信電話株式会社 モデル推定装置、音源分離装置、それらの方法及びプログラム
CN102387506B (zh) * 2010-08-30 2015-06-03 中兴通讯股份有限公司 通信系统共存时的物理资源配置和信号发送方法及系统
US9111526B2 (en) * 2010-10-25 2015-08-18 Qualcomm Incorporated Systems, method, apparatus, and computer-readable media for decomposition of a multichannel music signal
KR101736911B1 (ko) * 2010-12-07 2017-05-19 한국전자통신연구원 빔포밍 음향 이미징을 이용한 보안 감시 시스템 및 이를 이용한 보안 감시 방법
JP5516455B2 (ja) * 2011-02-23 2014-06-11 トヨタ自動車株式会社 接近車両検出装置及び接近車両検出方法
JP5685177B2 (ja) * 2011-12-12 2015-03-18 本田技研工業株式会社 情報伝達システム
KR101905234B1 (ko) * 2011-12-22 2018-10-05 시러스 로직 인터내셔널 세미컨덕터 리미티드 풍 잡음 검출을 위한 방법 및 장치
JP6031761B2 (ja) * 2011-12-28 2016-11-24 富士ゼロックス株式会社 音声解析装置および音声解析システム
US9106196B2 (en) * 2013-06-20 2015-08-11 2236008 Ontario Inc. Sound field spatial stabilizer with echo spectral coherence compensation
JP6158006B2 (ja) * 2013-09-17 2017-07-05 株式会社東芝 音声処理装置、方法、及びプログラム
JP6289936B2 (ja) * 2014-02-26 2018-03-07 株式会社東芝 音源方向推定装置、音源方向推定方法およびプログラム

Cited By (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11513763B2 (en) 2016-02-22 2022-11-29 Sonos, Inc. Audio response playback
US10847143B2 (en) 2016-02-22 2020-11-24 Sonos, Inc. Voice control of a media playback system
US11405430B2 (en) 2016-02-22 2022-08-02 Sonos, Inc. Networked microphone device control
US11863593B2 (en) 2016-02-22 2024-01-02 Sonos, Inc. Networked microphone device control
US11184704B2 (en) 2016-02-22 2021-11-23 Sonos, Inc. Music service selection
US11514898B2 (en) 2016-02-22 2022-11-29 Sonos, Inc. Voice control of a media playback system
US11832068B2 (en) 2016-02-22 2023-11-28 Sonos, Inc. Music service selection
US11750969B2 (en) 2016-02-22 2023-09-05 Sonos, Inc. Default playback device designation
US11736860B2 (en) 2016-02-22 2023-08-22 Sonos, Inc. Voice control of a media playback system
US11212612B2 (en) 2016-02-22 2021-12-28 Sonos, Inc. Voice control of a media playback system
US11726742B2 (en) 2016-02-22 2023-08-15 Sonos, Inc. Handling of loss of pairing between networked devices
US11556306B2 (en) 2016-02-22 2023-01-17 Sonos, Inc. Voice controlled media playback system
US10971139B2 (en) 2016-02-22 2021-04-06 Sonos, Inc. Voice control of a media playback system
US11006214B2 (en) 2016-02-22 2021-05-11 Sonos, Inc. Default playback device designation
US10970035B2 (en) 2016-02-22 2021-04-06 Sonos, Inc. Audio response playback
US11545169B2 (en) 2016-06-09 2023-01-03 Sonos, Inc. Dynamic player selection for audio signal processing
US11133018B2 (en) 2016-06-09 2021-09-28 Sonos, Inc. Dynamic player selection for audio signal processing
US11664023B2 (en) 2016-07-15 2023-05-30 Sonos, Inc. Voice detection by multiple devices
US11979960B2 (en) 2016-07-15 2024-05-07 Sonos, Inc. Contextualization of voice inputs
US11184969B2 (en) 2016-07-15 2021-11-23 Sonos, Inc. Contextualization of voice inputs
US11531520B2 (en) 2016-08-05 2022-12-20 Sonos, Inc. Playback device supporting concurrent voice assistants
US11641559B2 (en) 2016-09-27 2023-05-02 Sonos, Inc. Audio playback settings for voice interaction
US11516610B2 (en) 2016-09-30 2022-11-29 Sonos, Inc. Orientation-based playback device microphone selection
US10873819B2 (en) 2016-09-30 2020-12-22 Sonos, Inc. Orientation-based playback device microphone selection
CN109997370B (zh) * 2016-09-30 2021-03-02 搜诺思公司 多取向回放设备麦克风
CN109997370A (zh) * 2016-09-30 2019-07-09 搜诺思公司 多取向回放设备麦克风
US11727933B2 (en) 2016-10-19 2023-08-15 Sonos, Inc. Arbitration-based voice recognition
US11308961B2 (en) 2016-10-19 2022-04-19 Sonos, Inc. Arbitration-based voice recognition
CN110192397A (zh) * 2016-11-16 2019-08-30 Dts公司 用于扬声器位置估计的系统和方法
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US11900937B2 (en) 2017-08-07 2024-02-13 Sonos, Inc. Wake-word detection suppression
US11380322B2 (en) 2017-08-07 2022-07-05 Sonos, Inc. Wake-word detection suppression
US11080005B2 (en) 2017-09-08 2021-08-03 Sonos, Inc. Dynamic computation of system response volume
US11500611B2 (en) 2017-09-08 2022-11-15 Sonos, Inc. Dynamic computation of system response volume
US11646045B2 (en) 2017-09-27 2023-05-09 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US11769505B2 (en) 2017-09-28 2023-09-26 Sonos, Inc. Echo of tone interferance cancellation using two acoustic echo cancellers
US11302326B2 (en) 2017-09-28 2022-04-12 Sonos, Inc. Tone interference cancellation
US10891932B2 (en) 2017-09-28 2021-01-12 Sonos, Inc. Multi-channel acoustic echo cancellation
US11538451B2 (en) 2017-09-28 2022-12-27 Sonos, Inc. Multi-channel acoustic echo cancellation
US11175888B2 (en) 2017-09-29 2021-11-16 Sonos, Inc. Media playback system with concurrent voice assistance
US11288039B2 (en) 2017-09-29 2022-03-29 Sonos, Inc. Media playback system with concurrent voice assistance
US11893308B2 (en) 2017-09-29 2024-02-06 Sonos, Inc. Media playback system with concurrent voice assistance
US11451908B2 (en) 2017-12-10 2022-09-20 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US11676590B2 (en) 2017-12-11 2023-06-13 Sonos, Inc. Home graph
US11689858B2 (en) 2018-01-31 2023-06-27 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11797263B2 (en) 2018-05-10 2023-10-24 Sonos, Inc. Systems and methods for voice-assisted media content selection
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US11715489B2 (en) 2018-05-18 2023-08-01 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US11792590B2 (en) 2018-05-25 2023-10-17 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US11696074B2 (en) 2018-06-28 2023-07-04 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11197096B2 (en) 2018-06-28 2021-12-07 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US11563842B2 (en) 2018-08-28 2023-01-24 Sonos, Inc. Do not disturb feature for audio notifications
US11482978B2 (en) 2018-08-28 2022-10-25 Sonos, Inc. Audio notifications
US11432030B2 (en) 2018-09-14 2022-08-30 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11551690B2 (en) 2018-09-14 2023-01-10 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11778259B2 (en) 2018-09-14 2023-10-03 Sonos, Inc. Networked devices, systems and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11790937B2 (en) 2018-09-21 2023-10-17 Sonos, Inc. Voice detection optimization using sound metadata
US11727936B2 (en) 2018-09-25 2023-08-15 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11031014B2 (en) 2018-09-25 2021-06-08 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11790911B2 (en) 2018-09-28 2023-10-17 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11501795B2 (en) 2018-09-29 2022-11-15 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11200889B2 (en) 2018-11-15 2021-12-14 Sonos, Inc. Dilated convolutions and gating for efficient keyword spotting
US11741948B2 (en) 2018-11-15 2023-08-29 Sonos Vox France Sas Dilated convolutions and gating for efficient keyword spotting
US11557294B2 (en) 2018-12-07 2023-01-17 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11538460B2 (en) 2018-12-13 2022-12-27 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US11159880B2 (en) 2018-12-20 2021-10-26 Sonos, Inc. Optimization of network microphone devices using noise classification
US11540047B2 (en) 2018-12-20 2022-12-27 Sonos, Inc. Optimization of network microphone devices using noise classification
US11646023B2 (en) 2019-02-08 2023-05-09 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US11798553B2 (en) 2019-05-03 2023-10-24 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11501773B2 (en) 2019-06-12 2022-11-15 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11854547B2 (en) 2019-06-12 2023-12-26 Sonos, Inc. Network microphone device with command keyword eventing
US11710487B2 (en) 2019-07-31 2023-07-25 Sonos, Inc. Locally distributed keyword detection
US11551669B2 (en) 2019-07-31 2023-01-10 Sonos, Inc. Locally distributed keyword detection
US11354092B2 (en) 2019-07-31 2022-06-07 Sonos, Inc. Noise classification for event detection
US11714600B2 (en) 2019-07-31 2023-08-01 Sonos, Inc. Noise classification for event detection
US11862161B2 (en) 2019-10-22 2024-01-02 Sonos, Inc. VAS toggle based on device orientation
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11869503B2 (en) 2019-12-20 2024-01-09 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11961519B2 (en) 2020-02-07 2024-04-16 Sonos, Inc. Localized wakeword verification
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11694689B2 (en) 2020-05-20 2023-07-04 Sonos, Inc. Input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US11983463B2 (en) 2021-10-04 2024-05-14 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US11984123B2 (en) 2021-11-11 2024-05-14 Sonos, Inc. Network device interaction by range

Also Published As

Publication number Publication date
US20150245152A1 (en) 2015-08-27
JP6289936B2 (ja) 2018-03-07
JP2015161551A (ja) 2015-09-07
US9473849B2 (en) 2016-10-18

Similar Documents

Publication Publication Date Title
CN104865550A (zh) 声源方向估计设备和声源方向估计方法
Fahy Sound intensity
EP2997327B1 (en) Apparatus and method for determining a room dimension estimate
US9355649B2 (en) Sound alignment using timing information
CN108871647A (zh) 用于测量螺栓的轴向力的方法
RU2019124534A (ru) Звукозапись с использованием формирования диаграммы направленности
CN113536223B (zh) 一种基于频域分解法的欠采样下结构模态识别方法及系统
Denimal et al. Kriging surrogate models for predicting the complex eigenvalues of mechanical systems subjected to friction-induced vibration
US10674261B2 (en) Transfer function generation apparatus, transfer function generation method, and program
Salvati et al. Exploiting a geometrically sampled grid in the steered response power algorithm for localization improvement
Maleika et al. Interpolation methods and the accuracy of bathymetric seabed models based on multibeam echosounder data
CN1441906A (zh) 波形检测装置和使用该装置的状态监视系统
CN114757241B (zh) 一种多普勒参数耦合线提取方法
Le Courtois et al. Autoregressive model for high-resolution wavenumber estimation in a shallow water environment using a broadband source
JP2010175431A (ja) 音源方向推定装置とその方法と、プログラム
JP3342864B2 (ja) 音声の類似度検出方法及びその検出値を用いた音声認識方法、並びに、振動波の類似度検出方法及びその検出値を用いた機械の異常判定方法、並びに、画像の類似度検出方法及びその検出値を用いた画像認識方法、並びに、立体の類似度検出方法及びその検出値を用いた立体認識方法、並びに、動画像の類似度検出方法及びその検出値を用いた動画像認識方法
Bellows et al. Spherical harmonic expansions of high-resolution musical instrument directivities
Becker et al. Evaluation of an autoregressive spectral estimator for modal wave number estimation in range-dependent shallow water waveguides
JP2018091647A (ja) 信号処理装置、方位算出方法及び方位算出プログラム
CN109752705B (zh) 高频水声阵列性能参数测量方法及系统、设备及存储介质
JP2021148577A (ja) 雑音評価装置および雑音評価方法
WO2020045120A1 (ja) 風速計測装置、および風速計測方法、並びにプログラム
JP6886890B2 (ja) 減衰時間分析方法、装置、及びプログラム
Raj et al. Super-resolution DOA estimation for arbitrary array geometries using a single noisy snapshot
Gillich et al. Problem of detecting damage through natural frequency changes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C04 Withdrawal of patent application after publication (patent law 2001)
WW01 Invention patent application withdrawn after publication

Application publication date: 20150826