CN110234043A - 基于麦克风阵列的声音信号处理方法、装置及设备 - Google Patents
基于麦克风阵列的声音信号处理方法、装置及设备 Download PDFInfo
- Publication number
- CN110234043A CN110234043A CN201910470619.1A CN201910470619A CN110234043A CN 110234043 A CN110234043 A CN 110234043A CN 201910470619 A CN201910470619 A CN 201910470619A CN 110234043 A CN110234043 A CN 110234043A
- Authority
- CN
- China
- Prior art keywords
- microphone
- signal
- target
- compensation
- combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 110
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 56
- 230000005540 biological transmission Effects 0.000 claims description 43
- 230000000903 blocking effect Effects 0.000 claims description 24
- 241000209140 Triticum Species 0.000 claims description 12
- 235000021307 Triticum Nutrition 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000019491 signal transduction Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/08—Mouthpieces; Microphones; Attachments therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
- H04R2201/401—2D or 3D arrays of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/21—Direction finding using differential microphone array [DMA]
Landscapes
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
本发明公开了一种基于麦克风阵列的声音信号处理方法、装置及设备,该方法包括:从麦克风阵列中,选取用于接收目标声源的声音信号的目标麦克风组合;目标麦克风组合中包括第一麦克风和至少一个第二麦克风;获取与目标麦克风组合对应的目标补偿信息;目标补偿信息中包括每个第二麦克风相对于第一麦克风的信号补偿参数;根据目标补偿信息,对通过第二麦克风接收的第二声音信号进行信号补偿处理;根据进行信号补偿处理后的第二声音信号和通过第一麦克风接收的第一声音信号,获取目标声音信号后输出。
Description
技术领域
本发明涉及信号处理技术领域,更具体地,涉及一种基于麦克风阵列的声音信号处理方法、装置及设备。
背景技术
目前,声音识别系统(例如智能音箱系统)中,通常设置有包括多个麦克风的麦克风阵列,可以针对声源发出的声音信号传播到达麦克风阵列的声波入射方向,调用麦克风阵列中对应的多个麦克风,接收相应方向的声音信号,将多个麦克风分别接收的多路声音信号进行波束形成处理,可以滤除其他方向的噪声信号,提高声音识别率。
但是,麦克风阵列通常需要被设置在与用户使用平面平行的平面上,形成平面阵列,并且保证在接收声音信号过程中不存在声波传播障碍,才能在调用麦克风阵列对声音信号处理时,获取预期的信号处理效果。
而在实际应用中,麦克风阵列通常会被所设置的产品的结构或外观限制,在麦克风阵列之间存在造成声波传播障碍的障碍结构,例如,产品在于用户使用平面平行的平面上需要设置显示屏幕等部件,没有空间设置麦克风阵列,麦克风阵列中的麦克风需要设置在产品的侧边或底部,导致麦克风阵列中的麦克风之间存在产品的其他部件构成的障碍结构。对应的,麦克风阵列在接收声音信号过程中,被障碍结构所带来的声波衍射或者反射影响,每个麦克风接收的声音信号之间的信号差别,不再能满足平面阵列中接收的各路声音信号之间的差别,影响基于麦克风阵列对声音信号进行波束形成处理的效果,降低声音识别率。
发明内容
本发明的一个目的是提供一种基于麦克风阵列的声音信号处理的新技术方案。
根据本发明的第一方面,提供了一种于麦克风阵列的声音信号处理方法,其包括:
从麦克风阵列中,选取用于接收目标声源的声音信号的目标麦克风组合;所述目标麦克风组合中包括第一麦克风和至少一个第二麦克风;
获取与所述目标麦克风组合对应的目标补偿信息;所述目标补偿信息中包括每个所述第二麦克风相对于所述第一麦克风的信号补偿参数;
根据所述目标补偿信息,对通过所述第二麦克风接收的第二声音信号进行信号补偿处理;
根据进行信号补偿处理后的所述第二声音信号和通过所述第一麦克风接收的第一声音信号,获取目标声音信号后输出。
根据本发明的第二方面,提供一种基于麦克风阵列的声音信号处理装置,其包括:
组合选取单元,用于从麦克风阵列中,选取用于接收目标声源的声音信号的目标麦克风组合;所述目标麦克风组合中包括第一麦克风和至少一个第二麦克风;
补偿获取单元,用于获取与所述目标麦克风组合对应的目标补偿信息;所述目标补偿信息中包括每个所述第二麦克风相对于所述第一麦克风的信号补偿参数;
补偿处理单元,用于根据所述目标补偿信息,对所述第二麦克风接收得到的第二声音信号进行信号补偿处理;
信号输出单元,用于根据进行信号补偿处理后的所述第二声音信号和所述第一麦克风接收到的第一声音信号,获取目标声音信号后输出。
根据本发明的第三方面,提供一种基于麦克风阵列的声音信号处理装置,其包括:
存储器,用于存储可执行的指令;
处理器,用于根据所述可执行的指令的控制,执行如第一方面所述的任意一项基于麦克风阵列的声音信号处理方法。
根据本发明的第四方面,提供一种声音信号的处理设备,其包括:
麦克风阵列;
如第二方面或者第三方面所述的基于麦克风阵列的声音信号处理装置。
根据本发明公开的一个实施例,对麦克风阵列中用于接收声音信号的麦克风组合,获取与该麦克风组合对应的信号补偿信息,对通过麦克风组合接收的各路声音信号进行针对性的信号补偿处理,可以消除麦克风组合中各个麦克风之间存在的障碍结构所带来的声波衍射或者反射影响,使得麦克风组合中每个麦克风接收的声音信号之间的信号差别,都能满足平面阵列接收到的各路声音信号之间的差别,保证基于麦克风阵列对声音信号进行处理(例如波束形成处理)的性能,对应提高声音识别率。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1是显示可用于实现本发明的实施例的声音信号的处理设备的硬件配置的例子的框图;
图2是根据本发明实施例的基于麦克风阵列的声音信号处理方法的流程示意图;
图3是麦克风阵列在自由场环境下接收目标声源的声音信号的例子的示意图;
图4是麦克风阵列在具有障碍结构环境下接收目标声源的声音信号的例子的示意图;
图5是根据本发明一个例子的基于麦克风阵列的声音信号处理方法的流程示意图;
图6是根据本发明实施例的基于麦克风阵列的声音信号处理装置的硬件结构示意图;
图7是根据本发明另一实施例的基于麦克风阵列的声音信号处理装置的硬件配置的例子的框图;
图8是根据本发明实施例的声音信号的处理设备的硬件结构示意图;
图9是根据本发明另一实施例的声音信号的处理设备的硬件结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
<硬件配置>
图1是示出可以实现本发明的实施例的声音信号的处理设备1000的硬件配置的框图。
声音信号的处理设备1000可以是具有麦克风阵列的智能音箱、电视盒子等其他智能设备。如图1所示,声音信号的处理设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。其中,处理器1100可以是中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信,具体地可以包括Wifi通信、蓝牙通信、2G/3G/4G/5G通信等。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘、体感输入等。用户可以通过扬声器1700和麦克风1800输入/输出语音信息。
图1所示的声音信号的处理设备仅仅是说明性的并且决不意味着对本发明、其应用或使用的任何限制。应用于本发明的实施例中,声音信号的处理设备1000的所述存储器1200用于存储指令,所述指令用于控制所述处理器1100进行操作以执行本发明实施例提供的任意一项基于麦克风阵列的声音信号处理方法。本领域技术人员应当理解,尽管在图1中对电子设备1000示出了多个装置,但是,本发明可以仅涉及其中的部分装置,例如,声音信号的处理设备1000只涉及处理器1100和存储装置1200。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
<方法实施例>
本实施例提供的一种基于麦克风阵列的声音信号处理方法。麦克风阵列是由多个麦克风构成的阵列。麦克风阵列可以是一组位于空间不同位置的全向麦克风按一定的布局规则布置形成的阵列,例如,麦克风阵列可以是平面阵列。通过麦克风阵列,可以在空间传播声音信号进行空间采样。
如图2所示,该声音信号处理方法可以包括如下步骤S2100-S2400。
步骤S2100,从麦克风阵列中,选取用于接收目标声源的声音信号的目标麦克风组合。
麦克风阵列中包括多个麦克风,麦克风之间按照预设的规则进行布局,在麦克风阵列中不同的麦克风进行组合,可以实现针对特定方向接收声音信号获取最佳的声音信号接收效果。目标麦克风组合用于接收目标声源的声音信号,是可以获取最佳的目标声音信号接收效果的麦克风组合。
目标麦克风组合中包括第一麦克风和至少一个第二麦克风。在目标麦克风组合中,第二麦克风的数目可以根据具体的麦克风阵列布局来选取,可以是一个或多个。
在更具体的例子中,从麦克风阵列中,选取用于接收目标声源的声音信号的目标麦克风组合的步骤S2100,可以包括如下步骤S2110-S2120。
步骤S2110,根据麦克风阵列接收到的目标声源的初始声音信号,确定目标声源的声波入射方向。
在本实施例中,初始声音信号为目标声源发出的声音信号。初始声音信号可以是唤醒设备的语音等。
目标声源的声波入射方向,是初始声音信号传播到达麦克风阵列的信号入射方向。
确定目标声源的声波入射方向,可以结合后续步骤,在麦克风阵列中选取与目标声源的声波入射方向对应的目标麦克风组合,确保通过目标麦克风组合接收目标声音信号,可以获取最佳的信号接收效果。
步骤S2110中确定目标声源的声波入射方向,可以包括步骤S2111a。
步骤S2111a,获取麦克风阵列中每个麦克风接收到的初始声音信号的接收信号强度;选取最大的接收信号强度对应的声波传播方向,作为声波入射方向。
选取接收到最大的接收信号强度所对应的声波传播方向,作为声波入射方向,可以快速获取声波入射方向来选取目标麦克风组合,实施简单、高效。尤其适用于目标声音信号是近场声音信号,各个麦克风之间接收的目标声音信号的信号强度差别较大的情况。近场声音信号是指麦克风阵列在近场环境时麦克风阵列中每个麦克风接收到的声音信号,一般认为目标声源距离麦克风阵列中心参考点的距离远小于声音信号波长时,为近场环境。
或者,步骤S2110中确定目标声源的声波入射方向,可以包括步骤S2111b。
步骤S2111b,对麦克风阵列中每个麦克风接收到的初始声音信号进行波束形成处理,得到多个初始声音波束;选取具有最大信号强度的初始声音波束对应的声波传播方向,作为声波入射方向。
选取对初始声音信号进行波束形成处理得到的、最大信号强度的初始声音波束所对应的声波传播方向,作为声波入射方向,可以精准地获取声波入射方向来选取目标麦克风组合,有效保证根据目标麦克风组合接收目标声音信号的性能。尤其适用于目标声音信号是远场声音信号,各个麦克风之间接收的目标声音信号的信号强度差别较小的情况。远场声音信号是指麦克风阵列为远场环境时,麦克风阵列中每个麦克风接收到的声音信号,一般认为目标声源距离麦克风阵列中心参考点的距离远大于声音信号波长时,为远场环境。
步骤S2120,从麦克风阵列中,从麦克风阵列中选取与声波入射方向对应的第一麦克风和第二麦克风,得到目标麦克风组合。
在麦克风阵列中选取与目标声源的声波入射方向对应的目标麦克风组合,确保通过目标麦克风组合接收目标声音信号,可以获取最佳的信号接收效果。
在选取用于接收目标声源的声音信号的目标麦克风组合之后,进入:
步骤S2200,获取与目标麦克风组合对应的目标补偿信息。
例如,目标麦克风组合包括第一麦克风和至少一个第二麦克风,目标补偿信息中包括每个第二麦克风相对于第一麦克风的信号补偿参数。每份信号补偿参数是用于相对于第一麦克风接收的声音信号,对于对应的第二麦克风接收的声音信号进行信号补偿使用的参数。通过信号补偿参数,对第二麦克风接收的声音信号进行补偿,可以弥补导致第一麦克风与第二麦克风之间存在的、不能满足平面阵列的信号差别。
在更具体的例子中,获取与目标麦克风组合对应的目标补偿信息的步骤S2200,可以包括如下步骤S2210-S2220。
步骤S2210,获取麦克风阵列的信号补偿信息集合。
信号补偿信息集合中包括麦克风阵列中可选取的每个麦克风组合的信号补偿信息。
麦克风组合包括分别作为第一麦克风以及第二麦克风的麦克风。信号补偿信息中至少包括麦克风组合中每个第二麦克风相对于第一麦克风的信号补偿参数。
在更具体的例子中,获取麦克风阵列的信号补偿信息集合的步骤S2210,可以进一步包括如下步骤S2211-S2213。
步骤S2211,确定麦克风阵列中可选取的所有麦克风组合。
例如,以图3所示的麦克风阵列为例,麦克风阵列包括六个麦克风,分别为麦克风301、麦克风302、麦克风303、麦克风304、麦克风305、麦克风306,该麦克风阵列可以包括三个可选的麦克风组合,具体地,第一麦克风组合包括麦克风301与麦克风304,第二麦克风组合包括麦克风302与麦克风305,第三麦克风组合包括麦克风303与麦克风306,这三个可选的麦克风组合可以对应不同的声波入射方向。
以第一麦克风组合为例说明麦克风组合的信号补偿信息,麦克风301作为第一麦克风与麦克风304作为第二麦克风,对应的信号补偿信息可以包括麦克风304相对于麦克风301的信号补偿参数。
第一麦克风组合对应的信号补偿信息还可以包括麦克风304相对于麦克风301的信号补偿参数以及麦克风301相对于麦克风304的信号补偿参数。
步骤S2212,对每个麦克风组合,获取声波从麦克风组合的第一麦克风传递到每个第二麦克风的自由传递函数以及障碍传递函数。
传递函数是以函数形式表达频向曲线。频响曲线是根据不同频率下,与传递函数对应的信号传递环境或者信号传递系统给予的响应绘制形成的曲线。通过传递函数,可以获取每个输入频率点对应的频域信号能量。通过传递函数得到频域信号能量可以通过dB形式表示,假设传递函数是H(x),在频率f下的频域信号能量是H(f),对应的dB形式是20lg(H(f)),单位是dB;或者,频域信号能量dB可以通过非dB形式表示,对应的是通过傅里叶变换或者其他频率变换得到的数值。
自由传递函数是在自由场环境下,声波从麦克风组合的第一麦克风传递到第二麦克风对应的传递函数。
自由场环境是指第一麦克风与第二麦克风之间不存在障碍结构阻碍声波传播的环境。自由传递函数反映在自由场环境中,声波从第一麦克风传递到第二麦克风时对应的传输路径或者传输系数针对不同频率给予的响应。
例如,以图3所示的麦克风阵列中,假设以包括麦克风301作为第一麦克风与麦克风304作为第二麦克风的第一麦克风组合,是目标麦克风组合,目标声源的入射波方向如箭头所示,麦克风301与麦克风304之间不存在障碍结构阻碍声波传播,两者处于自由场环境;在自由场环境下,麦克风301接收的声音信号和麦克风304接收的声音信号之间的信号差别,可以满足平面阵列中接收的各路声音信号之间的差别。在本例中,可以通过信号检测仪等器件,检测自由场环境中麦克风301与麦克风304接收不同频率同一目标声源的声音信号,获取自由传递函数。
障碍传递函数是在具有障碍结构环境下,麦克风组合的第一麦克风传递到第二麦克风对应的传递函数。
障碍结构环境是指第一麦克风与第二麦克风之间不存在障碍结构阻碍声波传播的环境。例如,产品在于用户使用平面平行的平面上需要设置显示屏幕等部件,没有空间设置麦克风阵列,麦克风阵列中的麦克风需要设置在产品的侧边或底部,导致麦克风阵列中的麦克风之间存在产品的其他部件构成的障碍结构。
障碍传递函数反映在障碍结构环境中,声波从第一麦克风传递到第二麦克风时对应的传输路径或者传输系数针对不同频率给予的响应。
例如,以图4所示的麦克风阵列中,假设以包括麦克风301作为第一麦克风与麦克风304作为第二麦克风的第一麦克风组合,是目标麦克风组合,目标声源的入射波方向如箭头所示,麦克风301与麦克风304之间存在障碍结构阻碍声波传播,两者处于障碍结构环境。在障碍结构环境下,麦克风301接收的声音信号和麦克风304接收的声音信号之间的信号差别,不能满足平面阵列中接收的各路声音信号之间的差别。在本例中,可以通过信号检测仪等器件,检测障碍结构环境中麦克风301与麦克风304接收不同频率同一目标声源的声音信号,获取障碍传递函数。
步骤S2213,根据每个麦克风组合的自由传递函数以及障碍传递函数,获取麦克风组合中每个第二麦克风相对于第一麦克风的信号补偿参数,作为麦克风组合的信号补偿信息。
在本实施例中,每个第二麦克风相对于第一麦克风的信号补偿参数。可以是每个第二麦克风相对于第一麦克风的障碍传递函数与自由传递函数之差,通过信号补偿参数,可以补偿第二麦克风与第一麦克风之间的障碍结构对声波传播影响而导致的信号差别,使得第二麦克风与第一麦克风之间的信号差别能满足平面阵列的要求,有效保证后续声音信号的处理性能。
在获取每个麦克风组合对应的信号补偿信息,就能得到信号补偿信息集合。
获取信号补偿信息集合,可以在基于麦克风阵列对声音信号进行接收处理过程中,针对任意的目标麦克风组合,能快速、高效地从信号补偿信息结合中获取对应的目标补偿信息,对目标麦克风组合中接收的各路声音信号进行针对性的信号补偿处理,以满足平面阵列对麦克风阵列中接收的各路声音信号之间的信号差别的要求,保证后续声音信号的处理性能的基础上,提高声音信号处理效率。
在这个例子中,可以预先获取与每个麦克风组合对应的自由传递函数、障碍传递函数后存储在本地,供获取信号补偿信息集合时,实时读取来计算每个麦克风组合的信号补偿信息,或者,可以预先根据上述步骤计算获取信号补偿信息集合后存储在本地,供获取信号补偿信息集合来确定目标补偿信息时,实时从本地读取使用。
例如,以图3所示的麦克风阵列为例,麦克风阵列包括六个麦克风,分别为麦克风301、麦克风302、麦克风303、麦克风304、麦克风305、麦克风306,该麦克风阵列可以包括6个可选的麦克风组合,具体地,第一麦克风组合包括作为第一麦克风的麦克风301与作为第二麦克风的麦克风304,第二麦克风组合包括作为第一麦克风的麦克风302与作为第二麦克风的麦克风305,第三麦克风组合包括第一麦克风的麦克风303与作为第二麦克风的麦克风306,第四麦克风组合包括作为第二麦克风的麦克风301与作为第一麦克风的麦克风304,第五麦克风组合包括作为第二麦克风的麦克风302与作为第一麦克风的麦克风305,第六麦克风组合包括第二麦克风的麦克风303与作为第一麦克风的麦克风306。这六个可选的麦克风组合可以对应不同的声波入射方向。
对于第一麦克风组合,麦克风301作为第一麦克风与麦克风304作为第二麦克风,对应的信号补偿信息可以包括麦克风304相对于麦克风301的信号补偿参数。例如,该信号补偿参数可以是麦克风304相对于麦克风301的自由传递函数H与障碍传递函数H1的函数差W=H-H1。
类似地,对于第二、三、四、五、六的麦克风组合可以通过类似的方法获取对应的信号补偿信息,最后得到第一、二、三、四、五、六麦克风组合的信号补偿信息后,可以对应得到该麦克风阵列的信号补偿信息集合。
步骤S2220,从信号补偿信息集合中,选取与目标麦克风组合对应的信号补偿信息,作为目标补偿信息。
通过获取信号补偿信息集合,可以针对特定的目标麦克风组合,快速、高效地从信号补偿信息结合中获取对应的目标补偿信息,结合后续步骤,对目标麦克风组合中接收的各路声音信号进行针对性的信号补偿处理,以满足平面阵列对麦克风阵列中接收的各路声音信号之间的信号差别的要求,保证后续声音信号的处理性能的基础上,提高声音信号处理。
在获取与目标麦克风组合对应的目标补偿信息之后,进入:
步骤S2300,根据目标补偿信息,对通过第二麦克风接收的第二声音信号进行信号补偿处理。
在本实施例中,目标补偿信息包括目标麦克风组合中第二麦克风相对于第一麦克风的信号补偿参数。例如,该信号补偿参数可以是第二麦克风相对于第一麦克风的自由传递函数与障碍传递函数的函数差。
根据目标补偿信息,对通过第二麦克风接收的第二声音信号进行信号补偿处理,可以令进行信号补偿处理后的第二声音信号中,消除第二麦克风与第一麦克风之间存在的障碍结构导致的影响,相对第一麦克风接收到的第一声音信号之间的信号差,满足平面阵列对声音信号之间的信号差的要求,有效保证后续基于第一、二麦克风接收到的声音信号进行处理的性能,响应调高声音识别率。
应当理解的是,在目标麦克风组合包括第一麦克风和多个第二麦克风的情况下,对通过第二麦克风接收的第二声音信号进行信号补偿处理可以是,分别对每个第二麦克风接收的第二声音信号进行信号补偿处理。
在更具体的例子中,根据目标补偿信息,对通过第二麦克风接收的第二声音信号进行信号补偿处理的步骤S2300,可以包括:
根据信号补偿参数,对第二声音信号的频域信号进行频率补偿,得到补偿处理后的第二声音信号。
例如,假设第二麦克风相对于第一麦克风的信号补偿参数,是第二麦克风相对于第一麦克风的自由传递函数H与障碍传递函数H1的函数差W=H-H1,在该函数差W可以通过dB形式表达,对第二声音信号的频域信号进行频率补偿,可以将第二声音信号的频谱信号的dB形式,与对应的信号补偿参数W相加。例如,可以针对信号补偿参数W设计滤波器,以滤波器的形式将W添加的第二声音信号中。
或者,假设第二麦克风相对于第一麦克风的信号补偿参数是第二麦克风相对于第一麦克风的自由传递函数H与障碍传递函数H1的函数差W=H-H1,在该函数差W可以是非dB形式,对第二声音信号的频域信号进行频率补偿具体为,将第二声音信号的频域信号(非dB形式)与信号补偿参数在频域上相乘。具体可以是根据信号补偿参数设置对应的滤波器或者均衡器的参数来实现。
对通过第二麦克风接收的第二声音信号进行信号补偿处理,可以令进行信号补偿处理后的第二声音信号中,消除第二麦克风与第一麦克风之间存在的障碍结构导致的影响,相对第一麦克风接收到的第一声音信号之间的信号差,满足平面阵列对声音信号之间的信号差的要求,有效保证后续基于第一、二麦克风接收到的声音信号进行处理的性能,响应调高声音识别率
在对通过第二麦克风接收的第二声音信号进行信号补偿处理之后,进入:
步骤S2400,根据进行信号补偿处理后的第二声音信号和通过第一麦克风接收的第一声音信号,获取目标声音信号后输出。
在更具体的例子中,根据进行信号补偿处理后的第二声音信号和通过第一麦克风接收的第一声音信号,获取目标声音信号后输出的步骤S2400,可以包括:步骤S2410。
步骤S2410,对进行信号补偿处理后的第二声音信号,和第一麦克风接收到的第一声音信号进行波束形成处理,得到目标声音信号后输出。
在本例中,波束形成算法可以基于声波传输速度的稳定性以及麦克风阵列中的麦克风之间相对距离的固定性,利用声音信号传输到达麦克风阵列中的两个麦克风之间的时间差以及相位差,提取两个麦克风接收的声音信号中相关性较强的部分进行合并处理,可以实现声音信号增强以及降低信号噪声的效果。
进行信号补偿处理后的第二声音信号,已经消除第二麦克风与第一麦克风之间存在的障碍结构导致的影响,相对第一麦克风接收到的第一声音信号之间的信号差,满足平面阵列对声音信号之间的信号差的要求,在此基础上,与第一麦克风接收到的第一声音信号进行波束形成处理,可以有效实现声音信号的增强以及降噪,保证输出的目标声音信号的信号性能,响应提高声音识别率。
在更具体的例子中,根据进行信号补偿处理后的第二声音信号和通过第一麦克风接收的第一声音信号,获取目标声音信号后输出的步骤S2400,还可以包括:步骤S2420。
步骤S2420,对波束形成处理后得到的声音信号,根据目标补偿信息进行信号去补偿处理,得到目标声音信号后输出。
例如,目标补偿信息包括第二麦克风相对于第一麦克风的信号补偿参数,该信号补偿参数通过dB形式表达,信号补偿处理是对第二麦克风的第二声音信号的频域信号的dB形式上加上信号补偿参数的dB形式,对应的,根据目标补偿信息对波束形成处理后得到的声音信号进行信号去补偿处理,可以将将波束形成处理后得到的声音信号的频域信号的dB形式,减去对应的信号补偿参数。
或者,该信号补偿参数通过非dB形式表达,信号补偿处理是对第二麦克风的第二声音信号的频域信号在频域上与信号补偿参数相乘,对应的,根据目标补偿信息对波束形成处理后得到的声音信号进行信号去补偿处理,可以将将波束形成处理后得到的声音信号的频域信号除以对应的信号补偿参数。
上述对信号去补偿处理的具体实现,可以根据目标补偿信息包括的额的信号补偿参数,设置对应的滤波器或者均衡器来完成。
通过对由第一、二声音信号进行波束形成处理后得到的声音信号,实施去除频率补偿,可以对波束形成处理前对第二声音信号补偿处理中可能出现的过补偿进行消除,有效保证输出的声音信号的性能。
以上已经结合附图描述了本发明的实施例提供的基于麦克风阵列的声音信号的处理方法,对麦克风阵列中用于接收声音信号的麦克风组合,获取与该麦克风组合对应的信号补偿信息,对通过麦克风组合接收的各路声音信号进行针对性的信号补偿处理,可以消除麦克风组合中各个麦克风之间存在的障碍结构所带来的声波衍射或者反射影响,使得麦克风组合中每个麦克风接收的声音信号之间的信号差别,都能满足平面阵列接收到的各路声音信号之间的差别,保证基于麦克风阵列对声音信号进行处理(例如波束形成处理)的性能,对应提高声音识别率。
<例子>
以下将结合图5进一步说明本实施例中提供的基于麦克风阵列的声音信号处理方法。
在本例中,以图4所示的麦克风阵列为例,麦克风阵列包括组成同轴圆阵的六个麦克风,分别为麦克风301、麦克风302、麦克风303、麦克风304、麦克风305、麦克风306。如图4所示,该麦克风阵列在具有障碍结构的环境下接收声音信号,每个麦克风接收到的语音信号之间的信号差别,不再能满足平面阵列中接收的各路声音信号之间的差别,影响后续对麦克风接收的语音信号进行处理(例如波束形成处理)的效果。
该声音信号处理方法可以包括如下步骤:步骤S5010-步骤S5090。
步骤S5010,根据该麦克风阵列接收到的唤醒设备的语音信号,确定语音信号的声波入射方向。
步骤S5020,选取与语音信号的声波入射方向对应的麦克风301与麦克风304组成的第一麦克风组合,作为目标麦克风组合。
其中,麦克风301是第一麦克风,麦克风304是第二麦克风。
步骤S5030,接收目标麦克风组合中麦克风301接收的第一声音信号和麦克风304接收的第二声音信号。
步骤S5040,获取麦克风阵列的信号补偿信息集合,该信号补偿信息集合包括确第一麦克风组合、第二麦克风组合和第三麦克风组合对应的信号补偿信息。
步骤S5050,从信号补偿信息集合中,选取与目标麦克风组合对应的目标补偿信息,目标补偿信息包括麦克风304相对于麦克风301的信号补偿参数W。
步骤S5060,根据目标补偿信息为麦克风304相对于麦克风301的信号补偿参数W,对通过麦克风304接收的第二声音信号的频域信号进行频率补偿处理,得到频率补偿后的第二声音信号。
步骤S5070,对频率补偿后的第二声音信号,和麦克风301接收到的第一声音信号进行波束形成处理,得到预处理信号。
步骤S5080,根据目标补偿信息进行预处理信号的去补偿处理。
步骤S5090,获得目标声音信号并输出。
在这个例子中,针对用于接收目标声源的声音信号的目标麦克风组合,获取该麦克风组合中第二麦克风相对于第一麦克风的信号补偿参数,对目标麦克风组合中的第二麦克风接收的第二声音信号,进行针对性的信号补偿处理,消除麦克风组合中第二麦克风接与第一麦克风之间存在的障碍结构所带来的声波衍射或者反射影响,使得麦克风组合中每个麦克风接收的声音信号之间的信号差别,能满足平面阵列接收到的各路声音信号之间的差别,保证基于麦克风阵列对声音信号进行处理(例如波束形成处理)的性能,对应提高声音识别率。
<基于麦克风阵列的声音信号处理装置>
在本实施例中,还提供基于麦克风阵列的声音信号处理装置6000,如图6所示。声音信号处理装置6000可以包括组合选取单元6010、补偿获取单元6020、补偿处理单元6030、信号输出单元6040,用于实施本实施例中提供的声音信号处理方法,在此不再赘述。
该组合选取单元6010可以用于从麦克风阵列中,选取用于接收目标声源的声音信号的目标麦克风组合;目标麦克风组合中包括第一麦克风和至少一个第二麦克风。
在本实施例中,该组合选取单元6010可以包括入射方向确定子单元6011和目标组合确定子单元6012。
该入射方向确定子单元6011可以用于根据麦克风阵列接收到的目标声源的初始声音信号,确定目标声源的声波入射方向。
该目标组合确定子单元6012可以用于从麦克风阵列中,从麦克风阵列中选取与声波入射方向对应的第一麦克风和第二麦克风,得到目标麦克风组合。
该补偿获取单元6020可以用于获取与目标麦克风组合对应的目标补偿信息。
目标补偿信息中包括每个第二麦克风相对于第一麦克风的信号补偿参数。
在本实施例中,该补偿获取单元6020可以包括补偿集合获取子单元6021和目标补偿信息选取子单元6022。
该补偿集合获取子单元6021可以用于获取麦克风阵列的信号补偿信息集合。
其中,信号补偿信息集合中包括麦克风阵列中可选取的每个麦克风组合的信号补偿信息;麦克风组合包括分别作为第一麦克风以及第二麦克风的麦克风;信号补偿信息中至少包括麦克风组合的第二麦克风相对于第一麦克风的所述信号补偿参数。
在更具体的例子中,该补偿集合获取子单元6021可以包括:
可以用于确定所述麦克风阵列中可选取的所有所述麦克风组合的单元;
可以用于对每个麦克风组合,获取声波从麦克风组合的第一麦克风传递到每个第二麦克风的自由传递函数以及障碍传递函数的单元;
可以用于根据每个麦克风组合的自由传递函数以及障碍传递函数,获取麦克风组合中每个第二麦克风相对于第一麦克风的信号补偿参数,作为麦克风组合的信号补偿信息,得到包括每个麦克风组合的信号补偿信息的信号补偿信息集合的单元。
该目标补偿信息选取子单元6022可以用于从信号补偿信息集合中,选取与目标麦克风组合对应的信号补偿信息,作为目标补偿信息。
该补偿处理单元6030可以用于根据目标补偿信息,对第二麦克风接收得到的第二声音信号进行信号补偿处理。
在更具体的例子中,该补偿处理单元6030包括可以用于根据信号补偿参数,对第二声音信号的频域信号进行频率补偿,得到补偿处理后的第二声音信号的子单元。
信号输出单元6040可以用于根据进行信号补偿处理后的第二声音信号和第一麦克风接收到的第一声音信号,获取目标声音信号后输出。
在更具体的例子中,该补偿处理单元6030包括可以用于对进行信号补偿处理后的第二声音信号,和第一麦克风接收到的第一声音信号进行波束形成处理,得到目标声音信号后输出的子单元。
在更具体的例子中,该补偿处理单元6030还包括可以用于对波束形成处理后得到的声音信号,根据目标补偿信息进行信号去补偿处理,得到目标声音信号后输出的子单元。
本领域技术人员应当明白,可以通过各种方式来实现基于麦克风阵列的声音信号处理装置6000。例如,可以通过指令配置处理器来实现基于麦克风阵列的声音信号处理装置6000。例如,可以将指令存储在ROM中,并且当启动设备时,将指令从ROM读取到可编程器件中来实现基于麦克风阵列的声音信号处理装置6000。例如,可以将基于麦克风阵列的声音信号处理装置6000固化到专用器件(例如ASIC)中。可以将基于麦克风阵列的声音信号处理装置6000分成相互独立的单元,或者可以将它们合并在一起实现。基于麦克风阵列的声音信号处理装置6000可以通过上述各种实现方式中的一种来实现,或者可以通过上述各种实现方式中的两种或更多种方式的组合来实现。
在本实施例中,还提供另一种基于麦克风阵列的声音信号处理装置7000,如图7所示,包括:
存储器7010,用于存储可执行指令;
处理器7020,用于根据所述可执行指令的控制,运行声音信号处理设备执行如本实施例中提供的基于麦克风阵列的声音信号处理方法。
在本实施例中,声音信号处理装置7000可以是具有麦克风阵列的智能音箱、电视盒子等其他智能设备等中的具有声音信号处理功能的模块。
<声音信号的处理设备>
在本实施例中,还提供一种声音信号的处理设备8000,声音信号的处理设备8000包括:
麦克风阵列8010,用于接收声音信号;
本实施例中提供的声音信号处理装置6000或者声音信号处理装置7000。
包括声音信号处理装置6000的声音信号的处理设备8000可以如图8所示,包括声音信号处理装置7000的声音信号的处理设备8000可以如图9所示。
本实施例中,声音信号的处理设备8000具有麦克风阵列的智能音箱、电视盒子等其他智能设备。本实施例可以通过声音信号的处理设备8000实施对应的声音信号处理方法,在此不再赘述。
以上已经结合附图和例子说明本实施例中提供的基于麦克风阵列的声音信号处理方法、装置及设备,对麦克风阵列中用于接收声音信号的麦克风组合,获取与该麦克风组合对应的信号补偿信息,对通过麦克风组合接收的各路声音信号进行针对性的信号补偿处理,可以消除麦克风组合中各个麦克风之间存在的障碍结构所带来的声波衍射或者反射影响,使得麦克风组合中每个麦克风接收的声音信号之间的信号差别,都能满足平面阵列接收到的各路声音信号之间的差别,保证基于麦克风阵列对声音信号进行处理(例如波束形成处理)的性能,对应提高声音识别率。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
Claims (10)
1.一种基于麦克风阵列的声音信号处理方法,其特征在于,包括:
从麦克风阵列中,选取用于接收目标声源的声音信号的目标麦克风组合;所述目标麦克风组合中包括第一麦克风和至少一个第二麦克风;
获取与所述目标麦克风组合对应的目标补偿信息;所述目标补偿信息中包括每个所述第二麦克风相对于所述第一麦克风的信号补偿参数;
根据所述目标补偿信息,对通过所述第二麦克风接收的第二声音信号进行信号补偿处理;
根据进行信号补偿处理后的所述第二声音信号和通过所述第一麦克风接收的第一声音信号,获取目标声音信号后输出。
2.根据权利要求1所述的方法,其特征在于,所述获取与所述目标麦克风组合对应的目标补偿信息,包括:
获取所述麦克风阵列的信号补偿信息集合;所述信号补偿信息集合中包括所述麦克风阵列中可选取的每个麦克风组合的信号补偿信息;所述麦克风组合包括分别作为所述第一麦克风以及所述第二麦克风的麦克风;所述信号补偿信息中至少包括所述麦克风组合中每个所述第二麦克风相对于所述第一麦克风的所述信号补偿参数;
从所述信号补偿信息集合中,选取与所述目标麦克风组合对应的信号补偿信息,作为所述目标补偿信息。
3.根据权利要求2所述的方法,其特征在于,所述获取所述麦克风阵列的信号补偿信息集合,包括:
确定所述麦克风阵列中可选取的所有所述麦克风组合;
对每个所述麦克风组合,获取声波从所述麦克风组合的所述第一麦克风传递到每个所述第二麦克风的自由传递函数以及障碍传递函数;
其中,所述自由传递函数是在自由场环境下,声波从所述麦克风组合的所述第一麦克风传递到所述第二麦克风对应的传递函数;所述障碍传递函数是在具有障碍结构环境下,所述麦克风组合的所述第一麦克风传递到所述第二麦克风对应的传递函数;
根据每个所述麦克风组合的所述自由传递函数以及障碍传递函数,获取所述麦克风组合中每个所述第二麦克风相对于所述第一麦克风的信号补偿参数,作为所述麦克风组合的所述信号补偿信息,得到包括每个所述麦克风组合的信号补偿信息的所述信号补偿信息集合。
4.根据权利要求1所述的方法,其特征在于,所述根据所述目标补偿信息,对所述第二麦克风接收得到的第二声音信号进行信号补偿处理,包括:
根据所述信号补偿参数,对所述第二声音信号的频域信号进行频率补偿,得到补偿处理后的所述第二声音信号。
5.根据权利要求1所述的方法,其特征在于,所述根据进行信号补偿处理后的所述第二声音信号和所述第一麦克风接收到的第一声音信号,获取目标声音信号并输出,包括:
对进行信号补偿处理后的所述第二声音信号,和所述第一麦克风接收到的第一声音信号进行波束形成处理,得到所述目标声音信号后输出。
6.根据权利要求5的方法,其特征在于,在波束形成处理之后,还包括:
对波束形成处理后得到的声音信号,根据所述目标补偿信息进行信号去补偿处理,得到所述目标声音信号后输出。
7.根据权利要求1所述的方法,其特征在于,所述从麦克风阵列中,选取用于接收目标声源的声音信号的目标麦克风组合,包括:
根据所述麦克风阵列接收到的目标声源的初始声音信号,确定所述目标声源的声波入射方向;
从所述麦克风阵列中,从所述麦克风阵列中选取与所述声波入射方向对应的所述第一麦克风和所述第二麦克风,得到所述目标麦克风组合。
8.一种基于麦克风阵列的声音信号处理装置,其特征在于,包括:
组合选取单元,用于从麦克风阵列中,选取用于接收目标声源的声音信号的目标麦克风组合;所述目标麦克风组合中包括第一麦克风和至少一个第二麦克风;
补偿获取单元,用于获取与所述目标麦克风组合对应的目标补偿信息;所述目标补偿信息中包括每个所述第二麦克风相对于所述第一麦克风的信号补偿参数;
补偿处理单元,用于根据所述目标补偿信息,对所述第二麦克风接收得到的第二声音信号进行信号补偿处理;
信号输出单元,用于根据进行信号补偿处理后的所述第二声音信号和所述第一麦克风接收到的第一声音信号,获取目标声音信号后输出。
9.一种基于麦克风阵列的声音信号处理装置,其特征在于,包括:
存储器,用于存储可执行的指令;
处理器,用于根据所述可执行的指令的控制,执行如权利要求1-7所述的任意一项基于麦克风阵列的声音信号处理方法。
10.一种声音信号的处理设备,其特征在于,包括:
麦克风阵列;
如权利要求8或9所述的基于麦克风阵列的声音信号处理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910470619.1A CN110234043B (zh) | 2019-05-31 | 2019-05-31 | 基于麦克风阵列的声音信号处理方法、装置及设备 |
PCT/CN2019/108940 WO2020237953A1 (zh) | 2019-05-31 | 2019-09-29 | 基于麦克风阵列的声音信号处理方法、装置及设备 |
US17/615,233 US11985486B2 (en) | 2019-05-31 | 2019-09-29 | Sound signal processing method, apparatus and device based on microphone array |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910470619.1A CN110234043B (zh) | 2019-05-31 | 2019-05-31 | 基于麦克风阵列的声音信号处理方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110234043A true CN110234043A (zh) | 2019-09-13 |
CN110234043B CN110234043B (zh) | 2020-08-25 |
Family
ID=67858894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910470619.1A Active CN110234043B (zh) | 2019-05-31 | 2019-05-31 | 基于麦克风阵列的声音信号处理方法、装置及设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11985486B2 (zh) |
CN (1) | CN110234043B (zh) |
WO (1) | WO2020237953A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020237953A1 (zh) * | 2019-05-31 | 2020-12-03 | 潍坊歌尔微电子有限公司 | 基于麦克风阵列的声音信号处理方法、装置及设备 |
WO2021114953A1 (zh) * | 2019-12-12 | 2021-06-17 | 华为技术有限公司 | 语音信号的采集方法、装置、电子设备以及存储介质 |
CN113132519A (zh) * | 2021-04-14 | 2021-07-16 | Oppo广东移动通信有限公司 | 电子设备、电子设备的语音识别方法及存储介质 |
CN113409811A (zh) * | 2021-06-01 | 2021-09-17 | 歌尔股份有限公司 | 声音信号处理方法、设备和计算机可读存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114708884B (zh) * | 2022-04-22 | 2024-05-31 | 歌尔股份有限公司 | 一种声音信号处理方法、装置、音频设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101207939A (zh) * | 2006-12-18 | 2008-06-25 | 哈曼贝克自动系统股份有限公司 | 低复杂度的回音补偿 |
CN101976565A (zh) * | 2010-07-09 | 2011-02-16 | 瑞声声学科技(深圳)有限公司 | 基于双麦克风语音增强装置及方法 |
CN102324237B (zh) * | 2011-05-30 | 2013-01-02 | 深圳市华新微声学技术有限公司 | 麦克风阵列语音波束形成方法、语音信号处理装置及系统 |
CN107205196A (zh) * | 2017-05-19 | 2017-09-26 | 歌尔科技有限公司 | 麦克风阵列指向的调整方法和装置 |
CN107301869A (zh) * | 2017-08-17 | 2017-10-27 | 珠海全志科技股份有限公司 | 麦克风阵列拾音方法、处理器及其存储介质 |
CN107329114A (zh) * | 2017-06-21 | 2017-11-07 | 歌尔股份有限公司 | 声源定位方法和装置 |
CN109360578A (zh) * | 2018-12-07 | 2019-02-19 | 歌尔科技有限公司 | 音频设备的回声消除方法、音频设备及可读存储介质 |
CN109545217A (zh) * | 2018-12-29 | 2019-03-29 | 深圳Tcl新技术有限公司 | 语音信号接收方法、装置、智能终端及可读存储介质 |
CN109788382A (zh) * | 2019-01-25 | 2019-05-21 | 深圳大学 | 一种分布式麦克风阵列拾音系统及方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2509337B1 (en) * | 2011-04-06 | 2014-09-24 | Sony Ericsson Mobile Communications AB | Accelerometer vector controlled noise cancelling method |
US10757214B2 (en) * | 2013-12-20 | 2020-08-25 | Intel Corporation | Crowd sourced online application cache management |
US9826599B2 (en) * | 2015-12-28 | 2017-11-21 | Amazon Technologies, Inc. | Voice-controlled light switches |
US10945080B2 (en) * | 2016-11-18 | 2021-03-09 | Stages Llc | Audio analysis and processing system |
CN106658329B (zh) * | 2016-12-02 | 2019-06-07 | 歌尔科技有限公司 | 用于电子设备麦克风的校准方法、装置及电子设备 |
CN106872945B (zh) * | 2017-04-19 | 2020-01-17 | 北京地平线信息技术有限公司 | 声源定位方法、装置和电子设备 |
US10356362B1 (en) * | 2018-01-16 | 2019-07-16 | Google Llc | Controlling focus of audio signals on speaker during videoconference |
CN109360579A (zh) | 2018-12-05 | 2019-02-19 | 途客电力科技(天津)有限公司 | 充电桩语音控制装置以及系统 |
CN110234043B (zh) * | 2019-05-31 | 2020-08-25 | 歌尔科技有限公司 | 基于麦克风阵列的声音信号处理方法、装置及设备 |
CN113963709A (zh) * | 2020-07-03 | 2022-01-21 | 哈曼国际工业有限公司 | 用于补偿麦克风的频率响应的方法及系统 |
-
2019
- 2019-05-31 CN CN201910470619.1A patent/CN110234043B/zh active Active
- 2019-09-29 US US17/615,233 patent/US11985486B2/en active Active
- 2019-09-29 WO PCT/CN2019/108940 patent/WO2020237953A1/zh active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101207939A (zh) * | 2006-12-18 | 2008-06-25 | 哈曼贝克自动系统股份有限公司 | 低复杂度的回音补偿 |
CN101976565A (zh) * | 2010-07-09 | 2011-02-16 | 瑞声声学科技(深圳)有限公司 | 基于双麦克风语音增强装置及方法 |
CN102324237B (zh) * | 2011-05-30 | 2013-01-02 | 深圳市华新微声学技术有限公司 | 麦克风阵列语音波束形成方法、语音信号处理装置及系统 |
CN107205196A (zh) * | 2017-05-19 | 2017-09-26 | 歌尔科技有限公司 | 麦克风阵列指向的调整方法和装置 |
CN107329114A (zh) * | 2017-06-21 | 2017-11-07 | 歌尔股份有限公司 | 声源定位方法和装置 |
CN107301869A (zh) * | 2017-08-17 | 2017-10-27 | 珠海全志科技股份有限公司 | 麦克风阵列拾音方法、处理器及其存储介质 |
CN109360578A (zh) * | 2018-12-07 | 2019-02-19 | 歌尔科技有限公司 | 音频设备的回声消除方法、音频设备及可读存储介质 |
CN109545217A (zh) * | 2018-12-29 | 2019-03-29 | 深圳Tcl新技术有限公司 | 语音信号接收方法、装置、智能终端及可读存储介质 |
CN109788382A (zh) * | 2019-01-25 | 2019-05-21 | 深圳大学 | 一种分布式麦克风阵列拾音系统及方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020237953A1 (zh) * | 2019-05-31 | 2020-12-03 | 潍坊歌尔微电子有限公司 | 基于麦克风阵列的声音信号处理方法、装置及设备 |
US11985486B2 (en) | 2019-05-31 | 2024-05-14 | Weifang Goertek Microelectronics Co., Ltd. | Sound signal processing method, apparatus and device based on microphone array |
WO2021114953A1 (zh) * | 2019-12-12 | 2021-06-17 | 华为技术有限公司 | 语音信号的采集方法、装置、电子设备以及存储介质 |
CN113132519A (zh) * | 2021-04-14 | 2021-07-16 | Oppo广东移动通信有限公司 | 电子设备、电子设备的语音识别方法及存储介质 |
CN113132519B (zh) * | 2021-04-14 | 2023-06-02 | Oppo广东移动通信有限公司 | 电子设备、电子设备的语音识别方法及存储介质 |
CN113409811A (zh) * | 2021-06-01 | 2021-09-17 | 歌尔股份有限公司 | 声音信号处理方法、设备和计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US11985486B2 (en) | 2024-05-14 |
CN110234043B (zh) | 2020-08-25 |
WO2020237953A1 (zh) | 2020-12-03 |
US20220232318A1 (en) | 2022-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110234043A (zh) | 基于麦克风阵列的声音信号处理方法、装置及设备 | |
CN103339961B (zh) | 用于通过声波三角测量进行空间性选择声音获取的装置及方法 | |
US9402145B2 (en) | Wireless speaker system with distributed low (bass) frequency | |
CN106851525B (zh) | 用于音频信号的处理的方法和装置 | |
CN109074816B (zh) | 远场自动语音识别预处理 | |
WO2020108614A1 (zh) | 音频识别方法、定位目标音频的方法、装置和设备 | |
KR101797804B1 (ko) | 사운드 필드의 제스처 조종을 위한 시스템들, 방법들, 장치들, 및 컴퓨터 판독가능 매체들 | |
US9560449B2 (en) | Distributed wireless speaker system | |
CN104220896B (zh) | 用于估计到达方向的系统、方法和设备 | |
US9288597B2 (en) | Distributed wireless speaker system with automatic configuration determination when new speakers are added | |
US9640179B1 (en) | Tailoring beamforming techniques to environments | |
CN106301137B (zh) | 主动控制线性马达振动的方法、装置、系统及电子设备 | |
CN108496128A (zh) | 无人机飞行控制 | |
KR20150021508A (ko) | 원신호 분리 시스템 및 방법 | |
CN103366756A (zh) | 一种声音信号的接收方法及装置 | |
KR20140059754A (ko) | 스펙트럼 모션 변환을 구현하는 사운드 신호 처리 시스템 및 방법 | |
CN109672966A (zh) | 一种语音拾取方法、装置和系统 | |
CN104412616A (zh) | 基于麦克风阵列中的声音的相关性的噪声抑制 | |
CN106157967A (zh) | 脉冲噪声抑制 | |
CN111031463B (zh) | 麦克风阵列性能评测方法、装置、设备和介质 | |
US20240089685A1 (en) | Personalized three-dimensional audio | |
CN107484069B (zh) | 扬声器所处位置的确定方法及装置、扬声器 | |
CN113470685A (zh) | 语音增强模型的训练方法和装置及语音增强方法和装置 | |
CN114830686A (zh) | 声源的改进定位 | |
CN110099333A (zh) | 音频信号的处理方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210923 Address after: 261031 building 10, Geer phase II Industrial Park, 102 Ronghua Road, Ronghua community, Xincheng street, high tech Zone, Weifang City, Shandong Province Patentee after: Weifang goer Microelectronics Co.,Ltd. Address before: 266104 Room 308, North Investment Street Service Center, Laoshan District, Qingdao, Shandong. Patentee before: GOERTEK TECHNOLOGY Co.,Ltd. |