CN101622669A - 用于信号分离的系统、方法及设备 - Google Patents
用于信号分离的系统、方法及设备 Download PDFInfo
- Publication number
- CN101622669A CN101622669A CN200880005987A CN200880005987A CN101622669A CN 101622669 A CN101622669 A CN 101622669A CN 200880005987 A CN200880005987 A CN 200880005987A CN 200880005987 A CN200880005987 A CN 200880005987A CN 101622669 A CN101622669 A CN 101622669A
- Authority
- CN
- China
- Prior art keywords
- signal
- source
- transducer
- signal processing
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000000926 separation method Methods 0.000 title abstract description 58
- 230000004044 response Effects 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims description 110
- 238000001914 filtration Methods 0.000 claims description 94
- 238000012545 processing Methods 0.000 claims description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000003672 processing method Methods 0.000 claims description 24
- 238000001228 spectrum Methods 0.000 claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 29
- 239000011159 matrix material Substances 0.000 description 19
- 238000013461 design Methods 0.000 description 16
- 238000012880 independent component analysis Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 230000004913 activation Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000008929 regeneration Effects 0.000 description 9
- 238000011069 regeneration method Methods 0.000 description 9
- 238000010276 construction Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- RXKGHZCQFXXWFQ-UHFFFAOYSA-N 4-ho-mipt Chemical compound C1=CC(O)=C2C(CCN(C)C(C)C)=CNC2=C1 RXKGHZCQFXXWFQ-UHFFFAOYSA-N 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000009792 diffusion process Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 230000011664 signaling Effects 0.000 description 5
- 241001296096 Probles Species 0.000 description 4
- 206010038743 Restlessness Diseases 0.000 description 4
- 150000001875 compounds Chemical class 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000006748 scratching Methods 0.000 description 3
- 230000002393 scratching effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000010561 standard procedure Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 108010025037 T140 peptide Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009933 burial Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005520 electrodynamics Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明提供用于源分离的方法、设备及系统,其包括基于多个M通道信号中的每一者的多个收敛的系数值。所述多个M通道信号中的每一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号。在一些实例中,使用所述多个收敛的系数值来对M通道信号进行滤波以产生信息输出信号及干扰输出信号。
Description
根据35U.S.C.§119主张优先权
本专利申请案主张2007年2月26日申请的标题为“用于分离声响信号的系统及方法(SYSTEM AND METHOD FOR SEPARATION OF ACOUSTIC SIGNALS)”的第60/891,677号临时申请案的优先权。
共同待决的专利申请案的参考
本专利申请案与以下共同待决的专利申请案有关:
维萨(Visser)等人的于2005年6月9日申请且标题为“用于根据稳定性约束条件使用独立分量分析的语音处理的系统及方法(SYSTEM AND METHOD FOR SPEECHPROCESSING USING INDEPENDENT COMPONENT ANALYSIS UNDER STABILITYRESTRAINTS)”的第10/537,985号美国专利申请案;以及
陈(Chan)等人的于2007年2月27日申请且标题为“用于产生分离信号的系统及方法(SYSTEM AND METHOD FOR GENERATING A SEPARATED SIGNAL)”的第PCT/US2007/004966号国际专利申请案。
技术领域
本发明涉及信号处理。
背景技术
可能在不可避免地具有噪声的环境中俘获信息信号。因此,可能需要从若干源信号的重叠及线性组合当中区分出信息信号,所述源信号包括来自信息源的信号及来自一个或一个以上干扰源的信号。此问题可能出现于各种不同应用中,例如声响、电磁(例如,射频)、震测及成像应用。
一种用以从此类混合物中分离信号的方法是对近似混合环境的逆转的未混合矩阵进行公式化。然而,现实俘获环境常常包括例如时间延迟、多路径、反射、相位差、回波及/或混响等效应。此类效应产生源信号的卷积混合物,其可能引起传统线性建模方法的问题且还可能为频率相依的。需要开发用于从此类混合物中分离出一个或一个以上所需信号的信号处理方法。
发明内容
根据一种配置的一种信号处理方法包括:基于多个M通道训练信号,训练源分离滤波器结构的多个系数值以获得收敛式源分离滤波器结构,其中M为大于一的整数;以及决定所述收敛式源分离滤波器结构是否充分地将所述多个M通道训练信号中的每一者分离为至少一信息输出信号及一干扰输出信号。在此方法中,所述多个M通道训练信号中的至少一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成第一空间配置,且所述多个M通道训练信号中的另一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成不同于所述第一空间配置的第二空间配置。
根据另一配置的一种用于信号处理的设备包括M个变换器的阵列,其中M为大于一的整数;以及源分离滤波器结构,其具有多个经训练的系数值。在此设备中,所述源分离滤波器结构经配置以实时地对M通道信号进行滤波以获得实时信息输出信号,且所述多个经训练的系数值是基于多个M通道训练信号,且所述多个M通道训练信号中的一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成第一空间配置,且所述多个M通道训练信号中的另一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成不同于所述第一空间配置的第二空间配置。
根据一配置的一种计算机可读媒体包括当由处理器执行时致使所述处理器执行以下操作的指令:基于多个M通道训练信号而训练源分离滤波器结构的多个系数值,以获得收敛式源分离滤波器结构,其中M为大于一的整数;以及决定所述收敛式源分离滤波器结构是否充分地将所述多个M通道训练信号中的每一者分离为至少一信息输出信号及一干扰输出信号。在此媒体中,所述多个M通道训练信号中的至少一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成第一空间配置,且所述多个M通道训练信号中的另一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成不同于所述第一空间配置的第二空间配置。
根据一配置的一种用于信号处理的设备包括:M个变换器的阵列,其中M为大于一的整数;以及用于根据多个经训练的系数值而执行源分离滤波操作的装置。在此设备中,所述用于执行源分离滤波操作的装置经配置以实时地对M通道信号进行滤波以获得实时信息输出信号,且所述多个经训练的系数值是基于多个M通道训练信号,且所述多个M通道训练信号中的一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成第一空间配置,且所述多个M通道训练信号中的另一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成不同于所述第一空间配置的第二空间配置。
根据一种配置的一种信号处理方法包括:基于多个M通道训练信号,训练源分离滤波器结构的多个系数值以获得收敛式源分离滤波器结构,其中M为大于一的整数;以及决定所述收敛式源分离滤波器结构是否充分地将所述多个M通道训练信号中的每一者分离为至少一信息输出信号及一干扰输出信号。在此方法中,所述多个M通道训练信号中的每一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,且所述多个M通道训练信号中的至少两者相对于以下各项中的至少一者而有所不同:(A)所述至少一个信息源的空间特征;(B)所述至少一个干扰源的空间特征;(C)所述至少一个信息源的频谱特征;以及(D)所述至少一个干扰源的频谱特征,且所述训练源分离滤波器结构的多个系数值包括根据独立向量分析算法及受约束的独立向量分析算法中的至少一者而更新所述多个系数值。
根据另一配置的一种用于信号处理的设备包括:M个变换器的阵列,其中M为大于一的整数;以及源分离滤波器结构,其具有多个经训练的系数值。在此设备中,所述源分离滤波器结构经配置以实时地对M通道信号进行滤波以获得实时信息输出信号,且所述多个经训练的系数值是基于多个M通道训练信号,且所述多个M通道训练信号中的每一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,且所述多个M通道训练信号中的至少两者相对于以下各项中的至少一者而有所不同:(A)所述至少一个信息源的空间特征;(B)所述至少一个干扰源的空间特征;(C)所述至少一个信息源的频谱特征;以及(D)所述至少一个干扰源的频谱特征,且所述多个经训练的系数值是基于根据独立向量分析算法及受约束的独立向量分析算法中的至少一者而更新多个系数值。
附图说明
图1A展示根据所揭示通用配置的用以产生收敛式滤波器结构的方法M100的流程图。
图1B展示方法M200的实施方案M200的流程图。
图2展示经配置用于记录训练数据的声响消声室的实例。
图3A及图3B展示在两个不同操作配置中的移动用户终端的实例。
图4A及图4B展示在两个不同训练情形中的图3A到图3B的移动用户终端。
图5A及图5B展示在另外两个不同训练情形中的图3A到图3B的移动用户终端。
图6展示头戴式耳机的实例。
图7展示具有线性麦克风阵列的写入器具(例如,笔)或触笔的实例。
图8展示免持式车载套件的实例。
图9展示图8的车载套件的应用的实例。
图10A展示包括反馈滤波器结构的源分离器F10的实施方案F100的框图。
图10B展示源分离器F100的实施方案F110的框图。
图11展示经配置以处理三通道输入信号的源分离器F100的实施方案F120的框图。
图12展示源分离器F100的分别包括交叉滤波器C110及C120的实施方案C112及C122的实施方案F102的框图。
图13展示包括比例因子的源分离器F100的实施方案F104的框图。
图14展示包括前馈滤波器结构的源分离器F10的实施方案F200的框图。
图15A展示TSS F200的实施方案F210的框图。
图15B展示TSS F200的实施方案F220的框图。
图16展示用于头戴式耳机应用的收敛式解答的曲线的实例。
图17展示用于写入装置应用的收敛式解答的曲线的实例。
图18A展示包括经布置成级联配置的源分离器F10的两个实例F10a及F10b的设备A100的框图。
图18B展示包括开关S100的设备A100的实施方案A110的框图。
图19A展示根据通用配置的设备A200的框图。
图19B展示根据通用配置的设备A300的框图。
图20A展示包括开关S100的设备A300的实施方案A310的框图。
图20B展示设备A300的实施方案A320的框图。
图21A展示设备A300及设备A100的实施方案A330的框图。
图21B展示设备A300的实施方案A340的框图。
图22A展示根据通用配置的设备A400的框图。
图22B展示设备A400的实施方案A410的框图。
图23A展示根据通用配置的设备A500的框图。
图23B展示设备A500的实施方案A510的框图。
图24A展示回波消除器B502的框图。
图24B展示回波消除器B502的实施方案B504的框图。
具体实施方式
本文中所揭示的系统、方法及设备可适用于处理许多不同类型的信号,包括声响信号(例如,语音、声音、超声、声纳)、生理学或其它医学信号(例如,心电图、脑电图、脑磁图)以及成像及/或测距信号(例如,磁共振、雷达、震测)。用于此类系统、方法及设备的应用包括在语音特征提取、语音辨识及语音处理中的使用。
在以下描述中,以两种不同方式使用符号i。当用作因子时,符号i表示-1的虚数平方根。符号i还用以指示索引,例如矩阵的列或向量的元素。所述两种使用在此项技术中是常见的,且技术人员将根据符号i的每一实例在其中出现的上下文而认识到希望所述两种使用中的哪一者。
在以下描述中,应用于矩阵X的记号diag(X)指示对角线等于X的对角线且其它值为零的矩阵。
除非由其上下文明确限制,否则本文中使用术语“信号”来指示其普通意义中的任一者,包括在电线、总线或其它传输媒体上表达的存储器位置(或存储器位置集合)的状态。除非由其上下文明确限制,否则本文中使用术语“产生”来指示其普通意义中的任一者,例如计算或以另外方式产生。除非由其上下文明确限制,否则本文中使用术语“计算”来指示其普通意义中的任一者,例如计算、评估及/或从值集合中选择。除非由其上下文明确限制,否则使用术语“获得”来指示其普通意义中的任一者,例如计算、导出、接收(例如,从外部装置)及/或检索(例如,从存储元件阵列)。在术语“包含”用于本描述及权利要求书中的情况下,其不排除其它元件或操作。术语“基于”(如在“A基于B”中)用于指示其普通意义中的任一者,包括以下情况:(i)“基于至少”(例如,“A基于至少B”);以及如果在特定上下文中适当,则(ii)“等于”(例如,“A等于B”)。
除非另外指出,否则对具有特定特征的设备的操作的任何揭示内容还明确地希望揭示具有类似特征的方法(且反之亦然),且对根据特定配置的设备的操作的任何揭示内容还明确地希望揭示根据类似配置的方法(且反之亦然)。
图1A展示根据所揭示通用配置的用以产生收敛式滤波器结构的方法M100的流程图。基于多个M通道信号(其中M大于一),任务T110训练源分离滤波器结构的多个滤波器系数值以获得收敛式源分离滤波器结构。任务T120决定所述收敛式滤波器结构是否充分地将所述多个M通道信号中的每一者分离为至少信息输出信号及干扰输出信号。
所属领域的一般技术人员认识到,训练所述多个系数值可包括基于自适应算法而更新多个系数值。自适应算法的实例为源分离算法。在俘获一系列P个M通道信号之后,对每一(第一及第二)多个系数值进行“更新”。可基于任务T130中的决策而“学习”或“调适”或“收敛”(有时这些术语被同义地使用)第三多个系数值。在典型应用中,连续地离线执行任务T110、T120及T130(且可能地,一个或一个以上类似任务)以获得多个经收敛的系数值,且可离线或在线或既离线又在线地执行任务T140以基于所述多个经收敛的系数值而对信号进行滤波。
在方法M100中,所述M通道训练信号各自由至少M个变换器响应于至少一个信息源及至少一个干扰源而俘获。变换器信号通常被取样,可被预处理(例如,被滤波以用于回波消除、噪声减少、频谱整形等),且甚至可被预分离(例如,由如本文中所描述的另一源分离器或自适应滤波器)。对于例如语音等声响应用,典型取样速率在从8kHz到16kHz的范围内。
所述M个通道中的每一者是基于M个变换器中的对应一者的输出。依据特定应用而定,所述M个变换器可经设计以感测声响信号、电磁信号、振动或另一现象。举例来说,天线可用于感测电磁波,且麦克风可用于感测声波。变换器可具有全向、双向或单向(例如,心形曲线)的响应。对于声响应用来说,可使用的各种类型的变换器包括压电式麦克风、电动式麦克风及驻极体麦克风。
所述多个(P个)M通道训练信号各自基于在P个情形中的不同对应一者下所俘获(例如,记录)的输入数据,其中P可等于二但通常为大于一的整数。情形可包含不同的空间特征(例如,不同的手持机或头戴式耳机定向)及/或不同的频谱特征(例如,对可具有不同性质的声源的俘获)。举例来说,声源可为类噪声(街道噪声、多路重合噪声、环境噪声等),或可包括话音或乐器。来自声源的声波可从墙壁或附近物体反弹或反射离开以产生不同声音。所属领域的一般技术人员了解到,术语“声源”还可用于指示除原始声源以外的不同声音,以及对原始声源的指示。依据应用而定,声源可被指定为信息源或干扰源。
图4A、图4B、图5A、图5B说明可在所述P个情形中的一者中使用的手持机的不同示范性定向。可能存在N个不同定向来俘获不同的头戴式耳机定向,其中N可等于二但通常为大于一的整数。图6说明可在所述P个情形中的一者中使用的头戴式耳机的示范性定向。通过改变头戴式耳机可变性,H个不同定向可用于俘获不同的头戴式耳机定向。头戴式耳机或手持机可具有至少M个变换器。
方法M100的多个M通道训练信号可表示在针对不同的相应情形的不同定向(即,H或N)下的信号(即,各种声源)的单独时间间距的输入。
图1B展示方法M100的实施方案M200的流程图。方法M200包括任务T130,其基于收敛式滤波器结构的多个经训练的系数值而实时地对M通道信号进行滤波。
在典型情况下,M通道信号表示M通道(部分或全部)混合信号,本文中表示为M通道混合信号。应注意,即使在相对安静的环境中的正常语音的情况下,M通道信号也可被当作混合信号。在此情况下,部分混合可被说成非常低,例如在仅存在极少环境噪声(例如,属于干扰源)且一人正在讲话(例如,属于信息源)的情况下。
可使用相同的M个变换器来俘获所述系列中的所有M通道信号所基于的信号。或者,可能需要用于俘获所述系列中的一个信号所基于的信号的M个变换器的集合不同于(在所述变换器中的一者或一者以上中)用于俘获所述系列中的另一信号所基于的信号的M个变换器的集合。举例来说,可能需要使用不同的变换器集合以便产生对于在所述变换器当中的某种程度的变化为稳固的多个系数值。
所述P个情形中的每一者包括至少一个信息源及至少一个干扰源。通常,这些源中的每一者为变换器,使得每一信息源为再生适合于特定应用的信号的变换器,且每一干扰源为再生在特定应用中可预期的类型的干扰的变换器。举例来说,在声响应用中,每一信息源可为再生语音信号或音乐信号的扩音器,且每一干扰源可为再生干扰声响信号(例如,另一语音信号或来自典型预期环境的环境背景声音)或噪声信号的扩音器。对于声响应用来说,可使用M通道带式记录器、具有M通道声音记录或俘获能力的计算机或能够同时(例如,在取样分辨率的级别内)记录或俘获M个变换器的输出的其它装置来执行在所述P个情形中的每一者中从M个变换器记录或俘获输入数据。
图2展示经配置用于记录训练数据的声响消声室的实例。声响消声室可用于俘获所述系列的M通道信号所基于的用于训练的信号。在此实例中,头部与躯干模拟器(HATS,如由丹麦尼阿日姆布鲁爱尔与克耶尔公司(Bruel & Kjaer,Naerum,Denmark)制造)定位于向内聚焦的干扰源阵列(即,四个扩音器)内。在此情况下,所述干扰源阵列可被驱动以创建围绕HATS的扩散噪声场,如图所示。在其它情况下,一个或一个以上此类干扰源可被驱动以创建具有不同空间分布(例如,定向噪声场)的噪声场。
可使用的类型的噪声信号包括白色噪声、粉红色噪声、灰色噪声及霍斯(Hoth)噪声(例如,如在由电气及电子工程师学会(IEEE)(新泽西州皮斯卡塔韦)颁布的IEEE标准269-2001“用于测量模拟及数字电话机、手持机及头戴式耳机的传输性能的标准草案方法(Draft Standard Methods for Measuring Transmission Performance of Analog andDigital Telephone Sets,Handsets and Headsets)”中所描述)。可使用的其它类型的噪声信号(尤其对于非声响应用来说)包括褐色噪声、蓝色噪声及紫色噪声。
所述P个情形在至少一个空间及/或频谱特征方面彼此不同。源及记录变换器的空间配置可以下列方式中的任何一者或一者以上而从一个情形到另一情形变化:一个源相对于其它源的放置及/或定向;一个记录变换器相对于其它记录变换器的放置及/或定向;源相对于记录变换器的放置及/或定向;以及记录变换器相对于源的放置及/或定向。举例来说,所述多个(P个)情形当中的至少两者可对应于变换器及源的不同空间配置,使得所述变换器及源当中的至少一者在一个情形中具有与其在其它情形中的位置或定向不同的位置或定向。
可从一个情形到另一情形变化的频谱特征包括以下各项:至少一个源信号的频谱内容(例如,来自不同话音的语音、不同色彩的噪声);以及所述记录变换器中的一者或一者以上的频率响应。在如上文提及的一个特定实例中,所述情形中的至少两者相对于记录变换器中的至少一者而有所不同。此类变化可能对于支持在变换器频率及/或相位响应的预期范围的改变上为稳固的解答来说是合乎需要的。
在另一特定实例中,所述情形中的至少两者包括背景噪声且相对于背景噪声的特性(即,噪声在频率及/或时间上的统计资料)而有所不同。在此情况下,干扰源可经配置以在所述P个情形中的一者中发射一种色彩(例如,白色、粉红或霍斯)或类型(例如,街道噪声、多路重合噪声或汽车噪声的再生)的噪声且在所述P个情形中的另一者中发射另一色彩或类型的噪声。
所述P个情形中的至少两者可包括产生具有大致不同的频谱内容的信号的信息源。举例来说,在语音应用中,在两个不同情形中的信息信号可为具有平均音调(例如,在所述情形的长度上)的话音,所述平均音调相差不小于百分之十、百分之二十、百分之三十或甚至百分之五十。可从一个情形到另一情形变化的另一特征是一个源相对于其它源的输出振幅的输出振幅。可从一个情形到另一情形变化的另一特征是一个记录变换器相对于其它记录变换器的增益敏感性的增益敏感性。
如下文所描述,使用P个M通道训练信号来获得多个经收敛的系数值。可基于训练操作的预期收敛速率而选择所述P个训练信号中的每一者的持续时间。举例来说,可能需要针对每一训练信号选择足够长以准许朝向收敛显著进展但足够短以允许其它M通道训练信号也大致作用于收敛式解答的持续时间。在典型声响应用中,所述P个M通道训练信号中的每一者持续约二分之一或一到约五或十秒。对于典型训练操作,以随机次序级联所述M通道训练信号的复本以获得声音文件以用于训练。
在一组特定应用中,所述M个变换器为用于无线通信的便携式装置(例如蜂窝式电话手持机)的麦克风。图3A及图3B展示一个此类装置50的两个不同操作配置。在此特定实例中,M等于三(主麦克风53及两个辅麦克风54)。对于图3A中所示的免持式操作配置来说,由扬声器51再生远端信号,且图4A及图4B展示所述装置相对于用户嘴巴的两个不同的可能定向。可能需要使所述M通道训练信号中的一者基于由麦克风在这两个配置中的一者中产生的信号且使所述M通道训练信号中的另一者基于由麦克风在这两个配置中的另一者中产生的信号。
对于图3B中所示的正常操作配置,由接收器52再生远端信号,且图5A及5B展示所述装置相对于用户嘴巴的两个不同的可能定向。可能需要使所述M通道训练信号中的一者基于由麦克风在这两个配置中的一者中产生的信号且使所述M通道训练信号中的另一者基于由麦克风在这两个配置中的另一者中产生的信号。
在一个实例中,实施方法M100以针对图3A的免持式操作配置产生多个经训练的系数值且针对图3B的正常操作模式产生不同的多个经训练的系数值。方法M100的此类实施方案可经配置以执行任务T110的一个实例以产生所述多个经训练的系数值中的一者,且执行任务T110的另一实例以产生另一多个经训练的系数值。在此情况下,方法200的任务T130可经配置以在运行时间在两个多个经训练的系数值当中进行选择(例如,根据指示装置是断开还是闭合的开关状态)。或者,可实施方法M100以通过根据图4A、图4B、图5A及图5B中所展示的四个定向中的每一者而连续地更新多个系数值来产生单一多个经训练的系数值。
对于此语音应用中的所述P个训练情形中的每一者,可通过从用户嘴巴再生话音来将信息信号提供到M个变换器,所述话音发出例如哈佛句(如描述于“用于音频及电声学的IEEE事务中的语音质量测量的IEEE操作规程建议(IEEE Recommended Practicesfor Speech Quality Measurements in IEEE Transactions on Audio and Electroacoustics)”,第17卷,第227到246页,1969年)中的一者或一者以上的标准化词汇。在一个此类实例中,以声压等级89dB来从HATS的嘴巴扩音器再生语音。所述P个训练情形中的至少两者可相对于此信息信号而彼此不同。举例来说,不同情形可使用具有大致不同音调的话音。额外地或替代地,所述P个训练情形中的至少两者可使用手持机装置的不同实例(例如,以俘获响应于不同麦克风的变化)。
一种情形可包括驱动手持机的扬声器(例如,通过发出标准化词汇的话音)以提供定向干扰源。对于图3A的免持式操作配置,此情形可包括驱动扬声器51,而对于图3B的正常操作配置,此情形可包括驱动接收器52。一种情形除了(例如)由图2所示的干扰源阵列所创建的扩散噪声场之外或者作为所述扩散噪声场的替代可包括此类干扰源。在一个此类实例中,所述扩音器阵列经配置为以声压等级75到78dB在HATS耳朵参考点或嘴巴参考点处重放噪声信号。
在另一组特定应用中,M个变换器为有线或无线耳机或其它头戴式耳机的麦克风。举例来说,此类装置可经配置以经由与例如蜂窝式电话手持机的电话装置通信而支持半双工或全双工电话(例如,使用如由华盛顿州贝尔维尤的蓝牙特殊兴趣小组有限公司(Bluetooth Special Interest Group,Inc.,Bellevue,WA)颁布的BluetoothTM协议的版本)。图6展示此类头戴式耳机的一个实例63,其经配置以佩戴于用户耳朵65上。头戴式耳机63具有两个麦克风67,其相对于用户嘴巴64而布置成端射配置。
用于此类头戴式耳机的训练情形可包括如上文参考手持机应用而描述的信息及/或干扰源的任何组合。可由P个训练情形中的不同训练情形建模的另一差异为变换器轴相对于耳朵的变化角度,如在图6中由头戴式耳机安装可变性66所指示。此变化可实际上从一个用户到另一用户发生。此变化可甚至相对于同一用户在配戴所述装置的单一时期内发生。将了解,此变化可通过改变从变换器阵列到用户嘴部的方向及距离而不利地影响信号分离性能。在此情况下,可能需要使多个M通道训练信号中的一者基于头戴式耳机以处于或接近安装角度的预期范围的一个极值的角度安装于耳朵65中的情形,且使所述M通道训练信号中的另一者基于头戴式耳机以处于或接近安装角度的预期范围的另一极值的角度安装于耳朵65中的情形。
在又一组应用中,M个变换器为提供于笔、触笔或其它绘图装置内的麦克风。图7展示此类装置79的一个实例,其中麦克风80相对于从尖端发出且由尖端与绘图表面81之间的接触引起的划擦噪声82而部署成端射配置。用于此类装置的训练情形可包括如上文参考手持机应用而描述的信息及/或干扰源的任何组合。额外地或替代地,不同情形可包括越过不同表面来拖动装置79的尖端以得出划擦噪声82的不同实例(例如,在时间及/或频率上具有不同特性)。如与上文论述的手持机及头戴式耳机应用相比,可能需要在此应用中使方法M100训练多个系数值以分离干扰源(即,划擦噪声)而非信息源(即,用户话音)。在此情况下,可如下文描述在稍后处理阶段中从所需信号移除所分离的干扰。
在又一组应用中,M个变换器为提供于免持式车载套件中的麦克风。图8展示此类装置83的一个实例,其中扩音器85部署于变换器阵列84的宽侧。用于此类装置的训练情形可包括如上文参考手持机应用而描述的信息及/或干扰源的任何组合。在特定实例中,方法M100的两个实例经执行以产生两个不同的多个经训练的系数值。第一实例包括在所需扬声器相对于麦克风阵列的放置上不同的训练情形,如图9所示。用于此实例的情形还可包括例如如上文描述的扩散或定向噪声场等干扰。
第二实例包括从扩音器85再生干扰信号的训练情形。不同情形可包括从扩音器85再生的干扰信号,例如在时间及/或频率上具有不同特性(例如,具有大致不同音调频率)的音乐及/或话音。用于此实例的情形还可包括例如如上文描述的扩散或定向噪声场等干扰。可能需要使方法M100的此实例训练对应的多个系数值以分离来自干扰源(即,扩音器85)的干扰信号。如图18A所说明,可使用所述两个多个经训练的系数值来配置源分离器F10的相应实例F10a、F10b(如下文描述),所述实例布置成级联配置,其中提供延迟D10以补偿源分离器F10a的处理延迟。
尽管HATS正被描述为所有这些设计步骤中所选择的测试装置,但任何其它似人模拟(模拟器)或人类扬声器可替代所需的语音产生源。有利的是,使用至少一些量的背景噪声来较佳地调节所有频率上的分离矩阵。或者,可由用户在使用之前或在使用期间执行测试。举例来说,可基于用户的特征(例如变换器到嘴巴的距离)或基于环境而个人化所述测试。可针对用户(例如,最终用户)设计一系列预设“问题”,以对于特定特征、特点、环境、用途等来调节所述系统。
如上文描述的程序可通过连同干扰源信号从HATS重放所需的扬声器信号来组合到一个测试及学习阶段中以同时针对特定应用设计固定射束及空值射束成形器。
在优选实施例中,经训练的收敛式滤波器解答(待实施为(例如)实时的固定滤波器设计)应当按照频率及空间选择性来权衡自噪声。对于如上文描述的语音应用,所述多种所需扬声器方向可导致对应于一个输出通道的相当宽广的空值及对应于另一输出通道的宽广射束。所获得的滤波器的射束图案及白色噪声增益可适合于麦克风增益及相位特性以及所需扬声器方向的空间可变性及噪声频率内容。如果需要的话,可在记录训练数据之前使麦克风频率响应均衡。在一个实例中,通过针对特定环境在安静及嘈杂背景中以特定重放响度记录数据,收敛式滤波器解答将已建模特定麦克风增益及相位特性且适合于装置的一系列空间及频谱性质。装置可具有以此方式建模的特定噪声特性及谐振模式。由于所学习的滤波器通常适合于特定数据,所以其为数据相依的且必须通过改变学习速率、训练数据的种类及传感器的数目以迭代方式来对所得射束图案及白色噪声增益进行分析及定形。或者,可从标准的数据独立及可能频率不变射束成形器设计(超方向射束成形器、最小平方射束成形器、统计最佳射束成形器等)获得宽射束图案。这些数据相依或数据独立设计的任何组合可适用于特定应用。在数据独立射束成形器的情况下,可通过例如调谐噪声相关矩阵来对射束图案定形。
虽然一些预处理设计利用离线设计的所学习滤波器,麦克风特性可在时间上偏移以及阵列配置可机械地变化。出于此原因,在线校准例程可为在周期性基础上匹配麦克风频率性质及敏感性所必要的。举例来说,可能需要重新校准麦克风的增益以匹配M通道训练信号的电平。
任务T110经配置以根据源分离算法而连续地更新源分离滤波器结构的多个滤波器系数值。下文描述此类滤波器结构的各种实例。典型的源分离算法经配置以处理一组混合信号以便产生一组经分离通道,所述经分离通道包括具有信号及噪声两者的组合通道及至少一个噪声为主的通道。所述组合通道还可具有与输入通道相比增加的信噪比(SNR)。
任务T120决定收敛式滤波器结构是否针对所述多个M通道信号中的每一者而充分地将信息与干扰分离。此操作可自动地或通过人类监督来执行。此决定操作的一个实例使用基于使来自信息源的已知信号与通过用所述多个经训练的系数值对对应M通道训练信号进行滤波而产生的结果相关的量度。已知信号可具有在被滤波时产生输出的词或片段系列,所述输出在一个通道中与所述词或片段系列大致相关,且在所有其它通道中具有极少相关性。在此情况下,可根据相关性结果与阈值之间的关系来决定充分分离。
此决定操作的另一实例计算通过用所述多个经训练的系数值对M通道训练信号进行滤波且将每一此类结果与对应阈值进行比较而产生的至少一个量度。此类量度可包括例如方差、高斯性(Gaussianity)及/或例如峰度的较高阶统计矩等统计性质。对于语音信号,此类性质还可包括越零率及/或随时间的突发性(还称为时间稀疏性)。一般来说,与噪声信号相比,语音信号展现较低的越零率及较低的时间稀疏性。
可能的是,任务T110将收敛到局部最小值,使得任务T120针所述训练信号中的一者或一者以上(可能全部)而失败。如果任务T120失败,那么可使用如下文描述的不同训练参数(例如,学习速率、几何约束)来重复任务T100。可能的是,任务T120将仅针对一些M通道训练信号而失败,且在此情况下,可能需要保持收敛式解答(即,多个经训练的系数值)适合于任务T120针对其而通过的多个训练信号。在此情况下,可能需要针对其它训练信号重复方法M100以获得解答,或者可将任务T120针对其而失败的信号作为特殊情况而忽略。
术语“源分离算法”包括例如独立分量分析(ICA)的盲源分离算法及例如独立向量分析(IVA)的相关方法。盲源分离(BSS)算法为仅基于源信号的混合而分离个别源信号(其可包括来自一个或一个以上信息源及一个或一个以上干扰源的信号)的方法。术语“盲”指代参考信号或所关注信号不可用的事实,且此类方法通常包括关于信息及/或干扰信号中的一者或一者以上的统计的假设。举例来说,在语音应用中,所关注的语音信号通常被假设成具有超高斯分布(例如,高峰度)。
所述类别的BSS算法包括多变量盲去卷积算法。源分离算法还包括根据其它先验信息而约束的盲源分离算法的变型(例如ICA及IVA),所述先验信息例如为源信号中的一者或一者以上中的每一者相对于(例如)记录变换器阵列的轴线的已知方向。此类算法可不同于仅基于定向信息而不基于所观测信号来应用固定的非适应性解答的射束成形器。
一旦方法M100已产生多个经训练的系数值,所述系数值便可用于运行时间滤波器中(例如,如本文描述的源分离器F100),其中所述系数值可为固定的或可保持为可调适的。方法M100可用以收敛到在可包括大量可变性的环境中合乎需要的解答。
对所述多个经训练的系数值的计算可在时域中或在频域中执行。系数值还可在频域中计算且变换为时域系数以供应用于时域信号。
可继续响应于所述系列的M通道输入信号来更新系数值,直到获得对源分离器的收敛式解答为止。在此操作期间,所述系列的M通道输入信号中的至少一些可重复,可能以不同次序。举例来说,所述系列的M通道输入信号可循环重复,直到获得收敛式解答为止。可基于分量滤波器的系数值而确定收敛。举例来说,可决定当滤波器系数值不再改变时或当滤波器系数值在某时间间隔上的总改变小于(或者,不大于)阈值时所述滤波器已收敛。可独立地针对每一交叉滤波器确定收敛,使得用于一个交叉滤波器的更新操作可终止,而用于另一交叉滤波器的更新操作继续。或者,每一交叉滤波器的更新可继续,直到所有交叉滤波器已收敛为止。
源分离器F100的每一滤波器具有一个或一个以上系数值的集合。举例来说,滤波器可具有一个、若干个、数十个、数百个或数千个滤波器系数。举例来说,可能需要实施具有在时间上稀疏地分布的系数的交叉滤波器以俘获较长周期的时间延迟。所述系数值集合中的至少一者是基于输入数据。
方法M100经配置以根据源分离算法的学习规则而更新滤波器系数值。此学习规则可经设计以最大化输出通道之间的信息。还可将此准则重新规定为最大化输出通道的统计独立性,或最小化输出通道当中的相互信息,或最大化输出端处的熵。可使用的不同学习规则的特定实例包括最大信息(还称为infomax)、最大似然度及最大非高斯性(例如,最大峰度)。常见的是使源分离学习规则基于随机梯度上升规则。已知ICA算法的实例包括Infomax、快速ICA(www.cis.hut.fi/projects/ica/fastica/fp.shtml)及JADE(在www.tsi.enst.fr/~cardoso/guidesepsou.html处描述的联合近似对角线化算法)。
可用于源分离滤波器结构的滤波器结构包括:反馈结构;前馈结构;FIR结构;IIR结构;以及以上各项的直接、级联、并联或栅格形式。图10A展示可用以在两通道应用中实施此类滤波器的反馈滤波器结构的框图。包括两个交叉滤波器C110及C120的此结构也是无限脉冲响应(IIR)滤波器的实例。图9B展示此结构的包括直接滤波器D110及D120的变型的框图。
具有如图9A中所示的两个输入通道x1、x2及两个输出通道y1、y2的反馈滤波器结构的自适应操作可使用以下表达式来描述:
Δh12k=-f(y1(t))×y2(t-k) (3)
Δh21k=-f(y2(t))×y1(t-k) (4)
其中t表示时间样本索引,h12(t)表示在时间t处的滤波器C110的系数值,h21(t)表示在时间t处的滤波器C120的系数值,符号表示时域卷积运算,Δh12k表示在计算输出值y1(t)及y2(t)之后的滤波器C110的第k个系数值的改变,且Δh21k表示在计算输出值y1(t)及y2(t)之后的滤波器C120的第k个系数值的改变。
可能需要实施激活函数f作为近似所需信号的累积密度函数的非线性有界函数。满足此特征(尤其对于例如语音信号等正峰度信号来说)的非线性有界函数的一个实例为双曲线正切函数(通常指示为tanh)。可能需要使用依据x的正负号而快速地接近最大或最小值的函数f(x)。可用于激活函数f的非线性有界函数的其它实例包括S形函数、正负号函数及简单函数。这些实例函数可表达如下:
滤波器C110及C120的系数值可在每个样本处或在另一时间间隔处更新,且滤波器C110及C120的系数值可以相同速率或以不同速率更新。可能需要以不同速率更新不同系数值。举例来说,可能需要比较高阶系数值更频繁地更新较低阶系数值。可用于训练的另一结构包括如(例如)在第11/187,504号美国专利申请案(维萨(Visser)等人)的图12及段落[0087]到[0091]中描述的学习及输出阶段。
图12A展示源分离器F100的包括交叉滤波器C110、C120的逻辑实施方案C112、C122的实施方案F102的框图。图12B展示源分离器F100的包括更新逻辑块U110a、U100b的另一实施方案F104。此实例还分别包括滤波器C112及C122的实施方案C114及C124,其经配置以与相应更新逻辑块通信。图12C展示源分离器F100的包括更新逻辑的另一实施方案F106的框图。此实例分别包括滤波器C110及C120的实施方案C116及C126,其具备读取及写入端口。请注意,此类更新逻辑可以许多不同方式实施以实现等效结果。图12B及图12C中所示的实施方案可用于获得所述多个经训练的系数值(例如,在设计阶段期间),且还可用于后续实时应用中。相反,图12A中所示的实施方案F102可加载有多个经训练的系数值(例如,如使用分离器F104或F106获得的多个系数值)以供实时使用。此加载可在制造期间、在后续更新期间等执行。
图10A及图10B中所示的反馈结构可扩展到两个以上通道。举例来说,图11展示图10A的结构扩展到三个通道。一般来说,全M通道反馈结构将包括M*(M-1)个交叉滤波器,且将了解,表达式(1)到(4)可在用于每一输入通道xm及输出通道yj的hjm(t)及Δhjmk方面类似地经一般化。
尽管IIR设计通常在计算上比对应FIR设计廉价,但IIR滤波器可能在实践中变得不稳定(例如,响应于有界输入而产生无界输出)。例如可能遭遇不稳定语音信号的输入增益的增加可导致滤波器系数值的指数式增加且引起不稳定性。因为语音信号大体上展现具有零平均值的稀疏分布,所以激活函数f的输出可能在时间上频繁地振荡且促成不稳定性。另外,尽管可能需要大的学习参数值来支持迅速收敛,但可能在稳定性与收敛速率之间存在固有的折衷,因为大的输入增益可趋向于使系统更加不稳定。
需要确保IIR滤波器实施方案的稳定性。如图13中说明,一个此类方法是通过基于传入的输入信号的一个或一个以上特性而调适比例因子S110及S120来适当地缩放输入通道。举例来说,可能需要根据输入信号的电平而执行衰减,使得如果输入信号的电平过高,那么可减小比例因子S110及S120以降低输入振幅。然而,减小输入电平还可减小SNR,其又可导致分离性能减弱,且可能需要仅使输入通道衰减到确保稳定性所必要的程度。
在典型的实施方案中,比例因子S110及S120彼此相等且具有不大于一的值。还通常使比例因子S130为比例因子S110的倒数,且使比例因子S140为比例因子S120的倒数,但这些准则中的任何一者或一者以上可能有例外。举例来说,可能需要针对比例因子S110及S120使用不同值来解决对应变换器的不同增益特性。在此情况下,比例因子中的每一者可为与当前通道电平有关的自适应部分及与变换器特性(例如,如在校准操作期间确定)有关的固定部分的组合(例如,总和),且可在装置的使用期限期间偶而被更新。
另一种用以稳定反馈结构的交叉滤波器的方法是实施更新逻辑以解决滤波器系数值中的短期波动(例如,在每个样本处),进而避免相关联的回响。此方法(其可配合或替代上文描述的缩放方法来使用)可被视为时域平滑。额外地或替代地,滤波器平滑可在频域中执行以加强收敛式分离滤波器在相邻频率频段上的相干性。可通过以下方式来便利地实施此操作:将K抽头滤波器补零为较长长度L,将具有增加的时间支持的此滤波器变换为频域(例如,经由傅立叶变换),且接着执行逆变换以使滤波器返回到时域。由于已有效地用矩形时域窗来为滤波器加窗,所以相应地在频域中通过sinc函数使所述滤波器平滑。可以规则的时间间隔来完成此频域平滑以周期性地将经调适的滤波器系数重新初始化为相干解答。其它稳定性特征可包括使用多个滤波器级来实施交叉滤波器且/或限制滤波器调适范围及/或速率。
可能需要验证所述经收敛的解答满足一个或一个以上性能准则。可使用的一个性能准则是白色噪声增益,其表征经收敛的解答的稳固性。白色噪声增益(或WNG(ω))可定义为(A)响应于变换器上经正规化的白色噪声的输出功率,或等效地,(B)信号增益与变换器噪声敏感性的比率。
可使用的另一性能准则是用于所述系列的M通道信号中的所述源中的一者或一者以上中的每一者的射束图案(或空值射束图案)与如根据由收敛式滤波器产生的M通道输出信号而计算的相应射束图案相一致的程度。此准则可能不适用于实际射束图案未知且/或所述系列的M通道输入信号已被预分离的情况。一旦已获得经收敛的滤波器解答h12(t)及h21(t)(例如,hmj(t)),便可计算对应于输出y1(t)及y2(t)(例如,yj(t))的空间及频谱射束图案。根据与已知射束图案的一致性等而评估经收敛的解答。如果性能测试失败,则可能需要使用不同的训练数据、不同的学习速率等来重复所述调适。
为了确定与反馈结构相关联的射束图案,时域脉冲响应函数从x1到y1的w11(t)、从x1到y2的w21(t)、从x2到y1的w12(t)及从x2到y2的w22(t)可通过计算在t=0处在x1中且随后在t=0处在x2中经受脉冲输入的系统的对表达式(1)及(2)的迭代响应来模拟。或者,可通过将表达式(1)代入表达式(2)中来针对w11(t)、w12(t)、w21(t)及w22(t)公式化显式分析转移函数表达式。可能需要对所得表达式的IIR形式A(z)/B(z)执行多项式除法以获得FIR形式A(z)/B(z)=V(z)=v0+v1×z-1+v2×z-2+v3×z-3+...。
一旦通过任一方法获得从每一输入通道m到每一输出通道j的时域脉冲转移函数wjm(t),便可将所述函数变换到频域以产生频域转移函数Wjm(i*ω)。接着可通过计算以下表达式的量值曲线来从频域转移函数Wjm(i*ω)获得用于每一输出通道j的射束图案
Wj1(i×ω)D(ω)1j+Wj2(i×ω)D(ω)2j+...+WjM(i×ω)D(ω)Mj
在此表达式中,D(ω)指示频率ω的指向性矩阵,使得
D(ω)ij=exp(-i×cos(θj)×pos(i)×ω/c),(5)
其中pos(i)表示M个变换器的阵列中的第i个变换器的空间坐标,c为声音在介质中的传播速度(例如,在空气中为340m/s),且θj表示第j个源相对于变换器阵列的轴线的到达入射角。(对于未能先验地知道值θj的情况,可使用(例如)下文描述的程序来估计所述值。)
可使用如图14、图15A及图15B中所示的前馈滤波器结构来实施另一方法。图14展示包括直接滤波器D210及D220的前馈滤波器结构的框图。
可使用前馈结构来实施称为频域ICA或复合ICA的另一方法,其中直接在频域中计算滤波器系数值,(对输入通道执行FFT或其它变换)。此技术经设计以针对每一频率频段ω计算M×M未混合矩阵W(ω),使得经反混合的输出向量Y(ω,l)=W(ω)X(ω,l)为相互独立的。根据可表达如下的规则来更新未混合矩阵W(ω):
Wl+r(ω)=Wl(ω)+μ[I-<Φ(Y(ω,l))Y(ω,l)H>]Wl(ω) (6)
其中Wl(ω)表示针对频率频段ω及窗l的未混合矩阵,Y(ω,l)表示针对频率频段ω及窗l的滤波器输出,Wl+r(ω)表示针对频率频段ω及窗(l+r)的未混合矩阵,r为具有不小于一的整数值的更新速率参数,μ为学习速率参数,I为单位矩阵,Φ表示激活函数,上标H表示共轭转置运算,且括号<>表示在时间l=1、...、L中的平均运算。在一个实例中,激活函数Φ(Yj(ω,l))等于Yj(ω,l)/|Yj(ω,l)|。
复合ICA解答通常遭受缩放模糊度。如果源为固定的且在所有频率频段中已知源的方差,则可通过将方差调整为已知值来解决缩放问题。然而,自然信号源为动态的,通常为非固定的,且具有未知方差。代替调整源方差,可通过调整所学习的分离滤波器矩阵来解决缩放问题。由最小失真原理获得的一种众所周知的解决方案根据例如下式的表达式来缩放所学习的未混合矩阵。
Wl+r(ω)←diag(Wl+r -1(ω))Wl+r(ω)。
一些复合ICA实施方案的另一问题为在与同一源有关的频率频段当中损失相干性。此损失可能导致频率置换问题,其中主要含有来自信息源的能量的频率频段被误指派给干扰输出通道,且/或反之亦然。可使用对此问题的若干解决方案。
可使用的对所述置换问题的一个响应是独立向量分析(IVA),其是使用现有的源(其建模频率频段当中的预期依赖性)的复合ICA的变型。在此方法中,激活函数Φ为多变量激活函数,例如下式:
其中p具有大于或等于一的整数值(例如,1、2或3)。在此函数中,分母中的项涉及在所有频率频段上的经分离的源频谱。
使用多变量激活函数可有助于通过向滤波器学习过程中引入个别频率频段滤波器权数之间的显式依赖性来避免置换问题。然而,在实际应用中,此所连接的滤波器权数的调适可致使收敛速率变得更加依赖于初始滤波器条件(类似于在时域算法中已观测到的条件)。可能需要包括例如几何约束等约束。
一种用以包括几何约束的方法是基于指向性矩阵D(ω)而添加规则化项J(ω)(如在以上表达式(5)中):
J(ω)=α(ω)||W(ω)D(ω)-C(ω)||2 (7)
其中α(ω)为针对频率ω的调谐参数,且C(ω)为等于diag(W(ω)*D(ω))的M×M对角矩阵,其设定所需射束图案的选择且在干扰方向上针对每一输出通道j放置空值。参数α(ω)可针对不同频率包括不同值以允许针对不同频率更加强烈或较不强烈地应用约束。
规则化项(7)可用例如下式的表达式来表达为对未混合矩阵更新等式的约束:
constr(ω)=(dJ/dW)(ω)=μ*α(ω)*2*(W(ω)*D(ω)-C(ω))D(ω)H (8)
可通过将此项添加到滤波器学习规则(例如,表达式(6))中来实施此约束,如在以下表达式中:
Wconstr.l+p(ω)=
Wl(ω)+μ[I-<Φ(Y(ω,l))Y(ω,l)H>]Wl(ω)+2μα(ω)(Wl(ω)D(ω)-C(ω))D(ω)H
(9)
还可能需要周期性地且/或依据某事件而更新矩阵C(ω)及D(ω)中的一者或两者。
可用以下方式来估计源到达方向(DOA)值θj。已知通过使用未混合矩阵W的逆转,所述源的DOA可经估计为
其中θj,mn(ω)为源j相对于变换器对m及n的DOA,pm及pn分别为变换器m及n的位置,且c为声音在介质中的传播速度。当使用若干变换器对时,可通过绘出在选定子带中所有变换器对及频率上的上文表达式θest.j(ω)的直方图来计算特定源j的DOA θest.j(参见(例如)标题为“用于产生经分离信号的系统及方法(SYSTEM AND METHODFOR GENERATING A SEPARATED SIGNAL)”的国际专利公开案WO 2007/103037(陈(Chan)等人)的图6到图9及第16到20页)。平均θest.j则为所得直方图(θj,N(θj))的最大值或重心
其中N(θj)为在角θj处的DOA估计的数目。来自此些直方图的可靠DOA估计可能仅当在多个迭代之后出现平均源方向时在稍后学习阶段中变得可用。
对于源的数目R不大于M的情况可使用以上内容。在R>M的情况下可执行维数减少。此维数减少操作描述于(例如)第PCT/US2007/004966号国际专利申请案(陈(Chan)等人)的第17到18页上。
由于可采用射束成形技术且语音通常为宽带信号,所以可确保针对临界频率范围获得良好性能。等式(10)中的估计是基于对于距变换器阵列超出约两到四倍D2/λ的源距离为大体有效的远场模型,其中D为最大阵列维数且λ为所考虑的最短波长。如果以远场模型为基础的等式(10)无效,那么可能需要对射束图案进行近场校正。而且,两个或两个以上变换器之间的距离可经选择为足够小(例如,小于最高频率的波长的一半),使得避免空间假频。在此情况下,可能会不可能的是在宽带输入信号的极低频率中强制执行尖锐射束。
频率置换问题的另一类解决方案使用置换表。此类解决方案可包括根据全局相关成本函数而在输出通道当中重新指派频率频段(例如,根据线性、从下到上或从上到下的重新排序操作)。若干此类解决方案描述于上文引用的国际专利公开案WO 2007/103037(陈(Chan)等人)中。此重新指派还可包括检测频段间相位不连续性,其可用以指示可能的频率误指派(例如,如描述于陈(Chan)等人的WO 2007/103037中)。
在经配置以接收M通道输入的信号处理系统(例如,经配置以处理来自M个麦克风的输入的语音处理系统)中,源分离器F10可经配置以替换所述输入通道中的主要一者。待替换的输入通道可探试地进行选择(例如,具有最高SNR、最小延迟、最高VAD结果及/或最佳语音辨识结果的通道;被假设为最靠近例如主要扬声器的信息源的变换器的通道;等)。在此情况下,其它通道可被旁路到例如自适应滤波器的稍后处理级。图18B展示包括开关S100(例如,纵横开关)的设备A100的实施方案A110的框图,所述开关S100经配置以根据此探试而执行此选择。还可将此开关添加到如本文所描述的包括后续处理阶段的其它配置中的任一者(例如,如图20A的实例中所示)。
可能需要将源分离器F10的一个或一个以上实施方案(例如,反馈结构F100及/或前馈结构F200)与根据本文所描述的M通道自适应滤波器结构中的任一者来配置的自适应滤波器B200进行组合。举例来说,可能需要执行额外处理以改进反馈ICA中的分离,因为非线性有界函数仅为近似。举例来说,可根据本文所描述的ICA、IVA、受约束ICA或受约束IVA方法中的任一者来配置自适应滤波器B200。在此类情况下,自适应滤波器B200可经布置以处于源分离器F10之前(例如,用以预处理M通道输入信号)或跟随源分离器F10之后(例如,用以对源分离器F10的输出执行进一步分离)。自适应滤波器B200还可包括如上文参看图13所描述的比例因子。
对于包括源分离器F10及自适应滤波器B200的实施方案的配置(例如设备A200或A300),可能需要使自适应滤波器B200的初始条件(例如,在运行时间开始处的滤波器系数值及/或滤波器历史)基于源分离器F10的经收敛解答。此类初始条件可(例如)通过以下方式来计算:获得用于源分离器F10的收敛式解答,使用收敛式结构F10以对M通道训练数据进行滤波,将经滤波的信号提供到自适应滤波器B200,允许自适应滤波器B200收敛到一解答,且存储此解答以用作初始条件。此类初始条件可为自适应滤波器B200的调适提供软约束。将了解,初始条件可使用自适应滤波器B200的一个实例来计算(例如,在设计阶段期间)且接着作为初始条件而加载到自适应滤波器B200的一个或一个以上其它实例中(例如,在制造阶段期间)。
图19A展示包括自适应滤波器B200的实施方案B202的设备A200的框图,所述自适应滤波器B200经配置以输出信息信号及至少一个干扰参考。图19B、图20A、图20B及图21A展示包括源分离器F10及自适应滤波器B200的实例的额外配置。在这些实例中,输入通道I1f表示主要信号(例如,信息或组合信号),且输入通道I2f、I3f表示次要通道(例如,干扰参考)。在这些实例中,提供延迟元件B300、B300a及B300b以补偿对应源分离器的处理延迟(例如,以同步后续阶段的输入通道)。此类结构不同于一般化的旁瓣消除,因为(例如)自适应滤波器B200可经配置以并行地执行信号组块及干扰消除。
如图19B所示的设备A300还包括M个变换器(例如,麦克风)的阵列R100。明确地注意到,本文中所描述的其它设备中的任一者也可为此类阵列。阵列R100还可包括如此项技术中已知的相关联的取样结构、模拟处理结构及/或数字处理结构以产生适合于特定应用的数字M通道信号,或此结构可以其它方式包括在设备内。
图21B展示设备A300的实施方案A340的框图。设备A340包括经配置以产生信息输出信号及干扰参考的自适应滤波器B200的实施方案B202及经配置以产生具有降低的噪声电平的输出的噪声减少滤波器B400。在此类配置中,自适应滤波器B200的以干扰为主的输出通道中的一者或一者以上可由噪声减少滤波器B400用作干扰参考。噪声减少滤波器B400可基于来自经分离通道的信号及噪声功率信息而实施为维纳(Wiener)滤波器。在此情况下,噪声减少滤波器B400可经配置以基于所述一个或一个以上干扰参考而估计噪声频谱。或者,噪声减少滤波器B400可经实施以基于来自所述一个或一个以上干扰参考的频谱而对信息信号执行频谱减法运算。或者,噪声减少滤波器B400可实施为卡尔曼(Kalman)滤波器,其中噪声协方差是基于所述一个或一个以上干扰参考。在这些情况中的任一者中,噪声减少滤波器B400可经配置以包括话音活动性检测(VAD)操作,或使用在设备内以另外方式执行的此类操作的结果,以仅在非语音间隔期间估计例如频谱及/或协方差等噪声特性。
明确地注意到,自适应滤波器B200的实施方案B202及噪声减少滤波器B400可包括于本文中所述的其它配置的实施方案(例如设备A200、A410及A510)中。在这些实施方案中的任一者中,可能需要向自适应滤波器B202反馈噪声减少滤波器B400的输出,如(例如)在第7,099,821号美国专利(维萨(Visser)等人)的图7中及第20段顶部处描述。
如本文中所揭示的设备还可扩展为包括回波消除操作。图22A展示设备A400的实例,其包括源分离器F10的实例及回波消除器B500的两个实例B500a、B500b。在此实例中,回波消除器B500a、B500b经配置以接收远端信号S10(其可包括一个以上通道)且从对源分离器F10的输入的每一通道移除此信号。图22B展示设备A400的包括设备A300的实例的实施方案A410。
图23A展示设备A500的实例,其中回声消除器B500a、B500b经配置以从源分离器F10的输出的每一通道移除远端信号S10。图23B展示设备A500的包括设备A300的实例的实施方案A510。
回声消除器B500可基于最小均方(LMS)技术,其中基于所需信号与经滤波信号之间的误差而调适滤波器。或者,回声消除器B500可能不基于LMS而是基于如本文所述的用于最小化相互信息的技术(例如,ICA)。在此情况下,所导出的用于改变回波消除器B500的系数值的调适规则可能有所不同。回波消除器的实施方案可包括以下步骤:(1)系统假设已知至少一个回波参考信号(例如,远端信号S10);(2)用于滤波及调适的数学模型类似于1到4的等式,不同之处只是函数f应用于分离模块的输出而不应用于回波参考信号;(3)函数形式f可在线形到非线性的范围内;以及(4)对应用的特定知识的先前了解可并入到参数形式f中。将了解,已知的方法及算法可接着用于完成回波消除过程。图24A展示回波消除器B500的包括交叉滤波器C110的实例CE10的此实施方案B502的框图。在此情况下,滤波器CE10通常比源分离器F100的交叉滤波器长。如图24B中所示,如上文参看图13所述的比例因子还可用于增加回波消除器B500的自适应实施方案的稳定性。可使用的其它回波消除实施方法包括倒谱处理及对变换域自适应滤波(TDAF)技术的使用以改进回波消除器B500的技术性质。
请注意,本文中所描述的各种方法可由逻辑元件阵列(例如处理器)执行,且如本文中所描述的设备的各种元件可实施为经设计以在此类阵列上执行的模块。如本文中使用,术语“模块”或“子模块”可指代包括呈软件、硬件或固件形式的计算机指令的任何方法、设备、装置、单元或计算机可读数据存储媒体。应了解,多个模块或系统可组合为一个模块或系统,且一个模块或系统可被分离成多个模块或系统以执行相同功能。当以软件或其它计算机可执行指令实施时,过程的要素本质上为用以执行例如与例程、程序、对象、组件、数据结构等有关的任务的代码段。程序或代码段可存储于处理器可读媒体中或由包含在载波中的计算机数据信号经由传输媒体或通信链路传输。术语“处理器可读媒体”可包括可存储或传送信息的任何媒体,其中包括易失性、非易失性、可移除式及非可移除式媒体。处理器可读媒体的实例包括电子电路、半导体存储器装置、ROM、快闪存储器、可擦除ROM(EROM)、软盘或其它磁性存储装置、CD-ROM/DVD或其它光学存储装置、硬盘、光纤媒体、射频(RF)链路,或可用于存储所需信息且可被存取的任何其它媒体。计算机数据信号可包括可经由传输媒体(例如电子网络通道、光纤、空气、电磁、RF链路等)传播的任何信号。代码段可经由例如因特网或企业内部网络等计算机网络来下载。在任何情况下,本发明的范围不应被解释为受此些实施例限制。
明确地揭示,本文中所描述的各种方法可由例如手持机、头戴式耳机或便携式数字助理(PDA)等便携式通信装置执行,且本文中所描述的各种设备可连同此类装置一起包括。典型的实时(例如,在线)应用是使用此类移动装置进行的电话会话。
在一个或一个以上示范性实施例中,所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施,那么所述功能可作为一个或一个以上指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输。计算机可读媒体包括计算机存储媒体及通信媒体两者,所述通信媒体包括促进将计算机程序从一个位置传送到另一位置的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。借助于实例且非限制,此类计算机可读媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用于以指令或数据结构的形式携载或存储所需程序代码且可由计算机存取的任何其它媒体。而且,任何连接被适当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术来从网站、服务器或其它远程源传输软件,那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包括在媒体的定义中。如本文中所使用,磁盘及光盘包括压缩光盘(CD)、激光光盘、光盘、数字通用光盘(DVD)、软盘及Blu-ray DiscTM(蓝光光盘协会,加利福尼亚州大学城(Universal City,CA)),其中磁盘通常以磁性方式再生数据,而光盘用激光以光学方式再生数据。以上各项的组合也应包括在计算机可读媒体的范围内。
如本文中所描述的语音分离系统可并入到电子装置中,所述电子装置接受语音输入以便控制某些功能,或以另外方式要求从背景噪声中分离所需噪声,所述电子装置例如为通信装置。许多应用要求增强清晰的所需声音或从起源于多个方向的背景声音中分离清晰的所需声音。此些应用可包括电子或计算装置中的人机接口,其并入有例如话音辨识及检测、语音增强及分离、话音激活式控制等能力。可能需要将此语音分离系统实施为适用于仅提供有限处理能力的装置中。
Claims (58)
1.一种信号处理方法,所述方法包含:
基于多个M通道训练信号,训练源分离滤波器结构的多个系数值以获得收敛式源分离滤波器结构,其中M为大于一的整数;以及
决定所述收敛式源分离滤波器结构是否充分地将所述多个M通道训练信号中的每一者分离为至少信息输出信号及干扰输出信号,
其中所述多个M通道训练信号中的至少一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成第一空间配置,且
其中所述多个M通道训练信号中的另一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成不同于所述第一空间配置的第二空间配置。
2.根据权利要求1所述的信号处理方法,其中所述训练多个系数值包含基于所述多个M通道训练信号中的每一者而更新所述源分离滤波器结构的所述多个系数值。
3.根据权利要求1所述的信号处理方法,其中所述决定包含将来自所述至少一个信息源的信息与所述收敛式源分离滤波器结构的输出进行比较。
4.根据权利要求1所述的信号处理方法,其中所述多个M通道训练信号中的至少一者包括来自具有第一频谱特性的干扰源的干扰,且
其中所述多个M通道训练信号中的另一者包括来自具有不同于所述第一频谱特性的第二频谱特性的干扰源的干扰。
5.根据权利要求1所述的信号处理方法,其中所述多个M通道训练信号中的至少一者包括来自具有第一频谱特性的信息源的信息,且
其中所述多个M通道训练信号中的另一者包括来自具有不同于所述第一频谱特性的第二频谱特性的信息源的信息。
6.根据权利要求1所述的信号处理方法,其中在所述第一空间配置内,将所述M个变换器部署成相对于所述至少一个信息源以第一空间定向来定向的阵列,且
其中在所述第二空间配置内,将所述M个变换器部署成相对于所述至少一个信息源以第二空间定向来定向的阵列,且
其中所述第二空间定向不同于所述第一空间定向。
7.根据权利要求1所述的信号处理方法,其中所述训练源分离滤波器结构的多个系数值包括基于非线性有界函数而计算对所述多个系数值的更新。
8.根据权利要求1所述的信号处理方法,其中所述方法包含:
基于所述收敛式源分离滤波器结构的多个经训练的系数值,计算对应的射束图案;以及
将所述所计算的射束图案与基于变换器与源在所述第一及第二空间配置的至少一者中的相对部署的信息进行比较。
9.根据权利要求1所述的信号处理方法,其中所述方法包含基于所述收敛式源分离滤波器结构的多个经训练的系数值,实时地对M通道信号进行滤波以获得实时信息输出信号。
10.根据权利要求9所述的信号处理方法,其中在所述第一空间配置内,将所述M个变换器相对于彼此而布置成第三空间配置,且
其中所述M通道信号是基于由M个变换器的阵列产生的信号,所述M个变换器相对于彼此而布置成所述第三空间配置。
11.根据权利要求9所述的信号处理方法,其中所述对M通道信号进行滤波包括将(A)信息输出通道及(B)干扰输出通道中的一者的频率频段重新指派给所述两个通道中的另一者。
12.根据权利要求9所述的信号处理方法,所述方法包含:
基于所述收敛式源分离滤波器结构的多个经训练的系数值,针对自适应滤波器产生初始条件;
根据所述初始条件而初始化所述自适应滤波器;以及
在所述初始化之后,使用所述自适应滤波器来对基于所述实时信息输出信号的信号进行滤波,
其中所述初始条件包括(A)所述自适应滤波器的多个初始抽头权数及(B)所述自适应滤波器的初始历史中的至少一者。
13.根据权利要求12所述的信号处理方法,其中所述使用自适应滤波器包括基于所述实时信息输出信号的特性,使基于所述实时信息输出信号的所述信号衰减。
14.根据权利要求9所述的信号处理方法,所述方法包含对(A)所述M通道信号及(B)基于所述实时信息输出信号的信号中的至少一者执行回波消除操作。
15.根据权利要求1所述的信号处理方法,其中所述使用所述自适应滤波器来对基于所述信息输出信号的信号进行滤波包括使用所述自适应滤波器来产生干扰参考信号,且
其中所述方法包含基于所述干扰参考信号,对基于所述实时信息输出信号的信号执行噪声减少操作。
16.一种用于信号处理的设备,所述设备包含:
M个变换器的阵列,其中M为大于一的整数;以及
源分离滤波器结构,其具有多个经训练的系数值,
其中所述源分离滤波器结构经配置以实时地对M通道信号进行滤波以获得实时信息输出信号,且
其中所述多个经训练的系数值是基于多个M通道训练信号,且
其中所述多个M通道训练信号中的一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成第一空间配置,且
其中所述多个M通道训练信号中的另一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成不同于所述第一空间配置的第二空间配置。
17.根据权利要求16所述的用于信号处理的设备,其中所述设备包含移动用户终端,其包括所述阵列及所述源分离滤波器结构。
18.根据权利要求16所述的用于信号处理的设备,其中所述设备包含无线头戴式耳机,其包括所述阵列及所述源分离滤波器结构。
19.根据权利要求16所述的用于信号处理的设备,其中所述阵列的所述M个变换器相对于彼此而布置成第三空间配置,且
其中在所述第一空间配置内,所述M个变换器相对于彼此而布置成所述第三空间配置。
20.根据权利要求16所述的用于信号处理的设备,其中在所述第一空间配置内,所述M个变换器经部署成相对于所述至少一个信息源以第一空间定向来定向的阵列,且
其中在所述第二空间配置内,所述M个变换器经部署成相对于所述至少一个信息源以第二空间定向来定向的阵列,且
其中所述第二空间定向不同于所述第一空间定向。
21.根据权利要求16所述的用于信号处理的设备,其中所述多个经训练的系数值是基于非线性有界函数而根据多个系数值计算。
22.根据权利要求16所述的用于信号处理的设备,其中所述源分离器滤波器结构经配置以通过将(A)信息输出通道及(B)干扰输出通道中的一者的频率频段重新指派给所述两个通道中的另一者来对所述M通道信号进行滤波。
23.根据权利要求16所述的用于信号处理的设备,所述设备包含自适应滤波器,其经布置以对基于所述实时信息输出信号的信号进行滤波,
其中所述自适应滤波器是根据基于收敛式源分离滤波器结构的多个经训练的系数值的初始条件而初始化,所述初始条件包括(A)所述自适应滤波器的多个初始抽头权数及(B)所述自适应滤波器的初始历史中的至少一者。
24.根据权利要求23所述的用于信号处理的设备,其中所述自适应滤波器经配置以基于所述信息输出信号的特性而对基于所述实时信息输出信号的所述信号执行按比例缩放操作。
25.根据权利要求23所述的用于信号处理的设备,其中所述自适应滤波器经配置以产生干扰参考信号,且
其中所述设备包括噪声减少滤波器,其经配置以基于所述干扰参考信号而对基于所述实时信息输出信号的信号执行噪声减少操作。
26.根据权利要求16所述的用于信号处理的设备,所述设备包含回波消除器,其经配置以对(A)所述M通道信号及(B)基于所述实时信息输出信号的信号中的至少一者执行回波消除操作。
27.一种计算机可读媒体,其包含当由处理器执行时致使所述处理器执行以下操作的指令:
基于多个M通道训练信号而训练源分离滤波器结构的多个系数值,以获得收敛式源分离滤波器结构,其中M为大于一的整数;以及
决定所述收敛式源分离滤波器结构是否充分地将所述多个M通道训练信号中的每一者分离为至少信息输出信号及干扰输出信号,
其中所述多个M通道训练信号中的至少一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成第一空间配置,且
其中所述多个M通道训练信号中的另一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成不同于所述第一空间配置的第二空间配置。
28.根据权利要求27所述的计算机可读媒体,其中当由处理器执行时致使所述处理器训练多个系数值的所述指令包含当由处理器执行时致使所述处理器基于所述多个M通道训练信号中的每一者而更新所述源分离滤波器结构的所述多个系数值的指令。
29.根据权利要求27所述的计算机可读媒体,其中当由处理器执行时致使所述处理器决定的所述指令包含当由处理器执行时致使所述处理器将来自所述至少一个信息源的信息与所述收敛式源分离滤波器结构的输出进行比较的指令。
30.根据权利要求27所述的计算机可读媒体,其中所述多个M通道训练信号中的至少一者包括来自具有第一频谱特性的干扰源的干扰,且
其中所述多个M通道训练信号中的另一者包括来自具有不同于所述第一频谱特性的第二频谱特性的干扰源的干扰。
31.根据权利要求27所述的计算机可读媒体,其中所述多个M通道训练信号中的至少一者包括来自具有第一频谱特性的信息源的信息,且
其中所述多个M通道训练信号中的另一者包括来自具有不同于所述第一频谱特性的第二频谱特性的信息源的信息。
32.根据权利要求27所述的计算机可读媒体,其中在所述第一空间配置内,所述M个变换器经部署成相对于所述至少一个信息源以第一空间定向来定向的阵列,且
其中在所述第二空间配置内,所述M个变换器经部署成相对于所述至少一个信息源以第二空间定向来定向的阵列,且
其中所述第二空间定向不同于所述第一空间定向。
33.根据权利要求27所述的计算机可读媒体,其中当由处理器执行时致使所述处理器训练源分离滤波器结构的多个系数值的所述指令包括当由处理器执行时致使所述处理器基于非线性有界函数而计算对所述多个系数值的更新的指令。
34.根据权利要求27所述的计算机可读媒体,其中所述媒体包含当由处理器执行时致使所述处理器执行以下操作的指令:
基于所述收敛式源分离滤波器结构的多个经训练的系数值而计算对应的射束图案;以及
将所述所计算的射束图案与基于变换器及源在所述第一及第二空间配置的至少一者中的相对部署的信息进行比较。
35.根据权利要求27所述的计算机可读媒体,其中所述媒体包含当由处理器执行时致使所述处理器基于所述收敛式源分离滤波器结构的多个经训练的系数值而实时地对M通道信号进行滤波以获得实时信息输出信号的指令。
36.根据权利要求35所述的计算机可读媒体,其中在所述第一空间配置内,所述M个变换器相对于彼此而布置成第三空间配置,且
其中所述M通道信号是基于由M个变换器的阵列产生的信号,所述M个变换器相对于彼此而布置成所述第三空间配置。
37.根据权利要求35所述的信号处理方法,其中当由处理器执行时致使所述处理器对M通道信号进行滤波的所述指令包括当由处理器执行时致使所述处理器将(A)信息输出通道及(B)干扰输出通道中的一者的频率频段重新指派给所述两个通道中的另一者的指令。
38.根据权利要求35所述的计算机可读媒体,所述媒体包含当由处理器执行时致使所述处理器执行以下操作的指令:
基于所述收敛式源分离滤波器结构的多个经训练的系数值,针对自适应滤波器产生初始条件;
根据所述初始条件而初始化所述自适应滤波器;以及
在所述初始化之后,使用所述自适应滤波器来对基于所述实时信息输出信号的信号进行滤波,
其中所述初始条件包括(A)所述自适应滤波器的多个初始抽头权数及(B)所述自适应滤波器的初始历史中的至少一者。
39.根据权利要求38所述的计算机可读媒体,其中当由处理器执行时致使所述处理器使用自适应滤波器的所述指令包括当由处理器执行时致使所述处理器基于所述实时信息输出信号的特性而使基于所述实时信息输出信号的所述信号衰减的指令。
40.根据权利要求35所述的计算机可读媒体,所述媒体包含当由处理器执行时致使所述处理器对(A)所述M通道信号及(B)基于所述实时信息输出信号的信号中的至少一者执行回波消除操作的指令。
41.根据权利要求27所述的计算机可读媒体,其中当由处理器执行时致使所述处理器使用所述自适应滤波器来对基于所述实时信息输出信号的信号进行滤波的所述指令包括当由处理器执行时致使所述处理器使用所述自适应滤波器来产生干扰参考信号的指令,且
其中所述媒体包含当由处理器执行时致使所述处理器基于所述干扰参考信号而对基于所述实时信息输出信号的信号执行噪声减少操作的指令。
42.一种用于信号处理的设备,所述设备包含:
M个变换器的阵列,其中M为大于一的整数;以及
用于根据多个经训练的系数值而执行源分离滤波操作的装置,
其中所述用于执行源分离滤波操作的装置经配置以实时地对M通道信号进行滤波以获得实时信息输出信号,且
其中所述多个经训练的系数值是基于多个M通道训练信号,且
其中所述多个M通道训练信号中的一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成第一空间配置,且
其中所述多个M通道训练信号中的另一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,同时所述变换器及源经布置成不同于所述第一空间配置的第二空间配置。
43.根据权利要求42所述的用于信号处理的设备,其中所述设备包含移动用户终端,其包括所述阵列及所述用于执行源分离滤波操作的装置。
44.根据权利要求42所述的用于信号处理的设备,其中所述设备包含无线头戴式耳机,其包括所述阵列及所述用于执行源分离滤波操作的装置。
45.根据权利要求42所述的用于信号处理的设备,其中所述阵列的所述M个变换器相对于彼此而布置成第三空间配置,且
其中在所述第一空间配置内,所述M个变换器相对于彼此而布置成所述第三空间配置。
46.根据权利要求42所述的用于信号处理的设备,其中在所述第一空间配置内,所述M个变换器经部署成相对于所述至少一个信息源以第一空间定向来定向的阵列,且
其中在所述第二空间配置内,所述M个变换器经部署成相对于所述至少一个信息源以第二空间定向来定向的阵列,且
其中所述第二空间定向不同于所述第一空间定向。
47.根据权利要求42所述的用于信号处理的设备,其中所述多个经训练的系数值是基于非线性有界函数而根据多个系数值计算。
48.根据权利要求42所述的用于信号处理的设备,其中所述用于执行源分离滤波操作的装置经配置以通过将(A)信息输出通道及(B)干扰输出通道中的一者的频率频段重新指派给所述两个通道中的另一者来对所述M通道信号进行滤波。
49.根据权利要求42所述的用于信号处理的设备,所述设备包含用于自适应性地滤波的装置,其经布置以对基于所述实时信息输出信号的信号进行滤波,
其中所述用于自适应性地滤波的装置是根据基于收敛式源分离滤波器结构的多个经训练的系数值的初始条件而初始化,所述初始条件包括(A)所述自适应滤波器的多个初始抽头权数及(B)所述自适应滤波器的初始历史中的至少一者。
50.根据权利要求49所述的用于信号处理的设备,其中所述用于自适应地滤波的装置经配置以基于所述实时信息输出信号的特性而对基于所述实时信息输出信号的所述信号执行按比例缩放操作。
51.根据权利要求49所述的用于信号处理的设备,其中所述用于自适应地滤波的装置经配置以产生干扰参考信号,且
其中所述设备包括用于减少噪声的装置,其经配置以基于所述干扰参考信号而对基于所述实时信息输出信号的信号执行噪声减少操作。
52.根据权利要求42所述的用于信号处理的设备,所述设备包含用于回波消除的装置,其经配置以对(A)所述M通道信号及(B)基于所述实时信息输出信号的信号中的至少一者执行回波消除操作。
53.一种信号处理方法,所述方法包含:
基于多个M通道训练信号,训练源分离滤波器结构的多个系数值以获得收敛式源分离滤波器结构,其中M为大于一的整数;以及
决定所述收敛式源分离滤波器结构是否充分地将所述多个M通道训练信号中的每一者分离为至少信息输出信号及干扰输出信号,
其中所述多个M通道训练信号中的每一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,且
其中所述多个M通道训练信号中的至少两者相对于以下各项中的至少一者而有所不同:(A)所述至少一个信息源的空间特征;(B)所述至少一个干扰源的空间特征;(C)所述至少一个信息源的频谱特征;以及(D)所述至少一个干扰源的频谱特征,且
其中所述训练源分离滤波器结构的多个系数值包括根据独立向量分析算法及受约束的独立向量分析算法中的至少一者而更新所述多个系数值。
54.根据权利要求53所述的信号处理方法,其中所述方法包含基于所述收敛式源分离滤波器结构的多个经训练的系数值,实时地对M通道信号进行滤波以获得实时信息输出信号。
55.根据权利要求54所述的信号处理方法,所述方法包含:
基于所述收敛式源分离滤波器结构的多个经训练的系数值,针对自适应滤波器产生初始条件;
根据所述初始条件而初始化所述自适应滤波器;以及
在所述初始化之后,使用所述自适应滤波器来对基于所述实时信息输出信号的信号进行滤波,
其中所述初始条件包括(A)所述自适应滤波器的多个初始抽头权数及(B)所述自适应滤波器的初始历史中的至少一者。
56.一种用于信号处理的设备,所述设备包含:
M个变换器的阵列,其中M为大于一的整数;以及
源分离滤波器结构,其具有多个经训练的系数值,
其中所述源分离滤波器结构经配置以实时地对M通道信号进行滤波以获得实时信息输出信号,且
其中所述多个经训练的系数值是基于多个M通道训练信号,且
其中所述多个M通道训练信号中的每一者是基于由M个变换器响应于至少一个信息源及至少一个干扰源而产生的信号,且
其中所述多个M通道训练信号中的至少两者相对于以下各项中的至少一者而有所不同:(A)所述至少一个信息源的空间特征;(B)所述至少一个干扰源的空间特征;(C)所述至少一个信息源的频谱特征;以及(D)所述至少一个干扰源的频谱特征,且
其中所述多个经训练的系数值是基于根据独立向量分析算法及受约束的独立向量分析算法中的至少一者而更新多个系数值。
57.根据权利要求9所述的信号处理方法,所述方法包含:
使用多个变换器来俘获M通道所俘获信号,其中所述M通道信号是基于所述M通道所俘获信号;以及
在所述实时地对M通道信号进行滤波之后,重新校准所述多个变换器中的至少一者的增益。
58.根据权利要求9所述的信号处理方法,所述方法包含在所述实时地对M通道信号进行滤波之后,且基于多个M通道训练信号,训练源分离滤波器结构的多个系数值以获得第二收敛式源分离滤波器结构。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US89167707P | 2007-02-26 | 2007-02-26 | |
US60/891,677 | 2007-02-26 | ||
PCT/US2008/055050 WO2008106474A1 (en) | 2007-02-26 | 2008-02-26 | Systems, methods, and apparatus for signal separation |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101622669A true CN101622669A (zh) | 2010-01-06 |
CN101622669B CN101622669B (zh) | 2013-03-13 |
Family
ID=39345147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200880005987.9A Active CN101622669B (zh) | 2007-02-26 | 2008-02-26 | 用于信号分离的系统、方法及设备 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20080208538A1 (zh) |
EP (1) | EP2115743A1 (zh) |
JP (2) | JP2010519602A (zh) |
KR (1) | KR20090123921A (zh) |
CN (1) | CN101622669B (zh) |
TW (1) | TW200849219A (zh) |
WO (1) | WO2008106474A1 (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102859591A (zh) * | 2010-04-12 | 2013-01-02 | 瑞典爱立信有限公司 | 用于语音编码器中的噪声消除的方法和装置 |
CN102890936A (zh) * | 2011-07-19 | 2013-01-23 | 联想(北京)有限公司 | 一种音频处理方法、终端设备及系统 |
CN103903632A (zh) * | 2014-04-02 | 2014-07-02 | 重庆邮电大学 | 一种多声源环境下的基于听觉中枢系统的语音分离方法 |
CN104064195A (zh) * | 2014-06-30 | 2014-09-24 | 电子科技大学 | 一种噪声环境下的多维盲分离方法 |
CN105580075A (zh) * | 2013-07-22 | 2016-05-11 | 弗劳恩霍夫应用研究促进协会 | 使用自适应频谱铺片选择来对音频信号进行解码和编码的设备和方法 |
CN105684079A (zh) * | 2013-10-22 | 2016-06-15 | 三菱电机株式会社 | 用于增强输入的有噪信号的方法和系统 |
CN109036455A (zh) * | 2018-09-17 | 2018-12-18 | 中科上声(苏州)电子有限公司 | 直达声与背景声提取方法、扬声器系统及其声重放方法 |
CN109444841A (zh) * | 2018-12-26 | 2019-03-08 | 清华大学 | 基于修正切换函数的平滑变结构滤波方法及系统 |
CN110111808A (zh) * | 2019-04-30 | 2019-08-09 | 华为技术有限公司 | 音频信号处理方法及相关产品 |
CN110875045A (zh) * | 2018-09-03 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 一种语音识别方法、智能设备和智能电视 |
CN112489675A (zh) * | 2020-11-13 | 2021-03-12 | 北京云从科技有限公司 | 一种多通道盲源分离方法、装置、机器可读介质及设备 |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7099821B2 (en) * | 2003-09-12 | 2006-08-29 | Softmax, Inc. | Separation of target acoustic signals in a multi-transducer arrangement |
US8898056B2 (en) | 2006-03-01 | 2014-11-25 | Qualcomm Incorporated | System and method for generating a separated signal by reordering frequency components |
CN101039534B (zh) * | 2006-03-15 | 2012-06-20 | 鸿富锦精密工业(深圳)有限公司 | 声音检测设备和自动传送装置 |
US8898036B2 (en) | 2007-08-06 | 2014-11-25 | Rosemount Inc. | Process variable transmitter with acceleration sensor |
US8254588B2 (en) | 2007-11-13 | 2012-08-28 | Stmicroelectronics Asia Pacific Pte., Ltd. | System and method for providing step size control for subband affine projection filters for echo cancellation applications |
US8554550B2 (en) * | 2008-01-28 | 2013-10-08 | Qualcomm Incorporated | Systems, methods, and apparatus for context processing using multi resolution analysis |
US8321214B2 (en) * | 2008-06-02 | 2012-11-27 | Qualcomm Incorporated | Systems, methods, and apparatus for multichannel signal amplitude balancing |
WO2009151578A2 (en) * | 2008-06-09 | 2009-12-17 | The Board Of Trustees Of The University Of Illinois | Method and apparatus for blind signal recovery in noisy, reverberant environments |
KR101233271B1 (ko) * | 2008-12-12 | 2013-02-14 | 신호준 | 신호 분리 방법, 상기 신호 분리 방법을 이용한 통신 시스템 및 음성인식시스템 |
US8208649B2 (en) * | 2009-04-28 | 2012-06-26 | Hewlett-Packard Development Company, L.P. | Methods and systems for robust approximations of impulse responses in multichannel audio-communication systems |
JP5375400B2 (ja) * | 2009-07-22 | 2013-12-25 | ソニー株式会社 | 音声処理装置、音声処理方法およびプログラム |
US20110096915A1 (en) * | 2009-10-23 | 2011-04-28 | Broadcom Corporation | Audio spatialization for conference calls with multiple and moving talkers |
US9031221B2 (en) * | 2009-12-22 | 2015-05-12 | Cyara Solutions Pty Ltd | System and method for automated voice quality testing |
US9538286B2 (en) * | 2011-02-10 | 2017-01-03 | Dolby International Ab | Spatial adaptation in multi-microphone sound capture |
US9207670B2 (en) | 2011-03-21 | 2015-12-08 | Rosemount Inc. | Degrading sensor detection implemented within a transmitter |
KR20130014895A (ko) * | 2011-08-01 | 2013-02-12 | 한국전자통신연구원 | 음원 분리 기준 결정 장치와 방법 및 음원 분리 장치와 방법 |
US11665482B2 (en) | 2011-12-23 | 2023-05-30 | Shenzhen Shokz Co., Ltd. | Bone conduction speaker and compound vibration device thereof |
US9146301B2 (en) * | 2012-01-25 | 2015-09-29 | Fuji Xerox Co., Ltd. | Localization using modulated ambient sounds |
US9282405B2 (en) | 2012-04-24 | 2016-03-08 | Polycom, Inc. | Automatic microphone muting of undesired noises by microphone arrays |
US9161149B2 (en) * | 2012-05-24 | 2015-10-13 | Qualcomm Incorporated | Three-dimensional sound compression and over-the-air transmission during a call |
US9052240B2 (en) | 2012-06-29 | 2015-06-09 | Rosemount Inc. | Industrial process temperature transmitter with sensor stress diagnostics |
US9602122B2 (en) * | 2012-09-28 | 2017-03-21 | Rosemount Inc. | Process variable measurement noise diagnostic |
TWI503687B (zh) * | 2013-08-08 | 2015-10-11 | Univ Asia | 適應性線性時變濾波方法 |
WO2015044915A1 (en) * | 2013-09-26 | 2015-04-02 | Universidade Do Porto | Acoustic feedback cancellation based on cesptral analysis |
US9762742B2 (en) | 2014-07-24 | 2017-09-12 | Conexant Systems, Llc | Robust acoustic echo cancellation for loosely paired devices based on semi-blind multichannel demixing |
CN104700119B (zh) * | 2015-03-24 | 2018-02-13 | 北京机械设备研究所 | 一种基于卷积盲源分离的脑电信号独立分量提取方法 |
US9191494B1 (en) * | 2015-04-06 | 2015-11-17 | Captioncall, Llc | Device, system, and method for performing echo cancellation in different modes of a communication device |
US10410641B2 (en) | 2016-04-08 | 2019-09-10 | Dolby Laboratories Licensing Corporation | Audio source separation |
TWI622043B (zh) * | 2016-06-03 | 2018-04-21 | 瑞昱半導體股份有限公司 | 聲源分離方法與裝置 |
US10593351B2 (en) * | 2017-05-03 | 2020-03-17 | Ajit Arun Zadgaonkar | System and method for estimating hormone level and physiological conditions by analysing speech samples |
FR3067511A1 (fr) * | 2017-06-09 | 2018-12-14 | Orange | Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal |
JP6345327B1 (ja) * | 2017-09-07 | 2018-06-20 | ヤフー株式会社 | 音声抽出装置、音声抽出方法および音声抽出プログラム |
KR102556098B1 (ko) * | 2017-11-24 | 2023-07-18 | 한국전자통신연구원 | 심리음향 기반 가중된 오류 함수를 이용한 오디오 신호 부호화 방법 및 장치, 그리고 오디오 신호 복호화 방법 및 장치 |
US10657981B1 (en) * | 2018-01-19 | 2020-05-19 | Amazon Technologies, Inc. | Acoustic echo cancellation with loudspeaker canceling beamformer |
JP7137694B2 (ja) | 2018-09-12 | 2022-09-14 | シェンチェン ショックス カンパニー リミテッド | 複数の音響電気変換器を有する信号処理装置 |
CN111009257B (zh) * | 2019-12-17 | 2022-12-27 | 北京小米智能科技有限公司 | 一种音频信号处理方法、装置、终端及存储介质 |
TWI744036B (zh) * | 2020-10-14 | 2021-10-21 | 緯創資通股份有限公司 | 聲音辨識模型訓練方法及系統與電腦可讀取媒體 |
US11320471B1 (en) * | 2021-06-09 | 2022-05-03 | University Of Sharjah | Method of measuring impedance using Gaussian white noise excitation |
Family Cites Families (75)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4649505A (en) * | 1984-07-02 | 1987-03-10 | General Electric Company | Two-input crosstalk-resistant adaptive noise canceller |
US4912767A (en) * | 1988-03-14 | 1990-03-27 | International Business Machines Corporation | Distributed noise cancellation system |
JPH03269498A (ja) * | 1990-03-19 | 1991-12-02 | Ricoh Co Ltd | 雑音除去方式 |
US5327178A (en) * | 1991-06-17 | 1994-07-05 | Mcmanigal Scott P | Stereo speakers mounted on head |
US5208786A (en) * | 1991-08-28 | 1993-05-04 | Massachusetts Institute Of Technology | Multi-channel signal separation |
JPH05316587A (ja) * | 1992-05-08 | 1993-11-26 | Sony Corp | マイクロホン装置 |
US5251263A (en) * | 1992-05-22 | 1993-10-05 | Andrea Electronics Corporation | Adaptive noise cancellation and speech enhancement system and apparatus therefor |
US5732143A (en) * | 1992-10-29 | 1998-03-24 | Andrea Electronics Corp. | Noise cancellation apparatus |
US5383164A (en) * | 1993-06-10 | 1995-01-17 | The Salk Institute For Biological Studies | Adaptive system for broadband multisignal discrimination in a channel with reverberation |
US5375174A (en) * | 1993-07-28 | 1994-12-20 | Noise Cancellation Technologies, Inc. | Remote siren headset |
US5706402A (en) * | 1994-11-29 | 1998-01-06 | The Salk Institute For Biological Studies | Blind signal processing system employing information maximization to recover unknown signals through unsupervised minimization of output redundancy |
US6002776A (en) * | 1995-09-18 | 1999-12-14 | Interval Research Corporation | Directional acoustic signal processor and method therefor |
US5770841A (en) * | 1995-09-29 | 1998-06-23 | United Parcel Service Of America, Inc. | System and method for reading package information |
US5675659A (en) * | 1995-12-12 | 1997-10-07 | Motorola | Methods and apparatus for blind separation of delayed and filtered sources |
US6130949A (en) * | 1996-09-18 | 2000-10-10 | Nippon Telegraph And Telephone Corporation | Method and apparatus for separation of source, program recorded medium therefor, method and apparatus for detection of sound source zone, and program recorded medium therefor |
US6108415A (en) * | 1996-10-17 | 2000-08-22 | Andrea Electronics Corporation | Noise cancelling acoustical improvement to a communications device |
JPH10124084A (ja) * | 1996-10-18 | 1998-05-15 | Oki Electric Ind Co Ltd | 音声処理装置 |
US5999567A (en) * | 1996-10-31 | 1999-12-07 | Motorola, Inc. | Method for recovering a source signal from a composite signal and apparatus therefor |
US7072476B2 (en) * | 1997-02-18 | 2006-07-04 | Matech, Inc. | Audio headset |
FR2759824A1 (fr) * | 1997-02-18 | 1998-08-21 | Philips Electronics Nv | Systeme de separation de sources non stationnaires |
US6167417A (en) * | 1998-04-08 | 2000-12-26 | Sarnoff Corporation | Convolutive blind source separation using a multiple decorrelation method |
DE19822021C2 (de) * | 1998-05-15 | 2000-12-14 | Siemens Audiologische Technik | Hörgerät mit automatischem Mikrofonabgleich sowie Verfahren zum Betrieb eines Hörgerätes mit automatischem Mikrofonabgleich |
US6654468B1 (en) * | 1998-08-25 | 2003-11-25 | Knowles Electronics, Llc | Apparatus and method for matching the response of microphones in magnitude and phase |
US6898612B1 (en) * | 1998-11-12 | 2005-05-24 | Sarnoff Corporation | Method and system for on-line blind source separation |
US6606506B1 (en) * | 1998-11-19 | 2003-08-12 | Albert C. Jones | Personal entertainment and communication device |
US6381570B2 (en) * | 1999-02-12 | 2002-04-30 | Telogy Networks, Inc. | Adaptive two-threshold method for discriminating noise from speech in a communication signal |
CA2367579A1 (en) * | 1999-03-19 | 2000-09-28 | Siemens Aktiengesellschaft | Method and device for recording and processing audio signals in an environment filled with acoustic noise |
JP3688934B2 (ja) * | 1999-04-16 | 2005-08-31 | アルパイン株式会社 | マイクロホンシステム |
US6526148B1 (en) * | 1999-05-18 | 2003-02-25 | Siemens Corporate Research, Inc. | Device and method for demixing signal mixtures using fast blind source separation technique based on delay and attenuation compensation, and for selecting channels for the demixed signals |
JP2001022380A (ja) * | 1999-07-07 | 2001-01-26 | Alpine Electronics Inc | ノイズ/オーディオ音キャンセル装置 |
US6424960B1 (en) * | 1999-10-14 | 2002-07-23 | The Salk Institute For Biological Studies | Unsupervised adaptation and classification of multiple classes and sources in blind signal separation |
US6594367B1 (en) * | 1999-10-25 | 2003-07-15 | Andrea Electronics Corporation | Super directional beamforming design and implementation |
US6549630B1 (en) * | 2000-02-04 | 2003-04-15 | Plantronics, Inc. | Signal expander with discrimination between close and distant acoustic source |
WO2001069968A2 (en) * | 2000-03-14 | 2001-09-20 | Audia Technology, Inc. | Adaptive microphone matching in multi-microphone directional system |
US20010038699A1 (en) * | 2000-03-20 | 2001-11-08 | Audia Technology, Inc. | Automatic directional processing control for multi-microphone system |
US8903737B2 (en) * | 2000-04-25 | 2014-12-02 | Accenture Global Service Limited | Method and system for a wireless universal mobile product interface |
US6879952B2 (en) * | 2000-04-26 | 2005-04-12 | Microsoft Corporation | Sound source separation using convolutional mixing and a priori sound source knowledge |
US20030179888A1 (en) * | 2002-03-05 | 2003-09-25 | Burnett Gregory C. | Voice activity detection (VAD) devices and methods for use with noise suppression systems |
US7027607B2 (en) * | 2000-09-22 | 2006-04-11 | Gn Resound A/S | Hearing aid with adaptive microphone matching |
WO2002028140A2 (en) * | 2000-09-29 | 2002-04-04 | Knowles Electronics, Llc | Second order microphone array |
US7471798B2 (en) * | 2000-09-29 | 2008-12-30 | Knowles Electronics, Llc | Microphone array having a second order directional pattern |
JP4028680B2 (ja) * | 2000-11-01 | 2007-12-26 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 観測データから原信号を復元する信号分離方法、信号処理装置、モバイル端末装置、および記憶媒体 |
AU2002218911A1 (en) * | 2000-12-21 | 2002-07-01 | Mcgill University | Use of the prion protein (prp) for suppression of bax-mediated apoptosis |
US7206418B2 (en) * | 2001-02-12 | 2007-04-17 | Fortemedia, Inc. | Noise suppression for a wireless communication device |
EP1380186B1 (en) * | 2001-02-14 | 2015-08-26 | Gentex Corporation | Vehicle accessory microphone |
DK1391138T3 (da) * | 2001-05-23 | 2006-02-20 | Phonak Ag | Fremgangsmåde til frembringelse af et elektrisk udgangssignal og akustisk/elektrisk konverteringssystem |
US7123727B2 (en) * | 2001-07-18 | 2006-10-17 | Agere Systems Inc. | Adaptive close-talking differential microphone array |
US8098844B2 (en) * | 2002-02-05 | 2012-01-17 | Mh Acoustics, Llc | Dual-microphone spatial noise suppression |
AU2002309146A1 (en) * | 2002-06-14 | 2003-12-31 | Nokia Corporation | Enhanced error concealment for spatial audio |
CN1682566A (zh) * | 2002-09-13 | 2005-10-12 | 皇家飞利浦电子股份有限公司 | 校准第一麦克风和第二麦克风 |
AU2003296976A1 (en) * | 2002-12-11 | 2004-06-30 | Softmax, Inc. | System and method for speech processing using independent component analysis under stability constraints |
US7142682B2 (en) * | 2002-12-20 | 2006-11-28 | Sonion Mems A/S | Silicon-based transducer for use in hearing instruments and listening devices |
EP1453348A1 (de) * | 2003-02-25 | 2004-09-01 | AKG Acoustics GmbH | Selbstkalibrierung von Arraymikrofonen |
DE10310579B4 (de) * | 2003-03-11 | 2005-06-16 | Siemens Audiologische Technik Gmbh | Automatischer Mikrofonabgleich bei einem Richtmikrofonsystem mit wenigstens drei Mikrofonen |
KR100486736B1 (ko) * | 2003-03-31 | 2005-05-03 | 삼성전자주식회사 | 두개의 센서를 이용한 목적원별 신호 분리방법 및 장치 |
DE10316716A1 (de) * | 2003-04-11 | 2004-10-28 | Epcos Ag | Bauelement mit einer piezoelektrischen Funktionsschicht |
US7203323B2 (en) * | 2003-07-25 | 2007-04-10 | Microsoft Corporation | System and process for calibrating a microphone array |
US7424119B2 (en) * | 2003-08-29 | 2008-09-09 | Audio-Technica, U.S., Inc. | Voice matching system for audio transducers |
US7099821B2 (en) * | 2003-09-12 | 2006-08-29 | Softmax, Inc. | Separation of target acoustic signals in a multi-transducer arrangement |
US7019463B2 (en) * | 2003-10-21 | 2006-03-28 | Raymond Kesterson | Daytime running light module and system |
US7515721B2 (en) * | 2004-02-09 | 2009-04-07 | Microsoft Corporation | Self-descriptive microphone array |
US7415117B2 (en) * | 2004-03-02 | 2008-08-19 | Microsoft Corporation | System and method for beamforming using a microphone array |
US7688985B2 (en) * | 2004-04-30 | 2010-03-30 | Phonak Ag | Automatic microphone matching |
ATE405925T1 (de) * | 2004-09-23 | 2008-09-15 | Harman Becker Automotive Sys | Mehrkanalige adaptive sprachsignalverarbeitung mit rauschunterdrückung |
US7826624B2 (en) * | 2004-10-15 | 2010-11-02 | Lifesize Communications, Inc. | Speakerphone self calibration and beam forming |
US7464029B2 (en) * | 2005-07-22 | 2008-12-09 | Qualcomm Incorporated | Robust separation of speech signals in a noisy environment |
JP4701931B2 (ja) * | 2005-09-02 | 2011-06-15 | 日本電気株式会社 | 信号処理の方法及び装置並びにコンピュータプログラム |
DE102005047047A1 (de) * | 2005-09-30 | 2007-04-12 | Siemens Audiologische Technik Gmbh | Mikrofonkalibrierung bei einem RGSC-Beamformer |
US7813923B2 (en) * | 2005-10-14 | 2010-10-12 | Microsoft Corporation | Calibration based beamforming, non-linear adaptive filtering, and multi-sensor headset |
US8702687B2 (en) * | 2005-11-03 | 2014-04-22 | Luxon, Inc. | Surgical laser systems for soft and hard tissue and methods of use thereof |
CN1809105B (zh) * | 2006-01-13 | 2010-05-12 | 北京中星微电子有限公司 | 适用于小型移动通信设备的双麦克语音增强方法及系统 |
US20070244698A1 (en) * | 2006-04-18 | 2007-10-18 | Dugger Jeffery D | Response-select null steering circuit |
JP2008057926A (ja) * | 2006-09-01 | 2008-03-13 | Sanyo Electric Co Ltd | タンクユニット |
US20080175407A1 (en) * | 2007-01-23 | 2008-07-24 | Fortemedia, Inc. | System and method for calibrating phase and gain mismatches of an array microphone |
US8175291B2 (en) * | 2007-12-19 | 2012-05-08 | Qualcomm Incorporated | Systems, methods, and apparatus for multi-microphone based speech enhancement |
-
2008
- 2008-02-26 WO PCT/US2008/055050 patent/WO2008106474A1/en active Application Filing
- 2008-02-26 KR KR1020097020139A patent/KR20090123921A/ko not_active Application Discontinuation
- 2008-02-26 TW TW097106711A patent/TW200849219A/zh unknown
- 2008-02-26 JP JP2009552010A patent/JP2010519602A/ja active Pending
- 2008-02-26 US US12/037,928 patent/US20080208538A1/en not_active Abandoned
- 2008-02-26 EP EP08714254A patent/EP2115743A1/en not_active Withdrawn
- 2008-02-26 CN CN200880005987.9A patent/CN101622669B/zh active Active
-
2012
- 2012-12-28 JP JP2012287164A patent/JP5587396B2/ja not_active Expired - Fee Related
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102859591B (zh) * | 2010-04-12 | 2015-02-18 | 瑞典爱立信有限公司 | 用于语音编码器中的噪声消除的方法和装置 |
CN102859591A (zh) * | 2010-04-12 | 2013-01-02 | 瑞典爱立信有限公司 | 用于语音编码器中的噪声消除的方法和装置 |
US9082391B2 (en) | 2010-04-12 | 2015-07-14 | Telefonaktiebolaget L M Ericsson (Publ) | Method and arrangement for noise cancellation in a speech encoder |
CN102890936A (zh) * | 2011-07-19 | 2013-01-23 | 联想(北京)有限公司 | 一种音频处理方法、终端设备及系统 |
US10984805B2 (en) | 2013-07-22 | 2021-04-20 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection |
US10593345B2 (en) | 2013-07-22 | 2020-03-17 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus for decoding an encoded audio signal with frequency tile adaption |
CN105580075A (zh) * | 2013-07-22 | 2016-05-11 | 弗劳恩霍夫应用研究促进协会 | 使用自适应频谱铺片选择来对音频信号进行解码和编码的设备和方法 |
US11996106B2 (en) | 2013-07-22 | 2024-05-28 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. | Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping |
US11922956B2 (en) | 2013-07-22 | 2024-03-05 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for encoding or decoding an audio signal with intelligent gap filling in the spectral domain |
US11769513B2 (en) | 2013-07-22 | 2023-09-26 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band |
US10276183B2 (en) | 2013-07-22 | 2019-04-30 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band |
US10311892B2 (en) | 2013-07-22 | 2019-06-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for encoding or decoding audio signal with intelligent gap filling in the spectral domain |
US10332539B2 (en) | 2013-07-22 | 2019-06-25 | Fraunhofer-Gesellscheaft zur Foerderung der angewanften Forschung e.V. | Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping |
US10332531B2 (en) | 2013-07-22 | 2019-06-25 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band |
US10347274B2 (en) | 2013-07-22 | 2019-07-09 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping |
US11769512B2 (en) | 2013-07-22 | 2023-09-26 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection |
US11735192B2 (en) | 2013-07-22 | 2023-08-22 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder, audio decoder and related methods using two-channel processing within an intelligent gap filling framework |
US10515652B2 (en) | 2013-07-22 | 2019-12-24 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for decoding an encoded audio signal using a cross-over filter around a transition frequency |
CN105580075B (zh) * | 2013-07-22 | 2020-02-07 | 弗劳恩霍夫应用研究促进协会 | 用自适应频谱铺片选择的音频信号解码和编码设备及方法 |
US10573334B2 (en) | 2013-07-22 | 2020-02-25 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for encoding or decoding an audio signal with intelligent gap filling in the spectral domain |
US11289104B2 (en) | 2013-07-22 | 2022-03-29 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for encoding or decoding an audio signal with intelligent gap filling in the spectral domain |
US11257505B2 (en) | 2013-07-22 | 2022-02-22 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder, audio decoder and related methods using two-channel processing within an intelligent gap filling framework |
US11250862B2 (en) | 2013-07-22 | 2022-02-15 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band |
US11222643B2 (en) | 2013-07-22 | 2022-01-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus for decoding an encoded audio signal with frequency tile adaption |
US11049506B2 (en) | 2013-07-22 | 2021-06-29 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping |
US10847167B2 (en) | 2013-07-22 | 2020-11-24 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder, audio decoder and related methods using two-channel processing within an intelligent gap filling framework |
CN105684079A (zh) * | 2013-10-22 | 2016-06-15 | 三菱电机株式会社 | 用于增强输入的有噪信号的方法和系统 |
CN105684079B (zh) * | 2013-10-22 | 2019-09-03 | 三菱电机株式会社 | 用于增强输入的有噪信号的方法和系统 |
CN103903632A (zh) * | 2014-04-02 | 2014-07-02 | 重庆邮电大学 | 一种多声源环境下的基于听觉中枢系统的语音分离方法 |
CN104064195A (zh) * | 2014-06-30 | 2014-09-24 | 电子科技大学 | 一种噪声环境下的多维盲分离方法 |
CN110875045A (zh) * | 2018-09-03 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 一种语音识别方法、智能设备和智能电视 |
CN109036455B (zh) * | 2018-09-17 | 2020-11-06 | 中科上声(苏州)电子有限公司 | 直达声与背景声提取方法、扬声器系统及其声重放方法 |
WO2020057050A1 (zh) * | 2018-09-17 | 2020-03-26 | 中科上声(苏州)电子有限公司 | 直达声与背景声提取方法、扬声器系统及其声重放方法 |
CN109036455A (zh) * | 2018-09-17 | 2018-12-18 | 中科上声(苏州)电子有限公司 | 直达声与背景声提取方法、扬声器系统及其声重放方法 |
CN109444841B (zh) * | 2018-12-26 | 2020-08-04 | 清华大学 | 基于修正切换函数的平滑变结构滤波方法及系统 |
CN109444841A (zh) * | 2018-12-26 | 2019-03-08 | 清华大学 | 基于修正切换函数的平滑变结构滤波方法及系统 |
CN110111808A (zh) * | 2019-04-30 | 2019-08-09 | 华为技术有限公司 | 音频信号处理方法及相关产品 |
CN110111808B (zh) * | 2019-04-30 | 2021-06-15 | 华为技术有限公司 | 音频信号处理方法及相关产品 |
CN112489675A (zh) * | 2020-11-13 | 2021-03-12 | 北京云从科技有限公司 | 一种多通道盲源分离方法、装置、机器可读介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
EP2115743A1 (en) | 2009-11-11 |
WO2008106474A1 (en) | 2008-09-04 |
JP2010519602A (ja) | 2010-06-03 |
CN101622669B (zh) | 2013-03-13 |
JP2013117728A (ja) | 2013-06-13 |
US20080208538A1 (en) | 2008-08-28 |
TW200849219A (en) | 2008-12-16 |
JP5587396B2 (ja) | 2014-09-10 |
KR20090123921A (ko) | 2009-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101622669B (zh) | 用于信号分离的系统、方法及设备 | |
CN102057427B (zh) | 用于加强可懂度的方法和设备 | |
US8160273B2 (en) | Systems, methods, and apparatus for signal separation using data driven techniques | |
Seltzer | Microphone array processing for robust speech recognition | |
CN102625946B (zh) | 用于多信道信号的去除回响的系统、方法、设备和计算机可读媒体 | |
CN101903948B (zh) | 用于基于多麦克风的语音增强的系统、方法及设备 | |
US10123113B2 (en) | Selective audio source enhancement | |
CN103247295B (zh) | 用于频谱对比加强的系统、方法、设备 | |
US7366662B2 (en) | Separation of target acoustic signals in a multi-transducer arrangement | |
JP5091948B2 (ja) | ブラインド信号抽出 | |
KR101233271B1 (ko) | 신호 분리 방법, 상기 신호 분리 방법을 이용한 통신 시스템 및 음성인식시스템 | |
CN102947878A (zh) | 用于音频均衡的系统、方法、装置、设备和计算机程序产品 | |
Wolff et al. | A generalized view on microphone array postfilters | |
EP3757993B1 (en) | Pre-processing for automatic speech recognition | |
EP1913591B1 (en) | Enhancement of speech intelligibility in a mobile communication device by controlling the operation of a vibrator in dependance of the background noise | |
WO2022256577A1 (en) | A method of speech enhancement and a mobile computing device implementing the method | |
Seltzer | Bridging the gap: Towards a unified framework for hands-free speech recognition using microphone arrays | |
Hu et al. | A robust adaptive speech enhancement system for vehicular applications | |
CN114822481A (zh) | 一种磁共振声波对消降声噪声方法及系统 | |
RU2417460C2 (ru) | Выделение сигнала вслепую | |
Mizumachi et al. | Passive hybrid subtractive beamformer for near-field sound sources |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |