CN102595281B - 统一标准的麦克风预处理系统和方法 - Google Patents
统一标准的麦克风预处理系统和方法 Download PDFInfo
- Publication number
- CN102595281B CN102595281B CN201210051572.3A CN201210051572A CN102595281B CN 102595281 B CN102595281 B CN 102595281B CN 201210051572 A CN201210051572 A CN 201210051572A CN 102595281 B CN102595281 B CN 102595281B
- Authority
- CN
- China
- Prior art keywords
- signal
- microphone
- noise
- application
- received
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
统一标准的麦克风预处理系统和方法。所述系统包括布置在车辆乘客舱内的多个麦克风,构造为从多个麦克风中的一个或多个接收信号的处理电路或系统,并且该处理电路构造增强已接收的信号以由通话处理应用、自动语音识别处理应用和噪声消除处理应用中的至少两个所使用。该方法包括接收来自布置在车辆乘客舱内的多个麦克风中的一个或多个的信号;并且增强已接收的信号以由通话处理应用、自动语音识别处理应用和噪声消除处理应用中的至少两个所使用。还描述了包含可执行指令以使得处理器执行根据本发明实施例的方法的计算机可读介质。
Description
优先权申请数据
本申请要求2011年1月14日提交的、发明名称为“UNIFIEDMICROPHONEPRE-PROCESSIINGSYSTEM(统一标准的麦克风预处理系统)”的临时申请61/432,918的优先权权益,在本文中引用并包含其全部内容。
技术领域
本发明涉及声音处理,尤其是在车内的声音处理。
背景技术
目前,对于汽车应用,不同的麦克风和处理元件可用于通话、语音识别和主动噪声消除。例如,单个的单向心形麦克风可放置在驾驶员上方的车顶内衬里从而为通话提供最佳接收;和全向麦克风可放置在后视镜上从而为自动语音识别(ASR)提供最佳接收。另外的麦克风(通常是每个乘客一个)可放置在驾驶员和乘客头部上方以使得主动噪声消除能消除例如发动机噪声的影响。
多个麦克风和处理元件的使用可能很贵,而且可能质量会打折,原因在于可用于每个目的的麦克风的数量受到成本和设计条件的限制。
发明内容
方案1.一种统一标准的麦克风预处理系统包括:
布置在车辆乘客舱内的多个麦克风;
构造为接收来自多个麦克风的信号的处理系统;并且
该处理系统构造为处理信号以产生增强信号以由通话处理应用、自动语音识别处理应用和噪声消除处理应用中的至少两个使用。
方案2.方案1的系统,该处理系统包括:
构造为转换来自多个麦克风的模拟信号的模拟-数字转换器;
构造为储存已转换的模拟信号的存储单元;和
构造为在已转换的模拟信号上实施预处理增强技术的控制处理器。
方案3.方案1的系统,其中该处理系统包括构造为成形多个麦克风的一个或多个接收波束的波束形成器单元。
方案4.方案3的系统,其中波束形成器单元用于成形多个接收波束,并基于车辆乘客舱的声音条件中的变化自适应性地成形多个接收波束。
方案5.方案1的系统,该处理系统包括:
构造为在已接收的信号上实施模拟-数字转换的预处理单元;
声音回声消除预处理单元;和
以下预处理单元中的至少两个:构造为增强数字化的已接收的信号以便增加在电话通信中噪声和残余回声的衰减的通话预处理单元;构造为增强数字化的已接收的信号以便优化包括Mel对数倒频谱距离或字诃识别率的语音识别指标的语音识别预处理单元;和构造为获得声压的精确测量值以及将测量值提供给主动噪声消除系统的噪声消除预处理单元。
方案6.方案1的系统,其中多个麦克风以几何图案布置。
方案7.方案6的系统,其中几何图案是半球形。
方案8.方案1的系统,其中该处理是构造为通过以下步骤处理信号以产生由噪声消除处理应用所使用的增强信号的方法:
定位目标车内人员;
重新得到用于目标车内人员附近位置的麦克风排列参数;
内插排列参数。
方案9.一种用于统一标准的麦克风预处理的方法,该方法包括:
接收来自车辆乘客舱内布置的多个麦克风的信号;和
增强已接收的信号以由通话处理应用、自动语音识别处理应用和噪声消除处理应用中的至少两个使用。
方案10.方案9的方法,进一步包括:
在信号上实施预处理增强技术;和
成形多个麦克风的多个接收波束。
方案11.方案10的方法,进一步包括将已成形的多个接收波束引导至驾驶员和车辆乘客舱内的一个或多个乘客中的至少一个。
方案12.方案9的方法,进一步包括实施用于声音回声消除的已接收的信号。
方案13.方案9的方法,进一步包括:
通过引导多个接收波束中的至少一个到说话者的嘴部而实施噪声和残余回声衰减;和
施加信号增强和信号重建技术。
方案14.方案9的方法,进一步包括在已接收的信号上实施语音识别增强预处理以优化包括Mel对数倒频谱距离或字词识别率的语音识别指标。
方案15.方案9的方法,其中多个麦克风以几何图案布置。
方案16.方案9的方法,包括通过以下步骤产生由噪声消除处理应用所使用的增强信号:
定位目标车内人员;
重新得到用于目标车内人员附近位置的麦克风排列参数;
内插排列参数。
方案17.一种方法包括:
接收来自空间位置完全不同的多个麦克风的信号;
处理信号以产生已处理的信号;和
将已处理的信号提供给多个音频应用,多个音频应用包括通话应用、自动语音识别应用和噪声消除应用中的至少两个。
方案18.方案17的方法,包括成形用于一个或多个预处理增强技术的多个麦克风的多个接收波束。
方案19.方案18的方法,包括将已成形的多个接收波束引导到驾驶员和车辆乘客舱内的一个或多个乘客中的至少一个。
方案20.方案17的方法,包括:
实施用于声音回声消除的已接收的信号的增强;
通过引导多个接收波束中的至少一个到说话者的嘴部而实施噪声和残余回声衰减,并施加信号增强和信号重建技术;
使用Mel对数倒频谱距离或字词识别率指标在已接收的信号上实施语音识别增强预处理;和
在车内人员的头部附近实施声压测量。
附图说明
被认为是本发明的主题内容在说明书的最后部分特别地指出并清楚地要求保护。但是,本发明,关于操作的组织和方法,以及目标、特征及其优点,在结合附图阅读时参考以下详细说明可以得到最好地理解。
图1示出了根据本发明实施例的系统;
图2示意地示出了根据图1中系统的部件;
图3A和3B描述了用于根据本发明的一个实施例的主动噪声消除方法和系统的噪声测量方法和系统;和
图4示出了根据本发明实施例的过程。
可以理解,为了说明的简化和清楚,图中所示元件没有必要按比例画出。例如,为了清楚起见一些元件的尺寸相对于其它元件被夸大了。此外,在适当考虑的情况下,在图中的参考数字可重复以表示相应或相似元件。
具体实施方式
在以下详细说明中,提出许多特定细节以便提供对本发明完整的理解。然而,可以理解,对于本领域技术人员来说,本发明在没有这些特定细节时也可实施。在其它例子中,已知的方法、过程和部件将不详细描述以不会模糊本发明。
除非特别说明,否则对于以下讨论显然的是,在整个说明书讨论中使用的术语如“处理”、“用计算机计算”、“存储”、“计算”、“确定”、“估算”、“测量”、“提供”、“转移”、“输出”、“输入”等等,是指计算机或计算系统或相似的电子计算装置的操作和/或处理,其将表示为计算系统寄存器和/或存储器内物理(如电子的)量的数据处理和/或转换成类似地表示为计算系统的存储器、寄存器或其它这样的信息储存、传输或显示装置内的物理量的其它数据。
根据本发明实施例的系统可提供一种统一标准的麦克风处理系统,以提供音频数据并能实现通话(例如,蜂窝电话装置)、语音识别、主动噪声控制和/或其它功能。在一个实施例中,相同或重叠的麦克风组,例如以诸如部分球形、半球体或半球形的几何图案布置,可在相同或基本相同的时间或同时地向在车辆内的不同音频处理功能(例如,通话、语音识别、主动噪声控制等等)并发地平行提供输入。可选地,重叠的麦克风组可在不同的时间使用相同的麦克风向不同的音频处理功能提供输入。不同种类的输入信号可以是并发平行地在相同的或基本相同的时间或同时地被处理和产生并提供给这些应用,例如,音频应用或音频定向应用。
图1示出了根据本发明实施例的统一标准的麦克风处理(UMP)系统100。UMP系统100可以输出增强的或处理后的信号给相关应用(例如,音频应用或音频定向应用)如通话处理应用、ASR处理应用和噪声消除处理应用。使用相同或重叠的处理或使用相同或重叠的麦克风组已形成的分开的已处理的信号(例如,三个不同的信号)或其它数量的已处理的信号可以被提供给各应用。UMP系统100可包括布置在车辆乘客舱内或周围的麦克风130a-h的排列130。根据本发明的实施例,麦克风130a-h的排列130可以布置在放置在乘客舱的内饰顶或车顶内衬上的半球体或半球形单元130内,例如在驾驶员和乘客之间,或在通常的座位位置或供车内人员(例如,驾驶员和零个或多个乘客)使用的座椅之间。虽然麦克风130a-h可共同定位在一个单元内,但它们可分开一些距离以便在空间位置上完全不同。在一个实施例中,使用八个麦克风,但是也可使用其它数量的麦克风。可以使用其它麦克风位置、布置形状或布置以及麦克风的数量。在一个实施例中,半球形单元可以是大约10-15厘米的直径。麦克风130a-h可以例如通过诸如有线连接、网络或其它系统之类的连接装置135连接到处理电路110。在一个单元中包括用于多个目的的多个麦克风与具有展开的均要求其自身配线系统的麦克风的系统相比可以减少配线。在其它实施例中,麦克风130a-h可以不在同一单元中的情况下在车辆内分配。
处理电路110可包括信号放大器122以增加麦克风信号电平。根据本发明的实施例,麦克风130a-h均可包括放大器或与放大器连接。根据本发明的实施例,处理电路可在硬件中(例如,离散模拟电路、包括现场可编程门阵列(FPGA)的数字电路、特殊应用集成电路(ASIC)、数字信号处理器(DSP)和/或处理单元)、软件中或硬件和软件的结合中(例如,由诸如中央处理器单元118之类的处理器或控制器执行的代码或指令)实现。
处理电路110可包括模拟-数字(A/D)转换器112、闪存单元114、随机存取存储单元116、控制或中央处理器单元118和连接这些部件的内部总线120。存储单元116可包括存储例如在噪声消除或其它功能校准期间产生的数据的表或数据库124。在操作中,可以确定使用者或使用者的耳朵的实际位置。来自相机410、排列130和/或A/D转换器112的输入可以接收来自一个或多个麦克风130a-h的模拟信号。接收的模拟信号可以被转换为例如适合在RAM单元116或闪存单元114内处理或储存的数字信号。控制处理器单元118可存取已储存的数字信号并实施音频预处理信号增强技术以改善例如通话、主动噪声衰减或消除、ASR和/或其它应用的性能。这些增强的信号可制成能在数据总线140上获取以由这些或其它应用存取。在处理电路110内的波束形成器可接收来自N麦克风的信号并输出单个增强质量的信号。在这个实施例中输出信号包括例如用于通话的信号、用于ASR的信号和用于主动噪声消除的一个或多个信号;可选择地,统一标准的波束形成信号可以被提供给多个单元,且波束形成可以不用于所有应用。统一标准的波束形成可以不应用在噪声消除处理应用的预处理中。
一个或多个扬声器145可输出例如噪声消除声音、电话或收音机输出或其它输出(不同的或相同的或重叠的扬声器可以与每个应用相关联)的声音。
根据本发明的实施例,数字信号可以由控制处理器单元118处理,原因在于从麦克风130a-h接收的信号已通过A/D单元112转换。后处理数字信号可以例如储存在RAM单元116和/或闪存单元114内和/或传递到其它单元或应用。
闪存单元114或RAM116可储存或容纳软件代码,当由控制处理器单元118执行时,其可使得控制处理器执行本文所述过程,例如处理已储存的或正输入的数字信号、波束形成、噪声消除、ASR等等。在一个实施例中,闪存114可包括通过控制处理器118经由输入/输出端口(未示出)存取的外部闪存。闪存单元114或RAM116可储存或容纳中间信号或数据,或用于其它单元(例如应用)的数据。
根据本发明实施例的多个麦克风的紧凑布置可通过形成或成形多个引导向车内人员(例如,驾驶员和乘客)的接收波束使得能进行空间滤波,其中每一个接收波束可以同时使用所有麦克风。波束形成、空间滤波或其它信号处理技术可以通过例如在某种程度上组合麦克风输入用来达到定向声音接收,其中在特定角度的信号经历相长干涉而其它信号经历相消干涉。可以使用其它技术,例如使用来自一个麦克风的噪声信号去消除或清理来自另一麦克风的噪声。分开的接收波束式样可以形成用于每个目的,例如,通话、ASR、主动噪声衰减或消除等等。这些分开的接收波束式样中的每个可以构造为使用所有麦克风以便获得用于每个目的的最佳接收的信号以实现优化的处理性能。在一些实施例中,可以使用附属组的麦克风用于特定应用。
如本发明实施例中使用的空间滤波、波束形成和信号增强可以自适应于乘客舱内音频条件的变化并可由乘客舱内音频条件的变化作出反应或控制,例如,乘员的实际数量、他们在乘客舱内的准确位置、噪声条件等等。
图2示意地示出了根据本发明实施例的UMP系统100的部件。这些部件可以是处理电路100的一部分,或由控制处理器118执行或处于其内。因此部件
210、220、230、240、250可以在硬件中、软件中或硬件和软件的组合中实现。虽然在一个实施例中一组麦克风向通话、主动噪声衰减或消除ASR应用提供输入,但在其他实施例中,可以使用不同的一组应用。
预处理单元210可以构造为执行从麦克风130a-h接收的麦克风信号的A/D转换。(A/D转换也可以或可选择地由图1中的A/D单元112实施)预处理单元210可以包括例如增益控制、分解成处理结构、信号转换为频率域、声音活跃性检测和/或其它功能性。预处理可以例如通过由处理器(例如,执行存储在RAM116内的软件的处理器118)执行的软件或专门硬件单元或两者组合实施。
回声消除预处理单元220可以通过例如使用利用实时扬声器信号的扬声器反馈、消除在乘客舱内由扬声器产生的音频来增强数字化的麦克风信号。声音回声消除预处理单元220可被供给来自预处理单元210的输出信号以及来自乘客舱内一个或多个扬声器的输入222,例如扬声器输入或扬声器反馈信号。在一个实施例中声音回声消除预处理单元220向ASR预处理或ASR应用和通话预处理或通话应用提供输出但不向噪声消除预处理或应用提供输出;可以使用其它配置。
波束形成步骤或过程可以通过由处理器(例如,执行存储在RAM116内的软件的处理器118)执行的软件或通过专门硬件单元或通过两者组合实施。波束形成步骤或过程可以接受输入和接收到的声音数据并且可以形成特定的接收波束样式。在一个实施例中,分开的接收波束样式可以成形或形成用于每个相关的目的,例如,通话和ASR;在其它实施例中仅仅使用一个波束样式。在一个实施例中,统一标准的波束形成单元使用相同的波束形成步骤输出到通话(例如,经由电话预处理单元230)和ASR(例如,经由ASR预处理单元240)但不输出到主动噪声控制。在其它实施例中,波束形成可以输入到不同组应用。可以使用统一标准的波束形成,用于多个应用的一个波束形成过程。在其它实施例中,某些应用可以包括或使用分开的波束形成。
用于通话或其它单元增强的波束形成可以包括利用所有麦克风130a-h或附属组的麦克风,并且可以具有被导向(例如,使用波束形成)车内人员嘴部期望位置的初始缺省接收样式。根据本发明的实施例,波束的方向可以是自适应的,以便车内人员声音的信号质量被优化。最小方差无失真响应波束形成可以用来尽可能减少干扰而不在排列注视方向引入失真。
电话预处理单元230可以构造为执行用于通话应用的数字化麦克风信号的预处理增强。电话预处理单元230可以在通过构建在乘客车舱内的通话系统、连接上的个人电话和/或智能电话执行的电话通信中衰减噪声和残余回声。通过通话预处理单元230的处理可以包括例如其中波束被朝向说话者的嘴部引导的波束形成(统一标准的或其它方式);信号增强;信号重建和/或其它功能。通过通话增强单元230的信号重建可以将语音从频率域转换到时间域,例如使用傅立叶转换技术。
通过通话预处理单元230的处理可以包括噪声衰减过滤器,如单通道噪声衰减。通话预处理单元230可使用诸如功率谱或对数谱幅度的指标进行优化。通话预处理单元230可以是自适应的,如在广义旁瓣对消器中。通话预处理单元230可以使用后置过滤器以衰减由回声消除剩下的残余回声。
可以使用不同的处理,或各自用于不同的目的或应用的不同的处理模块。可以使用除通话、ASR和噪声衰减或消除之外的与应用相关的处理模块。
当可以使用统一标准波束形成时,ASR预处理单元240可实施不同的波束形成,或与通过电话预处理单元230完成但是为了不同的目的和指标(例如,字词识别率或精确度)的处理相似的波束形成器和信号增强算法。ASR预处理单元240可以使用与语音识别前端相关的信号特征,其可以不同于用于通话增强的信号特征。ASR预处理单元240可以包括噪声衰减过滤器如单通道噪声衰减。ASR预处理单元240可以在mel对数倒频谱域内的过滤器优化指标信号失真时使用。mel对数倒频谱经常用于语音识别系统的前端。ASR预处理单元240可以优化包括字词识别率的语音识别指标。
语音重建技术如音乐噪声、残余回声和全双工性能对于语音识别不那么重要。ASR增强单元240可以最大化字词识别精确度。
噪声消除预处理单元250可以构造为执行预处理以获得声压、噪声或残余噪声的精确测量,并为主动噪声消除系统提供信号以增强其性能。外部或集成主动噪声消除系统可以使用该信号。噪声消除可在例如20-250Hz的范围或其他范围内执行。主动噪声消除增强可包括在耳朵附近测量由例如汽车发动机产生的典型的低频噪声或其它噪声。噪声测量可通过由麦克风130a-h形成的一组麦克风来执行。消除可通过经由扬声器产生“反相噪声”来执行。声压可以在车内人员(例如,驾驶员和乘客)的头部(例如,耳朵)附近测量以获得良好的消除。各种位置的测量,每个位置对应于驾驶员或乘客,可以例如使用相机大致获得。可以使用其它定位方法,例如,波束形成。不同的波束可以形成用于每个乘客和用于驾驶员。
图3A和3B描述了根据本发明一个实施例的用于主动噪声消除方法和系统的噪声测量方法和系统。噪声消除预处理单元250(图2)或噪声消除系统255(图2)可以在使用前在工厂或其它地方校准。在工厂,参考麦克风400、402和404(可以使用其它数量的麦克风,并用通常使用多于三个的麦克风)可以如在栅格上或虚拟栅格上放置在特定位置。车辆也可包括麦克风130a-h的排列130。车辆可以是用来校准如用于许多其它车辆的噪声消除预处理单元的系统的测试车辆,或车辆可以是将要单独校准的个别车辆。通常,麦克风400、402和404根据栅格(相应于或位于点401、403、405处)布置在期望被定位的使用者头部附近的位置,以模拟可选的使用者的位置。(可以使用多于三个的栅格点和麦克风数量)。实时噪声(例如,发动机噪声)可以在如20-250Hz的频率范围内或其它范围内由一个或多个噪声源415提供。每个点401、403和405的噪声衰减参数可以使用由麦克风130a-h获得的输入进行计算。对于每个点401、403和405和相应的麦克风400、402和404点位置,可以优化噪声衰减系统参数如波束形成参数,并存储在表或数据库中或可存取到噪声消除预处理单元250。优化可包括优化用于每个点401、403和405和相应的麦克风400、402和404位置的参数以便使用排列130的信号最接近麦克风400、402和404的信号。在这样的表中的每条记录可包括对应于栅格或排列点401、403和405的参数G(例如,G可以是由三维坐标定义的点),并且对于每个参数G,相应组的排列参数H对应于位置G。G和H均是针对这些参数的索引或指示器。例如,以下的表1可以存储在数据库124内并可包括:
G1 | H1 |
G2 | H2 |
G3 | H3 |
... | ... |
表1
图3B描述了根据本发明实施例的噪声消除系统(图3B中的系统可结合或使用在本申请中别处描述的方法和系统)。车辆可包括麦克风130a-h的排列130、相机410或其它传感器,和噪声消除预处理单元250(图2),其提供输出到噪声消除应用255(图2)。噪声消除预处理单元250(例如,在存储器116中)、表或数据库124(图1),储存例如以上表1中产生并所示的数据。在操作中,使用者或使用者的耳朵的实际位置可以被确定。来自相机410、排列130和/或其它传感器的输入可由处理器如处理器118、噪声消除预处理单元250使用以可能相对于点401、403和405定位使用者的头部420。在使用声音估计位置(例如使用排列130)或如果最初找到嘴部的情况下,可插入或使用偏移量来反映嘴部和耳朵之间的距离。假如相对于点401、403和405估算使用者(或使用者耳朵)的位置,那么可内插排列参数,诸如在表1和/或数据库124中的波束形成参数。例如,如果确定实际使用者位于表1中两点之间的位置,那么和这两点相关的参数可以用来找出或计算相应地和成比例地位于相关参数之间的参数。调整或导出的排列参数可以被噪声消除预处理单元250使用。
虽然,在一些实施例中,可以执行不同的或部分不同的预处理,或不同组或预处理应用用于每个应用,但是源数据或源音频通常来自相同的多个麦克风或相同的麦克风组。因此,对于每个应用,相同的麦克风组可提供输入。
单元230、240和250中的每个都可以输出或提供增强的或已处理的信号到相关的应用。通话预处理单元230可提供输出到通话应用235。ASR预处理单元240可提供输出到ASR应用245。噪声消除预处理单元250可提供输出到噪声消除应用255。虽然示出了特定的功能如波束形成和预处理由特定的单元执行,但在其它实施例中可以使用其它配置。例如,应用235、245和255可执行如预处理、噪声消除和波束形成的功能。应用235、245和255可包括存储单元114、随机存取存储单元116和控制或中央处理单元118。
图4示出了根据本发明实施例的用于执行统一标准或半统一标准的麦克风预处理的过程300。过程300可通过从多个麦克风接收信号开始,即操作310。虽然执行图4中方法的系统可以是图1-3所示的系统,但是可以使用其它的系统。
从麦克风接收的信号可以例如通过预处理单元210被预处理,即操作320。这一预处理可包括A/D转换。在一个实施例中,来自每个麦克风的信号可用于多个不同的功能(例如,噪声消除、通话等等)。在其它实施例中,对于每个不同的功能或一些不同的功能,可以使用不同的但通常重叠(例如,半重叠的)的麦克风组输入。
可以例如通过使用扬声器输入的声音回声消除预处理单元220执行声音回声消除,即操作330。
诸如通话增强、ASR增强和噪声消除增强预处理之类的增强可并行执行,如图3所示。波束形成可以是这些增强技术中每个的一部分并且可以彼此不同。
用于通话处理以衰减噪声和残余回声衰减的增强可包括通过将接收波束从初始缺省接收样式或位置引导到说话者嘴部而进行波束形成,即操作340,并且施加信号增强和后过滤操作(例如,信号重建技术、单通道增强或其它操作),即操作342。波束的方向可以是自适应的以便优化驾驶员的信号质量。
语音识别增强可以通过引导波束来执行,即操作350。例如,波束可以从初始缺省样式或位置引导到驾驶员(或乘客)嘴部。可以使用其它波束引导方法。可以执行用于语音识别的增强,即操作352。例如,可以使用诸如单通道噪声衰减这样的噪声衰减过滤器,并且可以使用过滤器优化指标,如在mel对数倒频谱域内的信号失真。
在操作360中,可以定位目标车内人员。位置可以精确或调整到更接近人的耳朵。在操作362中,可以基于位置或精确的位置计算一组麦克风的参数。在操作364中,参数可用于主动噪声消除预处理。例如,如果给定位置,那么麦克风排列参数可从用于目标车内人员耳朵附近的栅格定位的表或数据库重新获得并内插。外部或集成的应用可产生通过测量在驾驶员和零个或多个乘客位置附近的声压获得的反相噪声信号。
根据本发明实施例,麦克风130a-h可以分配在乘客舱内而不是布置进单个的单元内或布置在单个的单元上,或以除了半球形之外的不同几何形状布置。可以使用其它处理步骤,和不同顺序的处理。例如,增益控制可在增强模块的输出上实施。可以使用频率均衡、信号过滤、在发送信号到数据总线之前压缩、回声残余抑制和颤噪效应衰减。根据本发明的实施例,可以进行其它形式的空间滤波代替波束形成。
根据本发明的实施例,处理可采用不同的顺序,例如,回声消除可在波束形成之后执行。为了一些目的,例如,ASR和通话,波束形成可以是统一标准的。处理可以包括在增强模块的输出上的增益控制、频率均衡、信号过滤、在发送信号到数据总线之前压缩等等。
根据本发明的实施例,用于增强通话、语音识别和主动噪声控制的统一标准的麦克风处理系统和方法可包括多个麦克风、处理电路和软件。该系统可同时使用所有麦克风以获得通话、语音识别和主动噪声控制的增强性能。在车辆内装入这种系统可以减少与配线和处理相关的成本。
根据本发明的实施例,储存在非易失性存储器或计算机可读介质(例如,寄存器、处理器高速缓冲存储器、RAM、ROM、硬驱动机、闪存、CDROM、磁介质等等)内的计算机程序应用可包括代码或可执行指令,当被执行时可命令或引起控制器或处理器执行本文所述方法,例如根据本发明实施例的使用单组麦克风用于通话、语音识别和主动噪声控制的方法。
计算机可读介质可以是永久性计算机可读介质,包括除了短暂的、可传播的信号以外所有形式和类型的存储器和所有计算机可读介质。在一个实施例中,通过控制处理器118可存取的外部闪存可以是非易失性存储器或计算机可读介质。
尽管已示出和描述了本发明的基本的新颖的特征应用于一个或多个实施例,但可以理解,本领域技术人员可以对这些实施例的形式、细节和操作进行各种省略、替代和变化而不脱离本发明的精神和范围。从一个实施例到另一个实施例元件的替代也是完全可以想到和预期的。本发明仅相对于附加于本文的权利要求和其中的叙述的等同替代物单独进行限定。
Claims (12)
1.一种统一标准的麦克风预处理系统包括:
布置在车辆乘客舱内的多个麦克风;
构造为接收来自多个麦克风的信号的处理系统;并且
该处理系统构造为处理信号以产生增强信号以由通话处理应用、自动语音识别处理应用和噪声消除处理应用中的至少两个使用;
还包括
构造为在已接收的信号上实施模拟-数字转换的预处理单元;
声音回声消除预处理单元;和
以下预处理单元中的至少两个:构造为增强数字化的已接收的信号以便增加在电话通信中噪声和残余回声的衰减的通话预处理单元,其中通过引导多个接收波束中的至少一个到说话者的嘴部而实施噪声和残余回声衰减并施加信号增强和信号重建技术;构造为增强数字化的已接收的信号以便优化包括Mel对数倒频谱距离或字词识别率的语音识别指标的语音识别预处理单元;和构造为获得声压的精确测量值以及将测量值提供给主动噪声消除系统的噪声消除预处理单元;
其中该处理系统对来自多个麦克风的信号的处理构造为通过以下步骤处理信号以产生由噪声消除处理应用所使用的增强信号的方法:
定位目标车内人员;
重新得到用于目标车内人员附近位置的麦克风排列参数;
内插排列参数。
2.如权利要求1所述的系统,该处理系统包括:
构造为转换来自多个麦克风的模拟信号的模拟-数字转换器;
构造为储存已转换的模拟信号的存储单元;和
构造为在已转换的模拟信号上实施预处理增强技术的控制处理器。
3.如权利要求1所述的系统,其中该处理系统包括构造为成形多个麦克风的一个或多个接收波束的波束形成器单元。
4.如权利要求3所述的系统,其中波束形成器单元用于成形多个接收波束,并基于车辆乘客舱的声音条件中的变化自适应性地成形多个接收波束。
5.如权利要求1所述的系统,其中多个麦克风以半球形的几何图案布置。
6.一种用于统一标准的麦克风预处理的方法,该方法包括:
接收来自车辆乘客舱内布置的多个麦克风的信号;和
增强已接收的信号以由通话处理应用、自动语音识别处理应用和噪声消除处理应用中的至少两个使用;
还包括通过以下步骤产生由噪声消除处理应用所使用的增强信号:
定位目标车内人员;
重新得到用于目标车内人员附近位置的麦克风排列参数;
内插排列参数;
进一步包括实施用于声音回声消除的已接收的信号的增强;
通过引导多个接收波束中的至少一个到说话者的嘴部而实施噪声和残余回声衰减;和
施加信号增强和信号重建技术;
在已接收的信号上实施语音识别增强预处理以优化包括Mel对数倒频谱距离或字词识别率的语音识别指标;和
在车内人员的头部附近实施声压测量。
7.如权利要求6所述的方法,进一步包括:
在来自车辆乘客舱内布置的多个麦克风的信号上实施预处理增强技术;和
成形多个麦克风的多个接收波束。
8.如权利要求7所述的方法,进一步包括将已成形的多个接收波束引导至驾驶员和车辆乘客舱内的一个或多个乘客中的至少一个。
9.如权利要求6所述的方法,其中多个麦克风以半球形的几何图案布置。
10.一种用于统一标准的麦克风预处理的方法包括:
接收来自空间位置完全不同的多个麦克风的信号;
处理信号以产生已处理的信号;和
将已处理的信号提供给多个音频应用,多个音频应用包括通话应用、自动语音识别应用和噪声消除应用中的至少两个;
还包括通过以下步骤产生由噪声消除处理应用所使用的增强信号:
定位目标车内人员;
重新得到用于目标车内人员附近位置的麦克风排列参数;
内插排列参数;
还包括:
实施用于声音回声消除的已接收的信号的增强;
通过引导多个接收波束中的至少一个到说话者的嘴部而实施噪声和残余回声衰减,并施加信号增强和信号重建技术;
使用Mel对数倒频谱距离或字词识别率指标在已接收的信号上实施语音识别增强预处理;和
在车内人员的头部附近实施声压测量。
11.如权利要求10所述的方法,包括成形用于一个或多个预处理增强技术的多个麦克风的多个接收波束。
12.如权利要求11所述的方法,包括将已成形的多个接收波束引导到驾驶员和车辆乘客舱内的一个或多个乘客中的至少一个。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161432918P | 2011-01-14 | 2011-01-14 | |
US61/432918 | 2011-01-14 | ||
US13/334920 | 2011-12-22 | ||
US13/334,920 US9171551B2 (en) | 2011-01-14 | 2011-12-22 | Unified microphone pre-processing system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102595281A CN102595281A (zh) | 2012-07-18 |
CN102595281B true CN102595281B (zh) | 2016-04-13 |
Family
ID=46483409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210051572.3A Active CN102595281B (zh) | 2011-01-14 | 2012-01-13 | 统一标准的麦克风预处理系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102595281B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101987966B1 (ko) * | 2012-09-03 | 2019-06-11 | 현대모비스 주식회사 | 차량용 어레이 마이크의 음성 인식 향상 시스템 및 그 방법 |
US20140112483A1 (en) * | 2012-10-24 | 2014-04-24 | Alcatel-Lucent Usa Inc. | Distance-based automatic gain control and proximity-effect compensation |
US9240176B2 (en) * | 2013-02-08 | 2016-01-19 | GM Global Technology Operations LLC | Active noise control system and method |
US9747917B2 (en) * | 2013-06-14 | 2017-08-29 | GM Global Technology Operations LLC | Position directed acoustic array and beamforming methods |
JPWO2016132409A1 (ja) * | 2015-02-16 | 2017-08-10 | パナソニックIpマネジメント株式会社 | 車載用音響処理装置 |
CN105242556A (zh) * | 2015-10-28 | 2016-01-13 | 小米科技有限责任公司 | 智能设备的语音控制方法、装置、控制设备及智能设备 |
CN105427854A (zh) * | 2015-12-15 | 2016-03-23 | 湖南科技大学 | 采煤工作面主动抑噪控制系统 |
US10140089B1 (en) * | 2017-08-09 | 2018-11-27 | 2236008 Ontario Inc. | Synthetic speech for in vehicle communication |
CN107808541A (zh) * | 2017-11-09 | 2018-03-16 | 深圳市阿达视高新技术有限公司 | 一种基于lte的多功能车载电子狗系统及实现方法 |
CN109618266A (zh) * | 2018-11-06 | 2019-04-12 | 东莞市华泽电子科技有限公司 | 双向实时通话音频处理方法及双向实时通话对讲系统 |
CN109817240A (zh) * | 2019-03-21 | 2019-05-28 | 北京儒博科技有限公司 | 信号分离方法、装置、设备及存储介质 |
CN111863000A (zh) * | 2019-04-30 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 音频处理方法、装置、电子设备及可读存储介质 |
CN112786032A (zh) | 2019-11-01 | 2021-05-11 | 富泰华工业(深圳)有限公司 | 显示内容控制方法、装置、计算机装置及可读存储介质 |
TWI730490B (zh) * | 2019-11-01 | 2021-06-11 | 鴻海精密工業股份有限公司 | 顯示內容控制方法、裝置、電腦裝置及可讀存儲介質 |
JP7078594B2 (ja) * | 2019-11-12 | 2022-05-31 | 本田技研工業株式会社 | 車両用装置、車両、車両用装置の動作方法およびプログラム |
CN113763945A (zh) * | 2020-12-29 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种语音唤醒方法、装置、设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030055535A1 (en) * | 2001-09-17 | 2003-03-20 | Hunter Engineering Company | Voice interface for vehicle wheel alignment system |
JP3940662B2 (ja) * | 2001-11-22 | 2007-07-04 | 株式会社東芝 | 音響信号処理方法及び音響信号処理装置及び音声認識装置 |
EP1556857B1 (en) * | 2002-10-23 | 2013-07-31 | Nuance Communication, Inc. | Controlling an apparatus based on speech |
US7397504B2 (en) * | 2003-06-24 | 2008-07-08 | Microsoft Corp. | Whiteboard view camera |
US7299076B2 (en) * | 2005-02-09 | 2007-11-20 | Bose Corporation | Vehicle communicating |
WO2007018293A1 (ja) * | 2005-08-11 | 2007-02-15 | Asahi Kasei Kabushiki Kaisha | 音源分離装置、音声認識装置、携帯電話機、音源分離方法、及び、プログラム |
EP1850640B1 (en) * | 2006-04-25 | 2009-06-17 | Harman/Becker Automotive Systems GmbH | Vehicle communication system |
CN101510426B (zh) * | 2009-03-23 | 2013-03-27 | 北京中星微电子有限公司 | 一种噪声消除方法及系统 |
-
2012
- 2012-01-13 CN CN201210051572.3A patent/CN102595281B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN102595281A (zh) | 2012-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102595281B (zh) | 统一标准的麦克风预处理系统和方法 | |
US9171551B2 (en) | Unified microphone pre-processing system and method | |
US9002027B2 (en) | Space-time noise reduction system for use in a vehicle and method of forming same | |
CN102969002B (zh) | 一种可抑制移动噪声的麦克风阵列语音增强装置 | |
CN102831898B (zh) | 带声源方向跟踪功能的麦克风阵列语音增强装置及其方法 | |
CN100446530C (zh) | 校准波束形成器的方法和消除回声的方法 | |
CN109545230B (zh) | 车辆内的音频信号处理方法和装置 | |
JP5323995B2 (ja) | マルチチャネル信号の残響除去のためのシステム、方法、装置、およびコンピュータ可読媒体 | |
US6535609B1 (en) | Cabin communication system | |
CN1753084B (zh) | 使用噪声降低的多通道自适应语音信号处理 | |
US5353376A (en) | System and method for improved speech acquisition for hands-free voice telecommunication in a noisy environment | |
JP5913340B2 (ja) | マルチビーム音響システム | |
US8081776B2 (en) | Indoor communication system for a vehicular cabin | |
US20160150315A1 (en) | System and method for echo cancellation | |
CN104508737B (zh) | 用于具有多个声学区域的车载通信系统的噪声相关的信号处理 | |
WO2016103709A1 (ja) | 音声処理装置 | |
US20070005350A1 (en) | Sound signal processing method and apparatus | |
CN105493518A (zh) | 具有端射麦克风阵列的头戴式耳机以及端射阵列的自动校准 | |
CN110383798B (zh) | 声学信号处理装置、声学信号处理方法和免提通话装置 | |
CN105554625A (zh) | 用于舱室内通信的系统和方法 | |
CN108538304A (zh) | 车内噪声主动控制系统 | |
Tashev et al. | Microphone array for headset with spatial noise suppressor | |
US6305732B1 (en) | Dashboard with integrated directional microphone | |
JP7078594B2 (ja) | 車両用装置、車両、車両用装置の動作方法およびプログラム | |
WO2023124630A1 (zh) | 一种基于主动降噪的车辆路噪控制方法及系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |