CN107112012A - 利用数字麦克风用于低功率关键词检测和噪声抑制 - Google Patents

利用数字麦克风用于低功率关键词检测和噪声抑制 Download PDF

Info

Publication number
CN107112012A
CN107112012A CN201680004787.6A CN201680004787A CN107112012A CN 107112012 A CN107112012 A CN 107112012A CN 201680004787 A CN201680004787 A CN 201680004787A CN 107112012 A CN107112012 A CN 107112012A
Authority
CN
China
Prior art keywords
acoustical signal
microphone
data
dmic
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680004787.6A
Other languages
English (en)
Other versions
CN107112012B (zh
Inventor
戴维·P·罗苏姆
N·D·沃伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Knowles Electronics LLC
Original Assignee
Knowles Electronics LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Knowles Electronics LLC filed Critical Knowles Electronics LLC
Publication of CN107112012A publication Critical patent/CN107112012A/zh
Application granted granted Critical
Publication of CN107112012B publication Critical patent/CN107112012B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)
  • Quality & Reliability (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

提供了用于在低功率关键词检测和噪声抑制中利用数字麦克风的系统和方法。一种示例方法包括以下步骤：接收表示由数字麦克风捕捉的至少一个声音的第一声信号。第一声信号包括以第一时钟频率传输的缓冲数据。数字麦克风可以提供语音活动检测。示例方法还包括以下步骤：接收表示由第二麦克风捕捉的至少一个声音的至少一个第二声信号，至少一个第二声信号包括实时数据。向可以包括噪声抑制和关键词检测的音频处理系统提供第一和第二声信号。缓冲部分可以以更高的第二时钟频率被发送，以消除第一声信号与第二声信号的延迟。提供信号还可以包括延迟第二声信号。

Description

利用数字麦克风用于低功率关键词检测和噪声抑制
相关申请的交叉引用
本申请要求2015年1月7日提交的第62/100758号美国临时专利申请的权益。前面提及的申请的主题通过引用被结合于此，用于所有目的。
技术领域
本申请总体涉及音频处理，更具体地涉及用于利用数字麦克风用于低功率关键词检测和噪声抑制的系统和方法。
背景技术
关键词检测的典型方法是三阶段处理。第一阶段是发声检测。最初，极低功率“永远在线”实施方案连续监测环境声并(通常通过检测人发声)确定人是否开始说出可能关键词。当检测到可能关键词发声时，第二阶段开始。
第二阶段执行关键词识别。因为该操作在计算上比发声检测更密集，所以它消耗更多的功率。当完成发出声音的检查(例如，关键词识别)时，结果可以是关键词匹配(在该情况下，将进入第三阶段)或不匹配(在该情况下，第一最低功率阶段的操作重新开始)二者之一。
第三阶段被用于继使用自动语音识别(ASR)进行关键词识别之后分析任意语音。该第三阶段是计算上非常密集的处理，因此可以从对包括语音的音频的一部分的信噪比(SNR)的改进中大大受益。SNR通常使用噪声抑制(NS)信号处理来优化，该处理可能要求从多个麦克风获得音频输入。
数字麦克风(DMIC)的使用是众所周知的。DMIC通常包括信号处理部。数字信号处理器(DSP)通常用于执行用于检测关键词的计算。使某一形式的数字信号处理器(DSP)对与DMIC本身的信号处理部相同的集成电路(芯片)执行关键词检测计算可以具有系统功率益处。例如，在处于第一阶段时，DMIC可以根据内部振荡器操作，由此节省向DMIC供给外部时钟的功率和向外部DSP装置传输DMIC数据输出(通常为脉冲密度调制(PDM)信号)的功率。
还已知在DMIC上实施关键词识别的随后阶段对于最低功率或系统成本可能不是最佳。关键词识别的随后阶段在计算上是密集的，由此消耗大量的动态功率和管芯面积。然而，DMIC信号处理芯片通常使用与最佳可用数字处理相比具有每栅极或存储位显著更高的动态功率和更大的面积的工艺几何结构来实现。
找到利用在DMIC中实施关键词识别的第一阶段的潜在功率节省的最佳实施方案可能由于冲突的要求而具有挑战性。为了优化功率，DMIC以“永远在线”的独立方式操作，而当尚未检测到发声时不向外部装置传输音频数据。当检测到发声时，DMIC需要向外部装置提供指示该情况的信号。与该情况的发生同时或继其之后，DMIC需要开始向执行随后阶段的外部装置提供音频数据。最佳地，需要音频数据接口满足以下要求：发送与显著先于发声检测的时间对应的音频数据，以外部提供的时钟(采样)速率发送实时音频数据，并且简化多麦克风噪声抑制处理。另外，与针对实施关键词识别的第一阶段的DMIC的实时音频数据关联的时延需要与针对传统DMIC的延迟大致相同，接口需要与现有接口可兼容，接口需要在与内部振荡器一起操作的同时指示所使用的时钟(采样)速率，并且没有音频漏码会发生。
具有实施关键词识别的第一阶段的DMIC的接口很大程度上由于呈现显著在发声检测之前缓冲的音频数据的要求而导致实施可能具有挑战性。该缓冲的音频数据之前以由内部振荡器确定的采样速率来获取。因此，在将缓冲的音频数据作为单个连续音频流的一部分连同实时音频数据一起提供时，可能难以使得该实时音频数据具有与传统DMIC中相同的时延，或者可能难以使用传统多麦克风噪声抑制技术。
发明内容
提供本发明内容以按简化形式介绍下面在具体实施方式中进一步描述的概念的选择。该发明内容不旨在识别所要求保护主题的关键特征或必要特征，也不旨在确定所要求保护主题时用作帮助。
提供了用于利用数字麦克风用于低功率关键词检测和噪声抑制的系统和方法。一种示例方法包括以下步骤：接收表示由数字麦克风捕捉的至少一个声音的第一声信号，第一声信号包括以第一时钟频率在单个信道上传输的缓冲数据。示例方法还包括以下步骤：接收表示由至少一个第二麦克风捕捉的至少一个声音的至少一个第二声信号。至少一个第二声信号可以包括实时数据。在一些实施方式中，至少一个第二麦克风可以为模拟麦克风。至少一个第二麦克风还可以为不具有语音活动检测功能的数字麦克风。
示例方法还包括以下步骤：向音频处理系统提供第一声信号和至少一个第二声信号。音频处理系统可以至少提供噪声抑制。
在一些实施方式中，缓冲数据以高于第一时钟频率的第二时钟频率来发送，以消除第一声信号与第二声信号的延迟。
提供信号可以包括延迟第二声信号。
本公开的其它示例实施方式和多个方面将从连同附图采取的以下描述变得清晰。
附图说明
在附图的图中以示例的方式且不限制地例示实施方式，在附图中，同样的附图标记指示相同的元件。
图1是例示了根据各种示例实施方式的系统的框图，该系统可以用于实施利用数字麦克风用于低功率关键词检测和噪声抑制的方法。
图2是示例移动装置的框图，在该示例移动装置中，可以实践用于利用数字麦克风用于低功率关键词检测和噪声抑制的方法。
图3是示出了根据各种示例实施方式的系统的框图，该系统用于利用数字麦克风用于低功率关键词检测和噪声抑制。
图4是示出了根据示例实施方式的用于利用数字麦克风用于低功率关键词检测和噪声抑制的方法的步骤的流程图。
图5是可以用于实施所公开技术的实施方式的示例计算机系统。
具体实施方式
本公开提供了用于利用数字麦克风用于低功率关键词检测和噪声抑制的示例系统和方法。本技术的各种实施方式可以用至少被构造为捕捉音频信号的移动音频装置来实践，并且可以允许改进所捕捉音频中的自动语音识别。
在各种实施方式中，移动装置是手持装置(诸如笔记本计算机、平板计算机、平板手机、智能电话、个人数字助理、媒体播放器、移动电话、摄像机等)。移动装置可以用于平稳和便携式环境中。平稳环境可以包括住宅和商业建筑物或结构等。例如，平稳环境还可以包括客厅、卧室、家庭影院、会议室、礼堂、经营场所等。便携式环境可以包括移动车辆、移动人员、其它运输装置等。
现在参照图1，示出了可以实践本公开的方法的示例系统100。系统100可以包括移动装置110。在各种实施方式中，移动装置110包括被构造为从用户150接收语音输入/声信号的麦克风(例如，换能器)120。
语音输入/声学声音可能被噪声160污染。噪声源可以包括街道噪声、环境噪声、来自除了预期说话者之外的实体的语音等。例如，噪声源可以包括工作空调、通风扇、电视机、移动电话、立体声音频系统等。特定种类的噪声可能由机器(例如，汽车)和机器操作的环境(例如，道路、轨道、轮胎、车轮、风扇、雨刷、发动机、排气管、娱乐系统、风、雨、波浪以及类似噪声)这两者产生。
在一些实施方式中，移动装置110可通信地连接到还被称为计算云130或云130的一个或更多个基于云的计算资源130。基于云的计算资源130可以包括在远程位置处可用且通过网络(例如，因特网或蜂窝电话网络)可访问的计算资源(硬件和软件)。在各种实施方式中，基于云的计算资源130由多个用户共享，并且可以基于需求被动态地重新分配。基于云的计算资源130可以包括一个或更多个服务器农场/群集，该服务器农场/群集包括可以与网络交换机和/或路由器共定位的计算机服务器的集合。
图2是示出了根据各种示例实施方式的移动装置110的组件的框图。在所例示的实施方式中，移动装置110包括一个或更多个麦克风120、处理器210、音频处理系统220、存储装置230以及一个或更多个通信装置240。在特定实施方式中，移动装置110还包括移动装置110的操作所必需的另外或其它组件。在其它实施方式中，移动装置110包括执行与参照图2描述的功能类似或等效的功能的更少组件。
在各种实施方式中，在麦克风120包括多个紧密隔开(例如，相距1-2cm)的多个全向麦克风的情况下，波束形成技术可以用于模拟前向和后向定向麦克风响应。在一些实施方式中，可以使用所模拟的前向和后向定向麦克风来获得电平差。电平差可以用于区分例如时频域中的语音和噪声，这还可以用于噪声和/或回声降低。噪声降低可以包括噪声消除和/或噪声抑制。在特定实施方式中，一些麦克风120主要用于检测语音，并且其它麦克风主要用于检测噪声。在还有的其它实施方式中，一些麦克风用于检测噪声和语音这两者。
在一些实施方式中，声信号一旦被接收(例如，由麦克风120捕捉)，则被转换成电信号，根据一些实施方式，该电信号依次由音频处理系统220转换成用于处理的数字信号。处理后的信号可以被发送给处理器210，以便进一步处理。在一些实施方式中，一些麦克风120是可操作为捕捉声信号并输出数字信号的数字麦克风。一些数字麦克风可以提供用于语音活动检测(这里还被称为发声检测)和显著在发声检测之前的音频数据的缓冲。
音频处理系统220可操作为处理音频信号。在一些实施方式中，声信号由麦克风120来捕捉。在特定实施方式中，麦克风120所检测的声信号由音频处理系统220用于分离期望语音(例如，关键词)与噪声，这提供更鲁棒的自动语音识别(ASR)。
2010年7月8日提交的标题为“Method for Jointly Optimizing NoiseReduction and Voice Quality in a Mono or Multi-Microphone System,”的第12/832901号美国专利申请(现在为第8473287号美国专利)(该申请的公开通过引用被结合于此以用于所有目的)中更详细地论述了适于执行语音抑制的示例音频处理系统。用示例的方式且不限制，2008年6月30日提交的标题为“System and Method for Providing NoiseSuppression Utilizing Null Processing Noise Subtraction”的第12/215980号美国专利申请(现在为第9185487号美国专利)和2007年1月29日提交的标题为“System andMethod for Utilizing Omni-Directional Microphones for Speech Enhancement,”的第11/699732号美国专利申请(现在为第8194880号美国专利)(上述申请通过引用全部结合于此)中描述了噪声抑制方法。
2013年1月28日提交的标题为“Restoration of Noise-Reduced Speech,”的共同转让的第13/751907号美国专利申请(现在为第8615394号美国专利)(该申请通过引用被完全结合于此)中还描述了用于恢复降噪后的语音的各种方法。
处理器210可以包括可操作为执行在存储装置230中存储的计算机程序的硬件和/或软件。处理器210可以使用浮点运算、复杂运算以及用于实施本公开的实施方式所需的其它运算。在一些实施方式中，移动装置110的处理器210包括例如数字信号处理器(DSP)、图像处理器、音频处理器、通用处理器等中的至少一个。
示例移动装置110在各种实施方式中可操作为例如经由通信装置240跨一个或更多个有线或无线通信网络通信。在一些实施方式中，移动装置110通过有线或无线通信网络发送至少音频信号(语音)。在特定实施方式中，移动装置110封装和/或编码用于通过无线网络(例如，蜂窝网络)传输的至少一个数字信号。
数字信号可以通过互联网协议组(TCP/IP)和/或用户数据报协议(UDP)来封装。有线和/或无线通信网络可以为电路交换的和/或分组交换的。在各种实施方式中，有线通信网络提供计算机系统、软件应用程序以及用户之间的通信和数据交换，并且包括任意数量的网络适配器、中继器、集线器、交换机、桥接器、路由器以及防火墙。无线通信网络包括任意数量的无线接入点、基站、中继器等。有线和/或无线通信网络可以符合工业标准，可以为私人拥有的或其组合。可以使用各种其它合适的有线和/或无线通信网络、其它协议或其组合。
图3是示出了根据各种示例实施方式的适于利用数字麦克风用于低功率关键词检测和噪声抑制的系统300的框图。系统300包括联接到(外部或主机)DSP 350的麦克风(这里还被不同地称为DMIC)120。在一些实施方式中，数字麦克风120包括换能器302、放大器304、模数转换器306以及脉冲密度调制器(PDM)308。在特定实施方式中，数字麦克风120包括缓冲器310和发声检测器320。在其它实施方式中，DMIC 120与传统立体声DMIC接口对接。传统立体声DMIC接口包括时钟(CLK)输入端(或CLK线)312和数据(DATA)输出端314。数据输出端包括左信道和右信道。在一些实施方式中，DMIC接口包括另一发声检测器(DET)输出端(或DET线)316。CLK输入312可以由DSP 350来供给。DSP 350可以接收DATA输出314和DET输出316。在一些实施方式中，数字麦克风120通常经由PDM 308产生实时数字音频数据流。2015年7月13日提交的标题为“Microphone Apparatus and Method with Catch-up Buffer,”的第14797310号美国专利申请(该申请的公开通过引用结合于此以用于所有目的)中更详细地论述了提供发声检测的示例数字麦克风。
示例1
在各种实施方式中，在第一阶段情况下，DMIC 120根据内部振荡器进行操作，该内部振荡器确定在该情况期间的内部采样速率。在第一阶段情况下，在发声检测之前，CLK线312为静态的(通常为逻辑0)。DMIC 120在DATA输出端314和DET输出端316这两者上输出静态信号(通常为逻辑0)。内部地，根据其内部振荡器操作的DMIC 120可操作为分析音频数据，以确定发声是否已经发生。内部地，DMIC 120将音频数据缓冲到再循环存储器(例如，使用缓冲器310)。在特定实施方式中，再循环存储器具有预定数量(通常为大约100k的PDM)的样本。
在各种示例性实施方式中，当DMIC 120检测到发声时，DMIC 120开始在DET输出端316上输出从内部振荡器导出的PDM 308采样时钟。DSP 350可操作为检测DET线316上的活动。DSP 350可以使用该信号以足够精度来确定DMIC 120的内部采样速率，以便进一步操作。然后，DSP 350可以在适于经由传统DMIC 120接口协议从DMIC 120接收实时PDM 308音频数据的CLK线312上输出时钟。在一些实施方式中，时钟处于与用于噪声抑制的其它DMIC的时钟相同的速率。
在一些实施方式中，DMIC 120通过从内部采样速率立即切换为所设置的CLK线312的采样速率来对CLK输入端312的存在作出响应。在特定实施方式中，DMIC 120可操作为立即开始在DATA输出端314的第一信道(例如，左信道)上供给实时PDM 308数据，并且在第二(例如，右)信道上供给延迟的(通常为大约100k的PDM样本)缓冲PDM 308数据。DMIC 110可以在接收CLK时停止在DET信号上提供内部时钟。
在一些实施方式中，在已经传输整个(通常为大约100k样本)缓冲器之后，DMIC120为了节省功率而切换为在DATA输出端314的第二(在示例中为右)信道上发送实时音频数据或静态信号(通常为逻辑0)。
在各种实施方式中，DSP 350累积缓冲的数据，然后在要求时使用之前测量的DMIC120内部采样速率与主机CLK采样速率的比率以将缓冲数据匹配到实时音频数据的方式来处理缓冲数据。例如，DSP 350可以将缓冲数据转换成与主机CLK采样速率相同的速率。本领域技术人员应理解，实际采样速率转换可能不是最佳的。相反，另外的下游频域处理信息可以基于所测量的比率在频率上偏移。缓冲数据可以被预添加(prepend)到实时音频数据以用于关键词识别的目的。缓冲数据还可以根据期望被添加到用于ASR的数据。
在各种实施方式中，因为不延迟实时音频数据，所以实时数据具有低时延，并且可以与来自其它麦克风的实时音频数据组合，以便噪声抑制或其它目的。
将CLK信号返回到静态可以用于将DMIC 120返回到第一阶段处理状态。
示例2
在第一阶段情况下，DMIC 120根据内部振荡器操作，该内部振荡器确定PDM 308采样速率。在一些示例性实施方式中，在第一阶段情况下，在发声检测之前，CLK输入端312为静态的(通常为逻辑0)。DMIC 120可以在DATA输出端314和DET输出端316这两者上输出静态信号(通常为逻辑0)。内部地，根据其内部振荡器操作的DMIC 120可操作为分析音频数据，以确定发声是否发生，并且还可操作为将音频数据内部地缓冲到再循环存储器中。再循环存储器可以具有预定数量(通常为大约100k的PDM)的样本。
在一些实施方式中，当DMIC 120检测到发声时，DMIC 120开始在DET输出端316上输出从其内部振荡器导出的PDM采样速率时钟。DSP 350可以检测DET线312上的活动。然后，DSP 350可以使用DET输出以足够精度来确定DMIC 120的内部采样速率，以便进一步操作。然后，DSP 350在CLK线312上输出时钟。在特定实施方式中，时钟处于比内部振荡器采样速率更高的速率，并且适于经由传统DMIC 120接口协议从DMIC 120接收实时PDM 308音频数据。在一些实施方式中，被提供给CLK线312的时钟处于与用于噪声抑制的其它DMIC的时钟相同的速率。
在一些实施方式中，DMIC 120通过立即开始在DATA输出端314的第一信道(例如，左信道)上供给缓冲的PDM 308数据来对CLK线312处的时钟的存在作出响应。因为CLK频率大于内部采样频率，所以数据的延迟从缓冲器长度逐渐降低至零。当延迟达到零时，DMIC120通过将其采样速率从内部振荡器的采样速率立即切换为由CLK线312提供的速率来作出响应。DMIC 120还可以立即开始在DATA输出端314的一个信道上供给实时PDM 308数据。DMIC 120还在此时停止在DET输出端316信号上提供内部时钟。
在一些实施方式中，DSP 350可以累积缓冲数据，并且基于感测DET输出端316信号何时停止来确定DATA从缓冲数据切换到实时音频数据的点。DSP 350然后可以使用之前测量的DMIC 120内部采样速率与CLK采样速率的比率在逻辑上转换缓冲数据的采样速率，以匹配实时音频数据的采样速率。
在该示例中，一旦完全接收缓冲器数据且到实时音频的切换已经发生，则实时音频数据将具有低时延，并且可以为了噪声抑制或其它目的而与来自其它麦克风的实时音频数据组合。
由示例2例示的各种实施方式与一些其它实施方式相比可能具有从发声检测到实时操作的更长时间的缺点，这要求比第一阶段操作的速率更高的实时操作期间的速率，并且还可能要求在缓冲数据与实时音频数据之间的过渡时间的精确检测。
另一方面，根据示例2的各种实施方式具有仅要求使用立体声传统DMIC 120接口的一个信道(这使其它信道可用于由第二DMIC 120使用)的优点。
示例3
在第一阶段情况下，DMIC 120可以根据内部振荡器操作，该内部振荡器确定PDM308采样速率。在第一阶段情况下，在发声检测之前，CLK输入端312为静态的(通常为逻辑0)。DMIC 120在DATA输出端314和DET输出端316这两者上输出静态信号(通常为逻辑0)。内部地，根据内部振荡器操作的DMIC 120可操作为分析音频数据，而且通过将该数据内部地缓冲到具有预订数量(通常大约为100k的PDM)的样本的再循环存储器(例如，缓冲器310)中来确定发声是否发生。
当DMIC 120检测到发声时，DMIC 120开始在DET输出端316上输出从其内部振荡器导出的PDM 308采样速率时钟。DSP 350可以检测DET输出端316上的活动。然后，DSP 350可以使用DET输出端316信号以足够精度来确定DMIC 120的内部采样速率，以便进一步操作。然后，DSP 350可以在适于经由传统DMIC 120接口协议从DMIC 120接收实时PDM 308音频数据的CLK线312上输出时钟。该时钟可以处于与用于噪声抑制的其它DMIC的时钟相同的速率。
在一些实施方式中，DMIC 120通过立即开始在DATA输出端314的第一信道(例如，左信道)上供给缓冲的PDM 308数据来对CLK输入端312的存在作出响应。DMIC 120还在此时停止在DET输出端316上提供内部时钟。当耗尽数据的缓冲器310时，DMIC 120开始在DATA输出端314的一个信道上供给实时PDM 308数据。
DSP 350累积缓冲数据，这基于对所接收的样本数进行计数来注释DATA从缓冲数据切换到实时音频数据的点。然后，DSP 350使用之前测量的DMIC 120内部采样速率与CLK采样速率的比率在逻辑上转换缓冲数据的采样速率，以匹配实时音频数据的采样速率。
在一些实施方式中，即使在完全接收缓冲数据且到实时音频的切换已经发生之后，DMIC 120数据也保持处于高时延。在一些实施方式中，时延等于为CLK线312的采样速率采样倍数的缓冲器尺寸。因为其它麦克风具有低时延，所以其它麦克风无法与该数据一起用于传统噪声抑制。
在一些实施方式中，来自麦克风的信号之间的失配通过将延迟添加到用于噪声抑制的每个其它麦克风来消除。在延迟之后，为了噪声抑制或其它目的，可以组合来自DMIC120和其它麦克风的流。添加到其它麦克风的延迟可以基于DMIC 120的已知延迟特性(例如，由于缓冲而引起的时延等)来确定，或可以例如基于将从DMIC 120和从其它麦克风接收的音频数据进行比较(例如，比较时刻、采样速率时钟等)在算法上来测量。
示例3的各种实施方式与示例1的优选实施方式相比具有从发声检测到实时操作的更长时间和在实时操作时具有显著的另外时延的缺点。示例3的实施方式具有仅需要使用立体声传统DMIC接口的一个信道(这使其它信道可用于由第二DMIC使用)的优点。
图4是例示了根据示例实施方式的用于利用数字麦克风用于低功率关键词检测和噪声抑制的方法400的流程图。在框402中，示例方法400可以开始于接收表示由数字麦克风捕捉的至少一个声音的声信号。声信号可以包括以第一(低)时钟频率在单个信道上传输的缓冲数据。在框404中，示例方法400可以继续接收表示由至少一个第二麦克风捕捉的至少一个声音的至少一个第二声信号。在各种实施方式中，至少一个第二声信号包括实时数据。
在框406中，可以分析缓冲数据，以确定缓冲数据包括语音。在框408中，示例方法400可以继续以第二时钟频率发送缓冲数据以消除声信号与第二声信号的延迟。第二时钟频率高于第一时钟频率。在框410中，示例方法400可以将第二声信号延迟预定时间段。框410可以代替用于消除延迟的框408来执行。在框412中，示例方法400可以继续向音频处理系统提供第一声信号和至少一个第二声信号。音频处理系统可以包括噪声抑制和关键词检测。
图5例示了可以用于实施本发明的一些实施方式的示例性计算机系统500。图5的计算机系统500可以在计算系统、网络、服务器或其组合的语境等中实施。图5的计算机系统500包括一个或更多个处理器单元510和主存储器520。主存储器520部分地存储用于由处理器单元510执行的指令和数据。主存储器520在该示例中存储操作时的可执行代码。图5的计算机系统500还包括大容量数据储存器530、便携式存储装置540、输出装置550、用户输入装置560、图形显示系统570以及外围装置580。
图5中所示的组件被描绘为经由单个总线590连接。组件可以借助一个或更多个数据传输装置来连接。处理器单元510和主存储器520经由局部微处理器总线连接，并且大容量数据储存器530、外围装置580、便携式存储装置540以及图形显示系统570经由一个或更多个输入/输出(I/O)总线连接。
可以用磁盘驱动器、固态驱动器或光盘驱动器实施的大容量数据储存器530是用于存储用于由处理器单元510使用的数据和指令的非易失性存储装置。大容量数据储存器530存储用于实施本公开的实施方式以用于将系统软件加载到主存储器520中的目的系统软件。
便携式存储装置540连同便携式非易失性存储介质(诸如闪存驱动器、软盘、光盘、数字视频光盘或通用串行总线(USB)存储装置)一起操作为向和从图5的计算机系统500输入和输出数据和代码。用于实施本公开的实施方式的系统软件被存储在这种便携式介质上，并且经由便携式存储装置540输入到计算机系统500。
用户输入装置560可以提供用户接口的一部分。用户输入装置560可以包括一个或更多个麦克风、用于输入字母数字和其它信息的字母数字小键盘(诸如键盘)或定点装置(诸如鼠标、跟踪球、触针或光标方向键)。用户输入装置560还可以包括触摸屏。另外，如图5所示的计算机系统500包括输出装置550。合适输出装置550包括扬声器、打印机、网络接口以及监测器。
图形显示系统570包括液晶显示器(LCD)或其它合适显示装置。图形显示系统570可被构造为接收文本和图形信息，并且处理该信息，以便输出到显示装置。
外围装置580可以包括向计算机系统添加另外功能的任意类型的计算机支持装置。
在图5的计算机系统500中设置的组件是通常在可以适于与本公开的实施方式一起使用的计算机系统中找到的那些组件，并且旨在表示本领域中众所周知的广泛类别的这种计算机组件。由此，图5的计算机系统500可以为个人计算机(PC)、手持计算机系统、电话、移动计算机系统、工作站、平板电脑、平板手机、移动电话、服务器、小型计算机、大型计算机、可佩戴计算机或任意其它计算机系统。计算机还可以包括不同的总线构造、网络化平台、多处理器平台等。可以使用包括UNIX、LINUX、WINDOWS、MAC OS、PALM OS、QNX ANDROID、IOS、CHROME、TIZEN以及其它合适操作系统的各种操作系统。
用于各种实施方式的处理可以在基于云的软件中实施。在一些实施方式中，计算机系统500被实施为基于云的计算环境(诸如在计算云内操作的虚拟机)。在其它实施方式中，计算机系统500可以本身包括计算机系统500的功能以分布式方式来执行的基于云的计算环境。由此，计算机系统500在被构造为计算云时可以如下面将更详细描述的那样包括各种形式的多个计算装置。
通常，基于云的计算环境是通常组合一大组处理器的计算能力(诸如在网络服务器内)和/或组合一大群计算机存储器或存储装置的存储容量的资源。提供基于云的资源的系统可以由它们的拥有者来唯一地使用，或者这种系统可以由将应用部署在计算基础设施内以获得大计算或存储资源的益处的外部用户可访问。
云例如可以由包括多个计算装置(诸如计算机系统500)的网络服务器的网络来形成，每个服务器(或至少多个服务器)提供处理器和/或存储资源。这些服务器可以管理由多个用户(例如，云资源顾客或其它用户)提供的工作负荷。通常，每个用户对实时(有时动态)变化的云提出工作负荷需求。这些变型例的性质和范围通常取决于与用户关联的业务类型。
上面参照示例实施方式描述了本技术。因此，本公开旨在覆盖示例实施方式的其它变型例。

Claims (24)

1.一种用于音频处理的方法，所述方法包括以下步骤：
接收表示由数字麦克风捕捉的至少一个声音的第一声信号，所述第一声信号包括以第一时钟频率在单个信道上传输的缓冲数据；
接收表示由至少一个第二麦克风捕捉的所述至少一个声音的至少一个第二声信号，所述至少一个第二声信号包括实时数据；以及
向音频处理系统提供所述第一声信号和所述至少一个第二声信号。
2.根据权利要求1所述的方法，其中，所述提供的步骤包括：以第二时钟频率发送所述缓冲数据，以用于消除所述第一声信号与所述至少一个第二声信号的延迟，所述第二时钟频率高于所述第一时钟频率。
3.根据权利要求1所述的方法，其中，所述提供的步骤包括：将所述至少一个第二声信号延迟预定时间段。
4.根据权利要求3所述的方法，其中，所述预定时间段基于所述数字麦克风的一个或更多个特性来确定。
5.根据权利要求4所述的方法，其中，所述一个或更多个特性包括所述数字麦克风的时延。
6.根据权利要求5所述的方法，其中，所述时延包括由于缓冲所述缓冲数据而产生的延迟。
7.根据权利要求3所述的方法，其中，所述预定时间段基于将所述第一声信号与所述至少一个第二声信号进行比较来确定。
8.根据权利要求7所述的方法，其中，所述比较的步骤包括：将所述第一声信号和所述至少一个第二声信号的采样速率进行比较。
9.根据权利要求1所述的方法，所述方法还包括以下步骤：在所述提供的步骤之前，接收已经检测到语音活动的指示。
10.根据权利要求9所述的方法，其中，所述指示由与所述数字麦克风关联的语音活动检测器来提供。
11.根据权利要求1所述的方法，其中，所述至少一个第二麦克风是模拟麦克风。
12.根据权利要求1所述的方法，其中，所述音频处理系统基于所述第一声信号和所述至少一个第二声信号提供噪声抑制。
13.根据权利要求12所述的方法，其中，所述噪声抑制基于所述第一声信号与所述至少一个第二声信号之间的电平差。
14.根据权利要求1所述的方法，其中，所述第一声信号包括脉冲密度调制PDM信号。
15.一种用于音频处理的系统，所述系统包括：
处理器；以及
存储器，所述存储器与所述处理器可通信地联接，所述存储器存储指令，在所述指令由所述处理器执行时，执行包括以下步骤的方法：
接收表示由数字麦克风捕捉的至少一个声音的第一声信号，所述第一声信号包括以第一时钟频率在单个信道上传输的缓冲数据；
接收表示由至少一个第二麦克风捕捉的所述至少一个声音的至少一个第二声信号，所述至少一个第二声信号包括实时数据；以及
向音频处理系统提供所述第一声信号和所述至少一个第二声信号。
16.根据权利要求15所述的系统，其中，所述音频处理系统包括基于所述第一声信号和所述至少一个第二声信号的噪声抑制和关键词检测中的至少一个。
17.根据权利要求15所述的系统，其中，所述提供的步骤包括：以第二时钟频率发送所述缓冲数据，以用于消除所述第一声信号与所述至少一个第二声信号的延迟，所述第二时钟频率高于所述第一时钟频率。
18.根据权利要求15所述的系统，其中，所述提供的步骤包括：将所述至少一个第二声信号延迟预定时间段。
19.根据权利要求18所述的系统，其中，所述预定时间段基于所述数字麦克风的一个或更多个特性来确定。
20.根据权利要求18所述的系统，其中，所述预定时间段通过将所述第一声信号与所述至少一个第二声信号进行比较来确定。
21.根据权利要求15所述的系统，所述系统还包括：在所述提供的步骤之前，接收已经检测到语音活动的指示。
22.根据权利要求21所述的系统，其中，所述指示由与所述数字麦克风关联的语音活动检测器来提供。
23.根据权利要求15所述的系统，其中，所述至少一个第二麦克风是模拟麦克风。
24.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质上具体实施有指令，在所述指令由至少一个处理器执行时，执行方法的多个步骤，所述方法包括以下步骤：
接收表示由数字麦克风捕捉的至少一个声音的第一声信号，所述第一声信号包括以第一时钟频率在单个信道上传输的缓冲数据；
接收表示由至少一个第二麦克风捕捉的所述至少一个声音的至少一个第二声信号，所述至少一个第二声信号包括实时数据；以及
向音频处理系统提供所述第一声信号和所述至少一个第二声信号。
CN201680004787.6A 2015-01-07 2016-01-06 用于音频处理的方法和系统及计算机可读存储介质 Expired - Fee Related CN107112012B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562100758P 2015-01-07 2015-01-07
US62/100,758 2015-01-07
PCT/US2016/012349 WO2016112113A1 (en) 2015-01-07 2016-01-06 Utilizing digital microphones for low power keyword detection and noise suppression

Publications (2)

Publication Number Publication Date
CN107112012A true CN107112012A (zh) 2017-08-29
CN107112012B CN107112012B (zh) 2020-11-20

Family

ID=56286839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680004787.6A Expired - Fee Related CN107112012B (zh) 2015-01-07 2016-01-06 用于音频处理的方法和系统及计算机可读存储介质

Country Status (5)

Country Link
US (2) US10045140B2 (zh)
CN (1) CN107112012B (zh)
DE (1) DE112016000287T5 (zh)
TW (1) TW201629950A (zh)
WO (1) WO2016112113A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311874B2 (en) 2017-09-01 2019-06-04 4Q Catalyst, LLC Methods and systems for voice-based programming of a voice-controlled device
CN111199751A (zh) * 2020-03-04 2020-05-26 北京声智科技有限公司 一种麦克风的屏蔽方法、装置和电子设备
CN111868825A (zh) * 2018-03-12 2020-10-30 赛普拉斯半导体公司 用于利用语音开始检测来唤醒短语检测的双管线体系结构
CN112771609A (zh) * 2018-08-01 2021-05-07 森田公司 包括神经形态处理模块的传感器处理系统及其方法
CN113168831A (zh) * 2018-11-29 2021-07-23 微软技术许可有限责任公司 用于同时的关键字发现、转录和实时通信的音频管线

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016007528A1 (en) 2014-07-10 2016-01-14 Analog Devices Global Low-complexity voice activity detection
US10121472B2 (en) * 2015-02-13 2018-11-06 Knowles Electronics, Llc Audio buffer catch-up apparatus and method with two microphones
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9820039B2 (en) 2016-02-22 2017-11-14 Sonos, Inc. Default playback devices
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10262673B2 (en) 2017-02-13 2019-04-16 Knowles Electronics, Llc Soft-talk audio capture for mobile devices
US10499139B2 (en) 2017-03-20 2019-12-03 Bose Corporation Audio signal processing for noise reduction
US10424315B1 (en) 2017-03-20 2019-09-24 Bose Corporation Audio signal processing for noise reduction
US10311889B2 (en) 2017-03-20 2019-06-04 Bose Corporation Audio signal processing for noise reduction
US10366708B2 (en) 2017-03-20 2019-07-30 Bose Corporation Systems and methods of detecting speech activity of headphone user
CN110444199B (zh) * 2017-05-27 2022-01-07 腾讯科技（深圳）有限公司 一种语音关键词识别方法、装置、终端及服务器
US10249323B2 (en) 2017-05-31 2019-04-02 Bose Corporation Voice activity detection for communication headset
US10475449B2 (en) * 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10332543B1 (en) * 2018-03-12 2019-06-25 Cypress Semiconductor Corporation Systems and methods for capturing noise for pattern recognition processing
US10438605B1 (en) 2018-03-19 2019-10-08 Bose Corporation Echo control in binaural adaptive noise cancellation systems in headsets
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11335331B2 (en) 2019-07-26 2022-05-17 Knowles Electronics, Llc. Multibeam keyword detection system and method
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
CN110580919B (zh) * 2019-08-19 2021-09-28 东南大学 多噪声场景下语音特征提取方法及可重构语音特征提取装置
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080019548A1 (en) * 2006-01-30 2008-01-24 Audience, Inc. System and method for utilizing omni-directional microphones for speech enhancement
US20080249771A1 (en) * 2007-04-05 2008-10-09 Wahab Sami R System and method of voice activity detection in noisy environments
CN101308662A (zh) * 2007-05-18 2008-11-19 索尼株式会社 成像设备、声音处理电路、降噪电路、降噪方法和程序
US20110026739A1 (en) * 2009-06-11 2011-02-03 Audioasics A/S High level capable audio amplification circuit
CN102077274A (zh) * 2008-06-30 2011-05-25 杜比实验室特许公司 多麦克风语音活动检测器
CN102280108A (zh) * 2010-06-10 2011-12-14 佳能株式会社 音频信号处理设备及其控制方法
US20130197920A1 (en) * 2011-12-14 2013-08-01 Wolfson Microelectronics Plc Data transfer
CN103811007A (zh) * 2012-11-09 2014-05-21 三星电子株式会社 显示装置、语音获取装置及其语音识别方法
CN104012110A (zh) * 2011-12-23 2014-08-27 伯斯有限公司 通信头戴式受话器基于语音的增益控制
CN104252860A (zh) * 2013-06-26 2014-12-31 沃福森微电子股份有限公司 语音识别

Family Cites Families (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3989897A (en) 1974-10-25 1976-11-02 Carver R W Method and apparatus for reducing noise content in audio signals
US4831558A (en) 1986-08-26 1989-05-16 The Slope Indicator Company Digitally based system for monitoring physical phenomena
US4812996A (en) 1986-11-26 1989-03-14 Tektronix, Inc. Signal viewing instrumentation control system
US4811404A (en) 1987-10-01 1989-03-07 Motorola, Inc. Noise suppression system
IL84948A0 (en) 1987-12-25 1988-06-30 D S P Group Israel Ltd Noise reduction system
GB8910981D0 (en) 1989-05-12 1989-06-28 Hi Med Instr Limited Digital waveform encoder and generator
JPH0566795A (ja) 1991-09-06 1993-03-19 Gijutsu Kenkyu Kumiai Iryo Fukushi Kiki Kenkyusho 雑音抑圧装置とその調整装置
JP3176474B2 (ja) 1992-06-03 2001-06-18 沖電気工業株式会社 適応ノイズキャンセラ装置
US5555287A (en) 1992-07-21 1996-09-10 Advanced Micro Devices, Inc. Integrated circuit and cordless telephone using the integrated circuit
US5340316A (en) 1993-05-28 1994-08-23 Panasonic Technologies, Inc. Synthesis-based speech training system
US5675808A (en) 1994-11-02 1997-10-07 Advanced Micro Devices, Inc. Power control of circuit modules within an integrated circuit
US6070140A (en) 1995-06-05 2000-05-30 Tran; Bao Q. Speech recognizer
US5828997A (en) 1995-06-07 1998-10-27 Sensimetrics Corporation Content analyzer mixing inverse-direction-probability-weighted noise to input signal
DE69527790D1 (de) 1995-09-29 2002-09-19 St Microelectronics Srl Digitale mikrophonische Vorrichtung
DE19546168C1 (de) 1995-12-11 1997-02-20 Siemens Ag Digitale Signalprozessor-Anordnung zum Vergleich von Merkmalsvektoren und deren Verwendung sowie zugehöriges Betriebsverfahren
US5825898A (en) 1996-06-27 1998-10-20 Lamar Signal Processing Ltd. System and method for adaptive interference cancelling
US5822598A (en) 1996-07-12 1998-10-13 Ast Research, Inc. Audio activity detection circuit to increase battery life in portable computers
JP3328532B2 (ja) 1997-01-22 2002-09-24 シャープ株式会社 デジタルデータの符号化方法
DE69831991T2 (de) 1997-03-25 2006-07-27 Koninklijke Philips Electronics N.V. Verfahren und Vorrichtung zur Sprachdetektion
JP3541339B2 (ja) 1997-06-26 2004-07-07 富士通株式会社 マイクロホンアレイ装置
JP3216704B2 (ja) 1997-08-01 2001-10-09 日本電気株式会社 適応アレイ装置
US6057791A (en) 1998-02-18 2000-05-02 Oasis Design, Inc. Apparatus and method for clocking digital and analog circuits on a common substrate to enhance digital operation and reduce analog sampling error
SE512228C2 (sv) 1998-06-24 2000-02-14 Bjoern Svedberg Förfarande och anordning för magnetisk orientering av fibrer
JP2000174615A (ja) 1998-11-27 2000-06-23 Renyo Handotai Kofun Yugenkoshi 集積回路の内部クロック周波数を自動補正する方法と装置
US6381570B2 (en) 1999-02-12 2002-04-30 Telogy Networks, Inc. Adaptive two-threshold method for discriminating noise from speech in a communication signal
US6249757B1 (en) 1999-02-16 2001-06-19 3Com Corporation System for detecting voice activity
US6549587B1 (en) 1999-09-20 2003-04-15 Broadcom Corporation Voice and data exchange over a packet based network with timing recovery
EP1081685A3 (en) 1999-09-01 2002-04-24 TRW Inc. System and method for noise reduction using a single microphone
US6594367B1 (en) 1999-10-25 2003-07-15 Andrea Electronics Corporation Super directional beamforming design and implementation
US6397186B1 (en) 1999-12-22 2002-05-28 Ambush Interactive, Inc. Hands-free, voice-operated remote control transmitter
WO2001084535A2 (en) 2000-05-02 2001-11-08 Dragon Systems, Inc. Error correction in speech recognition
US7346176B1 (en) 2000-05-11 2008-03-18 Plantronics, Inc. Auto-adjust noise canceling microphone with position sensor
WO2002003747A2 (en) 2000-07-05 2002-01-10 Koninklijke Philips Electronics N.V. A/d converter with integrated biasing for a microphone
US6829244B1 (en) 2000-12-11 2004-12-07 Cisco Technology, Inc. Mechanism for modem pass-through with non-synchronized gateway clocks
US20030004720A1 (en) 2001-01-30 2003-01-02 Harinath Garudadri System and method for computing and transmitting parameters in a distributed voice recognition system
AU2002248510A1 (en) 2001-03-02 2002-09-19 Regeneron Pharmaceuticals, Inc. Methods of identifying agents affecting atrophy and hypertrophy
US6876859B2 (en) 2001-07-18 2005-04-05 Trueposition, Inc. Method for estimating TDOA and FDOA in a wireless location system
DE10160830A1 (de) 2001-12-11 2003-06-26 Infineon Technologies Ag Mikromechanische Sensoren und Verfahren zur Herstellung derselben
US8098844B2 (en) 2002-02-05 2012-01-17 Mh Acoustics, Llc Dual-microphone spatial noise suppression
WO2007106399A2 (en) 2006-03-10 2007-09-20 Mh Acoustics, Llc Noise-reducing directional microphone array
US20030171907A1 (en) 2002-03-06 2003-09-11 Shay Gal-On Methods and Apparatus for Optimizing Applications on Configurable Processors
US6756700B2 (en) 2002-03-13 2004-06-29 Kye Systems Corp. Sound-activated wake-up device for electronic input devices having a sleep-mode
US7319959B1 (en) 2002-05-14 2008-01-15 Audience, Inc. Multi-source phoneme classification for noise-robust automatic speech recognition
US7539273B2 (en) 2002-08-29 2009-05-26 Bae Systems Information And Electronic Systems Integration Inc. Method for separating interfering signals and computing arrival angles
KR100477699B1 (ko) 2003-01-15 2005-03-18 삼성전자주식회사 양자화 잡음 분포 조절 방법 및 장치
JP4212591B2 (ja) 2003-06-30 2009-01-21 富士通株式会社 オーディオ符号化装置
US7386451B2 (en) 2003-09-11 2008-06-10 Microsoft Corporation Optimization of an objective measure for estimating mean opinion score of synthesized speech
GB2405949A (en) 2003-09-12 2005-03-16 Canon Kk Voice activated device with periodicity determination
US7418392B1 (en) 2003-09-25 2008-08-26 Sensory, Inc. System and method for controlling the operation of a device by voice commands
US20050078841A1 (en) 2003-10-14 2005-04-14 Boor Steven E. Method and apparatus for resetting a buffer amplifier
US7630504B2 (en) 2003-11-24 2009-12-08 Epcos Ag Microphone comprising integral multi-level quantizer and single-bit conversion means
US7636855B2 (en) 2004-01-30 2009-12-22 Panasonic Corporation Multiple choice challenge-response user authorization system and method
WO2005076466A1 (en) 2004-02-09 2005-08-18 Audioasics A/S Digital microphone
DE102004011149B3 (de) 2004-03-08 2005-11-10 Infineon Technologies Ag Mikrophon und Verfahren zur Herstellung eines Mikrophons
CN1947171B (zh) 2004-04-28 2011-05-04 皇家飞利浦电子股份有限公司 自适应波束形成器、旁瓣抑制器、自动语音通信设备
US20070182595A1 (en) 2004-06-04 2007-08-09 Firooz Ghasabian Systems to enhance data entry in mobile and fixed environment
US20060013415A1 (en) 2004-07-15 2006-01-19 Winchester Charles E Voice activation and transmission system
US20060074658A1 (en) 2004-10-01 2006-04-06 Siemens Information And Communication Mobile, Llc Systems and methods for hands-free voice-activated devices
US7372316B2 (en) 2004-11-25 2008-05-13 Stmicroelectronics Pvt. Ltd. Temperature compensated reference current generator
US7268006B2 (en) 2004-12-30 2007-09-11 E.I. Du Pont De Nemours And Company Electronic device including a guest material within a layer and a process for forming the same
US7102452B1 (en) 2004-12-31 2006-09-05 Zilog, Inc. Temperature-compensated RC oscillator
US7795695B2 (en) 2005-01-27 2010-09-14 Analog Devices, Inc. Integrated microphone
DE102005008511B4 (de) 2005-02-24 2019-09-12 Tdk Corporation MEMS-Mikrofon
US7825484B2 (en) 2005-04-25 2010-11-02 Analog Devices, Inc. Micromachined microphone and multisensor and method for producing same
CN101288337B (zh) 2005-07-19 2012-11-21 美国亚德诺半导体公司 可编程麦克风
EP1923866B1 (en) 2005-08-11 2014-01-01 Asahi Kasei Kabushiki Kaisha Sound source separating device, speech recognizing device, portable telephone, sound source separating method, and program
SG130158A1 (en) 2005-08-20 2007-03-20 Bse Co Ltd Silicon based condenser microphone and packaging method for the same
US20070053522A1 (en) 2005-09-08 2007-03-08 Murray Daniel J Method and apparatus for directional enhancement of speech elements in noisy environments
US8139787B2 (en) 2005-09-09 2012-03-20 Simon Haykin Method and device for binaural signal enhancement
JP4742226B2 (ja) 2005-09-28 2011-08-10 国立大学法人九州大学 能動消音制御装置及び方法
US7813923B2 (en) 2005-10-14 2010-10-12 Microsoft Corporation Calibration based beamforming, non-linear adaptive filtering, and multi-sensor headset
DE102005053767B4 (de) 2005-11-10 2014-10-30 Epcos Ag MEMS-Mikrofon, Verfahren zur Herstellung und Verfahren zum Einbau
DE102005053765B4 (de) 2005-11-10 2016-04-14 Epcos Ag MEMS-Package und Verfahren zur Herstellung
US7856283B2 (en) 2005-12-13 2010-12-21 Sigmatel, Inc. Digital microphone interface, audio codec and methods for use therewith
US8345890B2 (en) 2006-01-05 2013-01-01 Audience, Inc. System and method for utilizing inter-microphone level differences for speech enhancement
US9185487B2 (en) 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
US8744844B2 (en) 2007-07-06 2014-06-03 Audience, Inc. System and method for adaptive intelligent noise suppression
CN101432801B (zh) 2006-02-23 2012-04-18 日本电气株式会社 语音识别词典制作支持系统、语音识别词典制作支持方法
GB0605576D0 (en) 2006-03-20 2006-04-26 Oligon Ltd MEMS device
US8180067B2 (en) 2006-04-28 2012-05-15 Harman International Industries, Incorporated System for selectively extracting components of an audio input signal
KR100722686B1 (ko) 2006-05-09 2007-05-30 주식회사 비에스이 부가적인 백 챔버를 갖고 기판에 음향홀이 형성된 실리콘콘덴서 마이크로폰
US20070274297A1 (en) 2006-05-10 2007-11-29 Cross Charles W Jr Streaming audio from a full-duplex network through a half-duplex device
US8204253B1 (en) 2008-06-30 2012-06-19 Audience, Inc. Self calibration of audio device
US7546498B1 (en) 2006-06-02 2009-06-09 Lattice Semiconductor Corporation Programmable logic devices with custom identification systems and methods
ATE450987T1 (de) 2006-06-23 2009-12-15 Gn Resound As Hörinstrument mit adaptiver richtsignalverarbeitung
US7957972B2 (en) 2006-09-05 2011-06-07 Fortemedia, Inc. Voice recognition system and method thereof
EP2062255B1 (en) 2006-09-13 2010-03-31 Telefonaktiebolaget LM Ericsson (PUBL) Methods and arrangements for a speech/audio sender and receiver
WO2008066836A1 (en) 2006-11-28 2008-06-05 Treyex Llc Method and apparatus for translating speech during a call
US20080175425A1 (en) 2006-11-30 2008-07-24 Analog Devices, Inc. Microphone System with Silicon Microphone Secured to Package Lid
ATE403928T1 (de) 2006-12-14 2008-08-15 Harman Becker Automotive Sys Sprachdialogkontrolle basierend auf signalvorverarbeitung
TWI327357B (en) 2007-01-10 2010-07-11 Advanced Semiconductor Eng Mems microphone package and method thereof
US7986794B2 (en) 2007-01-11 2011-07-26 Fortemedia, Inc. Small array microphone apparatus and beam forming method thereof
JP5401760B2 (ja) 2007-02-05 2014-01-29 ソニー株式会社 ヘッドフォン装置、音声再生システム、音声再生方法
US8099288B2 (en) 2007-02-12 2012-01-17 Microsoft Corp. Text-dependent speaker verification
US8005238B2 (en) 2007-03-22 2011-08-23 Microsoft Corporation Robust adaptive beamforming with enhanced noise suppression
US7873114B2 (en) 2007-03-29 2011-01-18 Motorola Mobility, Inc. Method and apparatus for quickly detecting a presence of abrupt noise and updating a noise estimate
TWI323242B (en) 2007-05-15 2010-04-11 Ind Tech Res Inst Package and packageing assembly of microelectromechanical system microphone
US20090012786A1 (en) 2007-07-06 2009-01-08 Texas Instruments Incorporated Adaptive Noise Cancellation
US7817808B2 (en) 2007-07-19 2010-10-19 Alon Konchitsky Dual adaptive structure for speech enhancement
EP2026597B1 (en) 2007-08-13 2009-11-11 Harman Becker Automotive Systems GmbH Noise reduction by combined beamforming and post-filtering
CN101617245B (zh) 2007-10-01 2012-10-10 松下电器产业株式会社 声源方向检测装置
US8175291B2 (en) 2007-12-19 2012-05-08 Qualcomm Incorporated Systems, methods, and apparatus for multi-microphone based speech enhancement
TWM341025U (en) 2008-01-10 2008-09-21 Lingsen Precision Ind Ltd Micro electro-mechanical microphone package structure
US8560307B2 (en) 2008-01-28 2013-10-15 Qualcomm Incorporated Systems, methods, and apparatus for context suppression using receivers
KR100911866B1 (ko) 2008-04-14 2009-08-11 주식회사 하이닉스반도체 내부전압 생성회로를 포함하는 반도체 메모리장치
US8244528B2 (en) 2008-04-25 2012-08-14 Nokia Corporation Method and apparatus for voice activity determination
KR101592617B1 (ko) 2008-05-05 2016-02-05 에프코스 피티이 엘티디 고속 정밀 차지 펌프
US7619551B1 (en) 2008-07-29 2009-11-17 Fortemedia, Inc. Audio codec, digital device and voice processing method
AU2009287421B2 (en) 2008-08-29 2015-09-17 Biamp Systems, LLC A microphone array system and method for sound acquisition
US8193596B2 (en) 2008-09-03 2012-06-05 Solid State System Co., Ltd. Micro-electro-mechanical systems (MEMS) package
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8352272B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for text to speech synthesis
US8724829B2 (en) 2008-10-24 2014-05-13 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coherence detection
WO2010048999A1 (en) 2008-10-30 2010-05-06 Telefonaktiebolaget Lm Ericsson (Publ) Telephony content signal discrimination
US8111843B2 (en) 2008-11-11 2012-02-07 Motorola Solutions, Inc. Compensation for nonuniform delayed group communications
CN102224675B (zh) 2008-11-25 2014-04-02 应美盛股份有限公司 动态偏置放大器
US8351634B2 (en) 2008-11-26 2013-01-08 Analog Devices, Inc. Side-ported MEMS microphone assembly
US8170238B2 (en) * 2008-12-02 2012-05-01 Fortemedia, Inc. Integrated circuit attached to microphone
US8325951B2 (en) 2009-01-20 2012-12-04 General Mems Corporation Miniature MEMS condenser microphone packages and fabrication method thereof
US8472648B2 (en) 2009-01-20 2013-06-25 General Mems Corporation Miniature MEMS condenser microphone package and fabrication method thereof
US8184822B2 (en) 2009-04-28 2012-05-22 Bose Corporation ANR signal processing topology
CN201438743U (zh) 2009-05-15 2010-04-14 瑞声声学科技(常州)有限公司 麦克风
AU2010251756A1 (en) 2009-05-19 2012-01-12 Moip Pty Ltd Communications apparatus, system and method
US9547642B2 (en) 2009-06-17 2017-01-17 Empire Technology Development Llc Voice to text to voice processing
CN101651917A (zh) 2009-06-19 2010-02-17 瑞声声学科技(深圳)有限公司 电容麦克风
CN101651913A (zh) 2009-06-19 2010-02-17 瑞声声学科技(深圳)有限公司 麦克风
CN101959106A (zh) 2009-07-16 2011-01-26 鸿富锦精密工业（深圳）有限公司 微机电系统麦克风的封装结构及其封装方法
US8275148B2 (en) 2009-07-28 2012-09-25 Fortemedia, Inc. Audio processing apparatus and method
GB2473267A (en) 2009-09-07 2011-03-09 Nokia Corp Processing audio signals to reduce noise
US8787591B2 (en) * 2009-09-11 2014-07-22 Texas Instruments Incorporated Method and system for interference suppression using blind source separation
CN101765047A (zh) 2009-09-28 2010-06-30 瑞声声学科技(深圳)有限公司 电容麦克风及其制作方法
US20110099010A1 (en) 2009-10-22 2011-04-28 Broadcom Corporation Multi-channel noise suppression system
US8261011B2 (en) 2009-10-29 2012-09-04 Freescale Semiconductor, Inc. One-time programmable memory device and methods thereof
US8626498B2 (en) 2010-02-24 2014-01-07 Qualcomm Incorporated Voice activity detection based on plural voice activity detectors
JP5533042B2 (ja) 2010-03-04 2014-06-25 富士通株式会社 音声検索装置、音声検索方法、プログラム及び記録媒体
US8606571B1 (en) 2010-04-19 2013-12-10 Audience, Inc. Spatial selectivity noise reduction tradeoff for multi-microphone systems
US8538035B2 (en) 2010-04-29 2013-09-17 Audience, Inc. Multi-microphone robust noise suppression
US8958572B1 (en) 2010-04-19 2015-02-17 Audience, Inc. Adaptive noise cancellation for multi-microphone systems
US8515089B2 (en) 2010-06-04 2013-08-20 Apple Inc. Active noise cancellation decisions in a portable audio device
US8447045B1 (en) 2010-09-07 2013-05-21 Audience, Inc. Multi-microphone active noise cancellation system
TWI446141B (zh) 2010-11-09 2014-07-21 Nuvoton Technology Corp 時脈校正方法與裝置以及電子裝置
WO2012083552A1 (en) 2010-12-24 2012-06-28 Huawei Technologies Co., Ltd. Method and apparatus for voice activity detection
CN102568480A (zh) 2010-12-27 2012-07-11 深圳富泰宏精密工业有限公司 双模手机语音传输系统
WO2012094422A2 (en) 2011-01-05 2012-07-12 Health Fidelity, Inc. A voice based system and method for data input
JP5621601B2 (ja) 2011-01-12 2014-11-12 株式会社リコー ボリューム調整回路
US20130058495A1 (en) 2011-09-01 2013-03-07 Claus Erdmann Furst System and A Method For Streaming PDM Data From Or To At Least One Audio Component
US8996381B2 (en) 2011-09-27 2015-03-31 Sensory, Incorporated Background speech recognition assistant
US8666751B2 (en) 2011-11-17 2014-03-04 Microsoft Corporation Audio pattern matching for device activation
US9337722B2 (en) 2012-01-27 2016-05-10 Invensense, Inc. Fast power-up bias voltage circuit
US9838810B2 (en) 2012-02-27 2017-12-05 Qualcomm Technologies International, Ltd. Low power audio detection
US9093076B2 (en) 2012-04-30 2015-07-28 2236008 Ontario Inc. Multipass ASR controlling multiple applications
US9431012B2 (en) 2012-04-30 2016-08-30 2236008 Ontario Inc. Post processing of natural language automatic speech recognition
US9479275B2 (en) 2012-06-01 2016-10-25 Blackberry Limited Multiformat digital audio interface
TWI474317B (zh) 2012-07-06 2015-02-21 Realtek Semiconductor Corp 訊號處理裝置以及訊號處理方法
CN102983868B (zh) 2012-11-02 2015-01-28 小米科技有限责任公司 信号处理方法、装置及系统
US9704486B2 (en) 2012-12-11 2017-07-11 Amazon Technologies, Inc. Speech recognition power management
CN103117065B (zh) 2013-01-09 2015-09-30 上海大唐移动通信设备有限公司 平均意见评分语音测试装置及其控制方法、语音测试方法
CN104247280A (zh) 2013-02-27 2014-12-24 视听公司 话音控制的通信连接
US10395651B2 (en) 2013-02-28 2019-08-27 Sony Corporation Device and method for activating with voice input
US9349386B2 (en) 2013-03-07 2016-05-24 Analog Device Global System and method for processor wake-up based on sensor data
US11393461B2 (en) 2013-03-12 2022-07-19 Cerence Operating Company Methods and apparatus for detecting a voice command
US9112984B2 (en) 2013-03-12 2015-08-18 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US9361885B2 (en) 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US20140270260A1 (en) 2013-03-13 2014-09-18 Aliphcom Speech detection using low power microelectrical mechanical systems sensor
US9703350B2 (en) 2013-03-15 2017-07-11 Maxim Integrated Products, Inc. Always-on low-power keyword spotting
US20140316783A1 (en) 2013-04-19 2014-10-23 Eitan Asher Medina Vocal keyword training from text
EP2801974A3 (en) 2013-05-09 2015-02-18 DSP Group Ltd. Low power activation of a voice activated device
US20140343949A1 (en) 2013-05-17 2014-11-20 Fortemedia, Inc. Smart microphone device
US9111548B2 (en) 2013-05-23 2015-08-18 Knowles Electronics, Llc Synchronization of buffered data in multiple microphones
US9984705B2 (en) 2013-07-25 2018-05-29 Dsp Group Ltd. Non-intrusive quality measurements for use in enhancing audio quality
US9245527B2 (en) 2013-10-11 2016-01-26 Apple Inc. Speech recognition wake-up of a handheld portable electronic device
US20150112690A1 (en) 2013-10-22 2015-04-23 Nvidia Corporation Low power always-on voice trigger architecture
US10079019B2 (en) 2013-11-12 2018-09-18 Apple Inc. Always-on audio control for mobile device

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080019548A1 (en) * 2006-01-30 2008-01-24 Audience, Inc. System and method for utilizing omni-directional microphones for speech enhancement
US20080249771A1 (en) * 2007-04-05 2008-10-09 Wahab Sami R System and method of voice activity detection in noisy environments
CN101308662A (zh) * 2007-05-18 2008-11-19 索尼株式会社 成像设备、声音处理电路、降噪电路、降噪方法和程序
CN102077274A (zh) * 2008-06-30 2011-05-25 杜比实验室特许公司 多麦克风语音活动检测器
US20110026739A1 (en) * 2009-06-11 2011-02-03 Audioasics A/S High level capable audio amplification circuit
CN102280108A (zh) * 2010-06-10 2011-12-14 佳能株式会社 音频信号处理设备及其控制方法
US20130197920A1 (en) * 2011-12-14 2013-08-01 Wolfson Microelectronics Plc Data transfer
CN104012110A (zh) * 2011-12-23 2014-08-27 伯斯有限公司 通信头戴式受话器基于语音的增益控制
CN103811007A (zh) * 2012-11-09 2014-05-21 三星电子株式会社 显示装置、语音获取装置及其语音识别方法
CN104252860A (zh) * 2013-06-26 2014-12-31 沃福森微电子股份有限公司 语音识别

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311874B2 (en) 2017-09-01 2019-06-04 4Q Catalyst, LLC Methods and systems for voice-based programming of a voice-controlled device
CN111868825A (zh) * 2018-03-12 2020-10-30 赛普拉斯半导体公司 用于利用语音开始检测来唤醒短语检测的双管线体系结构
CN111868825B (zh) * 2018-03-12 2024-05-28 赛普拉斯半导体公司 用于利用语音开始检测来唤醒短语检测的双管线体系结构
CN112771609A (zh) * 2018-08-01 2021-05-07 森田公司 包括神经形态处理模块的传感器处理系统及其方法
CN113168831A (zh) * 2018-11-29 2021-07-23 微软技术许可有限责任公司 用于同时的关键字发现、转录和实时通信的音频管线
CN111199751A (zh) * 2020-03-04 2020-05-26 北京声智科技有限公司 一种麦克风的屏蔽方法、装置和电子设备

Also Published As

Publication number Publication date
US10045140B2 (en) 2018-08-07
TW201629950A (zh) 2016-08-16
US20180332416A1 (en) 2018-11-15
US10469967B2 (en) 2019-11-05
US20160196838A1 (en) 2016-07-07
CN107112012B (zh) 2020-11-20
DE112016000287T5 (de) 2017-10-05
WO2016112113A1 (en) 2016-07-14

Similar Documents

Publication Publication Date Title
CN107112012A (zh) 利用数字麦克风用于低功率关键词检测和噪声抑制
JP6683234B2 (ja) 音声データ処理方法、装置、設備及びプログラム
US9978388B2 (en) Systems and methods for restoration of speech components
JP6862632B2 (ja) 音声インタラクション方法、装置、設備、コンピュータ記憶媒体及びコンピュータプログラム
JP6713035B2 (ja) ファーフィールド音声機能の実現方法、設備、システム、記憶媒体及びプログラム
CN108681440A (zh) 一种智能设备音量控制方法及系统
CN110214351A (zh) 记录的媒体热词触发抑制
CN110288997A (zh) 用于声学组网的设备唤醒方法及系统
WO2016180100A1 (zh) 一种音频处理的性能提升方法及装置
CN105869655A (zh) 音频装置以及语音检测方法
JP2015517709A (ja) コンテキストに基づくメディアを適応配信するシステム
WO2021237923A1 (zh) 智能配音方法、装置、计算机设备和存储介质
CN109754821B (zh) 信息处理方法及其系统、计算机系统和计算机可读介质
CN104900236A (zh) 音频信号处理
CN113157240A (zh) 语音处理方法、装置、设备、存储介质及计算机程序产品
WO2020228226A1 (zh) 一种纯音乐检测方法、装置及存储介质
US20120053937A1 (en) Generalizing text content summary from speech content
US20170206898A1 (en) Systems and methods for assisting automatic speech recognition
JP6891144B2 (ja) 生成装置、生成方法及び生成プログラム
US9654891B2 (en) System and method for determining proximity of a controller to a media rendering device
CN110517682A (zh) 语音识别方法、装置、设备及存储介质
CN109564474A (zh) 手势激活的远程控制
CN115910047B (zh) 数据处理方法、模型训练方法、关键词检测方法及设备
CN113593619B (zh) 用于录制音频的方法、装置、设备和介质
CN113674739B (zh) 一种时间确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201120