CN106797517A - 用于净化音频信号的多耳mmse分析技术 - Google Patents

用于净化音频信号的多耳mmse分析技术 Download PDF

Info

Publication number
CN106797517A
CN106797517A CN201580043954.3A CN201580043954A CN106797517A CN 106797517 A CN106797517 A CN 106797517A CN 201580043954 A CN201580043954 A CN 201580043954A CN 106797517 A CN106797517 A CN 106797517A
Authority
CN
China
Prior art keywords
audio signal
frequency band
noise
undergo
confidential interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580043954.3A
Other languages
English (en)
Other versions
CN106797517B (zh
Inventor
F·盖革
B·班德森
C·格伦德斯特罗姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cipher Co Ltd
Cypher LLC
Original Assignee
Cipher Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cipher Co Ltd filed Critical Cipher Co Ltd
Publication of CN106797517A publication Critical patent/CN106797517A/zh
Application granted granted Critical
Publication of CN106797517B publication Critical patent/CN106797517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

本申请涉及用于处理音频信号的技术，该技术包括在输出音频信号之前从音频信号中去除噪声或以其他方式净化音频信号。所公开的技术可以对从主麦克风以及至少一个参考麦克风接收的音频信号采用最小均方误差(MMSE)分析，并且在这些技术中，MMSE分析被用于减少或消除来自由主麦克风接收的音频信号的噪声。可选地，置信区间可以被分配给音频信号的不同频带，其中每个置信区间对应于其相应的频带包括目标音频的可能性，并且每个置信区间代表其相应的频带在已从中去除了噪声的重建的音频信号中的贡献。

Description

用于净化音频信号的多耳MMSE分析技术
技术领域
本公开总体涉及用于处理音频信号的技术，包括用于在输出音频信号之前从该音频信号中去除噪声或以其他方式净化该音频信号的技术。更具体地，本公开涉及在从主麦克风和至少一个参考麦克风接收的音频信号上进行最小均方误差(MMSE)分析的技术，并且涉及使用MMSE分析从由主麦克风接收的信号中减少或消除噪声的技术。
发明内容
在各个方面中，根据本公开的方法是一种净化过程，该净化过程包括识别音频信号的目标部分或目标分量并且减少或消除伴随音频信号的目标部分的噪声。当使用该净化过程时，主音频信号的目标部分或主音频信号的目标部分的至少重要部分在净化过程之后将保留或幸存。在净化过程之后保留的主音频信号的每一部分在本文中被称为“净化的音频信号”。在主音频信号的不同频带被分别净化的实施例中，净化的音频信号可以被包括在主音频信号的重建版本中，该重建版本在本文中也被称为“重建的音频信号”。在净化过程与音频通信设备(诸如移动电话)一起使用的实施例中，主音频信号的目标部分可以包含个人的语音。一旦主音频信号已被净化并且净化的音频信号已被选择性地包括在重建的音频信号中，则该净化的和/或重建的音频信号可以被存储、传输到另一个设备和/或可听的输出。
一种用于处理音频信号的方法包括用至少两个麦克风接收声音形式的音频信号，其中所述至少两个麦克风相互接近但提供不同的方向或视角，并且因此以相互不同的方式或从不同的视角接收音频信号。这种布置被称为“双耳环境”。所述麦克风包括主麦克风以及一个或多个参考麦克风。主麦克风可以被定位成接收来自预期来源的音频信号；例如，主麦克风可以包含移动电话的麦克风，当使用移动电话时个人对着该麦克风说话。来自预期来源的音频信号可以包含目标音频或目标声音。鉴于其方向或视角，由主麦克风接收的音频信号在本文中被称为“主音频信号”。
每个参考麦克风可以被定位在距声音的预期来源稍微遥远的位置和方向或视角处，使参考麦克风能够与主麦克风接收背景声音相比以相同程度或更大程度接收背景声音，并且能够与主麦克风接收目标音频相比以更小程度接收目标音频。从每个参考麦克风的视角接收的音频信号在本文中被称为“参考音频信号”。
一旦音频信号已被接收为主音频信号以及一个或多个参考音频信号，则主音频信号可以被净化。作为净化过程的一部分，主音频信号和每个参考音频信号可以经受一个或多个自适应时域滤波。在具体实施例中，主音频信号和/或每个参考音频信号可以经受最小均方(LMS)滤波。
无论主音频信号或任何参考音频信号是否经受一个或多个自适应时域滤波，都获得噪声估计。噪声估计可以从一个或多个参考音频信号中获得。更具体地，噪声估计可以从一个或多个频带中获得，在这些频带中已知存在至少一个目标音频的一个或多个部分(例如，人类语音的共振峰或谱峰等)。噪声估计可以仅从(多个)参考音频信号中获得，或者通过比较(多个)参考音频信号的合适部分(例如，每个感兴趣的频带等)与主音频信号的相应部分获得，所述主音频信号的相应部分除了包括噪声之外还将包括目标音频。更具体地，主音频信号的特定频带的样品可以与同时获得的一个或多个参考音频信号的相同特定频带的样品比较以识别存在于主音频信号的该频带中的有嫌疑的或可能的噪声(即噪声估计)。无论如何获得噪声估计，每个噪声估计都可以用于识别存在于主音频信号中或主音频信号的一个或多个频带中的有嫌疑的噪声或可能的噪声。通过分析双耳环境中的音频信号，可以在没有声音活动检测器的情况下进行噪声估计，而当在不使用参考音频信号的情况下估计噪声时需要声音活动检测器。
当对主音频信号或主音频信号的一个或多个频带进行最小均方误差(MMSE)分析时，可以考虑每个噪声估计。MMSE分析可以用于使误差最小化，该误差由噪声估计和主音频信号的频率分解的函数限定。该最小化的结果可以用于修改主音频信号的一个或多个频带。在一些实施例中，MMSE分析可以基于一个或多个噪声估计而调整。可替代地，一个或多个噪声估计可以被考虑到或并入主音频信号或主音频信号的一个或多个频带的MMSE分析中。MMSE分析至少部分消除来自主音频信号或来自主音频信号的一个或多个频带的噪声，从而提供一个或多个净化的音频信号。换句话说，噪声在净化的音频信号的一个或多个频带中的整体存在可以被降低，或者在包括噪声但缺少目标音频的每个频带的情况下，该频带在重建的输出信号中的整体存在可以被降低。
在一些实施例中，包括其中主音频信号已被分离为多个不同频带的那些实施例，以及其中在不同频带上执行的MMSE分析已得到多个净化的音频信号且每个净化的信号对应于多个频带中的一个频带的那些实施例，置信区间可以被分配给每个频带或净化的音频信号。每个频带或净化的音频信号的置信水平可以对应于该频带或净化的音频信号将被包括在重建的音频信号中的程度。每个置信区间可以基于实时分析和/或在一些实施例中基于历史数据。更具体地，每个频带或净化的音频信号的置信区间可以对应于从主音频信号和每个参考音频信号中收集的信息(例如，相应频带的噪声估计、相应频带上的MMSE分析的结果等)。
置信区间可以至少部分对应于其相应的频带或净化的音频信号包括主音频信号的至少部分目标音频(诸如，人的语音、音乐等)的可能性。在一些实施例中，特定的频带或净化的音频信号的置信区间可以对应于该频带或净化的音频信号包括至少部分目标音频的可能性。可替代地或附加地，当与参考音频信号的相应部分的相应频带中存在的噪声比较时，特定的频带或净化的音频信号的置信区间可以对应于从净化的音频信号中去除的噪声的量(例如，噪声的百分比等)。
每个置信区间可以被具体化为增益值；例如，在零(0)到一(1)之间的值，该值可以用作其相应的预定频带的乘数，并且因此用以控制该相应的预定频带被包括在重建的输出音频信号中的程度。作为一个示例，如果频带或净化的音频信号对应于主音频信号的目标音频的一部分(例如，根据该频带上的MMSE分析等)具有高置信水平，则相对高的增益值(例如，大于0.5、在0.6和1之间等)可以被分配给该频带。如果频带不太可能对应于主音频信号的目标音频的一部分，则相应的置信区间可以是低的，并且对应地低增益值(例如，0.5或小于0.5的增益值等)可以被分配给该特定频带。如果频带对应于目标音频的一部分具有非常低的置信水平，或者该频带非常可能主要由噪声组成，则非常低的增益值(例如，小于0.3等)可以被分配给该特定频带。
当已经从主音频信号中分离或提取出多个频带并且已将置信区间分配给每个频带时，则置信区间可以用于确定每个频带将被包括在重建的音频信号中的程度；即，重建的音频输出信号的每个频带的存在可以对应于其置信区间。更具体地，每个置信区间可以用于动态调整其相应频带的幅值以改善所得到的重建信号的信噪比(SNR)。具有较高置信区间的频带将比具有较低置信区间的频带具有更大的存在度，使得具有高置信区间的频带比具有低置信区间的频带在重建的音频信号中更加显著。一旦置信区间已被分配，则频带可以被重新编译以生成重建的音频信号。
所公开的净化过程可以在连续或基本连续的基础上(例如，在一系列时间段中等)进行。
根据本公开的净化过程的任意实施例可以被具体化为控制电子设备的处理元件的操作的程序(例如，软件应用程序或“app”；固件；等等)。相应地，本公开的电子设备可以被配置为提供具有很少噪声或没有噪声的净化的音频信号和/或重建的音频信号，而不管噪声存在于源音频信号中的程度如何。然后电子设备可以被配置为存储、发射和/或提供净化的音频信号和/或重建的音频信号的可听输出。
在具体但非限制性的实施例中，这种电子设备可以包含移动电话或其他音频通信设备。除了包括程序和处理器之外，音频通信设备还可以包括主麦克风以及一个或多个参考麦克风。音频通信设备还可以包括发射元件，诸如发射音频信号的天线。主麦克风和每个参考麦克风被配置为接收音频信号并将音频信号传输到处理器。处理器根据上述方法的实施例处理来自主麦克风的主音频信号和来自每个参考麦克风的参考音频信号，并生成净化的音频信号和/或重建的音频信号。然后净化的音频信号和/或重建的音频信号可以被音频通信设备的输出元件发射，例如，被发射到移动运营商网络，净化的音频信号和/或重建的音频信号可以最终由接收设备(诸如另一个电话)从移动运营商网络接收。
通过考虑以下描述、附图以及附加权利要求，所公开的主题的其他方面以及各个方面的特征和优势对于本领域普通技术人员来说将变得明显。
附图说明
在附图中：
图1是示出用于净化音频信号的方法的实施例的流程图；
图2是根据本公开的教导说明在用于净化音频信号的方法的实施例中使用自适应最小均方(LMS)滤波的实施例的流程图；以及
图3根据本公开的教导示意性地描绘被配置为执行用于净化音频信号的方法的实施例的电子设备的实施例。
具体实施方式
参考图1，其图示说明并描述了用于净化音频信号的方法的实施例。总体上，该方法包括三个部分：接收音频信号(附图标记10处)；处理音频信号以提供净化的音频信号和/或重建的音频信号(附图标记20处)；以及输出净化的音频信号和/或重建的音频信号(附图标记40处)。
在附图标记10处，接收音频信号的动作可以包括接收多个音频信号。在附图标记12处，可以从第一来源(诸如移动电话或其他音频通信设备100(如图3所示)的主麦克风112)接收主音频信号。在图1的附图标记14处，音频通信设备100的一个或多个参考麦克风114可以接收参考音频信号。主麦克风112和每个参考麦克风114可以同时并且同相地分别接收主音频信号和每个参考音频信号。在一些实施例中，主音频信号和每个参考音频信号的分量可以是基本相同的，但是由于相应的主麦克风112和参考麦克风114(由其获得主音频信号和参考音频信号)的不同方向或视角之间的耳内水平差(ILD)，主音频信号和每个参考音频信号在数量上是不同的。
在图1的附图标记16处，在接收到主音频信号和每个参考音频信号后，图3中示出的音频通信设备100的主麦克风112和每个参考麦克风114可以将这些信号传输到音频通信设备100的处理器120。
在图1的附图标记20处，可以以将提供净化的音频信号的方式处理主音频信号和每个参考音频信号。该净化过程可以包括多个动作，这些动作在图2中详细陈述。在图2的附图标记22处，主音频信号和可选的每个参考音频信号可以经受一个或多个自适应时域滤波器。这种滤波器(其可以包含低通滤波器)可以从被滤波的信号中去除误差或可能的噪声，随着进一步的处理得到更精细的信号或更清晰的信号。在一个具体实施例中，最小均方滤波(LMS)可以用作自适应时域滤波。自适应时域滤波可以提供粗略的或无源的滤波，其从每个被滤波的信号中去除一些噪声和/或其他非期望的伪影。
在图2的附图标记24处，可以获得噪声估计。更具体地，参考音频信号，或者在多个参考音频信号被接收的实施例中，多个参考音频信号可以以提供噪声估计的方式被处理。该处理可以包括评估可能包括目标音频(诸如组成个人对着音频通信设备100(图3)的主麦克风112讲话的声音的一部分的共振峰)的一个或多个频带。由该处理提供的噪声估计可以仅基于来自每个参考音频信号的每个被评估的频带的音频信号。可替代地，噪声估计可以基于每个参考音频信号的每个被评估的频带与对应于(多个)参考音频信号的主音频信号的每个相应频带之间的差异。在一个具体实施例中，如果来自参考音频信号的特定频带具有与相应的主音频信号的相同频带大体相同的功率或比其更大的功率，则该频带很可能主要由噪声组成，并且因此可以被认为主要由噪声组成。如果来自主音频信号的频带具有比相应参考音频信号的相同频带更大的功率，则该频带可能包括目标音频的至少一部分，并且因此可以被认为包括目标音频的至少一部分。
如图2的附图标记26处所阐述，一旦已获得噪声估计，则可以结合主音频信号的最小均方误差(MMSE)分析使用该噪声估计。在一些实施例中，MMSE分析可以考虑噪声估计。更具体地，MMSE分析可以基于噪声估计进行调整。例如，噪声估计可以并入MMSE分析中。然后MMSE分析可以以本领域已知的方式被应用于主音频信号以提供至少一个净化的音频信号。在主音频信号已经受自适应时域滤波的实施例中，主音频信号的频谱特性已被修改，并且MMSE分析可以相应地被修改。在一些实施例中，MMSE分析可以被分别应用于主音频信号的不同频带以提供多个净化的音频信号，每一个净化的音频信号对应于主音频信号的频带中的一个。
在图2的附图标记28处，置信区间可以被分配给主音频信号的每个频带。置信区间可以被应用于主音频信号的未处理的频带、主音频信号的经滤波的频带或由对主音频信号的频带进行的MMSE分析得到的净化的音频信号。每个置信区间可以提供主音频信号的相应频带对应于目标音频的至少一部分的可能性的指示。在一些实施例中，当将置信区间分配给主音频信号的每个频带时，可以考虑主音频信号和每个参考音频信号或从这些信号其中之一或两者中获得的信息(例如，每个频带的噪声估计、每个频带上的MMSE分析的结果等)。
每个置信区间可以控制相应的预定频带被包括在重建的输出音频信号中的程度。每个置信区间的实际效果是衰减不被认为对目标音频有贡献的频带。特定的预定频带的置信区间可以以任意合适的方式被应用于该预定频带。非限制地，置信区间可以包含用于其相应的预定频带的乘数。在一个具体实施例中，每个置信区间可以被具体化为增益值；即，在零(0)至一(1)之间的值。例如，如果特定频带可能是主音频信号的目标音频的一部分，则相对高的增益值(例如，大于0.5、在0.6至1之间等)可以被分配给该频带。如果特定频带至少可能以其包括一部分目标音频的可能性包括噪声，则该频带的置信区间可以是低的，并且相应地低增益值(例如，0.5或更小的增益值等)可以被分配给该频带。如果特定频带不太可能包括目标音频的一部分，或特定频带非常可能是噪声的结果，则非常低的置信区间和非常低的增益值(例如，小于0.3等)可以被分配给该频带。
在图2的附图标记30处，随着合适的置信区间被分配给主音频信号的每个频带，该频带可以以合适的方式被调整。在置信区间对应于增益值的实施例中，增益值可以被应用于频带。
在图2的附图标记32处，重建的音频信号可以通过组合已被修改的一个或多个频带来构建。被组合的频带可以由上述MMSE分析来修改、使用置信区间来修改或者通过MMSE分析和置信区间的组合来修改。
然后在图1的附图标记40处可以输出重建的音频信号。在已参考图1和图2描述的类型的过程被用于修改已由音频通信设备100(诸如由图3描绘的移动手机)的主麦克风和一个或多个参考麦克风接收的音频的实施例中，修改的主音频信号可以被音频通信设备100的处理器110传输到音频通信设备100的天线130，然后天线130将修改的主音频信号发射到另一个音频通信设备或网络，然后该网络可以将修改的主音频信号发射到另一个音频通信设备。然后接收修改的主音频信号的音频通信设备可以以提供具有很少或没有噪声的可听输出的方式处理该信号。
虽然已经主要在音频通信设备的背景中提供了前述公开内容，但是公开的主题也可以被应用于各种其他背景中的音频信号。非限制地，公开的主题对于用于接收和放大声音的装置(例如，包括麦克风、放大器以及可选择的混频器等的系统)、接收和记录音频的装置(例如，语音记录器、视频记录器、录音棚等)、音频耳机(例如，有线耳机、无线耳机(例如，蓝牙耳机等)等)以及在各种其他背景中可能是有用的。更具体地，如图3所示，重建的音频信号可以由与电子设备(诸如音频输出设备100或被配置为接收并存储音频的其他设备(例如，语音记录器、音频记录器、摄像机等))的处理器110相关联的存储器120存储。可替代地，重建的音频信号可以由电子设备(诸如立体声音响的扩音器、便携式电子设备、计算机、声音系统等)的扬声器140被可听地输出。
在主音频信号包含被实时地或基本实时地获得(例如，通过图3的音频通信设备100的主麦克风112)并且被存储(例如，通过与音频通信设备100的处理器110相关联的主麦克风112等)、发射(例如，通过音频通信设备100的天线130等)或输出(例如，通过音频通信设备100的扬声器140等)的信号的实施例中，已参考图1和图2描述的过程可以被重复进行。
净化过程的重复可以提供主音频信号的连续修改，并且提供解决主音频信号中的噪声和目标音频的相对水平变化的快速调整。
尽管前述公开提供多个特性，然而这些特性不应该被解读为限制任一随附权利要求的范围。可以设想不偏离权利要求的范围的其他实施例。来自不同实施例的特征可以被组合使用。因此每个权利要求的范围仅由其直白的语言以及其元素的可用法律等价物的完整范围指示和限制。

Claims (31)

1.一种用于净化音频信号的方法，其包含：
用电子设备的至少两个麦克风接收音频信号，每个音频信号包括多个频带、目标分量和噪声分量，所述至少两个麦克风包括主麦克风，所述主麦克风用于以比参考麦克风将接收所述目标分量所用的功率更高的功率接收所述目标分量；
从由所述参考麦克风接收的参考音频信号确定噪声估计；
将所述噪声估计并入最小均方误差分析；
使由所述主麦克风接收的主音频信号的所述多个频带中的每个频带经受所述最小均方误差分析；
基于所述最小均方误差分析的结果，将置信区间分配给所述多个频带中的每个频带；
基于所述主音频信号的每个频带的所述置信区间修改该频带的音频输出水平以提供修改的输出频带；以及
为所述主音频信号的所述多个频带的每个频带组合修改的输出频带以提供净化的输出音频信号。
2.根据权利要求1所述的方法，其中确定所述噪声估计包括将来自由所述主麦克风接收的所述主音频信号的至少一个频带与由所述参考麦克风接收的所述参考音频信号的至少一个相应频带进行比较。
3.根据权利要求2所述的方法，其中确定所述噪声估计包括将来自由所述主麦克风接收的所述主音频信号的多个频带与由所述参考麦克风接收的所述参考音频信号的多个相应频带进行比较。
4.根据权利要求1所述的方法，进一步包含：
使在所述参考麦克风处接收的所述参考音频信号的所述多个频带中的每个频带经受所述最小均方误差分析。
5.根据权利要求1所述的方法，其中分配所述置信区间包括：
将非常低的置信区间分配给以比由所述主麦克风接收频带所用的功率更大的功率由所述参考麦克风接收的所述频带；
将低的置信区间分配给以由所述主麦克风和所述参考麦克风所用的基本相同的功率接收的频带；以及
将高的置信区间分配给以比由所述参考麦克风接收频带所用的功率更大的功率由所述主麦克风接收的频带。
6.根据权利要求5所述的方法，其中分配所述非常低的置信区间包含将小于0.3的增益分配给所述频带。
7.根据权利要求5所述的方法，其中分配所述低的置信区间包含将大约为0.5或小于0.5的增益分配给所述频带。
8.根据权利要求5所述的方法，其中分配所述高的置信区间包含将大于0.6的增益分配给所述频带。
9.根据权利要求1所述的方法，其中分配所述置信区间包含将合适的增益分配给每个频带。
10.根据权利要求1所述的方法，其中分配所述置信区间包含动态地估计所述音频信号中的噪声。
11.根据权利要求1所述的方法，其在无需检测声音活动的情况下进行。
12.根据权利要求1所述的方法，其进一步包含：
使所述主音频信号和所述参考音频信号经受自适应时域滤波。
13.根据权利要求12所述的方法，其中使所述主音频信号和所述参考音频信号经受所述自适应时域滤波包含使所述主音频信号和所述参考音频信号经受最小均方滤波。
14.根据权利要求12所述的方法，其中使所述主音频信号和所述参考音频信号经受所述自适应时域滤波包含在使所述第一音频信号和所述参考音频信号的所述多个频带中的每个频带经受所述最小均方误差分析之前使所述主音频信号和所述参考音频信号经受所述自适应时域滤波。
15.一种用于净化音频信号的方法，其包含：
用电子设备的至少两个麦克风接收音频信号，每个音频信号包括多个频带、目标分量以及噪声分量，所述至少两个麦克风包括主麦克风，所述主麦克风以比参考麦克风接收所述目标分量所用的功率更高的功率接收所述目标分量；
使由所述主麦克风接收的主音频信号经受自适应时域滤波以提供过滤的音频信号；
使用由所述参考麦克风接收的参考音频信号确定噪声估计；
基于所述噪声估计调整最小均方误差分析；以及
使所述过滤的音频信号的所述多个频带中的每个频带经受所述最小均方误差分析。
16.根据权利要求15所述的方法，其中使所述主音频信号和所述参考音频信号经受所述自适应时域滤波包含使所述主音频信号和所述参考音频信号经受最小均方滤波。
17.根据权利要求15所述的方法，其进一步包含：
使由所述参考麦克风接收的所述参考音频信号经受所述自适应时域滤波以提供过滤的参考音频信号。
18.根据权利要求17所述的方法，其中使由所述参考麦克风接收的所述参考音频信号经受所述自适应时域滤波包含使所述参考音频信号经受最小均方滤波。
19.根据权利要求17所述的方法，其中使用所述参考音频信号确定所述噪声估计包含使用所述过滤的参考音频信号确定所述噪声估计。
20.根据权利要求17所述的方法，其进一步包含：
使所述过滤的参考音频信号的所述多个频带中的每个频带经受所述最小均方分析。
21.根据权利要求15所述的方法，其进一步包含：
使所述参考音频信号的所述多个频带中的每个频带经受所述最小均方分析。
22.根据权利要求15所述的方法，其进一步包含：
基于所述最小均方分析的结果，将置信区间分配给所述多个频带中的每个频带；
基于所述过滤的音频信号的每个频带的所述置信区间修改该频带的音频输出水平以提供修改的输出频带；以及
对所述过滤的音频信号的所述多个频带中的每个频带的修改的输出频带进行组合以提供净化的输出音频信号。
23.一种被配置为接收音频信号的电子设备，其包含：
主麦克风，其用于接收和传播主音频信号；
参考麦克风，其用于接收和传播参考音频信号；
处理器，其被编程为：
接收所述主音频信号和所述参考音频信号；
处理所述参考音频信号以提供噪声估计；
生成考虑所述噪声估计的最小均方误差分析；
使所述主音频信号的多个频带经受所述最小均方误差分析；
将所述主音频信号的所述多个频带中的每个频带的所述最小均方分析的结果与所述参考音频信号的所述多个频带的相应频带的所述最小均方分析的结果比较以提供频带对比；
基于对应于所述主音频信号的所述多个频带中的每个频带的频带对比，将置信区间分配给该频带；
基于所述置信区间调整所述频带的输出功率以提供修改的输出频带；以及
对所述主音频信号的所述多个频带中的每个频带的修改的输出频带进行组合以提供净化的输出音频信号；以及
促使输出元件输出所述净化的输出音频信号；以及
所述输出元件，其与所述处理器通信。
24.根据权利要求23所述的电子设备，其中所述处理器进一步被编程为：
使所述参考音频信号的多个频带经受所述最小均方误差分析，所述主音频信号的所述多个频带的频率范围与所述参考音频信号的所述多个频带的频率范围相互对应。
25.根据权利要求23所述的电子设备，其包含移动电话。
26.根据权利要求23所述的电子设备，其中所述输出元件包含风扬声器。
27.根据权利要求23所述的电子设备，其中所述扬声器由所述电子设备携带。
28.根据权利要求23所述的电子设备，其中所述扬声器被配置为选择性地耦接到所述电子设备。
29.根据权利要求23所述的电子设备，其中所述处理器进一步被编程为：
对所述主音频信号应用自适应时域滤波并且对所述参考音频信号应用自适应时域滤波。
30.根据权利要求29所述的电子设备，其中所述处理器被编程为：
对所述主音频信号应用自适应最小均方滤波并且对所述参考音频信号应用自适应最小均方滤波。
31.根据权利要求29所述的电子设备，其中所述处理器被编程为：
在使所述主音频信号的所述多个频带和所述参考音频信号的所述多个频带经受所述最小均方误差分析之前，对所述主音频信号应用所述自适应时域滤波并且对所述参考音频信号应用所述自适应时域滤波。
CN201580043954.3A 2014-06-18 2015-06-12 用于净化音频信号的多耳mmse分析技术 Active CN106797517B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/308,541 US10149047B2 (en) 2014-06-18 2014-06-18 Multi-aural MMSE analysis techniques for clarifying audio signals
US14/308,541 2014-06-18
PCT/US2015/035612 WO2015195482A1 (en) 2014-06-18 2015-06-12 Multi-aural mmse analysis techniques for clarifying audio signals

Publications (2)

Publication Number Publication Date
CN106797517A true CN106797517A (zh) 2017-05-31
CN106797517B CN106797517B (zh) 2019-12-17

Family

ID=54870902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580043954.3A Active CN106797517B (zh) 2014-06-18 2015-06-12 用于净化音频信号的多耳mmse分析技术

Country Status (6)

Country Link
US (1) US10149047B2 (zh)
EP (1) EP3158775A4 (zh)
JP (1) JP6789827B2 (zh)
KR (1) KR102378207B1 (zh)
CN (1) CN106797517B (zh)
WO (1) WO2015195482A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110970015A (zh) * 2018-09-30 2020-04-07 北京搜狗科技发展有限公司 一种语音处理方法、装置和电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2963817B1 (en) * 2014-07-02 2016-12-28 GN Audio A/S Method and apparatus for attenuating undesired content in an audio signal
EP3667662B1 (en) * 2018-12-12 2022-08-10 Panasonic Intellectual Property Corporation of America Acoustic echo cancellation device, acoustic echo cancellation method and acoustic echo cancellation program
CN110021307B (zh) * 2019-04-04 2022-02-01 Oppo广东移动通信有限公司 音频校验方法、装置、存储介质及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111697A (zh) * 2009-12-28 2011-06-29 歌尔声学股份有限公司 一种麦克风阵列降噪控制方法及装置
US20120195423A1 (en) * 2011-01-31 2012-08-02 Empire Technology Development Llc Speech quality enhancement in telecommunication system
US20130142349A1 (en) * 2011-09-05 2013-06-06 Goertek Inc. Method, device and system for eliminating noises with multi-microphone array
CN103238182A (zh) * 2010-12-15 2013-08-07 皇家飞利浦电子股份有限公司 具有远程噪声检测器的降噪系统
US20130238324A1 (en) * 2012-03-07 2013-09-12 International Business Machines Corporation Local peak weighted-minimum mean square error (lpw-mmse) estimation for robust speech
US20130343558A1 (en) * 2012-06-26 2013-12-26 Parrot Method for denoising an acoustic signal for a multi-microphone audio device operating in a noisy environment

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4897878A (en) * 1985-08-26 1990-01-30 Itt Corporation Noise compensation in speech recognition apparatus
US4658426A (en) * 1985-10-10 1987-04-14 Harold Antin Adaptive noise suppressor
JP3484757B2 (ja) * 1994-05-13 2004-01-06 ソニー株式会社 音声信号の雑音低減方法及び雑音区間検出方法
FR2722631B1 (fr) * 1994-07-13 1996-09-20 France Telecom Etablissement P Procede et systeme de filtrage adaptatif par egalisation aveugle d'un signal telephonique numerique et leurs applications
JPH10257583A (ja) * 1997-03-06 1998-09-25 Asahi Chem Ind Co Ltd 音声処理装置およびその音声処理方法
US5924065A (en) * 1997-06-16 1999-07-13 Digital Equipment Corporation Environmently compensated speech processing
FR2766604B1 (fr) * 1997-07-22 1999-10-01 France Telecom Procede et dispositif d'egalisation aveugle des effets d'un canal de transmission sur un signal de parole numerique
JPH11126090A (ja) * 1997-10-23 1999-05-11 Pioneer Electron Corp 音声認識方法及び音声認識装置並びに音声認識装置を動作させるためのプログラムが記録された記録媒体
US20020002455A1 (en) * 1998-01-09 2002-01-03 At&T Corporation Core estimator and adaptive gains from signal to noise ratio in a hybrid speech enhancement system
CA2367579A1 (en) * 1999-03-19 2000-09-28 Siemens Aktiengesellschaft Method and device for recording and processing audio signals in an environment filled with acoustic noise
US20030018471A1 (en) * 1999-10-26 2003-01-23 Yan Ming Cheng Mel-frequency domain based audible noise filter and method
US6757395B1 (en) * 2000-01-12 2004-06-29 Sonic Innovations, Inc. Noise reduction apparatus and method
FR2820227B1 (fr) * 2001-01-30 2003-04-18 France Telecom Procede et dispositif de reduction de bruit
US7617099B2 (en) * 2001-02-12 2009-11-10 FortMedia Inc. Noise suppression by two-channel tandem spectrum modification for speech signal in an automobile
US6549629B2 (en) * 2001-02-21 2003-04-15 Digisonix Llc DVE system with normalized selection
CA2354858A1 (en) * 2001-08-08 2003-02-08 Dspfactory Ltd. Subband directional audio signal processing using an oversampled filterbank
JP3950930B2 (ja) * 2002-05-10 2007-08-01 財団法人北九州産業学術推進機構 音源の位置情報を利用した分割スペクトルに基づく目的音声の復元方法
US7161973B2 (en) * 2002-12-17 2007-01-09 Sbc Properties, L.P. Pilot aided adaptive minimum mean square interference cancellation and detection
WO2004084182A1 (en) * 2003-03-15 2004-09-30 Mindspeed Technologies, Inc. Decomposition of voiced speech for celp speech coding
US6931362B2 (en) * 2003-03-28 2005-08-16 Harris Corporation System and method for hybrid minimum mean squared error matrix-pencil separation weights for blind source separation
WO2005006808A1 (en) * 2003-07-11 2005-01-20 Cochlear Limited Method and device for noise reduction
DE10351793B4 (de) * 2003-11-06 2006-01-12 Herbert Buchner Adaptive Filtervorrichtung und Verfahren zum Verarbeiten eines akustischen Eingangssignals
US7392181B2 (en) * 2004-03-05 2008-06-24 Siemens Corporate Research, Inc. System and method for nonlinear signal enhancement that bypasses a noisy phase of a signal
FI20045315A (fi) * 2004-08-30 2006-03-01 Nokia Corp Ääniaktiivisuuden havaitseminen äänisignaalissa
KR100927897B1 (ko) * 2005-09-02 2009-11-23 닛본 덴끼 가부시끼가이샤 잡음억제방법과 장치, 및 컴퓨터프로그램
WO2007029536A1 (ja) * 2005-09-02 2007-03-15 Nec Corporation 雑音抑圧の方法及び装置並びにコンピュータプログラム
EP1760696B1 (en) * 2005-09-03 2016-02-03 GN ReSound A/S Method and apparatus for improved estimation of non-stationary noise for speech enhancement
US9185487B2 (en) * 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
CN101089952B (zh) * 2006-06-15 2010-10-06 株式会社东芝 噪声抑制、提取特征、训练模型及语音识别的方法和装置
EP1887708B1 (en) * 2006-08-07 2012-09-19 Mitel Networks Corporation Delayed adaptation structure for improved double-talk immunity in echo cancellation devices
US7933420B2 (en) * 2006-12-28 2011-04-26 Caterpillar Inc. Methods and systems for determining the effectiveness of active noise cancellation
US8194850B2 (en) * 2007-03-09 2012-06-05 Fortemedia, Inc. Method and apparatus for voice communication
JP4469882B2 (ja) * 2007-08-16 2010-06-02 株式会社東芝 音響信号処理方法及び装置
EP2192579A4 (en) * 2007-09-19 2016-06-08 Nec Corp NOISE SUPPRESSION DEVICE, ITS METHOD AND PROGRAM
KR100930584B1 (ko) * 2007-09-19 2009-12-09 한국전자통신연구원 인간 음성의 유성음 특징을 이용한 음성 판별 방법 및 장치
JP2009116275A (ja) * 2007-11-09 2009-05-28 Toshiba Corp 雑音抑圧、音声スペクトル平滑化、音声特徴抽出、音声認識及び音声モデルトレーニングための方法及び装置
US8175291B2 (en) * 2007-12-19 2012-05-08 Qualcomm Incorporated Systems, methods, and apparatus for multi-microphone based speech enhancement
US9142221B2 (en) * 2008-04-07 2015-09-22 Cambridge Silicon Radio Limited Noise reduction
US8660281B2 (en) * 2009-02-03 2014-02-25 University Of Ottawa Method and system for a multi-microphone noise reduction
JP5127754B2 (ja) * 2009-03-24 2013-01-23 株式会社東芝 信号処理装置
JP5641186B2 (ja) * 2010-01-13 2014-12-17 ヤマハ株式会社 雑音抑圧装置およびプログラム
EP2546831B1 (en) * 2010-03-09 2020-01-15 Mitsubishi Electric Corporation Noise suppression device
US8798992B2 (en) * 2010-05-19 2014-08-05 Disney Enterprises, Inc. Audio noise modification for event broadcasting
WO2011148860A1 (ja) * 2010-05-24 2011-12-01 日本電気株式会社 信号処理方法、情報処理装置、及び信号処理プログラム
US9408542B1 (en) * 2010-07-22 2016-08-09 Masimo Corporation Non-invasive blood pressure measurement system
US8861756B2 (en) * 2010-09-24 2014-10-14 LI Creative Technologies, Inc. Microphone array system
JP5937611B2 (ja) * 2010-12-03 2016-06-22 シラス ロジック、インコーポレイテッド パーソナルオーディオデバイスにおける適応ノイズキャンセラの監視制御
US8948407B2 (en) * 2011-06-03 2015-02-03 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US9002027B2 (en) * 2011-06-27 2015-04-07 Gentex Corporation Space-time noise reduction system for use in a vehicle and method of forming same
US9680497B2 (en) * 2014-03-26 2017-06-13 Syntropy Systems, Llc Conversion of a discrete-time quantized signal into a continuous-time, continuously variable signal
US20130094657A1 (en) * 2011-10-12 2013-04-18 University Of Connecticut Method and device for improving the audibility, localization and intelligibility of sounds, and comfort of communication devices worn on or in the ear
US20130163781A1 (en) * 2011-12-22 2013-06-27 Broadcom Corporation Breathing noise suppression for audio signals
US9002030B2 (en) * 2012-05-01 2015-04-07 Audyssey Laboratories, Inc. System and method for performing voice activity detection
US20160240210A1 (en) * 2012-07-22 2016-08-18 Xia Lou Speech Enhancement to Improve Speech Intelligibility and Automatic Speech Recognition
CN104704560B (zh) * 2012-09-04 2018-06-05 纽昂斯通讯公司 共振峰依赖的语音信号增强
EP2747081A1 (en) * 2012-12-18 2014-06-25 Oticon A/s An audio processing device comprising artifact reduction
US9275625B2 (en) * 2013-03-06 2016-03-01 Qualcomm Incorporated Content based noise suppression
JP5588054B1 (ja) * 2013-09-06 2014-09-10 リオン株式会社 補聴器、拡声器及びハウリングキャンセラ
US9633671B2 (en) * 2013-10-18 2017-04-25 Apple Inc. Voice quality enhancement techniques, speech recognition techniques, and related systems
US9449609B2 (en) * 2013-11-07 2016-09-20 Continental Automotive Systems, Inc. Accurate forward SNR estimation based on MMSE speech probability presence
US9449615B2 (en) * 2013-11-07 2016-09-20 Continental Automotive Systems, Inc. Externally estimated SNR based modifiers for internal MMSE calculators
CN105813688B (zh) * 2013-12-11 2017-12-08 Med-El电气医疗器械有限公司 用于听力植入物中的瞬态声音修改的装置
US9271077B2 (en) * 2013-12-17 2016-02-23 Personics Holdings, Llc Method and system for directional enhancement of sound using small microphone arrays
US9479860B2 (en) * 2014-03-07 2016-10-25 Cirrus Logic, Inc. Systems and methods for enhancing performance of audio transducer based on detection of transducer status
EP2916321B1 (en) * 2014-03-07 2017-10-25 Oticon A/s Processing of a noisy audio signal to estimate target and noise spectral variances
US10181315B2 (en) * 2014-06-13 2019-01-15 Cirrus Logic, Inc. Systems and methods for selectively enabling and disabling adaptation of an adaptive noise cancellation system
US9466282B2 (en) * 2014-10-31 2016-10-11 Qualcomm Incorporated Variable rate adaptive active noise cancellation
US9576583B1 (en) * 2014-12-01 2017-02-21 Cedar Audio Ltd Restoring audio signals with mask and latent variables

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111697A (zh) * 2009-12-28 2011-06-29 歌尔声学股份有限公司 一种麦克风阵列降噪控制方法及装置
CN103238182A (zh) * 2010-12-15 2013-08-07 皇家飞利浦电子股份有限公司 具有远程噪声检测器的降噪系统
US20120195423A1 (en) * 2011-01-31 2012-08-02 Empire Technology Development Llc Speech quality enhancement in telecommunication system
US20130142349A1 (en) * 2011-09-05 2013-06-06 Goertek Inc. Method, device and system for eliminating noises with multi-microphone array
US20130238324A1 (en) * 2012-03-07 2013-09-12 International Business Machines Corporation Local peak weighted-minimum mean square error (lpw-mmse) estimation for robust speech
US20130343558A1 (en) * 2012-06-26 2013-12-26 Parrot Method for denoising an acoustic signal for a multi-microphone audio device operating in a noisy environment

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110970015A (zh) * 2018-09-30 2020-04-07 北京搜狗科技发展有限公司 一种语音处理方法、装置和电子设备
CN110970015B (zh) * 2018-09-30 2024-04-23 北京搜狗科技发展有限公司 一种语音处理方法、装置和电子设备

Also Published As

Publication number Publication date
EP3158775A4 (en) 2018-02-21
WO2015195482A1 (en) 2015-12-23
JP6789827B2 (ja) 2020-11-25
KR102378207B1 (ko) 2022-03-25
EP3158775A1 (en) 2017-04-26
US20150373453A1 (en) 2015-12-24
JP2017522594A (ja) 2017-08-10
CN106797517B (zh) 2019-12-17
US10149047B2 (en) 2018-12-04
KR20170039126A (ko) 2017-04-10

Similar Documents

Publication Publication Date Title
US10891931B2 (en) Single-channel, binaural and multi-channel dereverberation
CN111556420B (zh) 包括降噪系统的听力装置
CN107484080B (zh) 音频处理装置及用于估计声音信号的信噪比的方法
US20170347206A1 (en) Hearing aid comprising a beam former filtering unit comprising a smoothing unit
CN106716526B (zh) 用于增强声源的方法和装置
EP3203473B1 (en) A monaural speech intelligibility predictor unit, a hearing aid and a binaural hearing system
US20060206320A1 (en) Apparatus and method for noise reduction and speech enhancement with microphones and loudspeakers
CN107409255B (zh) 子带信号的自适应混合
EP3264799B1 (en) A method and a hearing device for improved separability of target sounds
WO2015189261A1 (en) Multi-band noise reduction system and methodology for digital audio signals
US11533554B2 (en) Hearing device comprising a noise reduction system
US20220124444A1 (en) Hearing device comprising a noise reduction system
CN106797517A (zh) 用于净化音频信号的多耳mmse分析技术
CN110992967A (zh) 一种语音信号处理方法、装置、助听器及存储介质
CN113593612A (zh) 语音信号处理方法、设备、介质及计算机程序产品
Lezzoum et al. Noise reduction of speech signals using time-varying and multi-band adaptive gain control for smart digital hearing protectors
US20060020454A1 (en) Method and system for noise suppression in inductive receivers
Uriz et al. Denoising Algorithms Comparison and Implementation in a Hearing Aid
EP1619926A1 (en) Method and system for noise suppression in inductive receivers
CN117998251A (zh) 音频信号处理方法及装置、音频播放设备、存储介质
CN118116404A (zh) 音频去噪方法、音频去噪模型训练方法、装置及电子设备
Sanchez-Bote et al. Audible noise suppression with a real-time broad-band superdirective microphone array

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant