CN111902866A - 头戴式耳机中的双耳自适应噪声消除系统中的回声控制 - Google Patents

头戴式耳机中的双耳自适应噪声消除系统中的回声控制 Download PDF

Info

Publication number
CN111902866A
CN111902866A CN201980020573.1A CN201980020573A CN111902866A CN 111902866 A CN111902866 A CN 111902866A CN 201980020573 A CN201980020573 A CN 201980020573A CN 111902866 A CN111902866 A CN 111902866A
Authority
CN
China
Prior art keywords
signal
echo
noise
reference signal
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980020573.1A
Other languages
English (en)
Inventor
A·加尼施库玛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bose Corp
Original Assignee
Bose Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bose Corp filed Critical Bose Corp
Publication of CN111902866A publication Critical patent/CN111902866A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former

Abstract

本发明提供了一种用于通过移除噪声分量和回声分量来增强来自耳机的用户的话音拾取的耳机、耳机系统和方法。从与该耳机相关联的至少一个麦克风导出主信号。该主信号被配置为包括来自该用户的话音分量。噪声参考信号表示该耳机的环境中的声学噪声。回放信号由音频源提供以由与该耳机相关联的声学驱动器渲染，并且回声参考信号表示该回放信号。该系统和方法分别基于该噪声参考信号和该回声参考信号对该主信号进行滤波以降低噪声分量和回声分量，以提供语音估计信号。

Description

头戴式耳机中的双耳自适应噪声消除系统中的回声控制
背景技术
耳机系统用于多种环境并用于各种目的，仅举几例而言包括娱乐(诸如游戏或听音乐)、生产率(诸如电话呼叫)和专业(诸如航空通信或录音室监听)。不同的环境和目的对于保真度、噪声隔离、回声降低、降噪、语音拾取等可能具有不同的要求。尽管背景噪音或回声很大，但一些环境(诸如涉及工业设备、航空运营和体育赛事的环境)需要准确的通信。当用户的语音与其他噪声和回声更清楚地分开或隔离时，一些应用(诸如语音通信和语音识别)表现出提高的性能。
因此，在一些环境中以及在一些应用中，可能期望降低或移除来自一个或多个麦克风信号的噪声和/或回声分量，以增强对用户语音的捕获或拾取。
发明内容
各方面和各示例涉及拾取用户的话音活动并降低其他信号分量(诸如包括递送到耳机系统的一个或多个扬声器的音频信号的部分的回声分量)以及背景噪声和其他谈话者以增强输出信号中用户的话音分量的、系统和方法。该系统和方法通过移除或降低不是由于用户说话引起的信号来提供对用户语音的增强隔离。经降噪的语音信号可有利地应用于音频记录、通信(诸如电话呼叫、无线电通信)、语音识别系统、虚拟个人助理(VPA)等。本文所公开的方面和示例允许耳机拾取和增强用户的语音，使得用户可使用具有改善的性能的此类应用程序和/或可在嘈杂环境中使用此类应用程序。
根据一个方面，提供了一种增强耳机用户的话音的方法，并且该方法包括：接收从与该耳机相关联的至少一个麦克风导出的主信号，该主信号被配置为包括来自该用户的语音分量；接收表示至少一个回放信号的回声参考信号，该至少一个回放信号由音频源提供以将由与该耳机相关联的声学驱动器渲染成声学信号；接收表示该耳机的环境中的声学噪声的噪声参考信号；以及对该主信号进行滤波以降低与该噪声参考信号相关的分量并降低与该回声参考信号相关的分量，以提供语音估计信号。
某些示例包括通过对该至少一个回放信号进行预滤波来生成该回声参考信号。对该至少一个回放信号进行预滤波可包括通过表示静态回声传递函数的一组预先确定的滤波器系数进行滤波。
在一些示例中，对该主信号进行滤波以降低与该回声参考信号相关的分量包括通过使用一组初始滤波器系数和一组调整后的滤波器系数两者对该回声参考信号进行滤波来生成估计的回声信号，并且从该主信号中减去该估计的回声信号。
在某些示例中，该主信号是右侧主信号，并且该回声参考信号是右侧回声参考信号，并且还包括接收左侧主信号、接收左侧回声参考信号，以及对该左侧主信号进行滤波以降低与该左侧回声参考信号相关的分量。
一些示例包括通过对来自多个麦克风的多个信号进行阵列处理来生成该主信号以增强对源于该用户的嘴部的方向的声学信号的响应。
各种示例包括通过对来自多个麦克风的多个信号进行阵列处理来生成该噪声参考信号以降低对源于该用户的嘴部的该方向的声学信号的响应。
某些示例包括通过将来自该耳机左侧的第一信号与来自该耳机右侧的第二信号进行组合来生成该主信号。
根据一些示例，对该主信号进行滤波包括对该回声参考信号进行滤波以生成估计的回声信号，并且从该主信号中减去该估计的回声信号。在一些示例中，对该回声参考信号进行滤波可包括在未检测到双向通话条件的时间段期间自适应地调整滤波器系数。
根据另一方面，提供了一种音频系统，该音频系统包括：至少一个左麦克风，该至少一个左麦克风耦合到左听筒以提供左主信号；至少一个右麦克风，该至少一个右麦克风耦合到右听筒以提供右主信号；和信号处理器，该信号处理器被配置为：接收至少一个回放信号，从该至少一个回放信号导出回声参考信号，从该左主信号和该右主信号提供组合信号，从该左主信号和该右主信号提供噪声参考信号，以及对该组合主信号进行滤波以降低与该噪声参考信号相关的分量并降低与该回声参考信号相关的分量，以提供语音估计信号。
在一些示例中，通过处理多个回放信号来导出该回声参考信号，该多个回放信号中的每一个回放信号将由与该耳机系统相关联的至少一个驱动器渲染成声学信号。在某些示例中，处理该多个回放信号可包括基于回放音量、风噪声分量和平衡参数中的至少一者来选择该多个回放信号中的一个回放信号。
在某些示例中，从该至少一个回放信号导出该回声参考信号包括对该至少一个回放信号进行预滤波，并且对该至少一个回放信号进行预滤波可包括通过表示静态回声传递函数的一组预先确定的滤波器系数进行滤波。
在各种示例中，该信号处理器可被配置为通过以下方式对该组合信号进行滤波：对该噪声参考信号进行滤波以生成估计的噪声信号，对该回声参考信号进行滤波以生成估计的回声信号，以及从该组合信号中减去该估计的噪声信号和该估计的回声信号。
根据另一方面，提供了一种耳机，该耳机包括：至少一个麦克风，该至少一个麦克风耦合到听筒以提供麦克风信号；至少一个输入，该至少一个输入从音频源接收回放信号；至少一个声学驱动器，该至少一个声学驱动器耦合到该耳机并且被配置为将该回放信号转换为声学信号；降噪滤波器，该降噪滤波器被配置为接收从该麦克风信号导出的噪声参考信号并提供估计的噪声信号；回声消除滤波器，该回声消除滤波器被配置为接收从该回放信号导出的回声参考信号并提供估计的回声信号；和信号处理器，该信号处理器被配置为提供至少部分地从该麦克风信号导出的估计的语音信号，包括减去该估计的噪声信号和该估计的回声信号而导出的估计的语音信号。
在一些示例中，该至少一个麦克风包括多个麦克风，并且该信号处理器被配置为至少部分地通过对来自该多个麦克风的一个或多个信号进行阵列处理来提供该估计的语音信号。
某些示例包括预滤波器，以通过由表示静态回声传递函数的一组预先确定的滤波器系数对该回放信号进行预滤波来从该回放信号导出该回声参考信号。
在各种示例中，该至少一个输入包括用于接收多个回放信号的多个输入，并且该信号处理器被进一步配置为通过选择该多个回放信号中的一个回放信号来导出该回声参考信号。
以下仍然详细讨论了这些示例性方面和示例的其他方面、示例和优点。本文所公开的示例可以与本文所公开的至少一个原理一致的任何方式与其他示例组合，并且对“示例”、“一些示例”、“另选的示例”、“各种示例”、“一个示例”等的引用不一定互相排斥，并且旨在指示所述的特定特征、结构或特性可包括在至少一个示例中。本文中此类术语的出现未必全都指代相同的示例。
附图说明
下面参考附图讨论至少一个示例的各个方面，这些附图并非旨在按比例绘制。包括附图以提供对各个方面和示例的例证和进一步理解，并且附图并入本说明书且构成本说明书的一部分，但并非旨在作为本发明的限制的定义。在附图中，在各种图中示出的相同或几乎相同的部件可以类似的数字表示。为清楚起见，并不是在每个图中给每个部件都注上标记。在附图中：
图1为示例性耳机组的透视图；
图2为示例性耳机组的左侧视图；
图3为用于增强其他信号中的用户语音信号的示例性系统的示意图；
图4A至图4B为用于增强其他信号中的用户语音信号的其他示例性系统的示意图；
图5A至图5B为用于增强其他信号中的用户语音信号的其他示例性系统的示意图；
图5C为适用于本文所述的一个或多个示例性系统的示例性回声消除器的示意图；并且
图6为用于增强其他信号中的用户语音信号的另一个示例性系统的示意图。
具体实施方式
本公开的各方面涉及在降低或移除与用户(例如，佩戴者)语音不相关联的其他信号分量的同时拾取该用户语音信号的耳机系统和方法。获得噪声分量和回声分量降低的用户语音信号可增强能够作为耳机组或其他相关联的设备的一部分而提供的基于语音的特征或功能，诸如通信系统(蜂窝、无线电、航空)、娱乐系统(游戏)、话音识别应用程序(话音转文本、虚拟个人助理)以及处理音频(尤其是话音或语音)的其他系统和应用。本文所公开的示例可通过有线或无线装置耦合到其他系统或与其他系统连接，或者可独立于其他系统或装备。
在一些示例中，本文所公开的耳机系统可包括航空头戴式耳机、电话/通信头戴式耳机、音频/媒体耳机和网络游戏耳机，或这些或其他的任何组合。在整个本公开中，术语“头戴式耳机”、“耳机”和“耳机组”可互换使用，并且除非上下文另外明确指明，否则使用一个术语代替另一个术语并非意在作出区分。另外，在一些情况下，根据本文所公开的那些方面和示例可应用于耳机形状因数(例如，入耳式换能器、耳塞)和/或离耳式声学设备(例如，佩戴在佩戴者的耳朵附近的设备)、颈部佩戴设备形状因数、或头部或身体(例如，肩部)上的其他形状因数、或包括一个或多个驱动器(例如，扬声器)的形状因数，该一个或多个驱动器大致指向佩戴者的耳朵而没有邻近耦合到佩戴者的头部或耳朵。术语“头戴式耳机”、“耳机”和“耳机组”设想了所有此类形状因数和类似的形状因数。因此，术语“头戴式耳机”、“耳机”和“耳机组”旨在包括个人声学设备的任何贴耳式、入耳式、耳罩式或离耳式形状因数。术语“听筒”和/或“耳罩”可包括旨在于用户的至少一只耳朵附近操作的此类形状因数的任何部分。
本文所公开的示例可以与本文所公开的至少一个原理一致的任何方式与其他示例组合，并且对“示例”、“一些示例”、“另选的示例”、“各种示例”、“一个示例”等的引用不一定互相排斥，并且旨在指示所述的特定特征、结构或特性可包括在至少一个示例中。本文中此类术语的出现未必全都指代相同的示例。
应当理解，本文讨论的方法和装置的示例不限于应用到以下描述中列出的或附图中示出的构造细节和部件布置。这些方法和装置能够在其他示例中实施，并且能够以各种方式操作或执行。本文提供的具体实施的示例仅出于进行示意性的目的，并非旨在进行限制。此外，本文所用的措辞和术语是出于描述的目的，而不应被视为限制。本文使用“包括”、“包含”、“具有”、“含有”、“涉及”及其变型形式旨在涵盖其后列出的项目及其等同物以及附加的项目。对“或”的引用可以被理解为是包含性的，使得使用“或”描述的任何术语可以指示所述术语中的单个、多于一个和全部中的任何一种。对前和后、右和左、顶部和底部、上部和下部以及垂直和水平的任何引用是为了便于描述，而不是为了将本系统和方法或它们的分量限制成任何一个位置或空间取向。
图1示出了耳机组的一个示例。耳机100包括两个听筒，即，右耳罩102和左耳罩104，该右耳罩和左耳罩10分别耦合到右轭组件108和左轭组件110，并且由头带106互连。右耳罩102和左耳罩104分别包括右罩耳式耳垫112和左罩耳式耳垫114。虽然示例性耳机100被示出为具有听筒，而该听筒具有适配在用户耳部周围或之上的耳罩垫，但在其他示例中，这些软垫可位于耳部上，或者可包括突出到用户耳道的一部分中的耳塞部分，或者可包括另选的物理布置。如下文更详细讨论的，耳罩102、104中的任一者或两者可包括一个或多个麦克风。虽然图1所示的示例性耳机100包括两个听筒，但一些示例可仅包括仅用于头部的一侧上的单个听筒。另外，虽然图1所示的示例性耳机100包括头带106，但其他示例可包括不同支撑结构以保持一个或多个听筒(例如，耳罩、入耳式结构等)接近用户的耳部，例如耳塞可包括被配置为将耳塞保持在用户耳部的一部分内的形状和/或材料。
图2从左侧示出了耳机100并且示出了左耳罩104的细节，该左耳罩包括一对前麦克风202和后麦克风206，该对前麦克风可更靠近耳罩的前边缘204，该对后麦克风可更靠近耳罩的后边缘208。右耳罩102可附加地或另选地具有类似的前麦克风和后麦克风的布置，但在示例中，这两个耳罩可在麦克风的数量或放置方面具有不同的布置。另外，各种示例可具有更多或更少的前麦克风202，并且可具有更多、更少或不具有后麦克风206。虽然在各个附图中示出了麦克风并且用附图标号(诸如附图标号202、206)标记麦克风，但在一些示例中，附图所示的可视元件可表示声学端口，其中声学信号进入以最终到达麦克风202、206，该麦克风可在内部并且从外部物理地不可见。在示例中，麦克风202、206中的一个或多个麦克风可紧邻声学端口的内部或者可从声学端口移除一定的距离，并且可包括声学端口与相关联的麦克风之间的声波导。
来自麦克风的信号可与阵列处理进行组合以有利地以在一个实例中将用户语音最大化以提供主信号并在另一个实例中将用户语音最小化以提供参考信号的方式控制波束和零点。参考信号与周围环境噪声相关，并且以自适应滤波器的参考的形式被提供。自适应滤波器修改主信号以移除与参考信号相关的分量，例如噪声相关信号，并且自适应滤波器提供近似于用户的语音信号的输出信号。
根据本文所讨论的系统和方法的耳机和头戴式耳机系统可包括扬声器，例如声学驱动器，该扬声器接收一个或多个回放音频信号并产生用户可听的一个或多个声学信号。诸如当使用耳机进行电话呼叫、航空和/或无线电通信等时以及当使用节目内容(诸如音乐、游戏或其他娱乐内容)时，回放音频信号的示例包括例如来自远端通信伙伴的通信信号。在一些实例中，麦克风中的一个或多个麦克风可拾取由驱动器通过例如将振动直接传输通过耳机的结构或由于驱动器与麦克风接近通过声学传输而产生的声学信号的一部分。因此，一个或多个麦克风信号可包括与回放音频信号的部分有关的分量，并且此类分量通常可被称为回声分量。根据本文所讨论的那些的耳机系统和方法用于降低或移除一个或多个麦克风信号中的噪声分量和回声分量，这样做的优点是在至少一个输出信号内增强用户语音分量。
可如下文更详细讨论的那样进行附加处理，并且可组合来自右侧和左侧(即，双耳)的麦克风信号，同样如下文更详细讨论的。此外，可有利地在不同的子频带中处理信号以增强降噪和回声降低的有效性。
其中用户语音分量被增强而其他分量降低的信号的产生在本文中通常被称为语音拾取、语音选择、语音隔离、话音增强等。如本文所用，术语“语音”、“话音”、“谈话”及其变型形式可互换使用而不用考虑这种话音是否涉及声带的使用。
选择或增强用户语音分量的方法可利用环境和/或使用条件的独特方面。例如，在左侧和右侧具有麦克风的耳机中，期望的用户语音可为对称的，从而以基本上相同的振幅和相位到达右前麦克风和左前麦克风两者。不期望的回声和/或噪声内容可具有有助于将它们与用户语音区分开来的特性。例如，回声内容将与可供系统用作参考的回放音频信号有关。背景噪声(包括来自其他人的话音)将趋于在右侧与左侧之间不对称，具有振幅、相位和时间的变化，或者例如在后麦克风中可能更强，因此提供参考，某些滤波器技术可根据该参考从主信号路径移除分量。
图3为处理麦克风信号以产生输出信号的示例性信号处理系统300的框图，该输出信号包括相对于回声、背景噪声和其他谈话者增强的用户语音分量。一组多个麦克风302将声学能量转换为电子信号304并且将信号304提供给两个阵列处理器306、308中的每一个阵列处理器。信号304可以是模拟形式。另选地，一个或多个模数转换器(ADC)(未示出)可首先转换麦克风输出，使得信号304可为数字形式。
阵列处理器306、308应用阵列处理技术，诸如相控阵列、延迟相加技术，并且可利用最小方差无失真响应(MVDR)和线性约束最小方差(LCMV)技术来调整该组麦克风302的响应性，以增强或拒绝来自各个方向的声学信号。波束形成增强来自特定方向或方向范围的声学信号，而零点控制减少或拒绝来自特定方向或方向范围的声学信号。
第一阵列处理器306是波束形成器，该波束形成器用于将该组麦克风302在用户的嘴部方向上(例如，指向耳罩的前面和略微下方)的声学响应最大化并且提供主信号310。由于波束形成阵列处理器306，主信号310包括由于用户语音而比任何单独的麦克风信号304更高的信号能量。
麦克风信号304中的任一麦克风信号可包括来自声学驱动器320的回声分量，该声学驱动器通过声学和/或振动耦合324再现回放音频信号322(例如，来自远端通信伙伴的通信信号、节目内容(诸如音乐、游戏或其他娱乐内容等))。因此，主信号310可包括用户语音、噪声和回声分量。
第二阵列处理器308朝向用户的嘴部控制零点并提供参考信号312。因为零点指向用户的嘴部，所以参考信号312包括由于用户语音而引起的最小(如果有的话)信号能量。因此，参考信号312基本上通过由于背景噪声而引起的分量和并非由于用户语音而引起的声学源组成，例如，参考信号312是与用户周围的声学环境相关但不包括用户的语音的信号。
在某些示例中，阵列处理器306是在用户的嘴部方向上增强声学响应的超指向性近场波束形成器，并且阵列处理器308是在用户的嘴部方向上降低声学响应的延迟相加算法。
如上文所讨论的，主信号310可包括用户语音分量、噪声分量(例如，背景、其他谈话者等)和回声分量。参考信号312还可包括语音、噪声和回声分量，但主要用作噪声参考。具体地，由于阵列处理器308的动作，参考信号312具有增强的噪声分量和降低的语音分量。因此，参考信号312可基本上与主信号310的噪声分量相关，并且因此噪声消除系统(诸如自适应滤波)可从主信号310移除噪声分量中的至少一些噪声分量。类似地，回声分量与回放音频信号322有关，并且也可包括自适应滤波的回声消除系统可例如使用回放音频信号322作为回声参考来移除回声分量中的至少一些回声分量。
主信号310通过噪声消除器314使用参考信号312作为噪声参考来处理，以提供第一语音估计信号316。第一语音估计信号316通过回声消除器318使用回放音频信号322作为回声参考来处理，以提供第二语音估计信号326。在一些示例中，回声消除器318和噪声消除器314可以不同的顺序或并行地操作，例如，可首先由回声消除器318降低主信号310中的回声分量，之后是例如由噪声消除器314进行降噪。
噪声消除器314试图移除与噪声参考(例如，参考信号312)相关的分量。各种滤波器(其可为自适应的)被设计成通过对参考信号进行滤波来估计噪声分量。此类滤波器可通过自适应算法的动作而自适应，该自适应算法的某些示例可包括归一化最小均方(NLMS)自适应滤波器或递归最小二乘(RLS)自适应滤波器。另外并且类似地，回声消除器318试图移除与回声参考(例如，回放音频信号322)相关的分量，并且可使用类似方法、滤波器和自适应算法。
例如，噪声消除器314和回声消除器318可各自包括一个或多个滤波器以接收参考信号并且尝试从参考信号生成主信号中的不需要的分量的估计值。主信号的不需要的分量可为例如噪声或回声分量。噪声消除器的滤波器产生噪声分量的估计值，即，噪声估计值。类似地，回声消除器的滤波器产生回声分量的估计值，即，估计的回声。如果滤波器成功地生成稳健的估计信号，则噪声分量可通过减去噪声估计值而被有效地降低或移除，并且回声分量可通过减去估计的回声而被有效地降低或移除。自适应算法可与此类示例性滤波器并行操作，尤其被实施为数字滤波器，并且以例如改变权重或滤波器系数的形式对数字滤波器进行调整。
在某些示例中，可通过其他方法或通过除上文讨论那些之外的其他部件来导出参考信号，诸如参考信号312。例如，可从对用户语音的响应性降低的一个或多个单独的麦克风(诸如后置麦克风，例如后麦克风206)导出参考信号。另选地，可使用波束形成技术引导宽波束远离用户的嘴部来从该组麦克风302导出参考信号，或者可在没有阵列或波束形成技术的情况下组合参考信号以更一般地响应声学环境。
如上文所讨论的，在一些示例中，回声消除器可在噪声消除器之前作用于信号。例如，在图3中，回声消除器318和噪声消除器314可在信号处理系统300的某些另选示例中交换位置。例如，回声消除器318可被配置为接收主信号310并移除或降低(与回放音频信号322有关的)回声内容，并且噪声消除器314可被配置为从回声消除器318接收输出信号并移除或降低与参考信号312有关的噪声内容。
示例性系统300可有利地应用于耳机系统(例如，耳机100)，以增强用户语音和降低背景噪声。例如，并且如下文更详细地讨论的，来自麦克风202(图2)的信号可由示例性系统300处理，以提供具有相对于背景噪声增强的语音分量的第一语音估计信号316，该语音分量表示来自用户(即，耳机100的佩戴者)的话音。示例性系统300示出了用于从麦克风302的一个阵列进行“单耳”话音增强的系统和方法。在一些示例中，示例性系统300在例如麦克风302的阵列可包括左侧和右侧中的一者的麦克风的意义上可为“双耳的”。在一些示例中，系统300的变型至少包括麦克风的两个阵列(例如，右阵列和左阵列)的双耳处理、通过频谱处理进行的进一步话音增强以及通过子频带对信号进行的单独处理。
如上文所讨论的，示例性系统300可在数字域中操作并且可包括模数转换器(未示出)。另外，当作用于窄带信号而不是宽带信号时，示例性系统300中包括的部件和过程可实现更好的性能。因此，某些示例可包括子频带滤波以允许由示例性系统300处理一个或多个子频带。例如，当在各个子频带上操作时，波束形成、零点控制、自适应过滤和频谱增强可表现出增强的功能。子频带可在示例性系统300的操作之后合成在一起以产生单个输出信号。在某些示例中，可过滤信号304以移除人类话音的典型频谱之外的内容。另选地或另外，可采用示例性系统300来作用于子频带。此类子频带可在与人类话音相关联的频谱内。另外或另选地，示例性系统300可被配置为忽略与人类话音相关联的频谱之外的子频带。另外，虽然上文仅参考单组麦克风302讨论了示例性系统300，但在某些示例中，可能存在附加的麦克风组，例如左侧的一组和右侧的另一组，可将示例性系统300的其他方面和示例应用于该附加的麦克风组，并且可组合该示例性系统的其他方面和示例，以提供改进的语音增强，其中的至少一个示例将参考图4A更详细地讨论。
图4A为示例性信号处理系统400A的框图，该信号处理系统包括右麦克风阵列410、左麦克风阵列420、子频带滤波器430、右波束处理器412、右零点处理器414、左波束处理器422、左零点处理器424、用于右回放信号和左回放信号482的输入、组合器442、444、噪声消除器440、预滤波器484、回声消除器480、频谱增强器450、子频带合成器460和加权计算器470。右麦克风阵列410包括用户的右侧的多个麦克风，例如，该多个麦克风耦合到一组耳机100上的右耳罩102(见图1至图2)，响应于用户右侧的声学信号，包括来自右侧的声学回放信号的潜在耦合。左麦克风阵列420包括用户的左侧的多个麦克风，例如，该多个麦克风耦合到一组耳机100上的左耳罩104(见图1至图2)，响应于用户左侧的声学信号，包括来自左侧的声学回放信号的潜在耦合。右麦克风阵列410和左麦克风阵列420中的每一个麦克风阵列可包括与图2所示的该对麦克风202相当的单对麦克风。在其他示例中，可在每个听筒上提供和使用两个以上的麦克风。
在图4A所示的示例中，根据本文所公开的方面和示例用于话音增强的每个麦克风将信号提供给任选的子频带滤波器430，该子频带滤波器将每个麦克风的频谱分量分离成多个子频带。来自每个麦克风的信号可以模拟形式来处理，但优选地通过一个或多个ADC转换为数字形式，该一个或多个ADC与每个麦克风相关联，或与子频带滤波器430相关联，或以其他方式作用于麦克风与子频带滤波器430之间或其他位置的每个麦克风的输出信号。因此，在某些示例中，子频带滤波器430是作用于从麦克风中的每一个麦克风导出的数字信号的数字滤波器。可通过对数字信号处理器(DSP)进行配置和/或编程以执行所示或所讨论的部件中的任一部件的功能或用作该部件来在DSP中实施ADC、子频带滤波器430和示例性系统400A的其他部件中的任一者。
右波束处理器412是波束形成器，该波束形成器以形成指向用户的嘴部(例如，在用户右耳的下方和前面)的声学响应波束的方式作用于来自右麦克风阵列410的信号，以提供右主信号416，之所以这样称谓是因为它包括由于波束指向用户的嘴部而增大的用户语音分量。右零点处理器414以形成指向用户的嘴部的声学无响应零点的方式作用于来自右麦克风阵列410的信号，以提供右参考信号418，之所以这样称谓是因为它包括由于零点指向用户的嘴部而降低的用户语音分量。相似地，左波束处理器422提供来自左麦克风阵列420的左主信号426，并且左零点处理器424提供来自左麦克风阵列420的左参考信号428。右主信号416和右参考信号418与上文关于图3的示例性系统300讨论的主信号和参考信号相当。同样，左主信号426和左参考信号428与上文关于图3的示例性系统300讨论的主信号和参考信号相当。
示例性系统400A处理主信号和参考信号的左右双耳组，相比于单耳示例性系统300，这可改善性能。如下文更详细地讨论，加权计算器470可通过影响以下各项来影响系统的左右平衡(或平移)：(a)右主信号416和左主信号426中的一者有多少信号(以及哪些特定频率或频带)被提供给噪声消除器440并且随后提供给回声消除器480，(b)右参考信号418和左参考信号428中的每一者有多少信号(以及哪些特定频率或频带)被提供给噪声消除器440，(c)右回放信号和左回放信号482中的一者有多少信号(以及哪些特定频率或频带)被提供给回声消除器480，以及(d)是否完全提供了右主信号416和左主信号426中的每一者。加权计算器470可影响系统的左右平衡，甚至达到仅提供左信号组或右信号组中的一个信号组的程度，在这种情况下，系统400A的操作降低到类似于示例性系统300的单耳情况。
组合器442例如通过将双耳主信号(即，右主信号416和左主信号426)相加在一起来组合它们，以将组合主信号446提供给噪声消除器440。右麦克风阵列410和左麦克风阵列420相对于用户的嘴部大致对称且等距。由于这种物理对称性，来自用户的嘴部的声学信号基本上同时以基本上相等的能量和基本上相同的相位到达右麦克风阵列410和左麦克风阵列420中的每一个麦克风阵列。因此，右主信号416和左主信号426内的用户语音分量可彼此基本上对称并且在组合主信号446中彼此增强。各种其他声学信号(例如，背景噪声和其他谈话者)趋于不是关于用户头部左右对称，并且不会在组合主信号446中彼此增强。虽然右主信号416和左主信号426内的此类噪声分量传送到组合主信号446，但它们不以用户语音分量可传送的方式彼此增强。因此，用户语音分量在组合主信号446中可比单独地在右主信号416或左主信号426中的任一信号中更显著。另外，由加权计算器470施加的加权可影响右主信号416和左主信号426中的每一个信号内的噪声和语音分量是否在组合主信号446中更多或更少地表示。
组合器444将右参考信号418和左参考信号428进行组合以将组合参考信号448提供给噪声消除器440。在示例中，组合器444可取右参考信号418与左参考信号428之间的差值(例如，通过从一个信号中减去另一个信号)，以提供组合参考信号448。由于右零点处理器414和左零点处理器424的零点控制动作，因此右参考信号418和左参考信号428中的一者中存在最少的(如果有的话)用户语音分量。右参考信号418和左参考信号428中的每一个参考信号中的任何此类用户语音分量在相减时趋于彼此抵消，这至少是因为用户语音分量以与上面讨论的方式类似的方式对称。因此，组合参考信号448中存在最少的(如果有的话)用户语音分量。如上，由加权计算器470施加的加权可影响左参考信号或右参考信号是否在组合参考信号448中更多或更少地表示。
噪声消除器440与图3的噪声消除器314相当。噪声消除器440接收组合主信号446和组合参考信号448，并且施加潜在地具有自适应系数的数字滤波器以提供第一语音估计信号488和噪声估计信号458。在一些示例中，自适应系数可在用户不说话时(例如，在初始用户动作(诸如唤醒字词或按钮按下)之后的强制执行暂停期间)建立，并且可在用户(近端)说话时、在远端用户说话时或者在近端和远端均说话时(如可由例如双向通话检测器指示)被冻结，或者可通过后台或并行程序以一定的间隔更新，或者可通过这些或其他方法的任何组合建立或更新。双向通话检测器的至少一个示例的其他方面可参考2017年5月31日提交的名称为“用于通信头戴式耳机的语音活动检测(VOICE ACTIVITY DETECTION FORCOMMUNICATION HEADSET)”的美国专利申请序列号15/609,297和2017年3月20日提交的名称为“检测耳机用户的话音活动的系统和方法(SYSTEMS AND METHODS OF DETECTINGSPEECH ACTIVITY OF HEADPHONE USER)”的美国专利申请序列号15/463,259。
同样如上文所讨论的，组合参考信号448可与组合主信号446中的噪声分量基本上相关。噪声消除器440的操作可为调整或“学习”最佳的数字滤波器系数，以将组合参考信号448转换为与组合主信号446中的噪声分量基本上类似的噪声估计信号(例如，噪声估计信号458)。噪声消除器440然后从组合主信号446中减去噪声估计信号458以提供第一语音估计信号488。第一语音估计信号488仍可包括显著的回声分量，并且由回声消除器480进一步处理。
预滤波器484将右回放信号和左回放信号482进行组合以将回声参考信号486提供给回声消除器480，并且可将滤波施加于右回放信号和/或左回放信号482。右回放信号和左回放信号482可通过右驱动器和左驱动器(未示出)与相应的右麦克风阵列410和左麦克风阵列420之间的声学耦合和机械耦合分别耦合到右麦克风阵列410和左麦克风阵列420，这可在各个麦克风信号中的任一麦克风信号中产生回声分量。这些回声分量可至少传送到右主信号416和左主信号426。回声消除器480试图移除回声分量。因为回声分量与右回放信号和左回放信号482有关(例如，相关)，所以回声参考信号486是组合回声参考信号。如上，由加权计算器470施加的加权可影响右回放信号或左回放信号是否在回声参考信号486中更多或更少地表示。
回声消除器480接收第一语音估计信号488和回声参考信号486，并且试图从第一语音估计信号488降低或移除回声分量，以提供第二语音估计信号456。回声消除器480可将潜在地具有自适应系数的滤波器(例如，数字滤波器)施加于回声参考信号486以生成估计的回声信号452，在一些示例中，可从第一语音估计信号488减去该估计的回声信号以提供第二语音估计信号456。在一些示例中，由回声消除器480使用的自适应系数可以一定的间隔建立或更新，例如，以与上面关于噪声消除器440讨论的那些方式类似的一种或多种方式建立或更新。在一些示例中，回声消除器480可仅在回放信号(例如，回声参考信号)存在和/或被主动提供给扬声器以再现声学信号时才进行调适。在其他时间，因为没有再现回放信号，所以可能不存在回声。因此，回声消除器(例如，回声消除器480)的滤波器调适可在不存在回放信号时被冻结，和/或回声消除器可在不存在回放信号时被关闭、禁用或固定，这例如可节省能量。
如上文所讨论的，回声参考信号486由回声消除器480用作回声参考信号，并且由预滤波器484提供。在各种示例中，预滤波器484可调整平衡，例如，在左回放信号与右回放信号482之间平移，以提供回声参考信号486。预滤波器484可响应于各种条件而向左或向右平移，该条件可由加权计算器470指示，并且可包括噪声平衡(诸如风可在一侧引起比在另一侧更高的噪声)、回放音量(回声路径耦合在左侧和右侧可不相同，和/或回放音频可在左侧与右侧具有变化的振幅)、检测到用户仅佩戴耳机的一侧(例如，仅将耳机的一侧保持在他或她的耳朵上)，或者可指示对左右平衡的调整的任何其他非对称条件可提供增强的回声消除。
在一些示例中，预滤波器484可对右回放信号或左回放信号482中的任一回放信号或这两者的组合进行滤波，使得回声参考信号486是第一估计的回声信号。例如，基于例如声学测试，用于预滤波器484的滤波器系数可被预先选择或预先配置，因此回声参考信号486提供稳健的估计回声。因此，在此类示例中，回声消除器480可能仅需要适应回声路径的较不显著的变化，例如，表示偏离先前确定的回声耦合的变化。在一些示例中，预滤波器484可被结合到回声消除器480中，并且可补偿预建立的或预期的传递路径。例如，由系统400A实现的回声消除可由静态滤波器(例如，预滤波器484)和自适应滤波器(例如，作为回声消除器480的一部分)的组合来提供，使得自适应滤波器仅需要适应来自预先确定的静态传递函数的变化。在一些示例中，回声消除器480可结合静态滤波器，该静态滤波器在一些情况下可为预滤波器484的等同物。在某些示例中，“静态”滤波器可由一组自适应滤波器系数提供，该组自适应滤波器系数先前存储在例如存储器中并且最初被加载到回声消除器480的自适应滤波器中，该自适应滤波器系数随后可调整来自最初加载的值的系数。
在一些示例中，系统400A可被配置为当回放音量低时禁用和/或绕过回声消除器480，在此期间声学驱动器与麦克风中的任一麦克风之间的回声耦合可忽略不计。在一些示例中，此类禁用可通过预滤波器484或单独的控制器确定回放音量并提供零点值作为回声参考信号486来实现。
在一些示例中，例如，在左侧或右侧中的一者的极端回放音量和/或极端噪声(例如，风)的条件期间，系统400A可切换到噪声消除器440和回声消除器480中的任一者或两者的单耳操作。在一些示例中，回声消除器480的此类单耳操作可通过预滤波器484接受右回放信号或左回放信号482中的仅一个回放信号作为输入以提供回声参考信号486来实现。类似地，在一些示例中，噪声消除器440的单耳操作可通过组合器442、444分别接受右主信号416或左主信号426和参考信号418、428中的仅一者以也分别提供组合主信号446和组合参考信号448来实现。
在一些示例中，系统400A可响应于各种条件而实施对操作的另选改变。例如，响应于一侧或两侧的高风、高噪声和/或高回放音量，系统400A可改变阵列处理器412、414、422、424中的一个阵列处理器或多个阵列处理器的操作，以补偿或降低相应的主信号或参考信号416、418、426、428中的噪声和/或回声内容，或者调整麦克风阵列410、420中的任一麦克风阵列或两个麦克风阵列中的哪个麦克风用于提供相应的主信号或参考信号416、418、426、428。另外或另选地，一些示例可切换到不同组的麦克风或者以其他方式切换或改变麦克风阵列410、420中的任一麦克风阵列或两个麦克风阵列。在一些示例中，可改变系统400A的总体光谱内容或操作。风可例如具有较低频率分量的较高权重，和/或装备噪声可在某些频率分量处具有特别高的噪声，并且系统400A可在各个子频带内进行各种调整，诸如上文所述的那些和/或其他调整，例如以禁用某些子频带中的处理或内容，和/或在某些子频带中使用与其他子频带中不同的左右平衡、阵列处理和/或麦克风信号。另外或另选地，基于频谱内容的处理可被实施为例如子频带滤波器430处或其他位置的频谱滤波或频带限制。
在一些示例中，第二语音估计信号456可与噪声估计信号458和估计的回声信号452中的一者或多者一起被提供给频谱增强器450，以分别降低在噪声消除器440和回声消除器480的操作之后剩余的任何残余噪声和/或残余回声的影响。
具体地，当存在较少和/或固定噪声源时，自适应滤波器440可生成更稳健的第一语音估计信号488。因此，许多的和/或非固定噪声源或其他影响可导致第一语音估计信号488(和第二语音估计信号456)包括大于期望的残余噪声内容。类似地，当纯线性机制引起回声耦合时并且当回放音频一致(例如，在频谱内容、振幅等方面一致)时，回声消除器480可在移除回声分量方面表现得更好。因此，非线性回声耦合和/或变化的回放内容或其他影响可使第二语音估计信号456包括大于期望的残余回声。
因此，在一些示例中，频谱增强器450用于例如通过增强第二语音估计信号456的短时频谱振幅(STSA)以提供语音输出信号462来降低残余噪声和残余回声的影响。可在频谱增强器450中实施的频谱增强的示例包括谱减技术、最小均方误差技术和维纳滤波器技术。经由频谱增强器450的频谱增强可进一步改善语音输出信号462的语音-噪声比和/或语音-回声比。在一些示例中，频谱增强器450利用关于噪声和回声内容的频谱信息，并且如图4A所示，频谱增强器针对相应的频谱信息使用噪声估计信号458和估计的回声信号452。在其他示例中，频谱增强器450可针对关于噪声内容的频谱信息使用组合主参考信号448或噪声估计信号458中的任一者，或这两者的组合，或其他噪声参考。另外，频谱增强器450可针对关于回声内容的频谱信息使用估计的回声信号452或回声参考信号486中的任一者，或这两者的组合，或其他回放/回声参考。在一些示例中，频谱增强器450可操作以仅相对于噪声或回声中的一者或另一者提供增强。在其他示例中，光谱增强器可被省略或可以其他方式操作。
如上文所讨论的，在示例性系统400A中，来自麦克风的信号被子频带滤波器430分离到子频带中。图4A所示的示例性系统400A的后续部件中的每一个部件在逻辑上表示用于处理多个子频带的多个此类部件。例如，子频带滤波器430可处理麦克风信号以提供限于特定范围的频率，并且在该范围内可提供多个子频带，该多个子频带组合地涵盖整个范围。在一个具体示例中，子频带滤波器可在0至8,000Hz的频率范围内提供64个子频带，每个子频带覆盖125Hz。可为所关注的最高频率选择模拟-数字采样率，例如，对于至多8kHz的频率范围，16kHz的采样率满足奈斯奎特-香农(Nyquist-Shannon)采样定理。
因此，为了示出图4A所示的示例性系统400A的每个部件表示多个此类部件，应当考虑，在具体示例中，子频带滤波器430可提供每个覆盖125Hz的六十四个子频带，并且这些子频带中的两个子频带可包括第一子频带(例如，对于1,400A Hz至1,625Hz的频率)和第二子频带(例如，对于1,625Hz至1,750Hz的频率)。第一右波束处理器412将作用于第一子频带，并且第二右波束处理器412将作用于第二子频带。第一右零点处理器414将作用于第一子频带，并且第二右零点处理器414将作用于第二子频带。图4A所示的从子频带滤波器430的输出到子频带合成器460的输入的所有部件都是同理的，该子频带合成器用于将所有子频带重新组合成单个语音输出信号462。因此，在至少一个示例中，右波束处理器412、右零点处理器414、左波束处理器422、左零点处理器424、噪声消除器440、组合器442、组合器444、回声消除器480、预滤波器484和频谱增强器450各有六十四个。其他示例可包括更多或更少的子频带，或者例如由于不包括子频带滤波器430和子频带合成器460，因此可不作用于子频带。可实现任何采样频率、频率范围和子频带的数量以适应变化的系统要求、操作参数和应用。另外，每个分量的倍数仍可在单个数字信号处理器或其他电路，或一个或多个数字信号处理器和/或其他电路的组合中实现或执行。
加权计算器470可有利地改善示例性系统400A的性能，或者可在各种示例中被完全省略。加权计算器470可控制在组合主信号446、组合参考信号448和/或回声参考信号486中考虑哪些特定频率或频带以及平衡/平移(例如，左信号或右信号的数量)。加权计算器470建立由组合器442、444和预滤波器484施加的因数。加权计算器470可监视和分析麦克风信号中的任一麦克风信号(诸如右麦克风410和左麦克风420中的一者或多者)，或者可监视和分析主信号或参考信号中的任一者(诸如右主信号416和左主信号426、右参考信号418和左参考信号428和/或右回放信号和左回放信号482)，以确定组合器442、444和/或预滤波器484中的任一者的适当加权。
在某些示例中，加权计算器470分析右信号和左信号中的任一者的总信号振幅或能量，并且无论哪一侧具有较低的总振幅或能量，均可进行更大程度地加权。例如，如果一侧具有显著更高的振幅，则这可指示较高噪声级或回放级影响该侧的麦克风阵列。因此，将该侧的主信号的权重降低到组合主信号446中可有效地降低组合主信号446中的噪声和回声，例如增加语音-噪声比和/或语音-回声比，并且可改善系统的性能。以类似的方式，加权计算器470可向组合器444和/或预滤波器484施加或指示类似的加权。
在一些示例中，预滤波器484可完全向左或向右平移，例如，完全拒绝右回放信号或向左回放信号482中的任一者，以提供回声参考信号486。在一些示例中，预滤波器484可被配置为接收右回放信号或左回放信号482中的仅一者，并且“组合”回放信号486因此可仅仅为单个(左或右)回放信号482，或者可为其滤波后形式，而不与另一(左或右)回放信号进行任何组合。例如，在某些应用中，右回放信号和左回放信号482可为相同的(例如，不是立体声)，并且可能仅需要回放信号中的单个回放信号作为回声参考。在一些示例中，右回放信号和左回放信号482可不相同，但可以是高度相关的，例如，具有大量共同的内容，并且预滤波器484可接受、通过或以其他方式操作共同内容，以提供回声参考信号486。在其他示例中，该系统可例如仅适应单个回放信号。
可向各种其他部件、设备、特征或功能提供语音输出信号462。例如，在至少一个示例中，语音输出信号462被提供给虚拟个人助理以用于进一步处理，包括语音识别和/或话音转文字处理，其还可被提供用于互联网搜索、日历管理、个人通信等。语音输出信号462可被提供用于直接通信目的，诸如电话呼叫或无线电发射。在某些示例中，语音输出信号462可以数字形式提供。在其他示例中，语音输出信号462可以模拟形式提供。在某些示例中，语音输出信号462可被无线地提供给另一个设备，诸如智能电话或平板计算机。无线连接可通过
Figure BDA0002690595720000191
或近场通信(NFC)标准或足以以各种形式传输语音数据的其他无线协议来进行。在某些示例中，语音输出信号462可通过有线连接来传送。本文所公开的方面和示例可有利地应用于在环境中提供来自佩戴头戴式耳机、耳机(headphone)、耳机(earphone)等的用户的经话音增强的语音输出信号，该环境可易受回声影响并且可具有附加的声源，诸如其他谈话者、机械和装备、航天航空噪音或任何其他背景噪声源。
图4B示出了另一个示例性系统400B，该系统类似于系统400A，不同的是回声参考信号486而不是估计的回声信号452被提供给频谱增强器450。在各种示例中，诸如当参考信号而不是估计的信号被提供给频谱增强器450时，可包括均衡块490。均衡块490被配置为使第二语音估计信号456与回声参考信号486均衡。如上文所讨论的，第二语音估计信号456可由回声消除器480从第一语音估计信号488提供(该第二语音估计信号可受到各种阵列处理技术的影响)，而回声参考信号486可来自预滤波器484，使得第二语音估计信号456和回声参考信号486可具有在不同子频带中施加的基本上不同的频率响应和/或不同的增益。因此，当提供此类参考信号而不是估计信号时，均衡可改善频谱增强器450的性能。在某些示例中，当用户未说话时，例如，当预期第二语音估计信号456基本上由回声分量组成时，可计算(选择、调适等)均衡块490的设置(例如，系数)，回声参考信号486也是如此。
例如，当用户不说话时，第二语音估计信号456和回声参考信号486中的一者可表示基本上等同的声学内容(例如，回放回声，其可包括例如会话伙伴的远端话音)，但由于不同的处理而具有不同的频率响应，使得在无用户话音的时间期间计算的均衡设置可改善频谱增强器550的操作。因此，在一些示例中，当语音活动检测器指示耳机用户不说话(例如，VAD＝0)时，可计算均衡块490的设置。当用户开始谈话时(例如，VAD＝1)，可冻结均衡块490的设置。在一些示例中，均衡块490可结合异常值拒绝(例如，舍弃看似异常的数据)，并且可强制执行一个或多个最大或最小均衡级，以避免错误均衡和/或避免施加过度均衡。
图5A示出了另一个示例性系统500A，该系统类似于系统400A，但包括具有两个回声参考信号输入的回声消除器480a。因此，在各种示例中，右回放信号和左回放信号中的一者可作为参考信号提供给此类双参考回声消除器480a。此类双参考回声消除器480a可包括右预滤波器484R和左预滤波器484L，这些预滤波器类似于上述预滤波器484操作以分别与右侧和左侧的静态或标称回声传递函数匹配。下文关于图5C提供了示例性双参考回声消除器480a的其他细节。
图5B示出了另一个示例性系统500B，该系统类似于具有双参考回声消除器480a的系统500A。系统500B将回声参考信号486提供给频谱增强器450，并且可包括均衡块490以提供第二语音估计信号456与回声参考信号486之间的均衡，该均衡类似于上述系统400B的均衡。
图5C示出了示例性双参考回声消除器480a。右回放信号482R和左回放信号482L被接收为回声参考信号，并且可分别由右预滤波器484R和左预滤波器484L进行滤波，以分别与标称右回声传递函数和标称左回声传递函数匹配。右自适应滤波器510和左自适应滤波器520可提供自适应滤波(例如，以适应回声传递路径的变化)，以提供右回声估计值和左回声估计值，这些回声估计值可由组合器530组合以提供回声估计信号532。从第一语音估计信号488中减去回声估计信号532以提供第二语音估计信号456。第二语音估计信号456可作为误差信号提供给一种或多种自适应算法(例如，NLMS)以更新右自适应滤波器510和左自适应滤波器520的滤波器系数。
在各种示例中，语音活动检测器(VAD)可提供用于指示用户何时谈话的标志，并且回声消除器480a可接收VAD标志，并且当用户正在谈话时和/或在用户开始谈话不久之后暂停或冻结自适应滤波器510、520的自适应。
图6示出了另一个示例性系统600，该系统类似于系统400A，但包括多个回声消除器480，其中一个回声消除器作用于右侧信号，并且其中一个回声消除器作用于左侧信号。如上文参考图3所讨论的，可在噪声消除之前提供回声消除，并且系统600呈现用于双耳应用的一个此类示例。在示例性系统600中，右回声消除器480R作用于右主信号416，其中右回放信号482R作为回声参考信号。类似地，左回声消除器480L作用于左主信号426，其中左回放信号482L作为回声参考信号。回声消除器480中的每一个回声消除器从相应的主信号416、426移除或降低与相应的回放信号482相关的分量。右回声消除器480R提供右回声降低信号419，并且左回声消除器480L提供左回声降低信号429，并且右回声降低信号419和左回声降低信号429中的一者由组合器442接收。因此，在噪声消除之前提供系统600中的回声消除。
在各种示例中，回声消除器可包括与预滤波器484类似的预滤波器和/或可作用于预滤波后的信号。如前所述，回声参考信号可为回放信号或者可为预滤波后的回放信号，并且预滤波可包括操作以与固定或标称回声传递函数匹配的滤波，使得预滤波后的输出是第一噪声估计值，并且噪声消除器(例如，噪声消除器480、480R、480L中的任一噪声消除器)可包括自适应滤波，该自适应滤波可适应实际回声传递函数相对于标称回声传递函数的变化，并且可至少部分地由于预滤波而更快速地收敛于合适的滤波器系数。在各种示例中，噪声消除器480、480R、480L中的任一噪声消除器可结合预滤波器，诸如图6所示的任选预滤波器484R、484L，并且在一些示例中，预滤波器484R、484L可被实施为一组标称滤波器系数，以在启动时加载在自适应滤波器中，例如，以与声学驱动器和一个或多个麦克风之间的预期标称回声传递函数匹配。
在一些示例或某些示例的一些应用中，具有两个回声消除器480(诸如在系统600中，一个用于右侧，并且另一个用于左侧)的系统可能需要比例如仅具有一个回声消除器480的系统400A更多的处理，但这在一些情况下可提供更稳健的回声消除，诸如右回放信号482R的内容与左回放信号482L的内容显著地不同，例如，右回放信号和左回放信号是显著不相关的。
各种示例可经由多个部件提供回声消除的组合。例如，一些示例包括如图6所示的右回声消除器480R和左回声消除器480L，并且还包括如图4A所示的回声消除器480，以提供两级回声控制。另外或另选地，一些示例包括频谱增强器450(或其他后滤波器)以降低或移除回声分量。进一步另外或另选地，一些示例可包括作用于语音输出信号462的另一回声控制块以提供回声降低。例如，回声消除器480可被定位成作用于语音输出信号462，或者可施加频谱滤波器或各种增益设置，这可取决于作用于语音输出信号462的此类回声控制块的频率，以降低回声内容的影响或量。
在一些示例中，包括如所示的回声消除器480的回声控制部件可基于一个或多个系统准则(诸如检测到回声内容较低)而被禁用。当回声消除被认为不必要时，此类操作可提供功率和处理器节省。在一些示例中，诸如当无源衰减(例如，经由在用户头部上的良好拟合)足以将回声降低到可接受水平时或者当回放音量低时、或这两者、或存在其他因素时，系统可以确定回声耦合最小。在此类情况下，系统可被配置为禁用一个或多个回声控制部件，诸如一个或多个回声消除器480或频谱增强器450。
在上文讨论的示例性系统中，可部分地通过使用波束形成技术来为主信号提供增强的用户语音分量。在某些示例中，波束形成器(例如，阵列处理器306、412、422)可使用超指向性近场波束形成以在耳机应用中控制波束朝像用户的嘴部。本文的示例性系统中讨论的波束形成器的某些示例实施超指向性技术并且利用用户语音的近场方面，例如，用户的话音的直接路径是由麦克风(相对较少的麦克风，例如，在一些情况下为两个麦克风)由于接近用户的嘴部(而不是趋于更远且相应地不太主导的噪声源)而接收到的信号的主导分量。
另外，如上文所讨论的，某些示例包括各种零点控制部件(例如，阵列处理器308、414、424)的延迟相加实施方式。此外，耳机应用中的传统系统在存在风噪声的情况下未能提供足够的结果。本文的某些示例结合双耳加权(例如，通过作用于组合器442、444的加权计算器470)，以在必要时调整或切换两侧之间的平衡，以适应和补偿有风的状况。
因此，本文提供的某些方面和示例通过使用超指向性近场波束形成、延迟相加零点控制、双耳加权因数或这些的任何组合中的一者或多者来在耳机/头戴式耳机应用方面提供增强的性能。
某些示例包括波束处理或其他信号混合的变型。一些示例可在右侧和左侧中的一者或多者实施两个或更多个波束处理器，并且可提供主信号(例如，右主信号416和/或左主信号426)作为来自多个波束处理器的输出的混合或选择。例如，右波束处理器412可包括施加两种不同阵列处理技术的两个波束处理器，诸如用于第一技术的MVDR和用于第二技术的延迟相加，并且在一些情况下，MVDR输出可被选择/提供为右主信号416，而在其他情况下(或在其他时间，在变化的条件下)，延迟相加输出可被选择/提供为右主信号416。在各种示例中，两种此类阵列处理技术的信号能量内容可为用于检测风或其他噪声分量的基础，这可在选择提供哪个阵列处理输出提供作为主信号(例如，选择哪种阵列处理技术可提供更好的语音-噪声比和/或语音-回声比)时加以考虑。
各种示例可包括变化的噪声消除布置。例如，噪声消除器440可被配置为接受多个噪声参考信号，并且右参考信号418和左参考信号428中的一者可被提供给此类噪声消除器，例如，不混合组合成组合参考信号448。在一些示例中，例如，右参考信号418和左参考信号428可单独地提供给噪声消除器，而组合参考信号448可作为噪声估计值提供给频谱增强器450。
在各种示例中，风检测能力可为一个或多个标志(例如，指示器信号)，并且可将该一个或多个标志提供给各种部件，该标志可通过例如对左侧或右侧进行更大程度加权、切换至单耳操作和/或冻结各种滤波器的自适应来响应风的指示。
可与如本文所述的各种双耳回声控制集成的双耳噪声消除的双耳波束形成选择、混合、变型以及风检测的其他细节可参考名称为“用于降噪的音频信号处理(AUDIO SIGNALPROCESSING FOR NOISE REDUCTION)”的相关美国专利申请号xx/xxx,xxx，该美国专利申请与本发明于同一日期提交并且据此全文以引用方式并入以用于所有目的。各种示例可将本文所述的部件和架构与相关申请中描述的那些部件和架构结合，诸如系统400A、400B、500A、500B、600中的任一者与相关申请的图5至图10的那些系统的组合。
在一些示例中，一个或多个延迟可包括在一条或多条信号路径中。在某些示例中，此类延迟可适应VAD检测用户语音活动的时间延迟，例如使得在处理包括用户语音分量的信号部分之前发生调适暂停。在某些示例中，此类延迟可校准各种信号以适应两个信号之间的处理差异。
某些示例可包括低功率或待机模式以减少能量消耗和/或延长能量源(诸如电池)的寿命。例如，并且如上所述，用户可能需要在通话之前按下按钮(例如，一键通(PTT))或说出唤醒命令。在此类情况下，示例性系统可保持在禁用、待机或低功率状态，直到按下按钮或接收到唤醒命令为止。在接收到系统需要提供增强语音的指示(例如，按钮按下或唤醒命令)时，可对示例性系统的各种部件进行上电、开启或以其他方式激活该各种部件。可强制执行短暂停顿，以基于背景噪声(例如，没有用户的语音)和/或回声建立自适应滤波器的权重和/或滤波器系数，和/或通过例如加权计算器470基于各种因素(例如，来自右侧或左侧的风或高噪声)建立双耳加权。附加示例包括各种部件保持在禁用、待机或低功率状态，直到诸如用语音活动检测模块检测到语音活动为止。
在各种示例和组合中，上述系统和方法中的一个或多个可用于捕获耳机用户的语音并相对于背景噪声、回声和其他谈话者隔离或增强用户的语音。所述的系统和方法中的任一者及其变型可在不同的可靠性水平下基于例如麦克风质量、麦克风放置、声学端口、耳机框架设计、阈值、对自适应算法、频谱算法和其他算法的选择、加权因数、窗口大小等以及可适应不同应用和操作参数的其他准则来实施。
应当理解，本文公开的功能或方法和系统部件中的任一者可在数字信号处理器(DSP)、微处理器、逻辑控制器、逻辑电路等或这些部件的任何组合中实施或执行，并且可包括关于任何特定实现方式的模拟电路部件和/或其他部件。任何合适的硬件和/或软件(包括固件等)可被配置为执行或实施本文公开的方面和示例的部件。
已经在上文描述了至少一个示例的若干方面，应当理解，本领域技术人员将容易想到各种改变、修改和改进。此类改变、修改和改进旨在成为本公开的一部分，并且旨在落入本发明的范围内。因此，上述说明书和附图仅是示例性的，并且本发明的范围应由所附权利要求书的适当构造及其等同内容来确定。

Claims (20)

1.一种增强耳机用户的话音的方法，所述方法包括：
接收从与所述耳机相关联的至少一个麦克风导出的主信号，所述主信号被配置为包括来自所述用户的话音分量；
接收表示至少一个回放信号的回声参考信号，所述至少一个回放信号由音频源提供以将由与所述耳机相关联的声学驱动器渲染成声学信号；
接收表示所述耳机的环境中的声学噪声的噪声参考信号；以及
对所述主信号进行滤波以降低与所述噪声参考信号相关的分量并降低与所述回声参考信号相关的分量，以提供语音估计信号。
2.根据权利要求1所述的方法，所述方法还包括通过对所述至少一个回放信号进行预滤波来生成所述回声参考信号。
3.根据权利要求2所述的方法，其中对所述至少一个回放信号进行预滤波包括通过表示静态回声传递函数的一组预先确定的滤波器系数进行滤波。
4.根据权利要求1所述的方法，其中对所述主信号进行滤波以降低与所述回声参考信号相关的分量包括通过使用一组初始滤波器系数和一组调适后的滤波器系数两者对所述回声参考信号进行滤波来生成估计的回声信号，并且从所述主信号中减去所述估计的回声信号。
5.根据权利要求1所述的方法，其中所述主信号是右侧主信号，并且所述回声参考信号是右侧回声参考信号，并且还包括接收左侧主信号、接收左侧回声参考信号，以及对所述左侧主信号进行滤波以降低与所述左侧回声参考信号相关的分量。
6.根据权利要求1所述的方法，所述方法还包括通过对来自多个麦克风的多个信号进行阵列处理来生成所述主信号，以增强对源于所述用户的嘴部的方向的声学信号的响应。
7.根据权利要求1所述的方法，所述方法还包括通过对来自多个麦克风的多个信号进行阵列处理来生成所述噪声参考信号，以降低对源于所述用户的嘴部的所述方向的声学信号的响应。
8.根据权利要求1所述的方法，所述方法还包括通过将来自所述耳机左侧的第一信号与来自所述耳机右侧的第二信号进行组合来生成所述主信号。
9.根据权利要求1所述的方法，其中对所述主信号进行滤波包括对所述回声参考信号进行滤波以生成估计的回声信号，并且从所述主信号中减去所述估计的回声信号。
10.根据权利要求8所述的方法，其中对所述回声参考信号进行滤波包括在未检测到双向通话条件的时间段期间自适应地调整滤波器系数。
11.一种音频系统，所述音频系统包括：
至少一个左麦克风，所述至少一个左麦克风耦合到左听筒以提供左主信号；
至少一个右麦克风，所述至少一个右麦克风耦合到右听筒以提供右主信号；和
信号处理器，所述信号处理器被配置为：
接收至少一个回放信号，
从所述至少一个回放信号导出回声参考信号，
根据所述左主信号和所述右主信号提供组合信号，
根据所述左主信号和所述右主信号提供噪声参考信号，以及
对所述组合主信号进行滤波以降低与所述噪声参考信号相关的分量并降低与所述回声参考信号相关的分量，以提供语音估计信号。
12.根据权利要求11所述的音频系统，其中通过处理多个回放信号来导出所述回声参考信号，所述多个回放信号中的每一个回放信号将由与所述耳机系统相关联的至少一个驱动器渲染成声学信号。
13.根据权利要求12所述的音频系统，其中处理所述多个回放信号包括基于回放音量、风噪声分量和平衡参数中的至少一者来选择所述多个回放信号中的一个回放信号。
14.根据权利要求11所述的音频系统，其中从所述至少一个回放信号导出所述回声参考信号包括对所述至少一个回放信号进行预滤波。
15.根据权利要求14所述的音频系统，其中对所述至少一个回放信号进行预滤波包括通过表示静态回声传递函数的一组预先确定的滤波器系数进行滤波。
16.根据权利要求11所述的音频系统，其中所述信号处理器被配置为通过以下操作对所述组合信号进行滤波：对所述噪声参考信号进行滤波以生成估计的噪声信号、对所述回声参考信号进行滤波以生成估计的回声信号，以及从所述组合信号中减去所述估计的噪声信号和所述估计的回声信号。
17.一种耳机，所述耳机包括：
至少一个麦克风，所述至少一个麦克风耦合到听筒以提供麦克风信号；
至少一个输入，所述至少一个输入从音频源接收回放信号；
至少一个声学驱动器，所述至少一个声学驱动器耦合到所述耳机并且被配置为将所述回放信号转换为声学信号；
降噪滤波器，所述降噪滤波器被配置为接收从所述麦克风信号导出的噪声参考信号并提供估计的噪声信号；
回声消除滤波器，所述回声消除滤波器被配置为接收从所述回放信号导出的回声参考信号并提供估计的回声信号；和
信号处理器，所述信号处理器被配置为提供至少部分地从所述麦克风信号导出的估计的语音信号，包括减去所述估计的噪声信号和所述估计的回声信号而导出的估计的语音信号。
18.根据权利要求17所述的耳机，其中所述至少一个麦克风包括多个麦克风，并且所述信号处理器被配置为至少部分地通过对来自所述多个麦克风的一个或多个信号进行阵列处理，来提供所述估计的语音信号。
19.根据权利要求17所述的耳机，所述耳机还包括预滤波器，以通过由表示静态回声传递函数的一组预先确定的滤波器系数对所述回放信号进行预滤波，来从所述回放信号导出所述回声参考信号。
20.根据权利要求17所述的耳机，其中所述至少一个输入包括用于接收多个回放信号的多个输入，并且所述信号处理器被进一步配置为通过选择所述多个回放信号中的一个回放信号来导出所述回声参考信号。
CN201980020573.1A 2018-03-19 2019-03-18 头戴式耳机中的双耳自适应噪声消除系统中的回声控制 Pending CN111902866A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/925,102 2018-03-19
US15/925,102 US10438605B1 (en) 2018-03-19 2018-03-19 Echo control in binaural adaptive noise cancellation systems in headsets
PCT/US2019/022693 WO2019182945A1 (en) 2018-03-19 2019-03-18 Echo control in binaural adaptive noise cancellation systems in headsets

Publications (1)

Publication Number Publication Date
CN111902866A true CN111902866A (zh) 2020-11-06

Family

ID=65952228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980020573.1A Pending CN111902866A (zh) 2018-03-19 2019-03-18 头戴式耳机中的双耳自适应噪声消除系统中的回声控制

Country Status (4)

Country Link
US (1) US10438605B1 (zh)
EP (1) EP3769305B1 (zh)
CN (1) CN111902866A (zh)
WO (1) WO2019182945A1 (zh)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9826306B2 (en) 2016-02-22 2017-11-21 Sonos, Inc. Default playback device designation
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) * 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11178480B2 (en) * 2018-10-12 2021-11-16 Oticon A/S Noise reduction method and system
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US10629220B1 (en) * 2019-03-27 2020-04-21 Lenovo (Singapore) Pte Ltd Selective AEC filter bypass
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10984815B1 (en) * 2019-09-27 2021-04-20 Cypress Semiconductor Corporation Techniques for removing non-linear echo in acoustic echo cancellers
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
CN113038315A (zh) * 2019-12-25 2021-06-25 荣耀终端有限公司 一种语音信号处理方法及装置
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
CN111402913B (zh) * 2020-02-24 2023-09-12 北京声智科技有限公司 降噪方法、装置、设备和存储介质
US11521643B2 (en) * 2020-05-08 2022-12-06 Bose Corporation Wearable audio device with user own-voice recording
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11482236B2 (en) 2020-08-17 2022-10-25 Bose Corporation Audio systems and methods for voice activity detection
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US20230274753A1 (en) * 2022-02-25 2023-08-31 Bose Corporation Voice activity detection
WO2023192312A1 (en) * 2022-03-29 2023-10-05 The Board Of Trustees Of The University Of Illinois Adaptive binaural filtering for listening system using remote signal sources and on-ear microphones

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359504B1 (en) * 2002-12-03 2008-04-15 Plantronics, Inc. Method and apparatus for reducing echo and noise
CN102625205A (zh) * 2011-01-28 2012-08-01 米特尔网络公司 用于无线听筒和耳机的回声抑制
US20120250882A1 (en) * 2011-04-04 2012-10-04 Qualcomm Incorporated Integrated echo cancellation and noise suppression
US20120278070A1 (en) * 2011-04-26 2012-11-01 Parrot Combined microphone and earphone audio headset having means for denoising a near speech signal, in particular for a " hands-free" telephony system
US20140050326A1 (en) * 2012-08-20 2014-02-20 Nokia Corporation Multi-Channel Recording
US20140288927A1 (en) * 2013-03-22 2014-09-25 Unify Gmbh & Co. Kg Procedure and Mechanism for Controlling and Using Voice Communication
US20150104031A1 (en) * 2013-10-14 2015-04-16 Qualcomm Incorporated Limiting active noise cancellation output
CN104661158A (zh) * 2013-11-25 2015-05-27 华为技术有限公司 立体声耳机、终端及两者的音频信号处理方法
CN207020986U (zh) * 2017-06-23 2018-02-16 森声数字科技（深圳）有限公司 一种双声道立体声录音设备

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453291B1 (en) 1999-02-04 2002-09-17 Motorola, Inc. Apparatus and method for voice activity detection in a communication system
US6363349B1 (en) 1999-05-28 2002-03-26 Motorola, Inc. Method and apparatus for performing distributed speech processing in a communication system
US6339706B1 (en) 1999-11-12 2002-01-15 Telefonaktiebolaget L M Ericsson (Publ) Wireless voice-activated remote control device
GB2364480B (en) 2000-06-30 2004-07-14 Mitel Corp Method of using speech recognition to initiate a wireless application (WAP) session
US7953447B2 (en) 2001-09-05 2011-05-31 Vocera Communications, Inc. Voice-controlled communications system and method using a badge application
US7315623B2 (en) 2001-12-04 2008-01-01 Harman Becker Automotive Systems Gmbh Method for supressing surrounding noise in a hands-free device and hands-free device
EP1524879B1 (en) 2003-06-30 2014-05-07 Nuance Communications, Inc. Handsfree system for use in a vehicle
US7412070B2 (en) 2004-03-29 2008-08-12 Bose Corporation Headphoning
AU2007266255B2 (en) 2006-06-01 2010-09-16 Hear Ip Pty Ltd A method and system for enhancing the intelligibility of sounds
WO2008008730A2 (en) 2006-07-08 2008-01-17 Personics Holdings Inc. Personal audio assistant device and method
US8855329B2 (en) * 2007-01-22 2014-10-07 Silentium Ltd. Quiet fan incorporating active noise control (ANC)
US8625819B2 (en) 2007-04-13 2014-01-07 Personics Holdings, Inc Method and device for voice operated control
US8577062B2 (en) 2007-04-27 2013-11-05 Personics Holdings Inc. Device and method for controlling operation of an earpiece based on voice activity in the presence of audio content
US8611560B2 (en) 2007-04-13 2013-12-17 Navisense Method and device for voice operated control
CN102077607B (zh) 2008-05-02 2014-12-10 Gn奈康有限公司 组合至少两个音频信号的方法和包括至少两个麦克风的麦克风系统
JP5223576B2 (ja) * 2008-10-02 2013-06-26 沖電気工業株式会社 エコーキャンセラ、エコーキャンセル方法及びプログラム
JP5386936B2 (ja) * 2008-11-05 2014-01-15 ヤマハ株式会社 放収音装置
US8184822B2 (en) 2009-04-28 2012-05-22 Bose Corporation ANR signal processing topology
US8880396B1 (en) 2010-04-28 2014-11-04 Audience, Inc. Spectrum reconstruction for automatic speech recognition
US8965546B2 (en) 2010-07-26 2015-02-24 Qualcomm Incorporated Systems, methods, and apparatus for enhanced acoustic imaging
JP5573517B2 (ja) 2010-09-07 2014-08-20 ソニー株式会社 雑音除去装置および雑音除去方法
US8620650B2 (en) 2011-04-01 2013-12-31 Bose Corporation Rejecting noise with paired microphones
CN102300140B (zh) * 2011-08-10 2013-12-18 歌尔声学股份有限公司 一种通信耳机的语音增强方法及降噪通信耳机
US9438985B2 (en) * 2012-09-28 2016-09-06 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
US8798283B2 (en) 2012-11-02 2014-08-05 Bose Corporation Providing ambient naturalness in ANR headphones
US9124965B2 (en) * 2012-11-08 2015-09-01 Dsp Group Ltd. Adaptive system for managing a plurality of microphones and speakers
CN104247280A (zh) 2013-02-27 2014-12-24 视听公司 话音控制的通信连接
US20140278393A1 (en) 2013-03-12 2014-09-18 Motorola Mobility Llc Apparatus and Method for Power Efficient Signal Conditioning for a Voice Recognition System
CN105229737B (zh) 2013-03-13 2019-05-17 寇平公司 噪声消除麦克风装置
CN104050971A (zh) * 2013-03-15 2014-09-17 杜比实验室特许公司 声学回声减轻装置和方法、音频处理装置和语音通信终端
WO2014168618A1 (en) * 2013-04-11 2014-10-16 Nuance Communications, Inc. System for automatic speech recognition and audio entertainment
CN103269465B (zh) * 2013-05-22 2016-09-07 歌尔股份有限公司 一种强噪声环境下的耳机通讯方法和一种耳机
US9502028B2 (en) 2013-10-18 2016-11-22 Knowles Electronics, Llc Acoustic activity detection apparatus and method
DE112014005295T5 (de) 2013-11-20 2016-10-20 Knowles Ipc (M) Sdn. Bhd. Vorrichtung mit einem Lautsprecher, die als zweites Mikrofon verwendet wird
US20150172807A1 (en) 2013-12-13 2015-06-18 Gn Netcom A/S Apparatus And A Method For Audio Signal Processing
WO2015120475A1 (en) 2014-02-10 2015-08-13 Bose Corporation Conversation assistance system
US9681246B2 (en) 2014-02-28 2017-06-13 Harman International Industries, Incorporated Bionic hearing headset
DE112015004522T5 (de) 2014-10-02 2017-06-14 Knowles Electronics, Llc Akustische Vorrichtung mit niedrigem Leistungsverbrauch und Verfahren für den Betrieb
JP6201949B2 (ja) * 2014-10-08 2017-09-27 株式会社Ｊｖｃケンウッド エコーキャンセル装置、エコーキャンセルプログラム及びエコーキャンセル方法
EP3007170A1 (en) 2014-10-08 2016-04-13 GN Netcom A/S Robust noise cancellation using uncalibrated microphones
US20160162469A1 (en) 2014-10-23 2016-06-09 Audience, Inc. Dynamic Local ASR Vocabulary
WO2016089745A1 (en) 2014-12-05 2016-06-09 Knowles Electronics, Llc Apparatus and method for digital signal processing with microphones
WO2016094418A1 (en) 2014-12-09 2016-06-16 Knowles Electronics, Llc Dynamic local asr vocabulary
US20160189220A1 (en) 2014-12-30 2016-06-30 Audience, Inc. Context-Based Services Based on Keyword Monitoring
EP3040984B1 (en) * 2015-01-02 2022-07-13 Harman Becker Automotive Systems GmbH Sound zone arrangment with zonewise speech suppresion
US10045140B2 (en) 2015-01-07 2018-08-07 Knowles Electronics, Llc Utilizing digital microphones for low power keyword detection and noise suppression
TW201640322A (zh) 2015-01-21 2016-11-16 諾爾斯電子公司 用於聲音設備之低功率語音觸發及方法
US9905216B2 (en) * 2015-03-13 2018-02-27 Bose Corporation Voice sensing using multiple microphones
US9554210B1 (en) 2015-06-25 2017-01-24 Amazon Technologies, Inc. Multichannel acoustic echo cancellation with unique individual channel estimations
US9401158B1 (en) 2015-09-14 2016-07-26 Knowles Electronics, Llc Microphone signal fusion
US9997173B2 (en) 2016-03-14 2018-06-12 Apple Inc. System and method for performing automatic gain control using an accelerometer in a headset
US9843861B1 (en) 2016-11-09 2017-12-12 Bose Corporation Controlling wind noise in a bilateral microphone array
US10311889B2 (en) 2017-03-20 2019-06-04 Bose Corporation Audio signal processing for noise reduction

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359504B1 (en) * 2002-12-03 2008-04-15 Plantronics, Inc. Method and apparatus for reducing echo and noise
CN102625205A (zh) * 2011-01-28 2012-08-01 米特尔网络公司 用于无线听筒和耳机的回声抑制
US20120250882A1 (en) * 2011-04-04 2012-10-04 Qualcomm Incorporated Integrated echo cancellation and noise suppression
US20120278070A1 (en) * 2011-04-26 2012-11-01 Parrot Combined microphone and earphone audio headset having means for denoising a near speech signal, in particular for a " hands-free" telephony system
US20140050326A1 (en) * 2012-08-20 2014-02-20 Nokia Corporation Multi-Channel Recording
US20140288927A1 (en) * 2013-03-22 2014-09-25 Unify Gmbh & Co. Kg Procedure and Mechanism for Controlling and Using Voice Communication
US20150104031A1 (en) * 2013-10-14 2015-04-16 Qualcomm Incorporated Limiting active noise cancellation output
CN104661158A (zh) * 2013-11-25 2015-05-27 华为技术有限公司 立体声耳机、终端及两者的音频信号处理方法
WO2015074363A1 (zh) * 2013-11-25 2015-05-28 华为技术有限公司 立体声耳机、终端及两者的音频信号处理方法
CN207020986U (zh) * 2017-06-23 2018-02-16 森声数字科技（深圳）有限公司 一种双声道立体声录音设备

Also Published As

Publication number Publication date
US10438605B1 (en) 2019-10-08
WO2019182945A1 (en) 2019-09-26
EP3769305A1 (en) 2021-01-27
US20190287546A1 (en) 2019-09-19
EP3769305B1 (en) 2024-01-24

Similar Documents

Publication Publication Date Title
EP3769305B1 (en) Echo control in binaural adaptive noise cancellation systems in headsets
JP7098771B2 (ja) ノイズ低減のためのオーディオ信号処理
US10499139B2 (en) Audio signal processing for noise reduction
US10957301B2 (en) Headset with active noise cancellation
US10424315B1 (en) Audio signal processing for noise reduction
CN109218912B (zh) 多麦克风爆破噪声控制
EA011361B1 (ru) Аппарат и способ усиления звука
US10249323B2 (en) Voice activity detection for communication headset
CN113498005A (zh) 适于提供用户自我话音的估计量的听力装置
EP3977443B1 (en) Multipurpose microphone in acoustic devices
CN113543003A (zh) 包括定向系统的便携装置
US11700485B2 (en) Differential audio data compensation
EP4297436A1 (en) A hearing aid comprising an active occlusion cancellation system and corresponding method
CN117615290A (zh) 听力装置的风噪降噪方法
AU2005282209A1 (en) Apparatus and method for sound enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination