CN118216161A - 联网自动混合器系统及方法 - Google Patents

联网自动混合器系统及方法 Download PDF

Info

Publication number
CN118216161A
CN118216161A CN202280074921.5A CN202280074921A CN118216161A CN 118216161 A CN118216161 A CN 118216161A CN 202280074921 A CN202280074921 A CN 202280074921A CN 118216161 A CN118216161 A CN 118216161A
Authority
CN
China
Prior art keywords
sub
signals
audio signal
signal
array microphones
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280074921.5A
Other languages
English (en)
Inventor
格雷戈里·H·坎菲尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shure Acquisition Holdings Inc
Original Assignee
Shure Acquisition Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shure Acquisition Holdings Inc filed Critical Shure Acquisition Holdings Inc
Publication of CN118216161A publication Critical patent/CN118216161A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/50—Aspects of automatic or semi-automatic exchanges related to audio conference
    • H04M2203/509—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/001—Adaptation of signal processing in PA systems in dependence of presence of noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/007—Electronic adaptation of audio signals to reverberation of the listening space for PA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/009—Signal processing in [PA] systems to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

公开用于使用阵列麦克风及聚合器单元进行联网音频自动混合的系统及方法，所述阵列麦克风及聚合器单元参与做出共同选通决策以确定打开及关闭哪些通道。通过使用具有产生子混合音频信号及降低的带宽度量的能力以及AEC处理能力的此阵列麦克风网络，可增强阵列麦克风波瓣选择，同时最大化信噪比、提高可懂度及提高用户满意度。

Description

联网自动混合器系统及方法
相关申请案的交叉参考
本申请案主张2021年10月4日申请的第63/262,074号美国临时专利申请案的权利，且其全部内容通过引用方式完全并入本文中。
技术领域
本申请案大体上涉及用于联网音频自动混合的系统及方法。特定来说，本申请案涉及用于参与做出共同选通决策的阵列麦克风及聚合器单元的网络的系统及方法，且实现基于来自阵列麦克风的子混合音频信号产生最终混合音频信号，其中子混合音频信号基于波束成形信号而产生。
背景技术
会议及演示环境，例如会议室、会议场合及其类似者，可涉及使用多个麦克风或麦克风阵列波瓣从各种音频源捕获声音。例如，音频源可包含人类扬声器。捕获的声音可通过放大的扬声器(用于声音增强)传播给环境中的本地观众，及/或(例如经由电视广播及/或网络广播)传播给远离所述环境的其它人。麦克风或阵列波瓣中的每一者可形成通道。
通常，捕获的声音还可包含环境中的噪声(例如，不期望的非语音或非人类声音)，包含持续噪声，例如来自通风、机械及电子装置的噪声，以及不定噪声，例如突然的、脉冲式的或反复出现的声音，如翻动纸张、打开袋子及容器、咀嚼、打字等。为了最小化捕获声音中的噪声，可利用自动混合器自动选通及/或衰减特定麦克风或阵列波瓣的音频信号以在其未捕获人类话音或语音时减轻背景、静态或稳态噪声的贡献。语音活动检测(VAD)算法也可用于通过检测人类话音或语音的存在或不存在来最小化捕获的声音中的不定噪声。其它降噪技术可降低某些背景、静态或稳态噪声，例如风扇及HVAC系统噪声。
当前自动混合器单元通常需要连接到系统中每一个别麦克风或阵列波瓣的音频信号以便确定打开或关闭哪些音频信号。自动混合器单元接着确定选通决策以决定自动衰减哪些音频信号(即通道)，例如通过关闭仅含有噪声的音频信号。然而，随着麦克风或阵列波瓣的数目增大，自动混合器单元可能没有足够的处理资源及/或足够的可用端口来连接到麦克风。此外，大量音频信号可需要从麦克风路由到自动混合器单元，这可能需要额外布线，所述额外布线可为困难的、不可能的及/或昂贵的。
为了支持更大数目个音频信号，一些当前自动混合器系统可允许多个自动混合器单元连结在一起以获得协调的选通决策。在此情况下，自动混合器单元中的每一者在麦克风外部且通常需要自动混合器单元中的一者充当决策者来确定协调选通决策。然而，由于在自动混合器单元中的每一者中的单独及专用处理，此类连结系统可需要增加的处理资源及成本。因而，使用当前自动混合单元及系统来执行大量麦克风及/或阵列波瓣的自动混合可为昂贵的、不可行的及不期望的。
此外，在音频及会议系统中可需要声学回声消除(AEC)，以例如防止环境中播放的远程远端声音(例如，扬声器上播放的会议远端参与者的话音)由本地环境中的麦克风感测到且传输回远程参与者。然而，对大量麦克风信号中的每一者执行AEC可为计算密集且复杂的。另外，当麦克风信号已经混合时，将传统AEC技术应用于混合信号可能无法有效消除回声。
因此，解决这些问题的系统及方法迎来了机遇。更特定来说，用于阵列麦克风网络及聚合器单元的系统及方法迎来了机遇，所述阵列麦克风可各自基于波束成形信号及共同选通控制信号产生子混合音频信号，且还基于波束成形信号产生降低的带宽度量，而所述聚合器单元基于子混合音频信号产生最终混合音频信号，且还基于降低的带宽度量产生共同选通控制信号。通过使用具有产生子混合音频信号及降低的带宽度量的能力以及AEC处理能力的此阵列麦克风网络，可增强阵列麦克风波瓣选择，同时最大化信噪比、提高可懂度、减少处理资源及信号路由复杂性，且提高整体用户满意度。
发明内容
本发明希望通过提供系统及方法来解决上述问题，所述系统及方法经设计以尤其：(1)在连接的阵列麦克风网络中的每一者中利用处理单元，其中每一处理单元确定波束成形信号的降低的带宽度量，且基于波束成形信号及共同选通控制信号及/或共同选通决策产生子混合音频信号；(2)在聚合器单元聚合来自阵列麦克风中的每一者的子混合音频信号及降低的带宽度量，所述聚合器单元基于子混合音频信号产生最终混合音频信号且还基于降低的带宽度量产生选通控制信号；(3)基于选通控制信号及参考信号，使用每一阵列麦克风的处理单元从波束成形信号产生回声经消除的子混合音频信号；及(4)通过相应可见及/或隐藏音频传送通道在阵列麦克风与聚合器单元之间传输子混合音频信号、降低的带宽度量及选通控制信号。
在实施例中，一种音频系统可包含多个阵列麦克风及与所述多个阵列麦克风通信的聚合器单元。所述多个阵列麦克风中的每一者可包含：多个麦克风元件，各自经配置以提供麦克风信号；波束成形器，其与所述多个麦克风元件通信；及处理单元。所述波束成形器可经配置以基于来自所述多个麦克风元件中的每一者的所述麦克风信号产生一或多个波束成形信号，且所述一或多个波束成形信号中的每一者可与所述阵列麦克风的波瓣相关联。所述处理单元可经配置以从所述波束成形器接收所述一或多个波束成形信号，基于所述一或多个波束成形信号确定一或多个降低的带宽度量，且基于所述一或多个波束成形信号及选通控制信号产生子混合音频信号。所述聚合器单元可经配置以基于从所述多个阵列麦克风中的每一者接收的所述子混合音频信号产生最终混合音频信号，且基于从所述多个阵列麦克风中的每一者接收的所述一或多个降低的带宽度量产生所述选通控制信号。
在另一实施例中，一种音频系统可包含多个阵列麦克风及与所述多个阵列麦克风通信的聚合器单元。所述多个阵列麦克风中的每一者可包含：多个麦克风元件，各自经配置以提供麦克风信号；波束成形器，其与所述多个麦克风元件通信；及处理单元。所述波束成形器可经配置以基于来自所述多个麦克风元件中的每一者的所述麦克风信号产生一或多个波束成形信号，且所述一或多个波束成形信号中的每一者可与所述阵列麦克风的波瓣相关联。所述处理单元可经配置以从所述波束成形器接收所述一或多个波束成形信号，基于所述一或多个波束成形信号确定一或多个降低的带宽度量，且基于所述一或多个波束成形信号及选通控制信号产生回声经消除的子混合音频信号。所述处理单元可经配置以从所述波束成形器接收所述一或多个波束成形信号，基于所述一或多个波束成形信号确定一或多个降低的带宽度量，且基于所述一或多个波束成形信号及选通控制信号产生子混合音频信号。所述聚合器单元可经配置以基于从所述多个阵列麦克风中的每一者接收的所述回声经消除的子混合音频信号来产生最终混合音频信号，且基于从所述多个阵列麦克风中的每一者接收的所述一或多个降低的带宽度量来产生所述选通控制信号。
通过阐述说明性实施例的以下详细描述及附图，这些及其它实施例以及各种排列及方面将变得显而易见且得到更全面理解，所述说明性实施例指示可采用本发明的原理的各种方式。
附图说明
图1是根据一些实施例的包含用于自动混合波束成形音频信号的多个阵列麦克风及聚合器单元的系统的示意图。
图2是根据一些实施例的用于根据从阵列麦克风接收的降低的带宽度量产生选通控制信号且根据从阵列麦克风接收的子混合音频信号产生最终混合音频信号的聚合器单元的示意图。
图3是根据一些实施例的包含波束成形器及用于从波束成形信号产生降低的带宽度量且用于从波束成形信号及从聚合器单元接收的选通控制信号产生子混合音频信号的处理单元的阵列麦克风的示意图。
图4是说明根据一些实施例的使用图3的阵列麦克风产生降低的带宽度量及子混合音频信号以及使用图2的聚合器单元产生选通控制信号及最终混合音频信号的操作的流程图。
图5是根据一些实施例的包含波束成形器及用于从波束成形信号产生降低的带宽度量且用于从波束成形信号及从聚合器单元接收的选通控制信号产生回声经消除的子混合音频信号的处理单元的阵列麦克风的示意图。
图6是说明根据一些实施例的用于使用图5的阵列麦克风产生降低的带宽度量及回声经消除的子混合音频信号且用于使用图2的聚合器单元产生选通控制信号及最终混合音频信号的操作的流程图。
图7是根据一些实施例的聚合器单元的示意图，所述聚合器单元用于从从阵列麦克风接收的降低的带宽度量产生选通控制信号，产生经预处理混合音频信号，且根据从阵列麦克风接收的子混合音频信号产生最终混合音频信号。
图8是根据一些实施例的包含波束成形器及处理单元的阵列麦克风的示意图，所述处理单元用于从波束成形信号产生降低的带宽度量，用于产生经预处理子混合音频信号，且用于从波束成形信号及从聚合器单元接收的选通控制信号产生回声经消除的子混合音频信号。
图9是说明根据一些实施例的用于使用图8的阵列麦克风产生降低的带宽度量、经预处理子混合音频信号及回声经消除的子混合音频信号，且用于使用图7的聚合器单元产生选通控制信号、经预处理混合音频信号及最终混合音频信号的操作的流程图。
具体实施方式
以下描述根据本发明的原理描述、说明及举例说明本发明的一或多个特定实施例。提供此描述并非是为了将本发明限制于本文中所描述的实施例，而是为了解释及教示本发明的原理，使得所属领域的一般技术人员能够理解这些原理，且在理解的情况下，不仅能够应用它们来实践本文中所描述的实施例，还能够应用它们来实践根据这些原理可想到的其它实施例。本发明的范围希望覆盖字面上或在等同原则下可落入所附权利要求书的范围内的所有此类实施例。
应注意，在描述及附图中，类似或基本上类似元件可标有相同参考数字。然而，有时这些元件可用不同数字标记，例如(举例来说)在此标记促进更清楚的描述的情况下。另外，本文阐述的附图并不一定按比例绘制，且在一些例子中，比例可经夸大以更清楚地描绘某些特征。此标记及制图并不一定暗示潜在实质性目的。如上文所述，本说明书希望被视为一个整体且根据如本文教示且所属领域的一般技术人员所理解的本发明的原理进行解释。
本文中所描述的系统及方法可基于已由包含在所连接的阵列麦克风网络中的处理单元产生的降低的带宽度量及子混合音频信号产生最终混合音频信号。最终混合音频信号可包含基于共同选通控制信号产生的音频，所述共同选通控制信号考虑由所有阵列麦克风感测的声音。每一阵列麦克风可基于共同选通控制信号产生子混合音频信号，所述子混合音频信号指示跨阵列麦克风网络的打开或关闭的阵列麦克风波瓣。系统及方法可增强阵列麦克风波瓣的选择，这可实现改善的信噪比、更好的音频可懂度及增加的用户满意度。最终混合音频信号可符合期望音频混合，使得来自阵列麦克风的某些通道的音频经加强，而来自阵列麦克风的其它通道的音频经削弱或抑制。
降低的带宽度量可基于从阵列麦克风中的麦克风元件导出的波束成形信号来确定，且子混合音频信号可基于从聚合器单元接收的波束成形信号及共同选通控制信号来产生。聚合器单元可基于子混合音频信号产生最终混合音频信号，且还基于来自阵列麦克风中的每一者的降低的带宽度量产生选通控制信号。
通过在每一阵列麦克风上本地分配波束成形信号的处理以产生降低的带宽度量及子混合音频信号，可减少聚合器单元所需的处理资源。另外，还可减少阵列麦克风与聚合器单元之间的信号的路由及连接，这是因为仅需要将子混合音频信号及降低的带宽度量从阵列麦克风路由到聚合器单元，而不是将信号从阵列麦克风的所有个别麦克风元件路由到聚合器单元。此外，各种信号(例如，子混合音频信号、降低的带宽度量及选通控制信号)可通过可见及/或隐藏音频传送通道(例如，通过IP网络的音频传送解决方案)在阵列麦克风与聚合器单元之间传输，这可利用阵列麦克风上的现有能力及端口。
在一些实施例中，包含于阵列麦克风中的每一者的处理单元还可处理波束成形信号以产生回声经消除的子混合音频信号。在这些实施例中，来自每一阵列麦克风的回声经消除的子混合音频信号可路由到聚合器单元。通过在每一阵列麦克风中在本地对波束成形信号执行声学回声消除(AEC)，可进一步减少对聚合器单元中的处理资源的需求，因为聚合器单元不需要对大量信号执行计算上昂贵的AEC。另外，在这些实施例中，还可减少阵列麦克风与聚合器单元之间的信号的路由及连接。
图1是包含用于自动混合波束成形音频信号的多个阵列麦克风102及聚合器单元104的系统100的示意图。图2是聚合器单元104的示意图，聚合器单元104用于从从阵列麦克风接收的降低的带宽度量来产生选通控制信号，且根据从阵列麦克风接收的子混合音频信号来产生最终混合音频信号。
例如，例如会议室、教堂等的环境可利用系统100来促进与远程位置处的人的通信及/或用于声音增强。环境可包含期望的音频源(例如，人类扬声器)及/或不期望的音频源(例如，来自通风、其它人、音频/视频设备、电子装置等的噪声)。系统100可基于共同选通控制信号产生最终混合音频信号的输出，所述共同选通控制信号考虑由所有阵列麦克风102捕获的音频，且衰减及/或关闭含有不期望的音频的信号。
阵列麦克风102中的每一者可检测环境中的声音，且被放置在桌子、讲台、桌面、墙壁、天花板等上或中，使得可检测及捕获来自音频源的声音，例如人类说话者所说的话音。阵列麦克风中的每一者可包含任何数目个麦克风元件，且能够形成具有波瓣的多个拾音模式，使得可检测及捕获来自音频源的声音。在阵列麦克风102中的每一者中，任何适当数目个麦克风元件是可能且被考虑在内的。
系统100中包含的各种组件(即阵列麦克风102及聚合器单元104)可使用可由一或多个计算装置(例如膝上型计算机、台式计算机、平板计算机、智能手机等)执行的软件实施。此类计算机装置可包括一或多个处理器、存储器、图形处理单元(GPU)、离散逻辑电路、专用集成电路(ASIC)、可编程门阵列(PGA)、现场可编程门阵列(FPGA)等，其中的一或多者可经配置以执行本文中所描述的一些或所有技术。
如下文更详细描述，阵列麦克风102中的每一者中的处理单元可基于从阵列麦克风102中的麦克风元件获得的波束成形信号产生降低的带宽度量及子混合音频信号。子混合音频信号也可基于从聚合器单元104接收的选通控制信号。由特定阵列麦克风102产生的子混合音频信号可为所述阵列麦克风102的波束成形信号的混合。降低的带宽度量及子混合音频信号可从阵列麦克风102传输到聚合器单元104。
聚合器单元104可从阵列麦克风102中的每一者接收子混合音频信号且产生最终混合音频信号。聚合器单元104还可基于从阵列麦克风102中的每一者接收的降低的带宽度量来产生选通控制信号。在实施例中，其它合适指标也可由聚合器单元104用来产生选通控制信号。例如，聚合器单元104可基于可基于一或多个传感器的值来确定的指示来产生选通信号。此类传感器可与聚合器单元104通信。选通控制信号可指示阵列麦克风102的被打开或关闭的波瓣。在实施例中，阵列麦克风102可产生阵列麦克风102可将其传输到聚合器单元104的回声经消除的子混合音频信号。聚合器单元104可基于这些回声经消除的子混合音频信号产生最终混合音频信号。在一些实施例中，聚合器单元104的至少一些功能可包含于阵列麦克风102中的一或多者中，而不是作为系统100的单独独立组件。
来自阵列麦克风102的降低的带宽度量及子混合音频信号以及来自聚合器单元104的选通控制信号可通过任何合适音频传送通道传输。在实施例中，降低的带宽度量、子混合音频信号及选通控制信号可通过音频传送通道传输及/或通过隐藏音频传送通道传输。音频传送通道可为(例如)通过IP网络的音频传送解决方案。在实施例中，用于传输的音频传送通道可经加密。在一些实施例中，隐藏的音频传送通道可用于某些信号以便保护信号免受不期望的或未授权的内容及/或路由修改的影响，且还简化用户与系统的交互使得用户仅看到可通过其路由的通道。
由阵列麦克风102产生的降低的带宽度量可代表由阵列麦克风102中的波束成形器产生的波束成形信号的测量。通过使用降低的带宽度量，可最小化表示波束成形信号的信息量。例如，波束成形信号的全部带宽不需要从阵列麦克风102传输到聚合器单元104，因为降低的带宽度量可充分代表波束成形信号。在实施例中，波束成形信号在产生降低的带宽度量之前可能已经处理，例如通过调整其增益及/或均衡。在实施例中，可为阵列麦克风102中的每一波束成形信号产生不同的信号特定的降低的带宽度量，且可将所有信号特定的降低的带宽度量组合成最终从阵列麦克风102传输到聚合器单元104的降低的带宽度量。
降低的带宽度量可包含，例如，阵列麦克风102中波束成形信号中的每一者的基本电平测量的计算。在实施例中，可通过对波束成形信号应用带通滤波器(或其它加权滤波器)，接着对滤波的波束成形信号进行整流及平均化以获得波束成形信号的电平估计来计算基本电平测量。在实施例中，降低的带宽度量可包含从全带宽信号或状态信息中导出的其它信息。例如，降低的带宽度量还可包含与环境中说话人及/或其它期望声音的定位、波瓣部署(例如，位置)、线性预测编码(LPC)系数及/或用各种压缩算法变换的音频信号相关的信息。
由阵列麦克风102产生的子混合音频信号中的每一者可为由特定阵列麦克风102中的波束成形器产生的波束成形信号的混合。子混合音频信号可各自考虑从聚合器单元104接收的共同选通控制信号以确定打开或关闭哪些通道。在一些实施例中，子混合音频信号可经编码为24位音频通道。
如图2中所展示，聚合器单元104可从阵列麦克风102中的每一者接收降低的带宽度量。聚合器单元104可包括选通控制信号产生单元202及最终混合音频信号产生单元204。聚合器单元104中的选通控制信号产生单元202可基于接收的降低的带宽度量产生一或多个选通控制信号。选通控制信号可从聚合器单元104的选通控制信号产生单元202传输到阵列麦克风102中的每一者。特定来说，选通控制信号可传输到所有阵列麦克风102，使得阵列麦克风102中的每一者知道哪些通道将被衰减及/或打开或关闭，包含除接收选通控制信号的阵列麦克风之外的阵列麦克风的通道。在实施例中，可存在被发送到阵列麦克风102中的每一者的不同选通控制信号，其中每一选通控制信号基于由选通控制信号产生单元202进行的共同选通决策计算。这些不同选通控制信号可包含简化信息，例如特定阵列麦克风102的将被衰减及/或打开或关闭的特定通道或通道子集。
在实施例中，选通控制信号可指示响应于确定捕获的音频含有人类话音及/或根据特定通道选择规则而打开哪些通道以提供无抑制(或在特定实施例中，具有最小抑制)的捕获音频。类似地，例如，响应于确定通道中捕获的音频是背景、静态或稳态噪声，选通控制信号可指示关闭哪些通道以降低某些捕获的音频的强度。在实施例中，选通控制信号可包含于一或多个帧中(例如，在符合Dante标准及/或另一联网音频传送系统的信号中)，所述帧可指示每一通道的选通参数。
在实施例中，选通控制信号可指示网络增益。选通控制信号可基于MAX总线、混响抑制信号及噪声自适应阈值的计算来计算。MAX总线可表示任何输入信号的缩放输入的最大电平。混响抑制信号可跟踪任何未缩放的基本电平测量的最大值的一部分，例如四分之一。噪声自适应阈值可用于确定波束成形的音频信号是否高于背景噪声阈值。在共同转让的标题为“数字麦克风自动混合器(Digital Microphone Automixer)”的第8,644,477号美国专利(所述美国专利的全部内容通过引用方式并入本文中)描述选通控制信号、计算基本电平测量、产生子混合音频信号及产生MAX总线、混响抑制信号及噪声自适应阈值的示范性实施例以及其它联网自动混合器的示范性实施例。
聚合器单元104还可从阵列麦克风102中的每一者接收子混合音频信号。聚合器单元104中的最终混合音频信号产生单元204可基于接收的子混合音频信号产生系统100的最终混合音频信号。由于阵列麦克风102中的每一者上的处理单元在产生相应子混合音频信号时已考虑共同选通控制信号，因此最终混合音频信号产生单元204可将子混合音频信号混合在一起以产生最终混合音频信号，而无需额外处理。换句话说，聚合器单元104可不需要衰减及/或打开或关闭任何特定音频通道，这是因为来自阵列麦克风102的子混合音频信号已包含来自将包含于最终混合音频信号中的音频通道的贡献(如由选通控制信号指定)。最终混合音频信号可符合期望的音频混合，使得来自阵列麦克风102的某些通道的音频信号经加强，而来自阵列麦克风102的其它通道的音频信号经削弱或抑制。
在一些实施例中，聚合器单元104还可通过将一或多个本地麦克风信号(未展示)与来自阵列麦克风102中的每一者的子混合音频信号混合来产生最终混合音频信号。在这些实施例中，本地麦克风信号可直接传输到聚合器单元104。另外，聚合器单元104可基于来自阵列麦克风102中的每一者的降低的带宽度量且还基于从本地麦克风信号导出的信息来产生选通控制信号。
在实施例中，聚合器单元104可确定可传输到阵列麦克风102的一或多个延迟值，以便确保子混合音频信号、降低的带宽度量、选通控制信号及/或其它信号的正确产生。例如，由阵列麦克风102中的每一者计算的子混合音频信号及降低的带宽度量在传输到聚合器单元104用于处理时通常应彼此时间对准，使得聚合器单元104正确地产生选通控制信号。阵列麦克风102可基于从聚合器单元104接收的延迟值来延迟信号的产生及/或传输。正确产生及传输信号可确保由聚合器单元104产生的最终混合音频信号具有更高质量(例如，在正确时间打开通道以包含来自说话人的话音等)。聚合器单元104可基于与阵列麦克风102中的每一者相关的固定及/或测量的延迟值来确定延迟值。
图3是包含波束成形器304及用于从波束成形信号产生降低的带宽度量且用于从波束成形信号及从聚合器单元104接收的选通控制信号产生子混合音频信号的处理单元306的阵列麦克风300的示意图。图4是用于使用图3的阵列麦克风300产生降低的带宽度量及子混合音频信号及用于使用图2的聚合器单元产生选通控制信号及最终混合音频信号的过程400的流程图。将在下文更详细描述可与阵列麦克风300一起使用的过程400。
图5是包含波束成形器504及用于从波束成形信号产生降低的带宽度量且用于从波束成形信号及从聚合器单元104接收的选通控制信号产生回声经消除的子混合音频信号的处理单元506的阵列麦克风500的示意图。图6是用于使用图5的阵列麦克风500产生降低的带宽度量及回声经消除的子混合音频信号，且用于使用图2的聚合器单元产生选通控制信号及最终混合音频信号的过程600的流程图。下文更详细描述可与阵列麦克风500一起使用的过程600。
阵列麦克风300、500及聚合器单元104内的一或多个处理器及/或其它处理组件(例如，模/数转换器、加密芯片等)可执行过程400、600的任何步骤、一些步骤或所有步骤。一或多个其它类型的组件(例如，存储器、输入及/或输出装置、传输器、接收器、缓冲器、驱动器、离散组件等)也可与处理器及/或其它处理组件结合使用以执行过程400、600的任何、一些或所有步骤。
如图4中所展示，过程400的步骤402、404、406及408可由图3中所展示的阵列麦克风300的麦克风元件302、波束成形器304及处理单元306执行。阵列麦克风300的处理单元306可包含度量产生单元308及子混合产生单元310。类似地，图6中所展示的过程600的步骤602、604、606、608及609可由图5中所展示的阵列麦克风500的麦克风元件502、波束成形器504及处理单元506来执行。阵列麦克风500的处理单元506可包含度量产生单元508、子混合产生单元510及混合后声学回声消除单元512。图4及6中所展示的过程400及600的步骤410、412、610及612可由图2中所展示的聚合器单元104执行。
在步骤402、602，来自麦克风元件302、502中的每一者的音频信号可由波束成形器304、504接收。麦克风元件302、502中的每一者可检测环境中的声音且将声音转换成模拟或数字音频信号。在一些实施例中，麦克风元件302、502可布置成同心环及/或谐波嵌套。在一些实施例中，麦克风元件302、502可经布置成大致对称。在其它实施例中，麦克风元件302、502可不对称地或以另一布置来布置。在进一步实施例中，举例来说，麦克风元件302、502可布置在衬底上、放置在框架中或个别地悬挂。在共同转让的第9,565,493号美国专利案中描述阵列麦克风的实施例，所述美国专利案的全部内容通过引用方式并入本文中。在实施例中，麦克风元件302、502可为主要在一个方向上敏感的单向麦克风。在其它实施例中，根据需要，麦克风元件302、502可具有其它方向性或极性模式，例如心形、次心形或全向。
麦克风元件302、502可为任何合适类型的换能器，其可检测来自音频源的声音且将声音转换为电子音频信号。在实施例中，麦克风元件302、502可为微机电系统(MEMS)麦克风。在其它实施例中，麦克风元件302、502可为电容式麦克风、平衡电枢麦克风、驻极体麦克风、动态麦克风及/或其它类型的麦克风。在实施例中，麦克风元件302、502可一维或二维排列。
在步骤404、604，可由阵列麦克风300、500中的波束成形器304、504根据在步骤402、602接收的麦克风元件302、502的音频信号形成一或多个拾取模式。在步骤404、604，波束成形器304、504可产生对应于拾取模式中的每一者的波束成形信号。拾取模式可由一或多个波瓣组成，例如主波瓣、侧波瓣及后波瓣。波束成形器304、504可为任何合适波束成形器，例如延迟及求和波束成形器或最小方差无失真响应(MVDR)波束成形器。
来自波束成形器304、504的波束成形信号可在阵列麦克风300、500内传输到处理单元306、506。特定来说，来自波束成形器304、504的波束成形信号可传输到度量产生单元308、508及处理单元306、506中的子混合产生单元310、510。另外，在阵列麦克风500的处理单元506中，来自波束成形器504的波束成形信号也可传输到混合后声学回声消除单元512。
在步骤406、606，处理单元306、506的度量产生单元308、508可基于从波束成形器304、504接收的波束成形信号产生降低的带宽度量。降低的带宽度量可表示波束成形信号的测量，且可包含(例如)波束成形信号的基本电平测量及/或从全带宽信号或状态信息导出的其它信息，如先前所描述。在步骤406、606产生的降低的带宽度量可从度量产生单元308、508传输到聚合单元104。
在步骤410、610，聚合单元可接收阵列麦克风300、500中的每一者在步骤406、606产生的降低的带宽度量，且使用选通控制信号产生单元202产生全局选通控制信号。降低的带宽度量表示阵列麦克风300、500中的每一者中的波束成形信号。选通控制信号可指示阵列麦克风300、500的哪些通道打开或关闭，及/或抑制或不抑制，如先前所描述。选通控制信号可从聚合器单元104传输到阵列麦克风300、500中的每一者。
在步骤408、608，子混合产生单元310、510可从波束成形器304、504接收波束成形信号(在步骤404、604产生)且还可从聚合器单元104接收选通控制信号(在步骤410、610产生)。在步骤408、608，子混合产生单元310、510可基于波束成形信号及选通控制信号产生子混合音频信号。特定来说，子混合产生单元310、510可使用选通控制信号中的信息来对阵列麦克风300、500中的波束成形信号施加处理以衰减所述信号及/或打开或关闭所述信号。
在包含阵列麦克风300的实施例中，由子混合产生单元310在步骤408产生的子混合音频信号可传输导聚合器单元104。在一些实施例中，在步骤408产生的子混合音频信号在传输到聚合器单元104之前可经处理以进行降噪、增益调整、声学回声消除及/或其它信号处理(例如，通过阵列麦克风，例如阵列麦克风300及/或500)。在步骤412，聚合器单元104可从阵列麦克风300中的每一者接收子混合音频信号且产生最终混合音频信号。最终混合音频信号可反映来自阵列麦克风300的波束成形信号/通道的期望音频混合(如在子混合音频信号中体现)，且如由选通控制信号指定。例如，在实施例中，最终混合音频信号可传输到远程位置(例如，会议的远端)及/或在环境中播放用于声音增强。在一些实施例中，在步骤412产生的最终混合音频信号可经处理以进行降噪、增益调整、声学回声消除及/或其它信号处理。
在包含阵列麦克风500的另一实施例中，由子混合产生单元510在步骤608产生的子混合音频信号可传输到阵列麦克风500的处理单元506中的混合后回声消除单元512。子混合产生单元510还可已确定在步骤608产生子混合音频信号时使用的子混合音频信号的选通增益。在实施例中，选通控制信号产生单元202可执行用于确定选通增益的许多计算，且这些计算的结果可作为选通控制信号的部分从选通控制信号产生单元202传输到子混合产生单元510。在其它实施例中，选通控制信号产生单元202可基于在选通控制信号产生单元202中执行的计算的结果来确定子混合音频信号的选通增益，且选通增益可作为选通控制信号的部分从选通控制信号产生单元202传输到子混合产生单元510。在步骤609，子混合音频信号、子混合音频信号的选通增益、波束成形信号及参考音频信号可由混合后声学回声消除单元512用于产生回声经消除的子混合音频信号。
当波束成形音频信号被求和为混合后声学回声消除单元512中使用的子混合音频信号时，将选通增益应用于波束成形音频信号中的每一者。在实施例中，选通控制信号产生单元202可计算数个打开麦克风衰减(NOMA)比例因子及关闭衰减比例因子。NOMA比例因子及关闭衰减比例因子可作为来自选通控制信号产生单元202的选通控制信号的部分传输。在应用平均/平滑滤波之后，每通道选通增益可由子混合产生单元510通过将NOMA比例因子与关闭衰减比例因子相乘来产生。
因此，阵列麦克风500中处理单元506的子混合产生单元510可将应用于每一通道的选通增益提供给混合后回声消除单元512。此外，选通增益是基于网络范围的共同选通决策，而不是基于本地选通决策。以此方式，混合后声学回声消除单元512结合子混合产生单元510可具有改进性能，因为其组合行为可受到来自系统中所有阵列麦克风的通道的影响。
回声经消除的子混合音频信号可减轻参考音频信号中的声音。参考音频信号可包含(例如)从远程位置接收的正在本地环境中的扬声器上播放的声音。另一示范性参考音频信号可为本地产生或播放的声音，所述声音可由本地麦克风拾取且期望从近端话音移除。进一步示范性参考音频信号可为房间中不同部分的近端说话者的，其已经放大到阵列麦克风附近的扬声器中。在一些实施例中，不同参考音频信号可传输到系统中的不同阵列麦克风500。
特定来说，混合后声学回声消除单元512可基于来自子混合产生单元510的子混合音频信号、从波束成形音频信号收集的信息及参考音频信号产生回声经消除的子混合音频信号。子混合音频信号及波束成形信号可由混合后声学回声消除单元512在频域中处理，以便产生回声经消除的子混合音频信号。混合后声学回声消除单元512可包含信号选择机构，其经配置以选择波束成形信号中的至少一者，使得回声经消除的子混合音频信号基于子混合音频信号、从所选择的波束成形信号收集的信息及参考音频信号来产生。从所选择的波束成形信号收集的信息可包含(例如)所选择的波束成形信号的背景误差功率及隐藏误差功率的测量。信号选择机构可包含开关、可选择特定波束成形信号的混频器(通过衰减一些或所有其它波束成形信号)及/或另一合适信号选择机构。在标题为“混合后声学回声消除系统及方法(Post-Mixing Acoustic Echo Cancellation Systems and Methods)”的第10,367,948号共同转让的美国专利案中描述混合后声学回声消除系统及方法的示范性实施例，所述美国专利案的全部内容通过引用方式并入本文中。在一些实施例中，回声经消除的子混合音频信号在传输到聚合器单元104之前可进一步处理以降低噪声。
在步骤612，聚合器单元104可从阵列麦克风500中的每一者接收回声经消除的子混合音频信号且产生最终混合音频信号。最终混合音频信号可反映来自阵列麦克风500的波束成形信号/通道的期望音频混合(如回声经消除的子混合音频信号中体现)，且如由选通控制信号指定。例如，在实施例中，最终混合音频信号可传输到远程位置(例如，会议的远端)及/或在环境中播放用于声音增强。由于在步骤612产生的最终混合音频信号包含来自阵列麦克风500中的每一者的回声经消除的子混合音频信号，因此最终混合音频信号可传输到远程位置，而例如没有远程位置的人听到他们自己的语音及声音的不期望的回声。
进一步实施例使得能够产生例如可用于本地声音增强的经选通或未经选通的经预处理混合音频信号。此实施例包含与具有图8的处理单元806及子混合产生单元810的阵列麦克风800通信的图7的聚合器单元704，且参考图9的过程900进一步描述。为简单起见，在图7到8中，下文没有讨论的聚合器单元704及阵列麦克风800的其它组件的功能如先前所描述。类似地，过程900中未在下文讨论的其它步骤的功能也如先前所描述。
阵列麦克风800的处理单元806可包含子混合产生单元810，子混合产生单元810也根据从波束成形器504接收的波束成形信号产生经预处理子混合音频信号，例如在过程900的步骤907。来自阵列麦克风800的经预处理子混合音频信号可经选通或未经选通，且可或可不经处理以用于降噪、增益调整及/或回声消除目的。当经预处理子混合音频信号经选通时，子混合产生单元810可从波束成形信号且基于选通增益(例如在步骤608产生的增益)产生选通的经预处理子混合音频信号。经预处理子混合音频信号可从子混合产生单元810传输到聚合器单元704。
聚合器单元704可例如在过程900的步骤913使用预处理混合产生单元703产生经预处理混合音频信号。聚合器单元704还可从系统中的其它阵列麦克风800接收经预处理子混合音频信号，以便产生经预处理混合音频信号。在实施例中，取决于从阵列麦克风800接收的经预处理子混合音频信号是经选通还是未经选通，经预处理混合音频信号可经选通或未经选通。经预处理混合音频信号可为来自阵列麦克风800的经预处理子混合音频信号的期望音频混合。在实施例中，举例来说，经预处理混合音频信号可在环境中播放用于本地声音增强。
一般来说，根据实施例的计算机程序产品包含计算机可用存储媒体(例如，标准随机存取存储器(RAM)、光盘、通用串行总线(USB)驱动器或其类似者)，其中包含计算机可读程序代码，其中计算机可读程序代码适于由处理器(例如，与操作系统结合使用)执行，以实施下文所描述的方法。在此方面，程序代码可以任何期望语言实施，且可实施为机器代码、汇编代码、字节代码、可解释源代码或其类似者(例如，经由C、C++、Java、ActionScript、Objective-C、JavaScript、CSS、XML及/或其它)。
在本申请案中，析取词的使用希望包含合取词。定冠词或不定冠词的使用并不希望指示基数。特定来说，对“所述”物体或“一”及“一个”物体的引用也希望指示可能的多个此类物体中的一者。此外，连词“或”可用于传达同时存在的特征，而不是互斥选择。换句话说，连词“或”应理解为包含“及/或”。术语“包含(includes)”、“包含(including)”及“包含(include)”是包含性的且分别具有与“包括(comprises)”、“包括(comprising)”及“包括(comprise)”相同的范围。
图中的任何过程描述或块应理解为表示模块、代码段或部分，其包含用于实施过程中特定逻辑功能或步骤的一或多个可执行指令，且本发明的实施例的范围内包含替代实施方案，其中功能可不按所展示或所描述的顺序执行，包含基本上同时或按相反顺序执行，具体取决于所涉及的功能，如所属领域的一般技术人员所理解。
本公开希望解释如何根据技术设计及使用各种实施例，而非限制其真实、预期及合理范围及精神。前面描述并不希望穷举或局限于所公开的精确形式。鉴于上述教示，修改或变化是可能的。选择及描述实施例是为了提供对所描述技术的原理及其实际应用的最佳说明，且使所属领域的一般技术人员能够在各种实施例中利用技术且进行各种修改以适合预期的特定用途。当根据公平、合法及公正授权的范围进行解释时，所有此类修改及变化在由所附权利要求书及其所有等同物确定的实施例的范围内，所附权利要求书可在本专利申请案的待决期间进行修正。

Claims (20)

1.一种音频系统，其包括：
(A)多个阵列麦克风，其各自包括：
多个麦克风元件，其中所述多个麦克风元件中的每一者经配置以提供麦克风信号；
波束成形器，其与所述多个麦克风元件通信，其中所述波束成形器经配置以基于来自所述多个麦克风元件中的每一者的所述麦克风信号产生一或多个波束成形信号，且其中所述一或多个波束成形信号中的每一者与所述阵列麦克风的波瓣相关联；及
处理单元，其经配置以从所述波束成形器接收所述一或多个波束成形信号，基于所述一或多个波束成形信号确定一或多个降低的带宽度量，且基于所述一或多个波束成形信号及选通控制信号产生子混合音频信号；及
(B)聚合器单元，其与所述多个阵列麦克风通信，其中所述聚合器单元经配置以：
基于从所述多个阵列麦克风中的每一者接收的所述子混合音频信号产生最终混合音频信号；且
基于从所述多个阵列麦克风中的每一者接收的所述一或多个降低的带宽度量来产生所述选通控制信号。
2.根据权利要求1所述的音频系统，其中所述一或多个降低的带宽度量包括基本电平测量。
3.根据权利要求1所述的音频系统，其中所述聚合器单元进一步经配置以产生噪声自适应阈值信号，所述噪声自适应阈值信号指示所述波束成形信号中的一者高于背景噪声阈值。
4.根据权利要求1所述的音频系统，其中所述多个阵列麦克风中的一者包括所述聚合器单元。
5.根据权利要求1所述的音频系统，其中所述一或多个降低的带宽度量、所述子混合音频信号及所述选通控制信号中的每一者通过相应音频传送通道传输。
6.根据权利要求1所述的音频系统，其中：
所述一或多个降低的带宽度量及所述子混合音频信号通过相应隐藏音频传送通道从所述多个阵列麦克风中的每一者传输到所述聚合器单元；且
所述选通控制信号通过另一隐藏音频传送通道从所述聚合器单元传输到所述多个阵列麦克风中的每一者。
7.根据权利要求1所述的音频系统，其中所述一或多个降低的带宽度量、所述子混合音频信号及所述选通控制信号中的一或多者通过相应加密通道传输。
8.根据权利要求1所述的音频系统，其中所述聚合器单元进一步经配置以基于从至少一个本地麦克风信号导出的信息产生所述选通控制信号，且通过将所述至少一个本地麦克风信号与从所述多个阵列麦克风中的每一者接收的所述子混合音频信号混合来产生所述最终混合音频信号。
9.根据权利要求1所述的音频系统，
其中所述多个阵列麦克风中的每一者的所述处理单元进一步经配置以基于所述一或多个波束成形信号、所述选通控制信号、从所述一或多个波束成形信号收集的信息及参考音频信号来产生回声经消除的子混合音频信号；且
其中所述聚合器单元进一步经配置以基于从所述多个阵列麦克风中的每一者接收的所述回声经消除的子混合音频信号来产生所述最终混合音频信号。
10.根据权利要求9所述的音频系统，其中所述多个阵列麦克风中的每一者的所述处理单元进一步经配置以：
基于所述一或多个波束成形信号及所述选通控制信号产生一或多个选通增益；且
基于所述一或多个波束成形信号、所述子混合音频信号、所述一或多个选通增益及所述参考音频信号产生所述回声经消除的子混合音频信号。
11.根据权利要求9所述的音频系统，其中所述多个阵列麦克风中的每一者的所述处理单元包括：
存储器；
混合器，其与所述一或多个波束成形信号及所述存储器通信，所述混合器经配置以混合所述一或多个波束成形信号以产生所述子混合音频信号；及
声学回声消除器，其与所述混合器、所述存储器及所述参考音频信号通信，所述声学回声消除器经配置以基于所述子混合音频信号、从所述一或多个波束成形信号收集的所述信息及所述参考音频信号产生所述回声经消除的子混合音频信号。
12.根据权利要求11所述的音频系统：
其中所述多个阵列麦克风中的每一者的所述处理单元进一步包括与所述一或多个波束成形信号及所述声学回声消除器通信的信号选择机构，所述信号选择机构经配置以选择所述一或多个波束成形信号中的至少一者且将所述至少一个所选择的波束成形信号传达到所述声学回声消除器；且
其中所述声学回声消除器进一步经配置以基于所述子混合音频信号、从所述至少一个所选择的波束成形信号收集的信息及所述参考音频信号来产生所述回声经消除的子混合音频信号。
13.根据权利要求9所述的音频系统，其中所述多个阵列麦克风中的每一者的所述处理单元进一步经配置以基于所述选通控制信号来处理所述回声经消除的子混合音频信号以进行降噪。
14.根据权利要求9所述的音频系统：
其中所述多个阵列麦克风中的每一者的所述处理单元进一步经配置以基于所述一或多个波束成形信号产生经预处理子混合音频信号；且
其中所述聚合器单元进一步经配置以基于从所述多个阵列麦克风中的每一者接收的所述经预处理子混合音频信号来产生经预处理混合音频信号。
15.一种方法，其包括：
使用多个阵列麦克风中的每一者中的波束成形器且基于来自所述多个阵列麦克风中的一者中的多个麦克风元件中的每一者的麦克风信号，产生一或多个波束成形信号，其中所述一或多个波束成形信号中的每一者与所述多个阵列麦克风中的一者的波瓣相关联；
使用所述多个阵列麦克风中的每一者中的处理单元且基于所述一或多个波束成形信号来确定一或多个降低的带宽度量；
使用所述多个阵列麦克风中的每一者中的所述处理单元且基于所述一或多个波束成形信号及选通控制信号来产生子混合音频信号；
使用与所述多个阵列麦克风通信的聚合器单元且基于从所述多个阵列麦克风中的每一者接收的所述子混合音频信号来产生最终混合音频信号；及
使用所述聚合器单元且基于从所述多个阵列麦克风中的每一者接收的所述一或多个降低的带宽度量来产生所述选通控制信号。
16.根据权利要求15所述的方法，其进一步包括使用所述聚合器单元产生指示所述波束成形信号中的一者高于背景噪声阈值的噪声自适应阈值信号。
17.根据权利要求15所述的方法，其进一步包括通过相应音频传送通道传输所述一或多个降低的带宽度量、所述子混合音频信号及所述选通控制信号中的每一者。
18.根据权利要求15所述的方法，
其进一步包括使用所述多个阵列麦克风中的每一者中的所述处理单元，基于所述一或多个波束成形信号、所述选通控制信号、从所述一或多个波束成形信号收集的信息及参考音频信号来产生回声经消除的子混合音频信号；且
其中产生所述最终混合音频信号进一步包括使用所述聚合器单元基于从所述多个阵列麦克风中的每一者接收的所述回声经消除的子混合音频信号产生所述最终混合音频信号。
19.根据权利要求18所述的方法，
其进一步包括基于所述一或多个波束成形信号及所述选通控制信号，使用所述多个阵列麦克风中的每一者中的所述处理单元产生一或多个选通增益；且
其中产生所述回声经消除的子混合音频信号包括使用所述多个阵列麦克风中的每一者中的所述处理单元基于所述一或多个波束成形信号、所述子混合音频信号、一或多个选通增益及所述参考音频信号产生所述回声经消除的子混合音频信号。
20.根据权利要求18所述的方法，其进一步包括：
基于所述一或多个波束成形信号，使用所述多个阵列麦克风中的每一者中的所述处理单元产生经预处理子混合音频信号；及
使用所述聚合器单元，基于从所述多个阵列麦克风中的每一者接收的所述经预处理子混合音频信号来产生经预处理混合音频信号。
CN202280074921.5A 2021-10-04 2022-10-04 联网自动混合器系统及方法 Pending CN118216161A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163262074P 2021-10-04 2021-10-04
US63/262,074 2021-10-04
PCT/US2022/045694 WO2023059655A1 (en) 2021-10-04 2022-10-04 Networked automixer systems and methods

Publications (1)

Publication Number Publication Date
CN118216161A true CN118216161A (zh) 2024-06-18

Family

ID=83995710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280074921.5A Pending CN118216161A (zh) 2021-10-04 2022-10-04 联网自动混合器系统及方法

Country Status (3)

Country Link
US (1) US20230104602A1 (zh)
CN (1) CN118216161A (zh)
WO (1) WO2023059655A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8644477B2 (en) * 2006-01-31 2014-02-04 Shure Acquisition Holdings, Inc. Digital Microphone Automixer
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
GB2563857A (en) * 2017-06-27 2019-01-02 Nokia Technologies Oy Recording and rendering sound spaces
US10972835B2 (en) * 2018-11-01 2021-04-06 Sennheiser Electronic Gmbh & Co. Kg Conference system with a microphone array system and a method of speech acquisition in a conference system
EP3942845A1 (en) * 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality

Also Published As

Publication number Publication date
US20230104602A1 (en) 2023-04-06
WO2023059655A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
TWI749144B (zh) 混合後迴聲消除系統及方法
US9210503B2 (en) Audio zoom
US8842851B2 (en) Audio source localization system and method
CN105165026B (zh) 使用多个瞬时到达方向估计的知情空间滤波的滤波器及方法
US9111543B2 (en) Processing signals
US9558755B1 (en) Noise suppression assisted automatic speech recognition
US10250975B1 (en) Adaptive directional audio enhancement and selection
Lavandier et al. Binaural prediction of speech intelligibility in reverberant rooms with multiple noise sources
US10924872B2 (en) Auxiliary signal for detecting microphone impairment
US20050213747A1 (en) Hybrid monaural and multichannel audio for conferencing
US20130013303A1 (en) Processing Audio Signals
JP2020091465A (ja) ニューラルネットワークを使用した音クラスの識別
US20100329492A1 (en) Method for reducing noise in an input signal of a hearing device as well as a hearing device
JP2012147475A (ja) 音識別方法および装置
US20190214036A1 (en) Voice isolation system
Zheng et al. Experimental evaluation of a nested microphone array with adaptive noise cancellers
CN107124647A (zh) 一种全景视频录制时自动生成字幕文件的方法及装置
CN111354368B (zh) 补偿处理后的音频信号的方法
CN118216161A (zh) 联网自动混合器系统及方法
Sudharsan et al. A microphone array and voice algorithm based smart hearing aid
US10389325B1 (en) Automatic microphone equalization
US11889261B2 (en) Adaptive beamformer for enhanced far-field sound pickup
JP7207170B2 (ja) 収音装置、収音プログラム、収音方法、及び収音システム
Uhle Center signal scaling using signal-to-downmix ratios
WO2023117272A1 (en) Noise cancellation

Legal Events

Date Code Title Description
PB01 Publication