CN110121889A - 基于不相关噪声检测来从多个麦克风生成音频信号 - Google Patents

基于不相关噪声检测来从多个麦克风生成音频信号 Download PDF

Info

Publication number
CN110121889A
CN110121889A CN201780070735.3A CN201780070735A CN110121889A CN 110121889 A CN110121889 A CN 110121889A CN 201780070735 A CN201780070735 A CN 201780070735A CN 110121889 A CN110121889 A CN 110121889A
Authority
CN
China
Prior art keywords
audio signal
audio
microphone
frequency
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780070735.3A
Other languages
English (en)
Other versions
CN110121889B (zh
Inventor
E·蒂施
J·罗森鲍姆
M·汉松
李柯
D·伍尔兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
High Patrol Co
GoPro Inc
Original Assignee
High Patrol Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Patrol Co filed Critical High Patrol Co
Publication of CN110121889A publication Critical patent/CN110121889A/zh
Application granted granted Critical
Publication of CN110121889B publication Critical patent/CN110121889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H04R1/083—Special constructions of mouthpieces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/44—Special adaptations for subaqueous use, e.g. for hydrophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/07—Mechanical or electrical reduction of wind noise generated by wind passing a microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21—Direction finding using differential microphone array [DMA]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

音频捕获设备在多个麦克风之间进行选择以根据检测到的状况来生成输出音频信号。当检测到风噪声或其他不相关噪声的存在时，对于多个不同频率子带中的每一个，音频捕获设备选择具有最低噪声的音频信号，并且组合所选择的频率子带信号以生成输出音频信号。当未检测到风噪声或其他不相关噪声时，音频捕获设备确定多个麦克风中的每一个是潮湿还是干燥，并且根据它们各自的状况来选择来自这些麦克风的一个或多个音频信号。

Description

基于不相关噪声检测来从多个麦克风生成音频信号
技术领域
本公开涉及音频捕获，并且更具体地涉及从音频捕获系统中的多个可用麦克风生成音频信号。
背景技术
不同的环境状况可能显著影响传统相机捕获的音频质量。例如，音频可能受到风、水或其他环境状况的影响。当状况经常变化时，诸如当相机被移入风中和被移出风中时、当相机被移入水中和移出水中时、或者当相机被泼水时，优化音频捕获尤其具有挑战性。在诸如冲浪、游泳或其他水上运动等某些活动期间，可能在较长时间段内频繁发生这样的转换。
附图说明
所公开的实施例具有其他优点和特征，这些优点和特征从结合附图对本发明的以下详细描述和所附权利要求中将更容易明白，在附图中：
图1是示出音频捕获设备的示例实施例的框图。
图2是示出用于根据检测到的环境状况来从多个麦克风生成音频信号的过程的实施例的流程图。
图3是示出用于在导致来自不同麦克风的基本上不相关的音频信号的状况下生成音频信号的过程的实施例的流程图。
图4是示出用于在相机中选择麦克风并且根据麦克风是潮湿还是干燥来对音频进行编码的过程的实施例的流程图。
图5是示出根据浸没状况来从多个麦克风生成音频信号的过程的实施例的流程图。
图6是可以集成有音频捕获设备的相机的示例实施例。
具体实施方式
附图和以下描述涉及仅以解释说明方式给出的优选实施例。应当注意，从以下讨论，在不脱离所要求保护的原理的情况下，本文中公开的结构和方法的备选实施例将被容易地认为是可行的备选方案。
现在将详细参考若干实施例，这些实施例的示例在附图中被示出。注意，在可行的情况下，可以在附图中使用类似或相似附图标记，并且类似或相似附图标记可以指示类似或相似的功能。附图仅出于说明的目的描绘了所公开的系统(或方法)的实施例。本领域技术人员将从以下描述中容易地认识到，在不脱离本文所描述的原理的情况下，可以采用本文所示的结构和方法的备选实施例。
配置概述
在第一实施例中，在具有多个麦克风的音频捕获系统中生成输出音频信号。从多个麦克风接收至少第一音频信号和第二音频信号。从第一音频信号生成与多个频率子带相对应的第一多个频率子带信号，并且从第二音频信号生成与多个频率子带相对应的第二多个频率子带信号。对于第一多个频率子带信号和第二多个频率子带信号中的每一个，应用频带相关偏移以从第一多个频率子带信号生成第一多个偏移频率子带信号并且从第二多个频率子带信号生成第二多个偏移频率子带信号。确定第一多个偏移频率子带信号与第二多个偏移频率子带信号之间的整体相关性度量。响应于整体相关性度量超过第一预定义阈值，根据相关音频信号处理算法来处理音频信号以生成输出音频信号。响应于整体相关性度量不超过第一预定义阈值，根据不相关音频信号处理算法来处理音频信号以生成输出音频信号。
在另一实施例中，在具有多个麦克风的音频捕获设备中生成输出音频信号，多个麦克风至少包括捕获第一音频信号的第一参考麦克风、捕获第二音频信号的第二参考麦克风和捕获第三音频信号的排水麦克风。排水麦克风与排水通道相邻以将液体从排水麦克风排出。音频捕获设备确定第一参考麦克风和第二麦克风中的每一个是潮湿的还是干燥的。响应于确定第一参考麦克风和第二参考麦克风两者是潮湿的，选择来自排水麦克风的第三音频信号，并且从第三音频信号生成与第一时间段对应的第一单声道音频输出信号。响应于确定第一参考麦克风和第二参考麦克风两者是干燥的，选择来自第一参考麦克风的第一音频信号和来自第二参考麦克风的第二音频信号，以及通过处理第一音频信号和第二音频信号来生成与第二时间段对应的立体声音频输出信号。响应于确定第一参考麦克风是干燥的并且第二参考麦克风是潮湿的，选择来自第一参考麦克风的第一音频信号，并且从第一音频信号生成与第三时间段对应的第二单声道音频输出信号。响应于确定第二参考麦克风是干燥的并且第一参考麦克风是潮湿的，选择来自第二参考麦克风的第二音频信号，并且从第二音频信号生成与第四时间段对应的第三单声道输出音频信号。
示例音频捕获设备
图1示出了包括多个麦克风的音频捕获设备100的示例。音频捕获系统100可以包括多个参考麦克风120、至少一个排水麦克风110、麦克风选择控制器130、音频组合器135和音频编码器140，多个参考麦克风120至少包括第一参考麦克风122(或一组第一参考麦克风122)和第二参考麦克风124(或一组第二参考麦克风124)。在一个实施例中，第一参考麦克风122可以位于音频捕获设备100的顶面上(并且第一参考麦克风122在本文中也可以称为“顶部麦克风”)，第二参考麦克风124可以位于音频捕获设备100的侧面上(并且第二参考麦克风124在本文中可以称为“侧部麦克风”)，并且排水麦克风110可以位于音频捕获设备100的正面上(并且排水麦克风110在本文中也可以称为“正面麦克风”)。
排水麦克风110可以具有与其相邻的排水通道，以使得与从没有排水通道的参考麦克风120排出水相比，能够更快地从排水麦克风110排出水。排水通道可以被构造为使得水由于重力、毛细管和/或表面张力而从排水麦克风110被排出。在各种实施例中，排水通道可以使用内表面能量涂层或特定孔尺寸、形状、密度、图案或内部曲率或者是影响排水麦克风110的排水轮廓的特征组合来实现。因此，当从被淹没在水下到离开水时，排水麦克风110可以相对快速地恢复。因此，与参考麦克风120相比，排水麦克风110可以更好地减轻如下的频率响应失真，该频率响应失真是由于水被留在排水麦克风110上的膜上或者水模糊了到排水麦克风110的声学路径而导致的。在一个实施例中，至少参考麦克风120可以包括在泼洒的水与麦克风上的防水膜之间的物理屏障，以减轻泼洒的水的冲击。例如，在一个实施例中，该屏障包括吸收一些水冲击脉冲的塑料屏障。在另一实施例中，在该屏障与参考麦克风120上的防水膜之间可以存在空气缓存区。在另一实施例中，端口结构在参考麦克风120上的防水膜的外侧捕获水缓冲层，从而创建了能阻止泼洒的水直接冲击防水膜的保护层。另外，汇集在防水膜上的水的消声质量降低了泼洒的水的一些高频内容。在一个实施例中，排水麦克风110可以类似地包括防水膜。
在操作中，排水麦克风110和参考麦克风120都捕获环境音频105并且将所捕获的音频传递到麦克风选择控制器130。由排水麦克风110、第一参考麦克风122和第二参考麦克风124捕获的音频每个均由于麦克风110、122、124的不同结构特征和/或在音频捕获设备100上的位置而可以具有变化的音频特性。例如，由于排水通道，排水麦克风110可以在刮风状况下具有相对于参考麦克风120降低的信噪比。此外，当音频捕获设备100被浸没在水下时，排水麦克风110可能具有降低的信噪比，使得水不能从排水通道排出。然而，当音频捕获设备100被移出水面或者受到泼洒时，排水麦克风110通常可以具有比参考麦克风120更好的信噪比性能，因为排水麦克风110可以更快地将水从麦克风中排出。此外，由于它们的不同放置，第一参考麦克风122或第二参考麦克风124可以在捕获期间在不同时间在特定频带提供更好的信号质量。因此，在不同的音频捕获状况下，可能期望在由排水麦克风110、第一参考麦克风122和第二参考麦克风124捕获的音频信号或其部分(例如，不同频率子带)之间进行不同的选择。
麦克风选择控制器130处理从排水麦克风110和参考麦克风120捕获的音频，并且基于音频特性来选择要将哪个音频信号或其部分(例如，特定频率子带)传递到音频组合器135。在一个实施例中，麦克风选择控制器130逐块进行操作。在该实施例中，对于每个时间间隔，麦克风选择控制器130从排水麦克风110接收第一音频数据块，从第一参考麦克风122接收第二音频数据块，并且从第二参考麦克风124接收第三音频数据块。每个块对应于在相同时间间隔期间由相应麦克风110、122、124捕获的环境音频105。麦克风选择控制器130处理该组块以确定将哪个或哪些块或其部分传递到音频组合器135。麦克风选择控制器130可以在给定时间间隔内将来自麦克风110、122、124中的不同麦克风的多于一个的块传递到音频组合器135。如果多个块被传递到音频组合器135，则音频组合器135可以组合这些块以生成单个音频通道的块，或者可以生成单独的立体声音频通道的块。
在一个实施例中，麦克风选择控制器130可以将每个块中的音频划分为多个不同的频率子带。然后，麦克风选择控制器130可以确定要将来自哪些块的哪些频率子带传递到音频组合器135。因此，例如，对于给定的时间间隔，麦克风选择控制器130不必传递或保留住来自给定麦克风110、122、124的整个块，而是可以代之以仅传递来自从不同麦克风110、122、124的不同块的某些频率子带。以这种方式，麦克风选择控制器130可以选择来自特定麦克风的使音频组合器135能够提供最佳质量的音频输出的频率子带。
在一个实施例中，当参考麦克风122、124两者是潮湿的时，麦克风选择控制器130通常操作以在转换出水之后直接选择排水麦克风110，因为当麦克风是潮湿的时，排水麦克风110倾向于更快地排水并且具有更好的音频质量。此外，当麦克风122、124是干燥的时，麦克风选择控制器130通常操作以选择一个或两个参考麦克风120。
音频组合器135组合从麦克风选择控制器130接收到的音频的块或其部分(例如，特定频率子带)以生成组合音频信号。该组合可以包括组合从不同麦克风110、122、124接收到的块或其部分(例如，特定频率子带)。
然后，音频编码器140对组合音频信号进行编码以生成输出音频信号145。编码可以包括压缩音频信号。
在一个实施例中，麦克风选择控制130、音频组合器135和/或音频编码器140被实现为处理器和存储指令的非暂态计算机可读存储介质，这些指令在由处理器执行时执行属于本文中描述的麦克风选择控制器130、音频组合器135和/或音频编码器140的功能。麦克风选择控制器130、音频组合器135和音频编码器140可以使用公有的处理器或单独的处理器来实现。在其他实施例中，麦克风选择控制器130、音频组合器135和/或音频编码器140可以用硬件(例如，用FPGA或ASIC)、固件、或硬件、固件和软件的组合来实现。
在一个实施例中，音频捕获系统100在诸如下面参考图6描述的相机600等相机系统内实现。这样的相机可以使用由音频捕获系统100捕获的编码音频145作为由相机捕获的视频的音频通道。因此，音频捕获系统100可以以与对应的视频帧同时并且同步的方式捕获音频。
图2是示出用于从多个不同麦克风捕获的音频信号生成音频输出音频信号的过程的实施例的流程图。从至少两个麦克风接收202音频信号，至少两个麦克风可以包括排水麦克风110、第一参考麦克风122、第二参考麦克风124或其任何组合。音频信号可以包括用于较长音频流的特定时间间隔的音频块。音频信号204每个被划分到多个不同的频率子带中。在每个频率子带中，应用206本底噪声相关的幅度偏移。对于每个子带，本底噪声表示预期存在于音频信号中的最小噪声量的阈值幅度水平。不同子带的相应本底噪声可以不同。在具有较高本底噪声的子带中应用较大的幅度偏移，以确保信号可以在后续步骤中可靠地相关。在每个子带中，确定208来自两个或更多个麦克风的偏移音频信号之间的子带相关性度量。子带相关性度量可以表示由麦克风在给定时间间隔内捕获的音频块子带的信号电平之间的相似性。通常，在在给定子带中不存在风噪声或具有类似噪声分布的其他噪声的情况下，信号将良好相关，但是当在该子带中存在风或其他噪声时，信号相关性将很差。因此，相关性度量可以用作风检测度量。在一个实施例中，每个子带相关性度量包括从0到1的值，其中相关性度量为1表示与子带中存在的很少或没有不相关噪声相一致的情况，并且相关性度量为0表示所捕获的音频可以基本上由诸如风噪声等不相关噪声组成。
对于低于频率阈值(例如，低于1500Hz)的所有子带，计算210整体相关性度量。整体相关性度量可以包括例如低于频率阈值的子带的子带相关性度量的平均值(例如，均值)或加权平均值。将整体相关性度量与预定义阈值进行比较212。在一个实施例中，取决于先前状态(例如，在先前音频块中阈值是否被超过)，预定义阈值可以在两个或更多个预定义阈值之间动态地改变以考虑滞后效应。例如，如果对于先前处理的块，相关性度量超过预定义阈值(例如，预定义阈值0.8)，则将当前块的预定义阈值设置为更低(例如，0.7)。如果对于先前处理的块，相关性度量没有超过预定义阈值(例如，预定义阈值0.8)，则将当前块的预定义阈值设置为更高(例如，0.8)。
如果在步骤212中相关性度量超过预定义阈值，则应用216相关音频信号处理算法，以基于排水麦克风110、第一参考麦克风120和第二参考麦克风130或这些麦克风的组合中的一个或多个麦克风，来生成输出音频信号。例如，在一个实施例中，相关音频信号处理算法基于与每个麦克风相关联的水分状况(例如，每个麦克风是潮湿的还是干燥的)来生成组合音频信号。以下参考图4更详细地描述相关音频信号处理算法的示例实施例。否则，如果在步骤212中整体相关性度量低于阈值，则麦克风选择控制器130基于不相关音频信号处理算法来创建214组合音频信号。不相关处理算法可以为每个频带选择具有最低不相关噪声的音频信号的频率分量，并且将这些频率分量组合在一起以产生组合音频信号。以下参考图3更详细地描述不相关音频信号处理算法的示例实施例。然后对组合音频信号进行编码218。
图3是示出不相关音频信号处理算法的实施例的流程图。例如，当在音频信号中检测到风噪声或其他不相关噪声时，可以应用该算法。对于每个子频带，选择302在该时间间隔内具有最低风噪声的音频信号。例如，在一个实施例中，选择在给定频率子带中具有最低均方根信号电平的音频信号作为针对该频率子带的具有最低风噪声的音频信号。然后，在每个子带中，基于该子带的子带相关性度量对所选择的音频信号应用304噪声抑制处理以进一步降低噪声。然后，对应用了噪声抑制处理的每个所选择的子带的原始(非偏移)音频信号进行组合306，以生成输出音频信号。
图4是示出用于基于水分状况在排水麦克风110、第一参考麦克风122和第二参考麦克风124中的一个或多个之间进行选择的过程的实施例的流程图。该过程可以对应于图2中的步骤216，并且因此可以在不同麦克风之间检测到相关信号的情况下执行。麦克风选择控制器130确定406参考麦克风122、124中的一个或两个是否是潮湿的。在一个实施例中，与干燥麦克风相比，可以通过观察预定义频率范围(例如，2kHz-4kHz)上的光谱响应变化或通过检测已知与湿麦克风相关联的声音模式，来检测潮湿麦克风状况。例如，在一个实施例中，可以通过经验手段找到与湿麦克风相关联的光谱特征。通常，当麦克风膜为潮湿时，较高频率的声音会衰减，因为膜上的水的额外重量会减少膜的振动。因此，水通常充当低通滤波器。用于检测湿麦克风的过程的示例在2016年3月28日提交的美国专利申请No.15/083,266中描述，该申请通过引用并入本文。在一个实施例中，可以基于麦克风几何形状之间的所测量的已知留滴时间常数差异来监测光谱变化。在其他实施例中，在麦克风膜附近的传感器可以用于检测潮湿麦克风状况。如果麦克风选择控制器130确定408两个参考麦克风122、124是潮湿的，则选择414来自排水麦克风110的音频信号并且将该音频信号输出418作为单声道输出音频通道。否则，如果麦克风选择控制器130确定410两个参考麦克风是干燥的，则麦克风选择控制器130选择412来自两个参考麦克风122、124的音频信号并且处理这些音频信号以输出418立体声输出音频信号的通道。例如，可以应用波束成形过程以从两个音频信号生成立体声输出音频信号。否则，如果两个参考麦克风122、124都不是潮湿的或者麦克风122、124都不是干燥的(例如，第一参考麦克风122是潮湿的并且第二参考麦克风124是干燥的，或者反之)，则麦克风选择控制器130从第一参考麦克风122和第二参考麦克风124中选择416干燥麦克风以用于输出418单声道输出音频通道。
表1示出了应用图4的过程的结果：
表1
如表中所示，两个参考麦克风120在它们都是干燥时以立体声编码被选择。如果只有一个参考麦克风120是干燥的，则以单声道编码选择干燥麦克风。如果两个参考麦克风都是潮湿的，则选择排水麦克风。
通常，在上述图2至图4的过程中，完全被浸没在液体中的音频捕获设备100将生成具有与风噪声类似的不相关噪声并且因此将根据图4的不相关音频信号处理算法进行处理的音频信号。在备选实施例中，可以使用独立的浸入式检测传感器来确定音频捕获设备100是否被浸没。例如，在图5的过程中，麦克风选择控制器130确定502麦克风110、122、124是否被浸没在液体(例如，水)中。在一个实施例中，水浸没传感器可以被用于确定麦克风110、122、124是否被浸没。在其他实施例中(其中音频捕获设备100与相机集成)，可以执行图像分析以检测表示相机被浸没在水中的特征。例如，检测颜色损失可以指示相机淹没，因为它根据波长引起光强度的指数损失。此外，当相机被淹没时，图像中可能存在皱纹图案，因为水表面可以形成产生明暗斑块的小的凹凸透镜。另外，从水中的粒子反射的光产生散射和漫射，这样的散射和漫射可以被检测到以用于确定相机是否被浸没。在另一实施例中，相机上的触摸屏可以用于检测当相机被浸没时指示浸没的电容变化。在又一实施例中，可以检测参考麦克风122、124中的一个的防水膜上的水压，因为防水膜将在外部水压下偏转。这导致张力增加，这使得防水膜的共振更多地偏离其标称值并且可以在麦克风信号中被检测到。此外，防水膜的偏转将导致麦克风膜上的正压力和偏转，这可能表现为麦克风偏置的偏移。另外，传感器可以被放置在防水膜附近以检测由防水膜的偏转引起的指示麦克风被浸没的剪力的增加。
如果检测到504麦克风要被浸没，则不使用排水麦克风110，并且从参考麦克风122、124中的一个或多个导出输出音频信号，因为排水麦克风110通常在水下表现不佳。例如，在一个实施例中，应用类似于图3的不相关音频信号处理算法，以在子带基础上处理来自参考麦克风的音频信号，并且对于每个子带，选择具有最低噪声的参考音频信号。备选地，如果确定504音频捕获设备100不会被淹没，则可以应用506类似于图2的音频信号处理算法来确定信号是否是相关的并且根据该确定来应用相关或不相关音频信号处理。
示例相机配置
图6示出了可以包括音频捕获设备100的示例相机600的实施例。相机600可以包括相机本体602，相机本体602具有在相机本体的前表面上构造的相机镜头604、在相机本体602的表面前面的各种指示器(诸如LED、显示器等)、各种输入机构(诸如按钮、开关和触摸屏机构)以及在相机本体602内部的用于经由相机镜头捕获图像和/或执行其他功能的电子器件(例如，成像电子器件、电力电子器件等)。相机600可以被配置为捕获图像和视频，并且存储所捕获的图像和视频以用于后续显示或播放。
相机600可以包括各种指示器，包括显示面板606。相机600还可以包括按钮610，按钮610被配置为允许相机的用户与相机交互，打开相机，以及以其他方式配置相机的操作模式。相机600还可以包括多个麦克风，包括如上所述的排水麦克风110(位于相机600的右下角附近)和参考麦克风122、124(分别位于左上角附近的相机600的顶面和侧面附近)。相机的前表面、底表面或侧表面可以包括一个或多个排水口，作为与如上所述的相机音频系统的排水麦克风110相邻的排水通道的一部分。例如，排水通道包括在相机的底面上的开口，用以将液体从排水麦克风110所处的凹槽中排出。
其他配置注意事项
在整个说明书中，一些实施例使用表达“耦合”及其派生词。本文中使用的术语“耦合”不一定限于直接物理或电接触的两个或更多个元件。相反，术语“耦合”还可以包括两个或更多个元件不彼此直接接触，但仍然彼此协作或相互作用，或者被构造为在元件之间提供排水路径。
同样地，如本文中使用的，术语“包括”、“包括的”、“包含”、“包含的”、“具有”、“具有的”或其任何其他变型旨在涵盖非排他性的包括。例如，包括元素列表的过程、方法、物品或装置不一定仅限于那些元素，而是可以包括未明确列出的或者这种过程、方法、物品或装置固有的其他元素。
另外，使用“一个”或“一”来描述本文中的实施例的元件和组件。这仅仅是为了方便并且给出本发明的一般意义。该描述应当被理解为包括一个或至少一个，并且单数也包括复数，除非很清楚地另有所指。
最后，如本文中使用的，对“一个实施例”或“实施例”的任何引用意味着结合该实施例描述的特定元件、特征、结构或特性被包括在至少一个实施例中。在说明书中各处出现的短语“在一个实施例中”不一定均指同一实施例。
在阅读本公开之后，本领域技术人员将理解从本文原理公开的另外的备选结构和功能设计。因此，虽然已经说明和描述了特定实施例和应用，但应当理解，所公开的实施例不限于本文中公开的精确构造和组件。在不脱离所附权利要求限定的精神和范围的情况下，可以对本文中公开的方法和装置的布置、操作和细节进行各种修改、改变和变化，这样的修改、改变和变化对于本领域技术人员而言是很清楚的。

Claims (40)

1.一种用于在具有多个麦克风的音频捕获系统中生成输出音频信号的方法，所述方法包括：
从所述多个麦克风接收至少第一音频信号和第二音频信号；
从所述第一音频信号生成与多个频率子带相对应的第一多个频率子带信号，并且从所述第二音频信号生成与所述多个频率子带相对应的第二多个频率子带信号；
对于所述第一多个频率子带信号和所述第二多个频率子带信号中的每个频率子带信号，应用频带相关偏移以从所述第一多个频率子带信号生成第一多个偏移频率子带信号并且从所述第二多个频率子带信号生成第二多个偏移频率子带信号；
由处理器确定所述第一多个偏移频率子带信号与所述第二多个偏移频率子带信号之间的整体相关性度量；
响应于所述整体相关性度量超过第一预定义阈值，根据相关音频信号处理算法来处理所述音频信号以生成输出音频信号；以及
响应于所述整体相关性度量不超过所述第一预定义阈值，根据不相关音频信号处理算法来处理所述音频信号以生成所述输出音频信号。
2.根据权利要求1所述的方法，其中根据所述不相关音频信号处理算法来处理所述音频信号包括：
对于所述多个频率子带中的每个频率子带，选择所述第一多个频率子带信号或所述第二多个频率子带信号中具有最低噪声度量的频率子带信号；
对所选择的所述子带信号应用噪声抑制处理；以及
组合所选择的所述子带信号以生成所述输出音频信号。
3.根据权利要求1所述的方法，其中应用所述频带相关偏移包括：
确定针对所述多个频率子带中的每个频率子带的本底噪声；
基于所述本底噪声来确定针对所述多个频率子带中的每个频率子带的所述频带相关偏移。
4.根据权利要求1所述的方法，其中确定所述整体相关性度量包括：
确定所述第一多个偏移频率子带信号的至少子集与所述第二多个偏移频率子带信号的至少子集之间的相应子带相关性度量；以及
组合所述相应子带相关性度量以生成所述整体相关性度量。
5.根据权利要求4所述的方法，其中组合所述相应子带相关性度量包括：确定所述相应子带相关性度量的均值。
6.根据权利要求4所述的方法，其中所述第一多个偏移子带的所述子集和所述第二多个偏移子带的所述子集对应于所述频率子带的低于阈值频率的子集。
7.根据权利要求1所述的方法，其中根据所述相关音频信号处理算法来处理所述音频信号包括：
检测与所述多个麦克风中的每个麦克风相关联的水分状况；以及
基于检测到的所述水分状况，从所述多个音频信号生成输出音频信号。
8.一种在具有多个麦克风的音频捕获系统中的非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储用于生成输出音频信号的指令，所述指令在由处理器执行时使所述处理器执行步骤，所述步骤包括：
从所述多个麦克风接收至少第一音频信号和第二音频信号；
从所述第一音频信号生成与多个频率子带相对应的第一多个频率子带信号，并且从所述第二音频信号生成与所述多个频率子带相对应的第二多个频率子带信号；
对于所述第一多个频率子带信号和所述第二多个频率子带信号中的每个频率子带信号，应用频带相关偏移以从所述第一多个频率子带信号生成第一多个偏移频率子带信号并且从所述第二多个频率子带信号生成第二多个偏移频率子带信号；
确定所述第一多个偏移频率子带信号与所述第二多个偏移频率子带信号之间的整体相关性度量；
响应于所述整体相关性度量超过第一预定义阈值，根据相关音频信号处理算法来处理所述音频信号以生成输出音频信号；以及
响应于所述整体相关性度量不超过所述第一预定义阈值，根据不相关音频信号处理算法来处理所述音频信号以生成所述输出音频信号。
9.根据权利要求8所述的非暂态计算机可读存储介质，其中根据所述不相关音频信号处理算法来处理所述音频信号包括：
对于所述多个频率子带中的每个频率子带，选择所述第一多个频率子带信号或所述第二多个频率子带信号中具有最低噪声度量的频率子带信号；
对所选择的所述子带信号应用噪声抑制处理；以及
组合所选择的所述子带信号以生成所述输出音频信号。
10.根据权利要求8所述的非暂态计算机可读存储介质，其中应用所述频带相关偏移包括：
确定针对所述多个频率子带中的每个频率子带的本底噪声；
基于所述本底噪声来确定针对所述多个频率子带中的每个频率子带的所述频带相关偏移。
11.根据权利要求8所述的非暂态计算机可读存储介质，其中确定所述整体相关性度量包括：
确定所述第一多个偏移频率子带信号的至少子集与所述第二多个偏移频率子带信号的至少子集之间的相应子带相关性度量；以及
组合所述相应子带相关性度量以生成所述整体相关性度量。
12.根据权利要求11所述的非暂态计算机可读存储介质，其中组合所述相应子带相关性度量包括：确定所述相应子带相关性度量的均值。
13.根据权利要求11所述的非暂态计算机可读存储介质，其中所述第一多个偏移子带的所述子集和所述第二多个偏移子带的所述子集对应于所述频率子带的低于阈值频率的子集。
14.根据权利要求8所述的非暂态计算机可读存储介质，其中根据所述相关音频信号处理算法来处理所述音频信号包括：
检测与所述多个麦克风中的每个麦克风相关联的水分状况；以及
基于检测到的所述水分状况，从所述多个音频信号生成输出音频信号。
15.一种音频捕获设备，包括：
多个麦克风；
处理器；以及
非暂态计算机可读存储介质，存储用于生成输出音频信号的指令，所述指令在由所述处理器执行时使所述处理器执行步骤，所述步骤包括：
从所述多个麦克风接收至少第一音频信号和第二音频信号；
从所述第一音频信号生成与多个频率子带相对应的第一多个频率子带信号，并且从所述第二音频信号生成与所述多个频率子带相对应的第二多个频率子带信号；
对于所述第一多个频率子带信号和所述第二多个频率子带信号中的每个频率子带信号，应用频带相关偏移以从所述第一多个频率子带信号生成第一多个偏移频率子带信号并且从所述第二多个频率子带信号生成第二多个偏移频率子带信号；
确定所述第一多个偏移频率子带信号与所述第二多个偏移频率子带信号之间的整体相关性度量；
响应于所述整体相关性度量超过第一预定义阈值，根据相关音频信号处理算法来处理所述音频信号以生成输出音频信号；以及
响应于所述整体相关性度量不超过所述第一预定义阈值，根据不相关音频信号处理算法来处理所述音频信号以生成所述输出音频信号。
16.根据权利要求15所述的音频捕获设备，其中根据所述不相关音频信号处理算法来处理所述音频信号包括：
对于所述多个频率子带中的每个频率子带，选择所述第一多个频率子带信号或所述第二多个频率子带信号中具有最低噪声度量的频率子带信号；
对所选择的所述子带信号应用噪声抑制处理；以及
组合所选择的所述子带信号以生成所述输出音频信号。
17.根据权利要求15所述的音频捕获设备，其中应用所述频带相关偏移包括：
确定针对所述多个频率子带中的每个频率子带的本底噪声；
基于所述本底噪声来确定针对所述多个频率子带中的每个频率子带的所述频带相关偏移。
18.根据权利要求15所述的音频捕获设备，其中确定所述整体相关性度量包括：
确定所述第一多个偏移频率子带信号的至少子集与所述第二多个偏移频率子带信号的至少子集之间的相应子带相关性度量；以及
组合所述相应子带相关性度量以生成所述整体相关性度量。
19.根据权利要求15所述的音频捕获设备，其中根据所述相关音频信号处理算法来处理所述音频信号包括：
检测与所述多个麦克风中的每个麦克风相关联的水分状况；以及
基于检测到的所述水分状况从所述多个音频信号生成输出音频信号。
20.根据权利要求15所述的音频捕获设备，其中所述多个麦克风包括排水麦克风、第一参考麦克风和第二参考麦克风，所述排水麦克风与排水通道相邻以使液体能够从所述排水麦克风排出。
21.一种用于在具有多个麦克风的音频捕获设备中生成输出音频信号的方法，所述多个麦克风至少包括捕获第一音频信号的第一参考麦克风、捕获第二音频信号的第二参考麦克风和捕获第三音频信号的排水麦克风，所述排水麦克风与排水通道相邻以将液体从所述排水麦克风排出，所述方法包括：
在第一时间段期间，确定所述第一参考麦克风和所述第二参考麦克风两者是潮湿的，选择来自所述排水麦克风的所述第三音频信号，并且从所述第三音频信号生成与所述第一时间段对应的第一单声道音频输出信号；
在第二时间段期间，确定所述第一参考麦克风和所述第二参考麦克风两者是干燥的，选择来自所述第一参考麦克风的所述第一音频信号并且选择来自所述第二参考麦克风的所述第二音频信号，通过处理所述第一音频信号和所述第二音频信号来生成与所述第二时间段对应的立体声音频输出信号；
在第三时间段期间，确定所述第一参考麦克风是干燥的并且所述第二参考麦克风是潮湿的，选择来自所述第一参考麦克风的所述第一音频信号，并且从所述第一音频信号生成与所述第三时间段对应的第二单声道音频输出信号；以及
在第四时间段期间，确定所述第二参考麦克风是干燥的并且所述第一参考麦克风是潮湿的，选择来自所述第二参考麦克风的所述第二音频信号，并且从所述第二音频信号生成与所述第四时间段对应的第三单声道输出音频信号。
22.根据权利要求21所述的方法，还包括：
在第五时间段期间，确定所述音频捕获设备被浸没在液体中；
选择来自所述第一参考麦克风的所述第一音频信号和来自所述第二参考麦克风的所述第二音频信号；以及
从所述第一音频信号和所述第二音频信号生成与所述第五时间段对应的第四单声道音频输出信号。
23.根据权利要求22所述的方法，其中确定所述音频捕获设备被浸没在液体中包括：
执行图像分析以检测表示所述音频捕获设备被浸没的视觉特征。
24.根据权利要求22所述的方法，其中确定所述音频捕获设备被浸没在液体中包括：
经由与所述音频捕获设备集成的触摸屏来检测指示所述音频捕获设备被浸没的电容变化。
25.根据权利要求21所述的方法，其中确定所述第一麦克风和所述第二麦克风两者是潮湿的包括：
检测在预定义频率范围内的频谱响应变化满足预定义标准。
26.根据权利要求21所述的方法，其中确定所述第一麦克风和所述第二麦克风两者是潮湿的包括：
检测指示潮湿麦克风状况的声音模式。
27.根据权利要求21所述的方法，其中生成立体声音频输出信号包括：将波束成形过程应用于所述第一音频信号和所述第二音频信号。
28.一种非暂态计算机可读存储介质，存储用于在具有多个麦克风的音频捕获设备中生成输出音频信号的指令，所述多个麦克风至少包括捕获第一音频信号的第一参考麦克风、捕获第二音频信号的第二参考麦克风和捕获第三音频信号的排水麦克风，所述排水麦克风与排水通道相邻以将液体从所述排水麦克风排出，所述指令在由处理器执行时使所述处理器执行步骤，所述步骤包括：
确定所述第一参考麦克风和所述第二麦克风中的每个麦克风是潮湿的还是干燥的；
响应于确定所述第一参考麦克风和所述第二参考麦克风两者是潮湿的，选择来自所述排水麦克风的所述第三音频信号，并且从所述第三音频信号生成与所述第一时间段对应的第一单声道音频输出信号；
响应于确定所述第一参考麦克风和所述第二参考麦克风两者是干燥的，选择来自所述第一参考麦克风的所述第一音频信号并且选择来自所述第二参考麦克风的所述第二音频信号，通过处理所述第一音频信号和所述第二音频信号来生成与所述第二时间段对应的立体声音频输出信号；
响应于确定所述第一参考麦克风是干燥的并且所述第二参考麦克风是潮湿的，选择来自所述第一参考麦克风的所述第一音频信号，并且从所述第一音频信号生成与所述第三时间段对应的第二单声道音频输出信号；以及
响应于确定所述第二参考麦克风是干燥的并且所述第一参考麦克风是潮湿的，选择来自所述第二参考麦克风的所述第二音频信号，并且从所述第二音频信号生成与所述第四时间段对应的第三单声道输出音频信号。
29.根据权利要求28所述的非暂态计算机可读存储介质，所述指令在被执行时还使所述处理器执行包括以下的步骤：
确定所述音频捕获设备是否被浸没在液体中；
响应于确定所述音频捕获设备被浸没在液体中，选择来自所述第一参考麦克风的所述第一音频信号和来自所述第二参考麦克风的所述第二音频信号，并且从所述第一音频信号和所述第二音频信号生成与所述第五时间段对应的第四单声道音频输出信号。
30.根据权利要求29所述的非暂态计算机可读存储介质，其中确定所述音频捕获设备被浸没在液体中包括：
执行图像分析以检测表示所述音频捕获设备被浸没的视觉特征。
31.根据权利要求29所述的非暂态计算机可读存储介质，其中确定所述音频捕获设备被浸没在液体中包括：
经由与所述音频捕获设备集成的触摸屏来检测指示所述音频捕获设备被浸没的电容变化。
32.根据权利要求28所述的非暂态计算机可读存储介质，其中确定所述第一麦克风和所述第二麦克风两者是潮湿的包括：
检测到在预定义频率范围内的频谱响应变化满足预定义标准。
33.根据权利要求28所述的非暂态计算机可读存储介质，其中确定所述第一麦克风和所述第二麦克风两者是潮湿的包括：
检测指示潮湿麦克风状况的声音模式。
34.根据权利要求28所述的非暂态计算机可读存储介质，其中生成立体声音频输出信号包括：将波束成形过程应用于所述第一音频信号和所述第二音频信号。
35.一种音频捕获设备，包括：
第一参考麦克风，捕获第一音频信号；
第二参考麦克风，捕获第二音频信号；
排水麦克风，捕获第三音频信号；
在所述排水麦克风附近的排水通道，用于将液体从所述排水麦克风排出；
处理器；以及
非暂态计算机可读存储介质，存储用于在具有多个麦克风的音频捕获设备中生成输出音频信号的指令，所述指令在由处理器执行时使所述处理器执行步骤，所述步骤包括：
确定所述第一参考麦克风和所述第二麦克风中的每个麦克风是潮湿的还是干燥的；
响应于确定所述第一参考麦克风和所述第二参考麦克风两者是潮湿的，选择来自所述排水麦克风的所述第三音频信号，并且从所述第三音频信号生成与所述第一时间段对应的第一单声道音频输出信号；
响应于确定所述第一参考麦克风和所述第二参考麦克风两者是干燥的，选择来自所述第一参考麦克风的所述第一音频信号并且选择来自所述第二参考麦克风的所述第二音频信号，通过处理所述第一音频信号和所述第二音频信号来生成与所述第二时间段对应的立体声音频输出信号；
响应于确定所述第一参考麦克风是干燥的并且所述第二参考麦克风是潮湿的，选择来自所述第一参考麦克风的所述第一音频信号，并且从所述第一音频信号生成与所述第三时间段对应的第二单声道音频输出信号；以及
响应于确定所述第二参考麦克风是干燥的并且所述第一参考麦克风是潮湿的，选择来自所述第二参考麦克风的所述第二音频信号，并且从所述第二音频信号生成与所述第四时间段对应的第三单声道输出音频信号。
36.根据权利要求35所述的音频捕获设备，其中所述指令在被执行时还使所述处理器执行包括以下的步骤：
确定所述音频捕获设备是否被浸没在液体中；
响应于确定所述音频捕获设备被浸没在液体中，选择来自所述第一参考麦克风的所述第一音频信号和来自所述第二参考麦克风的所述第二音频信号，并且从所述第一音频信号和所述第二音频信号生成与所述第五时间段对应的第四单声道音频输出信号。
37.根据权利要求36所述的音频捕获设备，其中确定所述音频捕获设备被浸没在液体中包括：
执行图像分析以检测表示所述音频捕获设备被浸没的视觉特征。
38.根据权利要求36所述的音频捕获设备，其中确定所述音频捕获设备被浸没在液体中包括：
经由与所述音频捕获设备集成的触摸屏来检测指示所述音频捕获设备被浸没的电容变化。
39.根据权利要求35所述的音频捕获设备，其中确定所述第一麦克风和所述第二麦克风两者是潮湿的包括：
检测到在预定义频率范围内的频谱响应变化满足预定义标准。
40.根据权利要求35所述的音频捕获设备，其中生成立体声音频输出信号包括：将波束成形过程应用于所述第一音频信号和所述第二音频信号。
CN201780070735.3A 2016-09-16 2017-08-18 在具有多麦克风的音频捕获系统中生成信号的方法及设备 Active CN110121889B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662396002P 2016-09-16 2016-09-16
US62/396,002 2016-09-16
US15/396,379 US9807501B1 (en) 2016-09-16 2016-12-30 Generating an audio signal from multiple microphones based on a wet microphone condition
US15/396,380 2016-12-30
US15/396,379 2016-12-30
US15/396,380 US9807530B1 (en) 2016-09-16 2016-12-30 Generating an audio signal from multiple microphones based on uncorrelated noise detection
PCT/US2017/047638 WO2018052655A1 (en) 2016-09-16 2017-08-18 Generating an audio signal from multiple microphones based on uncorrelated noise detection

Publications (2)

Publication Number Publication Date
CN110121889A true CN110121889A (zh) 2019-08-13
CN110121889B CN110121889B (zh) 2021-01-15

Family

ID=60142627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780070735.3A Active CN110121889B (zh) 2016-09-16 2017-08-18 在具有多麦克风的音频捕获系统中生成信号的方法及设备

Country Status (4)

Country Link
US (5) US9807501B1 (zh)
EP (1) EP3513568B1 (zh)
CN (1) CN110121889B (zh)
WO (1) WO2018052655A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286227A (zh) * 2020-02-20 2021-08-20 西万拓私人有限公司 用于抑制麦克风装置的固有噪声的方法
CN116325784A (zh) * 2020-08-05 2023-06-23 摩托罗拉解决方案公司 具有用于排水的线性狭槽的设备

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11343413B2 (en) * 2015-07-02 2022-05-24 Gopro, Inc. Automatically determining a wet microphone condition in a camera
US9787884B2 (en) * 2015-07-02 2017-10-10 Gopro, Inc. Drainage channel for sports camera
US9807501B1 (en) 2016-09-16 2017-10-31 Gopro, Inc. Generating an audio signal from multiple microphones based on a wet microphone condition
GB2580057A (en) 2018-12-20 2020-07-15 Nokia Technologies Oy Apparatus, methods and computer programs for controlling noise reduction
US10966017B2 (en) * 2019-01-04 2021-03-30 Gopro, Inc. Microphone pattern based on selected image of dual lens image capture device
US11304001B2 (en) 2019-06-13 2022-04-12 Apple Inc. Speaker emulation of a microphone for wind detection
US11134341B1 (en) * 2020-05-04 2021-09-28 Motorola Solutions, Inc. Speaker-as-microphone for wind noise reduction
US11245982B2 (en) * 2020-06-22 2022-02-08 Gopro, Inc. Wind noise reduction by microphone placement
US11570546B2 (en) * 2020-06-22 2023-01-31 Gopro, Inc. Camera microphone drainage system designed for beamforming
EP4047939A1 (en) * 2021-02-19 2022-08-24 Nokia Technologies Oy Audio capture in presence of noise

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1670823A (zh) * 2004-03-17 2005-09-21 哈曼贝克自动系统股份有限公司 通过麦克风阵列检测和降低噪声的方法
DE102007034230A1 (de) * 2007-07-23 2009-01-29 Siemens Medical Instruments Pte. Ltd. Hörvorrichtung mit Mikrofonabdeckung
JP2010166516A (ja) * 2009-01-19 2010-07-29 Sanyo Electric Co Ltd 音響処理装置及びそれを備えた電子機器並びに音響処理方法
CN102077277A (zh) * 2008-06-25 2011-05-25 皇家飞利浦电子股份有限公司 音频处理
US20120140946A1 (en) * 2010-12-01 2012-06-07 Cambridge Silicon Radio Limited Wind Noise Mitigation
US20120163622A1 (en) * 2010-12-28 2012-06-28 Stmicroelectronics Asia Pacific Pte Ltd Noise detection and reduction in audio devices
CN102870044A (zh) * 2010-03-22 2013-01-09 伊斯曼柯达公司 具有压力传感器的水下相机
CN103986995A (zh) * 2013-02-07 2014-08-13 奥迪康有限公司 减少音频处理装置中的不相关噪声的方法
CN104796839A (zh) * 2014-01-20 2015-07-22 快捷半导体(苏州)有限公司 用于检测音频插孔插入异常的方法
US20150348568A1 (en) * 2012-02-16 2015-12-03 2236008 Ontario Inc. System and method for dynamic residual noise shaping

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5508766A (en) 1995-01-09 1996-04-16 Eastman Kodak Company Underwater camera unit with cantilevered shutter release device
US6292213B1 (en) 1997-03-30 2001-09-18 Michael J. Jones Micro video camera usage and usage monitoring
FR2765330B1 (fr) 1997-06-27 1999-10-01 Canon Kk Dispositif de determination d'une quantite de produit consommable, notamment de l'encre presente dans un reservoir a plusieurs compartiments et dispositif d'impression de documents correspondant
US5996790A (en) 1998-06-26 1999-12-07 Asahi Research Corporation Watertight equipment cover
US7023338B1 (en) 2002-07-31 2006-04-04 Foth Robert A Apparatus, systems and methods for aquatic sports communications
US7949522B2 (en) 2003-02-21 2011-05-24 Qnx Software Systems Co. System for suppressing rain noise
JP4452853B2 (ja) 2005-08-31 2010-04-21 ソニー株式会社 撮影装置
US20070115387A1 (en) 2005-11-21 2007-05-24 Ho Kenneth K Underwater camera combination
US20090052715A1 (en) 2007-08-23 2009-02-26 Fortemedia, Inc. Electronic device with an internal microphone array
US20090213557A1 (en) 2008-02-21 2009-08-27 Fortemedia, Inc. Electronic device with internal microphones disposed in flexible holders
JP2009209204A (ja) 2008-02-29 2009-09-17 Mitsubishi Heavy Ind Ltd スラグ排出状況監視装置
US20100225461A1 (en) 2009-03-05 2010-09-09 Raja Singh Tuli Apparatus and method for detection of a specified audio signal or gesture
US8544643B2 (en) 2009-12-21 2013-10-01 Zear Corporation Limited Waterproof camera case with a lock mechanism
US9330675B2 (en) 2010-11-12 2016-05-03 Broadcom Corporation Method and apparatus for wind noise detection and suppression using multiple microphones
JP2012165353A (ja) 2011-01-21 2012-08-30 Panasonic Corp 電子機器の防水構造
US20120250270A1 (en) 2011-03-29 2012-10-04 Wen-Chin Liu Protective casing adapted for electronic device
JP5121963B2 (ja) 2011-03-31 2013-01-16 株式会社東芝 電子機器及び制御方法
JP5691804B2 (ja) 2011-04-28 2015-04-01 富士通株式会社 マイクロホンアレイ装置及び音信号処理プログラム
US20130282373A1 (en) 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
JP6213871B2 (ja) * 2012-12-27 2017-10-18 パナソニックＩｐマネジメント株式会社 防水マイク装置
US9084053B2 (en) 2013-01-11 2015-07-14 Red Tail Hawk Corporation Microphone environmental protection device
US9251687B2 (en) 2013-04-19 2016-02-02 Jonathan Thompson Global positioning system equipped hazard detector and a system for providing hazard alerts thereby
WO2015047378A1 (en) 2013-09-30 2015-04-02 Pearl Capital Developments Llc Method for clearing water from acoustic port and membrane
EP3073756B1 (en) 2013-11-18 2020-04-22 Nitto Denko Corporation Waterproof sound-transmitting film and waterproof sound-transmitting structure using same
US9635257B2 (en) 2014-05-12 2017-04-25 Gopro, Inc. Dual-microphone camera
US9301412B2 (en) 2014-06-02 2016-03-29 Greenwave Systems Pte. Ltd. Dual fixed angle security mount
US9611978B2 (en) 2014-06-02 2017-04-04 Greenwave Systems Pte Ltd Magnetic mount for security device
US20150382305A1 (en) * 2014-06-27 2015-12-31 Sony Corporation Silent mode for submerged devices
US20160080861A1 (en) 2014-09-16 2016-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Dynamic microphone switching
KR102319803B1 (ko) 2014-11-26 2021-11-01 삼성전자주식회사 전자 장치, 그 동작 방법 및 기록 매체
US9510071B2 (en) 2015-03-19 2016-11-29 Harris Corporation Portable communication device with flow through acoustic transducer ports for water management
US9787884B2 (en) 2015-07-02 2017-10-10 Gopro, Inc. Drainage channel for sports camera
US9807501B1 (en) 2016-09-16 2017-10-31 Gopro, Inc. Generating an audio signal from multiple microphones based on a wet microphone condition

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1670823A (zh) * 2004-03-17 2005-09-21 哈曼贝克自动系统股份有限公司 通过麦克风阵列检测和降低噪声的方法
DE102007034230A1 (de) * 2007-07-23 2009-01-29 Siemens Medical Instruments Pte. Ltd. Hörvorrichtung mit Mikrofonabdeckung
CN102077277A (zh) * 2008-06-25 2011-05-25 皇家飞利浦电子股份有限公司 音频处理
JP2010166516A (ja) * 2009-01-19 2010-07-29 Sanyo Electric Co Ltd 音響処理装置及びそれを備えた電子機器並びに音響処理方法
CN102870044A (zh) * 2010-03-22 2013-01-09 伊斯曼柯达公司 具有压力传感器的水下相机
US20120140946A1 (en) * 2010-12-01 2012-06-07 Cambridge Silicon Radio Limited Wind Noise Mitigation
US20120163622A1 (en) * 2010-12-28 2012-06-28 Stmicroelectronics Asia Pacific Pte Ltd Noise detection and reduction in audio devices
US20150348568A1 (en) * 2012-02-16 2015-12-03 2236008 Ontario Inc. System and method for dynamic residual noise shaping
CN103986995A (zh) * 2013-02-07 2014-08-13 奥迪康有限公司 减少音频处理装置中的不相关噪声的方法
CN104796839A (zh) * 2014-01-20 2015-07-22 快捷半导体(苏州)有限公司 用于检测音频插孔插入异常的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113286227A (zh) * 2020-02-20 2021-08-20 西万拓私人有限公司 用于抑制麦克风装置的固有噪声的方法
US11540042B2 (en) 2020-02-20 2022-12-27 Sivantos Pte. Ltd. Method of rejecting inherent noise of a microphone arrangement, and hearing device
CN113286227B (zh) * 2020-02-20 2023-03-24 西万拓私人有限公司 用于抑制麦克风装置的固有噪声的方法
CN116325784A (zh) * 2020-08-05 2023-06-23 摩托罗拉解决方案公司 具有用于排水的线性狭槽的设备
CN116325784B (zh) * 2020-08-05 2023-12-22 摩托罗拉解决方案公司 具有用于排水的线性狭槽的设备

Also Published As

Publication number Publication date
US11589178B2 (en) 2023-02-21
US9807501B1 (en) 2017-10-31
EP3513568A4 (en) 2020-04-01
US11026036B2 (en) 2021-06-01
EP3513568A1 (en) 2019-07-24
US20210250715A1 (en) 2021-08-12
US20180084358A1 (en) 2018-03-22
CN110121889B (zh) 2021-01-15
US9807530B1 (en) 2017-10-31
WO2018052655A1 (en) 2018-03-22
US12014116B2 (en) 2024-06-18
US20230205485A1 (en) 2023-06-29
EP3513568B1 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
CN110121889A (zh) 基于不相关噪声检测来从多个麦克风生成音频信号
CN107851182B (zh) 用于假冒检测及活跃度分析的系统及方法
US10771660B2 (en) Automatically determining a wet microphone condition in a camera
US10567896B2 (en) Apparatus and methods for monitoring a microphone
Stolkin et al. Feature based passive acoustic detection of underwater threats
WO2019177700A3 (en) System method for motion detection using a ppg sensor
US9560440B2 (en) Apparatus and method for detecting location of moving body, lighting apparatus, air conditioning apparatus, security apparatus, and parking lot management apparatus
RU2010116727A (ru) Средство обнаружения голосовой активности с использованием нескольких микрофонов
Klinck et al. The energy ratio mapping algorithm: A tool to improve the energy-based detection of odontocete echolocation clicks
KR20150118976A (ko) 주변 잡음 실효치（ｒｍｓ） 검출기
US20100278012A1 (en) Human echolocation system
CN107305351A (zh) 声学存在检测器
CN109756720B (zh) 使用距离信息的声学成像中的焦点和/或视差调整
GB2561021B (en) Apparatus and methods for monitoring a microphone
EP3367698B1 (en) Sound collecting apparatus, sound collection method, recording medium and imaging apparatus
US20220247894A1 (en) Drainage channels for use in a camera
Lennartsson et al. Passive acoustic detection and classification of divers in harbor environments
GB2479533A (en) Dual Wavelength Infrared Vehicle Occupant Detector
Terano et al. Sound capture from rolling-shuttered visual camera based on edge detection
Au Dolphin biosonar target detection in noise: Wrap up of a past experiment
RU2008108702A (ru) Способ обнаружения сигналов шумоизлучения морских объектов
JP2020128941A (ja) 異物の検出装置及び異物の検出方法ならびに異物の検出プログラム
Shindo et al. Noise-reducing sound capture based on exposure-time of still camera
WO2017003958A1 (en) Automatic microphone selection in a sports camera
KR20220054646A (ko) 바람 잡음 검출

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant