CN113711308A - 风噪声检测系统和方法 - Google Patents

风噪声检测系统和方法 Download PDF

Info

Publication number
CN113711308A
CN113711308A CN202080032497.9A CN202080032497A CN113711308A CN 113711308 A CN113711308 A CN 113711308A CN 202080032497 A CN202080032497 A CN 202080032497A CN 113711308 A CN113711308 A CN 113711308A
Authority
CN
China
Prior art keywords
wind
channel
noise
audio
wind detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080032497.9A
Other languages
English (en)
Inventor
芮立扬
G·肯南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synaptics Inc
Original Assignee
Synaptics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synaptics Inc filed Critical Synaptics Inc
Publication of CN113711308A publication Critical patent/CN113711308A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/07—Mechanical or electrical reduction of wind noise generated by wind passing a microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

系统和方法包括：风检测器，其用于接收音频输入信号并输出风检测标志，该风检测标志包括单通道风检测标志和跨通道风检测标志，每个风检测标志指示风噪声的存在或不存在；以及融合平滑模块，其用于接收多个风检测标志并生成输出风检测标志。麦克风生成多个音频输入信号。风检测器和融合平滑模块可以包括存储在存储器中以供由数字信号处理器执行的程序指令。风检测器是：单通道检测器，其用于接收音频输入信号的单音频通道并生成单通道风噪声标志；以及跨通道检测器，其用于计算两个或更多个音频通道之间的自相关和互相关。

Description

风噪声检测系统和方法
相关申请的交叉引用
本申请要求于2019年4月30日提交的、并且题为“WIND NOISE DETECTION SYSTEMSAND METHODS”的美国专利申请号16/399,961的权益和优先权，该申请以其全部通过引用并入本文中。
技术领域
本申请总体上涉及噪声消除系统和方法，并且更具体地，例如，涉及诸如耳机例如，罩耳式、贴耳式和入耳式）、耳塞、和助听器、以及其他个人收听设备之类的音频处理设备中的风噪声的消除和/或抑制。
背景技术
音频处理设备通常包括一个或多个麦克风以感测来自环境的声音并生成对应的音频信号。例如，有源噪声消除（ANC）耳机包括参考麦克风以生成与感测到的环境噪声在大幅度近似相等、但在相位上相反的抗噪声信号。环境噪声和抗噪声信号在声学上相互抵消，从而允许用户听到期望的音频信号。
然而，传统的ANC系统（和其他降噪或噪声消除系统）不完全消除所有噪声，从而留下残留噪声和/或生成可能分散用户注意力的听得见的伪假象（artefact）。例如，与在ANC系统中消除的环境声音不同，风噪声可能响应于麦克风部件处的局部空气湍流而出现在麦克风处。风噪声可能与到达用户的耳道的环境噪声无关，并且对应的抗噪声信号对于用户可能是听得见的。试图从音频信号中移除背景噪声的噪声抑制系统在移除风噪声方面面临类似的挑战。
鉴于前述内容，存在对于可能包括感测到的风噪声的音频信号的改进的降噪和噪声消除系统和方法的持续需要。还存在对于耳机、耳塞和可能在有风环境中操作的其他个人收听设备的改进的有源噪声消除系统和方法的持续需要。
发明内容
本文中公开了改进的系统和方法，其用于可以在有风环境中使用的音频设备中的有源噪声消除和/或噪声抑制。在一个或多个实施例中，一种系统包括：风检测器，其可操作以接收多个音频输入信号并输出多个风检测标志，该多个风检测标志包括单通道风检测标志和跨通道风检测标志，每个风检测标志指示风噪声的存在或不存在；以及融合平滑模块，其可操作以接收多个风检测标志并生成输出风检测标志，输出风检测标志。
该系统还可包括可操作以感测声音并生成多个音频输入信号的多个麦克风、以及存储程序指令的存储器、以及可操作以执行程序指令的数字信号处理器。在各种实施方式中，该系统可以包括：噪声抑制模块，其可操作以接收音频输入信号和输出风检测标志并降低在音频输入信号中检测到的风噪声；和/或有源噪声消除系统，其可操作以根据输出风检测标志生成抗噪声信号以消除音频输入信号的部分。
在各种实施例中，风检测器包括单通道检测器，其可操作以接收多个音频输入信号的单音频通道并生成单通道风检测标志。单通道检测器能够可操作以将单音频通道与风谱模型进行比较，该风谱模型包括频率分量的部分的功率比的均值和标准偏差以及频谱斜率。风检测器可操作以：如果功率比的均值小于阈值均值并且标准偏差大于阈值标准偏差（例如，当确定不存在风噪声时），则清除标志；以及如果频谱斜率大于预定阈值频谱斜率（例如，当确定存在风噪声时），则设置标志。风检测器还可包括跨通道检测器，其可操作以计算两个或更多个音频通道之间的自相关和互相关，并且如果自相关小于互相关则设置标志。
如果跨通道风检测标志为开并且至少一个单通道风检测标志为开，则融合平滑模块能够可操作以将输出风检测标志设置为“存在”，以及如果预定数量的先前生成的融合风标志为开，则融合平滑模块能够可操作以设置融合风标志。
在一个或多个实施例中，一种方法包括接收多个音频输入信号、生成多个初步风检测标志，所述多个初步风检测标志包括单通道风检测标志和跨通道风检测标志，每个风检测标志指示音频输入信号的部分中的风噪声的存在或不存在，并输出风检测标志。该方法还可以包括：如果风检测标志是有源的（active）则降低音频输入信号中的风噪声，和/或根据风检测标志生成抗噪声信号以消除音频输入信号的部分。
在各种实施例中，该方法包括接收音频输入信号的单音频通道并生成单通道风检测标志，通过计算特定频率分量的功率比的均值和标准偏差以及频谱斜率来生成风谱模型，并将单音频通道与风谱模型进行比较。如果功率比的均值小于阈值均值、并且标准偏差大于阈值标准偏差，则该方法可以设置单通道风检测标志以指示不存在风噪声。如果频谱斜率大于预定阈值频谱斜率，则该方法可以设置单通道风噪声标志以指示存在风噪声。
该方法还可以包括计算两个或更多个音频通道之间的自相关和互相关，并且如果自相关小于互相关则确定存在风噪声。如果跨通道检测器风噪声标志为开并且单通道音频标志中的至少一个为开，则最终风检测标志可以被设置为“存在”。该方法可以进一步基于先前确定的融合风检测标志值的数量来平滑融合风检测标志。
本发明的范围由权利要求限定，该权利要求通过引用并入本部分中。通过考虑一个或多个实施例的以下详细描述，将向本领域技术人员提供本公开的实施例的更完整的理解以及其附加优点的实现。将参考将首先被简要描述的附图的附页。
附图说明
参考以下附图和随后的详细描述可以更好地理解本公开的方面及其优点。应当理解，相似的参考标号用于标识在一个或多个附图中图示的相似元件，其中附图中的示出是出于说明本公开的实施例的目的而不是出于限制本公开的实施例的目的。附图中的部件不一定按比例，而是将重点放在清楚地说明本公开的原理上。
图1图示了根据本公开的一个或多个实施例的风检测系统。
图2图示了根据本公开的一个或多个实施例的单通道风检测器的流程图。
图3图示了根据本公开的一个或多个实施例的跨通道风检测器的流程图。
图4图示了根据本公开的一个或多个实施例的融合平滑模块中的融合阶段的流程图。
图5图示了融合平滑模块中的平滑阶段的流程图。
图6图示了根据本公开的一个或多个实施例的音频设备的实施例。
具体实施方式
公开了改进的风噪声检测系统和方法，其可以在各种音频处理系统中实现，所述音频处理系统包括有源噪声消除（ANC）系统、移动电话、智能扬声器、语音命令和处理系统、汽车系统（例如，免提语音控制）和可能在有风环境中操作的其他音频处理系统。
在一个实施例中，风噪声检测系统包括两个或更多个在空间上分离的麦克风。每个麦克风感测环境中的声音，其可能包括由于每个麦克风本地的空气湍流而感测到的风噪声。因此，不同的麦克风可以独立地感测不同的风噪声事件。风噪声检测系统分析与每个麦克风相关联的单通道风特征和两个或更多个音频通道的跨通道风特征。在一个实施例中，单通道风特征表征风噪声的频谱，而跨通道风特征评估麦克风信号对之间的互相关。融合平滑阶段工作以融合结果特征、过滤检测结果、并改进系统稳定性。
本文中公开的系统和方法提供了相比于传统解决方案的许多优点。例如，本公开的风检测系统和方法探索单通道风特征和跨通道风特征两者并采用融合平滑阶段来过滤检测结果。例如，单通道特征检测器可以包括如本文中公开的独特的决策树结构，并且特征可以包括低频分量功率比的均值和标准偏差以及500 Hz和1000 Hz之间的频谱斜率。计算的比率均值和标准偏差为将风噪声与话音分离以供各种语音应用中使用提供了良好的指标。此外，频谱斜率允许区分风噪声和环境背景噪声（诸如办公室和街道噪声）。跨通道特征提供了两个通道信号的互相关。与在时域中工作的方法不同，所提出的风检测系统可以计算频域中的互相关。在各种实施例中，例如，可以丢弃相位信息，和/或可以对整个频带或仅使用低频分量执行互相关。
参考图1，现在将描述根据一个或多个实施例的风检测系统100。风检测系统100可以实现具有两个或更多个麦克风的音频处理系统以监测环境中风的存在。在一些实施例中，风检测系统100在音频设备的音频输入处理部件中实现，该音频设备可以包括被配置为抑制噪声、检测话音、分离目标信号和/或执行其他多通道音频输入处理的数字信号处理器（DSP）。风检测系统100可以生成风噪声信息，该风噪声信息可以用于优化音频设备的噪声抑制性能。例如，可以在配备有（例如，在左侧和右侧上的）两个外部麦克风的耳机上使用双通道风检测系统来监测环境声音。
风检测系统100包括多个麦克风或其他音频传感器，诸如左麦克风102和右麦克风104、风检测器模块110和融合平滑模块140。每个麦克风（102和104）感测外部环境中的声音，其可以包括来自期望目标源106的声音、来自噪声源的声音和由风在本地生成的声音。每个麦克风生成输入音频信号，该输入音频信号被数字采样并转换到频域作为左通道
Figure DEST_PATH_IMAGE002
和右通道
Figure DEST_PATH_IMAGE004
，其中f是频率。
风检测器模块110接收
Figure 631420DEST_PATH_IMAGE002
和
Figure 548561DEST_PATH_IMAGE004
作为输入。风检测器模块110包括被配置为分析输入信号的特征的多个检测器子模块。在所图示的实施例中，风检测器模块110包括单左通道检测器112、单右通道检测器116、和跨通道检测器114。风检测器系统100可以包括附加麦克风并且风检测器模块110可以包括与每个麦克风对应的附加单通道检测器和与多个麦克风中的两个的分组对应的附加跨通道检测器。
单左通道检测器112将
Figure 265981DEST_PATH_IMAGE002
与风谱模型进行比较。比较中要考虑的特征可以包括：（1）低频分量
Figure DEST_PATH_IMAGE006
和
Figure DEST_PATH_IMAGE008
的功率比的均值和标准偏差；以及（2）频谱斜率
Figure DEST_PATH_IMAGE010
。现在将描述低频分量
Figure 851071DEST_PATH_IMAGE006
和
Figure DEST_PATH_IMAGE011
的功率比的均值和标准偏差的计算。据观察，风噪声通常集中在低频段（例如，<1000 Hz）处，而人类话音（例如，语音控制的设备中期望的目标音频）具有更高的高频功率，并且其功率分布是与时间相关的。因此，与语音信号相比，风噪声中低频分量的功率比与时间更不相关且更稳定。在一个实施例中，功率比由下式计算
Figure DEST_PATH_IMAGE013
其中fth是低频阈值。单左通道检测器112将均值和标准偏差
Figure DEST_PATH_IMAGE015
、
Figure DEST_PATH_IMAGE016
和
Figure DEST_PATH_IMAGE017
与其阈值
Figure DEST_PATH_IMAGE019
和
Figure DEST_PATH_IMAGE021
进行比较。如果
Figure DEST_PATH_IMAGE023
或
Figure DEST_PATH_IMAGE025
，则其指示不存在风噪声，并且语音在信号中占主导地位。
现在将参考图2描述频谱斜率
Figure DEST_PATH_IMAGE026
的计算。据观察，风噪声通常具有在500 Hz和1000Hz之间的线性频谱斜率
Figure DEST_PATH_IMAGE026A
。单左通道检测器112将
Figure DEST_PATH_IMAGE026AA
与预期斜率阈值
Figure DEST_PATH_IMAGE028
进行比较。如果
Figure DEST_PATH_IMAGE030
，则其指示不存在风并且背景噪声在信号中占主导地位。图2图示了用于操作单左通道检测器112的过程200的实施例。过程200可以以硬件和软件的各种组合来实现，其包括例如如存储在存储器中以供由数字处理器执行的程序指令。
在步骤202中，单左通道检测器计算总信号功率
Figure DEST_PATH_IMAGE032
。在步骤204中，单左通道检测器将低频分量的功率计算为
Figure DEST_PATH_IMAGE034
。接下来，在步骤206中，计算功率比
Figure DEST_PATH_IMAGE036
Figure DEST_PATH_IMAGE038
，并在步骤208中，更新均值和标准偏差
Figure DEST_PATH_IMAGE039
、
Figure 465110DEST_PATH_IMAGE016
和
Figure DEST_PATH_IMAGE040
。在步骤210中，如果
Figure DEST_PATH_IMAGE042
或
Figure DEST_PATH_IMAGE044
，则当前信号为语音且不存在风。然后检测器清除风标志并在步骤218中提供风标志作为输出。如果
Figure 162939DEST_PATH_IMAGE042
或
Figure DEST_PATH_IMAGE045
为假，则单左通道检测器在步骤212中计算500 Hz和1000 Hz之间的频谱斜率
Figure DEST_PATH_IMAGE046
。在步骤214中，如果
Figure DEST_PATH_IMAGE048
，则当前信号是背景噪声并且不存在风。检测器在步骤218中清除并输出风标志。如果
Figure DEST_PATH_IMAGE049
为假，则当前信号既不是语音也不是背景噪声。在步骤216中确定存在风并且设置和输出风标志。
过程200还可用于通过单右通道检测器116检测噪声的存在或不存在。单右通道检测器116可以存储用于使处理器执行过程200的程序指令，该过程200应用于
Figure DEST_PATH_IMAGE051
以设置右输入音频通道的风标志。
在各种实施例中，两级决策检查过程用于从语音和背景噪声中区分风噪声。该过程包括处理
Figure DEST_PATH_IMAGE052
和
Figure DEST_PATH_IMAGE053
两者的跨通道检测器114。在一些实施例中，跨通道检测器114被实现为存储在存储器中的程序指令，以用于指示数字信号处理器执行本文中公开的过程。在一个实施例中，跨通道检测器114被配置为如下计算左和右通道的自相关和互相关：
Figure DEST_PATH_IMAGE055
注意，在没有相位信息的情况下在上面的示例中计算相关参数
Figure DEST_PATH_IMAGE057
、
Figure DEST_PATH_IMAGE059
和
Figure DEST_PATH_IMAGE061
。风噪声可能由每个麦克风处的局部空气湍流创建，其导致在左麦克风和右麦克风处观察到的风信号之间的差异。跨通道检测器将
Figure DEST_PATH_IMAGE063
与
Figure DEST_PATH_IMAGE065
进行比较，其中
Figure DEST_PATH_IMAGE067
是阈值系数。如果
Figure DEST_PATH_IMAGE069
，则确定存在风并设置风标志。
图3图示了用于操作跨通道检测器114的过程300的实施例。在步骤302中，跨通道检测器计算自相关
Figure DEST_PATH_IMAGE071
Figure DEST_PATH_IMAGE073
和
Figure DEST_PATH_IMAGE075
。在步骤304中，计算互相关
Figure DEST_PATH_IMAGE077
。在步骤306中，如果
Figure DEST_PATH_IMAGE079
，则在步骤308中确定存在风并且跨通道检测器114设置风标志。否则，在步骤310中，跨通道检测器114清除风标志。
返回参考图1，风检测器模块110将单左通道检测器112、单右通道检测器116、和跨通道检测器114的结果输出到融合平滑模块140。三个检测器中的每一个的结果通过确定风检测的规则进行融合。例如，当跨通道检测器114和单通道检测器112和116中的至少一个的风标志被设置时，可以通过确定风存在的规则来融合三个检测器中的每一个的输出。
参考图4，现在将描述融合模块142的操作的实施例。过程400可以以各种硬件和/或软件配置实现，所述硬件和/或软件配置包括例如如存储在音频处理器的存储器中以供由数字信号处理器执行的程序指令。在步骤402中，如果跨通道检测器114的风标志为关，则不存在风，则在步骤410中清除融合风标志。在步骤404中，如果跨通道检测器114风标志为开并且单左通道检测器112标志为开，则在步骤408中确定存在风并且设置融合风标志。在步骤406中，如果单左通道检测器标志不为开并且单右通道检测器116的风标志为开，则在步骤408中确定存在风并且设置融合风标志。否则，不存在风，并且在步骤410中清除融合风标志。
融合风标志被进一步平滑以解决遗漏检测和假警报事件。例如，在一个实施例中，平滑方法检查最后N个融合风标志以确定是否改变风检测状态。如果最后N个风标志全部为开，则已平滑风标志为开。如果最后N个风标志全部为关，则已平滑风标志为关。否则，已平滑风标志可以保持在其当前状态。取决于系统的目标，其他设置和算法也可用于增加或减少对风检测事件的敏感性。
参考图5，现在将描述由图1的平滑模块144执行的平滑操作的实施例。平滑操作500可以以各种硬件和软件配置实现，所述配置包括例如如存储在存储器中以供由数字信号处理器执行的程序指令。在步骤502中，如果已平滑风标志为“开”并且融合阶段风标志为“开”（步骤504），则在步骤506中重置融合标志计数器。如果融合阶段风标志为“关”，则在步骤508中将融合标志计数器递增一。返回参考步骤502，如果已平滑风标志为“关”并且融合阶段风标志为“关”（步骤510），则在步骤512中重置融合标志计数器。如果融合阶段风标志为“开”（步骤510），则融合标志计数器在步骤508中递增一。在步骤514中，如果融合标志计数器大于或等于N（例如，其中N等于连续风标志的数量），则已平滑风标志被设置为等于融合风标志（步骤516）。
在各种实施例中，可以在具有两个或更多个麦克风的各种设备中实现风检测，所述设备诸如手机、PDA、智能扬声器、智能手表、耳机、和助听器。存在麦克风信号的许多频域变换算法，诸如傅里叶变换和小波变换。本公开不限于一种具体算法。所提出的风检测器可以扩展到多个麦克风情况。风检测器模块可以输出
Figure DEST_PATH_IMAGE081
、
Figure DEST_PATH_IMAGE083
、
Figure DEST_PATH_IMAGE085
和
Figure DEST_PATH_IMAGE087
的特征值而不是检测器风标志。风检测器模块可以平滑特征
Figure DEST_PATH_IMAGE088
、
Figure DEST_PATH_IMAGE083A
、
Figure DEST_PATH_IMAGE085A
和
Figure DEST_PATH_IMAGE089
以在阈值比较之前获得长期特征估计。特征可以通过FIR滤波器和IIR滤波器进行平滑。融合平滑模块可以采用其他常见的机器学习算法来融合风检测器模块结果，诸如逻辑回归、朴素贝叶斯、和神经网络。融合平滑模块可以采用其他常用的滤波算法以执行结果平滑，诸如中值滤波、FIR滤波、和IIR滤波。
参考图6，现在将描述结合本公开的风检测处理的示例系统。音频设备600包括音频输入，诸如音频传感器阵列605、音频信号处理器620和主机系统部件650。音频传感器阵列605包括一个或多个传感器，每个传感器可以将声波转换成音频信号。在所图示的环境中，音频传感器阵列605包括多个麦克风605a-605n，每个麦克风生成多通道音频信号的一个音频通道。
音频信号处理器620包括音频输入电路622、数字信号处理器624和可选的音频输出电路626。在各种实施例中，音频信号处理器620可以被实现为包括模拟电路、数字电路和数字信号处理器624的集成电路，所述数字信号处理器624可操作以执行存储在存储器中的程序指令。例如，音频输入电路622可以包括到音频传感器阵列605的接口、抗混叠滤波器、模数转换器电路、回声消除电路、和其他音频处理电路和部件。
数字信号处理器624可以包括处理器、微处理器、单核处理器、多核处理器、微控制器、可编程逻辑器件（PLD）（例如，现场可编程门阵列（FPGA））、数字信号处理（DSP）设备、或可以通过硬连线、执行软件指令、或两者的组合来配置以执行本文中针对本公开的实施例讨论的各种操作的其他逻辑设备中的一种或多种。
数字信号处理器624可操作以处理多通道数字音频输入信号以生成增强的音频信号，该增强的音频信号被输出到一个或多个主机系统部件650。数字信号处理器624可操作以诸如通过总线或其他电子通信接口与主机系统部件650接合并通信。在各种实施例中，多通道音频信号包括噪声信号和至少一个期望的目标音频信号（例如，人类话音）的混合，并且数字信号处理器624可操作以隔离或增强期望的目标信号，同时减少或消除不期望的噪声信号。数字信号处理器624能够可操作以执行风噪声检测、话音/关键字检测和处理、回声消除、噪声消除、目标信号跟踪和增强、后滤波、和其他音频信号处理。
在图示的实施例中，数字信号处理器624包括风检测器628（例如，图1的风检测器模块110）和融合平滑部件630（例如，图1的融合平滑模块140），其可操作以确定当前音频样本中是否存在风噪声。音频信号处理器620可以被配置为产生增强的目标信号以供由主机系统部件进一步处理（例如，用于语音通信的语音输入、语音命令处理等）。数字信号处理器624可以在噪声抑制过程中使用风噪声存在或不存在的指示来帮助移除检测到的风噪声。在另一个实施例中，音频信号处理器620可以被配置用于有源噪声消除，并且可以由数字信号处理器624使用风噪声存在或不存在的指示来帮助抗噪声信号的生成。数字信号处理器624还可包括利用最终风检测标志的其他模块，诸如噪声抑制/消除模块632。在各种实施例中，噪声抑制/消除模块632可以提供输入音频信号中的风噪声的噪声抑制和/或在有风条件下生成用于有源噪声消除的抗噪声。
音频输出电路626处理从数字信号处理器624接收的音频信号以输出到至少一个扬声器，诸如扬声器610a和610b。音频输出电路626可以包括将一个或多个数字音频信号转换为对应的模拟信号的数模转换器和用于驱动扬声器610a和610b的一个或多个放大器。
音频设备600可以实现为可操作以接收和检测目标音频数据的任何设备，诸如例如移动电话、智能扬声器、平板电脑、膝上型计算机、台式计算机、语音控制的器具、或汽车。主机系统部件650可以包括用于操作音频设备600的各种硬件和软件部件。在图示的实施例中，主机系统部件650包括处理器652、用户接口部件654、用于与外部设备和网络（诸如网络680（例如，互联网、云、局域网、或蜂窝网络）和移动设备684）通信的通信接口656、和存储器658。
处理器652可以包括处理器、微处理器、单核处理器、多核处理器、微控制器、可编程逻辑器件（PLD）（例如，现场可编程门阵列（FPGA））、数字信号处理（DSP）设备、或可以通过硬连线、执行软件指令、或两者的组合来配置以执行本文中针对本公开的实施例讨论的各种操作的其他逻辑设备中的一种或多种。主机系统部件650可操作以诸如通过总线或其他电子通信接口与音频信号处理器620和其他主机系统部件650接合和通信。
将理解，虽然音频信号处理器620和主机系统部件650被示出为结合了硬件部件、电路和软件的组合，但在一些实施例中，硬件部件和电路可操作以执行的功能性中的至少一些或全部可以被实现为响应于存储在存储器658或数字信号处理器624的固件中的软件指令和/或配置数据而由处理器652和/或数字信号处理器624执行的软件模块。
存储器658可以实现为一个或多个存储器设备，其可操作以存储数据和信息，包括音频数据和程序指令。存储器658可以包括一种或多种不同类型的存储器设备，包括易失性和非易失性存储器设备，诸如RAM（随机存取存储器）、ROM（只读存储器）、EEPROM（电可擦除只读存储器）、闪速存储器、硬盘驱动器、和/或其他类型的存储器。
处理器652能够可操作以执行存储在存储器658中的软件指令。在各种实施例中，话音识别引擎660可操作以处理从音频信号处理器620接收的增强的音频信号，包括识别和执行语音命令。语音通信部件662能够可操作以促进与一个或多个外部设备（诸如移动设备684或用户设备686）的语音通信，诸如通过移动或蜂窝电话网络上的语音呼叫或IP（互联网协议）网络上的VoIP呼叫。在各种实施例中，语音通信包括将增强的音频信号传输到外部通信设备。
用户接口部件654可以包括显示器、触摸板显示器、小键盘、一个或多个按钮和/或可操作以使得用户能够直接与音频设备600交互的其他输入/输出部件。通信接口656促进音频设备600和外部设备之间的通信。例如，通信接口656可以诸如通过网络680启用音频设备600和一个或多个本地设备（诸如移动设备684）、或提供对远程服务器682的网络访问的无线路由器之间的Wi-Fi（例如，802.11）或蓝牙连接。在各种实施例中，通信接口656可以包括促进音频设备600和一个或多个其他设备之间的直接或间接通信的其他有线和无线通信部件。
前述公开并非旨在将本公开限制于所公开的精确形式或特定使用领域。因此，预期的是，根据本公开，对本公开的各种替代实施例和/或修改（无论是在本文中明确描述还是暗示）都是可能的。已经如此描述了本公开的示例，本领域普通技术人员将认识到，在不脱离本公开的范围的情况下，可以在形式和细节方面进行改变。因此，本公开仅由权利要求限制。

Claims (20)

1.一种系统，包括：
风检测器，其能够操作以接收多个音频输入信号并输出多个风检测标志，所述多个风检测标志包括单通道风检测标志和跨通道风检测标志，每个风检测标志指示风噪声的存在或不存在；以及
融合平滑模块，其能够操作以接收所述多个风检测标志并生成输出风检测标志，所述输出风检测标志。
2.根据权利要求1所述的系统，还包括多个麦克风，所述多个麦克风能够操作以感测声音并生成所述多个音频输入信号。
3.根据权利要求1所述的系统，还包括存储程序指令的存储器、以及能够操作以执行所述程序指令的数字信号处理器；并且其中所述风检测器和所述融合平滑模块包括存储在所述存储器中的程序指令。
4.根据权利要求1所述的系统，还包括噪声抑制模块，所述噪声抑制模块能够操作以接收所述音频输入信号和所述输出风检测标志并降低在所述音频输入信号中检测到的风噪声。
5.根据权利要求1所述的系统，还包括有源噪声消除系统，所述有源噪声消除系统能够操作以根据所述输出风检测标志生成抗噪声信号以消除所述音频输入信号的部分。
6.根据权利要求1所述的系统，其中所述风检测器包括单通道检测器，所述单通道检测器能够操作以接收所述多个音频输入信号的单音频通道并生成所述单通道风检测标志。
7.根据权利要求6所述的系统，其中所述单通道检测器能够操作以将所述单音频通道与风谱模型进行比较。
8.根据权利要求7所述的系统，其中所述风谱模型包括频率分量的部分的功率比的均值和标准偏差以及频谱斜率，并且其中如果所述功率比的所述均值小于阈值均值或所述功率比的所述标准偏差大于阈值标准偏差，则确定不存在风噪声；并且其中如果所述频谱斜率大于预定阈值频谱斜率，则确定存在风。
9.根据权利要求6所述的系统，其中所述风检测器包括跨通道检测器，所述跨通道检测器能够操作以计算两个或更多个音频通道之间的自相关和互相关，并且其中如果所述自相关小于所述互相关则确定存在风。
10.根据权利要求1所述的系统，其中如果所述跨通道风检测标志为开并且至少一个单通道风检测标志为开，则所述融合平滑模块能够操作以将所述输出风检测标志设置为存在。
11.根据权利要求1所述的系统，其中如果预定数量的先前生成的融合风标志为开，则融合平滑功能能够操作以设置融合风标志。
12.一种方法，包括：
接收多个音频输入信号；
生成多个初步风检测标志，所述多个初步风检测标志包括单通道风检测标志和跨通道风检测标志，每个风检测标志指示所述音频输入信号的部分中的风噪声的存在或不存在；以及
输出所述风检测标志。
13.根据权利要求12所述的方法，还包括如果所述风检测标志是有源的则降低所述音频输入信号中的风噪声。
14.根据权利要求12所述的方法，还包括根据所述风检测标志生成抗噪声信号以消除所述音频输入信号的部分。
15.根据权利要求12所述的方法，还包括接收所述音频输入信号的单音频通道并生成所述单通道风检测标志。
16.根据权利要求15所述的方法，还包括将所述单音频通道与风谱模型进行比较。
17.根据权利要求16所述的方法，还包括通过计算特定频率分量的功率比的均值和标准偏差以及频谱斜率来生成所述风谱模型；
如果所述功率比的所述均值小于阈值均值或所述标准偏差大于阈值标准偏差，则设置所述单通道风检测标志以指示不存在风噪声；以及
如果所述频谱斜率大于预定阈值频谱斜率，则设置所述单通道风噪声标志以指示存在风噪声。
18.根据权利要求16所述的方法，还包括计算两个或更多个音频通道之间的自相关和互相关；以及如果所述自相关小于所述互相关则确定存在风噪声。
19.根据权利要求12所述的方法，还包括如果所述跨通道检测器风噪声标志为开并且所述单通道音频标志中的至少一个为开，则将最终风检测标志设置为存在。
20.根据权利要求19所述的方法，还包括基于先前确定的融合风检测标志值的数量来平滑所述融合风检测标志。
CN202080032497.9A 2019-04-30 2020-04-28 风噪声检测系统和方法 Pending CN113711308A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/399961 2019-04-30
US16/399,961 US10721562B1 (en) 2019-04-30 2019-04-30 Wind noise detection systems and methods
PCT/US2020/030312 WO2020223261A1 (en) 2019-04-30 2020-04-28 Wind noise detection systems and methods

Publications (1)

Publication Number Publication Date
CN113711308A true CN113711308A (zh) 2021-11-26

Family

ID=71611939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080032497.9A Pending CN113711308A (zh) 2019-04-30 2020-04-28 风噪声检测系统和方法

Country Status (4)

Country Link
US (1) US10721562B1 (zh)
KR (1) KR20210149858A (zh)
CN (1) CN113711308A (zh)
WO (1) WO2020223261A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11304001B2 (en) * 2019-06-13 2022-04-12 Apple Inc. Speaker emulation of a microphone for wind detection
CN113286214B (zh) * 2020-02-20 2022-09-27 小鸟创新(北京)科技有限公司 耳机信号处理方法、装置和耳机
US11468875B2 (en) * 2020-12-15 2022-10-11 Google Llc Ambient detector for dual mode ANC
JP2024500916A (ja) * 2020-12-22 2024-01-10 ドルビー ラボラトリーズ ライセンシング コーポレイション バイノーラルオーディオ録音のための知覚強化
EP4061019A1 (en) 2021-03-18 2022-09-21 Bang & Olufsen A/S A headset capable of compensating for wind noise
US12126957B1 (en) 2021-06-29 2024-10-22 Amazon Technologies, Inc. Detecting wind events in audio data
US11682411B2 (en) 2021-08-31 2023-06-20 Spotify Ab Wind noise suppresor

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082204B2 (en) * 2002-07-15 2006-07-25 Sony Ericsson Mobile Communications Ab Electronic devices, methods of operating the same, and computer program products for detecting noise in a signal based on a combination of spatial correlation and time correlation
US7340068B2 (en) * 2003-02-19 2008-03-04 Oticon A/S Device and method for detecting wind noise
KR101118217B1 (ko) * 2005-04-19 2012-03-16 삼성전자주식회사 오디오 데이터 처리 장치 및 방법
US8488803B2 (en) * 2007-05-25 2013-07-16 Aliphcom Wind suppression/replacement component for use with electronic systems
US8184816B2 (en) * 2008-03-18 2012-05-22 Qualcomm Incorporated Systems and methods for detecting wind noise using multiple audio sources
US8515097B2 (en) * 2008-07-25 2013-08-20 Broadcom Corporation Single microphone wind noise suppression
US8924204B2 (en) * 2010-11-12 2014-12-30 Broadcom Corporation Method and apparatus for wind noise detection and suppression using multiple microphones
US20120163622A1 (en) * 2010-12-28 2012-06-28 Stmicroelectronics Asia Pacific Pte Ltd Noise detection and reduction in audio devices
US20150058002A1 (en) * 2012-05-03 2015-02-26 Telefonaktiebolaget L M Ericsson (Publ) Detecting Wind Noise In An Audio Signal
US9589573B2 (en) * 2013-07-12 2017-03-07 Cirrus Logic International Semiconductor Ltd. Wind noise reduction
GB2542961B (en) * 2014-05-29 2021-08-11 Cirrus Logic Int Semiconductor Ltd Microphone mixing for wind noise reduction
AU2015292259A1 (en) * 2014-07-21 2016-12-15 Cirrus Logic International Semiconductor Limited Method and apparatus for wind noise detection
EP2996352B1 (en) * 2014-09-15 2019-04-17 Nxp B.V. Audio system and method using a loudspeaker output signal for wind noise reduction
EP3264798A1 (en) * 2016-06-27 2018-01-03 Oticon A/s Control of a hearing device
KR20180108155A (ko) * 2017-03-24 2018-10-04 삼성전자주식회사 바람 소리가 조정된 신호를 출력하는 방법 및 전자 장치
US10582293B2 (en) * 2017-08-31 2020-03-03 Bose Corporation Wind noise mitigation in active noise cancelling headphone system and method
US10504537B2 (en) * 2018-02-02 2019-12-10 Cirrus Logic, Inc. Wind noise measurement

Also Published As

Publication number Publication date
WO2020223261A1 (en) 2020-11-05
KR20210149858A (ko) 2021-12-09
US10721562B1 (en) 2020-07-21

Similar Documents

Publication Publication Date Title
US10721562B1 (en) Wind noise detection systems and methods
US10535362B2 (en) Speech enhancement for an electronic device
EP3642836B1 (en) Audio device with wakeup word detection
EP2863392B1 (en) Noise reduction in multi-microphone systems
US7983907B2 (en) Headset for separation of speech signals in a noisy environment
JP2018137734A (ja) バイノーラルインパルス環境検出器を備えるバイノーラル聴力器具システム
JP5938682B2 (ja) 補聴器および振動検出方法
EP2916321A1 (en) Multi-microphone method for estimation of target and noise spectral variances for speech degraded by reverberation and optionally additive noise
WO2010125797A1 (ja) 補聴装置、及び補聴方法
EP3701525A1 (en) Electronic device using a compound metric for sound enhancement
EP2665292A2 (en) Hearing assistance apparatus
KR20080059147A (ko) 노이즈 환경에서 스피치 신호의 강건한 분리
JP2010513987A (ja) 近接場ベクトル信号増幅
CN108235181B (zh) 在音频处理装置中降噪的方法
US10204637B2 (en) Noise reduction methodology for wearable devices employing multitude of sensors
WO2021183356A1 (en) Audio processing using distributed machine learning model
US20090285422A1 (en) Method for operating a hearing device and hearing device
CN113132885B (zh) 基于双麦克风能量差异判别耳机佩戴状态的方法
CN111757211A (zh) 降噪方法、终端设备及存储介质
DK181039B1 (en) Hearing device with microphone switching and related method
US11264014B1 (en) Audio device and method of audio processing with improved talker discrimination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination