CN116569563A - 空间音频风噪声检测 - Google Patents
空间音频风噪声检测 Download PDFInfo
- Publication number
- CN116569563A CN116569563A CN202180082004.7A CN202180082004A CN116569563A CN 116569563 A CN116569563 A CN 116569563A CN 202180082004 A CN202180082004 A CN 202180082004A CN 116569563 A CN116569563 A CN 116569563A
- Authority
- CN
- China
- Prior art keywords
- audio data
- spatial audio
- metric
- wind noise
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims description 25
- 230000005236 sound signal Effects 0.000 claims abstract description 89
- 238000000034 method Methods 0.000 claims description 90
- 230000003190 augmentative effect Effects 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 8
- 230000009467 reduction Effects 0.000 description 108
- 230000009471 action Effects 0.000 description 28
- 238000001914 filtration Methods 0.000 description 15
- 230000004044 response Effects 0.000 description 13
- 238000007493 shaping process Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000000527 sonication Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000025518 detection of mechanical stimulus involved in sensory perception of wind Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
- G10L21/0324—Details of processing therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/01—Noise reduction using microphones having different directional characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/07—Mechanical or electrical reduction of wind noise generated by wind passing a microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Otolaryngology (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
一种设备包括:一个或多个处理器,其被配置为获得表示由至少三个麦克风捕获的声音的音频信号;以及基于音频信号来确定空间音频数据。一个或多个处理器还被配置为确定指示音频信号中的风噪声的度量。度量是基于对第一值和第二值的比较的,其中,第一值对应于基于空间音频数据的聚合信号,并且第二值对应于基于空间音频数据的差分信号。
Description
相关申请的交叉引用
本专利申请要求享受来自2020年12月21日递交的共同所有的美国非临时专利申请第17/128,544号的优先权的权益,该美国非临时专利申请的内容整体地通过引用的方式明确地并入本文中。
技术领域
概括而言,本公开内容涉及声音事件分类,以及更具体地涉及检测空间音频中的风噪声。
背景技术
技术中的进步已经导致更小且更强大的计算设备。例如,当前存在各种各样的便携式个人计算设备,包括小型、轻量级以及容易由用户携带的无线电话(诸如移动和智能电话、平板设备和膝上型计算机)。这些设备可以在无线网络上传送语音和数据分组。进一步地,许多这样的设备并入了额外的功能,诸如数字照相机、数字摄像机、数字记录器、音频记录、音频和或视频会议、以及音频文件播放器。此外,这样的设备可以处理可执行指令,包括可以用以接入互联网的软件应用(诸如网页浏览器应用)。照此,这些设备可以包括关键的计算能力,包括例如音频信号处理。对于这样的设备,风噪声对于在室外捕获的音频而言可能是有问题的。
发明内容
在特定方面中,一种设备包括:一个或多个处理器,其被配置为获得表示由至少三个麦克风捕获的声音的音频信号;以及基于音频信号来确定空间音频数据。一个或多个处理器还被配置为确定指示音频信号中的风噪声的度量。度量是基于对第一值和第二值的比较的,其中,第一值对应于基于空间音频数据的聚合信号,以及第二值对应于基于空间音频数据的差分信号。
在特定方面中,一种方法包括:获得表示由至少三个麦克风捕获的声音的音频信号;以及基于音频信号来确定空间音频数据。方法还包括:确定指示音频信号中的风噪声的度量。度量是基于对第一值和第二值的比较的,其中,第一值对应于基于空间音频数据的聚合信号,以及第二值对应于基于空间音频数据的差分信号。
在特定方面中,一种设备包括:用于基于表示由至少三个麦克风捕获的声音的音频信号来确定空间音频数据的单元。设备还包括:用于确定指示音频信号中的风噪声的度量的单元。度量是基于对第一值和第二值的比较的,其中,第一值对应于基于空间音频数据的聚合信号,以及第二值对应于基于空间音频数据的差分信号。
在特定方面中,一种非暂时性计算机可读存储设备存储指令,指令能由一个或多个处理器执行以使得一个或多个处理器进行以下操作:基于表示由至少三个麦克风捕获的声音的音频信号来确定空间音频数据。指令还使得一个或多个处理器进行以下操作:确定指示音频信号中的风噪声的度量。度量是基于对第一值和第二值的比较的,其中,第一值对应于基于空间音频数据的聚合信号,以及第二值对应于基于空间音频数据的差分信号。
在阅读整个申请(包括以下章节:附图说明、具体实施方式和权利要求书)之后,本公开内容的其它方面、优势和特征将变得显而易见。
附图说明
图1是被配置为检测和降低空间音频数据中的风噪声的设备的示例的框图。
图2是示出根据特定示例的用于检测和降低空间音频数据中的风噪声的设备的特定方面的框图。
图3是示出根据另一特定示例的用于检测和降低空间音频数据中的风噪声的设备的特定方面的框图。
图4是示出根据特定示例的在没有风噪声消除的情况下和在具有风噪声消除的情况下的针对若干风速的声级的一组图形。
图5是示出根据另一特定示例的在没有风噪声消除的情况下和在具有风噪声消除的情况下的针对若干风速的声级的一组图形。
图6示出根据本公开内容的一些示例的可操作以执行风噪声检测和降低的各方面的集成电路的示例。
图7示出根据本公开内容的一些示例的可操作以执行风噪声检测和降低的各方面的集成电路的另一示例。
图8示出并入图1的设备的各方面的移动设备。
图9示出并入图1的设备的各方面的耳塞。
图10示出并入图1的设备的各方面的头戴式耳机。
图11示出并入图1的设备的各方面的可穿戴设备。
图12示出并入图1的设备的各方面的语音控制的扬声器系统。
图13示出并入图1的设备的各方面的照相机。
图14示出并入图1的设备的各方面的头戴式耳机。
图15示出并入图1的设备的各方面的空中设备。
图16示出并入图1的设备的各方面的车辆。
图17是示出使用图1的设备来检测空间音频数据中的风噪声的方法的示例的各方面的流程图。
图18是示出使用图1的设备来检测和降低空间音频数据中的风噪声的方法的示例的各方面的流程图。
图19是示出使用图1的设备来检测和降低空间音频数据中的风噪声的方法的示例的各方面的流程图。
图20是示出使用图1的设备来检测和降低空间音频数据中的风噪声的方法的示例的各方面的流程图。
图21是根据特定方面的可操作以执行风噪声检测和降低的设备的特定说明性示例的框图。
具体实施方式
风噪声对于在室外捕获的音频而言可能是有问题的。本文中公开的方面实现对诸如空间音频数据的音频数据中的风噪声的检测以及对诸如空间音频数据的音频数据中的风噪声的降低。在一些方面中,风噪声是基于对空间音频数据的分析来检测的。在一些方面中,检测到的风噪声是通过处理空间音频数据来减轻或降低的。例如,空间音频数据的特定通道可以被去加重(de-emphasized)。作为另一示例,空间音频数据的低频分量可以在不使捕获的音频和空间质量降级的情况下被滤除。
在特定方面中,风噪声度量是基于对两个值的比较来确定的,这两个值包括与基于空间音频数据的聚合信号相对应的第一值以及与基于空间音频数据的差分信号相对应的第二值。在一些实现方式中,空间音频数据包括全景声(ambisonics)数据。例如,当全景声数据包括一阶全景声时,全景声数据可以被编码为W-通道(包括全向声音信息)、X-通道(包括表示前/后声音的差分声音信息)、Y-通道(包括表示左/右声音的差分声音信息)以及Z-通道(包括表示上/下声音的差分声音信息)。在这个示例中,聚合信号对应于全向声音信息(例如,W-通道),以及差分信号对应于定向通道(例如,X-通道、Y-通道或Z-通道)中的一个定向通道。
在一些实现方式中,空间音频数据包括两个或更多个经波束形成的音频通道,这些音频通道对应于偏移达至少门限角度(例如,90至180度)的波束。在这样的实现方式中,聚合信号对应于基于两个波束的总和,以及差分信号对应于基于两个波束的差。
度量的值指示风噪声的存在性以及在存在的情况下的风噪声的程度。在一些实现方式中,特定频率或频带中的度量的值可以用于确定用于降低风噪声的响应动作。例如,度量的频带特定值可以用于确定用于降低风噪声的频带特定滤波器参数。作为另一示例,当度量的频率特定值超过门限时,可以减小应用于音频数据的一个或多个通道的增益以限制风噪声。
下文参考附图描述本公开内容的特定方面。在该描述中,共同的特征是通过共同的附图标记来指定的。如本文所使用的,各种术语仅用于描述特定实现的目的,以及不旨在限制实现方式。例如,单数形式“一(a)”、“一个(an)”和“所述(the)”旨在还包括复数形式,除非上下文另外清楚地指出。进一步地,本文中描述的一些特征在一些实现方式中是单数,以及在其它实现方式中是复数。举例说明,图1描绘包括一个或多个扬声器(图1的“(多个)扬声器”126)的设备100,这指示在一些实现方式中,设备100包括单个扬声器126,以及在其它实现方式中,设备102包括多个扬声器126。为了便于引用,这样的特征通常被引入为“一个或多个”特征,以及后续以单数形式或可选的复数形式(通常通过以“(多个)”开始的术语来指示)来提及,除非描述与特征中的多个特征相关的方面。
术语“包括(comprise)”、“包括(comprises)”和“包括(comprising)”在本文中与“包含(include)”、“包含(includes)”或“包含(including)”互换地使用。另外,术语“其中(wherein)”可以与“其中(where)”互换地使用。如本文所使用的,“示例性”指示示例、实现方式和/或方面,以及不应当解释为限制或指示优选项或优选实现方式。如本文所使用的,用于修饰诸如结构、组件、操作等的元素的序数词(例如,“第一”、“第二”、“第三”等)本身不指示该元素相对于另一元素的任何优先级或次序,而仅是将该元素与具有相同名称(如果没有使用序数词)的另一元素区分开。如本文所使用的,术语“集合”指的是特定元素中的一个或多个元素,以及术语“多个”指的是特定元素中的多个(例如,两个或更多个)元素。
如本文所使用的,“耦合”可以包括“通信地耦合”、“电力地耦合”或“物理地耦合”,以及还可以(或替代地)包括其任何组合。两个设备(或组件)可以经由一个或多个其它设备、组件、线、总线、网络(例如,有线网络、无线网络或其组合)等直接地或间接地耦合(例如,通信地耦合、电力地耦合或物理地耦合)。作为说明性的非限制性示例,电力地耦合的两个设备(或组件)可以被包括在相同设备中或不同设备中,以及可以是经由电子器件、一个或多个连接器或感应耦合进行连接的。在一些实现方式中,通信地耦合(诸如进行电子通信)的两个设备(或组件)可以直接地或间接地(诸如经由一个或多个线、总线、网络等)发送和接收电信号(数字信号或模拟信号)。如本文所使用的,“直接地耦合”指的是在没有介于中间的组件的情况下耦合(例如,通信地耦合、电力地耦合或物理地耦合)的两个设备。
在本公开内容中,诸如“确定”、“计算”、“估计”、“移位”、“调整”等的术语可以用于描述如何执行一个或多个操作。应当注意的是,这样的术语不解释为限制性的,以及可以利用其它技术来执行类似的操作。另外,如本文所引用的,“生成”、“计算”、“估计”、“使用”、“选择”、“接入”和“确定”可以互换地使用。例如,“生成”、“计算”、“估计”或“确定”参数(或信号)可以指的是主动地生成、估计、计算或确定参数(或信号),或者可以指的是使用、选择或接入已经诸如由另一组件或设备生成的参数(或信号)。
图1是被配置为检测和降低空间音频数据中的风噪声的设备100的示例的框图。在图1中所示的示例中,设备100包括被配置为生成音频数据104的三个麦克风102,包括麦克风102A、麦克风102B和麦克风102N。在其它实现方式中,设备100包括多于三个的麦克风。在另外其它示例中,设备100包括少于三个的麦克风。举例说明,在一些示例中,设备100被配置为经由接口(例如,音频输入端口)或经由中间设备(例如,计算设备、声卡等)来获得由多个远程麦克风捕获的音频数据104,在这种情况下,设备100可以不包括任何麦克风102。
在图1中所示的示例中,音频数据104是在风湍流噪声降低引擎106处进行处理的,以去除或降低与风湍流相关联的高频风噪声。在图1中,风湍流噪声降低引擎106在减轻风湍流噪声之后生成与音频数据104相对应的输出信号108。在特定方面中,风湍流噪声降低引擎106对音频数据104的各个流进行操作。举例说明,如果音频数据104表示输入到风湍流噪声降低引擎106的N个音频信息流(其中,N是正整数),则输出信号108包括N个音频信息流,每个音频信息流对应于输入到风湍流噪声降低引擎106的N个音频数据流104中的具有降低的由于风湍流而造成的高频风噪声的各自的一个音频数据流。作为一个示例,风湍流噪声降低引擎106可以识别音频数据104信号中的具有与同一音频104信号的第二信号分量相比更多的风湍流噪声的一个音频数据104信号的第一信号分量,以及可以合成第三信号分量以替换第一信号分量以生成相应的输出信号108。在这个示例中,第三信号分量具有与第一信号分量相比更少的风湍流噪声,以及在这个示例中,输出信号108可以被生成为具有与相应的音频数据104信号相同的频率响应。在另一方面中,风湍流噪声降低引擎106对音频数据104的两个或更多个流一起进行操作,以识别和/或去除风湍流噪声。举例说明,风湍流噪声降低引擎106可以通过调整在音频数据104信号中的两个或更多个音频数据104信号之间的通道间相位差来生成输出信号108中的一个或多个输出信号。
在图1中,风湍流噪声降低引擎106的输出信号108被提供给空间音频转换器110以生成空间音频数据112。在特定方面中,空间音频数据112包括全景声数据,诸如一阶全景声数据或更高阶全景声数据。举例说明,空间音频转换器110可以执行对通过输出信号108表示的声场的三维球面谐波分解,以生成全景声系数。在特定方面中,空间音频数据112表示两个或更多个音频波束。举例说明,空间音频转换器110可以使用通过输出信号108表示的声场来执行波束成形(例如,空间滤波),以生成两个或更多个音频波束。
图1示出第一示例150,以说明使用一阶全景声的空间音频编码。在第一示例150中,空间音频数据包括表示沿X轴156的差分声音的X-通道或X-系数。在第一示例150中,X轴156指的是相对于观察者的从前到后方向,以及X-通道对在观察者前方的声音与在观察者后方的声音之间的差进行编码。第一示例150还示出表示沿Y轴154的差分声音的Y-通道或Y-系数。在第一示例150中,Y轴154指的是相对于观察者的左右方向,以及Y-通道对在观察者右侧的声音与在观察者左侧的声音之间的差进行编码。第一示例150还示出表示沿Z轴152的差分声音的Z-通道或Z系数。在第一示例150中,Z轴152指的是相对于观察者的上下方向,以及Z-通道对在观察者上方的声音与在观察者下方的声音之间的差进行编码。第一示例150还示出表示在观察者周围的区域W 158中的全向声音的W-通道或W-系数。在第一示例150中,W-通道对在观察者周围的声音的聚合进行编码。
图1示出第二示例160,以说明使用波束成形的空间音频编码。在第二示例160中,生成两个波束164和166以表示来自三维空间内的特定方向的声音,该三维空间在第二示例160中通过包括X轴、Y轴和Z轴的笛卡尔坐标系来表示。在第二示例160中,波束164和166对应于在角度上偏移达角度168的不同的方向。
应当注意的是,虽然第一示例150的全景声系数和第二示例160的轴各自使用X-、Y-和Z-标记,但是标记是由于标记约定而相同的,以及在第一示例150和第二示例160中不一定意味着相同的东西。例如,如上所述,在用于一阶全景声的B格式记法中,X系数表示在观察者前方的声音与在观察者后方的声音之间的差;而在笛卡尔坐标记法中,X轴仅指示方向,以及与观察者无关。因此,第一示例150和第二示例160的X-、Y-和Z-标记是有区别的,以及不应当混淆。
在图1中,空间音频数据112被提供给空间音频风噪声降低处理器114。空间音频风噪声降低处理器114被配置为确定指示空间音频数据112中的风噪声的度量。例如,空间音频风噪声降低处理器114可以基于对从空间音频数据112推导的第一值和第二值的比较来确定度量的值。在这个示例中,第一值对应于基于空间音频数据112的聚合信号,以及第二值对应于基于空间音频数据112的差分信号。在这个示例中,度量的值可以被输出给用户(例如,以指示存在过量的风噪声),用于触发其它处理等。
当空间音频数据112包括两个或更多个音频波束164、166时,聚合信号可以被确定为两个音频波束的总和,以及差分信号可以被确定为两个音频波束的差。用于生成聚合信号和差分信号的两个音频波束在角度上彼此偏移,诸如达90度至180度。作为第二方面的具体示例,当空间音频数据112包括两个音频波束164、166时,度量的值可以被确定为两个音频波束164、166的值的总和与两个音频波束164、166的值的差的比率。
在特定方面中,空间音频风噪声降低处理器114使用度量的一个或多个值来配置滤波器参数以去除风噪声的至少一部分,以生成风噪声降低的音频数据116。另外或者在替代方式中,在一些实现方式中,空间音频风噪声降低处理器114通过将度量的值与一个或多个风检测门限进行比较来检测风噪声。在一些这样的实现方式中,当检测到通过度量的特定值表示的显著风噪声时,减小应用于空间音频数据112的一个或多个通道的增益。
在图1的示例中,风噪声降低的音频数据116被提供给空间音频转换器118,以基于风噪声降低的音频数据116来生成双声道或单声道音频数据120。在一些实现方式中,双声道或单声道音频数据120被提供给环境噪声抑制器122。环境噪声抑制器122被配置为降低静止的高频风噪声,以生成风噪声降低的音频数据124。在图1的示例中,风噪声降低的音频数据124可以被提供给一个或多个扬声器126以生成声音输出。
在一些实现方式中,省略在图1中所示的组件或操作中的一者或多者。例如,在一些实现方式中,可以省略风湍流噪声降低引擎106、环境噪声抑制器122或两者。在这样的实现方式中,音频数据104中的风噪声仍然可以是由空间音频风噪声降低处理器114来检测和/或降低的。作为另一示例,可以省略空间音频转换器110、空间音频转换器118或两者。举例说明,在这样的实现方式中,空间音频数据112是由另一设备来生成的,以及是由空间音频风噪声降低处理器114从该另一设备、从中间设备或从存储器设备来获得的。另外或者在替代方式中,在这样的实现方式中,风噪声降低的音频数据116被提供给另一设备,以生成双声道或单声道音频数据120、风噪声降低的音频数据124或两者。作为另一示例,可以省略(多个)扬声器126,在这种情况下,风噪声降低的音频数据124可以被发送给另一设备或外部扬声器用于回放,或者可以被存储(例如,在存储器设备中)用于稍后的回放。
在图1中所示的示例中,设备100包括至少三个麦克风102,其适当地分隔开以实现空间音频转换。例如,在特定实现方式中,麦克风中的至少两个麦克风(例如,麦克风102A和麦克风102N)分隔开至少0.5厘米。在其它实现方式中,麦克风中的至少两个麦克风(例如,麦克风102A和麦克风102N)分隔开至少2.0厘米。当麦克风102一起比0.5厘米更靠近时,诸如互相关的其它风噪声降低技术在去除风噪声方面可能是有效的。因此,在一些方面中,图1的设备100可以使用互相关来从相距小于0.5厘米或相距在0.5厘米与2.0厘米之间的麦克风去除风噪声,可以使用空间音频风噪声降低处理器114来从相距大于0.5厘米或相距大于2.0厘米的麦克风去除风噪声。在一些实现方式中,设备100可以被配置为在互相关风噪声降低与空间音频风噪声降低之间切换。例如,当第一组麦克风102提供音频数据104时,设备100基于指示第一组麦克风102分隔开小于门限的配置设置或信息来使用互相关风噪声降低。在这个示例中,当第二组麦克风102提供音频数据104时,设备100基于指示第二组麦克风102分隔开大于门限的配置设置或信息来使用空间音频风噪声降低处理器114以降低风噪声。
图2是示出根据特定示例的用于检测和降低空间音频数据中的风噪声的设备200的特定方面的框图。在空间音频数据112包括全景声数据的实现方式中,图2的示例中的设备200可以包括图1的空间音频风噪声降低处理器114、被包括在图1的空间音频风噪声降低处理器114内或者与图1的空间音频风噪声降低处理器114相对应。例如,在图2中,空间音频数据112包括Z-通道(表示Z-系数)、X-通道(表示X-系数)、Y-通道(表示Y-系数)和W-通道(表示W-系数)。在其它示例中,空间音频数据112包括更高阶的全景声数据。
在图2中,空间音频数据112是使用快速傅里叶变换(FFT)202或另一时域到频域变换操作来变换到频域的,以生成频域空间音频数据204。频域空间音频数据204指示对于空间音频数据112的时间窗口采样而言与各种频率或频段相关联的幅度。
在度量计算块206,频域空间音频数据204的至少两个通道用于计算度量的频率特定值(图2中的“频率特定度量值”210)。例如,确定每个时间窗口样本在每个频率处的信号功率。举例说明,在每个频率(f)和时间窗口样本(t)处的信号功率(P)可以是使用等式1来确定的:
Pt(f)=α*S(f)*conj(S(f))+(1-α)*Pt-1(f)等式1
其中,Pt(f)是在时间t和频率f处的信号功率,α是平滑因子,S(f)是在频率f处的复数功率,以及Pt-1(f)是在先前时间t-1处的频率的信号功率。对于特定的频率和时间样本,频率特定度量值210被确定为在特定频率和时间样本处的W-通道的功率与在该特定频率或时间样本处的差分通道(例如,Y-通道、X-通道或Z-通道)中的一个差分通道的功率的比率。例如,当全景声系数用于表示空间音频数据112时,度量的每个频率特定值可以表示在特定频率处的全向(例如,W-通道)信号功率除以在该特定频率处的差分(例如,Y-通道)信号功率。在特定方面中,针对小于门限频率208的每个频率来确定频率特定度量值210。在这个示例中,度量指示用于风噪声降低的功率,该功率对应于将在该频率处应用以去除风噪声的增益。因此,在这个示例中,度量的较高值指示信号中的较少部分是由于风噪声造成的,以及度量的较低值指示信号中的较多部分是由于风噪声造成的。
在特定方面中,在条件性增益减小块212处,将频率特定度量值210与一个或多个风检测门限214进行比较。在这个方面中,应用于音频数据的一个或多个通道的增益216可以是响应于频率特定度量值210中的任何一个频率特定度量值满足(例如,小于或等于)(多个)风检测门限214来调整的,以降低风噪声。(多个)风检测门限214是在0与1之间的静态的或可调的值。
在图2中所示的示例中,由条件性增益减小块212调整的(多个)增益216包括X-通道增益和Z-通道增益。一些音频捕获设备和/或音频处理设备倾向于以增加风噪声的方式来提升空间音频数据的X-系数和Z-系数的低频分量。因此,减小应用于X-通道、Z-通道或两者的增益可以降低输出音频中的风噪声。此外,与X-通道和Z-通道相比,人类感知倾向于更多地依赖Y-通道和W-通道用于空间线索。因此,应用于X-通道、Z-通道或两者的增益的降低导致与Y-通道和W-通道任一的降低相比的更好的用户体验。在其它示例中,仅调整X-通道增益或仅调整Z-通道增益。在另外其它示例中,除了X-通道增益和Z-通道增益中的一者或两者之外,或者代替X-通道增益或Z-通道增益中的一者或两者,调整Y-通道增益。
在特定方面中,在频带特定度量计算块230处使用频率特定度量值210来计算频带特定度量值238。例如,频率特定度量值210是通过频带232来分群组的,以及加权和用于计算用于每个频带232的频带特定度量值。在特定实现方式中,频带232具有500赫兹(Hz)的带宽。在其它实现方式中,频带232是较大的(例如,1000 Hz)或较小的(例如,250 Hz)。在另外其它实现方式中,不同的频带232可以具有不同的带宽。
在特定实现方式中,用于特定频带的频带特定度量值238可以是使用等式2来计算的:
其中,Metricband是针对在上限频率值(f_upper)与下限频率值(f_lower)之间的频带的频带特定度量值238,Metric(f)是在频带内的度量的频率特定值,以及wr_parameter是风降低参数234的值。风降低参数234是预配置的或可调的值,其影响设备200如何积极地降低风噪声,尤其是在较低频带中。例如,风降低参数234的较大值导致低频风噪声中的较多降低,而风降低参数234的较小值导致低频风噪声中的较少降低。作为一个示例,为0.5的默认值可以用于风降低参数234;然而,风降低参数234的值可以是在值的范围(在特定的非限制示例中,诸如从0.1到4)内可调的。
在特定方面中,频带特定度量计算块230可以在确定频带特定度量值238之前修改频率特定度量值210中的一个或多个频率特定度量值。例如,频带特定度量计算块230可以将频率特定度量值210中的每个频率特定度量值与接受准则236进行比较。在这个示例中,如果特定的频率特定度量值210满足接受准则236,则特定的频率特定度量值210被确定为不表示风噪声。在这种情形下,特定的频率特定度量值210可以被指派为1的值,以指示不存在风噪声。接受准则236是在0与1之间的预设的或可调的值。在特定的非限制性示例中,接受准则236是在0.6与0.9之间的,以及当特定的频率特定度量值210大于或等于接受准则236时,满足接受准则236。举例说明,如果接受准则236具有为0.8的值,并且特定的频率特定度量值210的值是0.82,则出于确定频带特定度量值238的目的,频率特定度量值210被指派为1的频率特定度量值。
频带特定度量值238是在功率整形块240处进行整形的。整形防止一组频带中的较高频带的经增益调整的功率超过该组频带中的较低频带的经增益调整的能量。例如,功率整形块240可以使用诸如以下内容的逻辑:
如果Metricband(Bandk)*E(Bandk,W)<Metricband(Bandk+1)*E(Bandk+1,W);
则Metricband(Bandk)=Metricband(Bandk+1)*E(Bandk+1,W)/E(Bandk,W)
其中Bandk指示特定频带,Bankk+1指示下一较高频带,E(Bandk,W)是W-通道中的第k频带的能量,以及E(Bandk+1,W)是W-通道中的第k+1频带的能量,其中,W-通道中的每个频带的能量是基于频域空间音频数据204来确定的。
经功率整形的频带特定度量值238被用作用于滤波器库244的滤波器参数242。滤波器库244修改频域空间音频数据204以生成经滤波的频域空间音频数据246。例如,滤波器库244可以使用等式3来确定用于每个频率和通道的频域空间音频数据246:
其中,Output(f)是用于特定频率(f)和通道的频域空间音频数据246,S(f)是用于特定频率(f)和通道的频域空间音频数据204,Bandn是特定频率(f)落在其中的频带232中的特定频带,Metric(Bandn)是用于特定通道的Bandn的经功率整形的频带特定度量,以及H_n(f)是用于特定频率(f)和通道的传递函数。
在图2中,频域空间音频数据246是使用快速傅里叶逆变换(IFFT)248来从频域变换到时域的,以生成风噪声降低的音频数据116的一个或多个通道。例如,IFFT 248可以执行快速傅里叶逆变换或另一时域到频域变换操作。图2的IFFT 248输出对应于被输入到FFT202的W-通道的W’-通道252,其中低频风噪声分量被去除或降低。此外,图2的IFFT 248输出对应于被输入到FFT 202的Y-通道的Y’-通道250,其中低频风噪声分量被去除或降低。图2的IFFT 248还输出对应于被输入到FFT 202的X-通道的X’-通道224(其中低频风噪声分量被去除或降低)以及对应于被输入到FFT 202的Z-通道的Z’-通道218(其中低频风噪声分量被去除或降低)。在图2中所示的示例中,(多个)增益216可以经由放大器226来应用于X’-通道224以生成输出X’-通道228,经由放大器220来应用于Z’-通道218以生成输出Z’-通道222,或者两者,以进一步降低风噪声降低的音频数据116中的风噪声。在一些实现方式中,(多个)增益216被逐步地应用在多个帧上,以限制可能导致可感知的砰砰声或其它假象(artifact)的突然变化。在一些实现方式中,(多个)增益216可以被设置到为0的值,指示从(多个)增益216被应用的相应的通道中去除了所有音频。
在一些实现方式中,风噪声降低的音频数据116被提供给其它组件(诸如图1的空间音频转换器118),以用于进一步处理和生成声音输出(例如,经由图1的(多个)扬声器126)。
图3是示出根据另一特定示例的用于检测和降低空间音频数据中的风噪声的设备300的特定方面的框图。在空间音频数据112包括两个或更多个波束164、166的实现方式中,图3的示例中的设备300可以包括图1的空间音频风噪声降低处理器114、被包括在图1的空间音频风噪声降低处理器114内或者与图1的空间音频风噪声降低处理器114相对应。例如,在图3中,空间音频数据112包括θ-通道(表示来自图1的波束164的数据)和π-通道(表示来自图1的波束166的数据)。在其它示例中,空间音频数据112包括来自多于两个的波束的数据。
在图3中,空间音频数据112是使用FFT 302或另一时域到频域变换操作来变换到频域的,以生成频域空间音频数据304。频域空间音频数据304指示对于空间音频数据112的时间窗口采样而言与各种频率或频段相关联的幅度。
在度量计算块306处,使用频域空间音频数据304的至少两个通道来计算度量的频率特定值(图3中的“频率特定度量值”310)。例如,确定在每个频率处的每个时间窗口采样的信号功率。举例说明,在每个频率和时间窗口采样处的信号功率可以是使用上文的等式1来确定的。对于特定的频率和时间样本,频率特定度量值310被确定为两个通道的总和的功率与两个通道的差的比率。举例说明,频率特定度量值310可以是使用等式4来确定的:
其中,Pt是用于特定波束的时间样本t的信号功率,B(θ,f)表示波束164的对应于频率f的分量,以及B(π,f)表示波束166的对应于频率f的分量。
在特定方面中,频率特定度量值310是针对小于门限频率308的每个频率来确定的。如图2所示,度量指示用于风噪声降低的功率,该功率对应于将在该频率处应用以去除风噪声的增益。因此,度量的较高值指示信号的较少部分是由于风噪声造成的,以及度量的较低值指示信号的较多部分是由于风噪声造成的。
在特定方面中,在条件性增益减小块312处,将频率特定度量值310与一个或多个风检测门限314进行比较。在这个方面中,应用于音频数据的一个或多个通道的增益316可以是响应于频率特定度量值310中的任何频率特定度量值满足(例如,小于或等于)(多个)风检测门限314来调整的,以降低风噪声。(多个)风检测门限314是在0与1之间的静态的或可调的值。
在图3中所示的示例中,由条件性增益减小块312调整的(多个)增益316包括θ-通道增益、π-通道增益或两者。在其它示例中,当空间音频数据112是基于波束成形的时,省略条件性增益减小块312,以及基于频率特定度量值310满足(多个)风检测门限314而不将(多个)增益316应用于任何通道。
在特定方面中,在频带特定度量计算块330处,使用频率特定度量值310来计算频带特定度量值338。例如,频率特定度量值310是通过频带332来分群组的,以及加权和用于计算用于每个频带332的频带特定度量值。在特定实现方式中,频带332具有500Hz的带宽。在其它实现方式中,频带232是较大的(例如,1000Hz)或较小的(例如,250Hz)。在另外其它实现方式中,不同的频带332可以具有不同的带宽。
在特定实现方式中,用于特定频带的频带特定度量值338可以是使用上文的等式2来计算的。风降低参数334是预配置的或可调的值,其影响设备300如何积极地降低风噪声,尤其是在较低频带中。例如,风降低参数334的较大值将导致低频风噪声中的较多降低,以及风降低参数344的较小值将导致低频风噪声中的较少降低。作为一个示例,为0.5的默认值可以用于风降低参数334;然而,风降低参数334的值可以在值的范围(在特定的非限制示例中,诸如从0.1到4)内是可调的。
在特定方面中,频带特定度量计算块330可以在确定频带特定度量值338之前修改频率特定度量值310中的一个或多个频率特定度量值。例如,频带特定度量计算块330可以将频率特定度量值310中的每个频率特定度量值与接受准则336进行比较。在这个示例中,如果特定的频率特定度量值310满足接受准则336,则特定的频率特定度量值210被确定为不表示风噪声。在这种情形下,特定的频率特定度量值310可以被指派为1的值,以指示不存在风噪声。接受准则336是在0与1之间的预设的或可调的值。在特定的非限制性示例中,接受准则336在0.6与0.9之间,以及当特定的频率特定度量值310大于或等于接受准则336时,满足接受准则336。举例说明,如果接受准则336具有为0.8的值,以及特定的频率特定度量值310的值是0.82,则出于确定频带特定度量值338的目的,频率特定度量值310被指派为1的频率特定度量值。
在功率整形块340处,对频带特定度量值338进行整形。整形确保在基于与频带相关联的频带特定度量值338来修改每个频带之后较低频带中的功率大于或等于较高频带中的功率。例如,功率整形块340可以是诸如以下内容的逻辑:
如果Metricband(Bandk)*E(Bandk,(B(θ)+B(π)))<Metricband(Bandk+1)*E(Bandk+1,(B(θ)+B(π)));
则Metricband(Bandk)=Metricband(Bandk+1)*E(Bandk+1,(B(θ)+B(π)))/E(Bandk,(B(θ)+B(π)))
其中,Bandk指示特定频带,Bankk+1指示下一较高频带,E(Bandk,(B(θ)+B(π)))是θ和π波束的第k频带的能量的总和,以及E(Bandk+1,W)是θ和π波束的第k+1频带的能量的总和,其中,每个波束的能量是基于频域空间音频数据304来确定的。
经功率整形的频带特定度量值338被用作用于滤波器库344的滤波器参数342。滤波器库344修改频域空间音频数据304以生成经滤波的频域空间音频数据346。例如,滤波器库344可以使用上文的等式3来确定用于每个频率和通道的频域空间音频数据346。
在图3中,频域空间音频数据346是使用IFFT 348来从频域变换到时域的,以生成风噪声降低的音频数据116的一个或多个通道。例如,图3的IFFT 348输出对应于被输入到FFT 302的θ-通道164的θ’-通道318(其中低频风噪声分量被去除或降低)以及对应于被输入到FFT 302的π-通道166的π’-通道324(其中低频风噪声分量被去除或降低)。在图3中所示的示例中,(多个)增益316可以经由放大器320来应用于θ’-通道318以生成输出θ’-通道322,经由放大器326来应用于π’-通道324以生成输出π’-通道328,或者两者,以进一步降低风噪声降低的音频数据116中的风噪声。在一些实现方式中,(多个)增益316被逐步地应用于多个帧上,以限制可能导致可感知的砰砰声或其它假象的突然变化。
在一些实现方式中,风噪声降低的音频数据116被提供给其它组件(诸如图1的空间音频转换器118),用于进一步处理和生成声音输出(例如,经由图1的(多个)扬声器126)。
图4是示出根据特定示例的在没有风噪声消除的情况下和在具有风噪声消除的情况下的针对若干风速的声级的一组图形。特别地,图4的图形400示出当不使用风噪声降低时对于各种风条件而言在多个全景声通道中的风噪声。图4的图形450示出当使用本文中描述的风噪声降低操作时对于相同的风条件而言在多个全景声通道中的风噪声。
在图形400中,全景声通道包括W-通道402、Y-通道404、Z-通道406和X-通道408,以及风条件包括无风、3英里/小时(mph)风、6mph风和12mph风。图形400示出在6mph风的情况下在所有通道中可检测到的声级以及在12mph风的情况下声级中的显著增加。如在图形400中所示,与针对W-通道402和Y-通道404的声级进行的相比,Z-通道406和X-通道408中的声级在6mph风与12mph风之间增加较多。
图形450示出对于与如在曲线图400中所示的相同的风条件、但是在应用了风噪声降低的情况下包括W-通道452、Y-通道454、Z-通道456和X-通道458的全景声通道。对于图形450,风降低包括滤波(例如,使用图2的滤波器库244)和将增益选择性地应用于全景声通道中的一些全景声通道(例如,经由图2的放大器220、226)两者。如在图形450中所示,随着风噪声的增加,应用于Z-通道456和X-通道458的增益减小(或归零),使得对于6mph风和12mph风而言,Z-通道456和X-通道4580被关闭,这显著降低了由于风噪声造成的声级。此外,对W-通道452和Y-通道454进行滤波,以进一步降低风噪声。
图5是示出根据特定示例的在没有风噪声消除的情况下和在具有风噪声消除的情况下的针对若干风速的声级的一组图形。特别地,图5的图形500示出当不使用风噪声降低时对于各种风条件而言在多个波束中的风噪声。图5的图形550示出当使用本文中描述的风噪声降低操作时对于相同的风条件而言在多个波束中的风噪声。
在图形500中,第一通道502对应于第一波束,以及第二通道504对应于第二波束。为了生成图形500,两个波束被设置为彼此分开180度。举例说明,图1的在波束之间的角度168是180度。图形500示出在6mph风的情况下在两个通道中可检测到的声级以及在12mph风的情况下声级中的显著增加。
图形550示出在应用了风噪声降低的情况下与第一通道502相对应的第一通道552以及在应用了风噪声降低的情况下与第二通道504相对应的第二通道554。对于图形450,风降低包括对通道进行滤波(例如,使用图3的滤波器库344)以去除低频风噪声。图形500的区域506和508与图形550的相应区域556和558的比较表明滤波显著地降低了由于风噪声造成的声级。
图6将设备100的实现方式600描绘为包括一个或多个处理器608的集成电路602。集成电路602还包括输入604(诸如一个或多个总线接口),以实现要从麦克风102接收音频数据104或其它信号用于进行处理。集成电路602还包括输出606(诸如总线接口),以实现对输出信号(诸如风噪声降低的音频数据124)的发送。在图6中,(多个)处理器608包括风湍流噪声降低引擎106、空间音频转换器110、空间音频风噪声降低处理器114、空间音频转换器118和环境噪声抑制器122。在其它实现方式中,省略风湍流噪声降低引擎106、空间音频转换器110、空间音频转换器118和环境噪声抑制器122中的一者或多者。集成电路602实现在包括麦克风102的系统中对风噪声降低的实现,该系统诸如是如在图8中描绘的移动电话或平板设备、如在图9中描绘的耳塞、如在图10中描绘的头戴式耳机、如在图11中描绘的可穿戴电子设备、如在图12中描绘的语音控制的扬声器系统、如在图13中描绘的照相机、如在图14中描绘的虚拟现实头戴式耳机、混合现实头戴式耳机或增强现实头戴式耳机、或如在图15或图16中描绘的运载工具。
图7将设备200或设备300的实现方式700描绘为包括一个或多个处理器708的集成电路702。集成电路702还包括输入704(诸如一个或多个总线接口),以实现要接收空间音频数据112或其它信号用于进行处理。集成电路702还包括输出706(诸如总线接口),以实现对输出信号(诸如风噪声降低的音频数据116)的发送。在图7中,(多个)处理器708包括空间音频风噪声降低处理器114。在其它实现方式中,(多个)处理器708还包括风湍流噪声降低引擎106、空间音频转换器110、空间音频转换器118或环境噪声抑制器122中的一者或多者。集成电路602实现通过处理空间音频数据的系统来对空间音频中的风噪声降低的实现,该系统诸如是如在图8中描绘的移动电话或平板设备、如在图9中描绘的耳塞、如在图10中描绘的头戴式耳机、如在图11中描绘的可穿戴电子设备、如在图12中描绘的语音控制的扬声器系统、如在图13中描绘的照相机、如在图14中描绘的虚拟现实头戴式耳机、混合现实头戴式耳机或增强现实头戴式耳机、或如在图15或图16中描绘的运载工具。
图8示出并入图1的设备100的各方面的移动设备800。在图8中,移动设备800包括图1的设备100、图6的集成电路602、图7的集成电路702或其组合,或耦合到图1的设备100、图6的集成电路602、图7的集成电路702或其组合。例如,在图8中,移动设备800包括风湍流噪声降低引擎106、空间音频转换器110、空间音频风噪声降低处理器114、空间音频转换器118和环境噪声抑制器122,它们中的每一者是以虚线来示出的,以指示它们通常不是对于用户可见的。作为说明性的非限制性的示例,移动设备800包括电话或平板设备。移动设备800包括显示屏804和一个或多个传感器,诸如图1的(多个)麦克风102A、102B和102N。
在操作期间,移动设备800可以响应于检测到风噪声来执行特定动作。例如,动作可以包括对空间音频数据的一个或多个通道进行滤波,以降低所捕获的音频中的风噪声。作为另一示例,动作可以包括调整应用于空间音频数据的一个或多个通道的增益,以降低所捕获的音频中的风噪声。
图9示出并入了图1的设备100的各方面的耳塞900。在图9中,耳塞900包括图1的设备100或耦合到图1的设备100。例如,在图9中,耳塞900中的第一耳塞902包括风湍流噪声降低引擎106、空间音频转换器110、空间音频风噪声降低处理器114、空间音频转换器118和环境噪声抑制器122,它们中的每一者是以虚线来示出的,以指示它们通常不是对于用户可见的。在一些实现方式中,第二耳塞904还包括风湍流噪声降低引擎106、空间音频转换器110、空间音频风噪声降低处理器114、空间音频转换器118和环境噪声抑制器122。
耳塞900包括麦克风102A、102B和102N,其中至少一者被定位为主要捕获用户的话音。耳塞900还可以包括一个或多个额外麦克风,其被定位为主要捕获环境声音(例如,用于噪声消除操作)。
在特定方面中,在操作期间,耳塞900可以响应于检测到风噪声来执行特定动作。例如,动作可以包括对空间音频数据的一个或多个通道进行滤波,以降低所捕获的音频中的风噪声。作为另一示例,动作可以包括调整应用于空间音频数据的一个或多个通道的增益,以降低所捕获的音频中的风噪声。
图10示出并入图1的设备100的各方面的头戴式耳机1000。例如,在图10中,头戴式耳机1000包括风湍流噪声降低引擎106、空间音频转换器110、空间音频风噪声降低处理器114、空间音频转换器118和环境噪声抑制器122,它们中的每一者是以虚线来示出的,以指示它们通常不是对于用户可见的。头戴式耳机1000包括麦克风102A和一个或多个额外麦克风(例如,麦克风102B和102N),麦克风102A被定位为主要捕获用户的话音,一个或多个额外麦克风被定位为主要捕获环境声音(例如,用于噪声消除操作)。
在特定方面中,在操作期间,头戴式耳机1000可以响应于检测到风噪声来执行特定动作。例如,动作可以包括对空间音频数据的一个或多个通道进行滤波,以降低所捕获的音频中的风噪声。作为另一示例,动作可以包括调整应用于空间音频数据的一个或多个通道的增益,以降低所捕获的音频中的风噪声。
图11描绘整合到示出为“智能手表”的可穿戴电子设备1100中的设备100的示例,可穿戴电子设备1100包括显示器1104和(多个)传感器,诸如麦克风102A、102B和102N。在图11中,可穿戴电子设备1100包括风湍流噪声降低引擎106、空间音频转换器110、空间音频风噪声降低处理器114、空间音频转换器118和环境噪声抑制器122,它们中的每一者是以虚线来示出的,以指示它们通常不是对于用户可见的。
在特定方面中,在操作期间,可佩戴电子设备1100可以响应于检测到风噪声来执行特定动作。例如,动作可以包括对空间音频数据的一个或多个通道进行滤波,以降低所捕获的音频中的风噪声。作为另一示例,动作可以包括调整应用于空间音频数据的一个或多个通道的增益,以降低所捕获的音频中的风噪声。
图12是语音控制的扬声器系统1200的说明性示例。语音控制的扬声器系统1200可以具有无线网络连接,以及被配置为执行辅助操作。在图12中,图1的设备100的各方面被包括在语音控制的扬声器系统1200中。例如,在图12中,语音控制的扬声器系统1200包括风湍流噪声降低引擎106、空间音频转换器110、空间音频风噪声降低处理器114、空间音频转换器118和环境噪声抑制器122,它们中的每一者是以虚线来示出的,以指示它们通常不是对于用户可见的。语音控制的扬声器系统1200还包括(多个)扬声器126和传感器。传感器可以包括图1的(多个)麦克风102以接收语音输入或其它音频输入。
在特定方面中,在操作期间,语音控制的扬声器系统1200可以响应于检测到风噪声来执行特定动作。例如,动作可以包括对空间音频数据的一个或多个通道进行滤波,以降低所捕获的音频中的风噪声。作为另一示例,动作可以包括调整应用于空间音频数据的一个或多个通道的增益,以降低所捕获的音频中的风噪声。
图13示出并入图1的设备100的各方面的照相机1300。在图13中,设备100被并入照相机1300中或耦合到照相机1300。例如,在图13中,照相机1300包括风湍流噪声降低引擎106、空间音频转换器110、空间音频风噪声降低处理器114、空间音频转换器118和环境噪声抑制器122,它们中的每一者是以虚线来示出的,以指示它们通常不是对于用户可见的。照相机1300还包括图像传感器1302和一个或多个其它传感器(诸如图1的(多个)麦克风102)。
在特定方面中,在操作期间,照相机1300可以响应于检测到风噪声来执行特定动作。例如,动作可以包括对空间音频数据的一个或多个通道进行滤波,以降低所捕获的音频中的风噪声。作为另一示例,动作可以包括调整应用于空间音频数据的一个或多个通道的增益,以降低所捕获的音频中的风噪声。
图14描绘耦合到头戴式耳机1400(诸如虚拟现实头戴式耳机、增强现实头戴式耳机、混合现实头戴式耳机、扩展现实头戴式耳机、头戴式显示器或其组合)或整合在头戴式耳机1400内的设备100的示例。诸如显示器1404的视觉接口设备被定位在用户的眼睛前方,以实现在佩戴头戴式耳机1400时向用户显示增强现实或虚拟现实图像或场景。在图14中,头戴式耳机1400还包括风湍流噪声降低引擎106、空间音频转换器110、空间音频风噪声降低处理器114、空间音频转换器118和环境噪声抑制器122,它们中的每一者是以虚线来示出的,以指示它们通常不是对于用户可见的。头戴式耳机1402还包括一个或多个传感器,诸如图1的(多个)麦克风102、照相机、其它传感器或其组合。
在特定方面中,在操作期间,头戴式耳机1400可以响应于检测到风噪声来执行特定动作。例如,动作可以包括对空间音频数据的一个或多个通道进行滤波,以降低所捕获的音频中的风噪声。作为另一示例,动作可以包括调整应用于空间音频数据的一个或多个通道的增益,以降低所捕获的音频中的风噪声。
图15示出并入图1的设备100的各方面的运载工具(例如,空中设备1500)。在图15中,空中设备1500包括图1的设备100或耦合到图1的设备100。例如,在图15中,空中设备1500包括风湍流噪声降低引擎106、空间音频转换器110、空间音频风噪声降低处理器114、空间音频转换器118和环境噪声抑制器122,它们中的每一者是以虚线来示出的,以指示它们通常不是对于用户可见的。空中设备1500是有人驾驶、无人驾驶或遥控的空中设备(例如,包裹递送无人机)。空中设备1500包括控制系统1502和一个或多个传感器,诸如图1的(多个)麦克风102。
控制系统1502控制空中设备1500的各种操作,诸如货物放行、传感器激活、起飞、导航、着陆或其组合。例如,控制系统1502可以控制空中设备1500在指定点之间的飞行和货物在特定位置处的部署。在特定方面中,控制系统1502响应于检测到风噪声来执行一个或多个动作。例如,动作可以包括对空间音频数据的一个或多个通道进行滤波,以降低所捕获的音频中的风噪声。作为另一示例,动作可以包括调整应用于空间音频数据的一个或多个通道的增益,以降低所捕获的音频中的风噪声。
图16是并入图1的设备100的各方面的车辆1600的说明性示例。根据一种实现方式,车辆1600是自动驾驶汽车。根据其它实现方式,车辆1600是汽车、卡车、摩托车、飞机、水上车辆等。在图16中,车辆1600包括屏幕1602、(多个)传感器(例如,图1的麦克风102)和设备100的各方面。例如,在图16中,车辆1600包括风湍流噪声降低引擎106、空间音频转换器110、空间音频风噪声降低处理器114、空间音频转换器118和环境噪声抑制器122,它们中的每一者是以虚线来示出的,以指示它们通常不是对于用户可见的。设备100可以整合到车辆1600中或者耦合到车辆1600。
在特定实现方式中,(多个)传感器还包括车辆占用传感器、眼睛跟踪传感器或外部环境传感器(例如,激光雷达传感器或照相机)。在特定方面中,来自一个或多个传感器的传感器数据指示用户的位置。例如,传感器与车辆1600内的各种位置相关联。
在特定方面中,车辆1600响应于检测到风噪声来执行一个或多个动作。例如,动作可以包括对空间音频数据的一个或多个通道进行滤波,以降低所捕获的音频中的风噪声。作为另一示例,动作可以包括调整应用于空间音频数据的一个或多个通道的增益,以降低所捕获的音频中的风噪声。
图17是示出检测空间音频数据中的风噪声的方法1700的示例的各方面的流程图。方法1700可以由图1的设备100、由图2的设备200、由图3的设备300或其组合来发起、控制或执行。在特定方面中,一个或多个处理器可以执行来自存储器的指令以执行方法1700。
方法1700包括:在框1702处,获得表示由至少三个麦克风捕获的声音的音频信号。例如,图1的设备100可以从麦克风102获得音频数据104。在另一示例中,音频数据104可以是从存储器读取的,或者从远程计算设备接收的(例如,经由网络连接或对等自组织连接)。
方法1700包括:在框1704处,基于音频信号来确定空间音频数据。例如,空间音频转换器110可以使用全景声处理或波束成形,基于音频数据104来生成空间音频数据112。
方法1700包括:在框1706处,确定指示音频信号中的风噪声的度量。度量是基于对第一值和第二值的比较的,其中,第一值对应于基于空间音频数据的聚合信号,并且第二值对应于基于空间音频数据的差分信号。例如,当空间音频数据112包括全景声系数时,度量可以被确定为用于特定频率和时间帧的W-通道的信号功率与用于特定频率和时间帧的差分通道(例如,X-、Y-或Z-通道)中的一个差分通道的信号功率的比率。作为另一示例,当空间音频数据包括两个或更多个波束时,度量可以被确定为用于特定频率和时间帧的两个波束的信号功率的总和与用于特定频率和时间帧的两个波束的信号功率的差的比率。
图18是示出检测和降低空间音频数据中的风噪声的方法1800的示例的各方面的流程图。方法1800可以由图1的设备100、由图2的设备200、由图3的设备300或其组合来发起、控制或执行。在特定方面中,一个或多个处理器可以执行来自存储器的指令以执行方法1800。
方法1800包括:在框1802处,获得表示由至少三个麦克风捕获的声音的音频信号。例如,图1的设备100可以从麦克风102获得音频数据104。在另一示例中,音频数据104可以是从存储器读取的,或者从远程计算设备接收的(例如,经由网络连接或对等自组织连接)。
方法1800包括:在框1804处,基于音频信号来确定空间音频数据。例如,空间音频转换器110可以使用全景声处理或波束成形,基于音频数据104来生成空间音频数据112。
方法1800包括:在框1806处,确定指示音频信号中的风噪声的度量。度量是基于对第一值和第二值的比较的,其中,第一值对应于基于空间音频数据的聚合信号,并且第二值对应于基于空间音频数据的差分信号。度量是基于对第一值和第二值的比较的,其中,第一值对应于基于空间音频数据的聚合信号,并且第二值对应于基于空间音频数据的差分信号。例如,当空间音频数据112包括全景声系数时,度量可以被确定为用于特定频率和时间帧的W-通道的信号功率与用于特定频率和时间帧的差分通道(例如,X-、Y-或Z-通道)中的一个差分通道的信号功率的比率。作为另一示例,当空间音频数据包括两个或更多个波束时,度量可以被确定为用于特定频率和时间帧的两个波束的信号功率的总和与用于特定频率和时间帧的这两个波束的信号功率的差的比率。
方法1800包括:在框1808处,基于度量来修改空间音频数据,以生成风噪声降低的音频数据。例如,滤波器参数(诸如图2的滤波器参数242或图3的滤波器参数342)可以用于对空间音频数据进行滤波(例如,在频域中),以生成风噪声降低的音频数据116。作为另一示例,应用于空间音频数据的一个或多个通道的增益(例如,(多个)增益216或(多个)增益316)可以被改变(例如,减小)以生成风噪声降低的音频数据116。
图19是示出检测和降低空间音频数据中的风噪声的方法1900的示例的各方面的流程图。方法1900可以由图1的设备100、由图2的设备200、由图3的设备300或其组合来发起、控制或执行。在特定方面中,一个或多个处理器可以执行来自存储器的指令以执行方法1900。
方法1900包括:在框1902处,获得表示由至少三个麦克风捕获的声音的音频信号。例如,图1的设备100可以从麦克风102获得音频数据104。在另一示例中,音频数据104可以是从存储器读取的,或者从远程计算设备接收的(例如,经由网络连接或对等自组织连接)。
方法1900包括:在框1904处,基于音频信号来确定空间音频数据。例如,空间音频转换器110可以使用全景声处理或波束成形,基于音频数据104来生成空间音频数据112。
方法1900包括:在框1906处,确定指示音频信号中的风噪声的度量。度量是基于对第一值和第二值的比较的,其中,第一值对应于基于空间音频数据的聚合信号,并且第二值对应于基于空间音频数据的差分信号。度量是基于对第一值和第二值的比较的,其中,第一值对应于基于空间音频数据的聚合信号,并且第二值对应于基于空间音频数据的差分信号。例如,当空间音频数据112包括全景声系数时,度量可以被确定为用于特定频率和时间帧的W-通道的信号功率与用于特定频率和时间帧的差分通道(例如,X-、Y-或Z-通道)中的一个差分通道的信号功率的比率。作为另一示例,当空间音频数据包括两个或更多个波束时,度量可以被确定为用于特定频率和时间帧的两个波束的信号功率的总和与用于特定频率和时间帧的两个波束的信号功率的差的比率。
方法1900包括:在框1908处,基于关于频率特定值中的至少一个频率特定值满足风检测准则的确定来减小应用于一个或多个空间音频通道的增益。例如,图2的条件性增益减小块212可以输出(多个)增益216,其应用于对于风噪声的一组全景声数据的X-通道、Z-通道或两者。作为另一示例,图3的条件性增益减小块312可以输出(多个)增益316,其应用于空间音频数据的一个或多个波束。
图20是示出检测和降低空间音频数据中的风噪声的方法2000的示例的各方面的流程图。方法2000可以由图1的设备100、由图2的设备200、由图3的设备300或其组合来发起、控制或执行。在特定方面中,一个或多个处理器可以执行来自存储器的指令以执行方法2000。
方法2000包括:在框2002处,获得表示由至少三个麦克风捕获的声音的音频信号。例如,图1的设备100可以从麦克风102获得音频数据104。在另一示例中,音频数据104可以是从存储器读取的,或者从远程计算设备接收的(例如,经由网络连接或对等自组织连接)。
方法2000包括:在框2004处,处理音频信号以去除高频风噪声。例如,图1的风湍流噪声降低引擎106处理音频数据104,以去除或降低与风湍流相关联的高频风噪声。
方法2000包括:在框2006处,基于音频信号来确定空间音频数据。例如,图1的空间音频转换器110可以使用全景声处理或波束成形,基于音频数据104来生成空间音频数据112。
方法2000包括:在框2008处,针对一组频率,确定指示音频信号中的风噪声的度量的频率特定值。例如,频率特定度量值210可以是由图2的度量计算块206来计算的,或者频率特定度量值310可以是由图3的度量计算块306来计算的。
方法2000包括:在框2010处,针对一组频带中的每个频带,确定度量的频带特定值。例如,频带特定度量值238可以是由图2的频带特定度量计算块230来计算的,或者频带特定度量值338可以是由图3的频带特定度量计算块330来计算的。
方法2000包括:在框2012处,修改度量的满足接受准则的频带特定值。例如,图2的频带特定度量计算块230可以将每个频带特定度量值238与接受准则236进行比较,以及修改满足接受准则236的频带特定度量值238。作为另一示例,图3的频带特定度量计算块330可以将每个频带特定度量值338与接受准则336进行比较,以及修改满足接受准则336的频带特定度量值338。
方法2000包括:在框2014处,将功率整形应用于度量的频带特定值。例如,图2的功率整形块240可以基于频带特定度量值238和频域空间音频数据204来应用功率整形。在另一示例中,图3的功率整形块340可以基于频带特定度量值338和频域空间音频数据304来应用功率整形。
方法2000包括:在框2016处,基于度量的频带特定值来确定滤波器参数。例如,图2的滤波器参数242可以是基于经功率偏移的频带特定度量值238来生成的。作为另一示例,图3的滤波器参数342可以是基于经功率偏移的频带特定度量值338来生成的。
方法2000包括:在框2018处,使用滤波器参数来对空间音频数据进行滤波,以生成风噪声降低的音频数据。例如,图2的滤波器库244应用滤波器参数242来修改空间音频数据的一个或多个通道,以降低风噪声。作为另一示例,图3的滤波器库344应用滤波器参数342来修改空间音频数据的一个或多个通道,以降低风噪声。
方法2000包括:在框2020处,确定度量的任何频率特定值是否满足风检测准则。例如,条件性增益减小块212可以将频率特定度量值210中的每个频率特定度量值与风检测门限214进行比较,或者条件性增益减小块312可以将频率特定度量值310中的每个频率特定度量值与风检测门限314进行比较。
方法2000包括:在框2022处,基于关于度量的频率特定值中的至少一者满足风检测准则的确定,来减小应用于一个或多个空间音频通道的增益。例如,放大器220、226可以将(多个)增益216应用于空间音频数据的一个或多个通道,以降低风噪声。作为另一示例,放大器320、326可以将(多个)增益316应用于空间音频数据的一个或多个通道,以降低风噪声。
方法2000包括:在框2024处,基于风噪声降低的音频数据来生成双声道音频输出,以及执行对双声道音频输出的环境噪声抑制。在图20中所示的实现方式中,在框2022处应用减小的增益之后,或者基于在框2020处关于度量的频率特定值中没有频率特定值满足风检测准则的确定,生成双声道音频输出,以及执行环境噪声抑制。在特定示例中,图1的空间音频转换器118可以基于风噪声降低的音频数据来生成双声道音频输出,以及环境噪声抑制器122可以执行对双声道音频输出的环境噪声抑制。
参考图21,描绘设备的特定说明性示例的框图,以及将其总体上指定为2100。在各个方面中,设备2100可以具有比在图21中所示的更少或更多的组件。在说明性方面中,设备2100可以对应于图1的设备100、图2的设备200、图3的设备300或其组合。在说明性方面中,设备2100可以执行参考图1-图20的系统和方法描述的一个或多个操作。
在特定方面中,设备2100包括处理器2104(例如,中央处理单元(CPU))。设备2100可以包括一个或多个额外处理器2106(例如,一个或多个数字信号处理器(DSP))。处理器2104或处理器2106可以包括或执行来自存储器2114的指令2116,以发起、控制或执行风湍流噪声降低引擎106、空间音频转换器110、空间音频风噪声降低处理器114、空间音频转换器118、环境噪声抑制器122或其组合的操作。
设备2100可以包括耦合到收发机2132和天线2122的调制解调器2130。收发机2132可以包括接收机、发射机或两者。处理器2104、处理器2106或两者经由调制解调器2130耦合到收发机2132。
设备2100可以包括耦合到显示控制器2118的显示器2140。(多个)扬声器126和麦克风102可以经由一个或多个接口耦合到CODEC 2108。CODEC 2108可以包括数模转换器(DAC)2110和模数转换器(ADC)2112。
存储器2114可以存储指令2116,指令2116能由处理器2104、处理器2106、设备2100的另一处理单元或其组合执行,以执行参考图1-图20描述的一个或多个操作。存储器2114可以存储参考图1-图20描述的数据、一个或多个信号、一个或多个参数、一个或多个门限、一个或多个指示符或者其组合。
设备2100的一个或多个组件可以经由专用硬件(例如,电路)、通过处理器(例如,处理器2104或处理器2106)执行指令2116以执行一个或多个任务或其组合来实现。作为示例,存储器2114可以包括或对应于存储器设备(例如,计算机可读存储设备),诸如随机存取存储器(RAM)、磁阻式随机存取存储器、旋转扭矩转移MRAM(STT-MRAM)、闪存、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移除盘或者压缩光盘只读存储器(CD-ROM)。存储器设备可以包括(例如,存储)指令(例如,指令2116),所述指令在由计算机(例如,一个或多个处理器,诸如处理器2104和/或处理器2106)执行时可以使得计算机执行参考图1-图20描述的一个或多个操作。作为示例,存储器2114或处理器2104和/或处理器2106的一个或多个组件可以是包括指令(例如,指令2116)的非暂时性计算机可读介质,所述指令在由计算机(例如,一个或多个处理器,诸如处理器2104和/或处理器2106)执行时,使得计算机执行参考图1-图20描述的一个或多个操作。
在特定方面中,设备2100可以被包括系统级封装或片上系统器件2102中。在特定方面中,处理器2104、处理器2106、显示控制器2118、存储器2114、CODEC 2108、调制解调器2130和收发机2132被包括在系统级封装或片上系统器件2102中。在特定方面中,诸如触摸屏和/或小键盘的输入设备2124以及电源2120耦合到系统级封装或片上系统器件2102。此外,在特定方面中,如图21所示,显示器2140、输入设备2124、(多个)扬声器126、麦克风102、天线2122和电源2120在系统级封装或片上系统器件2102的外部。然而,显示器2140、输入设备2124、(多个)扬声器126、麦克风102、天线2122和电源2120中的每一者可以耦合到系统级封装或片上系统器件2102的组件,诸如接口或控制器。
设备2100可以包括无线电话、移动通信设备、移动设备、移动电话、智能电话、蜂窝电话、虚拟现实头戴式耳机、增强现实头戴式耳机、混合现实头戴式耳机、车辆(例如,汽车)、膝上型计算机、台式计算机、计算机、平板计算机、机顶盒、个人数字助理(PDA)、显示设备,电视机、游戏控制台、音乐播放器、无线电单元、视频播放器、娱乐单元、通信设备、固定位置数据单元、个人媒体播放器、数字视频播放器、数字视频光盘(DVD)播放器、调谐器、照相机、导航设备、耳塞、音频头戴式耳机(例如,耳机)或其任何组合。
应当注意的是,通过参考图1-图20和设备2100描述的系统的一个或多个组件执行的各种功能被描述为由某些组件或模块执行。组件和模块的这种分工仅用于说明。在替代方面中,由特定组件或模块执行的功能可以是在多个组件或模块当中分开的。此外,在替代方面,参考图1-图21描述的两个或更多个组件或模块可以是整合到单个组件或模块中。参考图1-图21描述的每个组件或模块可以是使用硬件(例如,现场可编程门阵列(FPGA)器件、专用集成电路(ASIC)、DSP、控制器等)、软件(例如,能由处理器执行的指令)或其任何组合来实现的。
结合所描述的实现方式,一种装置包括用于基于表示由至少三个麦克风捕获的声音的音频信号来确定空间音频数据的单元。例如,用于确定空间音频数据的单元包括设备100、空间音频转换器110、集成电路602、(多个)处理器608、设备2100、处理器2104、(多个)处理器2106、被配置为确定空间音频数据的一个或多个其它电路或组件、或其任何组合。
装置还包括用于确定指示音频信号中的风噪声的度量的单元,其中,度量是基于对第一值和第二值的比较的,其中,第一值对应于基于空间音频数据的聚合信号,并且第二值对应于基于空间音频数据的差分信号。例如,用于确定度量的单元包括设备100、空间音频风噪声降低处理器114、设备200、设备300、集成电路602、(多个)处理器608、集成电路702、(多个)处理器708、设备2100、处理器2104、(多个)处理器2106、被配置为确定度量的一个或多个其它电路或组件、或其任何组合。
在一些实现方式中,装置还包括用于基于度量来修改空间音频数据以生成风噪声降低的音频数据的单元。例如,用于修改空间音频数据的单元包括设备100、空间音频风噪声降低处理器114、设备200、设备300、集成电路602、(多个)处理器608、集成电路702、(多个)处理器708、设备2100、处理器2104、(多个)处理器2106、被配置为修改空间音频数据的一个或多个其它电路或组件、或其任何组合。
技术人员还将明白的是,结合本文中公开的实现方式来描述的各个说明性的逻辑框、配置、模块、电路和算法步骤可以被实现为电子硬件、由处理器执行的计算机软件、或两者的组合。上文已经对各种说明性的组件、框、配置、模块、电路和步骤均围绕其功能进行了总体描述。这样的功能是实现为硬件还是处理器可执行指令,取决于特定的应用和对整个系统施加的设计约束。熟练的技术人员可以针对每个特定应用,以变化的方式实现所描述的功能,这样的实现决策将不解释为造成对本公开内容的范围的背离。
结合本文中公开的实现方式所描述的方法或算法的步骤可以直接地体现在硬件中、由处理器执行的软件模块中、或两者的组合中。软件模块可以存在于随机存取存储器(RAM)、闪存、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移除盘、压缩光盘只读存储器(CD-ROM)、或本领域中已知的任何其它形式的非暂时性存储介质中。示例性的存储介质耦合到处理器,使得处理器可以从存储介质读取信息以及向存储介质写入信息。替代地,存储器设备可以整合到处理器中。处理器和存储介质可以存在于专用集成电路(ASIC)中。ASIC可以存在于计算设备或者用户终端中。替代地,处理器和存储介质可以作为分立组件存在于计算设备或者用户终端中。
本公开内容的特定方面是下文在第一组相互关联的条款中描述的:
根据条款1,一种设备,包括:一个或多个处理器,其被配置为:获得表示由至少三个麦克风捕获的声音的音频信号;基于音频信号来确定空间音频数据;以及确定指示音频信号中的风噪声的度量,度量是基于对第一值和第二值的比较的,其中,第一值对应于基于空间音频数据的聚合信号,并且第二值对应于基于空间音频数据的差分信号。
条款2包括根据条款1的设备,其中,一个或多个处理器还被配置为基于度量来修改空间音频数据,以生成风噪声降低的音频数据。
条款3包括根据条款2的设备,其中,一个或多个处理器还被配置为基于风噪声降低的音频数据来生成双声道音频输出,以及执行对双声道音频输出的环境噪声抑制。
条款4包括根据条款2的设备,其中,基于度量来修改空间音频数据以生成风噪声降低的音频数据包括:基于度量,使用滤波器参数来对空间音频数据进行滤波以降低与风相关联的低频噪声。
条款5包括根据条款2的设备,其中,基于度量来修改空间音频数据以生成风噪声降低的音频数据包括:减小应用于空间音频数据的一个或多个空间音频通道的增益。
条款6包括根据条款1至条款5中的任一条款的设备,其中,基于音频信号来确定空间音频数据包括:对音频信号进行空间滤波以生成多个经波束成形的音频通道。
条款7包括根据条款6的设备,其中,聚合信号是基于多个经波束成形的音频通道中的多个角度上偏移的经波束成形的音频通道的总和的信号功率的,以及差分信号是基于多个角度上偏移的经波束成形的音频通道的差的信号功率的。
条款8包括根据条款7的设备,其中,多个角度上偏移的经波束成形的音频通道在角度上偏移达至少90度。
条款9包括根据条款1至条款8中的任一条款的设备,其中,基于音频信号来确定空间音频数据包括:基于音频信号来确定全景声系数以生成多个全景声通道。
条款10包括根据条款9的设备,其中,聚合信号是基于多个全景声通道中的全向全景声通道的信号功率的,以及差分信号是基于多个全景声通道中的定向全景声通道的信号功率的。
条款11包括根据条款1至条款10中的任一条款的设备,其中,指示音频信号中的风噪声的度量是针对小于门限频率的一个或多个频带来确定的。
条款12包括根据条款1至条款11中的任一条款的设备,其中,确定指示音频信号中的风噪声的度量包括:针对一组频率来确定度量的频率特定值,并且其中,一个或多个处理器还被配置为基于关于频率特定值中的至少一个频率特定值满足风检测准则的确定来使得应用于一个或多个空间音频通道的增益减小。
条款13包括根据条款12的设备,其中,一个或多个处理器被配置为使得增益在空间音频数据的与一个或多个空间音频通道相关联的多个帧上逐步地减小。
条款14包括根据条款12的设备,其中,增益应用于的一个或多个空间音频通道对应于从前到后方向和上下方向,并且其中,应用增益减小在回放期间对应于从前到后方向和上下方向的低频带音频。
条款15包括根据条款1至条款14中的任一条款的设备,其中,确定指示音频信号中的风噪声的度量包括:针对一组频带中的每个频带来确定度量的频带特定值。
条款16包括根据条款15的设备,其中,一个或多个处理器还被配置为基于确定度量的针对特定频带的特定的频带特定值满足接受准则来修改度量的特定的频带特定值。
条款17包括根据条款15的设备,其中,一个或多个处理器还被配置为将风降低参数应用于度量的多个频率特定值,以确定度量的频带特定值。
条款18包括根据条款15的设备,其中,一个或多个处理器还被配置为调整度量的频带特定值中的一个或多个频带特定值,以防止一组频带中的较高频带的经增益调整的功率超过一组频带中的较低频带的经增益调整的能量。
条款19包括根据条款15的设备,其中,一个或多个处理器还被配置为基于度量,使用滤波器参数来对空间音频数据进行滤波,以生成风噪声降低的音频数据。
条款20包括根据条款1至条款19中的任一条款的设备,其中,一个或多个处理器还被配置为在确定空间音频数据之前处理音频信号以去除高频风噪声。
条款21包括根据条款1至条款20中的任一条款的设备,以及还包括至少三个麦克风,其中,至少三个麦克风中的至少两个麦克风分隔开至少0.5厘米。
条款22包括根据条款1至条款21中的任一条款的设备,以及还包括至少三个麦克风,其中,至少三个麦克风中的至少两个麦克风分隔开至少2厘米。
条款23包括根据条款1至条款22中的任一条款的设备,其中,一个或多个处理器是整合在移动通信设备内的。
条款24包括根据条款1至条款23中的任一条款的设备,其中,一个或多个处理器是整合在车辆内的。
条款25包括根据条款1至条款24中的任一条款的设备,其中,一个或多个处理器是整合在增强现实头戴式耳机、混合现实头戴式耳机、虚拟现实头戴式耳机或可穿戴设备中的一者或多者内的。
条款26包括根据条款1至条款25中的任一条款的设备,其中,一个或多个处理器被包括在集成电路中。
根据条款27,一种方法,其包括:获得表示由至少三个麦克风捕获的声音的音频信号;基于音频信号来确定空间音频数据;以及确定指示音频信号中的风噪声的度量,度量是基于对第一值和第二值的比较的,其中,第一值对应于基于空间音频数据的聚合信号,并且第二值对应于基于空间音频数据的差分信号。
条款28包括根据条款27的方法,以及还包括基于度量来修改空间音频数据,以生成风噪声降低的音频数据。
条款29包括根据条款28的方法,以及还包括基于风噪声降低的音频数据来生成双声道音频输出,以及执行对双声道音频输出的环境噪声抑制。
条款30包括根据条款28的方法,其中,基于度量来修改空间音频数据以生成风噪声降低的音频数据包括基于度量,使用滤波器参数来对空间音频数据进行滤波以降低与风相关联的低频噪声。
条款31包括根据条款28的方法,其中,基于度量来修改空间音频数据以生成风噪声降低的音频数据包括:减小应用于空间音频数据的一个或多个空间音频通道的增益。
条款32包括根据条款27至条款31中的任一条款的方法,其中,基于音频信号来确定空间音频数据包括:对音频信号进行空间滤波以生成多个经波束成形的音频通道。
条款33包括根据条款32的方法,其中,聚合信号是基于多个经波束成形的音频通道中的多个角度上偏移的经波束成形的音频通道的总和的信号功率的,以及差分信号是基于多个角度上偏移的经波束成形的音频通道的差的信号功率的。
条款34包括根据条款33的方法,其中,多个角度上偏移的经波束成形的音频通道是在角度上偏移达至少90度的。
条款35包括根据条款27至条款34中的任一条款的方法,其中,基于音频信号来确定空间音频数据包括:基于音频信号来确定全景声系数以生成多个全景声通道。
条款36包括根据条款35的方法,其中,聚合信号是基于多个全景声通道中的全向全景声通道的信号功率的,以及差分信号是基于多个全景声通道中的定向全景声通道的信号功率的。
条款37包括根据条款27至条款36中的任一条款的方法,其中,指示音频信号中的风噪声的度量是针对小于门限频率的一个或多个频带来确定的。
条款38包括根据条款27至条款37中的任一条款的方法,其中,确定指示音频信号中的风噪声的度量包括:针对一组频率来确定度量的频率特定值,以及还包括:基于关于频率特定值中的至少一个频率特定值满足风检测准则的确定来使得应用于一个或多个空间音频通道的增益减小。
条款39包括根据条款38的方法,其中,增益是在空间音频数据的与一个或多个空间音频通道相关联的多个帧上逐步地减小的。
条款40包括根据条款38的方法,其中,增益应用于的一个或多个空间音频通道对应于从前到后方向和上下方向,并且其中,应用增益减小在回放期间对应于从前到后方向和上下方向的低频带音频。
条款41包括根据条款27至条款40中的任一条款的方法,其中,确定指示音频信号中的风噪声的度量包括:针对一组频带中的每个频带来确定度量的频带特定值。
条款42包括根据条款41的方法,以及还包括:基于确定度量的针对特定频带的特定的频带特定值满足接受准则来修改度量的特定的频带特定值。
条款43包括根据条款41的方法,以及还包括:将风降低参数应用于度量的多个频率特定值,以确定度量的频带特定值。
条款44包括根据条款41的方法,以及还包括:调整度量的频带特定值中的一个或多个频带特定值,以防止一组频带中的较高频带的经增益调整的功率超过一组频带中的较低频带的经增益调整的能量。
条款45包括根据条款41的方法,以及还包括:基于度量,使用滤波器参数来对空间音频数据进行滤波,以生成风噪声降低的音频数据。
条款46包括根据条款27至条款45中的任一条款的方法,以及还包括:在确定空间音频数据之前处理音频信号以去除高频风噪声。
条款47包括根据条款27至条款46中的任一条款的方法,其中,至少三个麦克风中的至少两个麦克风分隔开至少0.5厘米。
条款48包括根据条款27至条款47中的任一条款的方法,其中,至少三个麦克风中的至少两个麦克风分隔开至少2厘米。
根据条款49,一种设备,其包括:用于基于表示由至少三个麦克风捕获的声音的音频信号来确定空间音频数据的单元;以及用于确定指示音频信号中的风噪声的度量的单元,度量是基于对第一值和第二值的比较的,其中,第一值对应于基于空间音频数据的聚合信号,并且第二值对应于基于空间音频数据的差分信号。
条款50包括根据条款49的设备,以及还包括:用于基于度量来修改空间音频数据以生成风噪声降低的音频数据的单元。
条款51包括根据条款50的设备,以及还包括:用于基于风噪声降低的音频数据来生成双声道音频输出的单元,以及还包括:用于执行对双声道音频输出的环境噪声抑制的单元。
条款52包括根据条款50的设备,其中,基于度量来修改空间音频数据以生成风噪声降低的音频数据包括:基于度量,使用滤波器参数来对空间音频数据进行滤波以降低与风相关联的低频噪声。
条款53包括根据条款50的设备,其中,基于度量来修改空间音频数据以生成风噪声降低的音频数据包括:减小应用于空间音频数据的一个或多个空间音频通道的增益。
条款54包括根据条款49至条款53中的任一条款的设备,其中,基于音频信号来确定空间音频数据包括:对音频信号进行空间滤波以生成多个经波束成形的音频通道。
条款55包括根据条款54的设备,其中,聚合信号是基于多个经波束成形的音频通道中的多个角度上偏移的经波束成形的音频通道的总和的信号功率的,以及差分信号是基于多个角度上偏移的经波束成形的音频通道的差的信号功率的。
条款56包括根据条款55的设备,其中,多个角度上偏移的经波束成形的音频通道在角度上偏移达至少90度。
条款57包括根据条款49至条款56中的任一条款的设备,其中,基于音频信号来确定空间音频数据包括:基于音频信号来确定全景声系数以生成多个全景声通道。
条款58包括根据条款57的设备,其中,聚合信号是基于多个全景声通道中的全向全景声通道的信号功率的,以及差分信号是基于多个全景声通道中的定向全景声通道的信号功率的。
条款59包括根据条款49至条款58中的任一条款的设备,其中,指示音频信号中的风噪声的度量是针对小于门限频率的一个或多个频带来确定的。
条款60包括根据条款49至条款59中的任一条款的设备,其中,确定指示音频信号中的风噪声的度量包括:针对一组频率来确定度量的频率特定值,以及还包括:用于基于关于频率特定值中的至少一个频率特定值满足风检测准则的确定来减小应用于一个或多个空间音频通道的增益的单元。
条款61包括根据条款60的设备,其中,用于减小增益的单元被配置为在空间音频数据的与一个或多个空间音频通道相关联的多个帧上逐步地减小增益。
条款62包括根据条款60的设备,其中,增益应用于的一个或多个空间音频通道对应于从前到后方向和上下方向,并且其中,应用增益减小在回放期间对应于从前到后方向和上下方向的低频带音频。
条款63包括根据条款49至条款62中的任一条款的设备,其中,确定指示音频信号中的风噪声的度量包括:针对一组频带中的每个频带来确定度量的频带特定值。
条款64包括根据条款63的设备,以及还包括:用于基于确定度量的针对特定频带的特定的频带特定值满足接受准则来修改度量的特定的频带特定值的单元。
条款65包括根据条款63的设备,以及还包括:用于将风降低参数应用于度量的多个频率特定值以确定度量的频带特定值的单元。
条款66包括根据条款63的设备,以及还包括:用于调整度量的频带特定值中的一个或多个频带特定值,以防止一组频带中的较高频带的经增益调整的功率超过一组频带中的较低频带的经增益调整的能量的单元。
条款67包括根据条款63的设备,以及还包括:用于基于度量,使用滤波器参数来对空间音频数据进行滤波以生成风噪声降低的音频数据的单元。
条款68包括根据条款49至条款67中的任一条款的设备,以及还包括:用于在确定空间音频数据之前处理音频信号以去除高频风噪声的单元。
条款69包括根据条款49至条款68中的任一条款的设备,以及还包括至少三个麦克风,其中,至少三个麦克风中的至少两个麦克风分隔开至少0.5厘米。
条款70包括根据条款49至条款69中的任一条款的设备,以及还包括至少三个麦克风,其中,至少三个麦克风中的至少两个麦克风分隔开至少2厘米。
条款71包括根据条款49至条款70中的任一条款的设备,其中,用于确定空间音频数据的单元和用于确定度量的单元是整合在移动计算设备内的。
条款72包括根据条款49至条款71中的任一条款的装置,其中,用于确定空间音频数据的单元和用于确定度量的单元是整合在车辆内的。
条款73包括根据条款49至条款72中的任一条款的设备,其中,用于确定空间音频数据的单元和用于确定度量的单元是整合在增强现实头戴式耳机、混合现实头戴式耳机、虚拟现实头戴式耳机或可穿戴设备中的一者或多者内的。
条款74包括根据条款49至条款73中的任一条款的设备,其中,用于确定空间音频数据的单元和用于确定度量的单元被包括在集成电路中。
根据条款75,一种计算机可读存储设备存储指令,指令能由一个或多个处理器执行以使得一个或多个处理器基于表示由至少三个麦克风捕获的声音的音频信号来确定空间音频数据;以及确定指示音频信号中的风噪声的度量,度量是基于对第一值和第二值的比较的,其中,第一值对应于基于空间音频数据的聚合信号,并且第二值对应于基于空间音频数据的差分信号。
条款76包括根据条款75的计算机可读存储设备,其中,指令还可执行以基于度量来修改空间音频数据,以生成风噪声降低的音频数据。
条款77包括根据条款76的计算机可读存储设备,其中,指令还可执行以进行以下操作:基于风噪声降低的音频数据来生成双声道音频输出,以及执行对双声道音频输出的环境噪声抑制。
条款78包括根据条款76的计算机可读存储设备,其中,基于度量来修改空间音频数据以生成风噪声降低的音频数据包括:基于度量,使用滤波器参数来对空间音频数据进行滤波以降低与风相关联的低频噪声。
条款79包括根据条款76的计算机可读存储设备,其中,基于度量来修改空间音频数据以生成风噪声降低的音频数据包括:减小应用于空间音频数据的一个或多个空间音频通道的增益。
条款80包括根据条款75至条款79中的任一条款的计算机可读存储设备,其中,基于音频信号来确定空间音频数据包括:对音频信号进行空间滤波以生成多个经波束成形的音频通道。
条款81包括根据条款80的计算机可读存储设备,其中,聚合信号是基于多个经波束成形的音频通道中的多个角度上偏移的经波束成形的音频通道的总和的信号功率的,以及差分信号是基于多个角度上偏移的经波束成形的音频通道的差的信号功率的。
条款82包括根据条款81的计算机可读存储设备,其中,多个角度上偏移的经波束成形的音频通道在角度上偏移达至少90度。
条款83包括根据条款75至条款82中的任一条款的计算机可读存储设备,其中,基于音频信号来确定空间音频数据包括:基于音频信号来确定全景声系数以生成多个全景声通道。
条款84包括根据条款83的计算机可读存储设备,其中,聚合信号是基于多个全景声通道中的全向全景声通道的信号功率的,以及差分信号是基于多个全景声通道中的定向全景声通道的信号功率的。
条款85包括根据条款75至条款84中的任一条款的计算机可读存储设备,其中,指示音频信号中的风噪声的度量是针对小于门限频率的一个或多个频带来确定的。
条款86包括根据条款75至条款85中的任一条款的计算机可读存储设备,其中,确定指示音频信号中的风噪声的度量包括:针对一组频率来确定度量的频率特定值,并且其中,指令还可执行以基于关于频率特定值中的至少一个频率特定值满足风检测准则的确定来减小应用于一个或多个空间音频通道的增益。
条款87包括根据条款86的计算机可读存储设备,其中,增益是在空间音频数据的与一个或多个空间音频通道相关联的多个帧上逐步地减小的。
条款88包括根据条款86的计算机可读存储设备,其中,增益应用于的一个或多个空间音频通道对应于从前到后方向和上下方向,并且其中,应用增益减小在回放期间对应于从前到后方向和上下方向的低频带音频。
条款89包括根据条款75至条款88中的任一条款的计算机可读存储设备,其中,确定指示音频信号中的风噪声的度量包括:针对一组频带中的每个频带来确定度量的频带特定值。
条款90包括根据条款89的计算机可读存储设备,其中,指令还可执行以基于确定度量的针对特定频带的特定的频带特定值满足接受准则来修改度量的特定的频带特定值。
条款91包括根据条款89的计算机可读存储设备,其中,指令还可执行以将风降低参数应用于度量的多个频率特定值,以确定度量的频带特定值。
条款92包括根据条款89的计算机可读存储设备,其中,指令还可执行以调整度量的频带特定值中的一个或多个频带特定值,以防止一组频带中的较高频带的经增益调整的功率超过一组频带中的较低频带的经增益调整的功率。
条款93包括根据条款89的计算机可读存储设备,其中,指令还可执行以基于度量,使用滤波器参数来对空间音频数据进行滤波,以生成风噪声降低的音频数据。
条款94包括根据条款75至条款93中的任一条款的计算机可读存储设备,其中,指令还可执行以在确定空间音频数据之前处理音频信号以去除高频风噪声。
条款95包括根据条款75至条款94中的任一条款的计算机可读存储设备,其中,至少三个麦克风中的至少两个麦克风分隔开至少0.5厘米。
条款96包括根据条款75至条款95中的任一条款的计算机可读存储设备,其中,至少三个麦克风中的至少两个麦克风分隔开至少2厘米。
提供对所公开的方面的先前描述,以使本领域技术人员能够实现或使用所公开的方面。对于本领域技术人员而言,对这些方面的各种修改将是容易显而易见的,以及在不背离本公开内容的范围的情况下,本文中定义的原理可以应用于其它方面。因此,本公开内容不旨在限于本文中所示出的方面,而是要被赋予与如通过所附的权利要求限定的原理和新颖特征相一致的可能的最广范围。
Claims (30)
1.一种设备,包括:
一个或多个处理器,其被配置为:
获得表示由至少三个麦克风捕获的声音的音频信号;
基于所述音频信号来确定空间音频数据;以及
确定指示所述音频信号中的风噪声的度量,所述度量是基于对第一值和第二值的比较的,其中,所述第一值对应于基于所述空间音频数据的聚合信号,并且所述第二值对应于基于所述空间音频数据的差分信号。
2.根据权利要求1所述的设备,其中,所述一个或多个处理器还被配置为基于所述度量来修改所述空间音频数据,以生成风噪声降低的音频数据。
3.根据权利要求2所述的设备,其中,基于所述度量来修改所述空间音频数据以生成所述风噪声降低的音频数据包括:基于所述度量,使用滤波器参数来对所述空间音频数据进行滤波以降低与风相关联的低频噪声。
4.根据权利要求2所述的设备,其中,基于所述度量来修改所述空间音频数据以生成所述风噪声降低的音频数据包括:减小应用于所述空间音频数据的一个或多个空间音频通道的增益。
5.根据权利要求1所述的设备,其中,确定指示所述音频信号中的风噪声的所述度量包括:针对一组频率来确定所述度量的频率特定值,并且其中,所述一个或多个处理器还被配置为基于关于所述频率特定值中的至少一个频率特定值满足风检测准则的确定来使得应用于一个或多个空间音频通道的增益减小。
6.根据权利要求5所述的设备,其中,所述增益应用于的所述一个或多个空间音频通道对应于从前到后方向和上下方向,并且其中,应用所述增益减小与所述从前到后方向和所述上下方向相对应的音频输出。
7.根据权利要求1所述的设备,还包括所述至少三个麦克风,其中,所述至少三个麦克风中的至少两个麦克风分隔开至少0.5厘米。
8.根据权利要求1所述的设备,还包括所述至少三个麦克风,其中,所述至少三个麦克风中的至少两个麦克风分隔开至少2厘米。
9.根据权利要求1所述的设备,其中,所述一个或多个处理器是整合在移动计算设备内的。
10.根据权利要求1所述的设备,其中,所述一个或多个处理器是整合在车辆内的。
11.根据权利要求1所述的设备,其中,所述一个或多个处理器是整合在增强现实头戴式耳机、混合现实头戴式耳机、虚拟现实头戴式耳机或可穿戴设备中的一者或多者内的。
12.根据权利要求1所述的设备,其中,所述一个或多个处理器被包括在集成电路中。
13.一种方法,包括:
获得表示由至少三个麦克风捕获的声音的音频信号;
基于所述音频信号来确定空间音频数据;以及
确定指示所述音频信号中的风噪声的度量,所述度量是基于对第一值和第二值的比较的,其中,所述第一值对应于基于所述空间音频数据的聚合信号,并且所述第二值对应于基于所述空间音频数据的差分信号。
14.根据权利要求13所述的方法,还包括:基于所述度量来修改所述空间音频数据,以生成风噪声降低的音频数据。
15.根据权利要求14所述的方法,还包括:基于所述风噪声降低的音频数据来生成双声道音频输出,以及执行对所述双声道音频输出的环境噪声抑制。
16.根据权利要求14所述的方法,其中,基于所述度量来修改所述空间音频数据以生成所述风噪声降低的音频数据包括:基于所述度量,使用滤波器参数来对所述空间音频数据进行滤波以降低与风相关联的低频噪声。
17.根据权利要求14所述的方法,其中,基于所述度量来修改所述空间音频数据以生成所述风噪声降低的音频数据包括:减小应用于所述空间音频数据的一个或多个空间音频通道的增益。
18.根据权利要求13所述的方法,其中,基于所述音频信号来确定所述空间音频数据包括:对所述音频信号进行空间滤波以生成多个经波束成形的音频通道。
19.根据权利要求18所述的方法,其中,所述聚合信号是基于所述多个经波束成形的音频通道中的多个角度上偏移的经波束成形的音频通道的总和的信号功率的,并且所述差分信号是基于所述多个角度上偏移的经波束成形的音频通道的差的信号功率的。
20.根据权利要求19所述的方法,其中,所述多个角度上偏移的经波束成形的音频通道在角度上偏移达至少90度。
21.根据权利要求13所述的方法,其中,基于所述音频信号来确定所述空间音频数据包括:基于所述音频信号来确定全景声系数以生成多个全景声通道。
22.根据权利要求21所述的方法,其中,所述聚合信号是基于所述多个全景声通道中的全向全景声通道的信号功率的,并且所述差分信号是基于所述多个全景声通道中的定向全景声通道的信号功率的。
23.根据权利要求13所述的方法,其中,确定指示所述音频信号中的风噪声的所述度量包括:针对一组频率来确定所述度量的频率特定值,并且还包括:基于关于所述频率特定值中的至少一个频率特定值满足风检测准则的确定来减小应用于一个或多个空间音频通道的增益。
24.根据权利要求13所述的方法,其中,确定指示所述音频信号中的风噪声的所述度量包括:针对一组频带中的每个频带来确定所述度量的频带特定值。
25.根据权利要求24所述的方法,还包括:
基于确定所述度量的针对特定频带的特定的频带特定值满足接受准则来修改所述度量的所述特定的频带特定值;以及
调整所述度量的所述频带特定值中的一个或多个频带特定值,以防止所述一组频带中的较高频带的经增益调整的功率超过所述一组频带中的较低频带的经增益调整的能量。
26.根据权利要求24所述的方法,还包括:基于所述度量,使用滤波器参数来对所述空间音频数据进行滤波,以生成风噪声降低的音频数据。
27.根据权利要求13所述的方法,还包括:在确定所述空间音频数据之前,处理所述音频信号以去除高频风噪声。
28.一种设备,包括:
用于基于表示由至少三个麦克风捕获的声音的音频信号来确定空间音频数据的单元;以及
用于确定指示所述音频信号中的风噪声的度量的单元,所述度量是基于对第一值和第二值的比较的,其中,所述第一值对应于基于所述空间音频数据的聚合信号,并且所述第二值对应于基于所述空间音频数据的差分信号。
29.根据权利要求28所述的设备,还包括:用于基于所述度量来修改所述空间音频数据以生成风噪声降低的音频数据的单元。
30.一种存储指令的计算机可读存储设备,所述指令能由一个或多个处理器执行以使得所述一个或多个处理器进行以下操作:
基于表示由至少三个麦克风捕获的声音的音频信号来确定空间音频数据;以及
确定指示所述音频信号中的风噪声的度量,所述度量是基于对第一值和第二值的比较的,其中,所述第一值对应于基于所述空间音频数据的聚合信号,并且所述第二值对应于基于所述空间音频数据的差分信号。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/128,544 US11721353B2 (en) | 2020-12-21 | 2020-12-21 | Spatial audio wind noise detection |
US17/128,544 | 2020-12-21 | ||
PCT/US2021/072943 WO2022140737A1 (en) | 2020-12-21 | 2021-12-15 | Spatial audio wind noise detection |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116569563A true CN116569563A (zh) | 2023-08-08 |
Family
ID=79927168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180082004.7A Pending CN116569563A (zh) | 2020-12-21 | 2021-12-15 | 空间音频风噪声检测 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11721353B2 (zh) |
EP (1) | EP4264605A1 (zh) |
KR (1) | KR20230123472A (zh) |
CN (1) | CN116569563A (zh) |
WO (1) | WO2022140737A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116095565A (zh) * | 2022-09-05 | 2023-05-09 | 维沃移动通信有限公司 | 音频信号处理方法、装置、电子设备及可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7171008B2 (en) | 2002-02-05 | 2007-01-30 | Mh Acoustics, Llc | Reducing noise in audio systems |
EP1994788B1 (en) | 2006-03-10 | 2014-05-07 | MH Acoustics, LLC | Noise-reducing directional microphone array |
US9357307B2 (en) * | 2011-02-10 | 2016-05-31 | Dolby Laboratories Licensing Corporation | Multi-channel wind noise suppression system and method |
JP5929154B2 (ja) * | 2011-12-15 | 2016-06-01 | 富士通株式会社 | 信号処理装置、信号処理方法および信号処理プログラム |
US9838815B1 (en) | 2016-06-01 | 2017-12-05 | Qualcomm Incorporated | Suppressing or reducing effects of wind turbulence |
-
2020
- 2020-12-21 US US17/128,544 patent/US11721353B2/en active Active
-
2021
- 2021-12-15 CN CN202180082004.7A patent/CN116569563A/zh active Pending
- 2021-12-15 EP EP21847910.3A patent/EP4264605A1/en active Pending
- 2021-12-15 KR KR1020237020151A patent/KR20230123472A/ko unknown
- 2021-12-15 WO PCT/US2021/072943 patent/WO2022140737A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022140737A1 (en) | 2022-06-30 |
US11721353B2 (en) | 2023-08-08 |
US20220199100A1 (en) | 2022-06-23 |
KR20230123472A (ko) | 2023-08-23 |
EP4264605A1 (en) | 2023-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10535362B2 (en) | Speech enhancement for an electronic device | |
CN104424953B (zh) | 语音信号处理方法与装置 | |
US10306389B2 (en) | Head wearable acoustic system with noise canceling microphone geometry apparatuses and methods | |
EP2882170B1 (en) | Audio information processing method and apparatus | |
US11740859B2 (en) | Media-compensated pass-through and mode-switching | |
JP2014502439A (ja) | 方向性高感度記録制御のためのシステム、方法、装置、及びコンピュータ可読媒体 | |
CN110379439A (zh) | 一种音频处理的方法以及相关装置 | |
KR20170053623A (ko) | 사운드 소스들을 향상시키기 위한 방법 및 장치 | |
US10854214B2 (en) | Noise suppression wearable device | |
US11636866B2 (en) | Transform ambisonic coefficients using an adaptive network | |
CN108346432A (zh) | 虚拟现实vr音频的处理方法及相应设备 | |
CN113544775A (zh) | 用于头戴式音频设备的音频信号增强 | |
CN116569563A (zh) | 空间音频风噪声检测 | |
KR20240017404A (ko) | 탠덤 네트워크들을 사용한 잡음 억제 | |
US11425497B2 (en) | Spatial audio zoom | |
EP4404196A1 (en) | Electronic device for controlling beamforming and operation method thereof | |
KR20230156967A (ko) | 오디오 줌 | |
JP2019083408A (ja) | 音再生システム、移動体、音再生方法及びプログラム | |
CN115884038A (zh) | 音频采集方法、电子设备及存储介质 | |
CN111341347B (zh) | 一种噪声检测方法及相关设备 | |
US20180158447A1 (en) | Acoustic environment understanding in machine-human speech communication | |
US20240282327A1 (en) | Speech enhancement using predicted noise | |
US20240334125A1 (en) | Audio processing based on target signal-to-noise ratio | |
US20240107259A1 (en) | Spatial Capture with Noise Mitigation | |
EP4401423A1 (en) | Electronic device for controlling ambient sound on basis of audio scene, and operating method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |