CN114788304A - 用于减少环境噪声补偿系统中的误差的方法 - Google Patents

用于减少环境噪声补偿系统中的误差的方法 Download PDF

Info

Publication number
CN114788304A
CN114788304A CN202080085436.9A CN202080085436A CN114788304A CN 114788304 A CN114788304 A CN 114788304A CN 202080085436 A CN202080085436 A CN 202080085436A CN 114788304 A CN114788304 A CN 114788304A
Authority
CN
China
Prior art keywords
noise
audio
signal
noise compensation
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080085436.9A
Other languages
English (en)
Inventor
B·A·扬科维奇
T·A·波特
A·P·赖利
R·J·卡特莱特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN114788304A publication Critical patent/CN114788304A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/32—Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/005—Combinations of two or more types of control, e.g. gain control and tone control of digital or coded signals
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/02—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers
    • H03G9/025—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers frequency-dependent volume compression or expansion, e.g. multiple-band systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H04R29/002—Loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/007—Protection circuits for transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/001—Adaptation of signal processing in PA systems in dependence of presence of noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Abstract

一种噪声补偿方法，包括：(a)接收包括内容音频数据的内容流；(b)从第一设备接收第一麦克风信号；(c)检测来自音频环境中或音频环境附近的噪声源位置的周围噪声；(d)使第一无线信号从第一设备发射到第二设备，第一无线信号包括用于使第二设备记录音频分段的指令；(e)从第二设备接收第二无线信号；(f)确定内容流音频分段的内容流音频分段时间间隔；(g)从第二设备接收第三无线信号，第三无线信号包括经由第二设备麦克风捕获的已记录音频分段；(h)确定第二设备位置处的第二设备周围噪声信号；以及(i)至少部分地基于第二设备周围噪声信号对内容音频数据实施噪声补偿方法。

Description

用于减少环境噪声补偿系统中的误差的方法
相关申请的交叉引用
本申请要求以下专利申请的优先权：
于2019年12月9日提交的美国临时专利申请号62/945,292；
于2020年11月30日提交的美国临时专利申请号63/198,995；
于2019年12月9日提交的美国临时专利申请号62/945,303；
于2020年11月30日提交的美国临时专利申请号63/198,996；
于2020年11月30日提交的美国临时专利申请号63/198,997；
于2019年12月9日提交的美国临时专利申请号62/945,607；
于2020年11月30日提交的美国临时专利申请号63/198,998；
于2020年11月30日提交的美国临时专利申请号63/198,999；
所述美国临时专利申请中的每一个通过引用以其全文并入本文。
技术领域
本公开关于用于噪声补偿的系统和方法。
背景技术
音频和视频设备(包括但不限于电视和相关联的音频设备)被广泛部署。尽管用于控制音频和视频设备的现有系统和方法提供了益处，但改进的系统和方法将仍是期望的。
符号和术语
贯穿本公开，包括在权利要求书中，术语“扬声器(speaker)”、“扩音器(loudspeaker)”和“音频再现换能器”同义地用于表示由单个扬声器馈送驱动的任何发声换能器(或一组换能器)。一套典型的耳机包括两个扬声器。扬声器可以被实施为包括多个换能器(例如，低音扬声器(woofer)和高音扬声器(tweeter))，该换能器可以由单个公共扬声器馈送或多个扬声器馈送驱动。在一些示例中，(多个)扬声器馈送可以在被耦接到不同换能器的不同电路分支中经历不同处理。
贯穿本公开，包括在权利要求中，在广义上使用“对”信号或数据执行操作的表达(例如，对信号或数据进行滤波、缩放、变换或施加增益)来表示直接对信号或数据执行操作或对信号或数据的已处理版本(例如，在对其执行操作之前已经历了初步滤波或预处理的信号版本)执行操作。
贯穿本公开，包括在权利要求中，在广义上使用表达“系统”来表示设备、系统或子系统。例如，实施解码器的子系统可以被称为解码器系统，并且包括这种子系统的系统(例如，响应于多个输入而生成X个输出信号的系统，其中，子系统生成其中M个输入，而其他X-M个输入是从外部源接收的)也可以被称为解码器系统。
贯穿本公开，包括在权利要求中，在广义上使用术语“处理器”来表示可编程或以其他方式可配置(例如，用软件或固件)为对数据(例如，音频、视频或其他图像数据)执行操作的系统或设备。处理器的示例包括现场可编程门阵列(或其他可配置集成电路或芯片组)、被编程和/或以其他方式被配置成对音频或其他声音数据执行流水线式处理的数字信号处理器、可编程通用处理器或计算机、以及可编程微处理器芯片或芯片组。
贯穿本公开，包括在权利要求中，术语“耦接(couples)”或“耦接(coupled)”用于意指直接或间接连接。因此，如果第一设备耦接到第二设备，则该连接是可以通过直接连接或者通过经由其他设备和连接的间接连接。
如本文所使用的，“智能设备”是可以在某种程度上交互地和/或自主地操作的电子设备，其通常被配置成通过如蓝牙、Zigbee、近场通信、Wi-Fi、光保真(Li-Fi)、3G、4G、5G等各种无线协议与一个或多个其他设备(或网络)进行通信。若干种值得注意的智能设备类型是智能电话、智能汽车、智能恒温器、智能门铃、智能锁、智能冰箱、平板手机和平板计算机、智能手表、智能手环、智能钥匙链和智能音频设备。术语“智能设备”还可以是指展现出如人工智能等普遍存在的计算的一些性质的设备。
在本文中，使用表达“智能音频设备”来表示智能设备，其是单一用途音频设备或多用途音频设备(例如，实施虚拟助理功能的至少一些方面的音频设备)。单一用途音频设备是包括或耦接到至少一个麦克风(并且可选地还包括或耦接到至少一个扬声器和/或至少一个相机)并且很大程度上或主要被设计为实现单一用途的设备(例如，电视(TV))。例如，虽然TV通常可以播放(并且被认为能够播放)来自节目素材的音频，但在大多数情况下，现代TV运行某种操作系统，应用程序(包括看电视的应用程序)在该操作系统上本地运行。从这个意义上说，具有(多个)扬声器和(多个)麦克风的单一用途音频设备通常被配置成运行本地应用程序和/或服务以直接使用(多个)扬声器和(多个)麦克风。一些单一用途音频设备可以被配置成组合在一起以实现在一定区或用户配置区域上播放音频。
一种常见类型的多用途音频设备是实施虚拟助理功能的至少一些方面的音频设备，尽管虚拟助理功能的其他方面可以由一个或多个其他设备来实施，例如一个或多个服务器，多用途音频设备被配置成与该一个或多个服务器通信。这样的多用途音频设备在本文中可以被称为“虚拟助理”。虚拟助理是包括或耦接到至少一个麦克风(并且可选地还包括或耦接到至少一个扬声器和/或至少一个相机)的设备(例如，智能扬声器或语音助理集成设备)。在一些示例中，虚拟助理可以提供将多个设备(不同于虚拟助理)用于某种意义上支持云的应用程序或以其他方式未在虚拟助理本身中或之上完全实施的应用程序的能力。换句话说，虚拟助理功能的至少一些方面(例如，言语识别功能)可以(至少部分地)由一个或多个服务器或其他设备实施，虚拟助理可以经由网络(如互联网)与该一个或多个服务器或其他设备通信。虚拟助理有时可以一起工作，例如，以离散和有条件地定义的方式。例如，两个或更多个虚拟助理可以在其中之一(例如，最确信已经听到唤醒词的虚拟助理)对唤醒词作出响应的意义上一起工作。在一些实施方式中，连接的虚拟助理可以形成一种构象(constellation)，该构象可以由一个主应用程序管理，该主应用程序可以是(或实施)虚拟助理。
在本文中，“唤醒词”在广义上用于表示任何声音(例如，人类说出的词或其他声音)，其中智能音频设备被配置成响应于检测到(“听到”)声音(使用被包括在智能音频设备中或耦接到智能音频设备的至少一个麦克风，或至少一个其他麦克风)而唤醒。在该上下文中，“唤醒”表示设备进入等待(换句话说，正在收听)声音命令的状态。在一些实例中，本文中可以被称为“唤醒词”的内容可以包括超过一个词，例如，短语。
在本文中，表达“唤醒词检测器”表示被配置成连续搜索实时声音(例如，言语)特征与训练模型之间的对齐的设备(或包括用于将设备配置成连续搜索实时声音特征与训练模型之间的对齐的指令的软件)。通常，每当唤醒词检测器确定检测到唤醒词的概率超过预定义阈值，就会触发唤醒词事件。例如，阈值可以是被调谐以在错误接受率与错误拒绝率之间给出合理折衷的预定阈值。在唤醒词事件之后，设备可能会进入一种状态(可以被称为“唤醒”状态或“注意力”状态)，在该状态下设备会收听命令并且将接收到的命令传递给更大、计算更密集的识别器。
如本文所使用的，术语“节目流”和“内容流”是指一个或多个音频信号以及一些实例中视频信号的集合，音频信号和视频信号的至少部分是要一起听到的。示例包括音乐选集、电影原声、电影、电视节目、电视节目的音频部分、播客、现场语音通话、来自智能助理的合成语音响应等。在一些实例中，内容流可以包括音频信号的至少一部分的多个版本，例如，超过一种语言的同一对话。在这样的实例中，一次旨在再现音频数据或其部分的仅一个版本(例如，与单一语言相对应的版本)。
发明内容
本公开的至少一些方面可以经由包括但不限于内容流处理方法的一个或多个音频处理方法来实施。在一些实例中，(多种)方法可以至少部分地由控制系统和/或经由被存储在一个或多个非暂态介质上的指令(例如，软件)来实施。一些这样的方法涉及由第一设备控制系统且经由音频环境中的第一设备的第一接口系统来接收包括内容音频数据的内容流。在一些示例中，第一设备可以是电视或电视控制模块。一些这样的方法涉及由第一设备控制系统且经由第一接口系统从第一设备的第一设备麦克风系统接收第一麦克风信号。一些这样的方法涉及由第一设备控制系统且至少部分地基于第一麦克风信号来检测来自音频环境中或音频环境附近的噪声源位置的周围噪声。
一些这样的方法涉及由第一设备控制系统使第一无线信号经由第一接口系统从第一设备发射到音频环境中的第二设备。根据一些实施方式，第一无线信号可以经由无线电波或微波发送。在一些示例中，第二设备可以是遥控设备、智能电话或智能扬声器。第一无线信号可以包括用于使第二设备例如经由第二设备麦克风系统记录音频分段的指令。一些这样的方法涉及由第一设备控制系统且经由第一接口系统从第二设备接收第二无线信号。一些这样的方法涉及由第一设备控制系统确定内容流音频分段的内容流音频分段时间间隔。根据一些实施方式，第二无线信号可以经由红外波发送。
一些这样的方法涉及由第一设备控制系统且经由第一接口系统从第二设备接收第三无线信号。第三无线信号可以包括经由第二设备麦克风捕获的已记录的音频分段。一些这样的方法涉及由第一设备控制系统至少部分地基于已记录的音频分段和内容流音频分段来确定第二设备位置处的第二设备周围噪声信号。一些这样的方法涉及由第一设备控制系统至少部分地基于第二设备周围噪声信号对内容音频数据实施噪声补偿方法，以产生经噪声补偿的音频数据。在一些示例中，该方法可以涉及由第一设备控制系统且经由第一接口系统将经噪声补偿的音频数据提供到音频环境的一个或多个音频再现换能器。
在一些示例中，第一无线信号可以包括第二设备音频记录开始时间或用于确定第二设备音频记录开始时间的信息。在一些实例中，第二无线信号可以指示第二设备音频记录开始时间。根据一些示例，该方法可以涉及由第一设备控制系统且经由第一接口系统从第二设备接收第四无线信号。在一些示例中，第四无线信号可以指示第二设备音频记录结束时间。根据一些示例，该方法可以涉及基于第二设备音频记录结束时间来确定内容流音频分段结束时间。在一些实例中，第一无线信号可以指示第二设备音频记录时间间隔。
根据一些示例，该方法可以涉及例如在第二设备音频记录时间间隔期间由第一设备控制系统且经由第一接口系统从第一设备麦克风系统接收第二麦克风信号。在一些示例中，该方法可以涉及由第一设备控制系统且至少部分地基于第一麦克风信号来检测与来自噪声源位置的周围噪声相对应的第一设备周围噪声信号。噪声补偿方法可以至少部分地基于第一设备周围噪声信号。在一些示例中，噪声补偿方法可以至少部分地基于第一设备周围噪声信号与第二设备周围噪声信号的比较。根据一些示例，噪声补偿方法可以至少部分地基于第一设备周围噪声信号与第二设备周围噪声信号的比率。
根据一些示例，该方法可以涉及由第一设备控制系统渲染经噪声补偿的音频数据以产生经渲染的音频信号，并且由第一设备控制系统且经由第一接口系统将经渲染的音频信号提供到音频环境的一组音频再现换能器中的至少一些音频再现换能器。在一些实施方式中，音频环境的再现换能器中的至少一个可以存在于在第一设备中。
本公开的至少一些替代性方面可以经由包括但不限于内容流处理方法的一个或多个音频处理方法来实施。在一些实例中，(多种)方法可以至少部分地由控制系统和/或经由被存储在一个或多个非暂态介质上的指令(例如，软件)来实施。一些这样的方法涉及由控制系统且经由接口系统接收与来自音频环境中或音频环境附近的噪声源位置的周围噪声相对应的麦克风信号。一些这样的方法涉及由控制系统确定或估计音频环境中的收听者位置。一些这样的方法涉及由控制系统估计至少一个临界距离，临界距离是与噪声源位置的距离，在该距离，直接传播的声压等于扩散场声压。一些这样的方法涉及估计收听者位置是否在至少一个临界距离内，且至少部分地基于对收听者位置是否在至少一个临界距离内的至少一个估计对周围噪声实施噪声补偿方法。
一些这样的方法可以涉及经由控制系统控制音频环境中的音频再现换能器系统以再现一个或多个房间校准声音，音频再现换能器系统包括一个或多个音频再现换能器。在一些示例中，一个或多个房间校准声音可以被嵌入在由控制系统接收的内容音频数据中。一些这样的方法可以涉及由控制系统且经由接口系统接收与音频环境对一个或多个房间校准声音的响应相对应的麦克风信号，并且由控制系统且基于麦克风信号来确定针对多个频率中的每一个的混响(reverberation)时间。一些这样的方法可以涉及确定或估计音频环境的音频环境体积。
根据一些示例，估计至少一个临界距离可以涉及至少部分地基于该多个频率相关混响时间和音频环境体积来计算多个估计的基于频率的临界距离。在一些示例中，多个估计的基于频率的临界距离中的每个估计的基于频率的临界距离可以与该多个频率中的频率相对应。在一些示例中，估计收听者位置是否在至少一个临界距离内可以涉及估计收听者位置是否在多个基于频率的临界距离中的每个基于频率的临界距离内。根据一些示例，该方法可以涉及将与周围噪声相对应的麦克风信号从时域变换到频域中，并且针对多个周围噪声频带中的每一个确定频带周围噪声级估计。根据一些示例，该方法可以涉及针对频带周围噪声级估计中的每一个确定基于频率的置信级。例如，每个基于频率的置信级可以与对收听者位置是否在每个基于频率的临界距离内的估计相对应。在一些实施方式中，每个基于频率的置信级可以与每个基于频率的临界距离相反地成比例。
在一些示例中，实施噪声补偿方法可以涉及针对每个周围噪声频带基于基于频率的置信级来实施基于频率的噪声补偿方法。在一些实例中，基于频率的噪声补偿方法可以涉及针对置信级处于或高于阈值置信级的每个周围噪声频带应用默认噪声补偿方法。根据一些实施方式，基于频率的噪声补偿方法可以涉及针对置信级低于阈值置信级的每个周围噪声频带修改默认噪声补偿方法。例如，修改默认噪声补偿方法可以涉及减少默认噪声补偿级调整。
根据一些示例，该方法可以涉及由控制系统且经由接口系统来接收包括音频数据的内容流。在一些这样的示例中，实施噪声补偿方法可以涉及将噪声补偿方法应用于音频数据以产生经噪声补偿的音频数据。在一些示例中，该方法可以涉及由控制系统且经由接口系统将经噪声补偿的音频数据提供到音频环境的一个或多个音频再现换能器。
在一些示例中，该方法可以涉及由控制系统渲染经噪声补偿的音频数据以产生经渲染的音频信号，并且由控制系统且经由接口系统将经渲染的音频信号提供到音频环境的一组音频再现换能器中的至少一些音频再现换能器。
本文描述的一些或所有操作、功能和/或方法可以由一个或多个设备根据被存储在一个或多个非暂态介质上的指令(例如，软件)来执行。这样的非暂态介质可以包括如本文描述的存储器设备，包括但不限于随机存取存储器(RAM)设备、只读存储器(ROM)设备等。因此，本公开中描述的主题的一些创新方面可以经由其上存储有软件的一个或多个非暂态介质来实施。
本公开的至少一些方面可以经由装置来实施。例如，一个或多个设备可以能够至少部分地执行本文公开的方法。在一些实施方式中，装置是或包括具有接口系统和控制系统的音频处理系统。控制系统可以包括一个或多个通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备、离散门或晶体管逻辑、离散硬件部件或其组合。
在以下附图和说明中阐述了本说明书所描述的主题的一个或多个实施方式的细节。从说明书、附图和权利要求中，其他特征、方面和优点将变得明显。注意，以下附图的相对尺寸可能不是按比例来绘制的。
附图说明
图1A是示出了噪声补偿系统的示例的框图。
图1B示出了噪声补偿系统的另一示例。
图1C是图示了根据一些公开的示例的使用频谱衰减时间测量对噪声估计的置信度进行评分的方法的流程图。
图1D是图示了根据一些公开的示例的在噪声补偿过程中使用噪声估计置信度得分的方法的流程图。
图2是示出了能够实施本公开的各个方面的装置的部件的示例的框图。
图3是概述所公开方法的一个示例的流程图。
图4A和图4B示出了噪声补偿系统部件的附加示例。
图4C是示出了可以经由图4A和图4B中示出的噪声补偿系统执行的操作的示例的时序图。
图5是概述所公开方法的一个示例的流程图。
图6示出了噪声补偿系统的附加示例。
图7A是指示由图6中示出的麦克风接收的信号的图像的示例。
图7B示出了在音频环境的不同位置中的图6的噪声源。
图8示出了音频环境的平面图的示例，该音频环境在该示例中是生活空间。
在各个附图中，相似的附图标记和名称指示相似的元件。
具体实施方式
噪声补偿系统被配置成补偿音频环境内的环境噪声，例如，周围噪声。如本文所使用的，术语“周围噪声”和“环境噪声”是指由在音频回放系统和/或噪声补偿系统外部的一个或多个噪声源产生的噪声。在一些示例中，音频环境可以是家庭音频环境，例如，家庭的一个或多个房间。在其他示例中，音频环境可以是另一种类型的环境，如办公室环境、汽车环境、火车环境、街道或人行道环境、公园环境等。
图1A示出了噪声补偿系统的示例。在该示例中，噪声补偿系统100被配置成基于噪声估计108来调整输入音频信号101的级别。根据该示例，噪声补偿系统100包括扩音器104、麦克风105、噪声估计器107和噪声补偿器102。在一些示例中，噪声估计器107和噪声补偿器102可以经由控制系统(如下文参考图2描述的控制系统210)来实施，例如，根据被存储在一个或多个非暂态存储介质上的指令。如上所述，术语“扬声器”、“扩音器”和“音频再现换能器”在本文同义地使用。与本文提供的其他图一样，图1A中示出的元件的类型、数量和布置仅作为示例提供。其他实施方式可以包括更多、更少和/或不同类型、数量或布置的元件，例如，更多扩音器。
在该示例中，噪声补偿器102被配置成从文件、流媒体服务等接收音频信号101。例如，噪声补偿器102可以被配置成应用增益调整算法，如频率相关增益调整算法或宽带增益调整算法。
在该示例中，噪声补偿器102被配置成向扩音器104发送经噪声补偿的输出信号103。根据该示例，经噪声补偿的输出信号103还被提供给噪声估计器107，且是噪声估计器的参考信号。在该示例中，麦克风信号106也从麦克风105被发送到噪声估计器107。
根据该示例，噪声估计器107是被配置成估计包括系统100的环境中的噪声级的部件。噪声估计器107可以被配置成接收麦克风信号106且计算多少麦克风信号106由噪声构成和多少麦克风信号是由扩音器104的回放造成的。在一些示例中，噪声估计器107可以包括回波消除器(echo canceller)。然而，在一些实施方式中，噪声估计器107可以在与静默(“静音回放间隔(quiet playback interval)”)相对应的信号被发送到扩音器104时简单地测量噪声。在一些这样的示例中，静音回放间隔可以是在一个或多个频带中处于或低于阈值级的音频信号的实例。替代性地或另外地，在一些示例中，静音回放间隔可以是在一定时间间隔期间处于或低于阈值级的音频信号的实例。
在该示例中，噪声估计器107正向噪声补偿器102提供噪声估计108。取决于特定实施方式，噪声估计108可以是噪声的宽带估计或频谱估计。在该示例中，噪声补偿器102被配置成基于噪声估计108来调整扩音器104的输出的级别。
如移动设备的一些设备的扩音器通常具有相当有限的能力。因此，由系统100提供的音量调整的类型通常将受这样的扩音器的动态范围和/或扬声器保护部件(例如，限制器和/或压缩器)的限制。如噪声补偿系统100的噪声补偿系统可以施加增益，该增益是频率相关增益或宽带增益。
虽然在消费电子市场中还不常见，但在家庭娱乐设备中利用机载麦克风来测量和补偿背景噪声已得到证明。未采用此功能的主要原因与本文档将称之为“噪声源接近度模糊性”、称之为“接近度模糊性问题”或简称为“接近度问题”的问题有关。从最简单的意义上讲，这个问题的产生是由于如下事实：声压级(SPL)是对在空间中的具体点处“存在多少声音”进行量化的测量性质。由于声波随着它们传播穿过介质而损失能量，因此在空间中的一个点处进行的测量对于所有其他点来说在事先不知晓这些点之间的距离以及传输介质(在这种情况下是室温下的空气)的一些性质的情况下是没有意义的。在无回波空间中，通过平方反比定律来将这些传播损耗建模是简单的。这个平方反比定律不适用于混响(真实)房间，因此在理想情况下，为了将传播建模，物理空间的混响特性也是已知的。
噪声源与收听者的接近度是确定来自该噪声源的噪声对收听者的内容可听度和可懂度的不利影响的重要因素。经由麦克风在任意位置处、如在电视的外壳上测量声压级对于确定噪声对收听者的不利影响是不够的，因为这个麦克风可能将非常大声但在远处的噪声源视为安静、附近源的相同声压级。
本公开提供了可以克服这些可能缺点中的至少一些缺点的各种方法，以及用于实施目前公开的方法的设备和系统。一些公开的实施方式涉及在收听者位置处测量周围噪声的SPL。一些公开的实施方式涉及通过知晓(或推断)收听者和噪声源与麦克风位置的接近度来从在任意麦克风位置处检测到的级别推断收听者位置处的噪声SPL。下文参考图4以及以下描述了前述实施方式的各种示例。
一些替代性实施方式涉及(例如，在每频率基础上)预测在周围噪声估计中可能出现多少误差，该周围噪声估计不涉及噪声源接近度模糊性问题的解决方案。下文参考图1B至图3B描述了一些示例。
如果系统不实施前述段落中描述的解决方案之一，则一些公开的噪声补偿方法可以对设备的输出施加级别调整，该级别调整使内容再现对于收听者来说太大声或太安静。
图1B示出了噪声补偿系统的另一示例。根据该示例，噪声补偿系统110包括电视111、被配置用于对噪声补偿系统110存在于其中的声学环境(在本文中也被称为“音频环境”)进行采样的麦克风112、以及立体声扩音器113和114。尽管图1B中未示出，但在该示例中，噪声补偿系统110包括噪声估计器和噪声补偿器，噪声估计器和噪声补偿器可以是上文参考图1A描述的噪声估计器107和噪声补偿器102的实例。在一些示例中，噪声估计器和噪声补偿器可以经由控制系统、如电视111的控制系统(可以是下文参考图2描述的控制系统210的实例)来实施，例如，根据被存储在一个或多个非暂态存储介质上的指令。
与本文提供的其他图一样，图1B中示出的元件的类型、数量和布置仅作为示例提供。其他实施方式可以包括更多、更少和/或不同类型、数量或布置的元件，例如，更多扩音器。在一些实施方式中，参考图1B至图1D描述的噪声补偿方法可以经由除电视以外的设备的控制系统来实施，如具有显示器的另一个设备(例如，膝上型计算机)的控制系统、智能扬声器的控制系统、智能中枢的控制系统、音频系统的另一个设备的控制系统等。
根据该示例，示出了试图补偿多个噪声源的噪声补偿系统110，以便说明噪声源与收听者接近度的前述模糊性。在该示例中，噪声补偿系统110存在于其中的音频环境118还包括收听者116(在该示例中被假设是固定的)、比收听者116更靠近电视111的噪声源115、以及比收听者116距电视111更远的噪声源117。在高阻尼房间(highly-damped room)中，在没有用于解决或补偿接近度问题的所公开方法之一的情况下，噪声补偿系统可能会对噪声源115过度补偿。在最小阻尼房间中，在没有用于解决或补偿接近度问题的所公开方法之一的情况下，噪声补偿系统可能会对噪声源117补偿不足，因为噪声源117更靠近收听者116而不是麦克风112。
在该示例中，噪声补偿系统110被配置用于实施至少部分地基于“临界距离”分析的方法。如本文所使用的，“临界距离”是与声源的距离，在该距离处，直接传播的声压等于扩散场声压。这个性质是频率相关的，且通常在ISO标准倍频程或1/3倍频程频带中心频率下给出。临界距离主要是体积(意指三维大小，而不是响度)和(例如，房间的)音频环境的混响的性质，但也受噪声源的指向性影响。对于具有全向源的典型家庭客厅，临界距离Dc在1kHz下大约为0.75米。
在高度混响的房间中，噪声补偿系统110可以提供充足的噪声补偿，尽管未能解决接近度问题。这是因为如下事实：在高度混响的环境中，整个房间的声能分布在临界距离之外接近均匀。
换句话说，在具有小临界距离的高度混响的房间中，收听者116和电视111两者有可能都将处于与噪声源的临界距离之外。在该情况下，混响声支配着直达声，并且无论源距离和源位置如何，声音都是相对均匀的。鉴于该状况，在电视麦克风112处测量的噪声SPL与收听者116所体验到的噪声SPL之间将不太可能存在差异。这意味着由于接近度问题导致的噪声估计误差变得不太可能。由于临界距离和混响时间两者都是频率相关性质，因此这个误差概率也取决于频率。
不幸地是，大多数住宅客厅并非跨所有频率都是高度混响的。换句话说，在一些频率下，大多数住宅客厅可以具有大于0.75米且有时远大于0.75米的临界距离。因此，有可能在一些频率下，收听者116和电视111可以位于临界距离之内。在该频率下，尚未解决(或补偿)接近度问题的噪声补偿系统将产生对于收听者位置处的噪声级来说并不准确的噪声估计，且因此将施加不正确的噪声补偿。
因此，一些公开的实施方式涉及预测由于接近度问题导致的误差的概率。为了解决这个问题，可以利用在一些先前部署的设备内的现有功能来识别声学环境的特征。实施噪声补偿的至少一些先前部署的设备也将具有房间声学补偿系统的特征。使用已从现有房间声学补偿系统可获得的信息，可以计算频率相关混响时间(也被称作频谱衰减时间)。这是通过获得系统的脉冲响应(已经针对房间声学补偿系统计算的)且将脉冲响应分成离散频带来实现的。从脉冲的峰值到它的量值减少60dB的点的时间是针对频带的混响时间。
在确定频谱衰减时间之后，可以使用频谱衰减时间以及房间体积和源指向性的一些知识来推断临界距离，控制系统可以依据临界距离来预测由于接近度问题导致的噪声估计误差的概率。如果针对特定频率窗口(frequency bin)(在本文中也可以被称为频率范围或频带)预测小临界距离，则在一些实施方式中，这将针对频率窗口中的周围噪声估计产生高置信度得分(例如，1.0)。根据一些示例，噪声补偿系统然后可以在频率窗口中执行无约束的噪声补偿。在一些示例中，无约束的噪声补偿可以与将根据噪声补偿方法响应于频率窗口中的周围噪声估计来执行的“默认”噪声补偿相对应，例如，确保回放音频的级别超过由麦克风112检测到的周围噪声的级别至少阈值量。在一些示例中，无约束的噪声补偿可以与至少一些频带的输出信号级不根据其他频带的输出信号级和/或强加阈值来受约束的噪声补偿方法相对应。
在一些实施方式中，在所预测的临界距离更大的频率窗口中，这将针对这些频率窗口产生更低的置信度得分。在一些示例中，更低的置信度得分导致实施经修改的噪声补偿方法。根据一些这样的示例，与低置信度得分相对应的经修改的噪声补偿方法可以是更保守的噪声补偿方法，在该更保守的噪声补偿方法中，回放音频的级别的提升小于将根据默认方法提升的级别，以减小错误地进行大校正的可能性。
根据一些示例，最小(例如，零)置信度得分可以与最小所施加增益(例如，再现的音频级与估计的周围噪声级之间的最小差异)相对应，并且最大(例如，1.0)置信度得分可以与对噪声补偿的无约束或“默认”级别调整相对应。在一些示例中，最小值与最大值之间的置信度值可以与对应于最小置信度得分(例如，最小所施加增益)的级别调整与对噪声补偿的“默认”级别调整之间的线性插值相对应。
在一些实施方式中，最小(例如，零)置信度得分可以与音色保留噪声补偿方法相对应，并且最大(例如，1.0)置信度得分可以与对噪声补偿的无约束或“默认”级别调整相对应。术语“音色保留”可以具有本文所使用的各种含义。从广义上讲，“音色保留”方法是至少部分地保留频率内容或输入音频信号的音色的方法。一些音色保留方法可以完全地或几乎完全地保留输入音频信号的频率内容。音色保留方法可以涉及根据至少一些其他频带的输出信号级和/或强加阈值来约束至少一些频带的输出信号级。在一些示例中，“音色保留”方法可以涉及至少在某种程度上约束所有非隔离频带的输出信号级。(在一些示例中，如果频带是“隔离的”，则仅在该频带中的音频对所施加的限制性增益有影响。)
在一些示例中，置信度值可以与音色保留设定相反地成比例。例如，如果最小置信度值是0.0且最大置信度值是1.0，则最小(例如，零)置信度得分可以与100％或1.0的音色保留设定相对应。在一些示例中，0.50的音色保留设定可以与0.5的置信度值相对应。在一些这样的示例中，0.25的置信度值可以与0.75的音色保留设定相对应。
对于在任何给定频率窗口中被视为不重要的接近度问题，收听者必须在针对该频率窗口的临界距离之外。针对特定频率的临界距离可以使用统计混响时间模型从针对该频率的混响时间来推断，例如，如下：
Figure BDA0003685464910000121
在方程1中，Dc表示临界距离，Q表示噪声源的指向性因数(在一些实施方式中被假设为是全向的)，V表示房间的体积(例如，以m3为单位)，并且T表示以秒为单位所测量的混响时间，RT60。RT60被定义为理论上完美的脉冲的振幅衰减60dB所需要的时间。
在一些示例中，基于典型客厅大小，房间的体积可以被假设为是特定大小，例如，60m3。在一些示例中，房间的体积可以在拆箱/设置时根据来自用户的输入来确定，例如，经由图形用户界面(GUI)。例如，基于用户的实际测量或估计，输入可以是数值的。在一些这样的实施方式中，可以经由GUI向用户呈现一组“多选”选项(例如，您的房间是大房间、中等大小房间还是小房间”)。每个选项可以与V的不同值相对应。
在一些实施方式中，针对多个频率窗口中的每一个(例如，针对由噪声补偿系统110使用的每个频率窗口)对方程1求解。根据一些示例，可以通过以下方法产生置信度得分：
·假设收听者116将不坐在离电视111有2米以内的地方。
·如果所预测的临界距离等于或小于2米，则置信度得分被设定为1。
·随着临界距离增加，置信度得分减少，直至下限，其中，Dc＝5m且置信度＝0。
替代性示例可以涉及确定置信度得分的替代性方法。例如，替代性方法可以涉及关于收听者116与电视111的接近度的不同假设和/或针对下限的例如4米、4.5米、5.5米、6米等的不同临界距离。一些实施方式可以涉及测量或估计收听者116的实际位置和/或收听者116与电视111之间的距离。一些实施方式可以涉及获得关于收听者116的实际位置和/或收听者116与电视111之间的距离的用户输入。一些示例可以涉及确定如蜂窝电话或遥控设备等设备的位置，并且假设设备的位置与收听者的位置相对应。
根据各种公开的实施方式，上文描述的置信度得分表示噪声补偿系统110的噪声估计的误差概率。鉴于在一些实施方式中可能没有办法区分高估与低估，在一些这样的实施方式中，噪声补偿系统110可以始终假设噪声估计误差是高估。这个假设降低了噪声补偿系统110将给由扩音器113和114再现的音频错误地施加过多增益的可能性。这样的实施方式是潜在地有利的，因为与施加不充足增益即可足够克服周围噪声的相反情况相比，施加过多增益通常将是在感知上更明显的失效模式。
在一些实施方式中，如果置信度得分是1，则无约束地施加由噪声补偿系统110计算的频率相关增益。根据一些这样的实施方式，对于所有小于1的置信度值，这些频率相关增益被按比例缩小。
图1C是图示了根据一些公开的示例的使用频谱衰减时间测量对噪声估计的置信度进行评分的方法的流程图。该图示出了脉冲响应的使用，在一些实施方式中，可能已经出于房间声学补偿的目的而得到了该脉冲响应。根据该示例，这个脉冲响应被分解成与噪声补偿系统在其中操作的频带相对应的离散频带。这些频带限制的脉冲响应中的每一个衰减60dB所花费的时间是针对该频带的混响时间RT60。
图1D是图示了根据一些公开的示例的在噪声补偿过程中使用噪声估计置信度得分的方法的流程图。例如，图1C和图1D中示出的操作可以经由控制系统(如下文参考图2所描述的控制系统210)来执行。与本文描述的其他方法一样，不必以所指示的顺序来执行方法120和方法180的框。此外，这样的方法可以包括比所示出和/或所描述的框更多或更少的框。在图1C和图1D中示出的示例中，包括多个箭头的框指示对应音频信号被滤波器库分成若干频率窗口。
图1C的方法120可以与例如可以在电视、音频设备等首次安装在音频环境中时出现的“设置”模式相对应。在该示例中，框125涉及使一个或多个音频再现换能器播放房间校准信号。在这里，框130涉及经由一个或多个麦克风记录房间对房间校准信号的脉冲响应。
在这里，框135涉及将脉冲响应从时域变换到频域中：在这里，对应的音频信号被滤波器库分成若干频率窗口。在该示例中，框140涉及执行衰减时间分析并且确定以秒为单位的混响时间，RT60。这个分析涉及找出每个频带限制的脉冲响应的峰值，对样本数量进行计数直到脉冲响应的量值衰减60dB为止，然后将样本数量除以以Hz为单位的采样频率。结果是针对该频带的以秒为单位的混响时间RT60。
根据该示例，框145涉及针对多个频率窗口中的每一个(例如，针对由噪声补偿系统110使用的每个频率窗口)确定噪声估计置信度得分。在一些实施方式中，框145涉及针对频率窗口中的每一个对方程1求解。尽管图1C中未示出，但在方法120中还确定与房间的体积相对应的V的值，例如，根据用户输入、基于根据传感器输入或通过使用默认值进行的房间测量或估计过程。根据一些示例，可以通过假设收听者116将不坐在离电视111有2米以内来产生置信度得分，在所预测的临界距离等于或小于2米的情况下，将置信度得分设定为1。随着临界距离增加，置信度得分可能减少，例如，直至下限，其中临界距离是5m且置信度得分是零。替代性示例可以涉及确定置信度得分的替代性方法。在一些实例中，在框145中确定的置信度得分可以被存储在存储器中。
在该示例中，图1D的方法180与例如可以在已执行图1C的方法之后当电视、音频设备等在每天基础上的使用中时出现的“运行时”模式相对应。在该示例中，回波消除框155涉及从麦克风111接收麦克风信号而且还接收回波参考信号150，该回波参考信号可以是提供给音频环境的音频再现换能器的扬声器馈送信号。在这里，框160涉及基于来自回波消除框155的输出、针对多个频率窗口(在本文也被称为频带)中的每一个产生噪声估计。
在该示例中，噪声补偿缩放框165涉及应用在框145中确定的置信度得分以便为将基于从框160接收的频率相关噪声估计来施加的噪声补偿增益提供适当缩放(如果存在的话)。在一些实例中，在框145中确定的置信度得分可能已被存储以供稍后使用，例如，在方法180的运行时操作中使用。例如，由噪声补偿缩放框165确定的缩放可以根据上文参考图1B描述的示例之一来执行。
根据该示例，框170涉及基于从噪声补偿缩放框165接收的缩放值来确定频率相关增益。在这里，框175涉及将经噪声补偿的输出音频数据提供到音频环境的一个或多个音频换能器。
图2是示出了能够实施本公开的各个方面的装置的部件的示例的框图。与本文提供的其他图一样，图2中示出的元件的类型、数量和布置仅作为示例提供。其他实施方式可以包括更多、更少和/或不同类型、数量或布置的元件。根据一些示例，装置200可以被配置用于执行本文公开的方法中的至少一些方法。在一些实施方式中，装置200可以是或可以包括电视、音频系统的一个或多个部件、移动设备(如蜂窝电话)、膝上型计算机、平板设备、智能扬声器或另一种类型的设备。在一些实施方式中，装置200可以是或者可以包括电视控制模块。取决于特定实施方式，电视控制模块可以集成到电视中或可以不集成到电视中。在一些实施方式中，电视控制模块可以是与电视分开的设备，并且在一些实例中可以与电视分开售卖或作为购买的电视可以包括的附加或可选设备来售卖。在一些实施方式中，电视控制模块可以是可从内容提供商(如电视节目、电影等的提供商)获得的。
根据一些替代性实施方式，装置200可以是或者可以包括服务器。在一些这样的示例中，装置200可以是或者可以包括编码器。因此，在一些实例中，装置200可以是被配置用于在如家庭音频环境的音频环境内使用的设备，然而在其他实例中，装置200可以是被配置用于在“云”中使用的设备，例如，服务器。
在该示例中，装置200包括接口系统205和控制系统210。在一些实施方式中，接口系统205可以被配置用于与音频环境的一个或多个其他设备通信。在一些示例中，音频环境可以是家庭音频环境。在其他示例中，音频环境可以是另一种类型的环境，如办公室环境、汽车环境、火车环境、街道或人行道环境、公园环境等。根据一些实施方式，可以基于音频环境类型来假设音频环境的大小和/或混响。例如，默认办公室大小可以被用于办公室音频环境。例如，可以根据用户输入或基于环境的音频特性来确定音频环境类型。在一些实施方式中，接口系统205可以被配置用于与音频环境的音频设备交换控制信息和相关联的数据。在一些示例中，控制信息和相关联的数据可以与装置200正执行的一个或多个软件应用程序有关。
在一些实施方式中，接口系统205可以被配置用于接收内容流或用于提供内容流。内容流可以包括音频数据。音频数据可以包括但可以不限于音频信号。在一些实例中，音频数据可以包括如声道数据和/或空间元数据等空间数据。根据一些实施方式，内容流可以包括关于音频数据的动态范围的元数据和/或关于一个或多个噪声补偿方法的元数据。例如，关于音频数据的动态范围的元数据和/或关于一个或多个噪声补偿方法的元数据可以已由被配置成实施基于云的服务的一个或多个设备(如一个或多个服务器)提供。例如，关于音频数据的动态范围的元数据和/或关于一个或多个噪声补偿方法的元数据可以已由在本文可以被称为“编码器”的设备提供。在一些这样的示例中，内容流可以包括视频数据和与视频数据相对应的音频数据。下文描述编码器和解码器操作的一些示例。
接口系统205可以包括一个或多个网络接口和/或一个或多个外部设备接口(如一个或多个通用串行总线(USB)接口)。根据一些实施方式，接口系统205可以包括一个或多个无线接口。接口系统205可以包括用于实施用户接口的一个或多个设备，如一个或多个麦克风、一个或多个扬声器、显示系统、触摸传感器系统和/或手势传感器系统。在一些示例中，接口系统205可以包括控制系统210与存储器系统(如图2中示出的可选存储器系统215)之间的一个或多个接口。然而，在一些实例中，控制系统210可以包括存储器系统。在一些实施方式中，接口系统205可以被配置用于从环境中的一个或多个麦克风接收输入。
例如，控制系统210可以包括通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备、离散门或晶体管逻辑、和/或离散硬件部件。
在一些实施方式中，控制系统210可以存在于超过一个设备中。例如，在一些实施方式中，控制系统210的一部分可以存在于本文描绘的环境之一内的设备中，并且控制系统210的另一部分可以存在于环境之外的如服务器、移动设备(例如，智能电话或平板计算机)等设备中。在其他示例中，控制系统210的一部分可以存在于本文描绘的环境之一内的设备中，并且控制系统210的另一部分可以存在于环境的一个或多个其他设备中。例如，控制系统功能可以跨环境的多个智能音频设备分布，或者可以由编排设备(如本文中可以被称为智能家居中枢的设备)和环境的一个或多个其他设备共享。在其他示例中，控制系统210的一部分可以存在于实施基于云的服务的设备(如服务器)中，并且控制系统210的另一部分可以存在于实施基于云的服务的另一设备(如另一服务器、存储器设备等)中。在一些示例中，接口系统205还可以存在于超过一个设备中。
在一些实施方式中，控制系统210可以被配置用于至少部分地执行本文公开的方法。根据一些示例，控制系统210可以被配置用于实施内容流处理的方法。
本文描述的一些或所有方法可以由一个或多个设备根据被存储在一个或多个非暂态介质上的指令(例如，软件)来执行。这样的非暂态介质可以包括如本文描述的存储器设备，包括但不限于随机存取存储器(RAM)设备、只读存储器(ROM)设备等。例如，一个或多个非暂态介质可以存在于图2中示出的可选存储器系统215中和/或控制系统210中。因此，可以在其上存储有软件的一个或多个非暂态介质中实施本公开中所描述的主题的各个创新方面。例如，软件可以包括用于控制至少一个设备来处理内容流、编码内容流、解码内容流等的指令。例如，软件可以是可由控制系统(如图2的控制系统210)的一个或多个部件执行的。
在一些示例中，装置200可以包括图2中示出的可选麦克风系统220。可选麦克风系统220可以包括一个或多个麦克风。在一些实施方式中，一个或多个麦克风可以是另一个设备(如扬声器系统的扬声器、智能音频设备等)的一部分或与其相关联。在一些示例中，装置200可以不包括麦克风系统220。然而，在一些这样的实施方式中，装置200仍然可以被配置成经由接口系统210接收音频环境中的一个或多个麦克风的麦克风数据。在一些这样的实施方式中，装置200的基于云的实施方式可以被配置成经由接口系统210从音频环境中的一个或多个麦克风接收麦克风数据或至少部分地与麦克风数据相对应的噪声指标。
根据一些实施方式，装置200可以包括图2中示出的可选扩音器系统225。可选扩音器系统225可以包括一个或多个扩音器，该扩音器在本文中也可以被称为“扬声器”，或更通常地被称为“音频再现换能器”。在一些示例(例如，基于云的实施方式)中，装置200可以不包括扩音器系统225。
在一些实施方式中，装置200可以包括图2中示出的可选传感器系统230。可选传感器系统230可以包括一个或多个触摸传感器、手势传感器、运动检测器等。根据一些实施方式，可选传感器系统230可以包括一个或多个相机。在一些实施方式中，相机可以是独立式相机。在一些示例中，可选传感器系统230的一个或多个相机可以存在于智能音频设备中，该智能音频设备可以是单一用途音频设备或虚拟助理。在一些这样的示例中，可选传感器系统230的一个或多个相机可以存在于电视、移动电话或智能扬声器中。在一些示例中，装置200可以不包括传感器系统230。然而，在一些这样的实施方式中，装置200仍然可以被配置成经由接口系统210接收音频环境中的一个或多个传感器的传感器数据。
在一些实施方式中，装置200可以包括图2中示出的可选显示系统235。可选显示系统235可以包括一个或多个显示器，如一个或多个发光二极管(LED)显示器。在一些实例中，可选显示系统235可以包括一个或多个有机发光二极管(OLED)显示器。在一些示例中，可选显示系统235可以包括电视的一个或多个显示器。在其他示例中，可选显示系统235可以包括膝上型显示器、移动设备显示器或另一种类型的显示器。在其中装置200包括显示系统235的一些示例中，传感器系统230可以包括接近显示系统235的一个或多个显示器的触摸传感器系统和/或手势传感器系统。根据一些这样的实施方式，控制系统210可以被配置用于控制显示系统235来呈现一个或多个图形用户界面(GUI)。
根据一些这样的示例，装置200可以是或者可以包括智能音频设备。在一些这样的实施方式中，装置200可以是或者可以包括唤醒词检测器。例如，装置200可以是或者可以包括虚拟助理。
图3是概述所公开方法的一个示例的流程图。与本文所描述的其他方法一样，不必以所指示的顺序来执行方法300的框。此外，这样的方法可以包括比所示出和/或所描述的框更多或更少的框。
方法300可以由如图2中示出且上文描述的装置200的装置或系统执行。在一些示例中，方法300的框可以由音频环境内的一个或多个设备执行，例如，音频系统控制器或音频系统的另一部件，如智能扬声器、电视、电视控制模块、智能扬声器、移动设备等。在一些实施方式中，音频环境可以包括家庭环境的一个或多个房间。在其他示例中，音频环境可以是另一种类型的环境，如办公室环境、汽车环境、火车环境、街道或人行道环境、公园环境等。然而，在替代性实施方式中，方法300的至少一些框可以由实施基于云的服务的设备(如服务器)来执行。
在这个实施方式中，框305涉及由控制系统且经由接口系统来接收与来自音频环境中或音频环境附近的噪声源位置的周围噪声相对应的麦克风信号。在一些实施方式中，控制系统和接口系统可以是图2中示出且上文描述的控制系统210和接口系统205。
在该示例中，框310涉及由控制系统确定或估计音频环境中的收听者位置。根据一些示例，框310可以涉及根据假设的收听者位置的默认值来确定收听者位置，例如，收听者在电视或其他设备前面2米处或者在电视或其他设备前面至少2米处、收听者坐在参考电视或其他设备具有已知位置的一件家具上等。然而，在一些实施方式中，框310可以涉及根据用户输入来确定收听者位置、根据(例如，来自图2中示出的传感器系统230的相机的)传感器输入来确定收听者位置等。一些示例可以涉及确定如蜂窝电话或遥控设备等设备的位置，并且假设设备的位置与收听者位置相对应。
根据该示例，框315涉及由控制系统估计至少一个临界距离。如本文别处所述，临界距离是与噪声源位置的距离，在该距离处，直接传播的声压等于扩散场声压。在一些示例中，框315可以涉及从存储器取得至少一个估计的临界距离，图1C的方法或类似方法的结果已存储在该存储器中。一些这样的方法可以涉及经由控制系统控制音频环境中的音频再现换能器系统来再现一个或多个房间校准声音。音频再现换能器系统包括一个或多个音频再现换能器。一些这样的方法可以涉及由控制系统且经由接口系统来接收与音频环境对一个或多个房间校准声音的响应相对应的麦克风信号。一些这样的方法可以涉及由控制系统且基于麦克风信号来确定针对多个频率中的每一个的混响时间。一些这样的方法可以涉及确定或估计音频环境的音频环境体积(换句话说，确定以立方英尺、立方米等为单位的音频环境的大小)，例如，如本文别处所公开的。根据一些这样的示例，估计至少一个临界距离可以涉及至少部分地基于该多个频率相关混响时间和音频环境体积来计算多个估计的基于频率的临界距离。该多个估计的基于频率的临界距离中的每个估计的基于频率的临界距离可以与该多个频率中的频率相对应。
在该示例中，框320涉及估计收听者位置是否在至少一个临界距离内。根据一些示例，框320可以涉及估计收听者位置是否在多个基于频率的临界距离中的每个基于频率的临界距离内。在一些示例中，方法300可以涉及将与周围噪声相对应的麦克风信号从时域变换到频域中，并且针对多个周围噪声频带中的每一个确定频带周围噪声级估计。根据一些这样的示例，方法300可以涉及针对频带周围噪声级估计中的每一个确定基于频率的置信级。例如，每个基于频率的置信级可以与对收听者位置是否在每个基于频率的临界距离内的估计或概率相对应。在一些示例中，每个基于频率的置信级可以与每个基于频率的临界距离相反地成比例。
根据该实施方式，框325涉及至少部分地基于对收听者位置是否在至少一个临界距离内的至少一个估计对周围噪声实施噪声补偿方法。在一些示例中，框325可以涉及针对每个周围噪声频带基于基于频率的置信级来实施基于频率的噪声补偿方法。根据一些这样的示例，基于频率的噪声补偿方法可以涉及针对置信级处于或高于阈值置信级的每个周围噪声频带应用默认噪声补偿方法。在一些实例中，阈值置信级可以是最大置信级，例如，1.0。然而，在最大置信级是1.0的其他示例中，阈值置信级可以是另一置信级，例如，0.80、0.85、0.90、0.95等。
在一些示例中，基于频率的噪声补偿方法可以涉及针对置信级低于阈值置信级的每个周围噪声频带修改默认噪声补偿方法。根据一些这样的示例，修改默认噪声补偿方法可以涉及减少对一个或多个频带的默认噪声补偿级别调整。
在一些示例中，最小值与阈值置信级(例如，最大置信级)之间的置信度值可以与最小所施加增益与对噪声补偿的“默认”级别调整之间的线性插值相对应。在一些实施方式中，最小(例如，零)置信度得分可以与音色保留噪声补偿方法相对应，并且最大(例如，1.0)置信度得分可以与对噪声补偿的无约束或“默认”级别调整相对应。在一些示例中，置信度值可以与音色保留设定相反地成比例。例如，如果最小置信度值是0.0且最大置信度值是1.0，则最小(例如，零)置信度得分可以与100％或1.0的音色保留设定相对应。在一些示例中，0.50的音色保留设定可以与0.5的置信度值相对应。在一些这样的示例中，0.25的置信度值可以与0.75的音色保留设定相对应。
根据一些示例，方法300可以涉及由控制系统且经由接口系统来接收包括音频数据的内容流。在一些这样的示例中，在框325中实施噪声补偿方法可以涉及将噪声补偿方法应用于音频数据以产生经噪声补偿的音频数据。一些这样的实施方式可以涉及由控制系统且经由接口系统将经噪声补偿的音频数据提供到音频环境的一个或多个音频再现换能器。一些这样的实施方式可以涉及由控制系统渲染经噪声补偿的音频数据以产生经渲染的音频信号。一些这样的实施方式可以涉及由控制系统且经由接口系统将经渲染的音频信号提供到音频环境的一组音频再现换能器中的至少一些音频再现换能器。
图4A和图4B示出了噪声补偿系统部件的附加示例。图4C是示出了可以经由图4A和图4B中示出的噪声补偿系统执行的操作的示例的时序图。根据这些示例，噪声补偿系统410包括电视411、被配置用于对噪声补偿系统410存在于其中的音频环境进行采样的电视麦克风412、立体声扩音器413和414、以及用于电视411的遥控器417。尽管未在图4A和图4B中示出，但在该示例中，噪声补偿系统410包括噪声估计器和噪声补偿器，该噪声估计器和噪声补偿器可以是上文参考图1A描述的噪声估计器107和噪声补偿器102的实例。
在一些示例中，噪声估计器107和噪声补偿器102可以经由控制系统、如电视411的控制系统(可以是下文参考图2描述的控制系统210的实例)来实施，例如，根据被存储在一个或多个非暂态存储介质上的指令。类似地，取决于特定实施方式，参考图4A至图5所描述的操作可以经由电视411的控制系统、经由遥控器417的控制系统或经由两个控制系统进行。在一些实施方式中，参考图4A至图5描述的噪声补偿方法可以经由除电视以外的设备和/或遥控设备的控制系统来实施，如具有显示器的另一个设备(例如，膝上型计算机)的控制系统、智能扬声器的控制系统、智能中枢的控制系统、音频系统的另一个设备的控制系统等。在一些实施方式中，智能电话(蜂窝电话)或智能扬声器(例如，被配置成提供虚拟助理功能的智能扬声器)可以被配置成执行参考图4A至图4C被描述为由遥控器417执行的操作。与本文提供的其他图一样，图4A至图4C中示出的元件的类型、数量和布置仅作为示例提供。其他实施方式可以包括更多、更少和/或不同类型、数量或布置的元件，例如，更多扩音器和/或更多麦克风、更多或更少操作等。例如，在其他实施方式中，遥控器417上的元件(例如，遥控麦克风253、无线电收发器252B和/或红外(IR)发射器251)的布置可以是不同的。在一些这样的示例中，无线电收发器252B和/或红外(IR)发射器251可以存在于遥控器417的前侧(例如，在图4B中被示出为指向电视411的一侧)上。
在图4A中示出的示例中，噪声补偿系统410存在于其中的音频环境400还包括收听者416(在该示例中被假设是固定的)以及比收听者416更靠近电视411的噪声源415。噪声源415的类型和位置仅作为示例示出。在替代性示例中，收听者416可以不是固定的。在一些这样的示例中，收听者416将被假设为在与遥控器417或能够提供类似功能的另一设备(如蜂窝电话)相同的位置中。
在图4A和图4B中示出的示例中，遥控器417是电池供电的且并入有遥控麦克风253。在一些实施方式中，遥控器417包括遥控麦克风253，因为遥控器417被配置成提供语音助理功能。为了延长电池寿命，在一些实施方式中，遥控麦克风253并非在所有时间都对周围噪声进行采样，遥控麦克风253也并不向电视411发射连续流。相反，在一些这样的示例中，遥控麦克风253并非始终接通，而是在遥控器417接收对应输入(如按下按钮)时才“收听”。
在一些示例中，遥控麦克风253可以用于在电视411轮询时提供噪声级测量，以便解决接近度问题。在一些这样的实施方式中，遥控麦克风253可以响应于从电视411到遥控器417(例如，从图4B中示出的无线电收发器252A到无线电收发器252B)的信号而被唤醒。来自电视411的信号可以响应于由电视麦克风412检测的周围噪声。替代性地或另外地，在一些示例中，电视411可以以规定间隔轮询遥控器417，以获得短时间窗周围噪声记录。根据一些示例，当周围噪声减弱时，电视411可以使轮询中断。在一些替代性示例中，电视411可以被配置成当电视411在遥控器417的位置处的噪声级与电视麦克风412的位置处的噪声级之间具有充足转换功能时使轮询中断。根据一些这样的实施方式，电视411可以被配置成在接收到遥控器417已移动的指示时，例如，在接收到来自遥控器417的与移动相对应的惯性传感器信号时，恢复轮询。在一些实施方式中，经由遥控麦克风253进行的记录的级别可以用于确定在电视411处进行的噪声估计对于收听者位置(在一些示例中被假定为与遥控器417的位置相对应)是否有效，从而确保背景噪声不会由于接近度误差而被过度补偿或补偿不足。
根据一些示例，基于来自电视411的轮询请求，遥控器417可以跨无线连接(例如，从图4B中示出的无线电收发器252B到无线电收发器252A)向电视411发送由遥控麦克风253检测的音频的短记录。电视411的控制系统可以被配置成从记录移除扩音器413和414的输出，例如，通过使记录通过回波消除器。在一些示例中，电视411的控制系统可以被配置成将残余噪声记录与由电视麦克风412检测的周围噪声进行比较以便确定来自噪声源的周围噪声在电视麦克风412处还是在收听者位置处更大声。在一些实施方式中，根据来自电视麦克风412的输入进行的噪声估计可以相应地、例如根据由遥控麦克风253检测的周围噪声级与由电视麦克风412检测的周围噪声级的比率来缩放。
根据一些实施方式，由遥控器417的红外(IR)发射器251发送且由电视411的IR接收器250接收的信号可以被用作同步参考，例如，出于回波消除的目的，将回波参考与遥控器的记录进行时间对齐。这样的实施方式可以解决遥控器417与电视411之间的时钟同步问题而无需连续地发射时钟信号，该连续发射将对电池寿命有不可接受的影响。
图4C示出了一个这样的实施方式的详细示例。在该示例中，时间被描绘为水平轴且各种不同操作被图示为垂直于竖直轴的各个部分。在该示例中，由图4A和图4B的电视扩音器413和414回放的音频被表示为波形261。
根据该示例，电视411经由无线电收发器252A向遥控器417发送无线电信号271。例如，无线电信号271可以响应于由电视麦克风412检测的周围噪声而被发送。在该示例中，无线电信号271包括用于使遥控器417经由遥控麦克风253记录音频分段的指令。在一些示例中，无线电信号271可以包括遥控器417记录音频分段的开始时间(例如，图4C中示出的时间Tref)、用于确定该开始时间的信息、时间间隔等。
在该示例中，遥控器417在已记录音频分段时间间隔Trec期间将由遥控麦克风253接收的信号记录为音频分段272。根据该示例，遥控器417向电视411发送指示已记录音频分段时间间隔Trec的信号265。在这里，信号265指示已记录音频分段时间间隔Trec在时间Tref开始且在信号265停止被发射的时间263结束。在该示例中，遥控器417经由IR发射器251发送信号265。因此，电视411可以识别在已记录音频分段时间间隔Trec期间电视扩音器413和414正再现的内容流音频分段269的时间间隔。
在该示例中，遥控器417随后向电视411发送包括已记录音频分段的信号266。根据该实施方式，电视411的控制系统基于已记录音频分段和内容流音频分段269来执行回波消除过程，以便获得遥控器417的位置处的周围噪声信号270，该位置在该示例中被假定为与收听者416的位置相对应。在一些这样的实施方式中，电视411的控制系统被配置用于至少部分地基于周围噪声信号270对要由电视扩音器413和414再现的音频数据实施噪声补偿方法，以产生经噪声补偿的音频数据。
图5是概述所公开方法的一个示例的流程图。与本文所描述的其他方法一样，不必以所指示的顺序来执行方法500的框。此外，这样的方法可以包括比所示出和/或所描述的框更多或更少的框。
方法500可以由如图2中示出且上文描述的装置200的装置或系统执行。在一些示例中，方法500的框可以由音频环境内的一个或多个设备执行，例如，音频系统控制器或音频系统的另一部件，如智能扬声器、电视、电视控制模块、智能扬声器、移动设备等。在一些实施方式中，音频环境可以包括家庭环境的一个或多个房间。在其他示例中，音频环境可以是另一种类型的环境，如办公室环境、汽车环境、火车环境、街道或人行道环境、公园环境等。然而，在替代性实施方式中，方法500的至少一些框可以由实施基于云的服务的设备(如服务器)来执行。
在这个实施方式中，框505涉及由第一设备控制系统且经由音频环境中的第一设备的第一接口系统来接收包括内容音频数据的内容流。根据一些示例，第一设备可以是电视或电视控制模块。在一些这样的示例中，内容流还可以包括与内容音频数据相对应的内容视频数据。然而，在其他示例中，第一设备可以是另一种类型的设备，如膝上型计算机、智能扬声器、条形音箱等。
在该示例中，框510涉及由第一设备控制系统且经由第一接口系统从第一设备的第一设备麦克风系统接收第一麦克风信号。第一设备麦克风系统可以包括一个或多个麦克风。根据其中第一设备是电视或电视控制模块的一些示例，可以从在电视中、电视上或电视附近的一个或多个麦克风(如上文参考图4A和图4B描述的电视麦克风412)接收第一麦克风信号。根据该实施方式，框515涉及由第一设备控制系统且至少部分地基于第一麦克风信号检测来自音频环境中或音频环境附近的噪声源位置的周围噪声。
根据该示例，框520涉及由第一设备控制系统使第一无线信号经由第一接口系统从第一设备发射到音频环境中的第二设备。在该示例中，第一无线信号包括用于使第二设备经由第二设备麦克风系统记录音频分段的指令。在一些实施方式中，第二设备可以是遥控设备、智能电话或智能扬声器。根据一些示例，第一无线信号可以经由无线电波或微波发送。在一些示例中，框520可以涉及发送信号271，如上文参考图4C所描述的。根据该示例，第一无线信号对在框515中检测到周围噪声作出响应。根据一些示例，第一无线信号可以对确定检测到的周围噪声大于或等于周围噪声阈值级作出响应。
在一些实例中，第一无线信号可以包括第二设备音频记录开始时间或用于确定第二设备音频记录开始时间的信息。在一些示例中，用于确定第二设备音频记录开始时间的信息可以包括或可以是用于等待直到在经由跳频(frequency hopping)系统(例如蓝牙)发射第一无线信号的情况下发生跳频的指令。在一些示例中，用于确定第二设备音频记录开始时间的信息可以包括或可以是用于等待直到在经由时分多路复用无线系统发射第一无线信号的情况下时隙可用的指令。在一些示例中，第一无线信号可以指示第二设备音频记录时间间隔。
根据该示例，框525涉及由第一设备控制系统且经由第一接口系统从第二设备接收第二无线信号。根据一些示例，第二无线信号可以经由红外波发送。在一些示例中，框525可以涉及接收信号265，如上文参考图4C所描述的。在一些示例中，第二无线信号可以指示第二设备音频记录开始时间。在一些示例中，第二无线信号可以指示第二设备音频记录时间间隔。根据一些示例，第二无线信号(或来自第二设备的后续信号)可以指示第二设备音频记录结束时间。在一些这样的示例中，方法500可以涉及由第一设备控制系统且经由第一接口系统从第二设备接收第四无线信号，该第四无线信号指示第二设备音频记录结束时间。
在该示例中，框530涉及由第一设备控制系统确定内容流音频分段的内容流音频分段时间间隔。在一些示例中，框530可以涉及确定内容流音频分段269的时间间隔，如上文参考图4C所描述的。在一些实例中，第一设备控制系统内容流可以被配置成根据第二设备音频记录开始时间和第二设备音频记录结束时间或者根据第二设备音频记录开始时间和第二设备音频记录时间间隔来确定音频分段时间间隔。在涉及从第二设备接收指示第二设备音频记录结束时间的第四无线信号的一些示例中，方法500可以涉及基于第二设备音频记录结束时间来确定内容流音频分段结束时间。
根据该示例，框535涉及由第一设备控制系统且经由第一接口系统从第二设备接收第三无线信号，该第三无线信号包括经由第二设备麦克风捕获的已记录音频分段。在一些示例中，框535可以涉及接收信号266，如上文参考图4C所描述的。
在该示例中，框540涉及由第一设备控制系统至少部分地基于已记录音频分段和内容流音频分段来确定第二设备位置处的第二设备周围噪声信号。在一些示例中，框540可以涉及基于已记录音频分段和内容流音频分段269来执行回波消除过程，以便获得遥控器417的位置处的周围噪声信号270，如上文参考图4C所描述的。
根据该示例，框545涉及由第一设备控制系统至少部分地基于第二设备周围噪声信号对内容音频数据实施噪声补偿方法，以产生经噪声补偿的音频数据。在一些示例中，方法500可以涉及在第二设备音频记录时间间隔期间由第一设备控制系统且经由第一接口系统从第一设备麦克风系统接收第二麦克风信号。一些这样的示例可以涉及由第一设备控制系统且至少部分地基于第一麦克风信号来检测与来自噪声源位置的周围噪声相对应的第一设备周围噪声信号。在这样的示例中，噪声补偿方法可以至少部分地基于第一设备周围噪声信号。
根据一些这样的示例，噪声补偿方法可以至少部分地基于第一设备周围噪声信号与第二设备周围噪声信号的比较。在一些示例中，噪声补偿方法可以至少部分地基于第一设备周围噪声信号与第二设备周围噪声信号的比率。
一些示例可以涉及(例如，由第一设备控制系统且经由第一接口系统)将经噪声补偿的音频数据提供到音频环境的一个或多个音频再现换能器。一些示例可以涉及(例如，由第一设备控制系统)渲染经噪声补偿的音频数据以产生经渲染的音频信号。一些这样的示例可以涉及(例如，由第一设备控制系统且经由第一接口系统)将经渲染的音频信号提供到音频环境的一组音频再现换能器中的至少一些音频再现换能器。在一些这样的示例中，音频环境的再现换能器中的至少一个可以存在于第一设备中。
图6示出了噪声补偿系统的附加示例。在该示例中，图6示出了具有三个麦克风的噪声补偿系统的示例，该三个麦克风允许控制系统确定噪声源的位置。在图6中示出的示例中，噪声补偿系统710包括电视711以及电视麦克风702a、702b和702c。在一些替代性示例中，噪声补偿系统710可以包括用于电视711的遥控器，在一些实例中，该遥控器可以被配置成像遥控器417一样发挥作用。尽管图6中未示出，但噪声补偿系统包括噪声估计器和噪声补偿器，该噪声估计器和噪声补偿器可以是上文参考图1A描述的噪声估计器107和噪声补偿器102的实例。
在一些示例中，噪声估计器107和噪声补偿器102可以经由控制系统、如电视611的控制系统(可以是下文参考图2描述的控制系统210的实例)来实施，例如，根据存储在一个或多个非暂态存储介质上的指令。类似地，取决于特定实施方式，参考图6至图7B描述的操作可以经由电视611的控制系统、经由遥控器的控制系统或经由两个控制系统进行。在一些实施方式中，参考图6至图7B描述的噪声补偿方法可以经由除电视以外的设备和/或遥控设备的控制系统来实施，如具有显示器的另一个设备(例如，膝上型计算机)的控制系统、智能扬声器的控制系统、智能中枢的控制系统、音频系统的另一个设备的控制系统等。
在图6中示出的示例中，噪声补偿系统710存在于其中的音频环境还包括收听者616(在该示例中被假设是固定的)和噪声源615。在一些示例中，收听者616的位置可以被假定为与遥控器的位置相同或紧密接近。在这个实例中，噪声源615比电视611更靠近收听者616。噪声源615的类型和位置仅作为示例示出。
与本文提供的其他图一样，图6至图7A中示出的元件的类型、数量和布置仅作为示例提供。其他实施方式可以包括更多、更少和/或不同类型、数量或布置的元件，例如，更多扩音器和/或更多麦克风、更多或更少操作等。
图6示出了从噪声源615到麦克风702的声学传播路径707a、707b和707c的示例。在该示例中，声学传播路径707a、707b和707c具有不同的长度且因此到达每个麦克风的时间不同。在图67中示出的示例中，多个设备之间不需要同步，因为麦克风702a、702b和702c是电视711的一部分且受相同控制系统控制。
根据一些示例，可以计算来自麦克风702a、702b和702c的所记录周围噪声的交叉相关函数以确定麦克风之间的到达时间差。路径长度差是时间差(秒)乘以声音速度(米/秒)。基于路径长度差、从收听者616到电视711的距离、以及麦克风702a、702b和702c之间的已知距离，可以求解得出噪声源615的位置。在一些示例中，噪声源615的位置可以使用二维(2D)双曲线位置定位算法来计算，如Dalskov,D.的Locating Acoustic Sources withMultilateration-Applied to Stationary and Moving Sources[用多点定位来定位声学源——适用于固定源和移动源](奥尔堡大学，2014年6月4日)的第1.21、1.22、2.1或2.2章中描述的方法之一，该章节据此以引用方式并入。下文参考图7A和图7B描述了一个替代性解决方案的具体示例。
图7A是指示由图6中示出的麦克风接收的信号的图像的示例。在该示例中，图7A示出了对三个麦克风的示例相关分析以便确定噪声源615的麦克风702a和702c相对于中央麦克风702b的到达时间差(TDOA)。根据该示例，图7A的元素如下：
·712a表示麦克风702a和参考麦克风702b的互相关；
·712b表示参考麦克风702b的自相关；
·712c表示麦克风702c和参考麦克风702b的互相关；
·713a是确定麦克风702a相对于参考麦克风702b的TDOA的互相关中的峰值。在该示例中可见，声音先到达麦克风702a，之后才到达参考麦克风702b，产生麦克风702a的负TDOA；
·713b是参考麦克风702b的自相关中的峰值。在该示例中，将时间0定义为该峰值的位置。在一些替代性实施例中，可以在估计TDOA之前将自相关函数712b与互相关函数712a和712c解卷积以便形成更尖锐的峰值；
·713c是可以确定麦克风702c相对于参考麦克风702b的TDOA的互相关中的峰值。在该示例中可见，声音先到达参考麦克风702b，之后才到达麦克风702c，产生麦克风702c的正TDOA；
·714a是麦克风702a相对于参考麦克风702b的TDOA的视觉表示。在数学上，将在该示例中把TDOA 714a视为负量，因为声音先到达麦克风702a，之后才到达麦克风702b；以及
·714b是麦克风702c相对于参考麦克风702b的TDOA的视觉表示。这个TDOA在该示例中将是正量。
图7B示出了在音频环境的不同位置中的图6的噪声源。在该示例中，已重新绘制图6中示出的布置，以强调问题的几何性质且标记每个三角形的各边的长度。在该示例中，噪声源615被示出为来自图式的右边而非左边，如图6和图7A中所描绘的。这使得噪声源的x坐标720a是正量，以辅助清晰地限定坐标系。
在图7B中示出的示例中，元素如下：
·615表示要被定位的噪声源；
·702a至702c表示图6中示出的三个麦克风的位置。在这里，参考麦克风702b被示出为是二维笛卡尔坐标系的原点；
·720a表示噪声源615相对于位于参考麦克风702b中心的原点的x坐标(以米为单位)；
·720b表示噪声源615相对于位于参考麦克风702b中心的原点的y坐标(以米为单位)；
·721a表示麦克风702a与麦克风702b之间的距离。在该示例中，麦克风702a被定位在电视上、参考麦克风702b左边d米处。在一个示例中，d＝0.4m；
·721b表示麦克风702b与麦克风702c之间的距离。在该示例中，麦克风702a被定位在电视上、参考麦克风702b右边d米处；
·722表示投影在笛卡尔坐标系的x轴上的噪声源615；
·707a至707c表示从噪声源615到麦克风702a至702c中的每一个的声学路径长度(以米为单位)；
·708b与符号r相对应，在该示例中被定义为意指从噪声源615到参考麦克风702b的以米为单位的距离；
·708a与符号r+a的和相对应。在该示例中，符号a被定义为意指707a与707b之间的路径长度差，使得声学路径707a的长度是r+a。可以依据麦克风702a相对于麦克风702b的TDOA(参见图7A中的714a，在那个示例中是负的，但在该示例中是正的)通过将TDOA乘以介质中的声音速度来计算声学路径长度r+a。例如，如果TDOA 714a是+0.0007s且声音速度是343米/秒，则a＝0.2401m；
·708c与符号r+b的和相对应。在该示例中，符号b被定义为意指707c与707b之间的路径长度差，使得声学路径707c的长度是r+b。可以依据麦克风702c相对于麦克风702b的TDOA(参见图7A中的714c，在那个示例中是正的，但在该示例中是负的)通过将TDOA乘以介质中的声音速度来计算声学路径长度r+b。例如，如果TDOA 714c是-0.0006s且声音速度是343米/秒，则b＝-0.2058m。在一些实施方式中，控制系统可以被配置成根据来自温度传感器的输入来确定音频环境的更精确的声音速度。
现在书写三角形(702b，615，722)的勾股定理(Pythagoras’Theorem)：
r2＝x2+y2...方程2
可以如下书写三角形(702a，615，722)的勾股定理：
(r+a)2＝(x+d)2+y2...方程3
可以如下书写三角形(702c，615，722)的勾股定理：
(r+b)2＝(x-d)2+y2...方程4
方程2、3和4一起形成由未知数r、x、y组成的三个联立方程组。特别有兴趣知晓的是r，即从噪声源到参考麦克风702b的以米为单位的距离。
可以如下对这个方程组求解得出r：
r＝-(a2+b2-2d2)/(2(a+b))...方程5
对于上文给出的示例值：
a＝0.2401m，b＝-0.2058m，d＝0.4m，
可以总结得出r＝3.206m。因此，在该示例中，噪声源615位于距参考麦克风702b大约3.2m处。
除了估计噪声源位置之外，一些实施方式还可以涉及确定或估计收听者位置。再次参考图6，取决于特定实施方式，可以以不同方式估计或确定从收听者616到电视611的距离。根据一些示例，可以在电视611的初始设置期间由收听者616或由另一用户确定从收听者616到电视611的距离。在其他示例中，可以根据来自一个或多个传感器的输入(例如，根据来自一个或多个相机的输入、根据来自附加麦克风的输入或根据来自上文参考图2描述的传感器系统230的其他传感器的输入)来确定收听者161的位置和/或从收听者616到电视611的距离。在其他示例中，在不存在用户输入或传感器输入的情况下，可以根据默认距离来确定从收听者616到电视611的距离，该默认距离可以是从典型收听者到电视的平均距离。在一些示例中，可以假设收听者在与电视屏幕的法线形成的某个角度内，例如，在10度内、在15度内、在20度内、在25度内、在30度内等。
根据一些实施方式，噪声补偿可以至少部分地基于所确定或所估计的收听者位置和所确定或所估计的噪声源位置。例如，通过知晓收听者616在哪里(或假设收听者616相对于电视711在哪里)并且知晓噪声源615的位置和电视711处的对应噪声级，可以使用传播损耗模型来计算对收听者616的位置的噪声估计。收听者的位置的这个所预测的噪声补偿值可以直接由噪声补偿系统使用。
在一些替代性实施方式中，收听者位置处的所预测的噪声级可以进一步被修改成包括置信度值。例如，如果噪声源相对远离收听者位置(或远离多个最有可能的收听者位置且所预测的噪声估计在最有可能的收听者位置之间没有大变化)，则噪声估计将具有高置信度。否则，噪声估计可以具有较低置信度。可能的收听者位置的列表可以取决于系统的上下文而改变。此外，根据一些示例，如果可能在音频环境的各种位置处存在测量噪声级的多个麦克风，则噪声估计置信度可以进一步增大。与在各种位置处测量的噪声级和传播损耗模型不一致的情况相比，在音频环境的各种位置处测量的噪声级全部都和传播损耗模型一致的情况可以提供噪声估计的更高置信度。
如果噪声补偿系统在收听者位置的噪声估计方面具有高置信度，则在一些实施方式中，噪声补偿系统可以被配置成实施无约束的噪声补偿方法。替代性地，如果噪声补偿系统在收听者位置的噪声估计方面具有低置信度，则噪声补偿系统可以实施更受约束的噪声补偿方法。
图8示出了音频环境的平面图的示例，该音频环境在该示例中是生活空间。与本文提供的其他图一样，图8中示出的元件的类型、数量和布置仅作为示例提供。其他实施方式可以包括更多、更少和/或不同类型、数量或布置的元件。
根据该示例，环境800包括在左上方处的客厅810、在下方中央处的厨房815、以及在右下方的卧室822。跨生活空间分布的方框和圆圈表示一组扩音器805a至805h，该一组扩音器中的至少一些扩音器在一些实施方式中可以是智能扬声器，被放置在对空间方便的位置，但不遵循任何标准规定的布局(任意地放置)。在一些示例中，电视830可以被配置成至少部分地实施一个或多个公开的实施例。在该示例中，环境800包括分布在整个环境中的相机811a至811e。在一些实施方式中，环境800中的一个或多个智能音频设备还可以包括一个或多个相机。该一个或多个智能音频设备可以是单一用途音频设备或虚拟助理。在一些这样的示例中，可选传感器系统130的一个或多个相机可以存在于电视830中或电视830上、在移动电话中或在智能扬声器(如扩音器805b、805d、805e或805h中的一个或多个)中。尽管在本公开中呈现的环境800的每个描绘中都未示出相机811a至811e，但在一些实施方式中，环境800中的每一个仍然可以包括一个或多个相机。
本公开的一些方面包括一种被配置(例如，被编程)成执行所公开方法的一个或多个示例的系统或设备，以及一种存储用于实施所公开方法或其步骤的一个或多个示例的代码的有形计算机可读介质(例如，磁盘)。例如，一些公开的系统可以是或者包括可编程通用处理器、数字信号处理器或微处理器，该可编程通用处理器、数字信号处理器或微处理器用软件或固件编程为和/或以其他方式被配置成对数据执行各种操作中的任一个，包括所公开方法或其步骤的实施例。这样的通用处理器可以是或者包括计算机系统，计算机系统包括输入设备、存储器和处理子系统，处理子系统被编程(和/或以其他方式被配置)为响应于向其断言的数据而执行所公开方法(或其步骤)的一个或多个示例。
一些实施例可以被实施为可配置的(例如，可编程的)数字信号处理器(DSP)，数字信号处理器被配置(例如，被编程和以其他方式被配置)为对(多个)音频信号执行需要的处理，包括对所公开方法的一个或多个示例的执行。替代性地，所公开系统(或其元件)的实施例可以被实施为通用处理器(例如，个人计算机(PC)或其他计算机系统或微处理器，其可以包括输入设备和存储器)，该通用处理器用软件或固件编程为和/或以其他方式被配置成执行各种操作中的任一个，包括所公开方法的一个或多个示例。替代性地，本发明系统的一些实施例的元件被实施为被配置(例如，被编程)成执行所公开方法的一个或多个示例的通用处理器或DSP，并且系统还包括其他元件(例如，一个或多个扩音器和/或一个或多个麦克风)。被配置成执行所公开方法的一个或多个示例的通用处理器可以耦接到输入设备(例如，鼠标和/或键盘)、存储器和显示设备。
本公开的另一方面是一种计算机可读介质(例如，磁盘或其他有形存储介质)，该计算机可读介质存储用于执行所公开方法或其步骤的一个或多个示例的代码(例如，可执行以执行所公开方法或其步骤的一个或多个示例的编码器)。
虽然在本文中已经描述了本公开的具体实施例和本公开的应用，但是对于本领域普通技术人员而言显而易见的是，在不脱离本文描述的并要求保护的本公开的范围的情况下，可以对本文描述的实施例和应用进行许多改变。应当理解，虽然已经示出和描述了本公开的某些形式，但是本公开不限于所描述和示出的具体实施例或所描述的具体方法。

Claims (18)

1.一种噪声补偿方法，包括：
由第一设备控制系统且经由音频环境中的第一设备的第一接口系统来接收包括内容音频数据的内容流；
由所述第一设备控制系统且经由所述第一接口系统从所述第一设备的第一设备麦克风系统接收第一麦克风信号；
由所述第一设备控制系统且至少部分地基于所述第一麦克风信号来检测来自所述音频环境中的噪声源位置或所述音频环境附近的噪声源位置的周围噪声；
由所述第一设备控制系统使第一无线信号经由所述第一接口系统从所述第一设备被发射到所述音频环境中的第二设备，所述第一无线信号包括对于所述第二设备的指令，以经由第二设备麦克风系统记录音频分段；
由所述第一设备控制系统且经由所述第一接口系统从所述第二设备接收第二无线信号；
由所述第一设备控制系统确定内容流音频分段的内容流音频分段时间间隔；
由所述第一设备控制系统且经由所述第一接口系统从所述第二设备接收第三无线信号，所述第三无线信号包括经由所述第二设备麦克风捕获的已记录音频分段；
由所述第一设备控制系统至少部分地基于所述已记录音频分段和所述内容流音频分段来确定第二设备位置处的第二设备周围噪声信号；以及
由所述第一设备控制系统至少部分地基于所述第二设备周围噪声信号对所述内容音频数据实施噪声补偿方法，以产生经噪声补偿的音频数据。
2.如权利要求1所述的噪声补偿方法，其中，所述第一无线信号包括第二设备音频记录开始时间或用于确定所述第二设备音频记录开始时间的信息。
3.如权利要求1或权利要求2所述的噪声补偿方法，其中，所述第二无线信号指示第二设备音频记录开始时间。
4.如权利要求1至3中任一项所述的噪声补偿方法，进一步包括由所述第一设备控制系统且经由所述第一接口系统从所述第二设备接收第四无线信号，所述第四无线信号指示第二设备音频记录结束时间。
5.如权利要求4所述的噪声补偿方法，进一步包括基于所述第二设备音频记录结束时间来确定内容流音频分段结束时间。
6.如权利要求1至5中任一项所述的噪声补偿方法，其中，所述第一无线信号指示第二设备音频记录时间间隔。
7.如权利要求1至6中任一项所述的噪声补偿方法，其中，所述第一设备是电视或电视控制模块。
8.如权利要求1至7中任一项所述的噪声补偿方法，其中，所述第二设备是遥控设备、智能电话或智能扬声器。
9.如权利要求1至8中任一项所述的噪声补偿方法，其中，所述第一无线信号经由无线电波或微波发送。
10.如权利要求1至9中任一项所述的噪声补偿方法，其中，所述第二无线信号经由红外波发送。
11.如权利要求1至10中任一项所述的噪声补偿方法，进一步包括：
在第二设备音频记录时间间隔期间由所述第一设备控制系统且经由所述第一接口系统从所述第一设备麦克风系统接收第二麦克风信号；以及
由所述第一设备控制系统且至少部分地基于所述第一麦克风信号来检测与来自所述噪声源位置的所述周围噪声相对应的第一设备周围噪声信号，其中，所述噪声补偿方法至少部分地基于所述第一设备周围噪声信号。
12.如权利要求11所述的噪声补偿方法，其中，所述噪声补偿方法至少部分地基于所述第一设备周围噪声信号与所述第二设备周围噪声信号的比较。
13.如权利要求11所述的噪声补偿方法，其中，所述噪声补偿方法至少部分地基于所述第一设备周围噪声信号与所述第二设备周围噪声信号的比率。
14.如权利要求1至13中任一项所述的噪声补偿方法，进一步包括由所述第一设备控制系统且经由所述第一接口系统将所述经噪声补偿的音频数据提供到所述音频环境的一个或多个音频再现换能器。
15.如权利要求1至13中任一项所述的噪声补偿方法，进一步包括：
由所述第一设备控制系统渲染所述经噪声补偿的音频数据以产生经渲染的音频信号；以及
由所述第一设备控制系统且经由所述第一接口系统将所述经渲染的音频信号提供到所述音频环境的一组音频再现换能器中的至少一些音频再现换能器。
16.如权利要求14或权利要求15所述的噪声补偿方法，其中，所述音频环境的所述再现换能器中的至少一个存在于所述第一设备中。
17.一种装置，所述装置被配置成执行如权利要求1至16中任一项所述的噪声补偿方法。
18.一个或多个非暂态介质，其上存储有软件，所述软件包括用于控制一个或多个设备来执行如权利要求1至16中任一项所述的噪声补偿方法的指令。
CN202080085436.9A 2019-12-09 2020-12-08 用于减少环境噪声补偿系统中的误差的方法 Pending CN114788304A (zh)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
US201962945607P 2019-12-09 2019-12-09
US201962945292P 2019-12-09 2019-12-09
US201962945303P 2019-12-09 2019-12-09
US62/945,303 2019-12-09
US62/945,607 2019-12-09
US62/945,292 2019-12-09
US202063198996P 2020-11-30 2020-11-30
US202063198995P 2020-11-30 2020-11-30
US202063198998P 2020-11-30 2020-11-30
US202063198999P 2020-11-30 2020-11-30
US202063198997P 2020-11-30 2020-11-30
US63/198,999 2020-11-30
US63/198,997 2020-11-30
US63/198,995 2020-11-30
US63/198,998 2020-11-30
US63/198,996 2020-11-30
PCT/US2020/063684 WO2021118945A1 (en) 2019-12-09 2020-12-08 Methods for reducing error in environmental noise compensation systems

Publications (1)

Publication Number Publication Date
CN114788304A true CN114788304A (zh) 2022-07-22

Family

ID=74004171

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202080085347.4A Pending CN114830681A (zh) 2019-12-09 2020-12-08 用于减少环境噪声补偿系统中的误差的方法
CN202080085436.9A Pending CN114788304A (zh) 2019-12-09 2020-12-08 用于减少环境噪声补偿系统中的误差的方法
CN202080085765.3A Pending CN114868403A (zh) 2019-12-09 2020-12-09 多频带限制器模式和噪声补偿方法
CN202080084299.7A Pending CN114747233A (zh) 2019-12-09 2020-12-09 内容和环境感知的环境噪声补偿
CN202080085586.XA Pending CN114830687A (zh) 2019-12-09 2020-12-09 多频带限制器模式和噪声补偿方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202080085347.4A Pending CN114830681A (zh) 2019-12-09 2020-12-08 用于减少环境噪声补偿系统中的误差的方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN202080085765.3A Pending CN114868403A (zh) 2019-12-09 2020-12-09 多频带限制器模式和噪声补偿方法
CN202080084299.7A Pending CN114747233A (zh) 2019-12-09 2020-12-09 内容和环境感知的环境噪声补偿
CN202080085586.XA Pending CN114830687A (zh) 2019-12-09 2020-12-09 多频带限制器模式和噪声补偿方法

Country Status (6)

Country Link
US (5) US11817114B2 (zh)
EP (5) EP4074066A1 (zh)
JP (1) JP7307278B2 (zh)
KR (3) KR102633176B1 (zh)
CN (5) CN114830681A (zh)
WO (5) WO2021118946A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210409548A1 (en) * 2018-09-28 2021-12-30 Knowles Electronics, Llc Synthetic nonlinear acoustic echo cancellation systems and methods
US11817114B2 (en) * 2019-12-09 2023-11-14 Dolby Laboratories Licensing Corporation Content and environmentally aware environmental noise compensation
WO2024061436A1 (en) * 2022-09-19 2024-03-28 Huawei Technologies Co., Ltd. Adaptive audio enhancement system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013443A1 (en) * 2003-06-16 2005-01-20 Toru Marumoto Audio correcting apparatus
CN101911723A (zh) * 2008-01-29 2010-12-08 高通股份有限公司 通过在来自多个麦克风的信号之间智能地进行选择而改善声音质量
CN103039023A (zh) * 2010-04-09 2013-04-10 Dts公司 音频重放的自适应环境噪声补偿
US20130315405A1 (en) * 2012-05-24 2013-11-28 Kabushiki Kaisha Toshiba Sound processor, sound processing method, and computer program product
CN105679300A (zh) * 2015-12-29 2016-06-15 努比亚技术有限公司 移动终端和降噪方法
US20160275961A1 (en) * 2015-03-18 2016-09-22 Qualcomm Technologies International, Ltd. Structure for multi-microphone speech enhancement system
WO2018211908A1 (ja) * 2017-05-17 2018-11-22 パナソニックＩｐマネジメント株式会社 再生システム、制御装置、制御方法、およびプログラム

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58121882A (ja) * 1982-01-16 1983-07-20 Sony Corp 映像及び音声信号再生装置
US4629829A (en) 1984-12-14 1986-12-16 Motorola, Inc. Full duplex speakerphone for radio and landline telephones
US5907622A (en) 1995-09-21 1999-05-25 Dougherty; A. Michael Automatic noise compensation system for audio reproduction equipment
US7333863B1 (en) * 1997-05-05 2008-02-19 Warner Music Group, Inc. Recording and playback control system
GB9714001D0 (en) 1997-07-02 1997-09-10 Simoco Europ Limited Method and apparatus for speech enhancement in a speech communication system
SE9903553D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6674865B1 (en) * 2000-10-19 2004-01-06 Lear Corporation Automatic volume control for communication system
US6944474B2 (en) 2001-09-20 2005-09-13 Sound Id Sound enhancement for mobile phones and other products producing personalized audio for users
EP1414021B1 (en) 2002-10-21 2008-05-14 Silentium Ltd. Active acoustic noise reduction system
US7333618B2 (en) 2003-09-24 2008-02-19 Harman International Industries, Incorporated Ambient noise sound level compensation
US7254243B2 (en) 2004-08-10 2007-08-07 Anthony Bongiovi Processing of an audio signal for presentation in a high noise environment
EP1805890A1 (en) 2004-08-16 2007-07-11 Bang & Olufsen A/S Speed- and user-dependent timbre and dynamic range control method, apparatus and system for automotive audio reproduction systems
US8090120B2 (en) 2004-10-26 2012-01-03 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
US7889943B1 (en) 2005-04-18 2011-02-15 Picture Code Method and system for characterizing noise
GB2433849B (en) * 2005-12-29 2008-05-21 Motorola Inc Telecommunications terminal and method of operation of the terminal
US7760893B1 (en) 2006-07-26 2010-07-20 Starmark, Inc. Automatic volume control to compensate for speech interference noise
US8112166B2 (en) 2007-01-04 2012-02-07 Sound Id Personalized sound system hearing profile selection process
GB2448201A (en) * 2007-04-04 2008-10-08 Zarlink Semiconductor Inc Cancelling non-linear echo during full duplex communication in a hands free communication system.
US7742746B2 (en) 2007-04-30 2010-06-22 Qualcomm Incorporated Automatic volume and dynamic range adjustment for mobile audio devices
US8797465B2 (en) 2007-05-08 2014-08-05 Sony Corporation Applications for remote control devices with added functionalities
US8180064B1 (en) 2007-12-21 2012-05-15 Audience, Inc. System and method for providing voice equalization
KR101397814B1 (ko) 2008-01-30 2014-05-20 삼성전자주식회사 통신 시스템에서 잡음 및 간섭 전력 추정 장치 및 방법
US9575715B2 (en) 2008-05-16 2017-02-21 Adobe Systems Incorporated Leveling audio signals
US8285344B2 (en) 2008-05-21 2012-10-09 DP Technlogies, Inc. Method and apparatus for adjusting audio for a user environment
JP2010023534A (ja) 2008-07-15 2010-02-04 Panasonic Corp 騒音低減装置
US8538749B2 (en) * 2008-07-18 2013-09-17 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for enhanced intelligibility
US9159335B2 (en) 2008-10-10 2015-10-13 Samsung Electronics Co., Ltd. Apparatus and method for noise estimation, and noise reduction apparatus employing the same
JP5267115B2 (ja) 2008-12-26 2013-08-21 ソニー株式会社 信号処理装置、その処理方法およびプログラム
US20100172510A1 (en) 2009-01-02 2010-07-08 Nokia Corporation Adaptive noise cancelling
EP2394270A1 (en) 2009-02-03 2011-12-14 University Of Ottawa Method and system for a multi-microphone noise reduction
EP2292144A1 (en) 2009-09-03 2011-03-09 National Digital Research Centre An auditory test and compensation method
JP5538918B2 (ja) * 2010-01-19 2014-07-02 キヤノン株式会社 音声信号処理装置、音声信号処理システム
CN104242853B (zh) 2010-03-18 2017-05-17 杜比实验室特许公司 用于具有音质保护的失真减少多频带压缩器的技术
US9053697B2 (en) * 2010-06-01 2015-06-09 Qualcomm Incorporated Systems, methods, devices, apparatus, and computer program products for audio equalization
US8447045B1 (en) 2010-09-07 2013-05-21 Audience, Inc. Multi-microphone active noise cancellation system
JP5656586B2 (ja) * 2010-11-26 2015-01-21 キヤノン株式会社 撮像装置とその制御方法並びに音声処理装置及び方法
US8948407B2 (en) 2011-06-03 2015-02-03 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
JP5085769B1 (ja) 2011-06-24 2012-11-28 株式会社東芝 音響制御装置、音響補正装置、及び音響補正方法
US8965774B2 (en) 2011-08-23 2015-02-24 Apple Inc. Automatic detection of audio compression parameters
US9293151B2 (en) 2011-10-17 2016-03-22 Nuance Communications, Inc. Speech signal enhancement using visual information
WO2013076223A1 (en) 2011-11-22 2013-05-30 Actiwave Ab System and method for bass enhancement
EP2645362A1 (en) * 2012-03-26 2013-10-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for improving the perceived quality of sound reproduction by combining active noise cancellation and perceptual noise compensation
US9516371B2 (en) 2012-04-24 2016-12-06 Mobitv, Inc. Closed captioning management system
US9183845B1 (en) 2012-06-12 2015-11-10 Amazon Technologies, Inc. Adjusting audio signals based on a specific frequency range associated with environmental noise characteristics
US9609141B2 (en) 2012-10-26 2017-03-28 Avago Technologies General Ip (Singapore) Pte. Ltd. Loudspeaker localization with a microphone array
US9240176B2 (en) 2013-02-08 2016-01-19 GM Global Technology Operations LLC Active noise control system and method
CN104078050A (zh) 2013-03-26 2014-10-01 杜比实验室特许公司 用于音频分类和音频处理的设备和方法
WO2015009748A1 (en) 2013-07-15 2015-01-22 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation
US9565497B2 (en) 2013-08-01 2017-02-07 Caavo Inc. Enhancing audio using a mobile device
GB201321052D0 (en) 2013-11-29 2014-01-15 Microsoft Corp Detecting nonlinear amplitude processing
US9648436B2 (en) 2014-04-08 2017-05-09 Doppler Labs, Inc. Augmented reality sound system
US9792892B2 (en) 2014-07-15 2017-10-17 Amphenol Phitek Limited Noise cancellation system
US10242689B2 (en) 2015-09-17 2019-03-26 Intel IP Corporation Position-robust multiple microphone noise estimation techniques
EP3209035A1 (en) 2016-02-19 2017-08-23 Thomson Licensing Method, computer readable storage medium, and apparatus for multichannel audio playback adaption for multiple listening positions
EP3226412B1 (en) 2016-03-30 2021-10-27 Dolby Laboratories Licensing Corporation Dynamic suppression of non-linear distortion
US10229698B1 (en) * 2017-06-21 2019-03-12 Amazon Technologies, Inc. Playback reference signal-assisted multi-microphone interference canceler
US11062702B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Media system with multiple digital assistants
US10650798B2 (en) 2018-03-27 2020-05-12 Sony Corporation Electronic device, method and computer program for active noise control inside a vehicle
JP7325445B2 (ja) * 2018-04-27 2023-08-14 ドルビー ラボラトリーズ ライセンシング コーポレイション ギャップ信頼度を用いた背景雑音推定
US11323086B2 (en) 2018-05-31 2022-05-03 Comcast Cable Communications, Llc Content audio adjustment
US10891971B2 (en) * 2018-06-04 2021-01-12 The Nielsen Company (Us), Llc Methods and apparatus to dynamically generate audio signatures adaptive to circumstances associated with media being monitored
EP3811515B1 (en) 2018-06-22 2022-07-27 Dolby Laboratories Licensing Corporation Multichannel audio enhancement, decoding, and rendering in response to feedback
WO2019246449A1 (en) 2018-06-22 2019-12-26 Dolby Laboratories Licensing Corporation Audio enhancement in response to compression feedback
WO2021034625A1 (en) 2019-08-16 2021-02-25 Dolby Laboratories Licensing Corporation Method and apparatus for audio processing
US11290786B2 (en) * 2019-09-13 2022-03-29 Dish Network L.L.C. Systems and methods for controlling closed captioning
US11817114B2 (en) * 2019-12-09 2023-11-14 Dolby Laboratories Licensing Corporation Content and environmentally aware environmental noise compensation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013443A1 (en) * 2003-06-16 2005-01-20 Toru Marumoto Audio correcting apparatus
CN101911723A (zh) * 2008-01-29 2010-12-08 高通股份有限公司 通过在来自多个麦克风的信号之间智能地进行选择而改善声音质量
CN103039023A (zh) * 2010-04-09 2013-04-10 Dts公司 音频重放的自适应环境噪声补偿
US20130315405A1 (en) * 2012-05-24 2013-11-28 Kabushiki Kaisha Toshiba Sound processor, sound processing method, and computer program product
US20160275961A1 (en) * 2015-03-18 2016-09-22 Qualcomm Technologies International, Ltd. Structure for multi-microphone speech enhancement system
CN105679300A (zh) * 2015-12-29 2016-06-15 努比亚技术有限公司 移动终端和降噪方法
WO2018211908A1 (ja) * 2017-05-17 2018-11-22 パナソニックＩｐマネジメント株式会社 再生システム、制御装置、制御方法、およびプログラム

Also Published As

Publication number Publication date
US20230044872A1 (en) 2023-02-09
WO2021118945A1 (en) 2021-06-17
US11817114B2 (en) 2023-11-14
JP2022551015A (ja) 2022-12-06
CN114747233A (zh) 2022-07-12
CN114830687A (zh) 2022-07-29
EP4074077A2 (en) 2022-10-19
EP4074066A1 (en) 2022-10-19
US20230026347A1 (en) 2023-01-26
CN114868403A (zh) 2022-08-05
US20220406326A1 (en) 2022-12-22
EP4074065A1 (en) 2022-10-19
KR102633176B1 (ko) 2024-02-06
WO2021118946A1 (en) 2021-06-17
JP7307278B2 (ja) 2023-07-11
EP4074068A1 (en) 2022-10-19
US20230044546A1 (en) 2023-02-09
WO2021119190A1 (en) 2021-06-17
WO2021119177A1 (en) 2021-06-17
KR20220090555A (ko) 2022-06-29
EP4074069A1 (en) 2022-10-19
CN114830681A (zh) 2022-07-29
WO2021119214A2 (en) 2021-06-17
KR20220113438A (ko) 2022-08-12
US20230037824A1 (en) 2023-02-09
WO2021119214A3 (en) 2021-09-23
KR102505773B1 (ko) 2023-03-06
KR20220103196A (ko) 2022-07-21

Similar Documents

Publication Publication Date Title
KR102633176B1 (ko) 환경 잡음 보상 시스템에서 에러를 감소시키기 위한 방법
CN106030700B (zh) 至少部分地基于空间音频属性来确定操作指令
KR102470962B1 (ko) 사운드 소스들을 향상시키기 위한 방법 및 장치
US20220225053A1 (en) Audio Distance Estimation for Spatial Audio Processing
CN108091330B (zh) 输出声强调节方法、装置、电子设备及存储介质
US20070172083A1 (en) Method and apparatus for controlling a gain of a voice signal
US10461712B1 (en) Automatic volume leveling
US20230319190A1 (en) Acoustic echo cancellation control for distributed audio devices
CN109616135B (zh) 音频处理方法、装置及存储介质
CN109361995A (zh) 一种电器设备的音量调节方法、装置、电器设备和介质
WO2018234625A1 (en) DETERMINATION OF TARGETED SPACE AUDIOS PARAMETERS AND SPACE AUDIO READING
US11232781B2 (en) Information processing device, information processing method, voice output device, and voice output method
Panek et al. Challenges in adopting speech control for assistive robots
CN110297543B (zh) 一种音频播放方法及终端设备
CN112786065A (zh) 声源方向的确定
CN112180377A (zh) 一种非接触式的人机交互定位方法、追踪方法、终端以及可读存储介质
RU2818982C2 (ru) Управление акустической эхокомпенсацией для распределенных аудиоустройств
US20240160399A1 (en) Spatial Rediscovery Using On-Device Hardware
WO2023086303A1 (en) Rendering based on loudspeaker orientation
EP4312214A1 (en) Determining spatial audio parameters
WO2023086273A1 (en) Distributed audio device ducking
WO2023281157A1 (en) An apparatus, method and computer program for determining microphone blockages
CN116806431A (zh) 通过相互设备可听性在用户位置处的可听性
CN116830561A (zh) 回声参考优先级排序和选择
CN113852905A (zh) 一种控制方法及控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination