CN114868403A - 多频带限制器模式和噪声补偿方法 - Google Patents

多频带限制器模式和噪声补偿方法 Download PDF

Info

Publication number
CN114868403A
CN114868403A CN202080085765.3A CN202080085765A CN114868403A CN 114868403 A CN114868403 A CN 114868403A CN 202080085765 A CN202080085765 A CN 202080085765A CN 114868403 A CN114868403 A CN 114868403A
Authority
CN
China
Prior art keywords
level
audio
noise
examples
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080085765.3A
Other languages
English (en)
Inventor
T·A·波特
B·A·扬科维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN114868403A publication Critical patent/CN114868403A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/32—Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/005—Combinations of two or more types of control, e.g. gain control and tone control of digital or coded signals
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G9/00—Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/02—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers
    • H03G9/025—Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers frequency-dependent volume compression or expansion, e.g. multiple-band systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H04R29/002—Loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/007—Protection circuits for transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/001—Adaptation of signal processing in PA systems in dependence of presence of noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

一些实施方式涉及：接收包括音频数据的内容流；接收与音频数据的回放有关的至少一种类型的水平调节指示；以及基于至少一种类型的水平调节指示来控制输入音频数据的水平，以产生水平调节后的音频数据。一些示例涉及：至少部分地基于(多个)类型的水平调节指示来确定多频带限制器配置；将多频带限制器应用于水平调节后的音频数据，以产生多频带受限的音频数据；以及将多频带受限的音频数据提供给音频环境的一个或多个音频再现换能器。

Description

多频带限制器模式和噪声补偿方法
相关申请的交叉引用
本申请要求以下美国临时申请号的优先权：2019年12月9日提交的62/945,292；2020年11月30日提交的63/198,995；2019年12月9日提交的62/945,303；2020年11月30日提交的63/198,996；2020年11月30日提交的63/198,997；2019年12月9日提交的62/945,607；2020年11月30日提交的63/198,998；和2020年11月30日提交的63/198,999，该美国临时申请中的每一个均通过引用以其全文并入本文。
技术领域
本公开关于用于噪声补偿的系统和方法。
背景技术
音频和视频设备(包括但不限于电视和相关联的音频设备)被广泛部署。一些这样的设备被配置为实施噪声补偿算法，该算法尝试补偿环境内的噪声。尽管用于噪声补偿的现有系统和方法提供了益处，但改进的系统和方法将仍是期望的。
符号和术语
贯穿本公开，包括在权利要求书中，术语“扬声器(speaker)”、“扩音器(loudspeaker)”和“音频再现换能器”同义地用于表示由单个扬声器馈送驱动的任何发声换能器(或一组换能器)。一套典型的耳机包括两个扬声器。扬声器可以被实施为包括多个换能器(例如，低音扬声器(woofer)和高音扬声器(tweeter))，换能器可以由单个公共扬声器馈送或多个扬声器馈送驱动。在一些示例中，(多个)扬声器馈送可以在耦接到不同换能器的不同电路分支中经历不同处理。
贯穿本公开，包括在权利要求中，在广义上使用“对”信号或数据执行操作的表达(例如，对信号或数据进行滤波、缩放、变换或应用增益)来表示直接对信号或数据执行操作或对信号或数据的已处理版本(例如，在对其执行操作之前已经历了初步滤波或预处理的信号版本)执行操作。
贯穿本公开，包括在权利要求中，在广义上使用表达“系统”来表示设备、系统或子系统。例如，实施解码器的子系统可以被称为解码器系统，并且包括这样的子系统的系统(例如，响应于多个输入而生成X个输出信号的系统，其中，子系统生成M个输入，而其他X-M个输入是从外部源接收的)也可以被称为解码器系统。
贯穿本公开，包括在权利要求中，在广义上使用术语“处理器”来表示可编程或以其他方式可配置(例如，用软件或固件)为对数据(例如，音频或视频或其他图像数据)执行操作的系统或设备。处理器的示例包括现场可编程门阵列(或其他可配置集成电路或芯片组)、被编程和/或以其他方式被配置为对音频或其他声音数据执行流水线式处理的数字信号处理器、可编程通用处理器或计算机、以及可编程微处理器芯片或芯片组。
贯穿本公开，包括在权利要求中，术语“耦接(couples)”或“耦接(coupled)”用于意指直接或间接连接。因此，如果第一设备耦接到第二设备，则该连接可以是通过直接连接或者通过经由其他设备和连接的间接连接。
如本文所使用的，“智能设备”是可以在某种程度上交互地和/或自主地操作的电子设备，其通常被配置用于经由比如蓝牙、Zigbee、近场通信、Wi-Fi、光保真(Li-Fi)、3G、4G、5G等各种无线协议与一个或多个其他设备(或网络)进行通信。若干种值得注意的智能设备类型是智能电话、智能汽车、智能恒温器、智能门铃、智能锁、智能冰箱、平板手机和平板计算机、智能手表、智能手环、智能钥匙链和智能音频设备。术语“智能设备”还可以是指展现出比如人工智能等普遍存在的计算的一些性质的设备。
在本文中，使用表达“智能音频设备”来表示智能设备，其是单一用途音频设备或多用途音频设备(例如，实施虚拟助理功能的至少一些方面的音频设备)。单一用途音频设备是包括或耦接到至少一个麦克风(并且可选地还包括或耦接到至少一个扬声器和/或至少一个相机)并且很大程度上或主要被设计为实现单一用途的设备(例如，电视(TV))。例如，虽然TV通常可以播放(并且被认为能够播放)来自节目素材的音频，但在大多数情况下，现代TV运行某种操作系统，应用程序(包括看电视的应用程序)在该操作系统上本地运行。从这个意义上说，具有(多个)扬声器和(多个)麦克风的单一用途音频设备通常被配置为运行本地应用程序和/或服务以直接使用(多个)扬声器和(多个)麦克风。一些单一用途音频设备可以被配置为组合在一起以实现在一定区或用户配置区域上播放音频。
一种常见类型的多用途音频设备是实施虚拟助理功能的至少一些方面的音频设备，尽管虚拟助理功能的其他方面可以由比如一个或多个服务器等一个或多个其他设备来实施，其中多用途音频设备被配置用于与该一个或多个服务器通信。这样的多用途音频设备在本文中可以被称为“虚拟助理”。虚拟助理是包括或耦接到至少一个麦克风(并且可选地还包括或耦接到至少一个扬声器和/或至少一个相机)的设备(例如，智能扬声器或语音助理集成设备)。在一些示例中，虚拟助理可以提供将多个设备(不同于虚拟助理)用于某种意义上支持云的应用程序或以其他方式未在虚拟助理本身中或之上完全实施的应用程序的能力。换言之，虚拟助理功能的至少一些方面(例如，言语识别功能)可以(至少部分地)由一个或多个服务器或其他设备实施，虚拟助理可以经由网络(比如因特网)与一个或多个服务器或其他设备通信。虚拟助理有时可以一起工作，例如，以离散和有条件地定义的方式。例如，两个或更多个虚拟助理可以在其中之一(例如，最确信已经听到唤醒词的虚拟助理)对唤醒词作出响应的意义上一起工作。在一些实施方式中，连接的虚拟助理可以形成一种构象(constellation)，该构象可以由一个主应用程序管理，主应用程序可以是(或实施)虚拟助理。
在本文中，“唤醒词”在广义上用于表示任何声音(例如，人类说出的词或其他声音)，其中智能音频设备被配置为响应于检测到(“听到”)声音(使用被包括在智能音频设备中或耦接到智能音频设备的至少一个麦克风，或至少一个其他麦克风)而唤醒。在该上下文中，“唤醒”表示设备进入等待(换言之，正在收听)声音命令的状态。在一些实例中，本文中所谓的“唤醒词”可以包括超过一个词，例如，短语。
在本文中，表达“唤醒词检测器”表示被配置为连续搜索实时声音(例如，言语)特征与训练模型之间的对齐的设备(或表示包括用于将设备配置为连续搜索实时声音特征与训练模型之间的对齐的指令的软件)。通常，每当唤醒词检测器确定检测到唤醒词的概率超过预定义阈值，就会触发唤醒词事件。例如，该阈值可以是被调整以在错误接受率与错误拒绝率之间给出合理折衷的预定阈值。在唤醒词事件之后，设备可能会进入一种状态(可以被称为“唤醒”状态或“注意力”状态)，在该状态下设备会收听命令并且将接收到的命令传递给更大、计算增强的识别器。
如本文所使用的，术语“节目流”和“内容流”是指一个或多个音频信号的集合，并且在一些实例中是指视频信号的集合，该信号集合的至少部分是旨在要一起被听到的。示例包括音乐选集、电影原声、电影、电视节目、电视节目的音频部分、播客、现场语音通话、来自智能助理的合成语音响应等。在一些实例中，内容流可以包括音频信号的至少一部分的多个版本，例如，超过一种语言的同一对话。在这样的实例中，一次旨在再现音频数据或其部分的仅一个版本(例如，与单一语言相对应的版本)。
发明内容
本公开的至少一些方面可以经由包括但不限于内容流处理方法的一个或多个音频处理方法来实施。在一些实例中，(多种)方法可以至少部分地由控制系统和/或经由被存储在一个或多个非暂态介质上的指令(例如，软件)来实施。一些这样的方法涉及由控制系统且经由接口系统接收包括输入音频数据的内容流。一些这样的方法涉及由控制系统且经由接口系统接收与音频数据的回放有关的至少一种类型的水平调节指示。一些这样的方法涉及由控制系统基于至少一种类型的水平调节指示来控制输入音频数据的水平，以产生水平调节后的音频数据。一些这样的方法涉及由控制系统至少部分地基于至少一种类型的水平调节指示来确定多频带限制器配置。一些这样的方法涉及由控制系统根据多频带限制器配置来配置多频带限制器。一些这样的方法涉及将多频带限制器应用于水平调节后的音频数据，以产生多频带受限的音频数据。一些这样的方法涉及将多频带受限的音频数据提供给音频环境的一个或多个音频再现换能器。
根据一些实施方式，至少一种类型的水平调节指示可以包括经由用户输入接收的用户输入水平调节指示和/或从噪声补偿模块接收的噪声补偿水平调节指示。在一些示例中，如果接收至少一种类型的水平调节指示涉及接收用户输入水平调节指示，则确定多频带限制器配置可以涉及确定音色保留配置。根据一些示例，如果接收至少一种类型的水平调节指示涉及接收噪声补偿水平调节指示，则确定多频带限制器配置可以涉及改变音色保留功能。在一些实例中，改变音色保留功能可以涉及至少部分地禁用音色保留功能。根据一些示例，噪声补偿水平调节指示可以对应于音频环境中的周围噪声水平。在一些这样的示例中，改变音色保留功能可以涉及至少部分地基于周围噪声水平来改变音色保留功能。在一些实例中，改变音色保留功能可以至少部分地基于周围噪声水平。一些示例可以涉及在音频环境的一个或多个音频再现换能器上再现多频带受限的音频数据，以提供再现的音频数据。一些这样的示例可以涉及确定或估计周围噪声水平对再现的音频数据的掩蔽效果。在一些实例中，改变音色保留功能可以至少部分地基于掩蔽效果。在一些示例中，音色保留配置可以是频带相关的。
在一些实例中，接收至少一种类型的水平调节指示可以涉及接收用户输入水平调节指示和噪声补偿水平调节指示两者。在一些这样的示例中，确定多频带限制器配置可以涉及确定音色保留配置，该音色保留配置至少部分地基于用户输入水平调节指示和噪声补偿水平调节指示的加权平均值。
一些示例还可以涉及当多频带受限的音频数据使音频环境的一个或多个音频再现换能器在线性范围之外操作时引起噪声补偿模块操作改变。在一些实例中，控制系统可以至少部分地基于噪声补偿水平调节指示和/或噪声估计使音频环境的一个或多个音频再现换能器在线性范围之外操作。在一些示例中，噪声补偿模块操作改变可以涉及改变噪声补偿模块的回声消除器功能。根据一些示例，噪声补偿模块操作改变可以涉及使噪声补偿模块仅使用安静回放间隔(quiet playback interval)作为噪声补偿模块的噪声估计器的输入。安静回放间隔可以是在至少一个频带和/或至少一个时间间隔中处于或低于阈值水平的音频信号的实例。在一些实例中，使音频环境的一个或多个音频再现换能器在线性范围之外操作的多频带受限的音频数据可以基于与音频环境中的高周围噪声水平相对应的噪声补偿水平调节。
根据一些实施方式，噪声补偿模块可以是控制系统的子系统。在一些示例中，控制系统的水平调节器模块可以被配置用于控制输入音频数据的水平，以产生水平调节后的音频数据。根据一些这样的示例，一种方法还可以涉及从多频带限制器向水平调节器模块提供多频带限制器反馈。在一些实例中，多频带限制器反馈可以指示多频带限制器对水平调节后的音频数据的多个频带中的每个频带应用的限制量。一些示例还可以涉及由水平调节器模块至少部分地基于多频带限制器反馈来控制多个频带中的一个或多个频带的水平。
本公开的一些替代性方面还可以经由包括但不限于内容流处理方法的一个或多个音频处理方法来实施。在一些实例中，(多种)方法可以至少部分地由控制系统和/或经由被存储在一个或多个非暂态介质上的指令(例如，软件)来实施。一些这样的方法涉及：由控制系统且经由接口系统接收包括输入音频数据的内容流；以及由控制系统将多频带限制器应用于音频数据或音频数据的已处理版本，以产生多频带受限的音频数据。一些这样的方法涉及：确定当在音频环境的一个或多个音频再现换能器上回放时，多频带受限的音频数据是否会使一个或多个音频再现换能器在线性范围之外操作；以及由控制系统至少部分地基于多频带受限的音频数据是否会使音频环境的一个或多个音频再现换能器在线性范围之外操作来控制声学回声消除器是否更新一个或多个滤波器系数或噪声估计器是否更新噪声估计。一些这样的方法涉及将多频带受限的音频数据提供给音频环境的一个或多个音频再现换能器。
在一些示例中，控制声学回声消除器是否更新一个或多个滤波器系数可以涉及如果多频带受限的音频数据会使音频环境的一个或多个音频再现换能器在线性范围之外操作，则控制声学回声消除器不更新一个或多个滤波器系数。一些实施方式可以涉及：由控制系统接收与音频数据的回放有关的至少一种类型的水平调节指示；由控制系统且至少部分地基于至少一种类型的水平调节指示来确定多频带限制器配置；以及由控制系统根据多频带限制器配置来配置多频带限制器。一些这样的示例还可以涉及由控制系统基于至少一种类型的水平调节指示来控制输入音频数据的水平，以产生水平调节后的音频数据。将多频带限制器应用于音频数据或音频数据的已处理版本可以涉及将多频带限制器应用于水平调节后的音频数据。在一些示例中，至少一种类型的水平调节指示可以包括经由用户输入接收的用户输入水平调节指示和/或从包括声学回声消除器的噪声补偿模块接收的噪声补偿水平调节指示。根据一些示例，如果接收至少一种类型的水平调节指示涉及接收用户输入水平调节指示，则确定多频带限制器配置可以涉及确定音色保留配置。
根据一些实施方式，如果接收至少一种类型的水平调节指示涉及接收噪声补偿水平调节指示，则确定多频带限制器配置可以涉及改变音色保留功能。在一些实例中，改变音色保留功能可以涉及至少部分地禁用音色保留功能。在一些示例中，噪声补偿水平调节指示可以对应于音频环境中的周围噪声水平。在一些这样的示例中，改变音色保留功能可以涉及至少部分地基于周围噪声水平来改变音色保留功能。一些示例还可以涉及在音频环境的一个或多个音频再现换能器上再现多频带受限的音频数据，以提供再现的音频数据。一些这样的示例还可以涉及确定或估计周围噪声水平对再现的音频数据的掩蔽效果。改变音色保留功能可以至少部分地基于掩蔽效果。在一些示例中，音色保留配置可以与频带有关。
在一些示例中，接收至少一种类型的水平调节指示可以涉及接收用户输入水平调节指示和噪声补偿水平调节指示两者。在一些这样的示例中，确定多频带限制器配置可以涉及确定音色保留配置，该音色保留配置至少部分地基于用户输入水平调节指示和噪声补偿水平调节指示的加权平均值。
根据一些实施方式，控制系统可以至少部分地基于噪声补偿水平调节指示和/或噪声估计使音频环境的一个或多个音频再现换能器在线性范围之外操作。在一些这样的示例中，控制系统可以至少部分地基于与音频环境中的高周围噪声水平相对应的噪声补偿水平调节而使音频环境的一个或多个音频再现换能器在线性范围之外操作。
一些示例可以涉及当多频带受限的音频数据使音频环境的一个或多个音频再现换能器在线性范围之外操作时引起一个或多个附加的噪声补偿模块操作改变。(多个)附加的噪声补偿模块操作改变可以涉及使噪声补偿模块仅使用安静回放间隔作为噪声补偿模块的噪声估计器的输入。安静回放间隔可以是在至少一个频带中处于或低于阈值水平的音频信号的实例和/或在至少一个时间间隔期间处于或低于阈值水平的音频信号的实例。在一些实施方式中，噪声补偿模块可以是控制系统的子系统。
根据一些示例，控制系统的水平调节器模块可以被配置用于控制输入音频数据的水平，以产生水平调节后的音频数据。一些这样的示例还可以涉及从多频带限制器向水平调节器模块提供多频带限制器反馈。多频带限制器反馈可以例如指示多频带限制器对水平调节后的音频数据的多个频带中的每个频带应用的限制量。一些这样的示例还可以涉及由水平调节器模块至少部分地基于多频带限制器反馈来控制多个频带中的一个或多个频带的水平。
本文描述的一些或所有操作、功能和/或方法可以由一个或多个设备根据被存储在一个或多个非暂态介质上的指令(例如，软件)来执行。这样的非暂态介质可以包括比如本文描述的存储器设备，包括但不限于随机存取存储器(RAM)设备、只读存储器(ROM)设备等。相应地，本公开中描述的主题的一些创新方面可以经由其上存储有软件的一个或多个非暂态介质来实施。
本公开的至少一些方面可以经由装置来实施。例如，一个或多个设备可以能够至少部分地执行本文公开的方法。在一些实施方式中，装置是或包括具有接口系统和控制系统的音频处理系统。控制系统可以包括一个或多个通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备、离散门或晶体管逻辑、离散硬件部件或其组合。
在以下附图和说明中阐述了本说明书所描述的主题的一个或多个实施方式的细节。从说明书、附图和权利要求中，其他特征、方面和优点将变得显而易见。注意，以下附图的相对尺寸可能不是按比例来绘制的。
附图说明
图1A、图1B和图1C示出了扩音器在线性范围内操作的示例。
图1D、图1E和图1F示出了扩音器在非线性范围内操作的示例。
图1G、图1H和图1I示出了多频带限制器操作的示例。
图1J、图1K和图1L示出了根据一种实施方式的音色保留多频带限制器操作的示例。
图1M示出了噪声补偿系统的示例。
图1N示出了噪声补偿系统的一部分，该部分包括水平调节器的示例，该水平调节器被配置用于根据来自多频带限制器的压缩反馈信号来修改水平调节后的音频数据。
图1O示出了根据一个示例的图1N的更详细版本。
图2A示出了用于设置多频带限制器的阈值和其他参数的图形用户界面(GUI)的示例。
图2B示出了多频带限制器的阈值和其他参数的另一个示例。
图2C是示出一定范围的频率的阈值的示例的曲线图。
图2D是示出一定范围的频率的阈值的另一个示例的曲线图。
图2E是示出能够实施本公开的各个方面的装置的部件的示例的框图。
图3是概述所公开的方法的示例的流程图。
图4A和图4B示出了音色保留修改器模块的示例。
图4C示出了频带隔离修改器的示例。
图5是概述另一种所公开的方法的示例的流程图。
图6A是示出扩音器被过驱动的时间间隔的示例的曲线图。
图6B示出了可以被发送到与图6A的曲线图相对应的回声消除器的信号的示例。
图7示出了被配置为至少部分地基于系统中发生的“过驱动”量来控制自动回声消除器(AEC)的系统的示例。
图8示出了被配置为确定过驱动量的系统的示例。
图9是根据一个示例的噪声估计和输出水平的曲线图。
图10示出了音频环境的平面图的示例，该音频环境在该示例中是生活空间。
在各个附图中，相似的附图标记和名称指示相似的元件。
具体实施方式
噪声补偿算法被设计为补偿本文中所谓的“音频环境”中的噪声。如本文所使用的，术语“音频环境”不限于音频系统的部件，比如音频再现换能器、放大器等。替代地，术语“音频环境”通常是指这样的部件可以驻留的环境和/或一个或多个收听者可以收听回放音频的环境。在一些示例中，音频环境可以是家庭音频环境。在这样的实例中，音频环境可以对应于家里的一个或多个房间。在其他示例中，音频环境可以是办公室环境、汽车环境、火车或公共汽车环境、街道或人行道环境、公园或其他户外环境或其他类型的环境。
噪声补偿方法可以例如被设计为通过至少部分地基于音频环境内的噪声量来调节通过一个或多个音频再现换能器的输出信号的水平从而补偿音频环境内的噪声。实施噪声补偿方法的挑战之一是音频再现换能器在物理世界中线性工作的范围有限。
图1A、图1B和图1C示出了在线性范围内扩音器操作的示例。图1A是提供由放大器输出并被提供给扩音器101的信号100的示例的曲线图。图1B示出了扩音器101的截面的示例。在该示例中，信号100是具有10伏的峰峰值(peak-to-peak)范围的正弦输入信号。在该范围内的信号当被提供给扩音器101时，会引起一定范围的音圈位移，其中音圈102保持在由磁体103产生的磁场场强均匀或基本上均匀的部分内。因此，音圈102和振膜(diaphragm)104的位移在线性范围内。
图1C是示出当扩音器101被信号100驱动时音圈102和振膜104的位移的示例的曲线图。在该示例中，位移是正弦的并且与信号100的输入电压成比例。因此，信号100不产生失真并且扩音器101在线性范围内操作。
当比如再现换能器等音频设备在线性范围之外操作时，音频设备会失真并且可能听起来令人不愉快。图1D、图1E和图1F示出了扩音器在非线性范围内操作的示例。图1D是提供由放大器输出并被提供给扩音器101的信号100的另一个示例的曲线图。图1E示出了扩音器101的截面的另一个示例。在该示例中，信号100是具有20伏峰峰值范围的正弦输入信号。在该范围内的信号当被提供给扩音器101时，会引起一定范围的音圈位移，其中音圈102并没有一直保持在由磁体103产生的磁场的场强均匀或基本上均匀的部分内。因此，音圈102和振膜104的位移在非线性范围内。扩音器101中非线性的另一个来源是悬边(suspension)的弹性。振膜104的周边通过悬边105连接到框架。随着振膜104向前和向后移动，悬边105伸展以适应这种运动。然而，这种材料的弹性是有极限的，并且随着振膜104被更强力地驱动且振膜104的运动接近这个极限的极端，引起该运动的驱动力不太能够克服弹性悬边105的在尝试返回其中性位置时的相反的力。与磁非线性一样，这种情况也会导致输出信号不再与输入相同。
图1F是示出当扩音器101被信号100驱动时音圈102和振膜104的位移的示例的曲线图。在该示例中，位移是非正弦的并且与信号100的输入电压不成比例。图1F所示的输出不与输入电压成比例，而是与输入电压和扩音器失真影响两者相对应。因此，在该示例中，信号100产生失真并且扩音器101在非线性范围内操作。
通常经由自适应线性滤波器或经由机器学习(例如，经由经训练的神经网络)来实施的回声消除器是许多噪声补偿系统的基本部件。如果回声消除器完全成功适应，则回声消除器在适应非线性系统时(例如，响应于扩音器在非线性范围内操作)会表现得更差。此外，在非线性范围内的扩展扩音器操作很可能对扩音器造成损坏。
多频带限制器允许对扩音器的动态范围进行有关于频率的控制。多频带限制器通常被配置为增大扩音器能够产生的声压，同时确保扩音器不会引入非线性失真。
图1G、图1H和图1I示出了多频带限制器操作的示例。图1G是提供被提供给多频带限制器的音频信号100的示例的曲线图。在该示例中，音频信号100对应于“白色”输入频谱，其中，每个频带的水平都相同。
图1H示出了多个频带中的每个频带的多频带限制器阈值的示例。在该示例中，每个阈值处于或低于输入音频信号100的水平。例如，多频带限制器阈值可以对应于特定扩音器的能力(例如，失真曲线)，并且可以由该扩音器实施或为该扩音器实施。在一些这样的示例中，可以在制造扩音器的工厂预先设置多频带限制器阈值。
图1I是示出当被提供图1G所示的输入音频信号100时具有图1H所示的阈值的多频带限制器的输出的示例的曲线图。在该示例中，因为每个阈值处于或低于输入音频信号100的水平，所以每个频带的输出对应于该频带的多频带限制器阈值。因此，在该示例中，输入音频信号100的频率内容或音色未被保留。
如前述示例所示，多频带限制器可能会显著改变输入音频信号的频谱内容或音色。允许多频带限制器不受约束地操作可能会对输出音频信号的音色产生不利影响，从而可能降低音乐内容的享受程度。
本受让人开发的一些多频带限制器可以至少部分地保留输入音频信号的音色。图1J、图1K和图1L示出了根据一种实施方式的音色保留多频带限制器操作的示例。术语“音色保留”可以具有本文所使用的各种含义。从广义上讲，“音色保留”方法是至少部分地保留频率内容或输入音频信号的音色的方法。一些音色保留方法可以完全地或几乎完全地保留输入音频信号的频率内容。音色保留方法可以涉及将至少一些频带的输出信号水平根据至少一些其他频带的输出信号水平和/或所施加的阈值进行约束。在一些示例中，“音色保留”方法可以涉及至少在某种程度上约束所有非隔离频带的输出信号水平。然而，如本文更详细描述的，在一些示例中，频带可以被完全隔离，而在其他示例中，频带可以仅被部分隔离。
图1J是提供被提供给多频带限制器的音频信号100的示例的曲线图。在该示例中，如图1G所示，音频信号100的水平对于每个频带都是相同的。
图1K示出了多个频带中的每个频带的多频带限制器阈值的示例。在该示例中，每个阈值处于或低于输入音频信号100的水平。例如，多频带限制器阈值可以对应于特定扩音器的能力，并且可以由该扩音器实施或为该扩音器实施。
图1L是示出当被提供图1J所示的输入音频信号100时具有图1K所示的阈值的音色保留多频带限制器的输出的示例的曲线图。在该示例中，每个频带的输出不对应于该频带的多频带限制器阈值。替代地，音频信号100的音色通过将每个频带的输出信号水平约束到最小多频带限制器阈值而得以保留。该示例示出了100％音色保留的多频带限制器的极端情况。在大多数实施方式中，音色保留并不会如此极端。例如，一些音色保留实施方式可以保留较高频率范围的频带中的音色，同时允许至少部分地隔离一些低音频带。可替代地或另外地，音色保留方法可以涉及将频带的输出信号水平根据少于所有其他频带的输出信号水平和/或所施加的阈值而(至少在某种程度上)进行约束。
图1M示出了噪声补偿系统的示例。在该示例中，噪声补偿系统150包括水平调节器152、多频带限制器154、扩音器156、麦克风157和噪声估计器159。根据该示例(以及本文公开的噪声补偿系统的其他示例，包括但不限于图1N和图1O中所示的示例)，水平调节器152、多频带限制器154和噪声估计器159由控制系统110实施，该控制系统可以是下面参考图2E描述的控制系统210的实例。根据一些示例，麦克风157还可以由控制系统110控制和/或包括该控制系统的一部分。如本文其他地方所指出的，控制系统110可以存在于单个设备或多个设备中，这取决于特定的实施方式。在一些示例中，水平调节器152、多频带限制器154和/或噪声估计器159可以例如根据被存储在一个或多个非暂态介质上的指令(至少部分地)经由软件实施。
与本公开的其他图一样，图1M中示出的元件的类型、数量和布置仅为示例。其他实施方式可以包括更多、更少和/或不同的元件。例如，一些实施方式可以包括多个音频再现换能器。一些实施方式可以包括多个麦克风。
根据该实施方式，噪声补偿系统150包括麦克风157，该麦克风被配置为检测包括噪声补偿系统150的音频环境中的声音并向噪声估计器159提供对应的麦克风信号158。声音可以包括由扩音器156产生的声音和音频环境中的周围噪声(在本文中也可以称为环境噪声或背景噪声)。如本文档其他地方所指出的，术语“音频环境”并不旨在限于音频系统的部件，比如音频再现换能器、放大器等。替代地，术语“音频环境”通常是指这样的部件可以存在的环境和/或一个或多个收听者可以收听回放音频的环境。在一些示例中，音频环境可以是家庭音频环境。在这样的实例中，音频环境可以对应于家里的一个或多个房间。在其他示例中，音频环境可以是另一种类型的环境，比如办公室环境、汽车环境、火车环境、街道或人行道环境、公园环境等。
在该示例中，噪声估计器159被配置为估计背景噪声的水平。根据该示例，噪声估计器159被配置为实施回声消除器，以降低由扩音器156再现的音频数据是背景噪声估计的一部分的可能性。在该示例中，噪声估计器159被配置为接收由多频带限制器154输出的多频带受限的音频数据155，该多频带受限的音频数据也被提供给扩音器156。多频带受限的音频数据155是用于由噪声估计器159实施的回声消除器的本文中所谓的“扬声器参考”、“扩音器参考”或“回声参考”的示例。在噪声估计器159中实施回声消除器可以防止基于由扩音器156产生的声音的正反馈回路。在该示例中，噪声估计器159被配置为计算周围噪声的噪声估计并将噪声估计器输出160提供给水平调节器152。在一些示例中，噪声估计器输出160将包括频谱噪声估计。例如，噪声估计器输出160可以包括多个频带中的每个频带的噪声估计。
在该示例中，水平调节器152被示为接收输入音频数据151。在一些实例中，输入音频数据151可以对应于包括视频数据的内容流。在此，水平调节器152被配置为控制(例如，升高、降低或保持)输入音频数据151的水平。根据该示例，水平调节器152被配置为至少部分地基于已经使用麦克风157测得的噪声水平来控制输入音频数据151的水平。根据一些示例，例如，水平调节器152被配置为至少部分地基于噪声估计器输出160来控制输入音频数据151的水平。因此，噪声估计器输出160是本文中所谓的“水平调节指示”的示例。更特别地，噪声估计器输出160是本文中所谓的“噪声补偿水平调节指示”的示例。
在该实例中，水平调节器152被示为接收与水平调节相对应的用户输入163，这是本文中所谓的水平调节指示的另一个示例。更特别地，用户输入163是本文中所谓的“用户输入水平调节指示”的示例。将理解，水平调节器152不会正常地连续接收用户输入163，而是通常仅在用户尝试通过例如经由语音命令(例如，由控制系统110经由麦克风157接收的语音命令)、经由手动遥控等提供输入来调节音频回放水平期间间歇地接收用户输入163。水平调节器152(或控制系统110的另一个元件)可以例如将值存储在与最近的用户输入163相对应的存储器设备中。在该示例中，水平调节器152被配置为基于至少一种类型的水平调节指示来控制输入音频数据151的水平。在此，水平调节器152被配置为向多频带限制器154提供水平调节后的音频数据153。
根据一些示例，水平调节器152可以被配置用于至少部分地基于噪声估计器159的状态和/或用户输入163来确定噪声补偿方法。因此，在一些实施方式中，水平调节器152可以被配置用于至少部分地基于噪声估计器输出160和/或用户输入163来确定噪声补偿方法。
在一些示例中，噪声估计器159可以确定水平调节器152应该实施哪种噪声补偿方法。在一些这样的示例中，噪声估计器输出160可以(例如，经由噪声估计器输出160和/或经由附加信息)向水平调节器152指示水平调节器152应该实施哪种噪声补偿方法。
在噪声估计器159是多频带噪声估计器的一些实施方式中，如果噪声估计具有未针对阈值时间量(例如，在秒的数量级上，比如1秒、2秒、3秒、4秒、5秒等)被更新的一组未更新频带(例如，在较高频带中)，则噪声估计器输出160可以指示噪声补偿方法应该切换到音色保留模式，因为未更新频带中的噪声估计的质量较低，尽管已更新频带中的噪声估计的质量可能仍然很高。可替代地或另外地，在一些实施方式中，噪声估计器可以被配置为向噪声补偿块提供质量指标或置信度分数，噪声补偿块可以使用该质量指标或置信度分数来确定要处于(或部分地处于)哪种模式。例如，如果质量指标或置信度分数指示噪声估计的质量较低，则噪声补偿块可以确定噪声补偿方法应该是音色保留模式。
在一些实施方式中，控制系统110(例如，噪声估计器159)可以被配置为提供多频带噪声估计器功能，该功能在2019年4月24日提交的且名称为“Background NoiseEstimation Using Gap Confidence[使用间隙置信度进行背景噪声估计]”的国际公开号WO2019/209973中进行了描述，特别地，第16-18页上对间隙置信度值和间隙置信度值的使用进行了讨论，该文献通过引用并入本文。
根据一些实施方式，在噪声补偿器、多频带限制器或这两者的音色保留频率范围(例如，下文所述的图2B的非隔离频带的频率范围)内的频带可以根据噪声估计的质量指标来选择。例如，噪声估计的质量指标可以对应于自频带的噪声估计更新以来的时间量。
在一些示例中，在一个频带中(例如，通过噪声补偿器)应用的增益相比于在另一频带中应用的增益(例如，相对于在相邻频带中应用的增益)可以不受约束。因此，根据这种类型的噪声补偿方法，输入音频信号的频谱内容通常不会被保留。因此，这种类型的噪声补偿方法在本文中可以被称为“无约束”噪声补偿方法或非音色保留噪声补偿方法。
根据一些示例，多频带限制器154可以被配置为至少部分地基于对多频带限制器154的先前校准或“调整”来对水平调节后的音频数据153应用压缩，以防止扩音器156(并且在一些实例中，音频环境的其他音频再现换能器)中的失真。在一些这样的示例中，多频带受限的音频数据155在扩音器156中不产生失真，使得扩音器156在线性范围内操作。调整可以对应于多个频带中的每个频带的多频带限制器阈值。例如，多频带限制器阈值可以对应于扩音器156的能力(例如，失真曲线)，并且可以由该扩音器实施或为该扩音器实施。在一些示例中，可以在制造扩音器156的工厂预先设置多频带限制器阈值。
然而，在一些示例中，多频带限制器154可以被配置为将压缩应用于水平调节后的音频数据153，这允许音频环境的扩音器156和/或一个或多个其他音频再现换能器中的至少一些失真。在这样的示例中，音频环境的一个或多个音频再现换能器可以被允许至少暂时地在线性范围之外操作。在一些这样的示例中，控制系统可以至少部分地基于噪声补偿水平调节指示和/或噪声估计(例如，来自噪声估计器159的噪声估计器输出160)使音频环境的一个或多个音频再现换能器在线性范围之外操作。一些这样的示例还可以涉及当多频带受限的音频数据155使音频环境的一个或多个音频再现换能器在线性范围之外操作时引起噪声补偿模块操作改变。一些详细示例在本文档的其他地方公开。
根据一些实施方式，控制系统110(例如，水平调节器152)可以被配置用于至少部分地基于接收到的一种或多种类型的水平调节指示来确定多频带限制器配置。在一些这样的示例中，如果接收到的是用户输入水平调节指示，则多频带限制器配置可以是音色保留配置。本文中公开了音色保留配置的各种示例。在一些这样的示例中，确定多频带限制器配置可以涉及如果接收到的是噪声补偿水平调节指示，则改变多频带限制器154的音色保留功能。
在一些这样的示例中，控制系统110(例如，水平调节器152或多频带限制器154本身)可以根据所确定的多频带限制器配置来配置多频带限制器154。在一些实施方式中，控制系统110(例如，水平调节器152)可以被配置为至少部分地基于扩音器156的输出水平和/或能力来控制多频带限制器154和/或噪声估计器159。
根据图1M所示的示例，水平调节器152被配置为经由控制信号161来控制多频带限制器154。在一些实施方式中，如果接收到的水平调节指示是用户输入水平调节指示，则多频带限制器154的音色保留设置可以保持为例如在工厂的最初调整后的多频带限制器154。这样的实施方式可以帮助确保当用户调节音量控制时用户具有愉快的体验。
根据一些示例，如果接收到的水平调节指示是噪声补偿水平调节指示，则多频带限制器154的音色保留设置可以例如与噪声补偿水平调节指示成比例地被逐渐关闭。在一些这样的示例中，当存在噪声时，回放的音频内容可以在噪声下仍然可被理解，同时保真度的损失被噪声源掩蔽。
在一些实施方式中，如果控制系统110(例如，水平调节器152)实施音色保留噪声补偿模式，则水平调节器152可以(例如，经由控制信号161)通知多频带限制器154，使得多频带限制器154也以音色保留模式操作并且不允许使扩音器156过驱动。根据一些示例，如果控制系统110实施无约束噪声补偿模式，则多频带限制器154也可以以相对较少受约束的模式操作(例如，如下面参考图2A和图2B所描述的)，以便最大化音量(例如，使扩音器156过驱动)。
相反，如果多频带限制器154进行限制，则在一些实施方式中，控制系统110可以使噪声补偿模式是无约束噪声补偿模式(即使噪声补偿模式先前是音色保留噪声补偿模式)，使得音量可以最大化。
在图1M所示的示例中，多频带限制器154被配置为将可选的压缩反馈信号162发送到水平调节器152。例如，压缩反馈信号162可以指示多频带限制器154对水平调节后的音频数据153应用的限制量。在一些示例中，压缩反馈信号162可以指示多频带限制器154对水平调节后的音频数据153的多个频带中的每个频带应用的限制量。
图1N示出了噪声补偿系统的一部分，该部分包括水平调节器的示例，水平调节器被配置用于根据来自多频带限制器的压缩反馈信号来修改水平调节后的音频数据。在该示例中，水平调节器152包括低音增强模块167和噪声补偿水平调节器169。图1N还指示了已经由低音增强模块167处理并且在该示例中被提供给噪声补偿水平调节器169的多声道流168。根据一些示例，低音增强模块167被配置为将低音从一个扩音器传播到一个或多个其他扩音器。在一些示例中，低音增强模块167被配置为至少部分地基于压缩反馈信号162来确定应该将多少输入低音传播到其他扬声器。
在一些实施方式中，低音增强模块167被配置为实施心理声学(psychoacoustic)低音增强(例如，利用缺失基本现象的虚拟低音，例如，如下面参考图1O所描述的)。根据一些示例，低音增强模块167可以被配置为至少部分地基于压缩反馈信号162来确定应该实施多少虚拟低音。
在一些实施方式中，低音增强模块167被配置为接收噪声估计160。低音增强模块167可以例如使用噪声估计160来控制低音传播和/或虚拟低音的攻击性(aggressiveness)。在一些这样的示例中，如果噪声水平高，则与音量限制是由用户输入引起的情况相比，低音增强模块167在传播音频方面将相对更具攻击性，甚至到不再仅传播低音频率而是可能传播大部分或全部人类可听频谱的程度(例如，低音增强模块167会将比低音频率更高的频率传播到所有扩音器)。下面提供了“攻击性”的进一步示例。根据一些实施方式，低音增强模块167也可以与音量限制完全由于用户音量控制引起的情况相比更早地开始引入虚拟低音处理。
图1O示出了根据一个示例的图1N的更详细版本。与本公开提供的其他图一样，图1O中示出的元件的类型、数量和布置仅为示例。其他实施方式可以包括更多、更少和/或不同的元件。在一些替代性示例中，处理流程可以与图1O中所示的不同，例如，在噪声补偿用于控制低音增强的情况下。
在图1O所示的示例中，水平调节器152包括低音增强模块178和噪声补偿水平调节器169的示例。如本文的其他地方所指出的，根据一些示例，水平调节器152可以被配置用于至少部分地基于噪声估计器159的状态和/或用户输入163来确定噪声补偿方法。因此，在一些实施方式中，噪声补偿水平调节器169可以被配置用于至少部分地基于噪声估计器输出160和/或用户输入163来确定噪声补偿方法。一些这样的示例在上文中参考图1M进行了描述。在图7和图17以及美国专利号8,090,120(第18栏第29行至第26栏第46行，以及第34栏第41行至第35栏第11行)的对应描述中公开了附加的示例，这些对应描述通过引用并入本文。
根据图1O中所示的示例，输入音频数据151被示为两个输入声道(例如，立体声声道)CH1和CH2。在图1O中，噪声估计160(其可以由图1M的噪声估计器159提供)被提供给噪声补偿水平调节器169。在该示例中，提供给水平调节器152的压缩反馈信号162指示在多频带限制器154中进行的限制的量。根据一些示例，压缩反馈信号162被可选地提供给低音增强模块178和噪声补偿水平调节器169两者。根据一些这样的示例，压缩反馈信号162可以被提供给虚拟低音(VB)块171。如果压缩反馈信号162被提供给噪声补偿水平调节器169，则在一些示例中，压缩反馈信号162可以被用于修改在噪声补偿水平调节器169内使用的总体预测输出水平。
在一些示例中，噪声补偿水平调节器169可选地实施心理声学音量控制。根据一些这样的示例，代替应用导致所有频带上的增益改变相同量的宽带增益——这可能导致感知频谱的改变，特定响度缩放因子可以与音量控制调节相关联。在一些这样的示例中，多个频带中的每个频带中的增益被改变一定量，该量考虑了人类听力模型，从而使得在理想情况下感知频谱不改变。一些相关示例在美国专利号8,090,120的“Time-Invariant andFrequency-Invariant Function Suitable for Volume Control[适用于音量控制的时间不变和频率不变函数]”部分(第26栏第48行至第28栏第13行)中公开，该专利通过引用并入本文。
一些心理声学音量控制实施方式可以涉及在下游处理部件内考虑到增益量等的在数字/电域到声学域之间(例如，在相对于满量程的分贝(dBFS)与声压级分贝(dBSPL)之间)的映射。在一些这样的示例中，可以在多频带限制器154未激活的系统区域中校准心理声学音量控制。这意味着当多频带限制器154激活时，数字到声压级(SPL)的映射将通常是不正确的(因为该映射通常是固定的映射)。通过向水平调节器152(例如，向噪声补偿水平调节器169)指示多频带限制器154在进行限制，可以更正数字到SPL的映射，并且因此不会低估所需的噪声补偿量。
图1O中所示的块布置和操作顺序是由于以下事实产生的：根据噪声补偿水平调节器169实施心理声学音量控制的一些示例，噪声补偿水平调节器169可以结合心理声学低音增强的响度曲线以控制相对于噪声估计的音量水平。因此，在低音增强块音频处理之后进行噪声补偿块音频处理需要较少的从声域到数字域的转换，其中，后者是根据该示例的心理声学系统将在其中操作的域。
此外，在噪声补偿水平调节器169用尽增益余量(headroom)的一些系统中，可以由噪声补偿水平调节器169指示水平调节器152的其他块(比如块167和/或171)增加它们为确保噪声补偿系统150能够达到其峰值响度而执行的处理量。噪声补偿水平调节器169用尽余量可以由限制并将压缩反馈信号162提供给噪声补偿水平调节器169的多频带限制器154来指示。在一些情况下，噪声补偿水平调节器169可以通过响应于高水平的噪声而进行补偿来用尽余量。此外，在噪声补偿水平调节器169控制水平调节器152的其他块的一些实施方式中，噪声补偿水平调节器169可以向多频带限制器154发送信号161，该信号指示多频带限制器154应该停止以音色保留模式运行和/或应该允许一个或多个扩音器过驱动。
根据该示例，低音增强模块178包括低音提取模块177、混音器172和179以及虚拟低音(VB)块171。在该示例中，VB块171向噪声补偿水平调节器169提供输出168。在一些示例中，每个低音提取模块177可以被实施为可以在运行时控制的一组动态交叉滤波器。在一些这样的示例中，当多频带限制器154在低频带中限制时，可以提取低音(例如，对应的低频带)。
根据一些这样的实施方式，低音提取模块177可以被配置为(从输入声道CH1和CH2)提取在高于交叉频率(crossover frequency)的高频范围中的高频内容(高通滤波后的信号175)和在低于交叉频率的低频范围中的低频内容(低音提取后的音频173)。在一些示例中，低音提取模块177可以被配置为至少部分地基于压缩反馈信号162来控制交叉频率。交叉频率可以由在多频带限制器154中执行的限制量(如压缩反馈信号162所指示的)来控制。在一些示例中，限制可以仅在低频率范围(例如，最高500Hz)中，但在替代性示例中，限制可以在更宽频率范围或全频率范围中。在一些示例中，压缩反馈信号162可以指示由多频带限制器154在低频率范围(例如，最高500Hz)内的至少两个低频带中的每个低频带中应用的压缩量(并且交叉频率可以由该压缩量确定)。可替代地，压缩反馈信号162可以指示由多频带限制器154在更宽频率范围或全频率范围中的频带中应用的压缩量(并且交叉频率可以由该压缩量确定)。
在该示例中，来自输入声道CH1和CH2两者的低音提取后的音频173已经经过低通滤波并被提供给混音器172，该混音器将低音提取后的音频173下混成单个声道。根据该示例，混音器172将要传播到两个声道(换言之，混音回到两个声道)的下混后的低音174提供给混音器179。在该示例中，混音器179混合下混后的低音174和未经低音提取的高通滤波后的信号175，并输出修改后的声道170。根据一些示例，基于多频带限制器行为和噪声估计160(和/或基于对应于用户输入163的增益与基于噪声补偿控制的增益相比的比例)，修改后的声道170已经使低音通过两个声道传播。
在该示例中，噪声估计160可选地被提供给低音提取模块177和VB块171。在该实施方式中，低音增强模块178还考虑噪声估计160(和/或已由噪声补偿水平调节器169控制的系统音量与对应于用户控制的音量相比的比例)。根据一些示例，如果噪声估计160高，则与噪声估计低时相比，将被提取的频率通常会由频谱的更大部分构成。根据一些这样的示例，低音增强模块178可以被配置为基于噪声估计160来调节本文中所谓的频率提取的“攻击性(aggressiveness)”。如本文所使用的，术语“攻击性”是指代低音音量增强程度的参数。
在一些这样的示例中，低音提取模块177可以被配置为根据以下公式确定交叉频率(以下公式中的“targeted_crossover”)：
targeted_crossover＝total_gain_ratio*max_freq_limiting*aggressiveness(等式1)
在等式1中，“aggressiveness”表示指示低音音量增强的攻击性的参数。在一些示例中，“aggressiveness”参数可以通过耳朵来调整，例如，通过用户或通过噪声补偿系统的提供商来调整，以确保系统不会在下混后的低音174中包括过多或过少的能量。根据一些示例，“aggressiveness”参数的线性插值可以被用于在两种“aggressiveness”设置(例如，由于噪声的一个高音量设置和由于用户输入的另一高音量设置)之间渐变(fade)。
在等式1中，“max_freq_limiting”表示在多频带限制器154中被限制的频带所覆盖的最大频率。在一些示例中，“max_freq_limiting”可以由被多频带限制器154限制的最高频带中的最高频率确定或直接从其得到。在一些实施方式中，“max_freq_limiting”可以被限幅到低音提取模块177支持的范围。
在一些示例中，
“total_gain_ratio”＝total_gain/max_possible_gain (等式2)
在等式2中，“max_possible_gain”表示对于可以被低音提取模块177进行低音提取的所有频带(或在一些实施例中，可以在多频带限制器154中被限制的所有频带)，(此时)被多频带限制器154限制的每个频带的最大增益的总和。在一些示例中，“max_possible_gain”可以是可以被低音提取的所有频带可以被多频带限制器154应用的最大增益的总和，就这种意义而言，“max_possible_gain”可以是具有频率不超过最大交叉频率的仓(bin)可以被多频带限制器154应用的所有增益的最大积分。
在等式2中，“total_gain”表示被应用到可以被低音提取的所有频带(或在一些实施例中，可以被限制的所有频带)的所有增益的总和(例如，如每个频带的压缩反馈信号162所指示的)。
在等式1和2中，“total_gain_ratio”表示多频带限制器154在可以由低音提取模块177进行低音提取的所有频带内的限制的总量的指示器。在等式2中，“total_gain_ratio”(通过“max_possible_gain”参数)被归一化，使得“total_gain_ratio”更好地指示针对可变数量的频带进行的限制的总量。
在一些实施方式中，当多频带限制器154应用更多限制时(例如，当等式1和2中的“total_gain_ratio”增大时)，可以提高滤波器205和206中的每一个的交叉频率(等式1中的“targeted_crossover”)，以增加所应用的低音增强量。在一些实施方式中，当多频带限制器154应用较少限制时(例如，当等式1和2中的“total_gain_ratio”减小时)，可以降低交叉频率，以减少所应用的低音增强量。在一些示例中，可以通过发动和释放来平滑交叉频率(例如，等式1和2中的“targeted_crossover”)以确保用户不会注意到平移中的突然跳跃。
根据该示例，VB模块171基于缺失基本现象来创建低音感知。根据一些示例，VB模块171可以被配置通过注入在输入信号的谐波内的低音频率的谐波处的信号来创建增强低音感知。在一些这样的示例中，注入的谐波的数量和谐波的幅度可以由对应的压缩反馈信号162和噪声估计160(或由噪声补偿水平调节器169控制的音量与对应于用户输入的音量相比的比例)两者来确定。在一些示例中，如果噪声估计160高，则与噪声估计低的情况相比，将(例如，通过调节等式1和2中的aggressiveness)增大虚拟低音量(例如，谐波的数量及其幅度)。在一些实施方式中，虚拟低音量可以如下确定：
virtual_bass_gains＝min_virtual_bass_gain+((1+0.01×A)-limiter_gain-1)(等式3)
在等式3中，“limiter_gain”表示用于多频带限制器154可以提供给VB模块171中的一个或两个的最低频带的多频带限制器增益值。在等式3中，“A”表示指示虚拟低音应用的攻击性的参数(例如，每多频带限制器增益量应用多少虚拟低音)。在一个示例中，A＝-25，但在替代性示例中，A可以更高或更低。在等式3中，“min_virtual_bass_gain”表示可应用的最小虚拟低音增益量。根据一些示例，“aggressiveness”参数的线性插值可以被用于在两种“aggressiveness”设置(例如，由于噪声的一个高音量设置和由于用户输入的另一高音量设置)之间渐变。
返回图1M中所示的示例，在该实施方式中，水平调节器152被配置为将可选控制信号164发送到噪声估计器159。在一些实施方式中，多频带限制器154可以被配置为将可选控制信号167发送到噪声估计器159。如本文的其他地方更详细描述的，在一些实例中，水平调节器152可以配置多频带限制器154以允许一些失真(例如，以便在存在周围噪声的情况下增大回放音量)，导致音频环境的一个或多个音频再现换能器在线性范围之外操作。在这样的实例中，从扩音器156到麦克风157的音频路径165可以包括与扩音器156的非线性失真相对应的至少一些声音。至少部分地因为回声消除器通常基于线性算法，所以回声消除器将不能正确地消除与扩音器156的非线性失真相对应的声音。
因此，根据一些这样的示例，如果水平调节器152配置多频带限制器154以使音频环境的一个或多个音频再现换能器在线性范围之外操作，则水平调节器152还可以将控制信号164(或多频带限制器154还可以将控制信号167)发送到噪声估计器159，该控制信号指示噪声估计器159应该改变操作模式。在一些这样的示例中，控制信号164(或控制信号167)可以指示由噪声估计器159实施的回声消除器应该仅使用多频带受限的音频数据155的安静回放间隔作为输入。在一些这样的示例中，安静回放间隔可以是在一个或多个频带中处于或低于阈值水平的音频信号的实例。可替代地或另外地，在一些示例中，安静回放间隔可以是在一定时间间隔期间处于或低于阈值水平的音频信号的实例。安静回放间隔在本文中也可以被称为“间隙”。
在一些实施方式中，如果水平调节器152配置多频带限制器154以使音频环境的一个或多个音频再现换能器在线性范围之外操作，则控制信号164(或控制信号167)可以指示应该禁用或暂停回声消除器的一个或多个功能。例如，回声消除器可以通过更新针对多个频带中的每个频带的自适应滤波器系数来正常操作。在一些这样的实施方式中，如果多频带受限的音频数据155将使扩音器156(或音频环境的一个或多个其他音频再现换能器)在线性范围之外操作，则控制信号164(或控制信号167)可以控制声学回声消除器不更新滤波器系数。
图2A示出了用于设置多频带限制器的阈值和其他参数的图形用户界面(GUI)的示例。GUI 200可以例如根据由控制系统执行的软件而被呈现在显示设备上。用户可以例如通过经由呈现GUI 200的显示器上的触摸屏、经由鼠标、经由键盘、经由语音命令等提供用户输入来与GUI 200交互。与本文呈现的其他图一样，所指示的元件的类型和数量以及特定值仅作为示例提供。
在该实施方式中，y轴指示从0dB到-60dB的范围内的分贝，并且x轴指示以Hz为单位的频率。在该示例中，GUI 200示出了多个频带217中的每个频带的一组示例阈值201。根据该示例，每个阈值201由表示对应频带217的竖线中的圆点来图示。频带217中的每个频带的中心频率被指示在表示频带217的竖线邻近处。在一些实施方式中，阈值201是在对应频带中不允许信号超过的水平。如果输入水平超过阈值201，则可以应用将水平限制于阈值201的负增益。
阈值201的水平可以与当由音频再现换能器再现时在对应频带中仍然具有线性输出响应的最大输入值相关。例如，图2A中所示的特定阈值201可以根据特定音频再现换能器的能力被预先设置。在该示例中，阈值201通常在最低频带中更低。这表明特定音频再现换能器在低频处的失真程度低于在高频处的失真程度。在该示例中，高于844Hz的频率在该特定设备的最大音量方面不受限制。
根据该示例，元素213指示特定频带的隔离设置。如果频带被设置为是隔离的，则只有该频带中的音频对所应用的限制性增益有影响。在图2A所示的示例中，没有频带是隔离的。
图2B示出了多频带限制器的阈值和其他参数的另一个示例。图2B示出了GUI 200的示例，其中四个元素213指示四个对应的低音频带是隔离的。在一些情况下，可能期望允许比如低音频带等特定频带在完全隔离的情况下操作，而对音色保留没有贡献。例如，由于扬声器尺寸小，一些音频系统的低音频率的固定阈值可能极低。如果允许这些低音频带影响音色保留计算，则会导致总体回放水平的急剧降低。在这种情况下，可能期望允许这些低音频带独立操作(如图2B所描绘的)，并对剩余的频带应用音色保留方法。
在一些替代性实施方式中，频带可以部分地隔离(例如，25％隔离、50％隔离、75％隔离等)，而不是完全隔离或完全不隔离。在一些这样的示例中，频带的隔离程度可以经由GUI 200的替代性版本来选择，该替代性版本包括与元素213中的一个或多个(例如，每一个)相对应的滑块或其他虚拟用户输入设备。在其他示例中，频带的隔离程度可以由于改变的条件而自动改变，该改变的条件比如是音频环境中的周围噪声水平的改变。下文参考图4C描述了一些示例。
在图2A和图2B所示的示例中，一些频带中的圆点218指示对本文中所谓的“过驱动”或在音频再现换能器的线性范围之外的操作的示例调整。本文中公开了各种示例。在圆点201与圆点218之间，音频再现换能器将不在线性范围内操作。根据一些示例，圆点218表示音频再现换能器将不会被驱动超过的硬限制。在一些替代性实施方式中，圆点218表示软限制，在一些情况下音频再现换能器可以被驱动超过该软限制。在一些实施方式中，这样的显式过驱动调整可以是可选的，并且在一些替代性示例中，这样的显式过驱动调整可能不存在。在一些实施方式中，显式过驱动调整可以是在所有频带上的固定值(例如，添加到阈值201的3dB)。
在图2A和图2B所示的示例中，元素212允许用户(例如，设备制造商的雇员)选择音色保留设置。在这些示例中，用户可以通过移动滑块部分212a和/或通过在窗口部分212b中输入数值来与元素212交互。在一些实施方式中，音色保留设置对应于一个频带中的信号可以影响应用到其他频带(例如，一个或多个相邻频带，如果这些频带不是隔离的话)的增益的量。
在一些实施方式中，音色保留设置1.00可以对应于时变阈值Tb[n]，该时变阈值计算为所有频带信号xb[n]和所有非隔离频带上的所有固定阈值Lb的函数，b＝1...B：
Tb[n]＝TPF({xi[n]，Li|i＝1...B})
例如，固定阈值Lb可以对应于阈值201。于是，每个频带的增益gb[n]可以被计算为gb[n]＝CF(xb[n],Tb[n])。
对于小于1.00的音色保留设置，每个阈值Tb[n]可以被计算为多个但少于全部频带信号xb[n]和/或非隔离频带的多个但少于全部固定阈值Lb的函数。例如，在0.50的音色保留设置中，每个阈值Tb[n]可以计算为一半的频带信号xb[n]和非隔离频带的固定阈值Lb的函数。
在一些示例中，频带的时变阈值可以基于其最近相邻的非隔离频带或一定范围的相邻非隔离频带来计算。
在一些示例中，如果非隔离频带由于高于其固定阈值而接收到显著的增益降低，则其他非隔离频带的时变阈值也会降低，从而接收一些增益降低。由于频带的时变阈值降低至低于其相应的固定阈值，因此多频带限制器154仍然减少失真，同时可以减轻或以其他方式防止对音色的更改。
在一些示例中，控制系统(例如，多频带限制器154)可以被配置为计算每个频带中的音频输入信号的平均差及其相应的固定阈值Lb。然后，每个频带中的时变阈值可以是该频带中的音频输入信号水平减去该平均差。
可替代地或另外地，时变阈值可以随时间推移被平滑，至少比增益gb[n]更平滑。也就是说，用于计算阈值的音频输入信号的水平可以比用于计算增益gb[n]的信号(例如，eb[n])更加平滑。在一个这样的示例中，可以使用具有较长时间常数的单极平滑器来计算更平滑的能量信号sb[n]：
Figure BDA0003686862120000231
在这种情况下，可以使用传统多频带限制器的10倍的发动时间和释放时间。然后可以如下以dB为单位表示平滑能量信号：
Sb[n]＝10log10(sb[n])
每个频带中的平滑能量信号与每个频带中的固定阈值Lb之差(也以dB为单位表示)可以计算为：
Db[n]＝Sb[n]-Lb
并且可以找到在所有频带上这些距离的最小值：
Figure BDA0003686862120000232
然后可以如下计算在所有频带上的这些差的加权平均值，其中，β表示加权因子：
Figure BDA0003686862120000241
当β＝1时，计算差的真实平均值，并且当β＞1时，更大的差对平均值的影响更大。换言之，能量远高于阈值Lb的频带影响更大。在一些示例中，已经发现β＝8会产生适当的加权。最后，阈值Tb[n]可以计算为频带中的平滑信号能量减去平均差——如果该阈值小于固定阈值Lb。否则，根据一些实施方式，时变阈值可以保持等于固定阈值，例如，如下：
Figure BDA0003686862120000242
在一些替代性实施方式中，可以根据距离Db[n]的最大值而不是加权平均值来计算阈值：
Figure BDA0003686862120000243
然后，可以将每个阈值计算为将频带中的平滑信号能量减去最大距离再加上某个容差值Dtol——如果该阈值小于固定阈值：
Figure BDA0003686862120000244
容差值Dtol可以例如被设计为允许应用于每个频带的压缩量稍微变化。在一个具体实施例中，已发现Dtol＝12dB的实际值允许足够的变化。
在图2B所示的示例中，阈值201a是未隔离的频带的最低阈值。在一些这样的示例中，如果经由元素212选择了100％的音色保留，则没有其他非隔离频带能够超过该阈值。
图2C是示出一定范围的频率的阈值的示例的曲线图。在图2C的曲线图200C中，纵轴表示幅度，并且横轴表示频率。曲线图200C中所示的每个频率的阈值由线段203C和205C表示。线段203C表示低音范围内的隔离频带的阈值。线段203C旨在大致对应于针对图2B中所示的低音范围中四个隔离频带的阈值。
线段205C表示图2B的较高频带(高于低音范围中的四个隔离频带的那些频带)的激励，已对其应用了音色保留方法。在此，虚线204C指示独立频带与音色保留频带之间的边界。在一些示例中，在独立或隔离频带与音色保留频带之间可以存在多于一条边界。
在该示例中，可以看出，虽然图2B的较高频带的阈值不同，但是音色保留方法的输出已经将线段205C所表示的所有频率的激励限制为图2B的较高频带的最低阈值，即图2B的阈值201a。
在曲线图200C的示例中，控制系统(例如，实施图1M的水平调节器152的控制系统)已经响应于经由用户输入接收的用户输入水平调节指示而确定了多频带限制器配置。例如，用户可能已经使用遥控设备来调节音量。根据该实施方式，确定多频带限制器配置涉及确定音色保留配置，因为接收到的至少一种类型的水平调节指示是用户输入水平调节指示。在该示例中，如图1G和图1J中所示的示例，输入音频对应于处于会导致多频带限制器中的限制的水平的白噪声。在图2C和图2D所示的示例中，水平调节器已经基于可能已经经由用户输入或经由来自噪声估计器的输入接收的一个或多个水平调节指示将输入音频调节到该水平。可以看出，对于对应于线段205C的频带，音色在输出的激励中被完全保留。
图2D是示出一定范围的频率的阈值的另一个示例的曲线图。在图2D的曲线图200D中，纵轴表示幅度，并且横轴表示频率。曲线图200D中所示的每个频率的阈值由线段203D和205D表示。线段203D表示低音范围内的隔离频带的阈值。线段203D旨在大致对应于针对图2B中所示的低音范围中四个隔离频带的阈值。在该示例中，线段203D旨在与图2C的线段203C相同。
在该示例中，线段205D表示图2B的较高频带(高于低音范围中的四个隔离频带的那些频带)的激励，会对其正常应用音色保留方法。在此，虚线204D指示独立频带与通常会被应用音色保留方法的频带之间的边界。在一些示例中，在独立频带与通常会被应用音色保留方法的频带之间可以存在多于一条边界。
在曲线图200D的示例中，控制系统(例如，实施图1M的水平调节器152的控制系统)已经响应于从噪声补偿模块(例如，从图1M的噪声估计器159)接收的噪声补偿水平调节指示而确定了多频带限制器配置。根据该示例，确定多频带限制器配置涉及改变音色保留功能，因为接收到的至少一种类型的水平调节指示是噪声补偿水平调节指示。在该实施方式中，改变音色保留功能涉及至少部分地禁用音色保留功能。
根据该示例，噪声补偿水平调节指示对应于音频环境中的周围噪声水平，并且改变音色保留功能涉及至少部分地基于周围噪声水平来改变音色保留功能。在该示例中，噪声补偿水平调节指示会指示和/或响应于高周围噪声水平。在曲线图200D中可以看出，在该示例中，允许先前被调整为非独立且音色保留的图2B的频带(对应于线段205D的频带)变得完全独立。在该示例中，输入音频对应于处于会导致多频带限制器中的限制的水平的白噪声。
在一些实例中，一个或多个先前接收到的用户输入水平调节指示可能先前已将一个或多个频带的输入水平推入多频带限制器配置的限制区域中。根据一些这样的示例，得到的多频带限制器配置可以是205D和205C的线性组合(比如这两者之间的交叉渐变)。在一些其他实施方式中，响应于噪声补偿水平调节指示的多频带限制器配置可以覆盖(override)对用户输入水平调节指示的音色保留响应。下文描述了一些示例。
图2E是示出能够实施本公开的各个方面的装置的部件的示例的框图。与本文提供的其他图一样，图2E中示出的元件的类型和数量仅作为示例提供。其他实施方式可以包括更多、更少和/或不同类型和/或数量的元件。根据一些示例，装置240可以被配置用于执行本文公开的方法中的至少一些方法。在一些实施方式中，装置240可以是或可以包括电视、音频系统的一个或多个部件、移动设备(比如蜂窝电话)、膝上型计算机、平板设备、智能扬声器或另一种类型的设备。在一些实施方式中，装置240可以是或者可以包括电视控制模块。取决于特定实施方式，电视控制模块可以集成到电视中或可以不集成到电视中。在一些实施方式中，电视控制模块可以是与电视分开的设备，并且在一些实例中可以与电视分开售卖或作为购买的电视可以包括的附加或可选设备来售卖。在一些实施方式中，电视控制模块可以是可从内容提供商(比如电视节目、电影等的提供商)获得的。
根据一些替代性实施方式，装置240可以是或者可以包括服务器。在一些这样的示例中，装置240可以是或者可以包括编码器。因此，在一些实例中，装置240可以是被配置用于在比如家庭音频环境的音频环境内使用的设备，然而在其他实例中，装置240可以是或可以包括被配置用于在“云”中使用的设备，例如，服务器。
在该示例中，装置240包括接口系统207和控制系统210。在一些实施方式中，接口系统207可以被配置用于与音频环境的一个或多个其他设备通信。在一些示例中，音频环境可以是家庭音频环境。在其他示例中，音频环境可以是另一种类型的环境，比如办公室环境、汽车环境、火车环境、街道或人行道环境、公园环境等。在一些实施方式中，接口系统207可以被配置用于与音频环境的音频设备交换控制信息和相关联的数据。在一些示例中，控制信息和相关联的数据可以与装置240正执行的一个或多个软件应用程序有关。
在一些实施方式中，接口系统207可以被配置用于接收内容流或用于提供内容流。内容流可以包括音频数据。音频数据可以包括但可以不限于音频信号。在一些实例中，音频数据可以包括比如声道数据和/或空间元数据等空间数据。
接口系统207可以包括一个或多个网络接口和/或一个或多个外部设备接口(比如一个或多个通用串行总线(USB)接口)。根据一些实施方式，接口系统207可以包括一个或多个无线接口。接口系统207可以包括用于实施用户接口的一个或多个设备，比如一个或多个麦克风、一个或多个扬声器、显示系统、触摸传感器系统和/或手势传感器系统。在一些示例中，接口系统207可以包括控制系统210与存储器系统(比如图2E中示出的可选存储器系统215)之间的一个或多个接口。然而，在一些实例中，控制系统210可以包括存储器系统。在一些实施方式中，接口系统207可以被配置用于从环境中的一个或多个麦克风接收输入。
例如，控制系统210可以包括通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备、离散门或晶体管逻辑、和/或离散硬件部件。
在一些实施方式中，控制系统210可以存在于超过一个设备中。例如，在一些实施方式中，控制系统210的一部分可以存在于音频环境内的设备中，并且控制系统210的另一部分可以存在于音频环境之外的比如服务器、移动设备(例如，智能电话或平板计算机)等设备中。在其他示例中，控制系统210的一部分可以存在于本文描绘的环境之一内的设备中，并且控制系统210的另一部分可以存在于音频环境的一个或多个其他设备中。例如，控制系统功能可以跨音频环境的多个智能音频设备分布，或者可以由编排设备(比如本文中可以被称为智能家居中枢的设备)和音频环境的一个或多个其他设备共享。在其他示例中，控制系统210的一部分可以存在于实施基于云的服务的设备(比如服务器)中，并且控制系统210的另一部分可以存在于实施基于云的服务的另一设备(比如另一服务器、存储器设备等)中。在一些示例中，接口系统207还可以存在于超过一个设备中。
在一些实施方式中，控制系统210可以被配置用于至少部分地执行本文公开的方法。根据一些示例，控制系统210可以被配置用于实施内容流处理的方法。
本文描述的一些或所有方法可以由一个或多个设备根据被存储在一个或多个非暂态介质上的指令(例如，软件)来执行。这样的非暂态介质可以包括比如本文描述的存储器设备，包括但不限于随机存取存储器(RAM)设备、只读存储器(ROM)设备等。一种或多种非暂态介质可以例如存在于图2E中示出的可选存储器系统215和/或控制系统210中。因此，可以在其上存储有软件的一个或多个非暂态介质中实施本公开中所描述的主题的各个创新方面。例如，软件可以包括用于控制至少一个设备来处理内容流、编码内容流、解码内容流等的指令。例如，软件可以由比如图2E的控制系统210等控制系统的一个或多个部件执行。
在一些示例中，装置240可以包括图2E中示出的可选麦克风系统220。可选麦克风系统220可以包括一个或多个麦克风。在一些实施方式中，一个或多个麦克风可以是另一个设备(比如扬声器系统的扬声器、智能音频设备等)的一部分或与其相关联。在一些示例中，装置240可以不包括麦克风系统220。然而，在一些这样的实施方式中，装置240仍然可以被配置为经由接口系统210接收音频环境中的一个或多个麦克风的麦克风数据。在一些这样的实施方式中，装置240的基于云的实施方式可以被配置为经由接口系统210从音频环境中的一个或多个麦克风、或从包括至少一个麦克风的音频环境中的一个或多个设备接收麦克风数据或至少部分地与麦克风数据相对应的噪声指标。
根据一些实施方式，装置240可以包括图2E中示出的可选扩音器系统225。可选扩音器系统225可以包括一个或多个扩音器，该扩音器在本文中也可以被称为“扬声器”，或更通常地被称为“音频再现换能器”。在一些示例(例如，基于云的实施方式)中，装置240可以不包括扩音器系统225。然而，在一些这样的示例中，音频环境的一个或多个其他设备可以实施扩音器系统225。
在一些实施方式中，装置240可以包括图2E中示出的可选传感器系统230。可选传感器系统230可以包括一个或多个触摸传感器、手势传感器、运动检测器等。根据一些实施方式，可选传感器系统230可以包括一个或多个相机。在一些实施方式中，相机可以是独立式相机。在一些示例中，可选传感器系统230的一个或多个相机可以存在于智能音频设备中，该智能音频设备可以是单一用途音频设备或虚拟助理。在一些这样的示例中，可选传感器系统230的一个或多个相机可以存在于电视、移动电话或智能扬声器中。在一些示例中，装置240可以不包括传感器系统230。然而，在一些这样的实施方式中，装置240仍然可以被配置为经由接口系统210接收音频环境中的一个或多个传感器的传感器数据。
在一些实施方式中，装置240可以包括图2E中示出的可选显示系统235。可选显示系统235可以包括一个或多个显示器，比如一个或多个发光二极管(LED)显示器。在一些实例中，可选显示系统235可以包括一个或多个有机发光二极管(OLED)显示器。在一些示例中，可选显示系统235可以包括电视的一个或多个显示器。在其他示例中，可选显示系统235可以包括膝上型显示器、移动设备显示器或另一种类型的显示器。在其中装置240包括显示系统235的一些示例中，传感器系统230可以包括接近显示系统235的一个或多个显示器的触摸传感器系统和/或手势传感器系统。根据一些这样的实施方式，控制系统210可以被配置用于控制显示系统235来呈现一个或多个图形用户界面(GUI)。
根据一些这样的示例，装置240可以是或者可以包括智能音频设备。在一些这样的实施方式中，装置240可以是或者可以包括唤醒词检测器。例如，装置240可以是或者可以包括虚拟助理。
图3是概述所公开的方法的示例的流程图。与本文所描述的其他方法一样，不必以所指示的顺序来执行方法300的框。此外，这样的方法可以包括比所示出和/或所描述的框更多或更少的框。
方法300可以由比如图2E中示出且上文描述的装置240的装置或系统执行。在一些示例中，方法300的框可以由音频环境内的一个或多个设备执行，例如，音频系统控制器或音频系统的另一部件，比如智能扬声器、电视、电视控制模块、移动设备等。在一些实施方式中，音频环境可以包括家庭环境的一个或多个房间。在其他示例中，音频环境可以是另一种类型的环境，比如办公室环境、汽车环境、火车环境、街道或人行道环境、公园环境等。然而，在替代性实施方式中，方法300的至少一些框可以由实施基于云的服务的设备(比如服务器)来执行。
在该示例中，框301涉及由控制系统且经由接口系统(例如，由图2E的控制系统210且经由该图中的接口系统207)接收包括输入音频数据的内容流。在一些示例中，内容流可以包括与音频数据相对应的视频数据。在一些实施方式中，控制系统和接口系统可以是图2E中示出且上文描述的控制系统210和接口系统207。在一些实施方式中，控制系统可以是图1M中示出且上文描述的控制系统110。在一些示例中，框301可以涉及图1M的水平调节器152接收输入音频数据151。根据一些实施方式，框301可以涉及接收已编码的内容流。在这样的实施方式中，框301可以涉及对已编码的内容流进行解码。例如，内容流可以对应于电影、电视节目、音乐、音乐视频、播客等。
在该实施方式中，框305涉及由控制系统且经由接口系统接收与音频数据的回放有关的至少一种类型的水平调节指示。在一些实例中，至少一种类型的水平调节指示可以包括经由用户输入(例如，经由遥控装置、经由语音命令等)接收的用户输入水平调节指示。根据一些实施方式，框305可以涉及图1M的水平调节器152接收用户输入163。
可替代地或另外地，至少一种类型的水平调节指示可以包括从噪声补偿模块接收的噪声补偿水平调节指示。根据一些实施方式，框305可以涉及图1M的水平调节器152接收噪声估计器输出160。噪声补偿水平调节指示可以例如响应于由噪声补偿模块检测到的、或者由噪声补偿模块被配置为从其接收麦克风信号的一个或多个麦克风检测到的周围噪声水平。根据一些实施方式，框305可以涉及图1M的水平调节器152接收噪声估计器输出160。
在该示例中，框310涉及由控制系统基于至少一种类型的水平调节指示来控制输入音频数据的水平，以产生水平调节后的音频数据。根据一些实施方式，在框310中，图1M的水平调节器152可以基于用户输入163和/或噪声估计器输出160产生水平调节后的音频数据153。
根据该示例，框315涉及由控制系统且至少部分地基于至少一种类型的水平调节指示来确定多频带限制器配置。根据一些示例，图1M中所示的控制系统110可以至少部分地基于用户输入163和/或噪声估计器输出160来确定多频带限制器配置。在一些这样的示例中，图1M的水平调节器152可以至少部分地基于用户输入163和/或噪声估计器输出160来确定多频带限制器配置。
根据一些实施方式，确定多频带限制器配置可以涉及如果水平调节指示(例如，如果仅有的水平调节指示)是用户输入水平调节指示，则确定音色保留配置。在一些实例中，音色保留配置可以有关于频带。例如，一些频带可能部分隔离或完全隔离。根据一些示例，可以独立控制完全隔离的频带的水平，而不参考其他频带的水平和/或阈值。
在一些示例中，如果至少一种类型的水平调节指示是噪声补偿水平调节指示，则确定多频带限制器配置可以涉及改变音色保留功能。在一些这样的示例中，改变音色保留功能可以涉及至少部分地禁用音色保留功能。在一些实施方式中，噪声补偿水平调节指示可以对应于音频环境中的周围噪声水平。在一些这样的示例中，可以至少部分地基于周围噪声水平来改变音色保留功能。
根据一些实施方式，可以接收用户输入水平调节指示和噪声补偿水平调节指示两者。在一些这样的实施方式中，确定多频带限制器配置可以涉及确定部分音色保留配置，该部分音色保留配置至少部分地基于与用户输入水平调节指示相对应的多频带限制器配置和与噪声补偿水平调节指示相对应的多频带限制器配置的平均值(例如，加权平均值)。
在该示例中，框320涉及由控制系统根据多频带限制器配置来配置多频带限制器。
在一些这样的示例中，图1M的水平调节器152可以发送控制信号161，该控制信号指示供多频带限制器154应用的多频带限制器配置。在一些实施方式中，如果接收到的水平调节指示是用户输入水平调节指示，则多频带限制器154的音色保留设置可以被保持为例如在工厂最初调整后的多频带限制器154。这样的实施方式可以帮助确保当用户调节音量控制时用户具有愉快的体验。
根据一些示例，如果接收到的水平调节指示是噪声补偿水平调节指示，则多频带限制器154的音色保留设置可以例如与噪声补偿水平调节指示成比例地逐渐关闭。在一些这样的示例中，当存在噪声时，回放的音频内容可以在噪声下仍然可被理解，同时保真度的损失被噪声源掩蔽。
根据该实施方式，框325涉及将多频带限制器应用于水平调节后的音频数据，以产生多频带受限的音频数据。在一些这样的示例中，在框325中，图1M的多频带限制器154可以产生多频带受限的音频数据155。在一些实施方式中，方法300可以涉及在音频环境的一个或多个音频再现换能器上再现多频带受限的音频数据，以提供再现的音频数据。例如，方法300可以涉及经由图1M的扩音器156再现多频带受限的音频数据155。
图4A和图4B示出了音色保留修改器模块的示例。例如，音色保留修改器模块可以经由图1M的控制系统110或图2E的控制系统210来实施。在一些示例中，音色保留修改器模块403A和403B可以经由图1M的水平调节器152来实施。在一些替代性实施方式中，音色保留修改器模块403A和403B可以经由图1M的多频带限制器154或经由控制系统110的在图1M中未图示的另一个元件来实施。
在图4A所示的示例中，音色保留修改器模块403A被配置为控制在任何时间点使用的音色保留量。在该示例中，音色保留修改器模块403A被配置为至少部分地基于噪声估计402A来控制音色保留量。在该示例中，元素401A表示多频带限制器的原始音色保留设置。例如，元素401A可以表示由图2A和图2B所示的示例中的元素212指示的音色保留设置，例如，图2B的窗口部分212b中的数值。
噪声估计402A是本文中所谓的噪声补偿水平调节指示的示例。在一些示例中，噪声估计402A可以是可听频率的范围或可听频带的子集上的噪声水平的平均值、中值或最大值。在一些示例中，噪声估计402A可以是由噪声估计器159确定的提供给水平调节器152的周围噪声的频谱噪声估计。在一些实例中，水平调节器152(或控制系统的另一部件)可以被配置为基于噪声估计器输出160来确定噪声估计402A。
根据该示例，当噪声估计402A指示噪声水平高时，音色保留修改器模块403A被配置为将修改后的音色保留量404A中的音色保留量控制为低。相反，当噪声估计402A指示噪声水平低时，音色保留修改器模块403A被配置为将修改后的音色保留量404A中的音色保留量控制为高(或不修改)。
在图4B所示的示例中，音色保留修改器模块403B被配置为至少部分地基于噪声估计402A和用户音量设置463来控制音色保留量。用户音量设置463是本文中所谓的用户输入水平调节指示的示例。
根据该示例，音色保留修改器模块403B被配置为根据以下表达式确定修改后的音色保留量404B：
音色保留量＝A*gainuser+B*gainnoisecomp (等式4)
在等式4中，A表示原始音色保留量，其对应于该示例中的元素401A。例如，A可以表示由图2A和图2B所示的示例中的元素212指示的音色保留设置，例如，图2B的窗口部分212b中的数值。在此，gainuser表示用户应用的增益，即图4B所示的示例中的用户音量设置463。在等式4中，gainnoisecomp表示噪声补偿水平调节指示，即图4B所示的示例中的噪声估计402A。在宽带噪声补偿系统的情况下，gainnoisecomp可以是宽带增益。可替代地，gainnoisecomp可以是由多频带噪声补偿系统应用的加权平均增益。在等式4中，B表示音色保留值。音色保留值B可以例如指示允许的最小音色保留量。音色保留值B可以指示例如当音量已经主要由噪声补偿器调节时系统将具有多少音色保留。音色保留值B可以例如由制造商在设备调整操作期间设置。
根据一些实施方式，等式4的“gain”项并非旨在表示未修改的增益，而是旨在表示由控制系统应用的增益的一定比例。例如，如果控制系统应用的增益的75％是基于用户音量设置463，则gainuser将为0.75。相应地，25％的增益将基于噪声估计402A，因此gainnoisecomp将为0.25。
根据该示例，如果噪声估计402A低，则音色保留量将接近于原始调整音色保留值(由A增益项表示)。在该示例中，如果用户音量设置463高并且噪声估计402A也高，则将与用户音量设置463和噪声估计402A的相对值成比例地部分保留音色。根据该示例，如果噪声估计402A高而用户音量设置463低，则等式4的B增益项将占主导地位并且音色将不会被保留。
图4C示出了频带隔离修改器的示例。频带隔离修改器405可以例如经由图2E的控制系统210来实施。在一些实施方式中，频带隔离修改器405可以经由图1M的控制系统110(例如，经由水平调节器152和/或多频带限制器154)来实施。在一些实施方式中，频带隔离修改器405可以被实施为包括音色保留修改器模块403A或音色保留修改器模块403B的实施方式的替代方案。然而，一些实施方式可以包括频带隔离修改器405以及音色保留修改器模块403A或音色保留修改器模块403B，例如，以允许对低音频带(比如图2B的被示为完全隔离的4个低音频带)进行频带隔离修改。
在该示例中，频带隔离修改器405被示为接收多个频带中的每个频带的隔离设置413。在一些实例中，多个频带可以包括所有频带。在其他示例中，多个频带可以包括另外地将应用音色保留的频带，例如，图2B的非隔离频带。
根据该示例，频带隔离修改器405还被示为接收可选的用户音量设置463和噪声估计402A。在一些示例中，噪声估计402A可以针对特定频带。在替代性示例中，噪声估计402A可以针对频带的子集，例如，其隔离值可能被频带隔离修改器405修改的频带的子集。在一些示例中，噪声估计402A可以针对所有频带。
在该示例中，频带隔离修改器405被配置为确定是否修改频带的隔离值，并且如果是，则产生针对该频带的修改后的频带隔离值407。频带隔离值修改可以是二元修改或非二元修改，这取决于具体实施方式。在二元修改的情况下，在一些示例中，如果周围噪声水平高，则频带隔离值可以从非隔离转换为隔离。在一些这样的示例中，如果周围噪声水平低或者频带已经隔离，则频带隔离值可以不变。在一些示例中，周围噪声水平可以基于全频谱。在其他示例中，周围噪声水平可以特定于隔离可能被修改的频带频率。
在一些替代性实施方式中，频带可以部分地隔离(例如，25％隔离、50％隔离、75％隔离等)，而不是完全隔离或完全不隔离。在一些这样的示例中，频带的隔离程度可以对应于音频环境中的周围噪声水平。例如，频带的隔离程度可以对应于加权值，该加权值用于在音色保留方法中对选定频带进行比非隔离频带更轻的加权。
在一些这样的示例中，频带对音色保留算法的影响被加权的程度可以例如对应于(1-I)，其中，I表示频带的隔离程度。在一个这样的示例中，如果频带75％隔离，则I等于0.75，并且该频带对音色保留算法的影响被加权的程度将为0.25。在另一个这样的示例中，如果频带100％隔离，则I等于1.0，并且该频带对音色保留算法的影响被加权的程度将为0.0：换言之，与该频带相对应的阈值不会在音色保留计算中使用。
返回到图3，在一些示例中，方法300可以涉及控制系统例如响应于预定输入、指标和/或情况而引起噪声补偿模块操作改变。例如，如上面参考图1M所描述的，在一些实施方式中，水平调节器152可以被配置为将控制信号164发送到噪声估计器159。在一些实施方式中，多频带限制器154可以被配置为将控制信号167发送到噪声估计器159。在一些示例中，控制信号164和/或控制信号167可以引起噪声补偿模块操作改变(例如，引起噪声估计器159的功能改变)。噪声补偿模块可以是控制系统的子系统或模块，例如，如图1M所示。
一些这样的示例可以涉及当多频带受限的音频数据(例如，由多频带限制器154输出的多频带受限的音频数据155)使音频环境的一个或多个音频再现换能器(例如，扩音器156)在线性范围之外操作时，引起噪声补偿模块操作改变。在一些这样的实例中，控制系统可以至少部分地基于噪声补偿水平调节指示和/或周围噪声估计使音频环境的一个或多个音频再现换能器在线性范围之外操作。例如，使音频环境的一个或多个音频再现换能器在线性范围之外操作的多频带受限的音频数据可以基于与音频环境中的高周围噪声水平相对应的噪声补偿水平调节。
根据一些示例，噪声补偿模块操作改变可以涉及改变噪声补偿模块的回声消除器功能。例如，噪声补偿模块操作改变可以涉及使噪声补偿模块仅使用“安静”回放间隔作为噪声补偿模块的噪声估计器的输入。“安静”回放间隔可以是在频带或时间间隔中的至少一者中处于或低于阈值水平(例如，预定阈值水平)的音频信号的实例。在一些实施方式中，“安静”回放间隔可以是音频环境的音频再现换能器在其线性范围内起作用的实例。
如本文的其他地方所指出的，在一些实施方式中，控制系统的水平调节器模块(例如，图1M的水平调节器152)可以被配置用于控制输入音频数据的水平，以产生水平调节后的音频数据(例如，水平调节后的音频数据153)。在一些这样的实施方式中，方法300还可以涉及例如经由图1M中图示的控制信号162从多频带限制器向水平调节器模块提供多频带限制器反馈。根据一些这样的示例，多频带限制器反馈可以指示多频带限制器对水平调节后的音频数据的多个频带中的每个频带应用的限制量。
在一些这样的实施方式中，方法300还可以涉及由水平调节器模块至少部分地基于多频带限制器反馈来控制多个频带中的一个或多个频带的水平。在一些这样的示例中，方法300可以涉及至少部分地基于指示多个频带中的一个或多个频带或其他频带的水平受到限制的多频带限制器反馈来降低一个或多个频带的水平。在一些示例中，水平调节器可以被配置用于根据来自多频带限制器的压缩反馈信号来修改水平调节后的音频数据，如上面参考图1N描述的。
图5是概述另一种所公开的方法的示例的流程图。与本文所描述的其他方法一样，不必以所指示的顺序来执行方法500的框。此外，这样的方法可以包括比所示出和/或所描述的框更多或更少的框。
方法500可以由比如图2E中示出且上文描述的装置240的装置或系统执行。在一些示例中，方法500的框可以由音频环境内的一个或多个设备执行，例如，音频系统控制器或音频系统的另一部件，比如智能扬声器、电视、电视控制模块、智能扬声器、移动设备等。在一些实施方式中，音频环境可以包括家庭环境的一个或多个房间。在其他示例中，音频环境可以是另一种类型的环境，比如办公室环境、汽车环境、火车环境、街道或人行道环境、公园环境等。然而，在替代性实施方式中，方法500的至少一些框可以由实施基于云的服务的设备(比如服务器)来执行。
在该示例中，框505涉及由控制系统且经由接口系统(例如，由图2E的控制系统210且经由该图中的接口系统207)接收包括输入音频数据的内容流。在一些示例中，内容流可以包括与音频数据相对应的视频数据。在一些实施方式中，控制系统和接口系统可以是图2E中示出且上文描述的控制系统210和接口系统207。在一些实施方式中，控制系统和接口系统可以是图1M中示出且上文描述的控制系统110。在一些示例中，框505可以涉及图1M的水平调节器152接收输入音频数据151。根据一些实施方式，框505可以涉及接收已编码的内容流。在这样的实施方式中，框505可以涉及对已编码的内容流进行解码。例如，内容流可以对应于电影、电视节目、音乐、音乐视频、播客等。
根据该示例，框510涉及由控制系统将多频带限制器应用于音频数据或音频数据的已处理版本，以产生多频带受限的音频数据。在一些这样的示例中，在框510中，图1M的多频带限制器154可以产生多频带受限的音频数据155。
在该示例中，框515涉及确定当在音频环境的一个或多个音频再现换能器上回放时，多频带受限的音频数据是否会使一个或多个音频再现换能器在线性范围之外操作。在一些这样的示例中，控制系统可以至少部分地基于噪声补偿水平调节指示或噪声估计中的至少一者而使音频环境的一个或多个音频再现换能器在线性范围之外操作。例如，使音频环境的一个或多个音频再现换能器在线性范围之外操作的多频带受限的音频数据可以基于与音频环境中的高周围噪声水平相对应的噪声补偿水平调节。
在一些实施方式中，框515可以涉及参考指示针对多个频带中的每个频带的在线性范围内操作的最大水平的数据结构。在一些这样的示例中，这些最大线性范围水平可以对应于图2A和图2B的圆点201。例如，控制系统可以从存储器中取得最大线性范围水平。在一些示例中，框515可以涉及参考指示针对多个频带中的每个频带的在非线性范围内操作的最大水平的数据结构。在一些这样的示例中，这些最大非线性范围水平可以对应于图2A和图2B的点218。
根据该示例，框520涉及由控制系统基于多频带受限的音频数据是否会使音频环境的一个或多个音频再现换能器在线性范围之外操作来控制声学回声消除器是否更新一个或多个滤波器系数。根据一些这样的示例，控制声学回声消除器是否更新一个或多个滤波器系数可以涉及如果多频带受限的音频数据会使音频环境的一个或多个音频再现换能器在线性范围之外操作，则控制声学回声消除器不更新一个或多个滤波器系数。在一些示例中，框520可以涉及由控制系统基于多频带受限的音频数据是否会使音频环境的一个或多个音频再现换能器在线性范围之外操作来控制噪声估计器是否更新噪声估计。根据一些这样的示例，噪声估计器可以不被配置为实施声学回声消除器。
例如，声学回声消除器通常可以通过更新(例如，周期性地更新)针对多个频带中的每个频带的自适应滤波器系数来操作。在一些实例中，声学回声消除器可以由图1M的噪声估计器159实施。在一些这样的实施方式中，如果多频带受限的音频数据155将使扩音器156(或音频环境的一个或多个其他音频再现换能器)在线性范围之外操作，则控制信号164(或控制信号167)可以控制噪声估计器159的声学回声消除器不更新滤波器系数。根据一些实施方式，噪声补偿系统150可以包括被配置为唤醒词检测器的一个或多个设备。在一些这样的实施方式中，可以将麦克风信号158的回声消除版本提供给唤醒词检测器。在一些实例中，声学回声消除器可以由被配置为唤醒词检测器的设备实施。在多频带受限的音频数据155会使音频环境的一个或多个其他音频再现换能器在线性范围之外操作的情况下不更新滤波器系数可以提高唤醒词检测器的性能，这至少部分是因为被提供给唤醒词检测器的麦克风信号158的回声消除版本可以更准确地对应于被提供给唤醒词检测器的语音命令。在此，框525涉及将多频带受限的音频数据提供给音频环境的一个或多个音频再现换能器。
在一些示例中，方法500(例如，框510)可以涉及将多频带限制器应用于水平调节后的音频数据，例如，如上面参考图3所描述的。在这样的示例中，水平调节后的音频数据是在框510中提及的“音频数据的已处理版本”的示例。这样的示例可以涉及由控制系统基于至少一种类型的水平调节指示来控制输入音频数据的水平，以产生水平调节后的音频数据。一些这样的示例可以涉及：由控制系统接收与音频数据的回放有关的至少一种类型的水平调节指示；由控制系统且至少部分地基于至少一种类型的水平调节指示来确定多频带限制器配置；以及由控制系统根据多频带限制器配置来配置多频带限制器。在一些示例中，至少一种类型的水平调节指示可以包括经由用户输入接收的用户输入水平调节指示或从包括声学回声消除器的噪声补偿模块接收的噪声补偿水平调节指示中的至少一者。
根据一些实施方式，确定多频带限制器配置可以涉及如果水平调节指示(例如，如果仅有的水平调节指示)是用户输入水平调节指示，则确定音色保留配置。在一些实例中，音色保留配置可以取决于频带。例如，一些频带可能部分隔离或完全隔离。可以独立控制完全隔离的频带的水平，而不参考其他频带的水平和/或阈值。
在一些示例中，如果接收至少一种类型的水平调节指示是噪声补偿水平调节指示，则确定多频带限制器配置可以涉及改变音色保留功能。在一些这样的示例中，改变音色保留功能可以涉及至少部分地禁用音色保留功能。在一些实施方式中，噪声补偿水平调节指示可以对应于音频环境中的周围噪声水平。在一些这样的示例中，可以至少部分地基于周围噪声水平来改变音色保留功能。
根据一些实施方式，可以接收用户输入水平调节指示和噪声补偿水平调节指示两者。在一些这样的实施方式中，确定多频带限制器配置可以涉及确定音色保留配置，该音色保留配置至少部分地基于与用户输入水平调节指示相对应的多频带限制器配置和与噪声补偿水平调节指示相对应的多频带限制器配置的平均(例如，加权平均)。
在一些示例中，方法500可以涉及在音频环境的一个或多个音频再现换能器上再现多频带受限的音频数据，以提供再现的音频数据。
根据一些示例，噪声补偿模块操作改变可以涉及改变噪声补偿模块的替代性或附加的回声消除器功能。例如，噪声补偿模块操作改变可以涉及使噪声补偿模块仅使用“安静”回放间隔作为噪声补偿模块的噪声估计器的输入。“安静”回放间隔可以是在频带或时间间隔中的至少一者中处于或低于阈值水平(例如，预定阈值水平)的音频信号的实例。
在一些这样的实施方式中，方法500还可以涉及例如经由图1M中图示的控制信号162从多频带限制器向水平调节器模块提供多频带限制器反馈。根据一些这样的示例，多频带限制器反馈可以指示多频带限制器对水平调节后的音频数据的多个频带中的每个频带应用的限制量。
在一些这样的实施方式中，方法500还可以涉及由水平调节器模块至少部分地基于多频带限制器反馈来控制多个频带中的一个或多个频带的水平。在一些这样的示例中，方法500可以涉及至少部分地基于指示多个频带中的一个或多个频带或其他频带的水平受到限制的多频带限制器反馈来降低一个或多个频带的水平。
图6A是示出扩音器过驱动的时间间隔的示例的曲线图。图6A的元素如下：
·601：回声参考的幅度轴，回声参考在本文中也可以称为回声消除器的“扬声器参考”或“扩音器参考”。回声参考的一个示例是图1M的多频带受限的音频数据155；
·602：回声参考的时间轴。时间轴602具有与图6B的曲线图相同的尺度；
·603：通过音频环境的音频系统播放的内容(音频数据)中的一部分。在该示例中，音频数据表示为正弦的，并且扩音器没有过驱动。因此，声学回声消除器在对应的时间间隔期间更新其滤波器系数；
·604：扩音器过驱动的时间间隔的开始；
·605：幅度较大的正弦波，表示在控制系统不允许扩音器过驱动时多频带限制器将限制的音频数据；
·606：扬声器过驱动的时间间隔的结束；
·607：幅度较小的正弦波，表示扩音器再次在其线性范围内操作的时间间隔期间的音频数据；
·614：指示扬声器到麦克风路径在该特定频率范围内不再呈线性的限制。当图6A的阈值614被超过时，从扩音器156到麦克风157的音频路径165(参见图1M)可以包括与扩音器156的非线性失真相对应的至少一些声音。在一些示例中，阈值614可以对应于特定频带的单个阈值(例如，图2A的阈值201)。超过该阈值614，回声消除器将难以对系统建模，因为回声消除器将要建模的已再现声音的至少一部分包括非线性失真。然而，由于在许多实例中图6B的对应过驱动设置是在短时间内持续的这一事实，因此回声消除器在此期间不更新模型可能是可接受的，因为在过驱动时间间隔之前最近计算的系数将会更准确。类似地，因为在提供给噪声估计器的麦克风信号中包括的周围噪声将在过驱动时间间隔期间包括非线性失真，所以在一些实施方式中，控制系统将使噪声估计器在过驱动时间间隔期间不提供更新的噪声估计。
图6B示出了可以被发送到与图6A的曲线图相对应的回声消除器的信号的示例。在该示例中，图6B的信号指示控制系统何时实施“过驱动”模式，在此期间控制系统(例如，图1M的水平调节器152)可以配置多频带限制器以允许一些失真(例如，以便在存在周围噪声的情况下增大播放音量)，从而使音频环境的一个或多个音频再现换能器在线性范围之外操作。“过驱动”模式可以根据特定实施方式而变化。例如，在“过驱动”模式期间允许的过驱动的量可以有关于频率，并且在一些示例中，可以在调整过程(例如，工厂调整过程)期间设置。在一些实例中，在较低频率下允许的过驱动量可以大于在较高频率下允许的过驱动量，因为与在人类可听频率范围内的较高频率下相比，人类对较低频率下的失真更不敏感。根据该示例，图6B的信号指示声学回声消除器是否应该更新其滤波器系数。
例如，图6B的信号可以被发送到由图1M的噪声估计器159实施的回声消除器。例如，图6B的信号可以是由多频带限制器154发送到噪声估计器159的信号167的示例。在替代性示例中，图6B的信号可以由宽带限制器或由图1M的水平调节器152发送到回声消除器。
在该示例中，图6B的元素如下：
·608：过驱动信号轴。在该示例中，当扩音器被过驱动时，过驱动信号为1，而当扩音器未过驱动时，过驱动信号为0；
·609：时间轴；
·610：扩音器从被线性驱动变为被过驱动的交叉时间；
·611：如由过驱动信号值1所指示的扩音器被过驱动的时间间隔；
·612：扩音器从被过驱动变为线性操作的交叉时间；
·613：如过驱动信号值0所指示的扩音器正处于线性操作的时间间隔。
因此，在该示例中，提供给回声消除器的信号包括回声参考和指示扬声器是否在其线性区域之外操作的过驱动信号值。当过驱动信号值为高(例如，1)时，在一些示例中，噪声估计器的噪声估计将不会更新，以确保噪声估计保持准确。根据一些实施方式，当过驱动信号值为高时，可以使噪声估计器停止或暂停提供噪声估计或者提供相同的未更新的噪声估计。在一些实施方式中，过驱动信号值对于整个频谱仅由单个位构成，并且在时域中起作用。这样的实施方式具有不需要扬声器的非线性模型的优点。在一些实施方式中，可以通过嵌入附加位作为音频流本身的一部分(例如，作为最低有效位(significant bit))来实施过驱动信号。
在一些替代性实施方式中，可以在每个频带的基础上提供过驱动信号。在一些这样的实施方式中，假设失真产物是谐波失真或互调失真(例如，使用原始内容的谐波级数来预测谐波失真，并且使用沃尔泰拉级数(Volterra series)来预测互调失真)，并且因此出现失真产物的频带应该是可预测的。根据一些这样的示例，如果已知失真产物的频率，则当已知扩音器在将会生成那些频率的频带中过驱动时，回声消除器将不会更新那些频率。在一些示例中，如果已知失真产物的频率，则当已知扩音器在将会生成那些频率的频带中过驱动时，噪声估计器将不会提供这些频率的更新的噪声估计。
图7示出了被配置为至少部分地基于系统中发生的“过驱动”量来控制声学回声消除器(AEC)的系统。在一些相关实施方式中，类似于图7中所示的系统可以控制噪声估计器作为AEC的补充或替代方案。在一些示例中，图7的块由图2E的控制系统210的实例或图1M的控制系统110的实例实施。根据该实施方式，图7的元素如下：
·701A：多频带限制器的输入信号；
·702A：多频带限制器，在该示例中，该多频带限制器具有调整，该调整包括多个频带中的每个频带的阈值，在高于该阈值时，扩音器将在其线性区域之外操作。在该示例中，多频带限制器702A还实施过驱动超过/超越(override)这些阈值的能力，以便以扩音器失真增大为代价提供附加的音量(例如，在高周围噪声水平时段期间)；
·703A：系统中发生的过驱动的量。在一些示例中，元素703A可以对应于上面参考图6A和图6B所描述的过驱动信号；
·704A：AEC控制器。在该示例中，AEC控制器704A被配置为基于将由一个或多个扩音器产生的失真量来指示AEC 707A是否应该更新其系数；
·705A：指示AEC 707A是否应该更新其系数的信号；
·706A：回声参考(或扬声器馈送)。一个示例是图1M的多频带受限的音频数据155；
·707A：AEC。在该示例中，AEC 707A是可以基于信号705A可选地更新其系数的线性回声消除器。
图8示出了被配置为确定过驱动量的系统的示例。根据该实施方式，图8的元素如下：
·801A：进入多频带限制器的输入信号。在一些示例中，输入信号801A可以对应于图1M的水平调节后的音频数据153；
·802A：扩音器模型，基于音频环境的一个或多个扩音器的能力，该扩音器模型可以包括多个频带中的每个频带的限制器阈值。在一些实施方式中，扩音器模型802A可以对应于音频环境中能力最差的扩音器。在一些实例中，扩音器模型802A可以是更复杂的模型，比如谐波失真模型或互调失真模型；
·803A：过驱动确定模块。在一些示例中，过驱动确定模块803A可以由图2E的控制系统210的实例或图1M的控制系统110的实例实施。在一些示例中，过驱动确定模块803A可以由多频带限制器实施。在一些示例中，过驱动确定模块803A被配置为确定系统将允许在扬声器馈送信号中向音频环境的一个或多个扩音器提供的过驱动量。在一些示例中，过驱动确定模块803A可以被配置为根据噪声估计来决定过驱动量：如果噪声估计高，则在一些这样的示例中，在由过驱动引起的任何失真都将被掩蔽的假设下，允许系统过驱动。在一些示例中，过驱动确定模块803A可以被配置为结合比如谐波失真模型等更复杂的模型，以预测扬声器将生成的失真量。
·804A：要在多频带限制器中使用的过驱动设置；
·805A：周围噪声的指示。
图9是根据一个示例的噪声估计和输出水平的曲线图。在该示例中，限制以及音色保留量或过驱动量是基于背景噪声水平来确定的。根据该示例，如果背景噪声水平低，则系统的音色保留保持在最大值。在该示例中，如果背景噪声水平高，则关闭音色保留以最大化系统的音量。在一些实施方式中，可以基于背景噪声水平是否高来确定过驱动量。
根据该示例，图9的元素如下：
·901：以赫兹为单位的频率轴；
·902：系统的声学水平，以dB为单位的声压级(SPL)；
·903：播放音频的(多个)音频再现换能器的输出水平；
·904：高SPL背景噪声估计的示例。由于高SPL背景噪声估计，因此在一些实施方式中，控制系统可以确定或估计音频的相对大量的声学掩蔽是可能的；
·905：中等SPL背景噪声估计的示例。由于中等SPL背景噪声估计，因此在一些实施方式中，控制系统可以确定或估计音频的一些声学掩蔽是可能的；
·906：低SPL背景噪声估计的示例。由于低SPL背景噪声估计，因此在一些实施方式中，控制系统可以确定或估计小可能到几乎不可能发生音频的声学掩蔽；
·907：高SPL背景水平与系统的已再现音频的声学水平之间的差。在该示例中，控制系统将以在大多数频带中关闭音色保留的方式操作多频带限制器。根据一些示例，可以增大过驱动量以确保噪声水平与音频信号之间的差保持处于或高于阈值(例如，确保差907至少为2dB、3dB、4dB、5dB等)。在一些这样的实施方式中，噪声估计器/AEC将如上面参考图7所描述的那样被通知。在一些这样的实施方式中，控制系统可以允许(多个)音频再现换能器过驱动，因为控制系统已经确定或估计可能发生音频的相对大量的声学掩蔽，并且因此将可能听不出引入的失真。
·908：低SPL背景水平与系统回放的音频的声学水平之间的差。在一些这样的示例中，控制系统将以最高音色保留水平或至少比在高背景噪声实例期间更高的音色保留水平操作多频带限制器。根据一些示例，“最高”音色保留水平可以对应于用于低噪声或无噪声条件的基线音色保留设置(例如，工厂设置)。在一些实施方式中，控制系统将不会使(多个)音频再现换能器过驱动，因为控制系统已经确定或估计几乎不会或完全不会发生音频的声学掩蔽，并且因此很可能会听出引入的失真。
·909：中等SPL背景水平与系统回放的音频的声学水平之间的差。在一些实施方式中，音色保留量将介于上面参考元素908和907描述的量之间。在一些这样的示例中，使系统过驱动将是不必要的或不期望的，因为控制系统已经确定或估计仅会发生音频的中等量的声学掩蔽，并且因此可能会听出引入的失真。
图10示出了音频环境的平面图的示例，该音频环境在该示例中是生活空间。与本文提供的其他图一样，图10中示出的元件的类型和数量仅作为示例提供。其他实施方式可以包括更多、更少和/或不同类型和数量的元件。
根据该示例，环境1000包括在左上方处的客厅1010、在下方中央处的厨房1015、以及在右下方的卧室1022。跨生活空间分布的方框和圆圈表示一组扩音器1005a至1005h，该一组扩音器中的至少一些扩音器在一些实施方式中可以是智能扬声器，被放置在对空间方便的位置，但不遵循任何标准规定的布局(任意地放置)。在一些示例中，电视1030可以被配置为至少部分地实施一个或多个公开的实施例。在该示例中，环境1000包括分布在整个环境中的相机1011a至1011e。在一些实施方式中，环境1000中的一个或多个智能音频设备还可以包括一个或多个相机。该一个或多个智能音频设备可以是单一用途音频设备或虚拟助理。在一些这样的示例中，可选传感器系统130的一个或多个相机可以存在于电视1030中或上、在移动电话中或在智能扬声器(比如扩音器1005b、1005d、1005e或1005h中的一个或多个)中。尽管在本公开中呈现的环境1000的每个描绘中都未示出相机1011a至1011e，但在一些实施方式中，每个环境1000仍然可以包括一个或多个相机。
本公开的一些方面包括一种被配置(例如，被编程)成执行所公开的方法的一个或多个示例的系统或设备，以及一种存储用于实施所公开的方法或其步骤的一个或多个示例的代码的有形计算机可读介质(例如，磁盘)。例如，一些公开的系统可以是或者包括可编程通用处理器、数字信号处理器或微处理器，该可编程通用处理器、数字信号处理器或微处理器用软件或固件编程为和/或以其他方式被配置为对数据执行各种操作中的任一个，包括所公开的方法或其步骤的实施例。这样的通用处理器可以是或者包括计算机系统，该计算机系统包括输入设备、存储器和处理子系统，该处理子系统被编程(和/或以其他方式被配置)为响应于向其断言的数据而执行所公开的方法(或其步骤)的一个或多个示例。
一些实施例可以被实施为可配置的(例如，可编程的)数字信号处理器(DSP)，该数字信号处理器被配置(例如，被编程和以其他方式被配置)为对(多个)音频信号执行需要的处理，包括对所公开的方法的一个或多个示例的执行。可替代地，所公开的系统(或其元件)的实施例可以被实施为通用处理器(例如，个人计算机(PC)或其他计算机系统或微处理器，其可以包括输入设备和存储器)，该通用处理器用软件或固件编程为和/或以其他方式被配置为执行各种操作中的任一个，包括所公开的方法的一个或多个示例。可替代地，本发明系统的一些实施例的元件被实施为被配置(例如，被编程)成执行所公开的方法的一个或多个示例的通用处理器或DSP，并且该系统还包括其他元件(例如，一个或多个扩音器和/或一个或多个麦克风)。被配置为执行所公开的方法的一个或多个示例的通用处理器可以耦接到输入设备(例如，鼠标和/或键盘)、存储器和显示设备。
本公开的另一方面是一种计算机可读介质(例如，磁盘或其他有形存储介质)，该计算机可读介质存储用于执行所公开方法或其步骤的一个或多个示例的代码(例如，可执行以执行所公开方法或其步骤的一个或多个示例的编码器)。
虽然在本文中已经描述了本公开的具体实施例和本公开的应用，但是对于本领域普通技术人员而言显而易见的是，在不脱离本文描述的并要求保护的本公开的范围的情况下，可以对本文描述的实施例和应用进行许多改变。应当理解，虽然已经示出和描述了本公开的某些形式，但是本公开不限于所描述和示出的具体实施例或所描述的具体方法。

Claims (21)

1.一种音频处理方法，包括：
由控制系统且经由接口系统接收包括输入音频数据的内容流；
由所述控制系统且经由所述接口系统接收与所述音频数据的回放有关的至少一种类型的水平调节指示；
由所述控制系统基于所述至少一种类型的水平调节指示来控制所述输入音频数据的水平，以产生水平调节后的音频数据；
由所述控制系统且至少部分地基于所述至少一种类型的水平调节指示来确定多频带限制器配置；
由所述控制系统根据所述多频带限制器配置来配置多频带限制器；
将所述多频带限制器应用于所述水平调节后的音频数据，以产生多频带受限的音频数据；以及
将所述多频带受限的音频数据提供给音频环境的一个或多个音频再现换能器。
2.如权利要求1所述的音频处理方法，其中，所述至少一种类型的水平调节指示包括经由用户输入接收的用户输入水平调节指示或从噪声补偿模块接收的噪声补偿水平调节指示中的至少一者。
3.如权利要求2所述的方法，其中，如果接收所述至少一种类型的水平调节指示涉及接收所述用户输入水平调节指示，则确定所述多频带限制器配置涉及确定音色保留配置。
4.如权利要求2或权利要求3所述的方法，其中，如果接收所述至少一种类型的水平调节指示涉及接收所述噪声补偿水平调节指示，则确定所述多频带限制器配置涉及改变音色保留功能。
5.如权利要求4所述的方法，其中，改变所述音色保留功能涉及至少部分地禁用所述音色保留功能。
6.如权利要求4或权利要求5所述的方法，其中，所述噪声补偿水平调节指示对应于所述音频环境中的周围噪声水平，并且其中，改变所述音色保留功能涉及至少部分地基于所述周围噪声水平来改变所述音色保留功能。
7.如权利要求6所述的方法，进一步包括在所述音频环境的所述一个或多个音频再现换能器上再现所述多频带受限的音频数据以提供再现的音频数据，进一步包括确定所述周围噪声水平对所述再现的音频数据的掩蔽效果，其中，改变所述音色保留功能涉及至少部分地基于所述掩蔽效果来改变所述音色保留功能。
8.如权利要求3至7中任一项所述的方法，其中，所述音色保留配置与频带有关。
9.如权利要求2所述的方法，其中，接收所述至少一种类型的水平调节指示涉及接收所述用户输入水平调节指示和所述噪声补偿水平调节指示两者，并且其中，确定所述多频带限制器配置涉及确定音色保留配置，所述音色保留配置至少部分地基于所述用户输入水平调节指示和所述噪声补偿水平调节指示的加权平均值。
10.如权利要求2至9中任一项所述的方法，进一步包括当所述多频带受限的音频数据使所述音频环境的一个或多个音频再现换能器在线性范围之外操作时引起噪声补偿模块操作改变。
11.如权利要求10所述的方法，其中，所述控制系统至少部分地基于噪声补偿水平调节指示或噪声估计中的至少一者，使所述音频环境的所述一个或多个音频再现换能器在所述线性范围之外操作。
12.如权利要求10所述的方法，其中，所述噪声补偿模块操作改变涉及改变所述噪声补偿模块的回声消除器功能。
13.如权利要求11或权利要求12所述的方法，其中，所述噪声补偿模块操作改变涉及使所述噪声补偿模块仅使用安静回放间隔作为所述噪声补偿模块的噪声估计器的输入，所述安静回放间隔是在频带或时间间隔中的至少一者中处于阈值水平或低于阈值水平的音频信号的实例。
14.如权利要求11至13中任一项所述的方法，其中，使所述音频环境的一个或多个音频再现换能器在线性范围之外操作的所述多频带受限的音频数据基于噪声补偿水平调节，所述噪声补偿水平调节与所述音频环境中的高周围噪声水平相对应。
15.如权利要求2至14中任一项所述的方法，其中，所述噪声补偿模块是所述控制系统的子系统。
16.如权利要求1至15中任一项所述的方法，其中，所述控制系统的水平调节器模块被配置用于控制所述输入音频数据的所述水平，以产生所述水平调节后的音频数据，进一步包括从所述多频带限制器向所述水平调节器模块提供多频带限制器反馈。
17.如权利要求16所述的方法，其中，所述多频带限制器反馈指示所述多频带限制器对所述水平调节后的音频数据的多个频带中的每一个频带应用的限制的量。
18.如权利要求17所述的方法，进一步包括由所述水平调节器模块至少部分地基于所述多频带限制器反馈来控制所述多个频带中的一个或多个频带的水平。
19.一种装置，所述装置被配置用于实施如权利要求1至18中任一项所述的方法。
20.一种系统，所述系统被配置用于实施如权利要求1至18中任一项所述的方法。
21.一个或多个非暂态介质，其上存储有软件，所述软件包括用于控制一个或多个设备执行如权利要求1至18中任一项所述的方法的指令。
CN202080085765.3A 2019-12-09 2020-12-09 多频带限制器模式和噪声补偿方法 Pending CN114868403A (zh)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
US201962945292P 2019-12-09 2019-12-09
US201962945303P 2019-12-09 2019-12-09
US201962945607P 2019-12-09 2019-12-09
US62/945,303 2019-12-09
US62/945,292 2019-12-09
US62/945,607 2019-12-09
US202063198995P 2020-11-30 2020-11-30
US202063198998P 2020-11-30 2020-11-30
US202063198996P 2020-11-30 2020-11-30
US202063198997P 2020-11-30 2020-11-30
US202063198999P 2020-11-30 2020-11-30
US63/198,995 2020-11-30
US63/198,996 2020-11-30
US63/198,997 2020-11-30
US63/198,999 2020-11-30
US63/198,998 2020-11-30
PCT/US2020/064086 WO2021119177A1 (en) 2019-12-09 2020-12-09 Multiband limiter modes and noise compensation methods

Publications (1)

Publication Number Publication Date
CN114868403A true CN114868403A (zh) 2022-08-05

Family

ID=74004171

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202080085347.4A Pending CN114830681A (zh) 2019-12-09 2020-12-08 用于减少环境噪声补偿系统中的误差的方法
CN202080085436.9A Pending CN114788304A (zh) 2019-12-09 2020-12-08 用于减少环境噪声补偿系统中的误差的方法
CN202080085765.3A Pending CN114868403A (zh) 2019-12-09 2020-12-09 多频带限制器模式和噪声补偿方法
CN202080085586.XA Pending CN114830687A (zh) 2019-12-09 2020-12-09 多频带限制器模式和噪声补偿方法
CN202080084299.7A Pending CN114747233A (zh) 2019-12-09 2020-12-09 内容和环境感知的环境噪声补偿

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202080085347.4A Pending CN114830681A (zh) 2019-12-09 2020-12-08 用于减少环境噪声补偿系统中的误差的方法
CN202080085436.9A Pending CN114788304A (zh) 2019-12-09 2020-12-08 用于减少环境噪声补偿系统中的误差的方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202080085586.XA Pending CN114830687A (zh) 2019-12-09 2020-12-09 多频带限制器模式和噪声补偿方法
CN202080084299.7A Pending CN114747233A (zh) 2019-12-09 2020-12-09 内容和环境感知的环境噪声补偿

Country Status (6)

Country Link
US (5) US11817114B2 (zh)
EP (5) EP4074065A1 (zh)
JP (1) JP7307278B2 (zh)
KR (3) KR102633176B1 (zh)
CN (5) CN114830681A (zh)
WO (5) WO2021118945A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210409548A1 (en) * 2018-09-28 2021-12-30 Knowles Electronics, Llc Synthetic nonlinear acoustic echo cancellation systems and methods
US11817114B2 (en) * 2019-12-09 2023-11-14 Dolby Laboratories Licensing Corporation Content and environmentally aware environmental noise compensation
WO2024061436A1 (en) * 2022-09-19 2024-03-28 Huawei Technologies Co., Ltd. Adaptive audio enhancement system

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58121882A (ja) * 1982-01-16 1983-07-20 Sony Corp 映像及び音声信号再生装置
US4629829A (en) 1984-12-14 1986-12-16 Motorola, Inc. Full duplex speakerphone for radio and landline telephones
US5907622A (en) 1995-09-21 1999-05-25 Dougherty; A. Michael Automatic noise compensation system for audio reproduction equipment
US7333863B1 (en) * 1997-05-05 2008-02-19 Warner Music Group, Inc. Recording and playback control system
GB9714001D0 (en) 1997-07-02 1997-09-10 Simoco Europ Limited Method and apparatus for speech enhancement in a speech communication system
SE9903553D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6674865B1 (en) * 2000-10-19 2004-01-06 Lear Corporation Automatic volume control for communication system
US6944474B2 (en) 2001-09-20 2005-09-13 Sound Id Sound enhancement for mobile phones and other products producing personalized audio for users
DE60226611D1 (de) 2002-10-21 2008-06-26 Silentium Ltd Aktivsystem zur Reduktion des akustischen Rauschens
JP4226395B2 (ja) * 2003-06-16 2009-02-18 アルパイン株式会社 音声補正装置
US7333618B2 (en) * 2003-09-24 2008-02-19 Harman International Industries, Incorporated Ambient noise sound level compensation
US7254243B2 (en) 2004-08-10 2007-08-07 Anthony Bongiovi Processing of an audio signal for presentation in a high noise environment
US20070242837A1 (en) 2004-08-16 2007-10-18 Geoffrey Glen Speed- and User-Dependent Timbre and Dynamic Range Control Method, Apparatus and System for Automotive Audio Reproduction Systems
AU2005299410B2 (en) 2004-10-26 2011-04-07 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
US7889943B1 (en) 2005-04-18 2011-02-15 Picture Code Method and system for characterizing noise
GB2433849B (en) * 2005-12-29 2008-05-21 Motorola Inc Telecommunications terminal and method of operation of the terminal
US7760893B1 (en) 2006-07-26 2010-07-20 Starmark, Inc. Automatic volume control to compensate for speech interference noise
DK2109934T3 (en) 2007-01-04 2016-08-15 Cvf Llc CUSTOMIZED SELECTION OF AUDIO PROFILE IN SOUND SYSTEM
GB2448201A (en) * 2007-04-04 2008-10-08 Zarlink Semiconductor Inc Cancelling non-linear echo during full duplex communication in a hands free communication system.
US7742746B2 (en) * 2007-04-30 2010-06-22 Qualcomm Incorporated Automatic volume and dynamic range adjustment for mobile audio devices
US8797465B2 (en) 2007-05-08 2014-08-05 Sony Corporation Applications for remote control devices with added functionalities
US8180064B1 (en) 2007-12-21 2012-05-15 Audience, Inc. System and method for providing voice equalization
US8411880B2 (en) * 2008-01-29 2013-04-02 Qualcomm Incorporated Sound quality by intelligently selecting between signals from a plurality of microphones
KR101397814B1 (ko) 2008-01-30 2014-05-20 삼성전자주식회사 통신 시스템에서 잡음 및 간섭 전력 추정 장치 및 방법
US9575715B2 (en) 2008-05-16 2017-02-21 Adobe Systems Incorporated Leveling audio signals
US8285344B2 (en) 2008-05-21 2012-10-09 DP Technlogies, Inc. Method and apparatus for adjusting audio for a user environment
JP2010023534A (ja) 2008-07-15 2010-02-04 Panasonic Corp 騒音低減装置
US8538749B2 (en) 2008-07-18 2013-09-17 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for enhanced intelligibility
US9159335B2 (en) 2008-10-10 2015-10-13 Samsung Electronics Co., Ltd. Apparatus and method for noise estimation, and noise reduction apparatus employing the same
JP5267115B2 (ja) 2008-12-26 2013-08-21 ソニー株式会社 信号処理装置、その処理方法およびプログラム
US20100172510A1 (en) 2009-01-02 2010-07-08 Nokia Corporation Adaptive noise cancelling
WO2010091077A1 (en) 2009-02-03 2010-08-12 University Of Ottawa Method and system for a multi-microphone noise reduction
EP2292144A1 (en) 2009-09-03 2011-03-09 National Digital Research Centre An auditory test and compensation method
JP5538918B2 (ja) * 2010-01-19 2014-07-02 キヤノン株式会社 音声信号処理装置、音声信号処理システム
CN105245195B (zh) 2010-03-18 2018-06-08 杜比实验室特许公司 用于具有音质保护的失真减少多频带压缩器的技术
CN103039023A (zh) * 2010-04-09 2013-04-10 Dts公司 音频重放的自适应环境噪声补偿
US9053697B2 (en) 2010-06-01 2015-06-09 Qualcomm Incorporated Systems, methods, devices, apparatus, and computer program products for audio equalization
US8447045B1 (en) 2010-09-07 2013-05-21 Audience, Inc. Multi-microphone active noise cancellation system
JP5656586B2 (ja) * 2010-11-26 2015-01-21 キヤノン株式会社 撮像装置とその制御方法並びに音声処理装置及び方法
US8948407B2 (en) 2011-06-03 2015-02-03 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
JP5085769B1 (ja) 2011-06-24 2012-11-28 株式会社東芝 音響制御装置、音響補正装置、及び音響補正方法
US8965774B2 (en) 2011-08-23 2015-02-24 Apple Inc. Automatic detection of audio compression parameters
WO2013058728A1 (en) 2011-10-17 2013-04-25 Nuance Communications, Inc. Speech signal enhancement using visual information
EP2783521B1 (en) 2011-11-22 2016-10-05 Cirrus Logic International Semiconductor Ltd. System and method for bass enhancement
EP2645362A1 (en) * 2012-03-26 2013-10-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for improving the perceived quality of sound reproduction by combining active noise cancellation and perceptual noise compensation
US9516371B2 (en) 2012-04-24 2016-12-06 Mobitv, Inc. Closed captioning management system
JP2013247456A (ja) * 2012-05-24 2013-12-09 Toshiba Corp 音響処理装置、音響処理方法、音響処理プログラムおよび音響処理システム
US9183845B1 (en) 2012-06-12 2015-11-10 Amazon Technologies, Inc. Adjusting audio signals based on a specific frequency range associated with environmental noise characteristics
US9609141B2 (en) 2012-10-26 2017-03-28 Avago Technologies General Ip (Singapore) Pte. Ltd. Loudspeaker localization with a microphone array
US9240176B2 (en) 2013-02-08 2016-01-19 GM Global Technology Operations LLC Active noise control system and method
CN104078050A (zh) 2013-03-26 2014-10-01 杜比实验室特许公司 用于音频分类和音频处理的设备和方法
WO2015009748A1 (en) 2013-07-15 2015-01-22 Dts, Inc. Spatial calibration of surround sound systems including listener position estimation
US9565497B2 (en) 2013-08-01 2017-02-07 Caavo Inc. Enhancing audio using a mobile device
GB201321052D0 (en) 2013-11-29 2014-01-15 Microsoft Corp Detecting nonlinear amplitude processing
US9648436B2 (en) 2014-04-08 2017-05-09 Doppler Labs, Inc. Augmented reality sound system
US9792892B2 (en) 2014-07-15 2017-10-17 Amphenol Phitek Limited Noise cancellation system
US20160275961A1 (en) * 2015-03-18 2016-09-22 Qualcomm Technologies International, Ltd. Structure for multi-microphone speech enhancement system
US10242689B2 (en) 2015-09-17 2019-03-26 Intel IP Corporation Position-robust multiple microphone noise estimation techniques
CN105679300A (zh) * 2015-12-29 2016-06-15 努比亚技术有限公司 移动终端和降噪方法
EP3209035A1 (en) 2016-02-19 2017-08-23 Thomson Licensing Method, computer readable storage medium, and apparatus for multichannel audio playback adaption for multiple listening positions
EP3226412B1 (en) 2016-03-30 2021-10-27 Dolby Laboratories Licensing Corporation Dynamic suppression of non-linear distortion
JP6814957B2 (ja) 2017-05-17 2021-01-20 パナソニックＩｐマネジメント株式会社 再生システム、制御装置、制御方法、およびプログラム
US10229698B1 (en) 2017-06-21 2019-03-12 Amazon Technologies, Inc. Playback reference signal-assisted multi-microphone interference canceler
US11062702B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Media system with multiple digital assistants
US10650798B2 (en) 2018-03-27 2020-05-12 Sony Corporation Electronic device, method and computer program for active noise control inside a vehicle
EP4109446B1 (en) * 2018-04-27 2024-04-10 Dolby Laboratories Licensing Corporation Background noise estimation using gap confidence
US11323086B2 (en) 2018-05-31 2022-05-03 Comcast Cable Communications, Llc Content audio adjustment
US10891971B2 (en) * 2018-06-04 2021-01-12 The Nielsen Company (Us), Llc Methods and apparatus to dynamically generate audio signatures adaptive to circumstances associated with media being monitored
WO2019246449A1 (en) 2018-06-22 2019-12-26 Dolby Laboratories Licensing Corporation Audio enhancement in response to compression feedback
EP3811515B1 (en) 2018-06-22 2022-07-27 Dolby Laboratories Licensing Corporation Multichannel audio enhancement, decoding, and rendering in response to feedback
US11950082B2 (en) 2019-08-16 2024-04-02 Dolby Laboratories Licensing Corporation Method and apparatus for audio processing
US11290786B2 (en) * 2019-09-13 2022-03-29 Dish Network L.L.C. Systems and methods for controlling closed captioning
US11817114B2 (en) * 2019-12-09 2023-11-14 Dolby Laboratories Licensing Corporation Content and environmentally aware environmental noise compensation

Also Published As

Publication number Publication date
KR20220090555A (ko) 2022-06-29
JP2022551015A (ja) 2022-12-06
EP4074069A1 (en) 2022-10-19
EP4074068A1 (en) 2022-10-19
US20230044872A1 (en) 2023-02-09
JP7307278B2 (ja) 2023-07-11
EP4074077A2 (en) 2022-10-19
KR102633176B1 (ko) 2024-02-06
US11817114B2 (en) 2023-11-14
WO2021119214A2 (en) 2021-06-17
EP4074066A1 (en) 2022-10-19
EP4074065A1 (en) 2022-10-19
WO2021119177A1 (en) 2021-06-17
CN114830687A (zh) 2022-07-29
US20230037824A1 (en) 2023-02-09
WO2021118945A1 (en) 2021-06-17
CN114788304A (zh) 2022-07-22
CN114830681A (zh) 2022-07-29
WO2021119214A3 (en) 2021-09-23
US20230044546A1 (en) 2023-02-09
KR20220113438A (ko) 2022-08-12
WO2021119190A1 (en) 2021-06-17
KR102505773B1 (ko) 2023-03-06
US20220406326A1 (en) 2022-12-22
US20230026347A1 (en) 2023-01-26
WO2021118946A1 (en) 2021-06-17
KR20220103196A (ko) 2022-07-21
CN114747233A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
JP6633232B2 (ja) 多様な再生環境のためのダイナミックレンジ制御
KR102505773B1 (ko) 다중 대역 제한기 모드 및 잡음 보상 방법
US8538043B2 (en) Apparatus for processing an audio signal and method thereof
US11616482B2 (en) Multichannel audio enhancement, decoding, and rendering in response to feedback
KR101855969B1 (ko) 오디오 신호를 압축하는 디지털 압축기
KR20160113224A (ko) 오디오 신호를 압축하는 오디오 압축 시스템
WO2021133779A1 (en) Audio device with speech-based audio signal processing
CN101459416A (zh) 一种终端音频增益控制的装置及方法
JP7335282B2 (ja) 圧縮フィードバックに応答するオーディオ増強
US8462964B2 (en) Recording apparatus, recording method, audio signal correction circuit, and program
RU2783150C1 (ru) Динамическая обработка в устройствах с отличающимися функциональными возможностями воспроизведения
US20220360899A1 (en) Dynamics processing across devices with differing playback capabilities
WO2024025803A1 (en) Spatial audio rendering adaptive to signal level and loudspeaker playback limit thresholds
CN116634221A (zh) 基于Android系统的多路音频源自动混音方法、系统、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination