CN112088353A - 动态处理效果体系架构 - Google Patents

动态处理效果体系架构 Download PDF

Info

Publication number
CN112088353A
CN112088353A CN201980030467.1A CN201980030467A CN112088353A CN 112088353 A CN112088353 A CN 112088353A CN 201980030467 A CN201980030467 A CN 201980030467A CN 112088353 A CN112088353 A CN 112088353A
Authority
CN
China
Prior art keywords
audio
parameters
values
application
api
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980030467.1A
Other languages
English (en)
Other versions
CN112088353B (zh
Inventor
R.A.加西亚
B.凯姆勒
J.W.李
R.F.莱昂
M.G.斯莱尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202411737761.5A priority Critical patent/CN119847472A/zh
Publication of CN112088353A publication Critical patent/CN112088353A/zh
Application granted granted Critical
Publication of CN112088353B publication Critical patent/CN112088353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/162Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一种方法包括为由计算设备的操作系统提供的多个音频通道中的每个相应音频通道提供相继音频处理级的集合以应用于相应音频通道。该方法还包括由操作系统提供应用编程接口(API),该应用编程接口被配置为设置用于调整针对每个相应音频通道的相继音频处理级的集合的多个参数。该方法还包括经由API并从在计算设备上运行的应用接收针对所述多个参数中的一个或多个参数的一个或多个值。该方法还包括由操作系统基于接收到的针对一个或多个参数的一个或多个值来调整所述多个音频通道。

Description

动态处理效果体系架构
相关申请的交叉引用
本申请要求于2018年5月7日提交的美国临时专利申请第62/668,142号的优先权,该申请通过引用整体并入本文。
背景技术
本公开一般而言涉及处理音频信号。
发明内容
主题技术的各方面涉及动态音频处理效果以及可以利用这种效果的软件应用。由计算设备的操作系统提供的每个音频通道提供有相继音频级(可以被称为“音频处理级”)的集合以应用于或处理音频通道(例如,Pre-EQ、多带压缩、Post-EQ和限幅器)。操作系统提供了应用程序接口(即,应用编程接口,或简称为API)来设置参数,以调整每个音频通道的相继音频级的集合。可以经由应用程序接口从设备上运行的应用(例如,由第三方开发人员开发和提供)接收用于调整相继音频级的集合的参数集。操作系统然后可以基于接收到的参数集来调整音频通道。换句话说,操作系统可以使用根据接收到的参数集来调整的相继音频级的集合来处理音频通道。以这种方式,多个不同的应用可以各自利用这些可配置的音频通道来实现各种期望的音频处理效果。因此,这些应用不必单独实现任何音频处理算法即可实现期望的效果。在一些示例中,这可以导致音频输出中的时延减少。本文描述的主题技术可以以多种不同的方式被利用,下面描述其中的一些,其中一种这样的用途是用于增强或补偿用户的听力。
因而,在第一示例实施例中,提供了一种计算机实现的方法,该方法包括为由计算设备的操作系统提供的多个音频通道中的每个相应音频通道提供相继音频级的集合,以应用于相应音频通道。该计算机实现的方法还包括由操作系统提供被配置为设置用于调整针对每个相应音频通道的相继音频级的集合的多个参数的API。该计算机实现的方法还包括经由API并从在计算设备上运行的应用接收针对多个参数中的一个或多个参数的一个或多个值。该计算机实现的方法还包括由操作系统基于接收到的针对一个或多个参数的一个或多个值来调整多个音频通道。
在第二示例实施例中,提供了一种计算系统,该计算系统包括被配置为由该计算系统执行的应用和被配置为提供多个音频通道的操作系统。该计算系统还包括用于多个音频通道中的每个相应音频通道的相继音频级的集合,以应用于相应音频通道。该计算系统还包括API,该API被配置为(i)设置用于调整针对每个相应音频通道的相继音频级的集合的多个参数,以及(ii)从应用接收针对多个参数中的一个或多个参数的一个或多个值。操作系统被配置为基于接收到的针对一个或多个参数的一个或多个值来调整多个音频通道。
在第三示例实施例中,提供了一种在其上存储有指令的非暂态计算机可读存储介质,所述指令在由计算设备执行时使计算设备执行操作。该操作包括为由计算设备的操作系统提供的多个音频通道中的每个音频通道提供相继音频级的集合以应用于相应音频通道。该操作还包括由操作系统提供被配置为设置用于调整针对每个相应音频通道的相继音频级的集合的多个参数的API。该操作还包括经由API并从在计算设备上执行的应用接收针对多个参数中的一个或多个参数的一个或多个值。该操作还包括由操作系统基于接收到的针对一个或多个参数的一个或多个值来调整多个音频通道。
在第四示例实施例中,提供了一种系统,该系统包括用于为由计算设备的操作系统提供的多个音频通道中的每个音频通道提供相继音频级的集合以应用于相应音频通道的装置。该系统还包括用于由操作系统提供被配置为设置用于调整针对每个相应音频通道的相继音频级的集合的多个参数的应用编程接口(API)的装置。该系统还包括用于经由API并从在计算设备上执行的应用接收针对多个参数中的一个或多个参数的一个或多个值的装置。该系统还包括用于由操作系统基于接收到的针对一个或多个参数的一个或多个值来调整多个音频通道的装置。
应该理解的是,根据以下详细描述,本领域技术人员将容易明白本技术的其它配置,其中,通过说明示出和描述了本技术的各种配置。如将认识到的,本主题技术能够具有其它和不同的配置,并且其若干细节能够在各种其它方面进行修改,所有这些都不脱离本主题技术的范围。因而,附图和详细描述本质上应当被认为是说明性的而不是限制性的。
附图说明
被包括以提供进一步的理解并且被并入本说明书并构成本说明书的一部分的附图图示了所公开的方面,并且与说明书一起用于解释所公开的方面的原理。
图1图示了根据本公开的示例方面的样本(sample)灵活音频处理体系架构。
图2图示了根据本公开的示例方面的样本灵活音频处理体系架构。
图3图示了根据本公开的示例方面的样本嵌套参数结构。
图4图示了根据本公开的示例方面的实例化示例。
图5图示了根据本公开的示例方面的多带压缩器的样本过程。
图6图示了根据本公开的示例方面的在MBC级中的参数获取器和设置器的样本列表。
图7图示了根据本公开的示例方面的限幅器中的参数获取器和设置器的样本列表以及限幅器级的样本过程。
图8图示了根据本公开的示例方面的示例性多通道音频处理效果。
图9图示了根据本公开的示例方面的用于智能听力特征的控制参数的列表。
图10图示了根据本公开的示例方面的样本可访问性服务用户界面屏幕。
图11图示了根据本公开的示例方面的样本智能听力用户界面。
图12图示了根据本公开的示例方面的样本多维映射。
图13A和图13B图示了根据本公开的示例方面的样本多维映射。
图14图示了根据本主题技术的用于动态音频处理效果的示例网络环境。
图15概念性地图示了示例电子系统,利用该示例电子系统可以实现本主题技术的一些实施方式。
图16图示了根据本公开的示例方面的流程图。
具体实施方式
以下阐述的详细描述旨在作为对本主题技术的各种配置的描述,而无意于表示其中可以实践本主体技术的唯一配置。附图被并入本文并且构成详细描述的一部分。为了提供对本主题技术的透彻理解,详细描述包括具体细节。但是,本主题技术不限于本文阐述的具体细节,并且可以在没有这些具体细节的情况下实践。在一些情况下,以框图形式示出了结构和组件,以避免模糊本主题技术的概念。
计算设备的操作系统(例如针对移动设备的操作系统)具有简单的内置音频处理效果并且向应用开发人员提供有限的选项以扩展内置音频处理效果的能力。具体而言,操作系统可以设有音频处理体系架构,该音频处理体系架构被限制到用于均衡(EQ)的固定数量的带(例如,频带)、多带压缩器(MBC)以及带的固定尺寸和频率。但是,利用操作系统平台中可用的内置音频处理效果可以允许应用的开发人员访问开发人员出于安全原因而无法直接访问的计算设备的某些音频数据路径(例如,电话音频信号路径等)。可能存在可以使用对于开发人员来说不够灵活的常见内置音频处理效果来实现相似但仍然足够不同的体系架构/模块的音频处理解决方案。因此,为了实现期望的音频处理效果,要求没有使用内置音频处理效果的特权的开发人员来构建他们自己的解决方案,这增加了应用设计的复杂性。
根据一个或多个实施方式,本文公开了用于动态地处理音频信号的效果的方法和系统。根据本主题技术的各个方面,在计算设备的操作系统中内置了灵活音频处理体系架构,并且提供了接口(例如,应用程序接口(API))供应用配置内置的灵活音频处理体系架构并实现期望的音频信号处理效果。即,允许应用访问和配置音频处理体系架构,以生成期望的音频处理链并使用这个链来处理音频波形。因而,当开发这些应用时,这些应用不必实现独立和/或单独的音频处理工具、算法和/或过程。通过将不同的值指派给由API暴露的参数,应用可以替代地依赖操作系统和API来实现广泛的期望的音频处理效果。
图1图示了根据本公开的示例方面的样本灵活音频处理体系架构130。可以在计算设备的操作系统中构建灵活音频处理体系架构130。灵活音频处理体系架构130和与灵活音频处理体系架构130相关联的API可以描述用于利用多通道均衡和/或多带压缩的解决方案(例如,软件应用)的音频算法、过程和/或音频效果链。灵活音频处理体系架构130可以包括多个音频通道(例如,K个音频通道)。每个音频通道可以包括相继音频级。相继音频级可以包括输入增益(InputGain)级(图1中未示出)、预均衡(Pre-EQ)级120、多带压缩器(MBC)级122、后均衡(Post-EQ)级124和限幅器级126。
Pre-EQ级120可以允许应用的开发人员以编程的方式调整音频频率,例如从20Hz到20kHz。Pre-EQ级120还可以允许开发人员调整音频信号内存在的不同频率分量之间的平衡。MBC级122可以降低响亮的声音,同时提升(boost)安静的声音,而不会扭曲原始音频输入的特性。Post-EQ级124可以在限幅器级之前微调声音,从而允许对由MBC 122生成的音频信号内存在的不同频率分量之间的平衡进行进一步调整。限幅器级126可以防止高于某个阈值的附加增益,以保护输出音频免于响亮和破坏性。即,限幅器126可以帮助避免音频信号的饱和,从而避免失真。
在一些实施例中,输入增益级和Pre-EQ级120可以被组合为一个级。音频数据可以相继地输入到输入增益级、Pre-EQ级120、MBC级122、Post-EQ级124和限幅器级126。灵活音频处理体系架构130在MBC级122之前和之后提供EQ级(例如,Pre-EQ 120和Post-EQ 124),以允许针对应用的广泛的音频处理效果。相继音频级中的每个级可以被启用或禁用(例如,打开/关闭)。例如,被启用的级根据由应用设置的参数来修改音频信号,而被禁用的级使音频信号通过。提供打开/关闭各个级的灵活性(这将在后面详细讨论)可以允许灵活音频处理体系架构130被各种应用利用。
图2图示了根据本公开的示例方面的样本灵活音频处理体系架构。值得注意的是,图2的音频处理体系架构包括图1中所示的体系架构130的多个实例化,从而形成多个音频通道。灵活音频处理体系架构可以在操作系统中构建或实现,或者作为操作系统的一部分,并且可以包括从例如一个音频源(例如,多通道音频源)接收音频输入(例如,输入0和输入1至输入K-1)的多个音频通道(例如,通道0和通道1至通道K-1)。
每个音频通道可以包括图1中所示的相继音频级。即,通道0包括Pre-EQ 200、MBC202、Post-EQ 204和限幅器206,通道1包括Pre-EQ 210、MBC 212、Post-EQ 214和限幅器216,而通道K-1包括Pre-EQ 220、MBC 222、Post-EQ 224和限幅器226。在通过相继音频级进行处理之后,从音频通道输出音频数据(例如,输出0和输出1至输出K-1)。
Pre-EQ、MBC和Post-EQ级中的每一个可以支持多个带(例如,带0、带1、带M-2、带M-1)。可以例如通过应用经由API基于参数集来配置每个通道和通道中的每个级。在一个或多个实施方式中,所有参数可以在运行时被改变,或者仅一些参数(或没有参数)可能在运行时被改变。此外,每个通道和/或其每个级可以是独立于其它通道和级可修改的。在一个示例中,对于通道0和1至K-1中的每个通道,在Pre-EQ级中的带数N可以是独立地可修改的。即,可以使用参数为Pre-EQ 200、210和220中的每一个指派不同的N值。类似地,MBC级的带数M和Post-EQ级的带数O可以通过参数针对每个通道独立地可修改。可替代地,在另一个示例中,对于通道0和1至K-1中的每一个,Pre-EQ级中的带数N可以相同。即,可以使用参数为Pre-EQ 200、210和220中的每一个指派相同的值。类似地,对于每个通道,MBC级的带数M与Post-EQ级的带数O可以相同。值得注意的是,带数N、M和O可以各自彼此独立地被指派不同的值。
图3图示了根据本公开的示例方面的样本嵌套参数结构。可以通过具有参数的基于通道的嵌套结构来实例化和控制音频处理效果。在图4中图示了根据本公开的示例方面的实例化示例。可以为应用的开发人员提供应用程序接口(API),通过该应用程序接口,可以配置内置的灵活音频处理体系架构以实现期望的音频信号处理效果。即,图4图示了程序代码400,其调用由API提供的功能来设置图3中所示的多个参数。在一些实施方式中,API和/或API函数的实施方式的细节可以被隐藏(例如,不让应用开发人员看到)。因而,相同的API可以针对不同的实施方式在不同的机器、计算机处理单元(CPU)体系架构和/或供应商之间共享。即,应用可以使用统一的接口,该接口允许开发人员忽略API或其功能的实施方式细节。
在一个示例中,这种方法可以允许效果的频域和/或时域实施方式。在一些情况下,可以用一些额外的参数(例如,其值确定是使用频域还是时域实施方式的附加参数)来选择和微调由应用利用的特定实施方式。在程序代码400中被调用的setPreferredFrameDuration()方法可以被用于设置期望的帧持续时间(例如,以毫秒为单位)并将效果变量设置为时域或频域。时域实施方式可以具有较少的算法时延,但对于具体的频带截止可能不太灵活。频域实施方式可能会有更多的时延,但是对于与不同数量的频带、频带的意外改变、具体的频段截止和用于这些频带的参数一起工作可以更灵活。使用短时傅立叶变换算法和重叠相加方法的频域实施方式可以帮助选择具有任意交叉的任意数量的频带,以找到合适的控制参数。可以根据需要或期望包括附加实施方式。
API允许应用为每个通道和通道中的每个级设置参数。提供该API以供应用根据实现期望的音频信号处理效果所需的通道数来选择用于处理音频信号的通道数(例如,设置K的值)。每个单声通道可以被视为独立的通道。例如,立体声信号可以包括两个通道:0和1,而5.1环绕声信号可以具有六个独立的通道。
回到图3,支持带的每个级(例如,Pre-EQ 200,MBC 202和Post-EQ 204)可以包括不同数量的带。因此,EQ参数330包括用于指定频带数量的变量BAND_COUNT 336。API通过在每个级中为“BAND_COUNT”(即,BAND_COUNT 336和BAND_COUNT 346)设置参数值来允许应用在Pre EQ、MBC和Post EQ级中选择带数。在一些实施方式中,可以在K个通道中的每个通道上为相同类型的级提供相同数量的带。
每个带可以具有由应用指定的不同截止频率(例如,由EQ带参数370指示的FREQUENCY_CUT-OFF 376和由MBC带参数380指定的FREQUENCY_CUT-OFF 383)。API允许应用为级中的每个带选择截止频率。每个带可以被打开/关闭,如变量启用(ENABLED)372和381所指示的。
类似地,每个级可以被打开/关闭。API通过在每个级中为“ENABLED”设置参数来允许应用启用或禁用任何级,如由变量启用334、344和354所指示的。例如,应用可以通过为这些参数指定特定值来打开/关闭每个级。被启用的级将根据由应用指定的参数来修改音频信号,而被禁用的级将使音频信号通过而不进行修改。
如果声音超过某个饱和阈值,那么每个通道链末端的限幅器可以帮助限制声音的输出,从而避免通道中的过饱和。例如,API通过为“THRESHOLD”设置参数来允许应用在限幅器中设置饱和阈值。来自不同通道的限幅器通过LINK_GROUP参数(由变量LINK_GROUP 356表示)链接,以允许通道在任何链接的限幅器被接合时以类似的方式做出反应。即,如果任何一个链接的限幅器被接合,那么所有其它链接的通道都以相同的方式受到影响。因此,例如,当立体声信号使通道之一饱和时,立体声图像不会突然移动到一个通道,而是通过基于相应的限幅器以类似方式控制所有通道来保持稳定。例如,当左立体声通道的输出被相应的限幅器衰减到其原始值的90%时,右立体声通道的输出也可以被其限幅器衰减到90%,从而保留通道之间的相对振幅。
EQ参数330、MBC参数340和限幅器参数350可以另外分别包括变量IN_USE 332、IN_USE 342和IN_USE 352,这些参数可以指示对应的级是否正在被主动使用或被配置为处理音频。在一些实施方式中,当变量IN_USE332、IN_USE 342和/或IN_USE 352指示(例如,在操作系统、应用和/或音频处理效果启动时)对应的音频级中的一个或多个被停用时,操作系统可以取消分配本应专用于一个或多个对应音频级的计算资源。限幅器参数350还可以指定ATTACK_TIME 358、RELEASE_TIME 360、比率(RATIO)362、阈值(THRESHOLD)364和POST_GAIN 366,它们中的每一个都可以进一步定义例如限幅器206如何处理音频信号。类似地,带338的EQ带参数370可以包括BAND_COUNT 374(例如,N个带中的第5个)和增益(GAIN)378。带348的MBC带参数380可以包括BAND_COUNT 382、ATTACK_TIME 384、RELEASE_TIME 385、比率386、阈值387、KNEEW_WIDTH 388、NOISE_GATE_THRESHOLD 389、EXPANDER_RATIO 390、PRE-GAIN 391和POST-GAIN 392。另外,通道0、通道1和通道K-1中的每一个可以与对应的输入增益300、310和320相关联。值得注意的是,其它实施方式可以包括比图3中所示的更多的参数或更少的参数。
图5图示了根据本公开的示例方面的多带压缩器的样本过程。具体而言,图5以图形方式图示了MBC的频带之一的传递函数,其示出了MBC的输入(即,在水平轴上示出的MBC输入514)与MBC的输出(即,在垂直轴上示出的MBC输出516)之间的关系。值得注意的是,沿着水平或垂直轴的数字越小,由此表示的物理声音就越安静(例如,-10表示比-90更响亮的声音)。API允许为MBC级设置参数,以处理从Pre-EQ级输入并输出到Post-EQ级的音频信号。例如,如图5中所示,可以通过来自应用的参数来指定噪声门阈值512、拐点宽度504、阈值508、扩展比510和压缩比506。
图5另外示出了音频信号的输入波形500和输出波形502,以分别图示在施加MBC的信号处理之前与在施加MBC的信号处理之后音频信号中的差异。虽然输入波形500包括具有相对高振幅的部分(例如,其左侧部分)和具有相对低振幅的部分(例如,其右侧部分),但是输出波形502分别压缩和扩展输入波形500的这些部分。因此,输出波形502表示较小的振幅范围。值得注意的是,图5的曲线图可以与由MBC支持的单个频带对应。因此,可以使用另外的类似的曲线图来说明MBC的其它频带的输入-输出传递函数。
图6图示了根据本公开的示例方面的MBC级中的参数获取器600(例如,用于获得参数的当前值的API函数)和设置器602(例如,用于修改参数的值的API函数)的样本列表。值得注意的是,参数获取器600和参数设置器602与图3中所示的MBC带参数380的子集对应。图7图示了根据本公开的示例方面的在限幅器级中的参数获取器720和设置器722的样本列表。参数获取器720和参数设置器722与图3中所示的限幅器参数350的子集对应。图7还图示了限幅器级的示例输入-输出传递函数的曲线图724。即,曲线图724图示沿着水平轴的限幅器输入726、沿着垂直轴的限幅器输出728、限幅器级的阈值730和限幅器级的限幅器比率732。
灵活音频处理体系架构允许应用的开发人员通过启用/禁用级以及配置带和频率限制以及其它可用参数来轻松地配置音频处理效果,以满足应用所需的实际信号流。
在一些实施方式中,取决于分发媒体,可以在工作室中对用于不同媒体的音频进行后处理以具有增强的动态范围和均衡。但是,利用能够应用于高分辨率音频文件的灵活音频处理体系架构,动态范围和均衡可以适应于计算设备上的不同输出以回放音频文件,或者可以被保存以用于发音频文件的进一步分发。
在一些实施方式中,帮助增强听力的算法可以适应灵活音频处理体系架构。使用可配置的带和多带压缩器以及EQ进行补偿,可以实现多种类型的听力增强算法。可以在用于个人声音放大器的灵活音频处理体系架构中使用类似的配置。即,可以通过API来生成与由助听器或其它声音放大器所提供的那些相似的各种音频处理算法/过程。
在一些实施方式中,可以利用本主题技术的动态音频处理效果来实现使输出级别适应目标级别以补偿响度的算法。
图8图示了根据本公开的示例方面的示例性多声道音频处理效果。具体而言,图8图示了被配置为捕获和/或生成音频信号、指定Pre-EQ和增益804、MBC 806、Post-EQ和增益808及限幅器810的操作方式的左参数800以及指定Pre-EQ和增益812、MBC 814、Post-EQ和增益816及限幅器818的操作方式的右参数802的麦克风820,以及被配置为生成经处理的音频信号的可听表示的扬声器822。
在一个或多个实施方式中,计算设备可以包括智能听力特征。智能听力特征可以利用后处理音频效果(例如,动态音频处理效果),其使用灵活音频处理体系架构来实现音频处理以增强声音。智能听力特征还可以利用可访问性服务,该可访问性服务提供可访问性服务用户界面(UI)屏幕来发起智能听力特征并控制声音的参数和预设。
在一些实施例中,当用户从由可访问性服务提供的可访问性菜单启用智能听力特征时、当头戴式耳机或耳机(例如,有线、无线)连接到计算设备时、当在计算设备上起动特定应用时,和/或当按下按钮或按钮的组合时,可以调用智能听力特征。声音可以由计算设备的麦克风或连接到计算设备的头戴式耳机的麦克风捕获(例如,任何一个都可以由麦克风820表示)。可访问性服务UI屏幕可以允许用户控制声音的级别和总体效果和过程以及麦克风的来源。
用于灵活音频处理体系架构的API允许应用(例如,可访问性服务)为每个通道(例如,用于左耳的音频通道和用于右耳的音频通道)分别设置参数(例如,参数800和802)以增强或补偿用户的听力。例如,在补偿听力中,可以用其自己的一组参数来独立对待每个耳朵,以处理音频信号。对于左耳和右耳,源信号(例如,来自单个麦克风820的信号)可以是相同的(即,麦克风820的左和右输出可以是相同的),但是为每只耳朵独立地设置参数(即,左耳参数800和右参数802)以提供音频信号的个性化和微调,以增强或补偿用户的听力。
如图8中所示,源音频信号(例如,由连接到计算设备的麦克风820生成)对于左和右声道可以是相同的,并且可以通过灵活的音频处理体系架构来输入。左通道基于由应用设置的参数(即,左参数800)通过左通道中的相继音频级804、806和808来处理音频信号,并且音频信号到达左通道中的限幅器810。右通道基于由应用设置的参数(即,右参数802)通过右通道中的相继音频级812、814和816来处理音频信号,并且音频信号到达右通道中的限幅器818。
可以分别连接左通道和右通道的限幅器810和818(例如,通过LinkGroup参数)以在通道之一被接合的情况下同步并保留立体声图像。例如,当应用为左通道的限幅器设置饱和阈值并且左通道的限幅器810检测到音频信号超过设置的阈值时,右通道的限幅器818可以被配置为以类似于左通道的限幅器810的方式限制音频信号的输出。例如,当左限幅器810将向其提供的信号的振幅衰减15%时,右限幅器818可以类似地将向其提供的信号的振幅衰减15%。因此,在两个限幅器之一饱和的情况下,左右通道的限幅器可以被连接为同步并保持立体声图像。
图9图示了根据本公开的示例方面的用于智能听力特征的控制参数900的列表。值得注意的是,图9图示了图3中所示的参数的子集,该参数的子集被选择以进行修改以实现用于智能听力特征的期望的音频处理特性。图9图示了pre-EQ级、MBC级、Post-EQ级和限幅器级中的每个级选择的参数。例如,图9中未示出的参数可以保持设置为它们相应的默认值或以其它方式预定的值。
图10图示了根据本公开的示例方面的样本可访问性服务UI屏幕1000、1002和1004。由计算设备或其操作系统提供的可访问性服务允许计算设备改善声音。可访问性服务可以允许实时麦克风输入,以拾取和修改来自计算设备的直接环境的声音。具体而言,可以使用例如称为“声音放大器”的应用来改善声音。如UI 1000中所示,可以通过操作系统提供的“可访问性”菜单启用这个应用。即,当选择UI图标1006时,操作系统可以提供UI 1002,从而允许用户通过UI图标1008(例如,通过选择其中的复选框)来启用“声音放大器”应用/服务。
通过UI图标1008启用“声音放大器”可访问性服务可以使操作系统提供UI 1004,通过该UI 1004可以调整服务的参数。即,由可访问性服务提供的可访问性服务UI屏幕1004可以设有滑块(例如,每个通道两个滑块,包括响度滑块和调谐滑块),这些滑块以简化的形式表示参数,并提供对参数的直观操纵,以实现满足计算设备用户的音频信号处理效果的目的。
值得注意的是,应用的开发人员可以能够直接将API用于灵活音频处理体系架构。即,开发人员可以能够直接修改例如图3中所示的任何参数。但是,直接控制计算设备的灵活音频处理体系架构的参数可以要求音频信号处理的技术知识。因而,在一些实施方式中,可以向用户呈现图10中所示的UI(例如,UI 1004)以简化参数的选择。例如,可以将UI 1004中通过“左响度”滑块、“左调谐”滑块、“右响度”滑块和“右调谐”滑块选择的值映射到可用于调整的多个不同参数(例如,如图3中所示)。
图11图示了根据本公开的示例方面的另一个样本智能听力UI 1100和1102。可访问性服务允许计算设备的用户访问智能听力特征,例如,通过UI1100选择图标1112(“个人声音放大”)。可替代地,在一些实施例中,图标可以被呈现在计算设备的显示器上(例如,在其主屏幕上)作为访问智能听力特征的快捷方式。因此,虽然可访问性服务(例如,UI 1100)可以是智能听力功能的主要访问点,但是访问可访问性服务的快捷方式可以对可访问性菜单之外的用户可用。对快捷方式和/或图标1112的选择可以使操作系统提供UI 1102,通过该UI 1102可以修改智能听力特征的参数。值得注意的是,UI1102可以是UI 1004的替代实施方式。
如图11中所示,智能听力UI 1102可以为计算设备的用户提供同时控制左耳和右耳的音频通道的能力。即,通过不选中UI元素1110中的复选框,用户可以指示左通道和右通道将被同时调整,而不是如UI 1004中那样独立地被调整。在这种情况下,滑块的数量可以从每只耳朵两个滑块(如图10的UI 1004中所示)减少到总共两个滑块1104和1106(如图11的UI 1102中所示)。但是,如图10中所示,智能听力UI 1004还可以允许对左耳和右耳的音频通道的参数进行独立控制(例如,当选择UI元素1110中的复选框时)。用户界面1102还可以呈现选项(例如,通过UI元素1108),用于选择应用是使用计算设备的内置麦克风还是连接到计算设备的头戴式麦克风。
操作系统的可访问性服务(例如,由UI 1000、1002、1004、1100和1102表示)可以利用API来动态地调整灵活音频处理体系架构。可访问性服务可以检测并核实耳机设备已连接到计算设备。当检测到耳机设备时,可访问性服务可以确定是使用内置在计算设备中的麦克风还是使用检测到的耳机设备。可访问性功能服务可以控制通过所选择的麦克风开始和停止录制环境声音。可访问性服务可以(例如,基于用户选择)同时调整多个音频通道(例如,右耳和左耳),或者可以彼此独立地调整多个音频通道。可访问性服务可以将在某些情形下(例如,在具体位置、在特定时间等)使用或应用的优选参数存储在计算设备的存储器中。
图12图示了根据本公开的示例方面的样本多维映射。基于通过图10的UI 1004、图11的1102和/或图12的1202设置的参数,可访问性服务可以利用API来将由这些UI提供的简化的参数(例如,提供滑块设置的2到4个参数)映射到灵活音频处理体系架构的所有参数(例如,图3中所示的参数)。例如,UI 1202可以向用户提供通过UI 1202中的两个滑块1204和1206来控制两个音频通道(例如,左和右)的能力。但是,这两个滑块1204和1206已经从灵活音频处理体系架构中可用的100多个参数中减少(即,表示其)。因此,操作系统和/或软件应用可以利用映射1200基于为一个或多个UI滑块(例如,1204和1206)设置的值来确定通过API暴露的多个参数的值,反之亦然。
因此,映射1200可以表示将API参数的值与通过UI 1004、1102和/或1202提供的2、4或其它数量的滑块(或其它UI元素,可以通过其提供值)的值相关联的数学变换或嵌入。值得注意的是,映射1200可以可配置为适应各种可能数量的滑块或UI元素。即,映射1200可以是R:P映射,其中R表示通过UI获取的值的数量,R表示API参数的数量,并且P和R的值可以在实施方式之间变化。例如,UI 1202图示了附加的降噪滑块1208,其允许通过灵活音频处理体系架构来调整施加到音频信号的降噪程度。降噪滑块1208可以例如设置噪声振幅阈值,在该阈值以下,信号被认为是噪声。取决于响度1204和调谐1206的值,由降噪滑块1208设置的值可以如映射1200所指示的那样以不同的程度影响不同的频率。因此,用户UI 1202的示例可以指示R等于三。在其它示例中,可以提供附加的类似滑块或UI元素以调整音频信号的其它方面,从而允许使用其它R值。
图13A图示了根据本公开的示例方面的样本多维映射1300。具体而言,映射1300表示通过API暴露的多个参数的值的各种候选组合在由提升1302和音调1304定义的二维空间上的投影。值得注意的是,在一些实施方式中,提升1302可以与通过UI 1004、1102和/或1202设置的响度对应,而音调1304可以与由这些UI设置的音调对应。因此,映射1300中的每个点与由API暴露的音频参数的值的特定组合对应。通过为参数值的各种不同组合收集大量的此类投影,可以在提升-音调空间中密集填充数据点。因而,当为提升1302和音调1304指定目标值时,这些值可以定义映射1300内的目标点。通过在映射1300中找到最接近目标点的点并确定与这个最接近点对应的参数值,可以确定要通过API设置的参数。在另一个示例中,可以确定包围目标点的多个点(例如,在目标点的阈值距离内),并且可以对与这些点中的每个点相关联的参数值进行插值,以确定将通过API为目标点设置的参数。
在一些实施方式中,可以执行降维和主成分分析以将由API暴露的参数的总数减少为用户界面提供的参数的总数(例如,以确定映射1300),从而允许用户轻松地经由UI导航音频参数的参数空间。值得注意的是,映射1300可以是映射1200的一个示例。
图13B图示了在各种条件下由各种源发出的听力声音的阈值的分析结果。例如,分析了与听力受损用户和普通/正常听力用户的听力阈值相关的大量数据(例如,在多个不同的环境噪声条件下搜集的)。分析了基于环境噪声(例如,餐馆、自助餐馆、剧院等)发生的阈值移位(即,具有特定频率的声音的最小可听振幅的改变)以及音频内容(例如,对话、电影音频、音乐、表演等)。
具体而言,图13B图示了作为声音频率(即,赫兹(HZ)1306,沿着水平轴表示)的函数的可听声音(即,分贝(dB SPL)1308的声压级,沿着垂直轴表示)的曲线图。曲线1310图示了在安静环境中的听力的基线阈值。即,曲线1310指示在人耳听到给定频率的声音之前需要多大声。类似地,曲线1312图示了在包含可听噪声的环境中听力的阈值移位(例如,相对于曲线1310)。另外,曲线1314图示了由于收听条件引起的听力的阈值移位(例如,相对于曲线1310)。
基于收集到的数据的分析,可以开发并最大化用于导航参数空间的公式。该公式允许通过图10和图11中的UI暴露的参数与由API暴露的多个参数相关。通过考虑图13B中所示的分析,可以以依赖于频率和依赖于环境条件的方式将参数关联,使得可以根据在给定时间存在的收听条件和/或噪声条件将某些频率提升到不同的程度。
图14图示了根据本主题技术的用于动态音频处理效果的示例网络环境100。网络环境100包括计算设备102、104和106、服务器110和存储装置112。在一些方面,网络环境100可以具有比图14中所示的更多或更少的计算设备(例如,102-106)和/或服务器(例如,110)。
计算设备102、104和106中的每一个可以表示具有处理器、存储器和通信能力的各种形式的处理设备。计算设备102、104和106可以彼此通信,与服务器110和/或与在图14中未示出的其它系统和设备通信。作为非限制性示例,处理设备可以包括台式计算机、膝上型计算机、手持式计算机、个人数字助理(PDA)、蜂窝电话、网络设备、相机、智能电话、增强型通用分组无线电服务(EGPRS)移动电话、媒体播放器、导航设备、电子邮件设备、游戏控制台、有线/无线耳机/头戴式耳机、可穿戴设备,或这些处理设备或其它处理设备中的任何设备的组合。
计算设备102、104和106中的每一个可以设有灵活音频处理体系架构和用于应用的API,以配置内置的灵活的音频处理体系架构以实现期望的音频信号处理效果。应用可以作为客户端应用安装在计算设备102、104和106上。计算设备102、104和106可以与单个用户相关联。可以经由网络108向服务器110传输和从服务器110接收为灵活音频处理体系架构设置的优选API参数。
网络108可以是计算机网络,诸如例如连接任意数量的移动客户端、固定客户端和服务器的局域网(LAN)、广域网(WAN)、互联网、蜂窝网络或其组合。另外,网络108可以包括但不限于以下网络拓扑中的任何一种或多种,包括总线网络、星形网络、环形网络、网状网络、星形-总线网络、树形或分层网络等。在一些方面,每个客户端(例如,计算设备102、104和106)和服务器(例如,服务器110)之间的通信可以经由虚拟专用网(VPN)、安全外壳(SSH)隧道、安全套接字层(SSL)通信或其它安全网络连接发生。在一些方面,网络108还可以包括公司网络(例如,内联网)和一个或多个无线接入点。
服务器110可以表示单个计算设备,诸如包括处理器和存储器的计算机服务器。处理器可以执行存储在存储器中的计算机指令。服务器110被配置为经由网络108与客户端设备(例如,计算设备102、104和106)上的客户端应用(例如,应用)通信。例如,当用户将设备从计算设备102切换到计算设备106时,服务器110可以向计算设备106传输从计算设备102接收到的优选API参数。在一个或多个实施方式中,计算设备102、计算设备104、计算设备106或服务器110可以是以下关于图15讨论的电子系统组件,或者可以包括电子系统组件的全部或部分。
例如,优选参数可以与用户简档(例如,计算设备102、104或106的用户)或设备简档(例如,计算设备102、104或106)相关联。与用户简档相关联的优选参数可以在用户使用的各种设备(例如,计算设备102、104或106)之间共享。例如,当用户从第一设备(例如,计算设备102)切换到第二设备(例如,计算设备106)时,如果第二设备安装了音乐播放应用,那么第一设备(例如,计算设备102)上的音乐播放应用的优选参数可以从第二设备(例如,计算设备106)共享。在一些实施例中,优选参数可以经由服务器110共享。与设备(例如,计算设备104)简档相关联的优选参数可以全局地应用于安装在计算设备(例如,计算设备104)上的应用。
就本文讨论的系统收集关于用户的个人信息或可以利用个人信息的程度而言,可以为用户提供控制程序或特征是否收集用户信息(例如,关于用户联系人、用户的偏好或用户的当前位置的信息)的机会。还可以向用户提供打开或关闭由系统提供的某些特征或功能的选项。此外,在存储或使用某些数据之前,可以会以一种或多种方式对其进行处理,以便移除个人可识别信息。例如,可以处理用户的身份,以便无法为用户确定任何个人可识别信息,或者用户的地理位置可以被泛化为获得位置信息的地方(诸如泛化为城市、邮政编码或州),使得无法确定用户的特定位置。因此,用户可以控制如何收集关于用户的信息以及系统如何使用它们。
在一些实施例中,当计算设备上的扬声器可能不容纳低频时,通过应用提供的扬声器调谐应用可以利用灵活音频处理体系架构和API来设置参数,以利用灵活音频处理体系架构的EQ特征来补偿扬声器的低频的缺乏。
在一些实施例中,应用可以通过设置用于MBC的参数以减少大声噪声并调出安静的声音来利用灵活音频处理体系架构和API来容纳环境噪声。
在一些实施例中,灵活音频处理体系架构的API可以访问包括关于扬声器或麦克风的类型的信息的数据库。基于应用中使用的扬声器或麦克风的类型,API可以包括参数,以补偿通过扬声器输出或通过麦克风拾取的声音。例如,当计算设备上的扬声器不容纳低频时,可以设置灵活音频处理体系架构以补偿扬声器的低频的缺乏。
在一些实施例中,连接到计算设备的麦克风可以拾取从计算设备输出的声音。基于从麦克风拾取的声音,可以调整灵活音频处理体系架构以动态地调谐声音,以改善声音的质量。
在一些实施例中,用户可以设置模式,使得灵活音频处理体系架构处理音频信号,使得当通过计算设备(例如,移动设备)的扬声器输出声音(例如,电影)时,减少某种声音(例如,电影中的爆炸声)而维持或发出某种其它声音(例如,电影中的对话)。
在一些实施例中,计算设备的操作系统禁止应用直接访问电话音频数据路径。具有内置于计算设备的操作系统中的灵活音频处理体系架构和API允许应用设置参数来修改电话音频信号,而无需直接访问电话音频数据路径。
在一些实施例中,内置于操作系统中的灵活音频处理体系架构的本主题技术提供了减少例如在计算设备上播放电影的时延。因为在操作系统内提供了灵活音频处理体系架构,所以电影的音频不需要在应用中进行增强并传输到操作系统。即,应用可以经由API将音频和必要的参数传输到灵活音频处理体系架构,从而减少由应用中正在处理的音频造成的时延。因此,电影的图像和音频同步。
图15概念性地图示了示例电子系统700,利用其可以实现本主题技术的一些实施方式。电子系统700可以是计算机、电话、个人数字助理(PDA)或任何其它种类的电子设备。这种电子系统包括各种类型的计算机可读介质以及用于各种其它类型的计算机可读介质的接口。电子系统700包括总线708、(一个或多个)处理单元712、系统存储器704、只读存储器(ROM)710、永久存储设备702、输入设备接口714、输出设备接口706和网络接口716。
总线708共同表示通信地连接电子系统700的众多内部设备的所有系统、外围设备和芯片组总线。例如,总线708将(一个或多个)处理单元712与ROM 710、系统存储器704和永久存储设备702通信连接。
(一个或多个)处理单元712从这些各种存储器单元中检索要执行的指令和要处理的数据,以便执行本主题公开的过程。在不同的实施方式中,(一个或多个)处理单元可以是单个处理器或多核处理器。
ROM 710存储(一个或多个)处理单元712和电子系统的其它模块所需的静态数据和指令。另一方面,永久存储设备702是读写存储器设备。这个设备是非易失性存储器单元,即使当电子系统700关闭时,其也存储指令和数据。本主题公开的一些实施方式使用大容量存储设备(例如,磁盘或光盘或闪存)作为永久存储设备702。
其它实施方式使用可移动存储设备(例如,软盘、闪存驱动器)作为永久存储设备702。像永久存储设备702一样,系统存储器704是读写存储器设备。但是,与存储设备702不同,系统存储器704是易失性读写存储器,诸如随机存取存储器。系统存储器704存储处理器在运行时所需的一些指令和数据。在一些实施方式中,本主题公开的过程被存储在系统存储器704、永久存储设备702或ROM 710中。例如,各种存储器单元包括用于显示与相应应用相关联的图形元素和标识符、接收预定的用户输入以显示与相应应用相关联的快捷方式的视觉表示以及显示快捷方式的视觉表示的指令。(一个或多个)处理单元712从这些各种存储器单元中检索要执行的指令和要处理的数据,以便执行一些实施方式的过程。
总线708还连接到输入和输出设备接口714和706。输入设备接口714使用户能够向电子系统传送信息并选择命令。与输入设备接口714一起使用的输入设备包括例如字母数字键盘、定点设备(也称为“光标控制设备”)和声音捕获设备(例如,麦克风)。输出设备接口706使得例如能够显示由电子系统700生成的图像。与输出设备接口706一起使用的输出设备包括例如打印机、显示设备(例如,阴极射线管(CRT)或液晶显示器(LCD))以及声音回放和/或传输设备(例如,扬声器)。一些实施方式包括设备,例如,既充当输入设备又充当输出设备的触摸屏。
最后,如图15中所示,总线708还通过网络接口716将电子系统700耦合到网络(未示出)。以这种方式,计算机可以是计算机网络(例如,LAN、WAN或内联网或网络的网络(例如,互联网))的一部分。电子系统700的任何或所有组件可以与本主题公开结合使用。
图16图示了与使用由操作系统提供的音频处理级相关的操作的流程图1600。操作可以由计算设备102-106、电子系统700或前述示例实施例中的任何其它设备执行和/或与其一起使用。
方框1602涉及为由计算设备的操作系统提供的多个音频通道中的每个相应音频通道提供相继音频级的集合,以应用于相应音频通道。
方框1604涉及由操作系统提供应用编程接口(API),该应用编程接口被配置为设置用于调整针对每个相应音频通道的相继音频级的集合的多个参数。
方框1606涉及经由API并从在计算设备上运行的应用接收针对多个参数中的一个或多个参数的一个或多个值。
方框1608涉及由操作系统基于接收到的针对一个或多个参数的一个或多个值来调整多个音频通道。
在一些实施例中,可以由不同于计算设备的操作系统的提供者的第三方来提供应用。
在一些实施例中,用于每个相应音频通道的相继音频级的集合可以包括以下一项或多项:(i)输入增益级、(ii)预均衡级、(iii)多带压缩级、(iv)后均衡级或(v)限幅器级。
在一些实施例中,用于调整针对每个相应音频通道的相继音频级的集合的多个参数可以对于相继音频级的每个相应音频级包括用于启用或禁用相应音频级的第一参数。
在一些实施例中,当启用相应音频级时,可以根据用于该效应音频级的多个参数的子集来修改由相应音频通道接收的音频数据。当相应音频级被禁用时,音频数据可以不加修改地通过相应的音频级。
在一些实施例中,相继音频级的集合中的第一音频级可以是可调整的,以支持第一数量的频带。相继音频级的集合中的第二音频级可以是可调整的,以支持第二数量的频带。针对一个或多个参数的一个或多个值可以指示(i)将第一音频级调整到的第一数量的频带的第一子集,以及(ii)将第二音频级调整到的第二数量的频带的第二子集。
在一些实施例中,第一数量的频带可以不同于第二数量的频带。
在一些实施例中,针对一个或多个参数的一个或多个值可以指示(i)由相继音频级的集合中的第一音频级支持的多个频带中的第一频带的第一截止频率,以及(ii)多个频带中的第二频带的第二截止频率。
在一些实施例中,第一截止频率可以不同于第二截止频率。
在一些实施例中,用于每个相应音频通道的相继音频级的集合可以包括限幅器级。第一音频通道的第一限幅器级可以链接到第二音频通道的第二限幅器级,使得,当第一限幅器级将第一音频通道的输出衰减第一程度时,第二限幅器级使第二音频通道的输出衰减与第一程度成比例的第二程度。
在一些实施例中,立体声音频信号可以由第一音频通道和第二音频通道定义。
在一些实施例中,API可以提供多个API函数,通过这些函数可以调整多个参数。接收针对一个或多个参数的一个或多个值可以涉及接收(i)执行多个API函数中与一个或多个参数对应的一个或多个API函数的请求,以及(ii)一个或多个值,作为一个或多个API函数的相应输入。基于接收到的一个或多个值来调整多个音频通道可以涉及以一个或多个值作为相应的输入来执行一个或多个API函数。
在一些实施例中,API可以被配置为基于以下至少一项来调整多个参数中一个或多个附加参数的一个或多个附加值:(i)由应用使用的麦克风的类型或(ii)由应用使用的扬声器的类型。
在一些实施例中,多个音频通道可以包括左音频通道和右音频通道。应用可以被配置为通过从连接到计算设备的麦克风接收音频信号来增强用户的听觉。应用可以将音频信号提供给(i)左音频通道和(ii)右音频通道。音频信号可以由左音频通道根据左音频通道的第一参数集合来修改。音频信号可以由右音频通道根据右音频通道的第二参数集合来修改。应用可以接收(i)左音频通道的第一输出和(ii)右音频通道的第二输出。应用还可以通过连接到计算设备的第一扬声器基于第一输出而生成左输出声音,并且通过连接到计算设备的第二扬声器基于第二输出而生成右输出声音。
在一些实施例中,多个参数可以是多个API参数。一个或多个参数的一个或多个值可以是一个或多个API参数的第一一个或多个值。应用可以被配置为提供用户界面,通过该用户界面可以调整用于调整每个相应音频通道的相继音频级的集合的多个应用参数。多个应用参数可以包括比多个API参数更少的参数。应用可以通过用户界面接收多个应用参数中的一个或多个应用参数的第二一个或多个值。应用还可以确定(i)一个或多个应用参数与(ii)一个或多个API参数之间的映射。应用还可以基于所述映射和第二一个或多个值来确定第一一个或多个值。
在一些实施例中,第二一个或多个值可以通过经由用户界面提供的一个或多个滑块来接收。
在一些实施例中,应用可以被配置为基于以下一项或多项来确定针对一个或多个参数的一个或多个值:(i)计算设备的地理位置、(ii)计算设备的环境中的噪声状况、(iii)一天中的时间、(iv)与计算设备相关联的用户偏好,或(v)人工智能算法的输出。
许多上述特征和应用被实现为被指定为记录在计算机可读存储介质(也称为计算机可读介质)上的指令集的软件过程。当这些指令由一个或多个处理单元(例如,一个或多个处理器、处理器的核心或其它处理单元)执行时,它们使(一个或多个)处理单元执行指令中指示的动作。计算机可读介质的示例包括但不限于磁性介质、光学介质、电子介质等。计算机可读介质不包括无线地或通过有线连接通过的载波和电子信号。
在本说明书中,术语“软件”旨在包括例如驻留在只读存储器或其它形式的电子存储装置中的固件,或者可以存储在磁存储装置、光学、固态等中的应用,这些固件或应用可以被读取到存储器中以供处理器处理。而且,在一些实施方式中,本主题公开的多个软件方面可以被实现为更大程序的子部分,同时保留本主题公开的不同软件方面。在一些实施方式中,多个软件方面也可以被实现为单独的程序。最后,一起实现此处描述的软件方面的单独程序的任意组合都在本主题公开的范围之内。在一些实施方式中,软件程序在被安装以在一个或多个电子系统上操作时定义了一个或多个执行(execute)和执行(perform)软件程序的操作的具体机器实施方式。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译或解释语言、声明性或过程语言)编写,并且可以以任何形式部署,包括作为独立程序或作为模块、组件、子例程、对象或适于在计算环境中使用的其它单元。计算机程序可以但不必与文件系统中的文件对应。程序可以存储在保存其它程序或数据的文件的一部分中(例如,存储在标记语言文档中的一个或多个脚本)、专用于所讨论的程序的单个文件中,或多个协调的文件中(例如,存储一个或多个模块、子程序或代码的部分的文件)。可以将计算机程序部署为在一个计算机上执行,或者在位于一个站点上或分布在多个站点上并通过通信网络互连的多个计算机上执行。
上述这些功能可以在数字电子电路、计算机软件、固件或硬件中实现。可以使用一种或多种计算机程序产品来实现这些技术。可编程处理器和计算机可以包括在移动设备中或打包为移动设备。过程和逻辑流程可以由一个或多个可编程处理器以及由一个或多个可编程逻辑电路执行。通用和专用计算设备和存储设备可以通过通信网络互连。
一些实施方式包括电子组件,例如将计算机程序指令存储在机器可读或计算机可读介质(可替代地称为计算机可读存储介质、机器可读介质或机器可读存储介质)中的微处理器、存储装置和存储器。这种计算机可读介质的一些示例包括RAM、ROM、只读光盘(CD-ROM)、可记录光盘(CD-R)、可重写光盘(CD-RW)、只读数字多功能盘(例如、DVD-ROM、双层DVD-ROM)、多种可记录/可重写DVD(例如,DVD-RAM、DVD-RW、DVD+RW等)、闪存(例如,SD卡、mini-SD卡、micro-SD卡等)、磁性或固态硬盘驱动器、只读和可记录的
Figure BDA0002762228170000221
盘、超密度光盘、任何其它光学或磁性介质以及软盘。计算机可读介质可以存储可由至少一个处理单元执行并且包括用于执行各种操作的指令集的计算机程序。计算机程序或计算机代码的示例包括例如由编译器产生的机器代码,以及包括由计算机、电子部件或使用解释器的微处理器执行的高级代码的文件。
虽然以上讨论主要是指执行软件的微处理器或多核处理器,但是一些实现是由一个或多个集成电路(例如,专用集成电路(ASIC)或现场可编程门阵列(FPGA))执行的。在一些实施方式中,这样的集成电路执行存储在电路本身上的指令。
如本说明书和本申请的任何权利要求中所使用的,术语“计算机”、“服务器”、“处理器”和“存储器”均指电子或其它技术设备。这些术语不包括人或人的组。为了本说明书的目的,术语“显示(display)”或“显示(displaying)”意味着在电子设备上显示。如在本申请的说明书和任何权利要求中所使用的,术语“计算机可读介质(medium)”和“计算机可读介质(media)”完全限于以计算机可读的形式存储信息的有形物理对象。这些术语不包括任何无线信号、有线下载信号和任何其它临时信号。
为了提供与用户的交互,可以在具有用于向用户显示信息的显示设备(例如,CRT或LCD监视器)以及用户可以通过其向计算机提供输入的键盘和定点设备(例如鼠标或轨迹球)的计算机上实现本说明书中描述的主题的实施方式。其它种类的设备也可以被用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的感觉反馈,例如视觉反馈、听觉反馈或触觉反馈;并且可以以任何形式接收来自用户的输入,包括声学、语音或触觉输入。此外,计算机可以通过向用户使用的设备发送文档或从用户使用的设备接收文档来与用户进行交互;例如,通过响应于从web浏览器接收到的请求而向用户的客户端设备上的web浏览器发送网页。
本说明书中描述的主题的实施例可以在包括后端组件(例如,作为数据服务器)或包括中间件组件(例如,应用服务器)或包括前端组件(例如,具有用户可以通过其与本说明书中描述的主题的实施方式交互的图形用户界面或web浏览器的客户端计算机)或者一个或多个这样的后端、中间件或前端组件的任意组合的计算系统中实现。系统的组件可以通过数字数据通信的任何形式或介质(例如,通信网络)互连。通信网络的示例包括局域网(LAN)和广域网(WAN)、互联网络(例如,互联网)和对等网络(例如,自组织对等网络)。
计算系统可以包括客户端和服务器。客户端和服务器一般彼此远离,并且通常通过通信网络进行交互。客户端和服务器的关系是凭借在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序产生的。在一些实施例中,服务器将数据(例如,HTML页面)传输到客户端设备(例如,出于向与客户端设备交互的用户显示数据并从其接收用户输入的目的)。可以从服务器处的客户端设备接收在客户端设备处生成的数据(例如,用户交互的结果)。
应该理解的是,所公开的过程中步骤的任何具体次序或层次都是示例方法的说明。基于设计偏好,应该理解的是,可以重新排列过程中步骤的具体次序或层次,或者执行所有示出的步骤。其中一些步骤可以同时执行。例如,在某些情形下,多任务和并行处理可以是有利的。而且,上述实施例中的各种系统组件的分离不应当被理解为在所有实施例中都要求这种分离,并且应当理解的是,所描述的程序组件和系统一般可以在单个软件产品中集成在一起或打包到多个软件产品中。
提供先前的描述以使本领域的任何技术人员能够实践本文描述的各个方面。对这些方面的各种修改对于本领域技术人员将是显而易见的,并且本文定义的一般原理可以应用于其它方面。因此,权利要求书不旨在限于本文所示的方面,而是应当符合与语言权利要求一致的全部范围,其中以单数形式提及的元件不旨在意味着“一个且仅一个”,除非明确地这样声明,而是意味着“一个或多个”。除非另有特别声明,术语“一些”是指一个或多个。男性的代词(例如,他的)包括女性和中性性别(例如,她的和它的),反之亦然。标题和副标题(如果有的话)仅仅是为了方便起见而使用,并不限制本主题公开。
如本文所使用的,在一系列项之前的短语“至少一个”、用术语“和”或“或”来分隔任何项在整体上对列表进行修改,而不是对列表的每个成员(例如,每个项)进行修改。短语“…中的至少一个”不要求选择列出的每一项中的至少一个;更确切地说,该短语允许包括任何一个项的至少一个和/或项的任意组合中的至少一个和/或每个项的至少一个的含义。举例来说,短语“A、B和C中的至少一个”或“A、B或C中的至少一个”各自仅指A、B或C;A、B和C的任意组合;和/或A、B和C中的每一个的至少一个。
短语(诸如方面、该方面、另一方面、一些方面、一个或多个方面、实施方式、该实施方式、另一个实施方式、一些实施方式、一个或多个实施方式、实施例、该实施例、另一个实施例、一些实施例、一个或多个实施例、配置、该配置、另一个配置、一些配置、一个或多个配置、主题技术、该公开、本公开,其其它变体等)是为了方便起见并且不意味着与这样的(一个或多个)短语相关的公开对于本主题技术是必不可少的或者这种公开适用于本主体技术的所有配置。与这样的(一个或多个)短语相关的公开可以适用于所有配置,或一个或多个配置。与这样的(一个或多个)短语相关的公开可以提供一个或多个示例。短语(诸如方面或一些方面)可以指一个或多个方面,反之亦然,并且这类似地适用于其它前述短语。
本领域普通技术人员已知或以后将知道的贯穿本公开内容描述的各个方面的元素的所有结构和功能等同物均明确地通过引用并入本文,并且旨在被本主题技术涵盖。而且,无论在上面的描述中是否明确叙述了这种公开,本文中公开的任何内容都不旨在专用于公众。不打算根据35U.S.C.§112第六段的规定解释任何要求保护的元素内容,除非使用短语“用于……的部件”或在方法权利要求的情况下使用短语“用于……的步骤”明确地叙述该元素。此外,就在描述或权利要求书使用术语“包含”、“具有”等的程度而言,这样的术语旨在以与术语“包括”相似的方式是包含性的,如“包括”在权利要求中被用作过渡词时所解释的那样。

Claims (20)

1.一种计算机实现的方法,包括:
为由计算设备的操作系统提供的多个音频通道中的每个相应音频通道提供相继音频级的集合,以应用于相应音频通道;
由操作系统提供被配置为设置用于调整针对每个相应音频通道的相继音频级的集合的多个参数的应用编程接口(API);
经由API并从在计算设备上运行的应用接收针对所述多个参数中的一个或多个参数的一个或多个值;以及
由操作系统基于接收到的针对所述一个或多个参数的一个或多个值来调整所述多个音频通道。
2.如权利要求1所述的计算机实现的方法,其中应用由不同于计算设备的操作系统的提供者的第三方提供。
3.如权利要求1或权利要求2所述的计算机实现的方法,其中针对每个相应音频通道的相继音频级的集合包括以下一个或多个:(i)输入增益级、(ii)预均衡级、(iii)多带压缩级、(iv)后均衡级,或(v)限幅器级。
4.如前述权利要求中的任一项所述的计算机实现的方法,其中用于调整针对每个相应音频通道的相继音频级的集合的所述多个参数包括针对相继音频级的每个相应音频级的用于启用或禁用所述相应音频级的第一参数。
5.如前述权利要求中的任一项所述的计算机实现的方法,其中,当启用相应音频级时,根据用于所述相应音频级的所述多个参数的子集来修改由所述相应音频通道接收的音频数据,并且其中,当禁用相应音频级时,音频数据不加修改地通过所述相应音频级。
6.如权利要求1所述的计算机实现的方法,其中相继音频级的集合中的第一音频级是可调整的以支持第一数量的频带,其中相继音频级的集合中的第二音频级是可调整的以支持第二数量的频带,并且其中针对所述一个或多个参数的所述一个或多个值指示(i)将第一音频级调整到的第一数量的频带的第一子集,以及(ii)将第二音频级调整到的第二数量的频带的第二子集。
7.如权利要求6所述的计算机实现的方法,其中所述第一数量的频带不同于所述第二数量的频带。
8.如前述权利要求中的任一项所述的计算机实现的方法,其中针对所述一个或多个参数的所述一个或多个值指示(i)由相继音频级的集合中的第一音频级支持的多个频带中的第一频带的第一截止频率,以及(ii)所述多个频带中的第二频带的第二截止频率。
9.如权利要求8所述的计算机实现的方法,其中所述第一截止频率不同于所述第二截止频率。
10.如前述权利要求中的任一项所述的计算机实现的方法,其中针对每个相应音频通道的相继音频级的集合包括限幅器级,其中第一音频通道的第一限幅器级链接到第二音频通道的第二限幅器级,使得当第一限幅器级将第一音频通道的输出衰减第一程度时,第二限幅器级将第二音频通道的输出衰减与第一程度成比例的第二程度。
11.如权利要求10所述的计算机实现的方法,其中立体声音频信号由第一音频通道和第二音频通道定义。
12.如前述权利要求中的任一项所述的计算机实现的方法,其中API提供多个API函数,通过所述多个API函数,所述多个参数是可调整的,其中接收针对所述一个或多个参数的所述一个或多个值包括接收(i)用于执行所述多个API函数中与所述一个或多个参数对应的一个或多个API函数的请求,以及(ii)作为所述一个或多个API函数的相应输入的所述一个或多个值,并且其中基于所述接收到的一个或多个值调整所述多个音频通道包括以所述一个或多个值作为相应输入来执行所述一个或多个API函数。
13.如前述权利要求中的任一项所述的计算机实现的方法,其中API被配置为基于以下至少一项来调整所述多个参数中的一个或多个附加参数的一个或多个附加值:(i)由应用使用的麦克风的类型或(ii)由应用使用的扬声器的类型。
14.如前述权利要求中的任一项所述的计算机实现的方法,其中所述多个音频通道包括左音频通道和右音频通道,并且其中应用被配置为通过以下操作来增强用户的听力:
从连接到计算设备的麦克风接收音频信号;
向(i)左音频通道和(ii)右音频通道提供音频信号,其中根据左音频通道的第一参数集合由左音频通道修改音频信号,并且其中根据右音频通道的第二参数集合由右音频通道修改音频信号;
接收(i)左音频通道的第一输出和(ii)右音频通道的第二输出;
通过连接到计算设备的第一扬声器,基于第一输出生成左输出声音;以及
通过连接到计算设备的第二扬声器,基于第二输出生成右输出声音。
15.如前述权利要求中的任一项所述的计算机实现的方法,其中所述多个参数是多个API参数,其中所述一个或多个参数的所述一个或多个值是一个或多个API参数的第一一个或多个值,其中应用被配置为:
提供用户界面,通过该用户界面,用于调整针对每个相应音频通道的相继音频级的集合的多个应用参数是可调整的,其中所述多个应用参数包括的参数少于所述多个API参数;
通过用户界面接收针对所述多个应用参数中的一个或多个应用参数的第二一个或多个值;
确定(i)所述一个或多个应用参数与(ii)所述一个或多个API参数之间的映射;以及
基于所述映射和所述第二一个或多个值确定所述第一一个或多个值。
16.如前述权利要求中的任一项所述的计算机实现的方法,其中应用被配置为基于以下一项或多项来确定针对所述一个或多个参数的所述一个或多个值:(i)计算设备的地理位置、(ii)计算设备的环境中的噪声状况、(iii)一天中的时间、(iv)与计算设备相关联的用户偏好,或(v)人工智能算法的输出。
17.一种计算系统,包括:
应用,被配置为由该计算系统执行;
操作系统,被配置为提供多个音频通道;
相继音频级的集合,用于所述多个音频通道中的每个相应音频通道,以应用于所述相应音频通道;以及
应用编程接口(API),被配置为(i)设置用于调整针对每个相应音频通道的相继音频级的集合的多个参数,以及(ii)从应用接收针对所述多个参数中的一个或多个参数的一个或多个值,其中操作系统被配置为基于接收到的针对所述一个或多个参数的一个或多个值来调整所述多个音频通道。
18.如权利要求17所述的计算系统,其中相继音频级的集合中的第一音频级是可调整的以支持第一数量的频带,其中相继音频级的集合中的第二音频级是可调整的以支持第二数量的频带,并且其中针对所述一个或多个参数的所述一个或多个值指示(i)将第一音频级调整到的第一数量的频带的第一子集,以及(ii)将第二音频级调整到的第二数量的频带的第二子集。
19.如权利要求17或权利要求18所述的计算系统,其中所述多个参数是多个API参数,其中所述一个或多个参数的所述一个或多个值是一个或多个API参数的第一一个或多个值,其中应用被配置为:
提供用户界面,通过该用户界面,用于调整针对每个相应音频通道的相继音频级的集合的多个应用参数是可调整的,其中所述多个应用参数包括的参数少于所述多个API参数;
通过用户界面接收针对所述多个应用参数中的一个或多个应用参数的第二一个或多个值;
确定(i)所述一个或多个应用参数与(ii)所述一个或多个API参数之间的映射;以及
基于所述映射和所述第二一个或多个值确定所述第一一个或多个值。
20.一种非暂态计算机可读存储介质,其上存储有指令,所述指令在由计算设备执行时使所述计算设备执行操作,包括:
为由计算设备的操作系统提供的多个音频通道中的每个音频通道提供相继音频级的集合,以应用于相应音频通道;
由操作系统提供被配置为设置用于调整针对每个相应音频通道的相继音频级的集合的多个参数的应用编程接口(API);
经由API并从在计算设备上执行的应用接收针对所述多个参数中的一个或多个参数的一个或多个值;以及
由操作系统基于接收到的针对所述一个或多个参数的一个或多个值来调整所述多个音频通道。
CN201980030467.1A 2018-05-07 2019-05-02 动态处理效果体系架构 Active CN112088353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411737761.5A CN119847472A (zh) 2018-05-07 2019-05-02 动态处理效果体系架构

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862668142P 2018-05-07 2018-05-07
US62/668,142 2018-05-07
PCT/US2019/030376 WO2019217194A1 (en) 2018-05-07 2019-05-02 Dynamics processing effect architecture

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202411737761.5A Division CN119847472A (zh) 2018-05-07 2019-05-02 动态处理效果体系架构

Publications (2)

Publication Number Publication Date
CN112088353A true CN112088353A (zh) 2020-12-15
CN112088353B CN112088353B (zh) 2024-12-10

Family

ID=66770547

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980030467.1A Active CN112088353B (zh) 2018-05-07 2019-05-02 动态处理效果体系架构
CN202411737761.5A Pending CN119847472A (zh) 2018-05-07 2019-05-02 动态处理效果体系架构

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202411737761.5A Pending CN119847472A (zh) 2018-05-07 2019-05-02 动态处理效果体系架构

Country Status (5)

Country Link
US (4) US10681485B2 (zh)
EP (1) EP3769206B1 (zh)
CN (2) CN112088353B (zh)
DE (1) DE112019002337T5 (zh)
WO (1) WO2019217194A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114879931A (zh) * 2022-07-11 2022-08-09 南京芯驰半导体科技有限公司 一种支持多操作系统的板载音频路径管理方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514620B2 (en) * 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US12041424B2 (en) 2021-03-11 2024-07-16 Google Llc Real-time adaptation of audio playback
US11968504B1 (en) * 2023-11-27 2024-04-23 The Epstein Hear Us Now Foundation Hearing-assist systems and methods for audio quality enhancements in performance venues

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104335273A (zh) * 2012-06-08 2015-02-04 苹果公司 基于系统状态来调节音频波束形成设置
US20150281853A1 (en) * 2011-07-11 2015-10-01 SoundFest, Inc. Systems and methods for enhancing targeted audibility
US20160037279A1 (en) * 2014-08-01 2016-02-04 Steven Jay Borne Audio Device
WO2017214086A1 (en) * 2016-06-07 2017-12-14 Dolby Laboratories Licensing Corporation Audio equalization system and method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131178A (zh) * 2008-12-05 2016-11-16 社会传播公司 实时内核
TWI384889B (zh) * 2008-12-26 2013-02-01 Alpha Networks Inc 聲音播放裝置參數調整方法
US20130198630A1 (en) * 2012-01-30 2013-08-01 Ability Apps, Llc. Assisted hearing device
US9118293B1 (en) * 2013-09-18 2015-08-25 Parallels IP Holdings GmbH Method for processing on mobile device audio signals of remotely executed applications
US10073607B2 (en) * 2014-07-03 2018-09-11 Qualcomm Incorporated Single-channel or multi-channel audio control interface
US10409548B2 (en) * 2016-09-27 2019-09-10 Grabango Co. System and method for differentially locating and modifying audio sources

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150281853A1 (en) * 2011-07-11 2015-10-01 SoundFest, Inc. Systems and methods for enhancing targeted audibility
CN104335273A (zh) * 2012-06-08 2015-02-04 苹果公司 基于系统状态来调节音频波束形成设置
US20160037279A1 (en) * 2014-08-01 2016-02-04 Steven Jay Borne Audio Device
WO2017214086A1 (en) * 2016-06-07 2017-12-14 Dolby Laboratories Licensing Corporation Audio equalization system and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114879931A (zh) * 2022-07-11 2022-08-09 南京芯驰半导体科技有限公司 一种支持多操作系统的板载音频路径管理方法及系统

Also Published As

Publication number Publication date
EP3769206B1 (en) 2025-01-08
US20220116728A1 (en) 2022-04-14
US20200260207A1 (en) 2020-08-13
EP3769206A1 (en) 2021-01-27
US11997471B2 (en) 2024-05-28
DE112019002337T5 (de) 2021-03-04
US11689876B2 (en) 2023-06-27
US20230292076A1 (en) 2023-09-14
CN112088353B (zh) 2024-12-10
US11234093B2 (en) 2022-01-25
CN119847472A (zh) 2025-04-18
WO2019217194A1 (en) 2019-11-14
US20190342689A1 (en) 2019-11-07
US10681485B2 (en) 2020-06-09

Similar Documents

Publication Publication Date Title
US11997471B2 (en) Dynamics processing effect architecture
US9557960B2 (en) Active acoustic filter with automatic selection of filter parameters based on ambient sound
US10652674B2 (en) Hearing enhancement and augmentation via a mobile compute device
CN113676803A (zh) 一种主动降噪方法及装置
KR20200085226A (ko) 사용자-특정 및 하드웨어-특정 오디오 정보에 기반한 커스터마이즈화된 오디오 처리
JP7584743B2 (ja) 共有リスニング環境における聴覚障害者のためのオーディオ強化
JP2016195439A (ja) 動的閾値を用いた周波数帯域圧縮
US11991510B2 (en) System and method for adjusting audio parameters for a user
US9847767B2 (en) Electronic device capable of adjusting an equalizer according to physiological condition of hearing and adjustment method thereof
EP4333464A1 (en) Hearing loss amplification that amplifies speech and noise subsignals differently
CN115175076A (zh) 音频信号的处理方法、装置、电子设备及存储介质
WO2020252973A1 (zh) 一种无线耳机降噪方法、系统及无线耳机和存储介质
JP7589304B2 (ja) 再生機能が異なる装置を横断したダイナミクス処理
KR102446946B1 (ko) 다중대역 더커
US10923098B2 (en) Binaural recording-based demonstration of wearable audio device functions
KR102110515B1 (ko) 음향 광고 또는 음향 데이터를 재생하는 보청기
JP7496433B2 (ja) 変化する環境でオーディオを向上するシステム及び方法
US11463809B1 (en) Binaural wind noise reduction
WO2020255601A1 (ja) 出力音制御装置、および出力音制御方法、並びにプログラム
CN110366068A (zh) 音频调节方法、电子设备以及装置
US12108227B2 (en) System and method for adjusting audio parameters for a user

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant