CN114303391A - 音量相关的音频补偿 - Google Patents

Abstract

提出了一种用于在包括至少一个音频扬声器的音频扬声器布置中实时处理音频流的方法(100)。所述方法(100)包括接收(110)音频流和与所述音频流相关联的回放音量，和基于所述回放音量和预先存储的声学传输数据来确定(120)所述音频扬声器的回放声压级。所述预先存储的声学传输数据使所述回放音量与所述音频扬声器的所述回放声压级相关联。所述方法还包括基于与所确定的回放声压级相关联的振幅补偿数据来生成(130)补偿滤波器，并且使用所述补偿滤波器对所述音频流进行滤波(140)并将增益因子应用于所述音频流，从而生成补偿音频流。所述增益因子被配置成使得所述音频流的总音频功率得以保持，而不管所述补偿滤波器如何。所述补偿音频流被提供(150)到所述音频扬声器(21)。另外，提出了一种音频扬声器布置和计算机程序产品。

Description

音量相关的音频补偿

技术领域

本发明涉及音频补偿，且更确切地说，涉及一种用于在音频扬声器布置中补偿音频流的方法和装置。

背景技术

自从在二十世纪70年代后期引入便携式电子设备(例如Walkman^TM)以来，便携式音频的可用性和质量不断地提高。有了智能手机，这种装置的每个用户都可访问源源不断的音乐和其它音频内容。音频内容通常将通过一对耳机或其它便携式扬声器来体验。

音频内容旨在以特定方式播放，例如，内容的作者和制作人对收听者应如何感知内容有一定想法。同样的道理也适用于扬声器和耳机。这些产品的设计师通常有一个愿景，即他们的产品应该如何改变音频内容，以便创造例如品牌特定的声音或感觉。

这个问题的一个解决方案是通过让收听者进行听力测试并调整音频以补偿听力测试的结果而使聆听体验个性化。US2006215844中提出了此概念的实现方式，其中音频信号根据收听者的听力简档进行滤波。

现有技术侧重于听力阈值，即收听者可听到的最低声压。但是，所播放的音频很少以与听力阈值对应的音量播放。

鉴于上述情况，显然还有改进的空间。

发明内容

本发明的目的在于提供一种新型音频补偿，所述音频补偿比现有技术有所改进，并且消除或至少减轻上文所论述的缺点。更具体地说，本发明的目的在于提供一种音频补偿，所述音频补偿是在没有音频信号的先验知识的情况下确定的，并且适用于流式音频。这些目的通过所附独立权利要求中阐述的技术实现，所附独立权利要求具有与其相关的从属权利要求中定义的优选实施方式。

根据本发明的第一方面，提出了一种用于在音频扬声器布置中实时处理音频流的方法。音频扬声器布置包括至少一个音频扬声器。所述方法包括接收音频流和与音频流相关联的回放音量。由此，基于回放音量和预先存储的声学传输数据来确定音频扬声器的回放声压级。预先存储的声学传输数据使回放音量与音频扬声器的回放声压级相关联。所述方法还基于与所确定的回放声压级相关联的振幅补偿数据来生成补偿滤波器，并使用补偿滤波器对音频流进行滤波，并将增益因子应用于音频流，从而生成补偿音频流。所述增益因子被配置成使得所述音频流的总音频功率得以保持，而不管所述补偿滤波器如何。补偿音频流被提供到音频扬声器。

在方法的一个实施方式中，振幅补偿数据是基于等响度线。通过以等响作为振幅补偿数据的基础，将以相同方式感知音频流，而不管回放声压级如何。

在另一实施方式中，振幅补偿数据包括用于多个不同频率和多个回放音量的振幅补偿值。通过添加频率相关性，将以相同方式感知音频流，而不管回放声压级如何。

在额外实施方式中，所述方法进一步包括接收与回放音量不同的更新的回放音量的步骤，并基于更新的回放音量和预先存储的声学传输数据来确定音频扬声器的更新的回放声压级。更新的补偿滤波器是基于与所确定的更新的回放声压级相关联的振幅补偿数据生成的。对音频流进行滤波以使用更新的补偿滤波器生成补偿音频流。使用更新的补偿滤波器向音频扬声器提供与更新的回放音量同步的补偿音频流。通过使音频流能够与回放音量的改变同步提供，将允许在回放音量改变时将经音量补偿的音频流传送给用户而不会中断。

在一个实施方式中，滤波步骤进一步包括将增益因子应用于音频流，从而生成补偿音频流。增益因子被配置成使得音频流的总音频功率得以保持，而不管更新的补偿滤波器如何。这是有用的，因为补偿滤波器的应用可能对音频流具有减少或增加的影响。

在又一实施方式中，音频流在音频帧中滤波。使音频流位于帧中使得有可能以组块处理、处置和传送音频流。

在另一实施方式中，在两个连续音频帧的滤波之间的中间时间期间执行确定更新的回放声压级及生成更新的补偿滤波器的步骤。这使得在不损害音频流的补偿的情况下，回放声压级的改变是基本上即时的。

在一个实施方式中，生成补偿滤波器的步骤另外基于与音频扬声器布置的用户相关联的听力简档。还基于听力简档处理音频流将进一步增加用户的聆听体验。

在另一实施方式中，以声道化音频格式形成音频流。这在享受包括多于一个声道的音频流时是有用的，例如立体声音频流或其它多声道音频流。

在一个实施方式中，声道化音频格式包括左声道音频流和右声道音频流。在此实施方式中，生成补偿滤波器的步骤进一步包括生成用于左声道音频流的左补偿滤波器和用于右声道音频流的右补偿滤波器。这在享受立体声音频流时和/或在用户的听力简档在左耳与右耳上不同时是有益的。

在一个实施方式中，补偿滤波器是具有线性相位响应的数字滤波器，例如FIR滤波器。FIR滤波器是有益的，因为其可以具有精确线性相位，其始终稳定，其以硬件有效地实现，且滤波器启动瞬变具有有限的持续时间。

在本发明的第二方面中，引入了一种音频扬声器布置，其包括：至少一个音频扬声器；至少一个存储器；至少一个外部接口；和至少一个控制器，其以可操作方式连接到所述至少一个音频扬声器、所述至少一个存储器和所述至少一个外部接口。所述至少一个控制器被配置成：经由外部接口实时接收音频流和与所述音频流相关联的回放音量；和基于回放音量及预先存储的声学传输数据来确定音频扬声器的回放声压级。预先存储的声学传输数据使回放音量与音频扬声器的回放声压级相关联。此用于基于与所确定的回放声压级相关联的振幅补偿数据生成补偿滤波器，且用于使用补偿滤波器对音频流进行滤波，并将增益因子应用于音频流，从而生成补偿音频流。增益因子被配置成使得音频流的总音频功率得以保持，而不管补偿滤波器如何。补偿音频流被提供到音频扬声器。

在音频扬声器布置的一个实施方式中，外部接口为无线接口。具有无线外部接口会提高音频扬声器布置的可用性、舒适性和灵活性。

在音频扬声器布置的一个实施方式中，其被配置成执行如上文所公开的用于处理音频流的方法。

根据第三方面，提出了一种计算机程序产品。所述计算机程序产品被配置成在由控制器执行时使得所述控制器实时地接收音频流和与所述音频流相关联的回放音量。所述计算机程序产品还被配置成基于回放音量和预先存储的声学传输数据来确定音频扬声器的回放声压级。预先存储的声学传输数据使回放音量与音频扬声器的回放声压级相关联。由此，基于与所确定的回放声压级相关联的振幅补偿数据生成补偿滤波器，且使用补偿滤波器对音频流进行滤波，并将增益因子应用于音频流，从而生成补偿音频流。增益因子被配置成使得音频流的总音频功率得以保持。补偿音频流被提供到音频扬声器。

在一个实施方式中，所述计算机程序产品进一步被配置成使得所述控制器执行如上文所公开的用于处理音频流的方法。

附图说明

下文将描述本发明的实施方式；参考图解图式，所述图式说明本发明概念可如何精简到实践中的非限制性示例。

图1a为根据本发明的实施方式的音频回放系统的视图。

图1b为根据本发明的实施方式的音频回放系统的信号流的框图。

图2为根据本发明的实施方式的等响度线的曲线图。

图3为根据本发明的实施方式的两条等响度线之间的增量的曲线图。

图4为根据本发明的实施方式的展示补偿音频流的原理的分块视图。

图5a到5c为根据本发明的实施方式的音频流和其相关联时间的不同视图。

图6为根据本发明的实施方式的解释预先存储的声学传输数据的示意性框图。

图7为根据本发明的实施方式的在使用中的音频扬声器布置的视图。

图8a到8b为根据本发明的实施方式的补偿滤波器的示例性曲线图。

图9为根据本发明的实施方式的补偿滤波器的产生的示意性视图。

图10为根据本发明的实施方式的音频扬声器布置的示意性视图。

图11为根据本发明的实施方式的音频处理的示意性视图。

图12a到12b为根据本发明的实施方式的用于处理音频流的方法的示意性框图。

图13为根据本发明的实施方式的计算机程序产品的视图。

图14为根据本发明的实施方式的音频扬声器布置的视图。

图15a为根据本发明的实施方式的补偿滤波器的曲线图。

图15b为根据本发明的实施方式的听力简档的曲线图。

具体实施方式

下文中，将参考随附图式更充分地描述特定实施方式。然而，本发明可以许多不同形式体现，且不应被视为限于本文中所阐述的实施方式；实际上，这些实施方式借助于示例提供，以使得本公开内容将为彻底且完整的，且将向所属领域的技术人员充分传达本发明的范围，如所附权利要求中所限定。

本文中，字回放系统、回放装置或回放音量意味着在再现所接收的音频数据的意义上回放。术语并不意味着呈所存储音频或媒体的回放的限制形式的回放，而是涵盖所有形式的媒体，例如实时媒体、所存储媒体、流式媒体、渐进式下载媒体等。除此之外，术语补偿意味着呈其最广泛形式的补偿，且在本公开内容中可被视为与术语处理同义。这不仅适用于描述动作，而且还适用于描述对象，例如补偿滤波器。

在图1a中，展示了音频回放系统1。系统1包括可配置成经由外部接口30将音频传输到音频扬声器布置20的电子装置10。音频扬声器布置20包括可布置成将音频输出提供到音频回放系统1的用户40(如图7中所展示)的至少一个音频扬声器21。通常，音频扬声器布置20包括两个音频扬声器21以实现音频输出的立体声回放。

音频扬声器布置20在一个实施方式中为一对耳机20，且在另一实施方式中为一对无线耳机20。电子装置10可为便携式电子装置10，例如蜂窝电话、便携式音乐播放器、平板计算机、膝上型计算机等。

电子装置10以适合于外部接口30和音频扬声器布置20的形式将音频传输到扬声器布置20。传输可为数字或模拟，其在本公开内容的概念中意味着呈现音频信息的方式。外部接口30可为有线或无线外部30接口。如果外部接口30为有线接口，那么音频从电子装置10的传输可取决于扬声器布置20而呈模拟形式或数字形式。如果外部接口30为无线接口，那么音频从电子装置10的传输通常将呈数字形式。尽管大多数描述将以无线数字接口的形式与外部接口30相关，但本公开内容的细节可适用，而不管外部接口30的类型如何。在阅读本公开内容之后，本领域的技术人员将理解如何通过有线模拟或数字外部接口30来改变本发明以使其也获得成功。

图1a中所引入的音频回放系统1用于以特定音量将音频流33提供到用户40。参考图1b，将使用一些定义来解释音频流33的流动。音频流33在某一时刻被记录于称为主电平12的水平下。此主电平12基本上为初始记录的增益。主电平12在不同记录媒体之间大体上相同，这使得有可能在不调整回放音量15的情况下收听不同媒体流。

音频流33在其主电平12下提供到电子装置10。音频流33可提供到电子装置10，例如作为来自流式传输服务的流式媒体的音频组件，从电子装置10的存储单元检索等。当收听音频流33时，电子装置10的用户40将针对音频流33设置回放音量15。回放音量15的这一设置可通过用电子装置10或音频扬声器布置20上的按钮或控制件来调整回放音量15而执行。

音频流33经由外部接口30从电子装置10提供到音频扬声器布置20。由于音频流33通常在主电平12下提供，因此音频流33与回放音量15一起提供。电子装置10有可能在将音频流33提供到音频扬声器布置20之前改变音频流33的主电平12。音频扬声器布置20接收音频流33和回放音量15，并且使用这两者来将处于回放声压级52的音频流提供到音频扬声器布置20的用户40。回放声压级52为用户40借以接收音频信号33的声压级。回放音量15将导致由音频扬声器21提供的回放声压级52。在音频流33的回放期间，回放音量15可以第一因子改变，且这导致回放声压级52以第二因子改变。然而，回放声压级52将取决于音频扬声器布置20的类型。第一因子与第二因子之间的关联可为任何类型的线性或非线性关联。这种关联对于电子装置10来说通常是未知的，这是由于在一些情况下，一个电子装置10可与许多不同音频扬声器布置20一起使用。当音频信号被掌握时，回放声压级52在音频信号应如预期的被感知时为重要的。

音频信号包括频谱，且音频信号的此频谱将在不同的回放声压级52下不同地被感知。当比较不同声压级下的等响度线300(见图2)时，可以看出这一点。由本公开内容的发明性概念解决的一个问题在于使得音频流33能够如预期的那样被感知，即，如在主电平12下被掌握时所感知，而不管回放声压级52如何。

图2中展示多个等响度线300。等响度线300为声压级的度量，通常以分贝表示为dB声压级SPL。声压级通过频谱提供，通常为人类的可听频谱。等响度线300中的每一点代表一个声压级，当与在1kHz处以特定方呈现的纯音进行比较时，收听者感知到所述声压级的恒定响度。方定义于DIN 45631和ISO532中，且在本文中将定义为意味着具有50dB SPL的1kHz音调的响度为50方，且以与此信号具有相同响度感知的所有其它频率的响度也为50方。

在图2中，针对不同方绘制等响度300线。在图2中，针对0、20、40、60、80和100方呈现等响度线300。图2的响度线300为根据ISO 226:213的响度线300。与哈维·弗莱彻(Harvey Fletcher)和威尔登·蒙森(Wilden A.Munson)在1933年提供的弗莱彻-蒙森曲线相比，这些等高线300被校正。弗莱彻-蒙森曲线通常被称为等响度概念的第一描述。如果声压级对收听者如何感知音频信号的频谱没有影响，那么图2中的线300之间的偏移在所有频率上都将是相同的。

在图3中，示出了20方和40方的等响度线300之间的增量310。如所见，如虚线所示，1kHz时的声压级差310如预期的那样为20dB，但与高于和低于1kHz的预期20dB相差很大。此效应导致根据回放的声压级，音频回放被认为具有不同的频谱。

本公开内容的发明人在经过深刻的推理和创造性的思考之后已认识到，当从电子装置10播放音频流33时，可在回放系统1中补偿上文所描述的效应。本文中提出的解决方案将基于选定的回放音量15补偿音频流33，且在回放音量15改变时将大体上即时地改变补偿。

参考图4，将示出根据本发明补偿音频流33的原理。将参考如图1a所引入的回放系统1来解释这些原理，并且许多处理步骤在被引用为音频扬声器布置20的装置中执行。然而，应强调的是，处理步骤可以很好地在电子装置10中执行，或者分布在电子装置10与音频扬声器布置20之间。

在图4的示意性框图中，电子装置10经由外部接口30传达信号31。信号31包括音频流33和与音频流33相关联的控制数据32。音频扬声器布置20使用适合于外部接口30的收发器模块22经由外部接口30接收信号31。举例来说，如果在一个实施方式中，外部接口是蓝牙低能量接口，那么收发器模块22是蓝牙低能量收发器模块，且如果在一个实施方式中，外部接口是有线串行接口，那么收发器模块22是有线串行收发器模块。收发器模块22接收信号31，分析信号31且检测其分量，例如音频流33和其相关联控制数据32。注意，检测和分析可以由任何合适的控制电路执行，并且此功能可以包括在音频扬声器布置20的其它模块中。控制数据32被传达到控制模块24，且音频流33被传达到数字信号处理DSP模块28。

控制数据32包括与音频流33相关联的回放音量15，且控制模块24具备控制数据32和预先存储的声学传输数据50(展示于图6中)，所述预先存储的声学传输数据50描述回放音量15如何转换成音频扬声器21的回放声压级52。在接下来的部分中将进一步解释预先存储的声学传输数据50。控制模块24基于包括回放音量15和预先存储的声学传输数据50的输入参数生成补偿滤波器320(如图9中所展示)。补偿滤波器320在一个实施方式中表示为有限脉冲响应FIR滤波器的数字滤波器系数。补偿滤波器320可作为DSP控制信号25传达到DSP模块28。补偿滤波器320可为任何类型的合适滤波器或均衡功能，例如无限脉冲响应IIR滤波器。

DSP模块28包括在补偿音频流33时应用由控制模块24提供的数字滤波器系数以便向音频扬声器21提供补偿音频流27的功能。除了将补偿滤波器320应用于音频流33之外，DSP模块26还可配置成将其它处理功能应用于音频流，例如，噪声消除、声音着色、音频和音乐效果、低音增强、立体声扩展、3D音效等。

在补偿音频流27被馈送到音频扬声器21之前，其通常将经受数模D/A模块28，所述数模模块28将数字补偿音频流27变换为提供到音频扬声器21的模拟音频信号29。模拟音频信号29是具有与回放音量15相关的电压振幅的时变音频信号。模拟音频信号29的电压振幅决定音频扬声器21的回放声压级52。

如前文所提及，存在可以控制音频扬声器布置20的回放声压级52的不同实现方式。取决于如何控制回放声压级52，可以不同地处置电子装置10的用户40对回放音量15的变化的处置。

在一个实施方式中，通过在DSP模块26的处理期间将数字增益应用于音频流33来控制回放声压52级。DSP模块26将执行回放音量15的改变，并且更新的补偿滤波器320的应用可以与更新的回放音量15’的应用同步。同步可由控制模块24或DSP模块26控制。

在另一实施方式中，通过在A/D模块28的处理期间将数字增益和/或模拟增益应用于补偿音频流28来控制回放声压级。在此类实施方式中，更新的增益由控制模块24传达到A/D模块28，由图4中的虚线所示，并且更新的补偿滤波器320传达到DSP模块26。在此实施方式中，控制模块24负责使更新的补偿滤波器320的应用与更新的回放音量15’同步。

将关于回放音量15的更新和更新的回放声压级52与更新的补偿滤波器320的同步的实施方式视为非限制性示例。可在音量变化导致DSP模块26的数字增益变化和A/D模块28的模拟增益变化的情况下组合所述实施方式。数字增益也可能由DSP模块26和A/D模块28两者控制。

参考图5a到5c，将进一步详细描述信号31的处理。在图5a中，示例性音频流33被示为包括在经由外部接口30传达的信号31中。音频流33仅出于说明性目的被示为时变信号。音频流33通常形成为数据包，并在例如用于外部接口30中的音频流式传输的信道上传输。

在图5b中，收发器模块22在音频帧23中接收音频流33。每个音频帧23保存表示帧时间TF的音频的数据。在一个实施方式中，每个音频帧23保存以44.1kHz采样的512个音频数据样本，此对应于约11.6ms的帧时间TF。应注意，帧大小在各系统之间可能不同。音频帧23通常以依赖于外部接口30的传输速率的速率经由外部接口30接收。可通过具有帧缓冲器的音频扬声器布置20来减轻与外部接口30相关的导致音频流33的回放的不期望中断的问题。帧缓冲器被配置成缓冲帧23且降低回放中的抖动的风险。假设以大体上等于帧时间TF的速率接收帧23，仅一个错误接收的帧23可导致音频流33的回放中的抖动。

音频帧23被提供到DSP模块22，所述音频帧23在所述DSP模块22中被例如补偿滤波器320处理。DSP模块22对每个帧23的处理被称为处理时间TP，且处理时间TP比帧时间TF短。帧时间TF与处理时间TP之间时间差为空闲时间TΙ。在空闲时间TΙ期间，DSP模块通常将处于睡眠模式中以便节省功率，且此时间TΙ可用于应用和/或生成和/或更新补偿滤波器320。补偿滤波器320的生成适用于其中例如控制模块24和DSP模块26是相同模块24、26或控制模块24指示DSP模块26基于来自控制模块24的参数生成补偿滤波器320的实施方式。滤波后的音频帧23作为补偿音频流27提供到D/A模块28。补偿音频流27通常将以与先前公开的帧缓冲器的方式类似的方式缓冲于输出缓冲器中。输出缓冲器通常由D/A时钟计时，并且输出被提供到音频扬声器21。在上述实施方式中，D/A时钟通常与音频数据的采样速率44.1kHz相关联。输出缓冲器是系统设计参数，并且在一个实施方式中被配置成保存两个音频帧23。

通过利用两个连续音频帧23之间的空闲时间TΙ来生成补偿滤波器320，有可能在音频流33的回放期间与音频扬声器21的回放声压级52的改变同步地无缝且大体上即时地更新补偿滤波器320。本文中呈现的教导使得从用户40的角度实时地改变回放声压级52音频流33。换句话说，从音频扬声器将更新的回放音量15接收到布置20到回放声压级52的变化所花费的时间非常短，在10ms的范围内。

参考图6，将进一步详细解释预先存储的声学传输数据50。回放音量15通常由电子装置10提供且可呈许多不同的形式。回放音量15可以是百分数，其中100％是可能的最高回放音量，或其可以是从例如0到15的离散步长，其中15对应于最高回放音量15。回放音量15在任一情况下都是可配置的，并且它必须与音频扬声器21的回放声压级52相关。回放音量15不一定与音频扬声器布置20的回放音量直接相关。音频扬声器布置20可配置成具有比电子装置10更多或更少的回放音量的步长。此时使用预先存储的声学传输数据50。

预先存储的声学传输数据50提供用于使电子装置10的回放音量15与音频扬声器布置20的回放声压级52相关的装置。作为一示例，如果音频扬声器布置20具备允许32个音量步长(0到31)的功能，那么这些音量步长中的每一个与回放声压级52相关。如果电子装置10具备允许16个音量步长(0到15)的功能，那么在电子装置10上选择中间音量步长，即步长7，将导致在音频扬声器布置20中选择中间音量步长，即步长15。

预先存储的声学传输数据50可以许多不同方式形成。其可以形成为具有与音频扬声器布置20的不同音量步长相关联的回放声压级52的绝对值的查找表。替代地，可以选择音频扬声器布置20的一个音量步长作为与回放声压级52的绝对值相关联的基线音量步长，并且音频扬声器布置的其它音量步长可以与回放声压级52相关联，所述回放声压级52是基线音量步长的绝对值的增量。

在一个实施方式中，预先存储的声学传输数据50包括一个或多个回放音量15，其各自与对应回放声压级52相关联。

可选地，预先存储的声学传输数据50可针对每一回放音量15包括多于一个回放声压级52。多个回放声压级52可为不同回放频率的回放声压级。在一个实施方式中，一个回放声压级52与音频扬声器布置20的每一回放音量15相关联，且回放声压级52为以1kHz测试音调确定的回放声压级52。在另一实施方式中，一个回放声压级52与音频扬声器布置20的每一回放音量15相关联，且回放声压级52为在音频扬声器21经受白噪声时被确定为平均声压的回放声压级52。

在实施方式中的一些中，预先存储的声学传输数据50排列在表中。

并非所有可能的回放音量15都需要在预先存储的声学传输数据50中列出。如果选择了未在预先存储的声学传输数据50中列出的回放音量15，那么可以通过最靠近未列出的回放音量15上方和下方的回放音量15及其相关联回放声压级52的插值来计算相关回放声压级52。预先存储的声学传输数据50可被存储以使得回放音量与某些方的等响度线300相关。

在一些实施方式中，预先存储的声学传输数据50表示为描述回放音量15与回放声压级52之间的数学关系的方程。预先存储的声学传输数据50通常对于音频扬声器布置20的一个模型为特定的。预先存储的声学传输数据50对于音频扬声器布置20的一系列模型可为特定的。预先存储的声学传输数据50对于音频扬声器布置20的每一单元可为特定的。预先存储的声学传输数据50可在音频扬声器布置20产生时存储在音频扬声器布置20中，或稍后通过固件升级或例如当音频扬声器布置20的用户40决定开始使用本公开内容的音量相关补偿时提供到音频扬声器布置。

可以通过在音频扬声器布置20可用的特定回放音量15处记录回放声压级52来实施预先存储的声学传输数据50的生成。

参考图7，其中音频扬声器布置20为一对耳机20的实施方式将用于解释预先存储的声学传输数据50的生成。耳机20在由用户40使用期间被佩戴，以使得来自耳机20的音频大体上直接地被导向用户40的耳朵。将用于补偿音频流33的回放声压级52为用户40的耳朵处的声压级52。这意味着记录优选地在用户40的耳朵内或周围的区域41处完成。一种可能性是使用模拟人头代替用户40。包括录音装置(例如麦克风)的模拟人头在市场上很容易买到。

利用前面部分的细节，有可能基于回放音量15补偿音频流33。如上所述，声音(例如音频)取决于回放声压级52被不同地感知，且不同的补偿滤波器320可用于不同的回放声压级52。如图3中呈现的20方和40方的等响度线300之间的差异可由图8a中所示出的补偿滤波器320的频率响应补偿。在从40dB SPL的1kHz回放声压级改变为20dB SPL的1kHz回放声压级时应用此补偿320将补偿40方等响度线300与20方等响度线300之间的所感知声音的差异。在此示例中，补偿滤波器320意图与回放声压级52的20dB降低一起应用。根据图8a中的数据，这意味着声压级52在1kHz下将降低20dB，但在20Hz下且甚至低于20kHz下仅降低约10dB。通过具有预先存储的声学传输数据50，因此可以根据回放音量15生成补偿滤波器320，使得对于所有频率，所感知的声压级大体上相同，而不管回放声压级52如何。

如图8b中所示出，补偿滤波器320可表示为包括一个或多个振幅补偿值335的振幅补偿数据330。振幅补偿值335描述每频率的补偿。可能存在任何数目的振幅补偿值335，每一值与频率或频率范围相关联。

参考图9，补偿滤波器320将基于如从预先存储的声学传输数据50和回放音量15确定的回放声压级52生成。补偿滤波器320可通过应用振幅补偿数据330生成。如图8b中所展示，振幅补偿数据330包括针对多个不同频率和回放声压级52的振幅滤波的差异。这些差异可由振幅补偿值335表示。振幅补偿数据330可包括处于参考回放声压级的参考级。在参考级处，振幅滤波的差为零，并且相对于参考级描述振幅补偿数据330中的其它回放声压级52。如果振幅补偿数据330中缺少与回放声压级52的匹配，那么可以在相邻回放声压级52及其相关联的振幅补偿数据330之间进行插值。对于预先存储的声学传输数据50，振幅补偿数据330可以是将给定的回放声压级52转换成补偿滤波器320的数学函数。

在一个实施方式中，振幅补偿数据330是基于等响度线300。在一个实施方式中，振幅补偿数据330具有对应于60dB SPL的回放声压级52的参考级。在一个实施方式中，振幅补偿数据330具有对应于60方的等响度线300的参考级。

补偿音频流27将具有与未补偿音频流33不同的频率内容。高频可能比低频放大得更多，反之亦然。取决于音频流33的频率内容，可能是当应用补偿滤波器320时，回放声压级52可以被认为较低。举例来说，假设在应用补偿滤波器320的情况下回放音频流33。如果增加了回放音量15并且确定了更新的补偿滤波器320’，那么更新的补偿滤波器可导致大体上不变或甚至更低的回放声压级52。进一步假设回放音量15意图使回放声压级52增加5dB。如果应用在低频时提供5dB衰减且在高频时提供0dB衰减的更新的补偿滤波器，那么回放声压级将在高频时增加5dB且在低频时增加0dB。现在，如果音频流33的大部分音频功率处于低频，即低音非常重，那么在应用更新的补偿滤波器320’的情况下，所有频率上的累积音频功率将大体上降低。

为了减轻上述问题，发明人已经认识到，可以在主电平12下估计平均音频流的信号频率内容并估计平均音频流的平均音频功率。平均音频流的频率内容由典型频率分布表示，且这可以通过分析大量音频流来提供，以便计算平均音频流及其相关联的典型频率分布。由此，可以生成增益因子，所述增益因子确保平均音频流的总音频功率在应用和不应用补偿滤波器320的情况下大体上相同。增益因子可以与补偿滤波器320一起应用于音频流33，或者在音频流33的处理的其它阶段应用于音频流33。

除了基于回放音量15补偿音频流33之外，音频流在一个实施方式中可相对于用户40的听力简档340进行补偿。这在图11中示意性地展示，其中基于振幅补偿数据330和用户40的听力简档340生成补偿滤波器320。听力简档340可为任何种类的合适听力简档340，且可包括用于用户40的每只耳朵的单独听力简档340。听力简档340可从电子装置10提供到音频扬声器布置20。电子装置10可配置成基于用户40的听力测试生成听力简档340，或从听力简档存储库获取听力简档340。这种存储库可为例如托管于云服务器上的数据库。听力简档340可以很好地建议对用户40的每只耳朵进行不同的补偿。

许多音频扬声器布置20包括多于一个音频扬声器21，且支出具有多于一个音频声道的音频流33的回放。如现在将参考图10所解释，本发明还可应用于多声道音频系统。

在图10中，展示了双声道音频扬声器布置20。如果收发器模块22接收的信号31包括具有多于一个声道的音频流33，那么可以识别、分离这些声道，并将其提供到音频扬声器布置20的音频扬声器21L、21R中的每一个。通常，音频流是包括左声道音频流33L和右声道音频流33R的立体声音频流。左声道音频流33L意图用于左音频扬声器21L，且右声道音频流33R意图用于右音频扬声器21R。

在图10中，收发器模块22被展示为分别识别音频流33L、33R并将其提供到左DSP模块26L和右DSP模块26R，这一识别可以很好地在例如DSP模块26中完成，但出于说明性目的在收发器模块22中完成。音频流33L、33R中的每一个可以经受不同的补偿滤波器320，一个原因可能是声道之间的平衡不同，从而导致左回放音量和右回放音量彼此不同。另一个原因可能是音频扬声器21L、21R具有不同的特性，且因此具有不同的预先存储的声学传输数据50。这意味着，当向相应的音频扬声器52L、52R提供相等的音频流33时，左声压级52L将不同于右声压级52R。如在与用户40的听力简档340相关的先前部分中所解释的，还存在与音频扬声器布置的用户40相关的差异的原因。

参考图10给出的描述是关于双扬声器21L、21R和立体声流进行的，相同的推理适用于具有甚至更多音频扬声器21的音频扬声器布置20。例如，在汽车立体声系统或环绕系统中可能存在这种情况。如果音频流33是提供到多于一个音频扬声器21、21L、21R的单声道音频流33，那么同样的推理也适用。

现在将参考图12a呈现用于处理音频流33的方法100。在没有关于方法100的细节的所有可能的详细步骤的情况下给出方法100，因为这些细节在本公开内容的其它部分中呈现。对本领域技术人员来说显而易见的是，它们也可在用于补偿音频流33的方法100上实施。

方法100通过接收110包括音频流33和控制数据32的信号31来启动。其中控制数据至少包括与音频流33相关联的回放音量15。如前文所提及，音频流33可以可选地在音频帧23中接收。这些音频帧23可缓冲于接收缓冲器中。

基于回放音量15，方法100通过使用如先前所呈现的预先存储的声学传输数据50来确定120回放声压级52而进行。如前所述，存在其中可根据例如用户40、信号31和/或音频扬声器布置20来确定多个回放声压级52的实施方式。

所确定的回放声压级52与振幅补偿数据330一起使用以生成130补偿滤波器320。补偿滤波器320的生成130还可以基于用户40的听力简档340。振幅补偿数据330可包括基于等响度线300的一个或多个振幅补偿值335。

所生成130的补偿滤波器320用于对音频流33进行滤波140，以便将补偿音频流27提供150到音频扬声器21。

所提出的方法100允许基于回放音量15处理音频流。如在前面的部分中所呈现，用户40可以在没有回放声压52的改变中的恼人延迟或补偿滤波器320的更新或改变中的延迟的情况下改变回放音量15。更新补偿滤波器的方法100与用于补偿音频流33的方法100大体上相同。参考图12b，接收更新的回放音量15′，其用于以与确定120回放声压级52相同的方式确定120′更新的回放声压级52。更新的补偿滤波器320类似于补偿滤波器320的生成130而生成130’。更新的补偿滤波器320如本公开内容的前面部分中所公开而应用于音频流，并用于对音频流33进行滤波40，并将补偿音频流27提供150到音频扬声器21。

方法100优选地由音频扬声器布置20执行，但在实施方式中可以单独或部分地由电子装置10执行。

在图13中示出，方法100可实施为计算机程序产品600，使得当计算机程序产品600由例如控制器、计算机、DSP等的装置执行时，所述装置进行如本文中所公开的方法100。

在计算机程序产品600的一个实施方式中，其被配置成当由控制器200执行时，使得控制器200控制收发器模块22通过外部接口30接收音频流33和与音频流33相关联的回放音量15。计算机程序产品600进一步被配置成控制控制模块24以基于从存储器700检索的回放音量15和预先存储的声学传输数据50来确定音频扬声器布置20的回放声压级52，从而使回放音量15与音频扬声器21的回放声压级52相关联。另外，计算机程序产品600被配置成控制控制模块24以基于从存储器700检索的与所确定的回放声压级52相关联的振幅补偿数据330生成补偿滤波器320，并控制DSP模块26以使用补偿滤波器320对音频流33进行滤波以生成补偿音频流27。计算机程序产品600进一步被配置成控制D/A模块28以将补偿音频流27提供到音频扬声器21。

在图14中，展示了音频扬声器布置20的框图。音频扬声器布置20包括音频扬声器21、至少一个控制器200和一个或多个存储器700。存储器700可包括于控制器200中或控制器200外部。控制器200可包括收发器模块22、控制模块24、DSP模块26和/或D/A模块28中的一些或所有。这些模块22、24、26、28可实施为软件模块、集成于控制器200中的半导体装置或两者的组合。其还可实施为音频扬声器布置20的独立组件。存储器700通常将包括预先存储的声学传输数据50和振幅补偿数据330以及软件指令，使得控制器700可被配置成执行用于补偿音频流33的方法100。

在音频扬声器布置20的一个实施方式中，其包括至少一个音频扬声器21、至少一个控制器200和至少一个存储器700。所述至少一个控制器200可配置成控制收发器模块22通过外部接口30接收音频流33和与音频流33相关联的回放音量15。控制器200进一步被配置成控制控制模块24以基于从所述至少一个存储器700检索的回放音量15和预先存储的声学传输数据50来确定音频扬声器布置20的回放声压级52，从而使回放音量15与音频扬声器21的回放声压级52相关联。控制器200另外被配置成控制控制模块24以基于从所述至少一个存储器700检索的与所确定的回放声压级52相关联的振幅补偿数据330来生成补偿滤波器320。控制器200进一步被配置成控制DSP模块26以使用补偿滤波器320对音频流33进行滤波以生成补偿音频流27。控制器200还被配置成控制D/A模块28以将补偿音频流27提供给音频扬声器21。

参考图15a和15b，将呈现关于振幅补偿数据330和听力简档340的一些其它细节。这些细节是振幅补偿数据330和听力简档340的特定实施方式，且尽管适用于前面呈现的所有相关实施方式，但本领域技术人员理解，这些细节并不限制本公开内容的范围。

在图15a中，呈现了不同方的振幅补偿数据330的曲线图。振幅补偿数据330呈现为连续线，但优选地描述为多个不同频率下的离散振幅补偿值335。60方等级，图15a的示例中的实线，为基线。这意味着，如参考图8b所解释的，对应于60方的回放声压级52，即1kHz下的60dB SPL，将在所有频率下经受0dB的振幅补偿数据330。图15a的20方线、40方线、80方线和100方线展示为相应方线与60方线之间的差异。在此示例中，在1kHz下测量方，且因此，对于此频率下的所有方，振幅补偿数据330为0dB。假设在对应于60方的回放声压级52下享受音频流33，并且用户40决定将回放音量15增加到对应于回放声压级52中的20dB增加的水平。音频流33的增益将增加20dB，但除此之外，80方线(图15a中的短虚线)的频率相关振幅补偿数据330将被添加到20dB增益。因此，增益在低频时将为约30dB，在1kHz时为20dB，在4kHz时为19dB，且在高频时为25dB。

如前所引入，除了音量相关补偿之外，听力简档340还可应用于音频流33。听力简档340的一个示例描绘于图15b中，其中针对多个不同频率分别展示右耳(如由十字表示)和左耳(如由正方形表示)的听力阈值。将听力补偿添加到如上文所描述的与回放声压级52中的20dB变化相关的补偿中，对于左耳，增益在低频时将为约35dB，在1kHz时为25dB，在4kHz时为34dB，且在高频时为45dB。右耳的对应数字在低频时将为约40dB，在1kHz时为35dB，在4kHz时为39dB，且在高频时为40dB。

在本公开内容中，发明人已经解决了几个问题，从回放音量15到回放声压级52的映射、回放声压级52的变化和补偿的变化几乎是瞬时的。

权利要求书(按照条约第19条的修改)

1.一种用于在包括至少一个音频扬声器(21)的音频扬声器布置(20)中实时处理音频流(33)的方法(100)，所述方法(100)包括：

接收(110)音频流(33)和与所述音频流(33)相关联的回放音量(15)，

基于所述回放音量(15)和预先存储的声学传输数据(50)来确定(120)所述音频扬声器(21)的回放声压级(52)，其中所述预先存储的声学传输数据(50)使所述回放音量(15)与所述音频扬声器(21)的所述回放声压级(52)相关联，

基于与所确定的回放声压级(52)相关联的振幅补偿数据(330)来生成(130)补偿滤波器(320)，和

使用所述补偿滤波器(320)对所述音频流(33)进行滤波(140)并将增益因子应用于所述音频流(33)，从而生成补偿音频流(27)，其中所述增益因子被配置成使得所述音频流(33)的总音频功率得以保持，而不管所述补偿滤波器(320，320’)如何，和

将所述补偿音频流(27)提供(150)到所述音频扬声器(21)。

2.根据权利要求1所述的方法(100)，其中所述振幅补偿数据(330)是基于等响度线(300)。

3.根据前述权利要求中任一项所述的方法(100)，其中所述振幅补偿数据(330)包括用于多个不同频率和多个不同回放音量(15)的振幅补偿值(335)。

4.根据前述权利要求中任一项所述的方法(100)，其进一步包括以下步骤：

接收(110)与所述回放音量(15)不同的更新的回放音量(15’)，

基于所述更新的回放音量(15’)和所述预先存储的声学传输数据(50)来确定(120’)所述音频扬声器(21)的更新的回放声压级(52’)，

基于与所确定的更新的的所确定回放声压级(52’)相关联的振幅补偿数据(330)来生成(130’)更新的补偿滤波器(320)，

对所述音频流(33)进行滤波(140)以使用所述更新的补偿滤波器(320)生成所述补偿音频流(27)，和

使用所述更新的补偿滤波器(320)向所述音频扬声器(21)提供(150)与所述更新的回放音量(15’)同步的所述补偿音频流(27)。

5.根据前述权利要求中任一项所述的方法(100)，其中所述音频流(33)在音频帧(23)中滤波。

6.根据权利要求5所述的方法(100)，当根据权利要求4时，其中确定(120’)更新的回放声压级(52)和生成(130’)更新的补偿滤波器(320)的步骤在两个连续音频帧(23)的滤波之间的中间时间(TI)期间执行。

7.根据前述权利要求中任一项所述的方法(100)，其中生成(130，130’)补偿滤波器(320)的步骤进一步基于与所述音频扬声器布置(20)的用户(40)相关联的听力简档(340)。

8.根据前述权利要求中任一项所述的方法(100)，其中所述音频流(33)以声道化音频格式形成。

9.根据权利要求8所述的方法(100)，其中所述声道化音频格式包括左声道音频流(33L)和右声道音频流(33R)，且其中生成(130，130’)所述补偿滤波器(320)的步骤进一步包括生成(130，130’)用于所述左声道音频流(33L)的左补偿滤波器(320)和用于所述右声道音频流(33R)的右补偿滤波器(320)。

10.根据前述权利要求中任一项所述的方法(100)，其中所述补偿滤波器(320)为具有线性相位响应的数字滤波器，例如FIR滤波器。

11.一种音频扬声器布置(20)，包括：至少一个音频扬声器(21)；至少一个存储器(700)；至少一个外部接口(30)；和至少一个控制器(200)，其以可操作方式连接到所述至少一个音频扬声器(21)、所述至少一个存储器(700)和所述至少一个外部接口(30)；

其中所述至少一个控制器(200)被配置成实时地：

经由所述外部接口(30)接收(110)音频流(33)和与所述音频流(33)相关联的回放音量(15)，

基于所述回放音量(15)和预先存储的声学传输数据(50)来确定(120)音频扬声器(21)的回放声压级(52)，其中所述预先存储的声学传输数据(50)使所述回放音量(15)与所述音频扬声器(21)的所述回放声压级(52)相关联，

基于与所确定的回放声压级(52)相关联的振幅补偿数据(330)来生成(130)补偿滤波器(320)，

使用所述补偿滤波器(320)对所述音频流(33)进行滤波(140)且将增益因子应用于所述音频流(33)，从而生成补偿音频流(27)，其中所述增益因子被配置成使得所述音频流(33)的总音频功率得以保持，而不管所述补偿滤波器(320，320’)如何，和

将所述补偿音频流(27)提供(150)到所述音频扬声器(21)。

12.根据权利要求11所述的音频扬声器布置(20)，其中所述外部接口(30)为无线接口。

13.根据权利要求11或12所述的音频扬声器布置(20)，其中所述控制器(200)进一步被配置成执行根据权利要求2至11中任一项所述的用于实时处理所述音频流(33)的方法(100)。

14.一种计算机程序产品(600)，其被配置成在由控制器(200)执行时使得所述控制器(200)进行以下操作：

接收(110)音频流(33)和与所述音频流(33)相关联的回放音量(15)，

基于所述回放音量(15)和预先存储的声学传输数据(50)来确定(120)音频扬声器(21)的回放声压级(52)，其中所述预先存储的声学传输数据(50)使所述回放音量(15)与所述音频扬声器(21)的所述回放声压级(52)相关联，

基于与所确定的回放声压级(52)相关联的振幅补偿数据(330)来生成(130)补偿滤波器(320)，和

使用所述补偿滤波器(320)对所述音频流(33)进行滤波(140)且将增益因子应用于所述音频流(33)，从而生成补偿音频流(27)，其中所述增益因子被配置成使得所述音频流(33)的总音频功率得以保持，而不管所述补偿滤波器(320，320’)如何，和

将所述补偿音频流(27)提供(150)到所述音频扬声器(21)。

15.根据权利要求14所述的计算机程序产品(600)，其进一步被配置成使得所述控制器(200)执行根据权利要求2至10中任一项所述的用于实时处理所述音频流(33)的方法(100)。

Claims (16)

1.一种用于在包括至少一个音频扬声器(21)的音频扬声器布置(20)中实时处理音频流(33)的方法(100)，所述方法(100)包括：

接收(110)音频流(33)和与所述音频流(33)相关联的回放音量(15)，

基于所述回放音量(15)和预先存储的声学传输数据(50)来确定(120)所述音频扬声器(21)的回放声压级(52)，其中所述预先存储的声学传输数据(50)使所述回放音量(15)与所述音频扬声器(21)的所述回放声压级(52)相关联，

基于与所确定的回放声压级(52)相关联的振幅补偿数据(330)来生成(130)补偿滤波器(320)，和

使用所述补偿滤波器(320)对所述音频流(33)进行滤波(140)并将增益因子应用于所述音频流(33)，从而生成补偿音频流(27)，其中所述增益因子被配置成使得所述音频流(33)的总音频功率得以保持，而不管所述补偿滤波器(320，320’)如何，和

将所述补偿音频流(27)提供(150)到所述音频扬声器(21)。

2.根据权利要求1所述的方法(100)，其中所述振幅补偿数据(330)是基于等响度线(300)。

3.根据前述权利要求中任一项所述的方法(100)，其中所述振幅补偿数据(330)包括用于多个不同频率和多个不同回放音量(15)的振幅补偿值(335)。

4.根据前述权利要求中任一项所述的方法(100)，其进一步包括以下步骤：

接收(110)与所述回放音量(15)不同的更新的回放音量(15’)，

基于所述更新的回放音量(15’)和所述预先存储的声学传输数据(50)来确定(120’)所述音频扬声器(21)的更新的回放声压级(52’)，

基于与所确定的更新的的所确定回放声压级(52’)相关联的振幅补偿数据(330)来生成(130’)更新的补偿滤波器(320)，

对所述音频流(33)进行滤波(140)以使用所述更新的补偿滤波器(320)生成所述补偿音频流(27)，和

使用所述更新的补偿滤波器(320)向所述音频扬声器(21)提供(150)与所述更新的回放音量(15’)同步的所述补偿音频流(27)。

5.根据权利要求4所述的方法(100)，其中滤波(140)的步骤进一步包括将增益因子应用于所述音频流(33)，从而生成补偿音频流(27)，其中所述增益因子被配置成使得所述音频流(33)的总音频功率得以保持，而不管所述更新的补偿滤波器(320’)如何。

6.根据前述权利要求中任一项所述的方法(100)，其中所述音频流(33)在音频帧(23)中滤波。

7.根据权利要求6所述的方法(100)，当根据权利要求4时，其中确定(120’)更新的回放声压级(52)和生成(130’)更新的补偿滤波器(320)的步骤在两个连续音频帧(23)的滤波之间的中间时间(TI)期间执行。

8.根据前述权利要求中任一项所述的方法(100)，其中生成(130，130’)补偿滤波器(320)的步骤进一步基于与所述音频扬声器布置(20)的用户(40)相关联的听力简档(340)。

9.根据前述权利要求中任一项所述的方法(100)，其中所述音频流(33)以声道化音频格式形成。

10.根据权利要求8所述的方法(100)，其中所述声道化音频格式包括左声道音频流(33L)和右声道音频流(33R)，且其中生成(130，130’)所述补偿滤波器(320)的步骤进一步包括生成(130，130’)用于所述左声道音频流(33L)的左补偿滤波器(320)和用于所述右声道音频流(33R)的右补偿滤波器(320)。

11.根据前述权利要求中任一项所述的方法(100)，其中所述补偿滤波器(320)为具有线性相位响应的数字滤波器，例如FIR滤波器。

12.一种音频扬声器布置(20)，包括：至少一个音频扬声器(21)；至少一个存储器(700)；至少一个外部接口(30)；和至少一个控制器(200)，其以可操作方式连接到所述至少一个音频扬声器(21)、所述至少一个存储器(700)和所述至少一个外部接口(30)；

其中所述至少一个控制器(200)被配置成实时地：

经由所述外部接口(30)接收(110)音频流(33)和与所述音频流(33)相关联的回放音量(15)，

基于所述回放音量(15)和预先存储的声学传输数据(50)来确定(120)音频扬声器(21)的回放声压级(52)，其中所述预先存储的声学传输数据(50)使所述回放音量(15)与所述音频扬声器(21)的所述回放声压级(52)相关联，

基于与所确定的回放声压级(52)相关联的振幅补偿数据(330)来生成(130)补偿滤波器(320)，

使用所述补偿滤波器(320)对所述音频流(33)进行滤波(140)且将增益因子应用于所述音频流(33)，从而生成补偿音频流(27)，其中所述增益因子被配置成使得所述音频流(33)的总音频功率得以保持，而不管所述补偿滤波器(320，320’)如何，和

将所述补偿音频流(27)提供(150)到所述音频扬声器(21)。

13.根据权利要求12所述的音频扬声器布置(20)，其中所述外部接口(30)为无线接口。

14.根据权利要求12或13所述的音频扬声器布置(20)，其中所述控制器(200)进一步被配置成执行根据权利要求2至11中任一项所述的用于实时处理所述音频流(33)的方法(100)。

15.一种计算机程序产品(600)，其被配置成在由控制器(200)执行时使得所述控制器(200)进行以下操作：

接收(110)音频流(33)和与所述音频流(33)相关联的回放音量(15)，

基于所述回放音量(15)和预先存储的声学传输数据(50)来确定(120)音频扬声器(21)的回放声压级(52)，其中所述预先存储的声学传输数据(50)使所述回放音量(15)与所述音频扬声器(21)的所述回放声压级(52)相关联，

基于与所确定的回放声压级(52)相关联的振幅补偿数据(330)来生成(130)补偿滤波器(320)，和

使用所述补偿滤波器(320)对所述音频流(33)进行滤波(140)且将增益因子应用于所述音频流(33)，从而生成补偿音频流(27)，其中所述增益因子被配置成使得所述音频流(33)的总音频功率得以保持，而不管所述补偿滤波器(320，320’)如何，和

将所述补偿音频流(27)提供(150)到所述音频扬声器(21)。

16.根据权利要求15所述的计算机程序产品(600)，其进一步被配置成使得所述控制器(200)执行根据权利要求2至11中任一项所述的用于实时处理所述音频流(33)的方法(100)。

Images