CN116546394A - 基于情景的周围声音增强和声学噪声消除 - Google Patents

Abstract

本公开涉及基于情景的周围声音增强和声学噪声消除。本发明公开了一种音频系统，其具有周围声音增强功能，其中具有扬声器的触耳式音频设备将输入音频信号的数字处理版本转换成声音。所述音频系统还具有声学噪声消除(ANC)功能，所述声学噪声消除功能可能以各种方式与所述声音增强功能组合，并且可以响应于语音活动检测。也描述了其他方面并要求对其他方面进行保护。

Description

基于情景的周围声音增强和声学噪声消除

本申请是申请日为2020年5月29日、发明名称为“基于情景的周围声音增强和声学噪声消除”的中国专利申请202010472896.9的分案申请。

本非临时专利申请要求2019年5月31日提交的美国临时申请62/855,333的较早提交日期的权益。

技术领域

这里，本公开的一个方面涉及用于根据设备用户的情景来自动控制触耳式听力设备(诸如耳机或移动电话听筒)如何再现周围声音的数字音频信号处理技术。也描述了其他方面。

背景技术

称为触耳式听力设备的消费者电子设备(诸如耳机和移动电话听筒)在各种不同的周围声音环境中使用并且由用户很频繁佩戴和随后移除。这些设备的用户的收听体验可能受变化的周围声音环境的影响。

发明内容

这里，本公开的一个方面涉及一种具有周围声音增强功能(这里也称为透明操作模式)的音频系统，其中具有一个或多个扬声器的触耳式音频设备将输入音频信号的数字处理版本转换成声音。在一个方面中，由于可以根据用户的存储听力曲线的放大，因此与用户在没有设备抵靠其耳朵的情况下听到周围声音相比，所再现的周围声音可以是更嘈杂的。当周围声音增强功能处于活动状态时，输入音频信号包含从设备中的一个或多个麦克风拾取的周围或环境声音；在“播放”情况下，输入音频信号是还包含程序音频(诸如音乐、电话呼叫期间的远端用户的语音、或虚拟助手程序的语音)的组合信号。当周围声音增强功能处于未活动状态时，输入音频信号可以包含程序音频，但没有拾取的周围声音。

在一个方面中，在根据可能或可能不根据用户的听力曲线设置的频率相关“透明度”增益来再现周围声音时，数字处理器(被配置为周围声音环境分析器或噪声曲线分析器)检测到周围声音从安静变为嘈杂(例如，其声压级升高到高于阈值)。作为响应，处理器减小透明度增益(其中这种减小可能或可能不根据用户的听力曲线)。在某些情况下，所再现的周围声音的级别的这种自动减小可以减小失真或维持舒适的声音级别，诸如当用户进入显著更嘈杂的声音环境(例如，餐厅或社交俱乐部)时。如果触耳式设备可以产生抗噪声以用于声学噪声消除(ANC)，则在该情况下，处理器可以响应于检测到周围声音从安静变为嘈杂而在低频带(其中ANC更有效)中提高所产生的抗噪声的级别。这可以减轻低频带中的遮挡效应。而且，频率相关透明度增益的减小可以限于ANC不太有效的高频带。由于大部分的抗噪声在低频带而不是高频带中，因此提高抗噪声不会降低高频带。因此，在高频带中的再现的周围声音听起来太嘈杂，但用于减小频率相关透明度增益。周围声音增强功能的这种自动控制可以产生更期望的用户体验，因为音频系统自动适应变化的周围声音环境，以及触耳式音频设备(例如为耳机或移动电话听筒)的频繁穿脱。

在另一个方面中，处理器响应于检测到较嘈杂的周围声音环境，开始产生抗噪声或提高在低频带中产生的现有抗噪声的级别，而不必减小高频带中的透明度增益(用于再现周围声音)。

在又一方面中，(根据用户的听力曲线)再现周围声音，其中高频带中的增益多于低频带中的增益，同时产生抗噪声，该抗噪声在低频带中的级别大于其在高频带中的级别。

这里，本公开的另一个方面是如何在周围声音增强期间控制ANC以便改善言语在周围声音环境中的可理解性。在该方面中，当再现周围声音(其可能或可能不根据用户的听力曲线)时，处理器检测周围声音中的言语。只要没有检测到言语，就继续产生抗噪声(同时再现周围声音)，但每当检测到言语时，抗噪声级别就降低。这有助于使言语(其存在于再现的周围声音中)更容易听见或更可理解。这种响应(在言语间隔期间降低抗噪声并且在非言语期间提高抗噪声)可以快速起作用，例如，可以在每个音频帧的基础上以及在每个频率窗口的基础上变化并且可以符合心理声学。

以上概述不包括本公开的所有方面的详尽列表。可预期的是，本公开包括可由上文概述的各个方面以及在下文的具体实施方式中公开并且在权利要求书部分特别指出的各个方面的所有合适的组合来实践的所有系统和方法。此类组合可具有未在上述发明内容中具体阐述的特定优点。

附图说明

本公开的各方面以举例的方式进行说明，而不仅限于各个附图的图示，在附图中类似的附图标号指示类似的元件。应当指出的是，在本公开中提到“一”或“一个”方面未必是同一方面，并且其意指至少一个。另外，为了简洁以及减少附图的总数，可使用给定附图示出本公开的不止一个方面的特征部，并且对于给定方面，可能并非需要该附图中的所有元件。

图1示出了示例性触耳式设备。

图2是用于触耳式设备的组合周围声音增强和声学噪声消除的音频系统的框图。

图3描绘了音频系统如何在安静环境和嘈杂环境中管理声压级SPL的示例。

图4是SPL相对频率的曲线图或曲线，示出了音频系统的进行组合以塑造用户如何听到其周围环境的方面。

图5是曲线图，该曲线图示出拾音通道中的普通噪声曲线相对频率，以及其中噪声在低频下通过ANC消除，在高频下与已经通过周围声音增强功能提升的言语实例叠加的结果。

图6是用于在ANC可用时进行周围声音增强以调低由用户听到的周围环境的方法的流程图。

图7是用于基于限定用户听力损失的参数进行周围声音增强的方法的流程图。

具体实施方式

现在将参考所附附图来解释本公开的各方面。每当所描述的部件的形状、相对位置和其它方面未明确限定时，本发明的范围并不仅局限于所示出的部件，所示出的部件仅用于例证的目的。另外，虽然阐述了许多细节，但应当理解，本公开的一些方面可在没有这些细节的情况下被实施。在其他情况下，未详细示出熟知的电路、结构和技术，以免模糊对该描述的理解。

称为触耳式听力设备的消费者电子设备(诸如耳机和移动电话听筒)在各种不同的周围声音环境中使用。例如，考虑在火车站处并佩戴耳机装置的用户。在等待火车到达时，用户可能在火车到达并产生典型嘈杂火车声音时与站在他们旁边的朋友讲话。耳机装置遮挡用户的耳朵并且因此被动地衰减朋友的语音。如果耳机装置具有周围声音增强功能，其中在用户耳朵处(任选地根据用户的听力曲线)主动地再现周围声音，则其将允许更轻松地听到朋友的言语。然而，火车的到达将导致火车声音也被再现并且在一些情况下(根据用户的听力曲线)被放大，由此使用户难以听到朋友的言语。在另一个示例中，用户(在佩戴耳机装置或保持移动听筒抵靠其耳朵时)与他们的朋友步行到当地的社交俱乐部或餐厅，并且进入时将听到不期望的、显著的吵闹噪声增加(通过周围声音增强功能再现)。系统的不同用户也会不同地听到相同周围声音环境，因为一些用户的听力动态范围比其他用户的听力动态范围更低，使得这些特定用户几乎听不到柔和或安静的声音。关于某些耳机特别明显的另一问题是遮挡效应(身体传导声音(诸如用户自身语音)被困在由耳机阻塞的耳道中)。期望的音频系统也可以是可自动适于此类不断变化的周围声音环境以及耳机或移动听筒的频繁穿脱的音频系统，以便向用户提供更愉悦的听力体验。

图1示出了作为音频系统的一部分的触耳式设备1的示例，其中可以实现用于个性化周围声音增强的方法。所示的触耳式设备1是入耳式耳塞(入耳式耳机，其可以是具有柔性耳朵尖端的密封型，或者其可以是非密封型或松贴合型)，其可以是构成耳机装置的两个耳机(左右)中的一个。下文所述的用于个性化声音增强的方法可针对构成耳机装置的耳机中的一者或两者来实现。入耳式耳塞的另选替代方案(未示出)包括贴耳式耳机、耳罩式耳机和移动电话听筒。示出触耳式设备1正被其用户(也可被称为收听者或佩戴者)使用。触耳式设备1具有触耳式声换能器或扬声器2(被布置和配置为将声音直接再现到用户的耳部中)、外部麦克风3(被布置和配置为直接接收周围声音)和内部麦克风4(被布置和配置为直接接收由扬声器2再现的声音)。这些可以全部与处理和产生换能器信号(输出麦克风信号和输入音频信号以驱动扬声器2)的换能器和电子器件一起集成在触耳式设备的外壳中。电子器件可包括用输入音频信号驱动扬声器2的音频放大器、接收麦克风信号并将它们转换为用于数字信号处理的期望格式的麦克风感测电路或放大器，以及数字处理器和相关联存储器，其中存储器存储用于配置处理器的指令(例如，将由处理器执行的指令)以执行下文更详细讨论的数字信号处理任务。此类电子器件可以驻留在耳机装置的一个或两个耳机外壳中，或耳机装置中的其他位置。应当注意有可能的是，一些或基本上所有的此类电子器件驻留在与触耳式设备1分开的另一个设备中，诸如在图1所描绘的音频源设备5中。例如，在触耳式设备1是左耳机或右耳机的情况下，耳机可以连接到在图1的示例中示为智能电话的音频源设备5。该连接可以是有线连接(例如，提供电力或放大模拟音频信号来驱动扬声器2的连接，在这种情况下，耳机外壳中可能不需要电源)或无线连接(例如，BLUETOOTH链接)。在两种情况下，使用与音频源设备5的连接来提供输入音频信号以驱动扬声器2，或将麦克风信号(来自耳机的外部麦克风和内部麦克风)提供给音频源设备5中的处理器和存储器。

存在许多实例，其中用户在佩戴触耳式设备1时可能偏好或需要以与普通人相比更高的声压级SPL进行收听。为了满足这种用户的偏好或需要，周围声音可以由音频系统根据用户的听力曲线(例如，存储在存储器中的数据结构)放大，并且通过扬声器2再现作为周围声音增强功能。这可以在没有任何抗噪声由声学噪声消除ANC功能产生的情况下执行。如果用户在佩戴耳机装置或保持智能手机抵靠其耳朵时然后进入具有更嘈杂的周围声音级别的社交俱乐部，则放大声音可能似乎(听起来)失真或不舒适地嘈杂。在这种情况下，音频系统应当基于佩戴者的听力曲线并基于周围声音级别自动减小所再现的周围声音级别。并且如下所述，在该情况下，音频系统还可以通过激活或增加抗噪声级别以消除泄漏的周围声音的升高级别来利用可用的ANC功能。

现在转到图2，这是音频系统的框图，该音频系统组合针对触耳式设备1的用户个性化的周围声音增强和声学噪声消除。在图2中示出并在下面描述的音频系统的执行数字信号处理的元件可以全部被实现为一个或多个已编程数字处理器(在此通常被称为将执行存储在存储器中的指令的“处理器”)。佩戴(使用)触耳式音频设备1的用户的声学环境中的周围声音被外部麦克风3拾取。然后，其输出的数字化麦克风(音频)信号由ASE滤波器6进行滤波。ASE滤波器6的传递函数是时变的，例如在逐帧基础上，其中每个音频帧可以包括10-100毫秒的麦克风信号，并且可以通过增益组合过程来设置。增益组合过程组合来自各种检测器的信息以确定ASE滤波器6的传递函数。这些检测器可以提供有关以下中的一个或多个的信息：拾音通道(麦克风抑制块中的麦克风噪声特性)；周围声音环境(由背景噪声抑制块进行的背景噪声估计以及由风抑制块做出的风噪声估计)；以及用户的听力曲线(听力损失补偿块)。然后，该信息由增益组合过程使用以确定如何配置ASE滤波器6以便在ASE滤波器6的输入处对周围拾音通道进行频谱整形。ASE滤波器6可以由对周围拾音通道进行频谱整形以用于不同类型的噪声抑制(例如，麦克风噪声、背景噪声和风)目的的数字滤波器的级联组成。此外，数字滤波器的级联可以包括执行动态范围压缩和频谱整形的块，这些块被调谐以用于补偿用户的听力损失。

如本文所用，“听力曲线”限定用户的听力需要和偏好，包括正常人类听力范围(这里也称为听觉子带)内的各种感兴趣频率上的听力级别或听力损失(如dB HL)。听力曲线可以附加地指定安静、舒适和嘈杂的收听级别，不同类型的音频内容(例如，语音电话呼叫、播客、音乐、电影)中的频率相关放大偏好，或用户对噪声或声音处理伪影的敏感性。听力曲线可以从例如用户的存储听力敏度图导出，并且可以包括其他标准听力评估规程(诸如噪声中言语测试或耳声发射测量)的结果。此外，或作为客观听力评估(诸如听力敏度图)的替代方案，听力曲线可以是一种过程的结果，该过程使用触耳式音频设备中的扬声器来生成声学刺激并且监测或评估用户对这些声学刺激的响应(例如，如已经由音频设备的麦克风拾取的口头响应，或如用户通过音频系统的图形用户界面输入的手动响应)。听力曲线因此可以例如根据以dB为单位的听力级别(dB HL)来限定用户的听力偏好或听力敏感性。

这里应当注意，尽管附图在每个情况下将单个麦克风符号(外部麦克风3和内部麦克风2)示为产生拾音通道，但这并不意味着拾音通道必需仅由一个麦克风产生。在许多情况下，拾音通道可以是组合多个麦克风信号的结果，例如，通过对来自麦克风阵列的多通道输出执行的波束成形过程。

在拾音通道中拾取的周围声音(例如，来自外部麦克风3的麦克风信号)在频率相关透明度增益块Gase中进行滤波，该频率相关透明度增益块由周围声音环境分析器8根据用户的听力曲线(基于来自听力损失补偿块的输入)来控制。然后将周围声音内容与包含程序音频的播放信号组合。程序音频可以是音乐、远端用户在电话呼叫期间的语音、或虚拟助手程序的语音，其尚未转换为周围环境中的声音。然后，该组合音频信号驱动扬声器2，由此再现周围声音(并且任选地再现程序音频(如果存在的话))。应当注意，当周围声音增强功能处于未活动状态时(例如，增益块Gase的输出处的组合音频信号基本上为零)，驱动扬声器2的输入音频信号可以包含程序音频，但不包含所拾取的周围声音。

当周围声音增强功能处于活动状态时(如上所述，正在再现周围声音)，周围声音环境分析器8可以检测到周围声音环境从安静变为嘈杂。噪声曲线分析器、自动声音事件检测器、或声音环境检测器(其中的任一个可以基于机器学习模型)可以用于此目的，以便区分嘈杂的环境与安静或活动的讲话者环境。嘈杂的环境可以是例如其中SPL高于阈值的环境，使得音频系统应当执行主动耳塞功能以将用户耳朵处的SPL减小到更舒适的级别。安静或活动的讲话者环境可以是其中需要激活声音增强功能的环境，使得周围环境中的言语可能以更易理解的方式再现。响应于检测到周围声音环境从安静变为嘈杂，分析器8发信号通知Gase增益块减小其增益，并且它可以根据用户的听力曲线(来自听力损失补偿块的信息)来这样做。因此在该点上，根据Gase的减小增益来再现周围声音，其中该增益减小也可能已经根据用户的听力曲线来确定。

对Gase做出的改变可能较慢(与对ASE滤波器6做出的改变相反)。例如，对Gase的改变的发生频率可能不快于每秒一次，例如，当用户离开安静的办公室并走到室外，以及然后走进相对嘈杂的餐厅或社交俱乐部，或者走进公共汽车站或火车站(其中到达的火车组成嘈杂环境)时，需要几秒钟以在一个设置与另一个设置之间进行改变。这也意味着减小Gase的决定(包括做出该决定所需的麦克风信号的任何信号处理)可以由在单独设备中执行的软件做出，该软件例如为在伴侣设备(诸如智能电话、平板电脑、或笔记本计算机)中执行的应用程序或操作系统，该伴侣设备与触耳式设备(例如无线耳塞)相比具有更多的计算资源。此外，减小Gase的决定还可以基于接收和处理来自也由用户佩戴的智能手表的传感器信号(例如，麦克风信号、周围光传感器输出)。

在基本实施方式中，周围声音环境分析器8可以简单地计算SPL(如从来自外部麦克风3的信号导出)，并且然后监测SPL；当SPL降至低于阈值时，它可以通过基于例如已经查阅查找表来发信号通知减小Gase而做出响应，该查找表先前基于用户的听力曲线来准备。分析器8的更复杂实施方式可以是机器学习模型，该机器学习模型接收在若干不同频带下进行的SPL测量作为输入，并且已经被训练为评估其输入SPL测量中的噪声曲线以便输出Gase增益块的Gase值(这里也称为调谐设置)。在大多数情况下，在响应于周围声音环境的变化时，分析器8将被配置为输出针对Gase的至少两个不同调谐设置中的一个；实际的实施方式被预期为具有更精细的粒度，具有针对Gase增益块的多于两个调谐设置。

仍然参考图2，音频系统也可以具有声学噪声消除ANC块10，其使得触耳式音频设备能够产生抗噪声以用于声学噪声消除。递送到用户耳朵中的抗噪声可以减轻一些遮挡效应(由阻塞耳朵的触耳式设备引起)。当周围声音增强功能处于活动状态时，ANC块10产生抗噪声信号：抗噪声信号与周围声音信号组合，之后它们一起驱动触耳式音频设备的扬声器2。在该示例中，ANC块10被示为基于混合前馈和反馈算法(使用来自外部麦克风3(也称为参考麦克风)和内部麦克风4(也称为错误麦克风)两者的输入)。在其他情况下，ANC块10可以是仅前馈ANC。

音频系统将ANC的益处与周围声音增强功能组合以在低频下减小遮挡效应并且在高频下个性化周围声音增强，如下所示。响应于检测到从安静到嘈杂的周围声音变化，分析器8发信号通知Ganc块提高所产生的抗噪声的级别(在周围声音的再现期间)。Ganc块可以是标量(宽带)增益块。提高抗噪声的级别减轻了遮挡效应。类似于Gase的改变，抗噪声级别的改变(由Ganc块)的执行频率不快于每秒一次。音频系统因此将这种调整(即由于ANC的本质而仅提升低频带的Ganc的增加)与高频带而不是低频带中的Gase的减小(低频带和高频带不重叠)进行组合。

如上所述，将ANC和周围声音增强功能组合的效应可以是：当周围声音嘈杂时，所再现的周围声音和抗噪声的组合的动态范围在抗噪声开始时或在现有抗噪声级别提高时变得更小。由于大部分的抗噪声在低频带中，因此这可能致使在高频带中的再现周围声音被用户感知为太嘈杂，但用于Gase的增益减小。图3示出了音频系统如何在安静环境和嘈杂环境中以这种方式管理SPL的示例。该图示出了耳朵SPL的动态范围的预期变化。当用户处于安静的周围环境并且无帮助(在Gase为“小”，并且ANC被停用或者Ganc为“小”的情况下，个性化的周围声音增强被停用)时，耳朵SPL处于难以听到的范围。为了提高耳朵SPL，在该情况下，自动增加Gase(“变大”)，同时ANC保持停用或Ganc保持较小。然后，当用户移动到嘈杂周围环境中时，耳朵SPL最初变为不舒适地嘈杂，但然后通过减小Gase并且启用ANC或提高Ganc(“变大”)来自动降到期望的动态范围中。

图4是耳朵SPL相对频率的曲线图或曲线，显示了音频系统的触耳式设备的三个响应，这些响应进行组合以塑造用户如何听到其周围环境。第一SPL曲线(“仅被动衰减”)表示在缺乏ANC和周围声音增强的情况下仅由于触耳式设备进行的被动衰减而引起的响应。低频带可以是设置为0dB的参考，而在高频下(高于转变频率或拐点频率)，SPL在转变频率下滚落并且然后在高频带中趋平在某个负dB。第二SPL曲线(“周围声音增强响应”)仅表示个性化周围声音增强功能的响应，该个性化周围声音增强功能从转变频率开始在高频下提升SPL(正dB)(在整个高频带中保持高于0dB)。所提升的高频带使得能够更容易听到周围环境。第三SPL曲线仅表示ANC功能的响应，该ANC功能在低于转变频率时使SPL(负dB)在低频下衰减。图5是示出这三个响应的组合效应的曲线图，使用普通噪声曲线相对用户耳朵中的拾音通道中的频率(例如，由内部麦克风4进行的拾取—参见图2)的示例。可以看出，如何在低频带中，耳朵SPL由于通过ANC功能的声学噪声消除而表现出(噪声曲线的)衰减，在高频下与已经通过个性化周围声音增强功能提升的言语实例叠加。

这里，本公开的另一方面是由音频系统执行的用于通过触耳式音频设备的言语感知声音增强的方法，其中设备可以产生抗噪声以用于声学噪声消除ANC。以这种方法，周围声音由触耳式音频设备根据触耳式音频设备的用户的听力曲线来放大和再现。周围声音是在触耳式音频设备的声学环境中的声音并且因此可以由用户听到。在再现周围声音时，处理器检测周围声音中的言语(例如，经由对外部麦克风信号进行操作的语音活动检测VAD)。在再现周围声音时，触耳式设备还产生抗噪声；只要没有在周围声音中检测到言语，它就这样做；每当检测到言语时，它减小所产生的抗噪声级别。这使得用户能够更好地感知所再现的周围声音中的言语。

这种响应(减小抗噪声的级别，甚至减小到停用ANC的程度)是相对快速作用的响应，即比响应于所检测的周围声音级别中的变化(在安静与嘈杂之间)的上述转变更快。对ANC功能的言语响应改变可以符合心理声学，并且可以在每个音频帧的基础上以及在每个频率窗口的基础上。换句话说，仅在已经被检测为言语(与非言语相反)的(外部麦克风信号的)时间帧和频率窗口中才抑制(例如，停用)抗噪声。应当注意，VAD不必是二进制决策(言语/非言语)；相反，它可以是言语存在概率，根据该言语存在概率，抗噪声以更精细的粒度变化(不只是二进制决策)。

可以通过调整如何再现周围声音来增强上述的言语响应方法(该言语响应方法响应于在每个音频帧的基础上检测言语而调整抗噪声)。每当在给定音频帧中检测到言语时，与在低频带中相比，在高频带中通过更大的增益对周围声音进行滤波。同时，与在高频带中相比，可以在低频带中将抗噪声维持在更大级别。后者可以是响应于言语检测而在每个频率窗口的基础上调整抗噪声的补充。

在一个方面中，现在参考图6的流程图，音频系统可能无法适于最大化(已通过音频设备泄漏到用户耳朵中的周围声音的)声学消除，而是适于基于已确定建议“拒绝”用户所听到的内容的佩戴者情景以透明模式进行操作。此过程可能或可能不涉及补偿用户听力损失。过程开始，其中在透明模式中，如图2所示的Gase块正在向周围拾音通道施加某个增益，以便克服由于音频设备而引起的佩戴者耳朵的遮挡，使得佩戴者可以通过ASE滤波器6的路径听到所再现的周围声音(操作20)。在执行操作20时，过程自动地或在没有来自用户的指令的情况下确定用户的情景(操作22)。

用户情景包括以下中的任何一个或多个。在一个方面中，所确定的用户情景在佩戴者可发现自己处于的不同类型的周围声音环境(例如，音乐会，公共交通场所，在餐厅处、咖啡店中、办公室中和户外的嘈杂社交聚会)之间进行区分。可以通过实时地数字处理各种输入数据来进行确定。输入数据可以包括：周围拾音通道(来自由佩戴者佩戴的触耳式音频设备或智能手表中的一个或多个麦克风，包括波束成形拾音通道)，经由振动传感器(例如，嵌入在耳机中并且响应于佩戴者自身语音的骨骼传导的加速度计)的言语拾取，以及来自其他各种传感器的传感器数据(包括一天中的时间)，以及使用全球定位系统或射频三角测量的用户位置。可以处理输入数据以例如确定佩戴者正在汽车、公共汽车、火车或船上行走、跑步、坐着、驾驶或骑行，或者处于特定场所(诸如火车站或机场)。也可以处理输入数据以检测正在拾取的周围声音的类型，例如，火灾警报、机械机器噪声、城市街道声音、高速公路噪声、建筑工地噪声、火车地铁噪声、吵闹声、自然声音、电视等。更一般地，用户情景的确定可以是使用机器学习工具来处理输入数据的结果。

应当注意，在若干操作模式中的任何一种(例如，透明度、衰减的透明度和主动耳塞，也如下所述)期间，音频系统可以自动确定用户情景(无需用户的指令)。

在操作20中确定的情景可以与操作24一致，其中ANC块10可能或可能不产生抗噪声信号；而且，Ganc块可能正在衰减，但未完全消除其输出处的抗噪声(取决于其增益设置)。现在，作为用户情景确定的一部分或结果，如果检测到周围声音级别过高(由周围声音环境分析器8—参见图2)，则可以发信号通知图2所示的Ganc块不执行任何衰减或执行更小的衰减，以便产生更多的抗噪声(操作26)，由此导致周围声音的更多消除(用户耳边处的更安静的总声音级别)。同时地或替代地，系统可以发信号通知Gase块衰减再现的周围声音(操作28)，例如，就Gase块施加到周围拾音通道(检测的周围声音)的振幅增益而言衰减至少20dB。这两个操作26、28一起更好地保护佩戴者的听力免受嘈杂环境。

另一方面，仍参考图6，如果在操作22中确定的用户情景指示周围声音级别低于阈值(诸如在安静的办公室中)，则执行操作30，其中将再现的周围声音提高回去(通过增加由Gase块施加的增益来增加其级别)。此外或替代地，在操作32中减小抗噪声(通过减小由Ganc块施加的增益，这减小了抗噪声的级别，但并不会完全消除正在产生的抗噪声)。

尽管图6示出了在确定用户情景时采取的两种可能途径，但解决方案更普遍地支持更精细的粒度：可存在导致多于两种的调谐Gase块和Ganc块的方法的多于两个不同用户情景(如以下使用若干示例进行描述)。例如，可存在一个用户情景，该用户情景指示“中间”周围声音级别(在“安静”或低周围声音级别，以及“嘈杂”或高周围声音级别之间)或特定类型的周围声音环境(诸如“户外”)，从而导致调谐Gase块和Ganc块的不同组合。更一般地，音频系统支持两个或更多个用户情景，可以使用参数(诸如检测的周围声音级别、一天中的时间、使用声音类型分类器来检测的声音类型、周围光照级别、用户移动情景(诸如步行、跑步或驾驶)、有风等)的任何合适组合来限定这些用户情景中的每一个。并且对此类用户情景的响应可能变化，包括以不同方式(根据特定用户情景)不仅调谐Gase块和Ganc块，还调谐ASE滤波器6。

在透明模式的另一个方面中，每当系统确定某个用户情景(例如，“佩戴者处于音乐会”)时，系统增强所再现的周围声音的频谱平坦度。这可以通过适当地塑造Gase块的滤波功能来实现。但在佩戴者在音乐会上开始与某人讲话时，所确定的用户情景改变，例如“佩戴者正在与其环境中的某人讲话”，因为系统检测到环境中的其他人的言语和/或佩戴者的言语，所以发信号通知Gase块强调言语频率(例如，通过适当地塑造Gase块的滤波功能)。在该情况下，频率响应不再平坦。

在以透明模式操作的又一个方面中，系统在不同用户情景中不同地减小其施加的透明度增益(在Gase块中)。例如，当所确定的情景指示佩戴者正在周围噪声中“讲话”时，与在佩戴者被动地收听周围环境时相比，更大地减小透明度增益。这有助于佩戴者更好地理解或听到在另外吵闹环境中正在讲话的某人的言语。

在又一方面中，佩戴者可以处于音乐会，在表演中的停顿期间，佩戴者开始与他们旁边的朋友(其也处于音乐会)讲话。在该情况下，音频系统检测到周围噪声/声音级别的下降(低于阈值)，并且可能还检测到言语活动的同时增加。言语活动可以是佩戴者自身的语音或者可以是附近朋友的语音。作为响应，系统可以减小其抗噪声输出(例如，由Ganc提高衰减)，并且可能增加其施加到周围拾音通道的其透明度增益Gase，并且还可能强调言语频率范围—这也称为频谱整形。当音乐会演出恢复时，所检测的周围声音级别增加(高于阈值)，响应于此，系统继续集中于实现所再现的周围声音的频谱平坦度，同时仍准备通过增加抗噪声来保护佩戴者听力。

音频系统的操作模式可以至少包括以下三种模式：透明(直通)模式；衰减的透明模式；以及主动耳塞模式。本领域技术人员将理解，系统可以包括任何适当数量的模式，并且在一些情况下，可能不存在离散模式，而是音频系统可以基于当前周围声音状况并且更广泛地基于用户情景来无缝地执行调谐。

出于说明的目的，可以将透明模式引用在或将其设置为0dB，即施加到所再现的周围声音的振幅增益被设置为刚好足以克服由于耳朵被触耳式设备遮挡而引起的被动衰减，使得所得的声音输出级别与佩戴者仿佛没有佩戴触耳式设备相同时的情况。如果用户的听力曲线示出某个高频听力损失，则该增益可能较高(例如在高频带中)。例如，可以将衰减的透明模式设置为-10dB或仍允许某种量的透明度的其他合适衰减级别；在该情况下，可以将振幅增益设置为例如使得佩戴者能够更好地听到某人在另外吵闹环境中讲话。主动耳塞模式(这里也称为降噪模式或全ANC模式)是在佩戴者的环境变得太嘈杂时产生最大抗噪声以保护佩戴者的听力时的情况。应当注意，这种ANC可能仅在低频下(例如，低于2kHz)消除周围声音时有效，而由于简单地佩戴触耳式设备所引起的被动衰减在高频(例如，高于2kHz)下有效。

再次参考图4，该图示出了可由触耳式设备产生的两个声音响应曲线(衰减曲线)的示例，一个声音响应曲线是由于主动噪声消除或主动降噪(参见图2，其中ANC块10和Ganc一起产生最大抗噪声)而引起的，并且另一个声音响应曲线是由于被动衰减(由于触耳式设备对耳朵的遮挡)而引起的；(由佩戴者听到的)周围声音的衰减的总量将为两个曲线的总和。现在，在佩戴者的耳朵处期望平坦响应(与频率相关总衰减曲线相比)的情况下，可以调谐ANC块10和/或其Ganc以在低频带中产生较少的抗噪声(例如，可以发信号通知Ganc衰减其输出处的抗噪声)，同时提高透明度增益(例如，通过发信号通知Gase提升在高频带中而不是低频带中的增益)。在平坦响应模式和主动耳塞模式(其中应当最大化主动噪声消除)之间的这种转变可以基于佩戴者情景是自动的(无需用户指令)，该佩戴者情景如上所述可以由周围声音环境分析器(图2)确定。

图7是用于基于用户听力损失执行周围声音增强—这里也称为在具有听力损失补偿的透明模式下操作的方法的流程图。在默认设置下，在操作40中，根据用户听力曲线(其在该情况下包括听力损失曲线)，放大所检测的周围声音并且将其在用户耳朵处再现。同时，确定用户情景(操作42)，该用户情景导致用于调整如何再现周围声音的若干途径中的一个。如果周围是安静的(诸如办公室)，则途径采取操作44，其中根据用户的听力曲线调谐ASE滤波器6和频率相关Gase块两者以用于进行安静设置。如果周围是嘈杂的(诸如餐厅)，则途径采取操作46，其中根据用户的听力曲线调谐ASE滤波器6和频率相关Gase块两者以用于进行嘈杂设置。并且如果周围介于此类外部或室外之间，则途径采取操作48，其中根据用户的听力曲线调谐ASE滤波器6和频率相关Gase块两者以用于进行中间周围噪声级别设置。虽然此方法在图7中被示为使用三个途径，但通常可限定多于三个不同的用户情景，这些用户情景导致多于三种的调谐ASE滤波器6和Gase块的方式。

上述公开的一个方面是一种用于由触耳式音频设备进行言语感知声音增强的方法，该触耳式音频设备可以产生抗噪声以用于声学噪声消除，该方法包括：由触耳式音频设备根据触耳式音频设备的用户的听力曲线放大和再现周围声音，其中周围声音处于触耳式音频设备的声学环境中；在a)中再现周围声音时，检测周围声音中的言语；以及在a)中再现周围声音时，只要在周围声音中未检测到言语，就产生抗噪声，以及每当检测到言语时，就减小所产生的抗噪声的级别。每当检测到言语时，与在低频带中相比，在高频带中通过更大的增益对周围声音进行放大。当与在低频带中相比，在高频带中通过更大的增益对周围声音进行放大时，与在高频带中相比，在低频带中以更大级别产生抗噪声。

上述公开的另一个方面是具有声学噪声消除能力的音频耳机装置，该音频耳机装置包括：左耳机扬声器；右耳机扬声器；处理器；以及存储器，该存储器在其中存储有指令，这些指令将处理器配置为a)驱动左耳机扬声器或右耳机扬声器以便根据耳机装置的用户的听力曲线放大和再现周围声音，其中周围声音处于耳机装置的声学环境中，b)在根据a)再现周围声音时，检测周围声音从安静变为嘈杂，以及c)响应于检测到周围声音从安静变为嘈杂，驱动左耳机扬声器或右耳机扬声器以开始产生抗噪声，或提高由左耳机扬声器或右耳机扬声器产生的现有抗噪声的级别。存储器可以在其中存储有另外指令，这些另外指令将处理器配置为响应于检测到周围声音从嘈杂变为安静而驱动左耳机扬声器或右耳机扬声器以减小所产生的抗噪声的级别。所产生的抗噪声可以在低频带中而不在高频带中。当周围声音嘈杂时，所再现的周围声音的动态范围在抗噪声开始时或在现有抗噪声级别提高时变得更小。

这里，上述公开的又一方面是一种用于由触耳式音频设备进行自动声音增强的方法，该方法包括：a)由触耳式音频设备再现周围声音，其中周围声音处于佩戴触耳式音频设备的用户的声学环境中，并且其中根据频率相关增益对周围声音进行滤波；b)当在a)中再现周围声音时，检测周围声音从安静变为嘈杂；c)响应于检测到周围声音从安静变为嘈杂，根据用户的听力曲线减小频率相关增益；以及d)由触耳式音频设备再现周围声音，该周围声音根据减小的频率相关增益来进行滤波。在触耳式音频设备产生抗噪声以用于声学噪声消除的情况下，该方法还包括：由触耳式音频设备在a)期间产生抗噪声；以及响应于检测到周围声音从安静变为嘈杂，在d)期间提高所产生的抗噪声的级别。在一个方面中，抗噪声级别的改变的执行频率不快于每秒一次。在另一个方面中，频率相关增益包括在高频带中而不是在低频带的减小的增益。

如上所述，本技术的一个方面是采集和使用能够从特定和合法来源获得的数据，以确定用户情景并且调整如何为用户再现周围声音。本公开设想，在一些实例中，该所采集的数据可包括唯一地识别或可用于识别具体人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、在线标识符、电话号码、电子邮件地址、家庭地址、与用户的健康或健身级别相关的数据或记录(例如，生命特征测量、药物信息、锻炼信息)、出生日期或任何其他个人信息(包括任何听力损失)。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，可以使用个人信息数据以根据其偏好递送增强的周围声音再现或保护其听力健康。

本公开设想负责收集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，将期望此类实体实现和一贯地应用一般公认为满足或超过维护用户隐私的行业或政府所要求的隐私实践。关于使用个人数据的此类信息应当被突出并能够被用户方便地访问，并应当随数据的收集和/或使用改变而被更新。用户的个人信息应被收集仅用于合法使用。另外，此类收集/共享应仅发生在接收到用户同意或在适用法律中所规定的其他合法根据之后。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应针对被收集和/或访问的特定类型的个人信息数据调整政策和实践，并使其适用于适用法律和标准，包括可用于施加较高标准的辖区专有的考虑因素。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。

不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的方面。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，本技术可以被配置为允许用户选择“选择加入”或“选择退出”允许增强的周围声音再现过程访问其听力损失曲线或访问其位置。

此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除标识符、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户间汇集数据)和/或其他方法诸如差异化隐私来促进去标识。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，周围声音增强功能仍然可以调谐Gase块和Ganc块以及ASE滤波器6，而不必知道用户的位置或用户具有任何听力损失。

为了帮助专利局和本申请中发布的任何专利的任何读者解译所附权利要求书，申请人希望注意到它们并不意欲所附权利要求书中的任一个或权利要求要素调用35U.S.C.112(f)，除非在特定权利要求中明确使用字词“用于......的装置”或“用于......的步骤”。

虽然已经在附图中描述和示出了某些方面，但是应当理解，这些方面仅仅是对本发明的说明而非限制，并且本发明不限于所示出和所述的具体结构和布置，因为本领域的普通技术人员可以想到各种其它修改型式。例如，尽管未在图2中示出，但(来自外部麦克风3的)包含周围声音的麦克风信号可以由用于对麦克风信号进行频谱整形的均衡EQ滤波器，以及由非线性限制器(未显示)进一步处理，之后与程序音频组合。类似地，程序音频可以由EQ滤波器(未示出)滤波，之后与已处理和已Gase滤波的周围声音内容组合。因此，要将描述视为示例性的而非限制性的。

Claims (15)

1.一种用于言语感知声音增强的方法，所述方法包括：

由触耳式音频设备再现周围声音，其中所述周围声音处于所述触耳式音频设备的声学环境中并且在外部麦克风的信号输出中被拾取并且然后被频率相关透明度增益块滤波以及通过施加振幅增益以产生周围声音信号的透明度增益块，同时通过所述触耳式音频设备中的ANC滤波器块产生抗噪声，所述ANC滤波器块通过使用来自所述外部麦克风的信号输出来产生抗噪声信号，其中在一起驱动所述触耳式音频设备的扬声器之前，所述抗噪声信号与所述周围声音信号组合；

在再现所述周围声音同时产生抗噪声时，检测所述周围声音中是否存在言语；

只要没有在所述周围声音中检测到言语，就产生所述抗噪声；和

每当检测到言语时，就降低所产生的抗噪声的级别。

2.根据权利要求1所述的方法，其中每当检测到言语时，与在低频带中相比在高频带中以更大的增益再现所述周围声音。

3.根据权利要求2所述的方法，其中当与在所述低频带中相比在所述高频带中以更大的增益再现所述周围声音时，与在所述高频带中相比在所述低频带中以更高的级别产生所述抗噪声。

4.一种用于通过触耳式音频设备的言语感知声音增强的音频系统，所述音频系统包括：

处理器；和

其中存储有指令的存储器，所述指令将所述处理器配置为产生周围声音信号以驱动所述触耳式音频设备的扬声器，其中所述周围声音信号由所述触耳式音频设备的外部麦克风产生，所述外部麦克风捕获所述触耳式音频设备的周围声音，

在所述周围声音信号正在驱动所述扬声器的同时，检测所述周围声音信号中的言语，以及

在所述周围声音信号正在驱动所述扬声器的同时，产生抗噪声信号并且在一起驱动所述扬声器之前将所述抗噪声信号与所述周围声音信号组合以在所述扬声器再现所述周围声音的同时只要没有在所述周围声音中检测到言语就产生抗噪声并且然后每当检测到言语时就降低所述抗噪声信号的级别。

5.根据权利要求4所述的音频系统，其中每当检测到言语时，与在未检测到言语时相比，与在低频带中相比在高频带中以更大的增益再现所述周围声音。

6.根据权利要求5所述的音频系统，其中每当检测到言语时，与在未检测到言语时相比，与在高频带中相比在低频带中以更高级别产生所述抗噪声。

7.根据权利要求6所述的音频系统，其中所述处理器：

使用所述触耳式音频设备的外部麦克风信号产生所述抗噪声信号。

8.根据权利要求5所述的音频系统，其中所述处理器：

使用所述触耳式音频设备的外部麦克风信号产生所述抗噪声信号。

9.根据权利要求4所述的音频系统，其中所述处理器：

使用所述触耳式音频设备的外部麦克风信号产生所述抗噪声信号。

10.一种具有声学噪声消除能力的音频头戴式耳机，所述音频头戴耳机包括：

左耳机扬声器；

右耳机扬声器；

外部麦克风，用于感测所述头戴式耳机的声学环境中的周围声音；

处理器；和

存储器，其中存储有用户的听力曲线和配置所述处理器以执行以下操作的指令：

a)驱动左耳机扬声器或右耳机扬声器以便根据所述听力曲线放大和再现所述周围声音，

b)在根据a)再现所述周围声音时，检测所述周围声音从安静变为嘈杂，以及

c)响应于检测到所述周围声音从安静变为嘈杂，驱动左耳机扬声器或右耳机扬声器以开始产生抗噪声或提高由左耳机扬声器或右耳机扬声器产生的现有抗噪声的级别。

11.根据权利要求10所述的音频头戴式耳机，其中所述存储器可以在其中存储有另外指令，所述另外指令将所述处理器配置为响应于检测到所述周围声音从嘈杂变为安静而驱动所述左耳机扬声器或所述右耳机扬声器以减小所产生的抗噪声的级别。

12.根据权利要求11所述的音频头戴式耳机，其中所产生的抗噪声在低频带中而不在高频带中。

13.根据权利要求12所述的音频头戴式耳机，其中当所述周围声音嘈杂时，所再现的周围声音的动态范围在所述抗噪声开始时或在所述现有抗噪声的级别提高时变得更小。

14.根据权利要求10所述的音频头戴式耳机，其中所产生的抗噪声在低频带中而不是在高频带中。

15.根据权利要求11所述的音频头戴式耳机，其中当所述周围声音嘈杂时，所再现的周围声音的动态范围在所述抗噪声开始时或在所述现有抗噪声的级别提高时变得更小。