CN114095847A - 环境和聚合声学剂量测定 - Google Patents

Abstract

本公开涉及环境和聚合声学剂量测定。本公开提供了一种用于环境声声学剂量测定的数字信号处理方法。确定由用户佩戴的手表生成的麦克风信号的强度，并将其转换为具有用于声音噪声暴露的单位的声音样本。将其重复多次以产生声音样本的时间序列，该时间序列被写入由用户授权对其访问的安全数据库。也描述了其他方面并要求对其他方面进行保护。

Description

环境和聚合声学剂量测定

本申请是申请号为202010482766.3、申请日为2020年6月1日、名称为“环境和聚合声学剂量测定”的发明专利申请的分案申请。

技术领域

本公开的一个方面在此涉及用于监测用户的周围监听环境中的声能的数字信号处理技术。还描述了其他方面，包括聚合声学剂量测定过程。

背景技术

消费类电子耳机已变得越来越受用户欢迎，因为它们以高保真度再现诸如音乐、播客和电影音轨的媒体，同时不打扰附近的其他人。虽然使用耳机装置的收听体验是令人愉快的，并且耳机装置的最大声音输出根据听力健康安全标准受到限制，但仍需要监测耳机装置在相对较长时间段(诸如几天和几周)内的声音输出，作为旨在避免长期暴露于响亮声音的个人听力健康监测的一部分。

附图说明

本公开的各方面以举例的方式进行说明，而不仅限于各个附图的图示，在附图中类似的附图标号指示类似的元件。应当指出的是，在本公开中提到“一”或“一个”方面未必是同一方面，并且其意指至少一个。另外，为了简洁以及减少附图的总数，可使用给定附图示出本公开的不止一个方面的特征部，并且对于给定方面，可能并非需要该附图中的所有元件。

图1示出了具有耳机装置和音频源设备的示例性音频系统。

图2是用于耳机装置监听的前馈型声学剂量测定过程的流程图。

图3示出了针对未知耳机装置确定的示例性音量曲线，其将音量步长与最大SPL输出关联。

图4是周围环境声学剂量测定过程的流程图。

图5示出了从不同设备接收多个输入的聚合剂量测定过程。

图6是使用风检测器作为上下文输入的声学剂量测定过程的示意图。

图7是使用水事件检测器作为上下文输入的声学剂量测定过程的示意图。

具体实施方式

本非临时专利申请要求2019年6月1日提交的临时申请62/855,956的较早提交日期的权益。

现在将参考所附附图来解释本公开的各方面。每当所描述的部件的形状、相对位置和其它方面未明确限定时，本发明的范围并不仅局限于所示出的部件，所示出的部件仅用于例证的目的。另外，虽然阐述了许多细节，但应当理解，本公开的一些方面可在没有这些细节的情况下被实施。在其他情况下，未详细示出熟知的电路、结构和技术，以免模糊对该描述的理解。

图1示出了作为音频系统的一部分的触耳式音频设备1的示例，其中可实施用于对由触耳式音频设备1产生的声音进行声学剂量测定的音频信号处理方法。所示的触耳式音频设备1是入耳式耳塞(入耳式耳机，其可以是具有柔性尖端的密封型，或者其可以是非密封型，也称为松贴合)。触耳式音频设备1可以是构成耳机装置的两个耳机(左侧和右侧)之一。下文所述的方法可针对构成耳机装置的耳机中的一者或两者来实现。入耳式耳塞的另选替代方案(未示出)包括贴耳式耳机和耳罩式耳机。示出触耳式音频设备1正被其用户(也可被称为收听者或佩戴者)使用。触耳式音频设备1具有触耳式声换能器或扬声器2(被布置和构造成将声音直接再现到其用户的耳部中)，并且可任选地具有外部麦克风3(被布置和构造成直接接收环境声)和内部麦克风4(被布置和构造成直接接收由扬声器2再现的声音)。这些麦克风可集成在其相应的音频设备外壳中。麦克风对于下文所述的一些方法不是必需的(例如，在估计由于耳机回放所致的声音暴露的情况下)。内部麦克风4可用于精确测量入耳声压级SPL。另外，可存在多于一个外部麦克风3，诸如集成在触耳式音频设备1的单个外壳内、产生多个通道(多个数字音频帧序列)的麦克风阵列；这里对评估“一个”麦克风信号的强度的任何引用都被理解为是对评估一个或多个拾音通道的强度的更一般的引用，例如，单个麦克风的单个输出、麦克风阵列的多通道输出或从麦克风阵列接收多通道输出的拾音波束形成过程的单个输出。

下文所述的方法适用于处理本来基本上准备好驱动扬声器2的数字输出音频信号。输出音频是音频渲染过程的结果，该音频渲染过程可以开始于经由有线或无线通信接口例如通过互联网从流式音乐或播客或电影服务获得输入音频信号。下文所述的方法以及音频渲染过程乃至输送输入音频的通信接口由各种电子硬件部件执行，所有这些电子硬件部件均可集成在触耳式设备1的外壳中。因此，在其中触耳式设备1的外壳具有足够的空间和电力(例如，来自可再充电电池)的情况下，获得、处理和产生驱动扬声器2的换能器信号的所有电子器件均可被放置在同一外壳中。电子器件可包括用输出音频信号驱动扬声器2的音频放大器、接收任选的麦克风信号并将它们转换为用于数字信号处理的期望格式的任选麦克风感测电路或放大器，以及一个或多个数字处理器(这里称为“处理器”)和存储器(例如，固态电子数据存储电路)，其中存储器存储用于配置处理器的指令(例如，将由处理器执行的指令)以执行下文更详细讨论的数字信号处理任务。

需注意，下文称之为实现声学剂量测定技术的一些或基本上所有的电子器件也可能位于与触耳式设备1分开的另一设备中。例如，在触耳式设备1是左耳机或右耳机的情况下，耳机可经由有线连接(例如，也输送电力的计算机总线连接器，在这种情况下耳机外壳中可能不需要电源)或经由无线连接(例如，蓝牙链路)连接到在图1的示例中示出为智能电话的音频源设备5。在这两种情况下，输出音频(其包含用户内容，诸如电影音轨、音乐或电话呼叫期间远端用户的声音)已由音频源设备5中的一个或多个处理器(“处理器”)渲染，并且即便不是所有，下文所述处理中的大部分也可由音频源设备5中的处理器执行(或在该处理器处执行)。例如，在音频源设备5中，配置或编程处理器的指令可以是操作系统软件的一部分，或者它们可以是在操作系统程序之上运行的应用软件的一部分。因此，声学剂量测定过程中的一个或多个操作可由智能电话、智能手表、平板电脑或可与耳机装置通信的其他音频源设备的处理器执行或在该处理器处执行。例如，耳机装置可以是音频源设备的外围设备，或者耳机装置和音频设备可以是伴随设备，例如，耳机可与音频源设备配对或被配置为与音频源设备一起使用，并且从该两者均为特定用户个人配置的意义上来讲，它们可被视为特定用户的个人设备。音频源设备通过有线音频链路或通过无线音频链路向耳机装置提供用户内容输出音频，以用于通过耳机装置的扬声器回放。另选地，声学剂量测定过程的一个或多个操作可由耳机装置的一个或两个耳机外壳中或耳机装置中的其他位置处的处理器执行(前提是耳机装置具有足够的计算资源来实现)。

在用户内容耳机回放期间，声学剂量测定过程例如在鼓膜参考点处或附近测量或估计入耳SPL。在一个方面，入耳SPL如下测量。可使用例如实验室校准结果将来自拾取耳道中的声音的内部麦克风4(参见图1)的信号处理成等效SPL，该实验室校准结果包括要应用于麦克风信号的校正因子，例如均衡化。麦克风信号到入耳SPL的这种转换可在耳机回放(通过用户佩戴的耳机装置进行声音转换)期间执行。另选地，如果内部麦克风4不可用，则图2中的处理流程可用于以“前馈”方式估计入耳SPL。

参考图2，这里的过程开始于使用佩戴所制造耳机装置的若干不同耳部模拟器和人体模型进行实验室测量，以针对用户群体中预期的不同类型的耳朵和耳道产生声音输出灵敏度数据。在一个方面，针对预期的用户群体选择一组标称输出灵敏度数据。该工厂校准程序可例如在生产测试时针对每个制造的耳机装置执行，或者其可针对一组类似的耳机装置执行一次。统计技术可用于找到针对一组类似耳机装置的最佳拟合，然后将该最佳拟合用于大量类似的耳机装置。在任何情况下，校准程序将声音输出灵敏度分配给每个耳机装置。声音输出灵敏度给出了驱动扬声器2的音频信号的强度与预期用户佩戴的扬声器2的所得声音输出的强度之间的数学关系。其可根据感兴趣的听觉频率而变化，或者其可作为整个可听频率范围内的统计量度来提供，例如作为平均输入和平均输出之间的关系。其可作为数据结构存储在每个耳机装置的外壳内的微电子存储器中。在一个方面，触耳式音频设备1可向音频源设备提供其存储的所分配输出灵敏度数据，该输出灵敏度数据可包括耳机声学输出灵敏度和音量曲线参数，例如如下所述。

触耳式音频设备1随后可与独立的音频源设备5配对(例如，作为通过无线链路诸如蓝牙链路与智能电话、智能手表或平板电脑配对的无线耳机装置，或者作为通过有线链路诸如串行外围总线如通用串行总线、USB连接连接到音频源设备的有线耳机装置)。耳机装置中的处理器随后将通过与音频源设备的配对连接接收数字输出音频，并且随后将驱动耳机装置的音频放大器和扬声器以将输出音频(也称为回放信号，该回放信号包含用户内容，例如音乐、播客、视频游戏或电影音轨的媒体)再现为声音。

输出灵敏度数据可例如通过蓝牙链路从触耳式设备1中的存储器传输到音频源设备5中的存储器，在此输出灵敏度数据由执行声学剂量测定算法或程序的处理器用以耳机装置监听。该过程如下估计入耳声压级SPL。参见图2，音频源设备5中的处理器计算正在回放的输出音频的强度的量度(框8)。该量度可以是例如均方根RMS值。需注意，输出音频是对输入回放信号(包含诸如音乐或电影音轨的媒体)执行常规音频信号处理操作链的音频渲染过程的结果。这些可包括用于音量步长的动态范围调整、均衡化和增益调整。然后，处理器通过将所接收的声学输出灵敏度数据(对于当前使用的耳机装置)应用于RMS值(使其乘以该声学输出灵敏度数据)，将此类输出音频的RMS值转换为入耳SPL。例如，将dB满标度RMS值转换为入耳SPL dB值。更一般地，这在此称为基于输出灵敏度到入耳SPL的转换(输出灵敏度转换10)。

接下来，在框11中，将入耳SPL的量度或估计值转换为适用于评估声音噪声暴露的单位(例如，由听力健康安全标准指定的单位，该听力健康安全标准可以是针对听力健康可允许的声音噪声暴露的标准的或通常定义的指标)。例如，入耳SPL可乘以传递函数(其已在实验室环境中确定)，该传递函数将入耳SPL转换为将由位于距用户一定距离处的虚设参考麦克风所拾取的声音的等效自由场或扩散场测量值，如由听力健康安全标准所定义的。传递函数可以在鼓膜参考点DRP和参考麦克风之间。转换的结果在此被称为计算的声音样本，例如以SPL dBA(A-加权分贝)为单位。

声音样本可随时间推移重复计算，例如在回放期间每隔一秒或其他合适的间隔，然后累积成一批或一系列声音样本。然后将该批声音样本写入存储在音频源设备5的存储器中的健康数据的数据库12中。从需要个体用户或健康数据的所有者授权对其进行访问的意义上来讲，数据库12可为安全的。除了声音样本之外，元数据，诸如将输出音频再现为声音的耳机装置的型号以及输出音频从其产生的应用程序也可作为该批的一部分被写入。此处需注意，写入数据库中的声音样本不能用于恢复关于正在回放的媒体的识别信息，例如音乐作品或电影的标题。

然后可由应用程序或应用14(也由音频源设备5中的处理器执行)呈现所存储或监测的声音样本，以用于在音频源设备的图形用户界面上可视化。例如，并且仍然参考图2，作为应用14的示例的健康应用程序可被授权访问本地存储的健康数据库12以检索声音样本，并且计算所收集的声音样本的各种统计量度，诸如特定时间间隔内的Leq dBA(平均值)。然后，健康应用可向用户“显示”由于触耳式音频设备1的回放而引起的其声音暴露。健康应用还可向用户可视化声音样本的哪些部分由哪些应用(例如音乐应用、视频游戏应用和电影播放器)产生，以及哪些型号的触耳式音频设备产生哪些声音样本。预期用户可使用若干不同型号的耳机装置来以不同音量步长或用不同媒体进行监听，这些耳机装置诸如入耳式有线耳塞、入耳式无线耳塞和贴耳式耳机。该可用信息可由健康应用监测并报告给用户。将关于此类所收集的声音样本的有用信息报告给用户的其他方式(声学剂量测定法)也是可能的。

在工厂校准输出灵敏度信息不可用的情况下，音频源设备5中的处理器仍然可以检测到未知的触耳式音频设备正被用于将输出音频转换为声音(例如，检测到计算机总线连接器已插入到音频源设备中，或者已与耳机装置建立蓝牙链接)。处理器使用该信息来选择音量曲线。如图3所示，可选择最佳地拟合多种不同类型的市售耳机装置的特性(及其发布的声音输出特性)的音量曲线。这些耳机装置可能已被测试以测量其声音输出(例如，入耳SPL)与音量步长之间的关系，并且同时应用标称的音频信号处理链(例如，特定于产生音频源设备中的当前输出音频的特定应用)。然后将当前音量步长(以该音量步长产生当前输出音频)应用于所选择的音量曲线，以获得在该音量步长下分配给所连接的未知耳机装置的最大SPL的估计值。然后基于由所选择的音量曲线给出的最大SPL来确定针对未知耳机装置得出的RMS与入耳SPL之间的输出灵敏度关系。然后将得出的输出灵敏度关系插入到上文所述并在图2中示出的处理流程中，以计算以SPL dBA为单位(或适用于评估声音暴露的其他单位，诸如根据标准的或通常定义的听力健康声音噪声暴露计算)的声音样本。

应当指出的是，在存在由扬声器2产生的来自回放信号之外的声能的情况下，应当调整如上获得的入耳SPL测量值或估计值。例如，耳机装置可具有声学噪声消除ANC能力、环境声透明性能力(其中环境声在回放期间被拾取并主动再现，以向佩戴者提供对其环境的意识的感知)或环境声增强能力(其中环境声被拾取并且在被再现时进行放大，以便补偿听力损失或满足佩戴者的听力偏好)。在此类情况下，耳机装置可在与音频源设备初始配对期间以电子方式识别此类能力，响应于此，声学剂量测定过程可被配置为相应地调整其入耳SPL测量值或估计值以考虑任何此类添加的声能。另选地，由于此类附加声能在一定程度上被内部麦克风4拾取，因此在使用来自内部麦克风4的信号进行的入耳SPL测量中将固有地将其考虑在内。

现在转到图4，该图示出了如何对用户周围环境中的声音(也称为环境声或噪声暴露)，例如来自扬声器的声音、车辆声音和来自周围环境中的任何其他源的声音，执行声学剂量测定的示例。外部麦克风3在图1的示例中被示出为嵌入耳机外壳的外表面上并且因此可在周围环境中执行直接拾音，该外部麦克风现在嵌入或集成在智能手表16的外壳中，该智能手表佩戴在用户的手腕上，如图所示。智能手表16可配对以与音频源设备5(例如，用户的智能电话或平板电脑)进行无线数字通信。现在对由用户佩戴的音频设备生成的麦克风信号执行计算，该计算类似于上文在图2中所述的对输出音频执行以确定其强度(例如，RMS)的计算。例如，图4示出了由外部麦克风3生成的该信号。此处需注意，可存在多于一个外部麦克风3，诸如集成在音频源设备5或智能手表16的单个外壳内、产生多个通道作为多个数字音频帧序列的麦克风阵列；这里对评估“一个”麦克风信号的强度的任何引用都被理解为是对评估一个或多个拾音通道的强度的更一般的引用，例如，单个麦克风的单个输出、麦克风阵列的多通道输出或从麦克风阵列接收多通道输出的拾音波束形成过程的单个输出。

周围环境声学剂量测定的期望结果是通过将麦克风信号的强度转换为例如由健康听力安全标准所定义的合适单位来计算周围环境的声音样本，例如以SPL dBA为单位。在一个方面，这些计算由集成在智能手表16的外壳中的低功率或辅处理器执行，这有助于降低功率消耗(对智能手表供电的较小、较低能量密度电池的重要目标)。在此使声音样本计算由低功率或辅处理器(其还用于检测来自外部麦克风3的信号中的语音触发短语)执行的附加有益效果在于外部麦克风信号仅被缓冲很短的时间间隔(例如，约一秒)，并且因此不捕获可能存在于周围环境中的任何私人会话。低功率处理器或辅处理器是连续处理外部麦克风信号以检测语音触发的处理器，而智能手表中的高功率处理器或主处理器处于低功率状态(例如，睡眠状态)。一旦检测到语音触发，智能手表中的高功率处理器或主处理器就转变到高功率状态(例如，唤醒状态)，在该高功率状态下，其可执行虚拟助理程序的功率更密集的任务。

图4的用于周围环境/环境声学剂量测定的处理流程相比于图2中给出的耳机装置声学剂量测定或耳机音频暴露具有一些差异。这些差异包括将用户内容回放信号替换为外部麦克风信号，将输出灵敏度转换10替换为输入灵敏度转换18(例如，将由外部麦克风3产生的信号的dB满标度与入射到外部麦克风3上的SPL关联的转换)和修改块11，以使用在外部麦克风3而非DRP与听力健康安全标准的参考麦克风(其在图4中以虚线示出)之间的自由场或扩散场传递函数。

图4中所示的方面还包括如上所述将声音样本被批量写入其中的健康数据库12存储在智能手表16的存储器内，而不是存储在音频源设备5的存储器内。此外，可视化应用程序17也由智能手表16中的高功率处理器或主处理器执行，该可视化应用程序产生将在智能手表的屏幕上向用户显示的、示出环境声暴露的级别及其相应的持续时间的视觉效果。可视化应用程序17还可在其确定所收集的声音样本在时间间隔阈值内超过响度阈值(声音过大太长时间)时，在智能手表16中生成视觉或触觉通知19，这些阈值可由听力健康安全标准定义。通知19通知用户他们的周围环境对于听力健康而言可能过于大声，并且在本文中也被称为“大声环境”通知。

本公开的另一方面是可由经编程的数字处理器执行的“聚合”声学剂量测定过程，该过程估计针对特定用户的总体声音或听力暴露(“总体声音暴露”)。从处理器收集分别来自多个音频设备中的麦克风的声音测量输入的意义上来讲，计算总体声音暴露是整体观，其中该多个音频设备中的任一个音频设备可例如在距用户两米的半径内。音频设备中的每个音频设备具有独立的外壳(包含其相应的一个或多个麦克风)并且是不同类型的设备，诸如台式计算机、膝上型计算机、平板电脑、智能电话、智能手表和耳机装置。从智能电话、智能手表和耳机装置通常如何被描述为由特定用户所“拥有”(例如，被配置为对用户而言是个人的)的意义上讲，音频设备可与特定用户相关联。聚合声学剂量测定过程的一个或多个操作可由智能电话、智能手表、平板电脑或可与耳机装置通信的其他音频源设备的处理器执行。例如，耳机装置可以是音频源设备的外围设备，或者耳机装置和音频设备可以是伴随设备，例如，耳机可与音频源设备配对或被配置为与音频源设备一起使用，并且从该两者均为特定用户个人配置的意义上来讲，它们可被视为特定用户的个人设备。音频源设备通过有线音频链路或通过无线音频链路向耳机装置提供用户内容输出音频，以用于通过耳机装置的扬声器回放。另选地，这些操作中的一个或多个操作可由耳机装置的一个或两个耳机外壳或耳机装置中的其他位置中的处理器执行(前提是耳机装置具有足够的计算资源来实现并且能够与用户的其他设备通信以获得聚合剂量测定过程所需的输入)。聚合过程可使用其他输入(在此称为上下文输入)来解释声音测量值，这些输入是参考或阐明用户发现自身所处情况(在给定的声音测量期间)的信息源。然后将总体声音暴露存储为入耳SPL值的时间序列(例如，在特定用户授权访问的安全数据库中)。因此，总体声音暴露指示用户的鼓膜在相对长的时间段(诸如数小时、数天或数周)内所暴露的实际声级。

如图5所示，聚合剂量测定过程的声音测量输入可包括在用户暴露于各种声级时在不同时间发生的以下各项中的两者或更多者：耳机回放声音的估计值或测量值；对由集成在用户的智能手表16中的外部麦克风3进行的环境噪声的声音测量值；对由集成在触耳式音频设备1(诸如耳机)中的内部麦克风4进行的声音测量值，该触耳式音频设备由用户佩戴并且可表示i)耳机回放声音，或ii)已通过耳机泄漏到用户耳部中的环境声噪声，或该两者；由集成在触耳式音频设备1中的外部麦克风3进行的环境噪声的声音测量值；由集成在智能电话中或属于用户的另一音频源设备5中的外部麦克风3进行的环境噪声测量值，例如在电话呼叫期间；以及由音频设备诸如台式计算机19或膝上型计算机或平板电脑的外部麦克风3进行的环境噪声的声音测量值。然后，处理器可将这些不同的声音测量输入转换为通用格式，诸如入耳SPL或听力健康安全标准(参见上文例如图2和图4)。经转换的或通用格式SPL值被存储为声音样本的时间序列，在此也被称为反映随时间推移的实际入耳SPL的聚合剂量测定时间序列。

作为聚合剂量测定过程的一部分，在一些情况下，处理器可执行确定两个或更多个同时到达的输入(例如，在相同时间间隔内被标记的时间，或同时接收的时间)中的哪些输入将更好或更准确地反映实际入耳SPL的算法。在一种情况下，选择具有最高置信水平的输入，而忽略其他的同时输入。在其他情况下，在合并成单个输入值(例如，估计的入耳SPL)之前，使声音测量输入中的一个声音测量输入比其他声音测量输入权重更大地加权。例如，考虑耳机回放估计值与环境噪声测量值同时接收的情况，该耳机回放估计值基于当前用户可设定的音量，诸如电影音轨或音乐等某些用户内容在该音量下通过耳机进行回放；在这种情况下，用户同时暴露于各种类型的声音，因为他们既在其耳机上收听音乐回放，而且还处于大声的周围环境中，尽管周围环境由佩戴的耳机装置进行无源衰减，但仍可能被听到。

处理器存储此类估计的入耳SPL值的时间序列，该时间序列反映用户的听力暴露随时间推移(例如，在数小时、数天或数周的时间段内)而变化。处理器可分析该时间序列以确定入耳SPL在给定时间间隔内何时超过给定级别阈值，响应于此，处理器发信号提示“声音过大”通知19立即生成并呈现给用户。一般来讲，响应于所估计的入耳SPL在短期时间范围或间隔(例如，数秒钟)期间以及在长期时间范围(例如，一小时、数小时、一天、数天、一周)期间超过级别阈值，可能在用户的一个或多个设备中生成声音过大通知14。声音过大通知14可例如包括用户的智能手表16上或其智能电话或其他音频源设备5上的触觉警报。除了触觉警报之外，声音过大通知14还可包括可通过用户的耳机、智能电话、平板电脑或膝上型计算机的扬声器回放的同时发生的语音警报(例如，“考虑通过双击减小音量”)或可听警报(例如，警告声)。声音过大通知14还可包括同时发生的可视警报，诸如用户的任何一个或多个设备的显示屏上的弹出菜单。

由聚合剂量测定过程生成的声音样本(例如，估计的入耳SPL值)的时间序列可用元数据进行标记(通过处理器)，该元数据指定声音样本的特定时间间隔是主要由于耳机回放所致还是主要由于环境噪声所致。该时间间隔及其元数据可由剂量测定过程解释，以确定在该特定时间间隔内，用户的周围或环境噪声超过给定级别阈值和给定持续时间阈值。另选地，该序列和元数据可由处理器解释以确定在特定时间间隔内耳机回放超过给定级别阈值和给定持续时间阈值。作为响应，在每种情况下，均可能发信号提示声音过大通知。

声音样本的时间序列可覆盖数小时、数天或数周的时间段。位置信息(如由例如全球定位系统、GPS、坐标或用于定义地理位置或用户所在的位置的其他装置所定义的)可与时间序列相关联或标记时间序列。当用位置信息标记时，声音样本的时间序列可被处理器用于产生其确定为大声位置(例如，在此已确定环境噪声级别及其持续时间超过听力健康标准)的地图。

在聚合剂量测定过程的另一方面，处理器确定或记录关于为什么或如何发生响亮声音测量(入耳SPL超过级别阈值和持续时间阈值)的信息。此类上下文信息可以作为对该过程的一个或多个上下文输入被接收(参见图5)。例如，现在参考图6，上下文输入中的一者可以是风检测器(由数字处理器执行的风检测算法)的输出。在框36中，风检测器处理拾音通道(例如，单个麦克风的输出，或接收来自麦克风阵列的多通道输出的拾音波束形成过程的输出)的所接收数字音频帧序列的每个数字音频帧(例如，10毫秒到50毫秒长)以生成关于特定音频帧中的给定频率分量是否由于风(而非某一环境声源)引起的指示，诸如置信水平、二元是/否，或估计的风速。然后，在框39中，来自风检测器的该上下文输入可被聚合剂量测定过程用于决定是记录在框37中同时接收到的声音测量值，还是由于是因风(而不是由于由周围环境中的声源产生的响亮声音)所致而舍弃或者另选地减小其权重。

为了进一步确保所计算的总体声音暴露的准确性，聚合声学剂量测定过程可确定在声音测量期间用户是否具有在适当位置的有源听力保护件和无源听力保护件，并且在此基础上将衰减或减小应用于声级测量值。有源听力保护件可以是声学噪声消除ANC，其中声换能器(例如，耳机装置中的听筒扬声器、扬声器)被驱动以产生消除本将被用户听到的环境噪声的抗噪声。

无源听力保护件可包括耳塞20(参见图5)，以及由于诸如耳机的触耳式音频设备1或者由于智能电话保持贴靠用户的耳部所致的耳部阻塞，以及衰减由于贴靠耳部的部分或完全声学密封件所致的环境噪声的结果。在一些情况下，处理器可具有关于从声音测量值中所减除量的预先确定的存储知识，该预先确定的存储知识基于在给定实例中使用的特定类型的无源听力保护件的知识(例如，密封型耳塞、松贴合耳塞和耳机装置，或者针对智能手机的耳部使用，所有这些都可以由也提供聚合剂量测定过程的相同实体来提供。)在其他情况下，用户可佩戴第三方听力保护件，该第三方听力保护件的衰减效果对于用户而言是未知的并且对于声学剂量测定过程的提供者而言是未知的。

聚合剂量测定过程的一部分可以是用于随时间推移跟踪无源听力保护件的使用情况(由特定用户使用)并随时间推移记录此类使用情况的过程，其中跟踪无源听力保护件的使用诸如用户是否正在音乐会上使用无源听力保护件，以及听力保护件的类型(诸如一对耳机或一对专用耳塞)，以及听力保护件被设计成提供什么级别的衰减。这就产生了衰减值的时间序列，该时间序列可应用于减少环境声暴露测量值和耳机声暴露测量值的同步时间序列，以产生更准确的“净”声音暴露样本。在一种情况下，该过程可提示用户从最受欢迎的听力保护件列表中手动选择，这些听力保护件包括第三方听力保护件，该第三方听力保护件不同于他们当前所佩戴的来自聚合剂量测定过程的提供者的那些听力保护件。

确定正确的无源衰减量的另一个困难是听力保护件如何与用户的耳部物理贴合的不确定性。例如，耳机或专用耳塞针对用户耳部贴合状况强烈影响无源衰减量。当决定此类衰减值时，应注意避免低估使用者所暴露于的声音剂量。

基于处理触摸图像以舍弃水引起的明显触摸的声学剂量测定

图5中的聚合剂量测定过程的另一个输入可以是水事件检测器(由数字处理器执行的水检测算法)的输出。水事件检测器输出用户的特定音频设备上存在水的指示。该音频设备可以是例如在用户淋浴时或雨天在外面时由用户佩戴的用户的智能手表，或者可能遇到周围环境中的水的用户的智能电话或其他便携式消费电子设备。这用于为何时不接受由该音频设备进行的环境声级测量作为有效样本提供剂量测定过程上下文。这是因为设备中的外部声学端口很可能被水撞击或持续被水覆盖，因此通过该端口“监听”的麦克风很可能在该时间点生成错误的声级测量值。

现在参考图7，这是一种用于声学剂量测定的方法的流程图，其中水事件检测器提供上下文输入。该方法可由音频设备诸如智能手表或智能电话内的数字处理器和触摸传感器子系统执行。从触摸传感器子系统的触敏表面(例如，设备中的触摸屏)获取数字触摸图像，并且对其进行数字处理以舍弃由水引起的明显触摸(框35)。使用设备中的麦克风进行环境声级测量(框37)。在与其他声音测量输入混合时，作出确定关于是否应将环境声级测量值记录为有效声音暴露样本以用于声学剂量测定，或者是否应减小其权重(框38)。这基于已处理触摸图像的结果来完成，例如确定触摸图像中有多少(如果有的话)是由水引起的。换句话讲，设备中的触摸感测表面正被用于检测水事件，该水事件成为何时不记录环境声级的测量值的一个上下文(当使用音频设备内的“对环境开放的”麦克风时)。

在一个方面，处理触摸图像包括区分i)触敏表面上浮动的(或电未接地的)水与ii)手指触摸(其为电接地的)。在另一方面，处理触摸图像包括确定触敏表面上存在水，并且将触敏表面上确定的水归类为静态(例如，一个或多个液滴)或动态(例如，水在流动，就像用户在淋浴时佩戴设备时那样)。在该方面，如果水被归类为动态，则剂量测定过程不记录环境声级测量值，并且如果水被归类为静态，则记录环境声级测量值。换句话讲，如果水被归类为静态，则环境声级测量值被记录，而如果水被归类为动态，则不被记录。

在又一方面，处理触摸包括通过例如处理器对触摸图像中的像素数量进行计数来确定触敏表面上的水量。如果所确定的水量大于阈值，则不记录环境声级测量值，而如果所确定的水量小于阈值，则记录环境声级测量值。如果记录的环境声级测量值保持高于阈值至少阈值时间量，则剂量测定过程可向其用户发送大声环境通知。

触敏表面和麦克风可集成到便携式消费电子设备的外壳中。在水事件检测过程正在智能手表中执行的情况下(其中触敏表面以及可能的麦克风集成在智能手表或智能手表的一部分中)，确定环境声级测量值是否被记录进一步基于处理器已检测到智能手表是否在用户的手腕上(例如，通过执行腕上检测算法)。

一种用于声学剂量测定的方法可如下进行，其中水事件由处理器检测，然后用作用于决定是否记录同时发生的大声事件的上下文输入。从触敏表面获取触摸图像的时间序列，并且对其进行处理以便将触敏表面上的浮动水检测为水事件的时间序列。使用麦克风进行环境声级测量作为时间序列，并且对其进行处理以将响亮声音检测为大声事件的时间序列。在水事件的时间序列与大声事件的时间序列不相关的时间间隔中，记录大声事件以用于声学剂量测定。但在水事件与大声事件相关联并且水事件指示超过阈值的浮动水量或存在动态水(水正流过触敏表面)的时间间隔中，不记录大声事件(或出于声学剂量测定的目的将它们忽略)。例如，对于在水事件与同时发生的大声事件相关联的时间间隔期间，即使大声事件超过级别阈值达至少阈值时间量，处理器也放弃呈现指示暴露于响亮声音的用户通知。此类水事件可指示超过阈值的浮动水量，或者它们可指示触敏表面上存在动态水。

声学剂量测定过程可能持续监测记录的大声事件的时间序列，并且其中响应于记录的大声事件超过级别阈值达至少阈值时间量，处理器将发信号提示用户的设备(例如，用户的智能手表或用户的智能电话)，以呈现指示暴露于响亮声音的用户通知。如上所述，用户通知可包括由触摸感测表面显示文本或图形。

再次参看图5，聚合声学剂量测定过程被馈入各种输入，其中一些输入是直接声级测量值，而另一些输入向该过程提供有关为什么或如何发生特大声事件的上下文。上述一个此类上下文输入是风检测器的输出。上文也论述过的并且可以被解释为在与其他声级估计值混合时决定不记录环境声级测量值或减小其权重的另一个上下文输入是水事件检测器的输出。也可存在其他上下文输入，诸如以下各项：确定智能手表不在用户的手腕上；确定智能手表环境是有风的；以及基于智能手表或智能电话中的加速度计/陀螺仪/磁传感器(罗盘)信号确定用户上下文，例如，用户正在行走、跑步、骑自行车、乘坐或驾驶汽车。上下文输入可由处理器解释，以例如确定用于进行声音测量的麦克风正在经受影响声音测量的准确性的高气流。除了源自传感器的上下文输入之外，还可以手动提供上下文输入，诸如用户对询问用户是否在水中的语音提示或视觉提示的响应。

一种用于耳机装置回放声学剂量测定的制品，诸如微电子集成电路设备，可包括其中存储有指令的存储器，这些指令将音频源设备的处理器配置为执行上述操作中的任何一个或多个操作。

一种用于在音频源设备的处理器处进行耳机装置回放声学剂量测定的数字信号处理方法，该方法包括：a)确定由用户佩戴的耳机装置将输出音频转换为声音而导致的入耳声压级SPL，其中该耳机装置是音频源设备的外围设备；b)将入耳SPL转换为具有用于声音噪声暴露的单位的声音样本；重复a)和b)多次以产生声音样本的时间序列；以及将声音样本的时间序列写入由用户授权对其访问的安全数据库。确定入耳SPL包括从由耳机装置的内部麦克风产生的音频信号测量入耳SPL。确定入耳SPL包括：从耳机装置接收存储在耳机装置中的先前确定的声学输出灵敏度数据；确定输出音频的强度；以及将声学输出灵敏度数据乘以输出音频的强度。该方法还包括将声音样本的时间序列的元数据写入数据库，其中元数据识别耳机装置的型号和输出音频从其产生的应用程序。该方法还包括由音频源设备中的处理器执行应用程序，该应用程序访问数据库中的声音样本的时间序列，并且计算声音样本的时间序列的统计量度，并且通过音频源设备的图形用户界面使统计量度可视化。该方法，其中确定入耳SPL包括检测到耳机装置连接到音频源设备，但所连接的耳机装置的输出灵敏度数据不可用，并且作为响应，选择音量曲线；将当前音量步长应用于所述音量曲线以获得最大入耳SPL；以及基于由音量曲线给出的最大入耳SPL得出输出灵敏度关系。该方法，其中确定入耳SPL考虑耳机装置的声学噪声消除、环境声透明度或环境声增强。

一种具有耳机装置回放声学剂量测定能力的音频源设备，该音频源设备包括：处理器；以及其中存储有指令的存储器，这些指令将处理器配置为：a)确定由用户佩戴的耳机装置将输出音频转换为声音而导致的入耳声压级SPL，其中该耳机装置是音频源设备的外围设备，b)将入耳SPL转换为具有用于声音噪声暴露的单位的声音样本，重复a)和b)多次以产生声音样本的时间序列，以及将声音样本的时间序列写入由用户授权对其访问的安全数据库。该音频源设备，其中处理器通过从由耳机装置的内部麦克风产生的音频信号测量入耳SPL来确定入耳SPL。该音频源设备，其中处理器通过以下操作来确定入耳SPL：从耳机装置接收存储在耳机装置中的先前确定的声学输出灵敏度数据；确定输出音频的强度；以及将声学输出灵敏度数据乘以输出音频的强度。该音频源设备，其中存储器具有另外的指令，这些另外的指令将处理器配置为将声音样本的时间序列的元数据写入数据库，其中元数据识别耳机装置的型号和输出音频从其产生的应用程序。该音频源设备，其中存储器具有另外的指令，这些另外的指令将处理器配置为执行应用程序，该应用程序访问数据库中的声音样本的时间序列，并且计算声音样本的时间序列的统计量度，并且通过音频源设备的图形用户界面使统计量度可视化。该音频源设备，其中处理器通过以下操作来确定入耳SPL：检测到耳机装置连接到音频源设备，但所连接的耳机装置的输出灵敏度数据不可用，并且作为响应，选择音量曲线；将当前音量步长应用于所述音量曲线以获得最大入耳SPL；以及基于由音量曲线给出的最大入耳SPL得出输出灵敏度关系。所述音频源设备，其中处理器在确定入耳SPL时考虑耳机装置的声学噪声消除、环境声透明度或环境声增强。

一种智能手表，包括：智能手表外壳，该智能手表外壳具有集成在其中的触敏表面、麦克风、处理器和存储器，该存储器具有存储在其中的指令，这些指令将处理器配置为执行用于环境声声学剂量测定的数字信号处理方法，其中处理器从触敏表面获取触摸图像，并且处理触摸图像以舍弃由水引起的明显触摸，与获取触摸图像同时进行地使用麦克风进行环境声级测量；以及基于处理触摸图像来确定环境声级测量值是否被记录为用于声学剂量测定的有效声音暴露样本。该智能手表，其中处理器通过区分i)触敏表面上的浮动水与ii)手指触摸来处理触摸图像。该智能手表，其中处理器通过以下操作来处理触摸图像：确定触敏表面上存在水；以及将触敏表面上的所确定的水归类为静态的或动态的。在一个方面，如果水被归类为动态，则不记录环境声级测量值，并且如果水被归类为静态，则记录环境声级测量值。在另一方面，如果水被归类为静态，则环境声级测量值被记录，而如果水被归类为动态，则不被记录。该智能手表，其中处理器通过确定触敏表面上的水量来处理触摸图像。该智能手表，其中处理器通过对触摸图像中的像素数量进行计数来确定水量。如果所确定的水量大于阈值，则不记录环境声级测量值。该智能手表，其中存储器具有另外的指令，这些另外的指令将处理器配置为如果所确定的水量小于阈值，则记录环境声级测量值。

如上所述，本技术的一个方面是采集和使用能够从特定和合法来源获得的数据，用以监测在使用耳机时的声音暴露。本公开设想，在一些实例中，该所采集的数据可包括唯一地识别或可用于识别具体人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、在线标识符、电话号码、电子邮件地址、家庭地址、与用户的健康或听力损伤级别相关的数据或记录、出生日期或任何其他个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于根据其偏好监测长期暴露于声音以促进听力健康。

本公开设想负责收集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，将期望此类实体实现和一贯地应用一般公认为满足或超过维护用户隐私的行业或政府所要求的隐私实践。关于使用个人数据的此类信息应当被突出并能够被用户方便地访问，并应当随数据的收集和/或使用改变而被更新。用户的个人信息应被收集仅用于合法使用。另外，此类收集/共享应仅发生在接收到用户同意或在适用法律中所规定的其他合法根据之后。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应针对被收集和/或访问的特定类型的个人信息数据调整政策和实践，并使其适用于适用法律和标准，包括可用于施加较高标准的辖区专有的考虑因素。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。

不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，本技术可被配置为允许用户选择“选择加入”或“选择退出”声音暴露处理。

此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除标识符、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户间汇集数据)和/或其他方法诸如差异化隐私来促进去标识。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。

为了帮助专利局和本申请中发布的任何专利的任何读者解译所附权利要求书，申请人希望注意到它们并不意欲所附权利要求书中的任一个或权利要求要素调用35U.S.C.112(f),除非在特定权利要求中明确使用字词“用于……的装置”或“用于……的步骤”。

虽然已经在附图中描述和示出了某些方面，但是应当理解，这些方面仅仅是对本发明的说明而非限制，并且本发明不限于所示出和所述的具体结构和布置，因为本领域的普通技术人员可以想到各种其它修改型式。因此，要将描述视为示例性的而非限制性的。

Claims (10)

1.一种用于环境声声学剂量测定的数字信号处理方法，所述方法包括：

a)确定由用户佩戴的手表生成的麦克风信号的强度；

b)将所述麦克风信号的所述强度转换为具有用于声音噪声暴露的单位的声音样本；

c)重复a)和b)多次以产生声音样本的时间序列；以及

d)将所述声音样本的时间序列写入安全数据库，对所述安全数据库的访问由所述用户授权。

2.根据权利要求1所述的方法，其中a)至d)由所述手表中的低功率处理器或辅处理器执行，而所述手表中的高功率处理器或主处理器处于低功率状态。

3.根据权利要求2所述的方法，其中所述低功率处理器或所述辅处理器被配置为连续地处理所述麦克风信号以检测语音触发短语，并且响应于检测到所述语音触发短语，将所述高功率处理器或所述主处理器转变为高功率状态。

4.根据权利要求2所述的方法，其中所述安全数据库存储在所述手表中的存储器中，并且所述存储器存储由所述高功率处理器或所述主处理器执行的可视化应用程序，所述可视化应用程序产生显示在所述手表的屏幕上、示出环境声暴露级别的视觉效果。

5.根据权利要求2所述的方法，其中所述安全数据库存储在所述手表中的存储器中，并且其中所述存储器存储将由所述低功率处理器或所述高功率处理器执行的应用程序，所述应用程序响应于确定所述声音样本的时间序列高于响度阈值达长于时间间隔阈值，发信号提示在所述手表的屏幕上显示的视觉通知或在所述手表中生成的触觉通知。

6.一种智能手表，所述智能手表包括：

智能手表外壳，所述智能手表外壳具有集成在其中的下述部件：

麦克风，所述麦克风用于产生麦克风信号，

处理器，以及

其中存储有指令的存储器，所述指令将所述处理器配置为执行用于环境声声学剂量测定的数字信号处理方法，其中所述处理器：

a)确定所述麦克风信号的强度，

b)将所述麦克风信号的所述强度转换为具有用于声音噪声暴露的单位的声音样本，

c)重复a)和b)多次以产生声音样本的时间序列；以及

d)将所述声音样本的时间序列写入安全数据库，所述安全数据库存储所述存储器中，对所述存储器的访问由所述用户授权。

7.根据权利要求6所述的智能手表，其中a)至d)由所述手表中的低功率处理器或辅处理器执行，而所述手表中的高功率处理器或主处理器处于低功率状态。

8.根据权利要求7所述的智能手表，其中所述低功率处理器或所述辅处理器被配置为连续地处理所述麦克风信号以检测语音触发短语，并且响应于检测到所述语音触发短语，将所述高功率处理器或所述主处理器转变为高功率状态。

9.根据权利要求7所述的智能手表，其中所述安全数据库存储在所述存储器中，并且所述存储器存储由所述高功率处理器或所述主处理器执行的可视化应用程序，所述可视化应用程序产生显示在所述手表的屏幕上、示出环境声暴露级别的视觉效果。

10.根据权利要求7所述的智能手表，其中所述安全数据库存储在所述存储器中，并且其中所述存储器存储将由所述低功率处理器或所述高功率处理器执行的应用程序，所述应用程序响应于确定所述声音样本的时间序列高于响度阈值达长于时间间隔阈值，发信号提示在所述手表的屏幕上显示的视觉通知或在所述手表中生成的触觉通知。

Images