CN112005557B - 用于减轻由堵塞用户耳道的收听设备引起的环境声音和内部声音之间的变化的收听设备 - Google Patents

Abstract

一种收听设备包括位于用户的被堵塞的耳道外部的参考麦克风，以接收环境声音并基于环境声音产生第一信号。扬声器耦合到参考麦克风并位于耳道内，以基于第一信号产生内部声音。内部麦克风位于耳道内，以从扬声器接收内部声音，并基于内部声音产生第二信号。控制器耦合到内部麦克风和参考麦克风，以基于第一信号和第二信号计算传递函数。传递函数描述了由堵塞耳道的收听设备引起的环境声音和内部声音之间的变化。控制器基于传递函数调整内部声音以减轻该变化。

Description

用于减轻由堵塞用户耳道的收听设备引起的环境声音和内部 声音之间的变化的收听设备

背景

本公开总体上涉及立体声，具体地说，涉及一种用于减轻由堵塞用户耳道的收听设备引起的环境声音和内部声音之间的变化的收听设备。

人类从环境声音中获得空间线索和平衡，这些声音通过空气传播，从外耳的耳廓(pinna)和耳甲(concha)反弹，并进入耳道。环境声音振动鼓膜(tympanic membrane)，导致神经信号传播到大脑。然而，堵塞耳道并将声音传送到听者的耳朵的头戴式耳机(headphone)或入耳式耳机(in-ear-monitor)会导致传送的声音中方向线索的减少或丢失。方向线索的减少会降低听者的情境意识(situational awareness)。

失去从环境声音中获得情境线索的能力会导致听者对头戴式耳机或入耳式耳机感到不满意，并导致听者停止佩戴这些设备。

概述

实施例涉及一种收听设备，其用于当用户正在参与人工现实体验时，动态地调整环境声音并将其传送给用户。在一个实施例中，用户佩戴收听设备以在人工现实环境中收听人工音频内容。该收听设备包括定位在佩戴该收听设备的用户的被堵塞的耳道外部的参考麦克风，以接收环境声音并部分地基于环境声音产生第一信号。扬声器耦合到参考麦克风并位于耳道内。扬声器部分地基于第一信号产生内部声音。内部麦克风位于耳道内，以从扬声器接收内部声音，并部分地基于内部声音产生第二信号。控制器耦合到内部麦克风和参考麦克风。控制器部分地基于第一信号和第二信号来计算传递函数。传递函数描述了环境声音和内部声音之间的变化。这种变化可能是由堵塞耳道的收听设备和从耳道和耳朵表面反弹的内部声音引起的。这种不想要的变化可能会给用户感知到的再现环境声音添加偏差。控制器基于传递函数调整内部声音以减轻该变化。

一些实施例描述了一种通过位于佩戴收听设备的用户的被堵塞的耳道外部的参考麦克风接收环境声音的方法。部分地基于环境声音产生第一信号。通过耦合到参考麦克风并位于用户耳道内的扬声器，部分地基于第一信号产生内部声音。通过位于用户耳道内的内部麦克风从扬声器接收内部声音。部分地基于内部声音产生第二信号。部分地基于第一信号和第二信号来计算传递函数。传递函数描述了由堵塞用户耳道的收听设备引起的环境声音和内部声音之间的变化。部分地基于传递函数，调整内部声音以减轻该变化。

根据本发明的实施例在涉及收听设备、方法和存储介质的所附权利要求中被具体公开，其中，在一个权利要求类别(例如收听设备)中提到的任何特征也可以在另一个权利要求类别(例如方法、系统、计算机程序产品)中被要求保护。在所附权利要求中的从属性或往回引用仅为了形式原因而被选择。然而，也可以要求保护由对任何前面权利要求的有意往回引用(特别是多项引用)而产生的任何主题，使得权利要求及其特征的任何组合被公开并可被要求保护，而不考虑在所附权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。

在一个实施例中，收听设备可以包括：

参考麦克风，其位于佩戴收听设备的用户的被堵塞的耳道外部，并被配置成接收环境声音，并部分地基于环境声音产生第一信号；

扬声器，其耦合到参考麦克风并位于用户的耳道内，该扬声器被配置成部分地基于第一信号产生内部声音；

内部麦克风，其位于用户的耳道内，并被配置成从扬声器接收内部声音，并部分地基于内部声音产生第二信号；和

控制器，其耦合到内部麦克风和参考麦克风，并且被配置成：

部分地基于第一信号和第二信号来计算传递函数，该传递函数描述了由堵塞用户的耳道的收听设备引起的环境声音和内部声音之间的变化，以及

部分地基于传递函数，调整内部声音以减轻该变化。

控制器可以被配置成通过执行以下步骤来计算传递函数：

对第一信号和第二信号执行频谱估计以生成频率分布；和

部分地基于频率分布计算传递函数。

控制器可以被配置成通过执行以下步骤来调整内部声音：

部分地基于传递函数的逆来产生校正信号；和

部分地基于校正信号来调整第一信号，以从内部声音中减轻传递函数的影响。

控制器可以包括自适应滤波器，该自适应滤波器被配置成部分地基于传递函数的逆来对第一信号滤波，以从内部声音中减轻传递函数的影响。

收听设备可以配置为：

相对于接收到的人工音频内容调整环境声音；和

将调整后的环境声音与接收到的人工音频内容组合以产生内部声音。

收听设备可以被配置成通过相对于接收到的人工音频内容的声级增加或减小环境声音的声级，来相对于接收到的人工音频内容调整环境声音。

在一个实施例中，收听设备可以包括第二内部麦克风，该第二内部麦克风位于用户的耳道内并被配置成从扬声器接收内部声音，其中，收听设备可以被配置成确定由参考麦克风接收的环境声音的第一声压和由第二内部麦克风接收的内部声音的第二声压。

控制器可以配置为：

确定第一声压和第二声压之间的变化；和

调整内部声音以减轻第一声压和第二声压之间的变化。

控制器可以被配置成通过执行以下步骤来调整内部声音，以减轻第一声压和第二声压之间的变化：

部分地基于第一声压和第二声压之间的变化来产生校正信号；和

部分地基于校正信号来调整第一信号，以减轻第一声压和第二声压之间的变化。

控制器可以包括自适应滤波器，该自适应滤波器被配置成部分地基于第一声压和第二声压之间的变化来对第一信号滤波，以减轻第一声压和第二声压之间的变化。

在一个实施例中，一种方法可以包括：

通过位于佩戴收听设备的用户的被堵塞的耳道外部的参考麦克风接收环境声音；

部分地基于环境声音产生第一信号；

通过耦合到参考麦克风并位于用户的耳道内的扬声器，部分地基于第一信号产生内部声音；

通过位于用户的耳道内的内部麦克风从扬声器接收内部声音；

部分地基于内部声音产生第二信号；

部分地基于第一信号和第二信号来计算传递函数，该传递函数描述了由堵塞用户的耳道的收听设备引起的环境声音和内部声音之间的变化；和

部分地基于传递函数，调整内部声音以减轻该变化。

传递函数的计算可以包括：

对第一信号和第二信号执行频谱估计以生成频率分布；和

部分地基于频率分布计算传递函数。

内部声音的调整可以包括：

部分地基于传递函数的逆来产生校正信号；和

部分地基于校正信号来调整第一信号，以从内部声音中减轻传递函数的影响。

内部声音的调整可以包括通过自适应滤波器部分地基于传递函数的逆来对第一信号滤波，以从内部声音中减轻传递函数的影响。

在一个实施例中，一种方法可以包括：

相对于接收到的人工音频内容调整环境声音；和

将调整后的环境声音与接收到的人工音频内容组合以产生内部声音。

在一个实施例中，一种方法可以包括：

通过位于用户的耳道内的第二内部麦克风从扬声器接收内部声音；和

确定由参考麦克风接收的环境声音的第一声压和由第二内部麦克风接收的内部声音的第二声压。

在一个实施例中，一种方法可以包括：

确定第一声压和第二声压之间的变化；和

调整内部声音以减轻第一声压和第二声压之间的变化。

调整内部声音以减轻第一声压和第二声压之间的变化可以包括：

部分地基于第一声压和第二声压之间的变化来产生校正信号；和

部分地基于校正信号来调整第一信号，以减轻第一声压和第二声压之间的变化。

调整内部声音以减轻第一声压和第二声压之间的变化可以包括：通过自适应滤波器部分地基于第一声压和第二声压之间的变化来对第一信号滤波，以减轻第一声压和第二声压之间的变化。

在一个实施例中，一种非暂时性计算机可读介质可以存储由处理器可执行的指令，并且可以包括用于以下操作的指令：

通过位于佩戴收听设备的用户的被堵塞的耳道外部的参考麦克风接收环境声音；

部分地基于环境声音产生第一信号；

通过耦合到参考麦克风并位于用户的耳道内的扬声器，部分地基于第一信号产生内部声音；

通过位于用户的耳道内的内部麦克风从扬声器接收内部声音；

部分地基于内部声音产生第二信号；

部分地基于第一信号和第二信号来计算传递函数，该传递函数描述了由堵塞用户耳道的收听设备引起的环境声音和内部声音之间的变化；和

部分地基于传递函数，调整内部声音以减轻该变化。

在本发明的另一实施例中，一个或更多个计算机可读非暂时性存储介质体现软件，该软件在被执行时可操作来在根据本发明或任何上述实施例的收听设备中执行。

在本发明的另一实施例中，一种计算机实现的方法使用根据本发明或任何上述实施例的收听设备。

在本发明的另一实施例中，优选地包括计算机可读非暂时性存储介质的计算机程序产品在根据本发明或任何上述实施例的收听设备中被使用。

附图简述

图(FIG.)1是根据一个或更多个实施例的用户的耳朵内的收听设备的示例视图，该收听设备用于减轻由堵塞用户耳道的收听设备引起的环境声音和内部声音之间的变化。

图2是根据一个或更多个实施例的使用控制器的收听设备的示例架构框图，该控制器用于减轻由堵塞用户耳道的收听设备引起的环境声音和内部声音之间的变化。

图3是根据一个或更多个实施例的控制器的示例架构框图，该控制器用于减轻由堵塞用户耳道的收听设备引起的环境声音和内部声音之间的变化。

图4是根据一个或更多个实施例的用于减轻由堵塞用户耳道的收听设备引起的环境声音和内部声音之间的变化的示例过程。

附图仅出于说明的目的描绘了各种实施例。本领域技术人员从下面的讨论中将容易认识到，在不脱离本文描述的原理的情况下，可以采用本文示出的结构和方法的替代实施例。

详细描述

综述

本发明的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，现实世界)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，且其中任何一个都可以在单个通道中或在多个通道中(例如向观看者产生三维效果的立体视频)被呈现。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的HMD、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。

人工现实系统可以使用收听设备向用户呈现人工音频内容，使得用户体验人工现实环境。收听设备可以部分地或完全地堵塞用户的耳朵或耳道，以呈现更逼真的声音环境，或者仅仅是因为收听设备的设计方式。本文描述的实施例在人工音频内容被呈现给用户的同时，动态地调整由收听设备接收的环境声音并向用户传送该环境声音。在一个实施例中，收听设备可以仅向用户传送环境声音，或者相对于接收到的人工音频内容来调整环境声音。收听设备可以将环境声音与接收到的人工音频内容混合。收听设备可以相对于接收到的人工音频内容的声级来增加或减小环境声音的声级。收听设备还可以阻断环境声音，并且仅将接收到的人工音频内容传送给用户。

用于减轻环境声音和内部声音之间的变化的收听设备

图1是根据一个或更多个实施例的用户的耳朵105内的收听设备100的示例视图，该收听设备100用于减轻由堵塞用户的耳道115的收听设备100引起的环境声音110和内部声音之间的变化。根据一个实施例，收听设备100位于用户的耳朵105内，用于向用户传送包括调整后的环境声音和人工现实音频内容的混合音频内容。收听设备100可以单独佩戴在用户的耳朵105上，或者作为佩戴在用户头部上的一组头戴式耳机或头戴式显示器(HMD)的一部分。这种HMD还可以反射投影图像，并允许用户透过它看到、显示计算机生成的图像(CGI)、来自物理世界的实时图像，或者可以允许CGI叠加在现实世界视图上(称为增强现实或混合现实)。

图1示出了用户的耳朵105。耳朵105包括耳廓120、耳道115和耳膜(eardrum)125。耳廓120是用户的耳朵105的一部分，由软骨和软组织构成，因此它保持特定的形状，但也是柔性的。耳道115是由骨头和皮肤组成的通向耳膜125的通道。耳道115用作声波的入口通道，声波被推向耳膜125。耳膜125也称为鼓膜，是将外耳与中耳(图1中未示出)分开的薄膜。耳膜125的功能是通过将空气中的振动转换并放大为流体中的振动，将声音(例如，环境声音110)从空气传送到耳蜗。

图1的收听设备100调整环境声音110，并将调整后的环境声音和接收到的人工音频内容传送给用户。收听设备100旨在以堵塞耳道115的方式放置或插入到耳朵105中。例如，收听设备100可以堵塞耳道115，以隔离由使用有线连接或无线连接耦合到收听设备100的人工现实系统提供的接收到的人工音频内容。收听设备100包括参考麦克风130、扬声器135、一个或更多个内部麦克风140和/或150以及控制器145。在其他实施例中，收听设备100可以包括比本文描述的更多或更少的部件。类似地，功能可以以不同于此处描述的方式分布在部件和/或不同实体中。

参考麦克风130接收环境声音110，并部分地基于环境声音110产生第一信号(例如，电信号或某种其他换能器信号)。参考麦克风130位于佩戴收听设备100的用户的被堵塞的耳道120的外部。参考麦克风130可以包括将环境声音110的气压变化转换成第一信号的换能器。例如，参考麦克风130可以包括悬浮在磁场中的线圈、振动膜、压电材料晶体、某种其他换能器或其组合。由参考麦克风130产生的第一信号由收听设备100处理，以将内部声音传送到耳道115中并朝向耳膜125传送。

扬声器135从参考麦克风接收第一信号(例如，电信号)，并部分地基于第一信号产生内部声音。扬声器135还将收听设备100接收到的人工音频内容传送给用户。扬声器135可以使用有线连接或无线连接耦合到参考麦克风130。扬声器135位于用户的耳道115内。扬声器135可以包括电声换能器(electroacoustic transducer)，以部分地基于第一信号和接收到的人工音频内容来产生内部声音。例如，扬声器135可以包括音圈、压电扬声器、静磁式扬声器(magnetostatic speaker)、将第一信号和接收到的人工音频内容转换成内部声音的某种其他机构或其组合。由扬声器135产生的内部声音被传送到耳膜125。

内部麦克风140通过从扬声器接收内部声音并部分地基于内部声音产生第二信号(例如，电信号或某种其他换能器信号)来充当监控器。收听设备100使用第二信号来监控和校正由用户的耳朵105入口处的参考麦克风130接收的环境声音110和由扬声器135产生的内部声音之间的变化。内部麦克风140也位于用户的耳道115内。内部麦克风140可以包括换能器，以通过以上关于参考麦克风130描述的几种方法中的任何一种将内部声音转换成第二信号。

内部麦克风140可能对耳道115内的位置变化敏感，例如，当用户倾斜或移动她的头部或移动收听设备100时的位置变化。为了校正对内部麦克风140的位置变化的这一敏感性，可选的第二内部麦克风150可用于确定由第二内部麦克风150接收的内部声音的声压，并校正该内部声音的声压和由参考麦克风130接收的环境声音110的声压之间的变化。

控制器145使用声学测量和模型拟合的组合来校正在用户的耳朵105入口处接收的环境声音110和由耳膜125附近的扬声器产生的内部声音之间的变化。控制器145可以是模拟或数字电路、微处理器、专用集成电路、某种其他实现或其组合。控制器145可以用硬件、软件、固件或其组合来实现。控制器145耦合到内部麦克风140和参考麦克风130。控制器145可以使用有线和/或无线连接耦合到参考麦克风130、扬声器135以及内部麦克风140和/或150。在实施例中，控制器145可以位于耳道115的外部。例如，控制器145可以位于耳廓120后面、HMD上、移动设备上、人工现实控制台上等。

当环境声音110被扬声器135再现为内部声音并被内部麦克风140接收时，收听设备100的机械形状和/或电气与声学传输特性以及从用户的耳道115反弹的声音可以给环境声音110添加偏差。该偏差可以表示为内部声音和环境声音110之间的传递函数。传递函数由收听设备100的部件和耳朵105(包括耳道115)的形状和声音反射特性产生。基于每个用户的个人耳朵特征，传递函数对每个用户是特定的。传递函数改变环境声音110，使得用户听到环境声音110的失真版本。换句话说，收听设备100部分地基于传递函数将接收到的环境声音110转换成内部声音。可以以将输出或响应(例如，内部声音)与输入或刺激(例如，环境声音110)相关联的数学函数H(s)的形式来表示传递函数。

在一个实施例中，传递函数H(s)描述了环境声音110和内部声音之间的变化。这种变化是由堵塞用户的耳道120的收听设备100引起的。该变化可以部分地基于收听设备100的机械形状以及电气与声学传输特性、以及耳朵105(包括耳道115)的形状和声音反射特性。因此，到达用户的内部声音可以掩盖环境声音110中存在的情境线索，或者当用户佩戴收听设备100时，向她提供不正确或不充分的空间线索和情境意识。

控制器145通过部分地基于第一信号和第二信号计算传递函数H(s)来校正内部声音中的偏差。控制器145使用所计算的传递函数H(s)来预处理第一信号(例如，通过使用所计算的传递函数的逆)，以从内部声音中减轻传递函数H(s)的影响。在一个实施例中，控制器145可以使用第二内部麦克风150来在耳膜125的入口处存在粒子阻挡的情况下执行声学离群值测量(acoustic outlier measurement)，以复制在参考麦克风130处观察到的声压场，从而考虑内部麦克风140的放置中的亚毫米差异。在该实施例中，控制器145可以调整内部声音以减轻由参考麦克风130接收的环境声音110的声压和内部声音的声压之间的变化。

所公开的实施例的益处和优点在于，收听设备100可以位于被堵塞的耳道120中，以对环境声音110编码并确定用户的个性化音频指纹用于定位，使得用户保持听觉情境意识。扬声器135以及内部麦克风140和150深深地安置在耳道115中，以再现在耳道115处捕获的内部声音，并通过对每个用户单独校准内部声音来消除收听设备100的传递函数影响。使 用控制器的收听设备的架构框图

图2是根据一个或更多个实施例的使用控制器205的收听设备200的示例架构框图，该控制器205用于减轻由堵塞用户耳道(例如，115)的收听设备200引起的环境声音(例如，110)和内部声音210之间的变化。收听设备200可以是图1所示的收听设备100的实施例，并且控制器205可以是图1所示的控制器145的实施例。收听设备200包括参考麦克风(例如，130)、控制器205、扬声器(例如，135)、一个或更多个内部麦克风215和加法器220。内部麦克风215可以是一个或更多个内部麦克风140和/或150的实施例。在其他实施例中，收听设备200包括比本文描述的更多或更少的部件。类似地，功能可以以不同于此处描述的方式分布在部件和/或不同实体中。

参考麦克风在用户的耳朵(例如，105)的入口处接收环境声音110，并部分地基于环境声音110产生第一信号215(例如，电信号或某种其他换能器信号)。参考麦克风130位于佩戴收听设备200的用户的被堵塞的耳道115的外部。第一信号215可以是由参考麦克风130通过上面参考图1描述的任何方法产生的电信号(例如，电压、电流、数字信号或其组合)。

扬声器135部分地基于(由控制器205调整后的)第一信号215产生内部声音210，以将内部声音210传送到耳膜125。扬声器135位于用户的耳道115内。扬声器135可以使用有线连接或无线连接耦合到参考麦克风130和控制器205。

内部麦克风215用于确定并校正环境声音1101和由内部麦克风215捕获的内部声音210之间的变化。内部声音210沿着耳道115传送到耳膜125用于声音感知。内部麦克风215也位于用户的耳道115内，并且可以使用有线或无线连接耦合到控制器205。内部麦克风215中的至少一个从扬声器135接收内部声音210，并部分地基于内部声音210产生第二信号225。

内部麦克风215中的第二个用于执行声功率校正。环境声音110的声功率可以被确定为：声功率＝声压×粒子速度。可以类似地确定内部声音210的声功率。对于内部麦克风215的位置的细小变化，声功率是不变的，而声压可以随着内部麦克风215的物理位置和耳道115的特性而变化。当仅使用单个内部麦克风215来计算内部声音210和环境声音110之间的传递函数时，所计算的传递函数可能对内部麦克风215相对于耳道115的物理位置的细小变化敏感。因此，传递函数因用户而异，并且可以像声学指纹一样工作。因此，内部麦克风215中的第二个用于校正内部声音210，以在耳膜125处再现当用户处于特定环境中时在参考麦克风130处观察到的相同声压。

控制器205用于监控第一信号215和第二信号225，并校正环境声音110和内部声音210之间的变化。控制器205可以包括可选的自适应滤波器230，以对第一信号215滤波，从而校正环境声音110和内部声音210之间的变化。控制器可以使用有线连接和/或无线连接耦合到参考麦克风130、扬声器135和内部麦克风215。

控制器205接收并可以采样第一信号215和第二信号225。例如，控制器205可以分析第一信号215和第二信号220关于它们如何随时间变化的行为。控制器205部分地基于第一信号215和第二信号225来计算传递函数(例如，H(s))。传递函数H(s)描述了环境声音110和内部声音210之间的变化。控制器205可以基于第二信号225和第一信号215使用域变换来计算传递函数H(s)。例如，如果连续时间输入信号x(t)表示第一信号215，并且连续时间输出y(t)表示第二信号225，则控制器205可以将第二信号的拉普拉斯变换Y(s)＝L{y(t)}映射到第一信号的拉普拉斯变换X(s)＝L{x(t)}。因此，传递函数可以计算为H(s)＝Y(s)/X(s)。在其他实施例中，可以使用其他域变换，例如傅立叶变换、快速傅立叶变换、Z变换、某种其他域变换或其组合。

控制器205基于传递函数H(s)调整第一信号215，以产生调整后的第一信号235，从而减轻环境声音110和内部声音210之间的变化。在一个实施例中，控制器205通过产生校正信号240来调整第一信号215。校正信号225可以是电信号(例如，电压、电流、数字信号或其组合)。校正信号240可以部分地基于传递函数H(s)的逆I(s)。控制器205可以将校正信号240传输到加法器220，以调整第一信号215，从而从内部声音中减轻传递函数H(s)的影响。

加法器220调整第一信号215，以产生调整后的第一信号235。调整后的第一信号235可以是电压、电流、数字信号或其组合。加法器可以从第一信号215中减去校正信号240，以产生调整后的第一信号235。例如，如果C(s)表示校正信号240，则调整后的第一信号235可以表示为X(s)-C(s)。校正信号240可以指示加法器调整第一信号215的某些频率、振幅、一些其他特征或其组合。校正信号240用于调整第一信号215(和内部声音210)，使得用户感知到内部声音210更接近原始的环境声音110。

在替代实施例中，控制器205可以通过向扬声器135传送(例如，对应于传递函数H(s)的逆I(s)的)校正信号来调整内部声音210，以从内部声音210中减轻传递函数H(s)的影响。这些校正信号可以是电信号(例如，电压、电流、数字信号或其组合)，以指示扬声器135调整内部声音210的某些频率、振幅、一些其他特征或其组合，从而更紧密地匹配环境声音110。

在一个实施例中，控制器205可以通过调整内部声音210来执行内部声音210的声功率校正，使得在参考麦克风130处观察到的环境声音110的声压在耳膜125处被再现。在该实施例中，控制器205可以(例如，基于第一信号215)确定由参考麦克风130观察到的环境声音110的第一声压。控制器205可以(例如，基于第二信号225)确定由内部麦克风215观察到的内部声音210的第二声压。控制器205可以(使用调整后的第一信号235)调整内部声音210，以减轻第一声压和第二声压之间的变化。例如，可以调整第一信号215，使得对应于内部声音210的不同频率分量的声压增加或减小，对应于内部声音210在不同时间的振幅的声压增加或减小，等等。以这种方式，可以从内部声音210中减轻传递函数H(s)的不想要的偏差影响，同时使内部声音210的第二声压与环境声音110的第一声压更紧密地匹配。

在一个实施例中，可选的自适应滤波器230可以自适应地对第一信号215进行滤波，以校正传递函数H(s)的影响。自适应滤波器230可以用软件、硬件、固件或其组合来实现。如图2所示，自适应滤波器230可以位于控制器205内。在一个实施例中(图2中未示出)，自适应滤波器230可以位于控制器205外。

自适应滤波器230可以使用传递函数H(s)的逆I(s)对第一信号215进行滤波，以从内部声音210中减轻传递函数H(s)的影响。自适应滤波器230可以自适应地对第一信号215进行滤波，以减轻第一信号215和第二信号225之间的变化。自适应滤波器230可以是线性滤波器，其具有由可变参数控制的内部传递函数和根据优化算法调整那些参数的装置。使用自适应滤波器230的益处和优点在于，某些参数(例如，x(t)和y(t)，或者收听设备200的位置和定向)可能事先是未知的或者可能正在改变。因此，自适应滤波器230可以使用内部误差信号形式的反馈来自适应地改进其滤波器功能。

在一个实施例中，控制器205可以相对于从人工现实系统接收到的人工音频内容245来调整接收到的环境声音110(第一信号215)，该人工现实系统耦合到收听设备200、虚拟现实音频设备、智能手机、某种其他设备或其组合。人工音频内容245可以是旨在校准收听设备200的测试声音、沉浸式VR电影声音、基于声道的环绕声、某种其他音频内容或其组合。控制器205可以将调整后的环境声音110(调整后的第一信号235)与接收到的人工音频内容245组合，以产生内部声音210。例如，控制器205可以将调整后的环境声音110与人工音频内容245组合，以构建并呈现沉浸式人工现实体验的音频部分，使得用户听到的内容与用户正在看到的和与之互动的内容相匹配。在实施例中，包括双耳录音和基于对象的音频的沉浸式3D音频技术因此可以使用收听设备200来被应用。

本文公开的实施例的益处和优点尤其在于，在人工现实环境中正常使用收听设备200期间，收听设备200能够传送包括固有空间线索的校正后的环境声音以及音乐和语音内容。当用户在房间中走动或移动她的下颌(jaw)等时，自适应滤波器230正在进行的校正可用于调整内部声音210。减少了对用户的耳朵(例如，105)的外部部分的干扰，并且将用户用来推断和解释外部声场的正常空间线索传送给用户。用户可以将收听设备200长时间保持在她的耳朵105中，因为正常的听音功能没有被中断。用于调整环境声音的控制器的架构框 图

图3是根据一个或更多个实施例的控制器300的示例架构框图，该控制器300用于减轻由堵塞用户耳道的收听设备(例如，200)引起的环境声音(例如，110)和内部声音(例如，210)之间的变化。控制器300可以是图1所示的控制器145或图2所示的控制器205的实施例。控制器300包括传递函数计算模块310、声压计算模块320、校正信号发生器330、可选的自适应滤波器(例如，230)和音频内容混合器340。在其他实施例中，控制器300可以包括比本文描述的更多或更少的部件。类似地，功能可以以不同于此处描述的方式分布在部件和/或不同实体中。

传递函数计算模块310部分地基于第一信号(例如，215)和第二信号(例如，225)来计算传递函数(例如，H(s))。第一信号215可以由位于佩戴收听设备100的用户的被堵塞的耳道(例如，115)外部的参考麦克风(例如，130)部分地基于环境声音110而产生。第二信号225可以由位于用户的耳道115内的内部麦克风(例如，215)产生，该内部麦克风被配置成从扬声器(例如，135)接收内部声音210并产生第二信号225。

传递函数H(s)描述了由堵塞用户的耳道115的收听设备200引起的环境声音110和内部声音210之间的变化。在一个实施例中，传递函数计算模块310通过对第一信号215和第二信号225执行频谱估计以生成频率分布来计算传递函数H(s)。例如，传递函数计算模块310可以执行频谱分析(也称为频域分析或频谱密度估计)，以将第一信号215和第二信号225分解成单独的频率分量X(s)和Y(s)。传递函数计算模块310可以进一步相对于频率来量化信号215和225中存在的各种量(例如，振幅、功率、强度或相位)。传递函数计算模块310可以对整个第一信号215和第二信号220执行频谱估计，或者可以将信号215和225分成样本，并且可以对各个样本应用频谱估计。

传递函数计算模块310可以部分地基于从频谱估计获得的频率分布来计算传递函数H(s)。例如，传递函数计算模块310可以在频域中对X(s)和Y(s)使用线性运算来将传递函数H(s)计算为H(s)＝Y(s)/X(s)。

声压计算模块320(例如，基于第一信号215)确定由参考麦克风130观察到的环境声音110的第一声压。由参考麦克风130接收的环境声音110的第一声压(或音压)是由环境声音110引起的与周围大气压力的局部压力偏差。第一声压可以由声压计算模块320记录和分析，以确定关于环境声音110从声源到参考麦克风130的路径的性质的信息。第一声压取决于环境、反射表面、参考麦克风130的距离、周围环境声音等。

在一个实施例中，声压计算模块320可以(部分地基于第一信号215)确定环境声音110的第一声压p1，作为由环境声音110的声波引起的与环境压力的局部压力偏差。第一声压p1可以以帕斯卡为单位来度量。声压计算模块320可以确定环境声音110的第一粒子速度v1，该第一粒子速度v1是粒子在介质中传送环境声音110时的速度。第一粒子速度v1可以以米每秒为单位来表示。声压计算模块320可以将环境声音110的第一声强I1确定为I1＝p1×v1。第一声强I1是环境声音110的声波在垂直于该区域的方向上每单位面积所携带的功率。第一声强I1可以用瓦特每平方米来表示。

声压计算模块320还可以(例如，基于第二信号225)确定由内部麦克风215观察到的内部声音210的第二声压p2。用户的听觉系统使用方向和响度评估来分析第二声压以获得声音定位和空间线索。然而，第二声压相对于第一声压的变化会导致不稳定的方向线索，因为可能存在由收听设备200和耳道115反射的混合声音。因此，控制器300使用声压计算模块320来调整内部声音210，使得到达耳膜125的内部声音210的声压更接近由参考麦克风130接收的环境声音110的声压。

在一个实施例中，声压计算模块320可以确定内部声音210的第二粒子速度v2，并将内部声音210的第二声强I2确定为I2＝p2×v2。声压计算模块320可以确定由内部麦克风215的位置变化引起的p2和p1之间的变化。然而，内部声音210的第二声强I2相对于环境声音110的第一声强I1是不变的。因此，内部声音110可以被调整以校正p2和p1之间的变化。

校正信号发生器330产生校正信号(例如，240)，以调整第一信号215，从而从内部声音210中减轻传递函数H(s)的影响。在一个实施例中，校正信号发生器330部分地基于传递函数H(s)的逆I(s)来产生校正信号240。因此，校正信号225使得参考麦克风130和收听设备200能够调整其性能以满足期望的输出响应(环境声音110)。在一个实施例中，校正信号发生器330产生校正信号240来调整内部声音210，以减轻第一声压p1和第二声压p2之间的变化。

校正信号240可以是负反馈校正信号，其对应于第一信号的域变换X(s)和第二信号的域变换Y(s)之间的变化。当校正信号(例如，E(s))被传输到加法器(例如，220)时，产生负反馈回路，该负反馈回路将内部声音(Y(s))调整为更接近环境声音(X(s))。以下等式可用于确定校正后的内部声音：C(s)＝X(s)-Y(s)和Yc(s)＝H(s)×Xc(s)，其中Yc(s)指调整后的内部声音，并且Xc(s)指调整后的第一信号235。可以进行类似的确定来调整信号，以考虑声压的变化。

可选的自适应滤波器230对第一信号215进行滤波，以从内部声音210中减轻传递函数H(s)的影响。自适应滤波器230随时间改变其滤波器参数(系数)，以通过自学习(self-learning)来适应第一信号215和第二信号225的变化的信号特征。当自适应滤波器230接收到第一信号215时，自适应滤波器430调整其系数以获得期望的结果(即，调整第一信号215和内部声音210以更接近环境声音110)。

为了定义自适应滤波过程，可以选择自适应算法来减轻信号y(t)(内部声音210)和期望的信号d(t)(调整后的内部声音)之间的误差。例如，自适应滤波器230可以使用自适应算法，例如最小均方(LMS)、递归最小二乘(RLS)、格型滤波(lattice filtering)、在频域中操作的滤波或其组合。在一个实施例中，当第一信号215和第二信号225之间的内部误差信号的LMS性能标准已经通过自适应算法的迭代达到其最小值时，自适应滤波器230的系数可以收敛到解。自适应滤波器的输出现在可以更接近期望的信号d(t)。当环境声音110的输入数据特征改变时，自适应滤波器230通过为新的信号特征生成一组新的系数来进行适应。

在一个实施例中，自适应滤波器230使用传递函数H(s)的逆I(s)对第一信号215进行滤波，以减轻第一声压p1和第二声压p2之间的变化。通过如图2所示将自适应滤波器230与收听设备200的前向路径串联放置，自适应滤波器230适应传递函数H(s)的逆I(s)，以减轻第一声压p1和第二声压p2之间的变化。

音频内容混合器340可以将接收到的环境声音110与接收到的人工音频内容(例如，245)组合，以产生内部声音210。音频内容混合器340可以将环境声音与对应于人工现实显示的声音混合。在一个实施例中，收听设备200可以具有滑动控件，用于不同程度地阻挡部分环境声音110或部分人工音频内容245，例如阻挡100％环境声音、55％环境声音+25％人工音频内容等。音频内容混合器340可以从滑动控件接收信号形式的信息，以控制环境声音110、接收到的人工音频内容245或两者。

音频内容混合器340可以相对于人工音频内容245调整环境声音110。音频内容混合器340可以通过相对于人工音频内容245的声级增加或减小环境声音110的声级来调整环境声音110，以产生内部声音210。例如，可以操纵和/或增强环境声音110的音量水平、频率内容、动态和全景位置。人工音频内容245中的语音(对话、画外音等)、环境噪声、音效和音乐的声级可以相对于环境声音110被增加或减小。

音频内容混合器340可以将调整后的环境声音110与人工音频内容245组合成一个或更多个声道。例如，调整后的环境声音110和人工音频内容245可以电融合在一起，以包括来自乐器、语音和预先录制的材料的声音。环境声音110或人工音频内容245或两者都可以通过扬声器135被均衡和/或放大和再现。

用于减轻环境声音和内部声音之间的变化的示例过程

图4是根据一个或更多个实施例的用于减轻由堵塞用户耳道(例如，115)的收听设备(例如，100)引起的环境声音(例如，110)和内部声音(例如，210)之间的变化的示例过程。在一个实施例中，图4的过程由收听设备(例如，100)执行。在其他实施例中，其他实体(例如，HMD)可以执行该过程的一些或所有步骤。同样，实施例可以包括不同的和/或附加的步骤，或者以不同的顺序执行这些步骤。

收听设备100使用参考麦克风(例如，130)接收400环境声音110。参考麦克风130位于佩戴收听设备100的用户的被堵塞的耳道外部。

收听设备100部分地基于环境声音110产生410第一信号(例如，215)。第一信号215可以是电信号(例如，电压、电流、数字信号或其组合)。参考麦克风130可以包括将环境声音110的气压变化转换成第一信号215的换能器。例如，参考麦克风130可以包括悬浮在磁场中的线圈、振动膜、压电材料晶体、某种其他换能器或其组合。

收听设备100通过耦合到参考麦克风130的扬声器(例如，135)部分地基于第一信号215产生420内部声音210。扬声器135可以包括电声换能器，以将第一信号215转换成内部声音210。扬声器135可以包括音圈、压电扬声器、静磁式扬声器、将第一信号215转换成内部声音210的某种其他机构或其组合。

收听设备100使用内部麦克风(例如，140)接收430内部声音210。内部麦克风140也位于用户的耳道115内。

收听设备100产生440对应于内部声音210的第二信号(例如，225)。第二信号225可以是电信号(例如，电压、电流、数字信号或其组合)。内部麦克风140可以以上面关于参考麦克风130描述的方式产生第二信号225。

收听设备100部分地基于第一信号215和第二信号225来计算450传递函数(例如，H(s))。传递函数H(s)描述了环境声音110和内部声音210之间的变化。例如，该变化可能是由堵塞用户的耳道115的收听设备100引起的。收听设备100可以对第一信号215和第二信号225执行频谱估计，以生成频率分布。收听设备100可以根据频率分布计算传递函数H(s)。

收听设备100基于传递函数H(s)调整460内部声音210以减轻该变化。收听设备100可以通过使用控制器(例如，205)来基于传递函数H(s)的逆I(s)产生校正信号(例如，240)，来调整内部声音210。控制器205可以使用校正信号240来调整第一信号215，以从内部声音210中减轻传递函数H(s)的影响。在一个实施例中，自适应滤波器(例如，230)可以使用传递函数H(s)的逆I(s)对第一信号215进行滤波，以从内部声音210中减轻传递函数H(s)的影响。

附加配置信息

收听设备(例如，100)可以是耦合到人工现实系统的HMD的一部分，该人工现实系统包括提供音频内容的基站和控制台。在实施例中，控制器(例如，145)的部分功能可以由收听设备100所耦合到的控制台来执行。一个或更多个基站还可以包括深度相机组件，以确定描述收听设备100或HMD在局部区域中相对于基站位置的定位的深度信息。

HMD还可以包括惯性测量单元(IMU)，该惯性测量单元包括一个或更多个位置传感器，以响应HMD的运动产生信号。位置传感器的示例包括：加速度计、陀螺仪、磁力计、检测运动的另一种合适类型的传感器、用于IMU误差校正的一种类型的传感器或它们的某种组合。音频内容(例如，230)和环境声音(例如，110)可以基于对应于用户运动的信号被进一步调整。

人工现实系统可以经由HMD向用户提供视频内容，其中，音频内容(例如，230)对应于视频内容，并且视频内容对应于收听设备100或HMD的位置，以提供沉浸式人工现实体验。

本公开的实施例的前述描述为了说明的目的被提出；它并不意图为无遗漏的或将本公开限制到所公开的精确形式。相关领域中的技术人员可以认识到，按照上面的公开，许多修改和变化是可能的。

本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为将由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件、硬件或其任意组合中。

可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现本文描述的任何步骤、操作或过程。在一个实施例中，利用包括计算机可读介质的计算机程序产品来实现软件模块，该计算机可读介质包含计算机程序代码，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。

本公开的实施例也可以涉及用于执行本文的操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中，或者存储在适于存储电子指令的任何类型的介质中，该介质可以耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计来提高计算能力的架构。

本公开的实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括从计算过程获得的信息，其中，信息被存储在非暂时性的、有形的计算机可读存储介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。

最后，在说明书中使用的语言主要为了可读性和指导目的而被选择，并且它可以不被选择来描绘或限制创造性主题。因此，意图是本公开的范围不由该详细描述限制，而是由在基于其的申请上发布的任何权利要求限制。因此，实施例的公开意图对本公开的范围是说明性的，而不是限制性的，在所附权利要求中阐述了本公开的范围。

Claims (18)

1.一种用于耦合到人工现实系统的收听设备，所述收听设备包括：

参考麦克风，其位于佩戴所述收听设备的用户的被堵塞的耳道外部，并被配置成接收环境声音，并部分地基于所述环境声音产生第一信号；

扬声器，其耦合到所述参考麦克风并位于所述用户的耳道内，所述扬声器被配置成部分地基于所述第一信号产生内部声音；

内部麦克风，其位于所述用户的耳道内，并被配置成从所述扬声器接收所述内部声音，并部分地基于所述内部声音产生第二信号；和

控制器，其耦合到所述内部麦克风、所述扬声器和所述参考麦克风，并且被配置成：

部分地基于所述第一信号和所述第二信号来计算传递函数，所述传递函数描述了由堵塞所述用户的耳道的所述收听设备引起的所述环境声音和所述内部声音之间的变化，以及

基于所述传递函数，调整所述内部声音以减轻所述变化，

其中，所述收听设备被配置成从所述人工现实系统接收人工音频内容，相对于所接收的人工音频内容调整所述环境声音，并且将调整后的环境声音与所接收的人工音频内容组合。

2.根据权利要求1所述的收听设备，其中，所述控制器被配置成通过执行以下步骤来计算所述传递函数：

对所述第一信号和所述第二信号执行频谱估计以生成频率分布；和

部分地基于所述频率分布计算所述传递函数。

3.根据权利要求1所述的收听设备，其中，所述控制器被配置成通过执行以下步骤来调整所述内部声音：

部分地基于所述传递函数的逆来产生校正信号；和

部分地基于所述校正信号来调整所述第一信号，以从所述内部声音中减轻所述传递函数的影响。

4.根据权利要求1所述的收听设备，其中，所述控制器包括自适应滤波器，所述自适应滤波器被配置成部分地基于所述传递函数的逆来对所述第一信号滤波，以从所述内部声音中减轻所述传递函数的影响。

5.根据权利要求1所述的收听设备，其中，所述收听设备被配置成通过相对于所述接收到的人工音频内容的声级增加或减小所述环境声音的声级，来相对于所述接收到的人工音频内容调整所述环境声音。

6.根据权利要求1所述的收听设备，还包括第二内部麦克风，所述第二内部麦克风位于所述用户的耳道内并被配置成从所述扬声器接收所述内部声音，其中，所述收听设备被配置成确定由所述参考麦克风接收的所述环境声音的第一声压和由所述第二内部麦克风接收的所述内部声音的第二声压。

7.根据权利要求6所述的收听设备，其中，所述控制器还被配置成：

确定所述第一声压和所述第二声压之间的变化；和

调整所述内部声音以减轻所述第一声压和所述第二声压之间的变化。

8.根据权利要求7所述的收听设备，其中，所述控制器还被配置成通过执行以下步骤来调整所述内部声音，以减轻所述第一声压和所述第二声压之间的变化：

部分地基于所述第一声压和所述第二声压之间的变化来产生校正信号；和

部分地基于所述校正信号来调整所述第一信号，以减轻所述第一声压和所述第二声压之间的变化。

9.根据权利要求7所述的收听设备，其中，所述控制器包括自适应滤波器，所述自适应滤波器被配置成部分地基于所述第一声压和所述第二声压之间的变化来对所述第一信号滤波，以减轻所述第一声压和所述第二声压之间的变化。

10.一种用于在用户正在参与人工现实体验时动态地调整环境声音并将其传送给用户的方法，包括：

通过参考麦克风接收环境声音，所述参考麦克风位于佩戴耦合到人工现实系统的收听设备的用户的被堵塞的耳道外部；

部分地基于所述环境声音产生第一信号；

通过扬声器部分地基于所述第一信号来产生内部声音，所述扬声器耦合到所述参考麦克风并位于所述用户的耳道内；

通过内部麦克风从所述扬声器接收所述内部声音，所述内部麦克风位于所述用户的耳道内；

部分地基于所述内部声音产生第二信号；

部分地基于所述第一信号和所述第二信号来计算传递函数，所述传递函数描述了由堵塞所述用户的耳道的所述收听设备引起的所述环境声音和所述内部声音之间的变化；和

基于所述传递函数，调整所述内部声音以减轻所述变化，

其中，所述方法还包括：

从所述人工现实系统接收人工音频内容；

相对于所接收的人工音频内容调整所述环境声音，以及

将调整后的环境声音与所接收的人工音频内容组合。

11.根据权利要求10所述的方法，其中，计算所述传递函数包括：

对所述第一信号和所述第二信号执行频谱估计以生成频率分布；和

部分地基于所述频率分布计算所述传递函数。

12.根据权利要求10所述的方法，其中，调整所述内部声音包括：

部分地基于所述传递函数的逆来产生校正信号；和

部分地基于所述校正信号来调整所述第一信号，以从所述内部声音中减轻所述传递函数的影响。

13.根据权利要求10所述的方法，其中，调整所述内部声音包括通过自适应滤波器部分地基于所述传递函数的逆来对所述第一信号滤波，以从所述内部声音中减轻所述传递函数的影响。

14.根据权利要求10所述的方法，还包括：

通过位于所述用户的耳道内的第二内部麦克风从所述扬声器接收所述内部声音；和

确定由所述参考麦克风接收的所述环境声音的第一声压和由所述第二内部麦克风接收的所述内部声音的第二声压。

15.根据权利要求14所述的方法，还包括：

确定所述第一声压和所述第二声压之间的变化；和

调整所述内部声音以减轻所述第一声压和所述第二声压之间的变化。

16.根据权利要求15所述的方法，其中，调整所述内部声音以减轻所述第一声压和所述第二声压之间的变化包括：

部分地基于所述第一声压和所述第二声压之间的变化来产生校正信号；和

部分地基于所述校正信号来调整所述第一信号，以减轻所述第一声压和所述第二声压之间的变化。

17.根据权利要求15所述的方法，其中，调整所述内部声音以减轻所述第一声压和所述第二声压之间的变化包括：通过自适应滤波器部分地基于所述第一声压和所述第二声压之间的变化来对所述第一信号滤波，以减轻所述第一声压和所述第二声压之间的变化。

18.一种计算机可读介质，其存储由处理器可执行的指令，所述计算机可读介质包括用于以下操作的指令：

从参考麦克风接收第一信号，所述参考麦克风位于佩戴收听设备的用户的被堵塞的耳道外部，其中，所述收听设备耦合到人工现实系统，所述参考麦克风接收环境声音；

从所述人工现实系统接收人工音频内容；

相对于所接收的人工音频内容调整所述第一信号；

将调整后的第一信号与所述人工音频内容组合；

将所组合的信号传送给扬声器，以产生内部声音，所述扬声器位于所述用户的耳道内；

从内部麦克风接收第二信号，所述内部麦克风位于所述用户的耳道内，所述内部麦克风从所述扬声器接收所述内部声音；

部分地基于所述第一信号和所述第二信号来计算传递函数，所述传递函数描述了由堵塞所述用户的耳道的所述收听设备引起的所述环境声音和所述内部声音之间的变化；和

基于所述传递函数，调整所述内部声音以减轻所述变化。

Images