CN114270876A - 用于控制触觉内容的方法和系统 - Google Patents

Abstract

本文提出的音频系统包括换能器阵列、传感器阵列和控制器。控制器在向用户呈现音频内容的同时，控制经由换能器阵列中至少一个换能器的激励而给予用户的触觉内容。换能器阵列向用户呈现带有触觉内容的音频内容。音频系统可以是头戴式装置的一部分。

Description

用于控制触觉内容的方法和系统

发明领域

本公开总体上涉及人工现实系统，且更具体地，涉及被配置为控制触觉内容以呈现给音频系统的用户的音频系统。

背景

人工现实系统中的头戴式显示器通常包括诸如扬声器或个人音频设备的特征，以向头戴式显示器的用户提供音频内容。在一些情况下，传统的头戴式显示器可以使用骨传导和/或软骨传导来向用户提供音频内容。然而，除了听到音频内容之外，在特定频率和振幅下，音频内容可以被用户感知(例如，经由嵌入组织中的机械感受器感知)为触觉刺激。

概述

根据所附权利要求，本公开的实施例支持用于向用户(例如头戴式装置的佩戴者)提供内容的音频系统、方法和计算机可读介质。音频系统包括换能器阵列和控制器。控制器被配置为控制经由换能器阵列中至少一个换能器的激励(actuation)而给予用户的触觉内容。换能器阵列被配置为向用户呈现触觉内容。音频系统可以集成为头戴式装置的一部分。

在本发明的一个方面，一种音频系统可以包括控制器，该控制器被配置为在向用户呈现音频内容的同时，控制经由换能器阵列中至少一个换能器的激励而给予用户的触觉内容；并且换能器阵列被配置为向用户呈现带有触觉内容的音频内容。

在根据本发明的系统的实施例中，控制器还可以被配置为使用触觉内容向用户提供导航指令。此外，至少一个换能器可以被实现为多个软骨传导换能器，软骨传导换能器中的至少一个附接到用户的相应耳朵；并且控制器还可以被配置为经由至少一个软骨传导换能器选择性地将触觉内容施加于相应的耳朵，以向用户提供导航指令。

在根据本发明的系统的实施例中，控制器还被配置为通过控制触觉内容来提高呈现给用户的音频内容的语音可懂度(intelligibility)。

在根据本发明的系统的实施例中，控制器还可以被配置为通过控制触觉内容来生成具有定义等级(level)的近场效应的音频内容。

在根据本发明的系统的实施例中，控制器还可以被配置为在通过改变输入音频信号的频谱内容来生成音频内容时，基于感知模型控制触觉内容。此外，系统还可以包括传感器阵列，该传感器阵列被配置为检测由换能器阵列产生的声音；并且控制器还可以被配置为至少部分基于所检测到的声音来生成感知模型。

在根据本发明的系统的实施例中，控制器还可以被配置为在生成用于呈现给用户的音频内容时，通过增强音频信号的频谱的一部分来控制触觉内容。

在根据本发明的系统的实施例中，控制器还可以被配置为通过控制触觉内容来增强声源，声源位于远离用户的位置。此外，声源可以是虚拟声源。

在根据本发明的系统的实施例中，控制器还可以被配置为对音频信号执行触觉增强，以创建具有触觉内容的音频内容，用于呈现给用户。

在根据本发明的系统的实施例中，系统还可以包括传感器阵列，该传感器阵列被配置为：检测由至少一个换能器产生的声音；并且控制器还可以被配置为检测所检测到的声音的退化(degradation)等级；以及基于所检测到的退化等级，处理音频信号以减轻用于呈现给用户的音频内容中声学内容的退化。

在根据本发明的系统的实施例中，换能器阵列可以包括一个或更多个软骨传导换能器。

在根据本发明的系统的实施例中，换能器阵列可以包括以下中的至少一项：一个或更多个空气传导换能器、一个或更多个骨传导换能器以及一个或更多个软骨传导换能器。

在根据本发明的系统的实施例中，音频系统可以是头戴式装置的一部分。

在一个方面，本发明涉及一种方法，该方法包括：在向用户呈现音频内容的同时，控制经由换能器阵列中至少一个换能器的激励而给予用户的触觉内容的量；以及指示换能器阵列向用户呈现音频内容，其中该音频内容包括触觉内容。

在根据本发明的方法的一个实施例中，该方法还可以包括以下步骤中的至少一个：使用触觉内容向用户提供导航指令；通过控制音频内容内的触觉内容来提高呈现给用户的音频内容的语音可懂度；以及通过控制音频内容内的触觉内容来生成具有定义等级的近场效应的音频内容。此外，该方法还可以包括。

在根据本发明的方法的实施例中，该方法还可以包括在通过改变输入音频信号的频谱内容来生成音频内容时基于感知模型来控制触觉内容。

在根据本发明的方法的实施例中，该方法还可以包括在生成音频内容以呈现给用户时，通过增强音频信号的频谱的一部分来控制触觉内容。

在一个方面，本发明涉及一种计算机程序产品，该计算机程序产品包括其上编码有指令的非暂时性计算机可读存储介质，当由一个或更多个处理器执行时，该指令使得一个或更多个处理器执行根据本发明的方法，或者：在向用户呈现音频内容的同时，控制经由换能器阵列中至少一个换能器的激励而给予用户的触觉内容的量；以及指示换能器阵列向用户呈现音频内容，其中该音频内容包括触觉内容。

附图简述

图1A是根据一个或更多个实施例的被实现为眼部佩戴物(eyewear)设备的头戴式装置(headset)的透视图。

图1B是根据一个或更多个实施例的被实现为头戴式显示器的头戴式装置的透视图。

图2A是根据一个或更多个实施例的音频系统的框图。

图2B是示出根据一个或更多个实施例的用于激励图2A的音频系统中的换能器的触感阈值等级作为频率的函数的示例曲线图。

图3是示出根据一个或更多个实施例的用于在呈现音频内容的同时调整触觉内容的等级的过程的流程图。

图4是示出根据一个或更多个实施例的用于控制呈现给用户的触觉内容的过程的流程图。

图5是根据一个或更多个实施例的包括头戴式装置的系统。

附图仅出于说明的目的描绘了各种实施例。本领域技术人员从下面的讨论中将容易认识到，在不脱离本文描述的原理的情况下，可以采用本文示出的结构和方法的替代实施例。

详细描述

放置在外耳附近的换能器可以在耳道内(例如，通过刺激特定组织)产生声压波，该声压波可以被人感知为声音。在特定频率下，当刺激等级提高时，人(例如，通过嵌入组织中的机械感受器)可以开始感知触觉(即，触感)。本公开的实施例涉及控制和调整呈现给音频系统的用户的触觉内容的等级的音频系统。

本文包含了一种用于控制所呈现内容的模态(即，纯音频、纯触觉或音频/触觉的组合)的音频系统。该音频系统包括换能器阵列、传感器阵列和音频控制器。换能器阵列通过例如软骨传导、骨传导、空气传导或其某种组合向用户呈现内容。传感器阵列检测由换能器阵列产生的声音。传感器阵列可以包括至少一个声学传感器和/或至少一个振动传感器(即加速度计)。音频控制器可以基于所检测到的声音来控制换能器阵列，以调整触觉反馈的等级，该触觉反馈可以在呈现内容的同时经由换能器阵列中一个或更多个换能器的激励而被给予用户。在一些实施例中，音频控制器调整触觉反馈的等级，使得用户不感知任何触觉内容。音频控制器可以使用例如感知模型来调整触觉反馈的等级，该感知模型可以是特定于用户的并且通过校准过程获得。在一些实施例中，音频控制器控制换能器阵列，以控制经由换能器阵列中一个或更多个换能器的激励而给予用户的触觉内容。在一个或更多个实施例中，换能器阵列中的至少一个换能器被配置为感应组织振动(例如，皮肤振动)，该振动足够强以至于被感觉为触感(例如，触摸)。被有意控制以被用户感知的触觉内容可以用于例如向用户提供导航指令、提高语音可懂度、提供近场效应、它们的某种组合等。

本文提出的音频系统可以是头戴式装置的一部分。头戴式装置可以是例如近眼显示器(NED)、头戴式显示器(HMD)或某种其他类型的头戴式装置。头戴式装置可以是人工现实系统的一部分。头戴式装置还包括显示器和光学组件。头戴式装置的显示器被配置为发射图像光。头戴式装置的光学组件被配置为将图像光引导至头戴式装置的对应于用户眼睛定位的视窗(eye box)。在一些实施例中，图像光可以包括头戴式装置周围的局部区域的深度信息。替代地或附加地，本文提出的音频系统可以结合具有一个或更多个软骨传导激励器和/或一个或更多个骨传导激励器的智能头戴式耳机来操作。

本文提出的音频系统控制和调整呈现给音频系统用户的触觉内容的等级。触觉内容通常被认为是令人讨厌的。本文提出的音频系统被配置为将触觉内容转变成对用户有用的信息。本文提出的音频系统还可以被配置为减轻触觉内容，使得触觉内容不会被用户感知。

本发明的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获的(例如，真实世界)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，其中任何一个都可以在单个通道中或在多个通道(例如向观看者产生三维效果的立体视频)中被呈现。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于在人工现实中创建内容和/或在人工现实中以其他方式被使用。提供人工现实内容的人工现实系统可以在各种平台上实现，包括连接到主计算机系统的可佩戴设备(例如，头戴式装置)、独立的可佩戴设备(例如，头戴式装置)、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。

图1A是根据一个或更多个实施例的被实现为眼部佩戴物设备的头戴式装置100的透视图。在一些实施例中，眼部佩戴物设备是NED。通常，头戴式装置100可以戴在用户的脸上，使得使用显示组件和/或音频系统呈现内容(例如，媒体内容)。然而，也可以使用头戴式装置100，使得媒体内容以不同的方式呈现给用户。头戴式装置100呈现的媒体内容的示例包括一个或更多个图像、视频、音频或其某种组合。头戴式装置100包括框架，并且可以包括显示组件、深度照相机组件(DCA)、音频系统和位置传感器190以及其他部件，该显示组件包括一个或更多个显示元件120。虽然图1A在头戴式装置100上的示例定位示出了头戴式装置100的部件，但是这些部件可以位于头戴式装置100上的别处、与头戴式装置100配对的外围装置上或者这两种位置的某种组合。类似地，头戴式装置100上的部件可能比图1A中所示的更多或更少。

框架110保持头戴式装置100的其他部件。框架110包括保持一个或更多个显示元件120的前部和附接到用户头部的末端件(例如，镜腿)。框架110的前部架在(bridge)用户鼻子的顶部。末端件的长度可以是可调节的(例如，可调节的镜腿长度)以适合不同的用户。末端件还可包括在用户耳朵后面卷曲的部分(例如，镜腿尖端、挂耳件)。

一个或更多个显示元件120向佩戴头戴式装置100的用户提供光。如图1A所示，头戴式装置100包括用于用户的每只眼睛的显示元件120。在一些实施例中，显示元件120生成提供给头戴式装置100的视窗的图像光。视窗是用户佩戴头戴式装置100时眼睛所占据的空间定位。例如，显示元件120可以是波导显示器。波导显示器包括光源(例如，二维光源、一个或更多个线光源、一个或更多个点光源等)和一个或更多个波导。来自光源的光被向内耦合到一个或更多个波导中，该波导以使得在头戴式装置100的视窗中存在光瞳复制(pupilreplication)的方式输出光。来自一个或更多个波导的光的向内耦合和/或向外耦合可以使用一个或更多个衍射光栅来完成。在一些实施例中，波导显示器包括扫描元件(例如，波导、反射镜等)，当来自光源的光向内耦合到一个或更多个波导中时，该扫描元件扫描来自光源的光。须注意，在一些实施例中，显示元件120中的一个或两个是不透明的并且不透射来自头戴式装置100周围的局部区域的光。局部区域是头戴式装置100周围的区域。例如，局部区域可以是佩戴头戴式装置100的用户所在的房间，或者佩戴头戴式装置100的用户可以在外面，并且局部区域是外部区域。在这种情况下，头戴式装置100生成VR内容。替代地，在一些实施例中，显示元件120中的一个或两个至少部分透明，使得来自局部区域的光可与来自一个或更多个显示元件的光组合以产生AR和/或MR内容。

在一些实施例中，显示元件120不生成图像光，而是透镜将光从局部区域透射到视窗。例如，显示元件120中的一个或两个可以是无矫正的透镜(非处方)，或者是处方透镜(例如，单视力透镜、双焦和三焦透镜或渐进透镜)以帮助矫正用户视力的缺陷。在一些实施例中，显示元件120可以被偏振和/或着色以保护用户的眼睛免受阳光照射。

须注意，在一些实施例中，显示元件120可以包括附加的光学块(未示出)。光学块可包括将光从显示元件120引导至视窗的一个或更多个光学元件(例如，透镜、菲涅耳透镜等)。光学块可以例如校正一些或所有图像内容中的像差、放大一些或所有图像、或其某种组合。

DCA确定头戴式装置100周围局部区域的一部分的深度信息。DCA包括一个或更多个成像设备130和DCA控制器(未在图1A中示出)，并且还可以包括照明器140。在一些实施例中，照明器140用光照亮局部区域的一部分。光可以是例如红外(IR)中的结构光(例如，点图案、条等)、用于飞行时间的IR闪光等。在一些实施例中，一个或更多个成像设备130捕获包括来自照明器140的光的局部区域部分的图像。如图所示，图1A示出了单个照明器140和两个成像设备130。在替代实施例中，没有照明器140和至少两个成像设备130。

DCA控制器使用捕获的图像和一种或更多种深度确定技术来计算局部区域的部分的深度信息。深度确定技术可以是例如直接飞行时间(ToF)深度感测、间接ToF深度感测、结构光、被动立体分析、主动立体分析(使用通过来自照明器140的光添加到场景的纹理)、确定场景的深度的某种其他技术或者它们的某种组合。

音频系统提供音频内容。该音频系统包括换能器阵列、传感器阵列和音频控制器150。然而，在其他实施例中，音频系统可以包括不同的和/或附加的部件。类似地，在一些情况下，参考音频系统的部件描述的功能可以以不同于这里描述的方式分布在部件之间。例如，音频控制器150的一些或全部功能可以由远程服务器执行。

换能器阵列向用户呈现声音。换能器阵列包括多个换能器。换能器可以是扬声器160或组织换能器(tissue transducer)170(例如，骨传导换能器或软骨传导换能器)。如图1A所示，扬声器160可以封装在框架110中。在一些实施例中，代替用于每只耳朵的单独的扬声器，头戴式装置100包括扬声器阵列，该扬声器阵列包括集成到框架110中的多个扬声器，以改善所呈现的音频内容的方向性，例如，使用波束成形阵列进行处理。组织换能器170耦合到用户的头部并直接振动用户的组织(例如，骨骼或软骨)以生成声音。换能器的数量和/或定位可以与图1A所示的不同。

传感器阵列检测头戴式装置100的局部区域内的声音。在一些实施例中，传感器阵列包括多个声学传感器180。声学传感器180捕获从局部区域(例如，房间)中的一个或更多个声源发出的声音。每个声学传感器被配置为检测声音并将所检测到的声音转换成电子格式(模拟或数字)。声学传感器180可以是声波传感器、麦克风、声音换能器或适用于检测声音的类似传感器。

在一些实施例中，一个或更多个声学传感器180可以放置在每只耳朵的耳道中(例如，充当双耳麦克风)。在一些实施例中，声学传感器180可以放置在头戴式装置100的外表面上、放置在头戴式装置100的内表面上、与头戴式装置100分离(例如，作为某种其他设备的一部分)、或者它们的某种组合。声学传感器180的数量和/或定位可以与图1A所示的不同。例如，可以增加声学检测定位的数量以增加收集的音频信息的量以及信息的灵敏度和/或准确性。声学检测定位可以被定向成使得麦克风能够在佩戴头戴式装置100的用户周围的大范围方向上检测声音。

在一些其他实施例中，传感器阵列包括多个振动传感器，例如加速度计。加速度计捕获关于振动加速度的信息，该信息用于控制和/或调节声音信号的振幅等级。加速度计可以嵌入框架110中。替代地，加速度计可以被定位成在换能器(例如，组织换能器170)附近与组织接触。附加地，接近传感器也可以用于确保组织换能器170(例如软骨传导换能器)处于适当的位置。

音频控制器150处理来自传感器阵列的描述由传感器阵列所检测到的声音的信息。音频控制器150可以包括处理器和计算机可读存储介质。音频控制器150可以被配置为生成到达方向(DOA)估计、生成声学传递函数(例如，阵列传递函数和/或头部相关传递函数)、跟踪声源的定位、在声源方向上形成波束、对声源进行分类、为扬声器160生成声音滤波器，或它们的某种组合。

在一些实施例中，音频控制器150控制换能器阵列，以例如在向用户呈现音频内容的同时，调节经由至少一个换能器(例如，组织换能器170)的激励而给予佩戴头戴式装置100的用户的触觉内容的等级。触觉内容通常是音频内容的副产品，产生音频的相同的(一个或更多个)换能器也可以产生触觉内容。音频控制器150可以被配置为生成不同模态的内容以呈现给用户。音频控制器150可以被配置为生成纯音频、纯触觉或者音频和触觉的组合的内容。附加地，音频控制器150可以被配置为减轻音频内容和触觉内容，使得没有内容被呈现给用户。

音频控制器150可以通过调节至少一个换能器的一个或更多个激励参数来调节触觉内容。换能器的激励参数可以是用于激励换能器的信号(例如，机械的或电的)。激励参数可以是例如电压、电流、机械压力、某个其他激励信号或它们的某种组合。音频控制器150可以相对于触感阈值等级来针对一个频带调整至少一个换能器的激励参数。低于阈值等级的激励参数的值对应于用户未感知到该频带内的触觉内容的一部分的激励范围，而处于或高于阈值等级的值对应于用户感知到该部分触觉内容的范围。声学传感器180可以检测由换能器阵列(例如，组织换能器170和/或扬声器160)产生的声音。音频控制器150可以基于所检测到的声音的在频带内的一部分，为组织换能器170的激励参数导出针对该频带的触感阈值等级。然后，当激励组织换能器170以呈现频带内的触觉内容的一部分时，音频控制器150可以将激励参数调整为低于触感阈值等级。

在一些实施例中，音频控制器150在向用户呈现音频内容的同时，控制经由至少一个换能器(例如，组织换能器170)的激励而给予佩戴头戴式装置100的用户的触觉内容，使得用户在特定时间感知受控的触觉内容。在这种情况下，换能器阵列向用户呈现音频内容和受控的触觉内容。在一个或更多个实施例中，音频控制器150使用受控的触觉内容来向用户提供导航指令。例如，音频控制器150将触觉内容施加于附接到用户相应耳朵的相应组织换能器170(例如，软骨传导换能器)，以向用户提供导航指令。在另一个实施例中，音频控制器150控制触觉内容，以提高呈现给用户的音频内容的语音可懂度。在又一个实施例中，音频控制器150控制触觉内容，以生成具有定义等级的近场效应的音频内容。下面结合图2A、图3和图4提供关于音频控制器150和音频系统的其他部件的操作的附加细节。

位置传感器190响应于头戴式装置100的运动而生成一个或更多个测量信号。位置传感器190可以位于头戴式装置100的框架110的一部分上。位置传感器190可以包括惯性测量单元(IMU)。位置传感器190的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一合适类型的传感器、用于IMU的误差校正的一种类型的传感器、或者它们的某种组合。位置传感器190可以位于IMU的外部、IMU的内部或者它们的某种组合。

在一些实施例中，头戴式装置100可以提供头戴式装置100的位置的同时定位和映射(SLAM)以及局部区域模型的更新。例如，头戴式装置100可以包括生成彩色图像数据的无源照相机组件(PCA)。PCA可以包括一个或更多个RGB照相机，其用于捕获一些或全部局部区域的图像。在一些实施例中，DCA的一些或所有成像设备130也可以用作PCA。PCA捕获的图像和DCA确定的深度信息可以用于确定局部区域的参数、生成局部区域的模型、更新局部区域的模型或者它们的某种组合。此外，位置传感器190跟踪头戴式装置100在房间内的位置(例如，定位和姿态)。下面结合图5讨论关于头戴式装置100的部件的附加细节。

图1B是根据一个或更多个实施例的被实现为HMD的头戴式装置105的透视图。在描述AR系统和/或MR系统的实施例中，HMD前侧的部分在可见光波段(约380nm至750nm)中至少部分透明，并且在HMD前侧和用户的眼睛之间的HMD的部分至少是部分透明的(例如，部分透明的电子显示器)。HMD包括前刚性主体115和带175。头戴式装置105包括许多与上文参考图1A描述的相同的部件，但这些部件经过修改以与HMD形状因子集成。例如，HMD包括显示组件、DCA、音频系统和位置传感器190。图1B示出了照明器140、多个扬声器160、多个成像设备130、多个声学传感器180和位置传感器190。

图2A是根据一个或更多个实施例的音频系统200的框图。图1A或图1B中的音频系统可以是音频系统200的实施例。音频系统200为用户生成一个或更多个声传递函数。音频系统200然后可以使用一个或更多个声传递函数来为用户生成音频内容。在图2A的实施例中，音频系统200包括换能器阵列210、传感器阵列220和音频控制器230。音频系统200的一些实施例具有与这里描述的那些部件不同的部件。类似地，在某些情形中，功能可以以不同于这里描述的方式在部件之间分配。

换能器阵列210被配置为呈现内容。所呈现的内容可以是音频内容、触觉内容或它们的某种组合。换能器阵列210包括多个换能器。换能器是提供内容的设备，内容例如是音频内容、触觉内容或它们的某种组合。换能器可以是例如扬声器(例如，扬声器160)、组织换能器(例如，组织换能器170)、提供内容的某种其他设备或它们的某种组合。组织换能器可以被配置用作骨传导换能器或软骨传导换能器。换能器阵列210可以经由空气传导(例如，经由一个或更多个扬声器)、经由骨传导(经由一个或更多个骨传导换能器)、经由软骨传导音频系统(经由一个或更多个软骨传导换能器)或其某种组合来呈现内容。在一些实施例中，换能器阵列210可以包括一个或更多个换能器，以覆盖频率范围的不同部分。例如，压电换能器可以用于覆盖频率范围的第一部分，而动圈换能器可以用于覆盖频率范围的第二部分。

骨传导换能器通过振动用户头部的骨骼/组织来生成声压波。骨传导换能器可以耦合到头戴式装置的一部分，并且可以被配置为在耳廓后面耦合到用户头骨的一部分。骨传导换能器从音频控制器230接收振动指令，并基于接收的指令振动用户头骨的一部分。来自骨传导换能器的振动生成组织传播的声压波，该声压波绕过耳鼓向用户的耳蜗传播。

软骨传导换能器通过振动用户耳朵的耳软骨的一个或更多个部分来生成声压波。软骨传导换能器可以耦合到头戴式装置的一部分，并且可以被配置为耦合到耳朵的耳软骨的一个或更多个部分。例如，软骨传导换能器可以耦合到用户耳朵的耳廓后部。软骨传导换能器可以位于沿着外耳周围的耳软骨的任何地方(例如耳廓、耳屏、耳软骨的某个其他部分或它们的某种组合)。振动耳软骨的一个或更多个部分可以生成：耳道外的空气传播的声压波；组织产生的声压波，其导致耳道的某些部分振动，从而在耳道内生成空气传播的声压波；或者它们的某种组合。生成的空气传播的声压波沿着耳道向耳鼓传播。

换能器阵列210根据来自音频控制器230的指令生成内容。在一些实施例中，内容被空间化。空间化内容是听起来源自特定方向和/或目标区域(例如，局部区域中的对象和/或虚拟对象)的内容。例如，空间化的内容可以使声音听起来是来自音频系统200的用户的房间对面的虚拟歌手。换能器阵列210可以耦合到可佩戴设备(例如，头戴式装置100或头戴式装置105)。在替代实施例中，换能器阵列210可以是与可佩戴设备分离(例如，耦合到外部控制台)的多个扬声器。

传感器阵列220检测传感器阵列220周围的局部区域内的声音。传感器阵列220可以包括多个声学传感器，每个声学传感器检测声波的气压变化并将所检测到的声音转换成电子格式(模拟或数字)。多个声学传感器可以位于头戴式装置(例如，头戴式装置100和/或头戴式装置105)上、用户(例如，在用户的耳道中)上、颈带或其某种组合上。声学传感器可以是例如麦克风、振动传感器、加速度计或其任意组合。在一些实施例中，传感器阵列220被配置为使用多个声学传感器中的至少一些来监控由换能器阵列210生成的音频内容。增加传感器的数量可以提高描述由换能器阵列210产生的声场和/或来自局部区域的声音的信息(例如，方向性)的准确性。在一些实施例中，传感器阵列220的至少一个传感器可以被实现为非侵入性电极或用户组织内的植入物，其被配置为当机械感受器活动时感测神经元的放电。传感器阵列220的这种实现的传感器可以检测用户的触感，而无需来自用户的任何手动反馈。

音频控制器230控制音频系统200的操作。在图2A的实施例中，音频控制器230包括数据储存器235、DOA估计模块240、传递函数模块250、跟踪模块260、波束成形模块270、声音滤波器模块280和触感控制模块285。在一些实施例中，音频控制器230可以位于头戴式装置内部。音频控制器230的一些实施例具有与这里描述的那些部件不同的部件。类似地，功能可以以不同于这里描述的方式分布在部件中。例如，控制器的一些功能可以在头戴式装置外部执行。

数据储存器235存储供音频系统200使用的数据。数据储存器235中的数据可以包括记录在音频系统200的局部区域中的声音、内容(即，音频内容、触觉内容或其组合)、头部相关传递函数(HRTF)、一个或更多个传感器的传递函数、一个或更多个声学传感器的阵列传递函数(ATF)、声源定位、局部区域的虚拟模型、到达方向估计、声音滤波器、一个或多个感知模型、激励参数以及与音频系统200的使用有关的其他数据，或它们的任何组合。

例如，触感控制模块285可以使用存储在数据储存器235中的感知模型，用于在经由换能器阵列210向用户呈现内容时调整触觉内容的等级。感知模型可以包括关于至少一个激励参数(例如，输入电压、输入电流等)的作为频率(或频带)的函数的触感阈值等级的信息，用于激励换能器阵列210中的一个或更多个换能器。低于该频带的阈值等级的激励参数的值对应于用户未感知到该频带内的触觉内容的部分的激励范围，而处于或高于该阈值等级的值对应于用户感知到该部分触觉内容的范围。数据储存器235中的每个感知模型对于特定用户和/或特定声学环境(例如，室内环境、室外环境、空房间、占用的房间等)可以是唯一的。替代地，数据储存器235中的单个感知模型对于多个用户和/或多个声学环境来说可以是通用的。在一些实施例中，数据储存器235中的感知模型可以例如由触感控制模块285通过针对特定用户和/或音频系统200所处的特定声学环境执行换能器阵列210的校准来获得。

DOA估计模块240被配置为部分基于来自传感器阵列220的信息来定位局部区域中的声源。定位是确定声源相对于音频系统200的用户所处的位置的过程。DOA估计模块240执行DOA分析以定位局部区域内的一个或更多个声源。DOA分析可以包括分析传感器阵列220处每个声音的强度、频谱和/或到达时间，以确定声音起源的方向。在一些情况下，DOA分析可以包括用于分析音频系统200所处的周围声学环境的任何合适的算法。

例如，DOA分析可以被设计成从传感器阵列220接收输入信号，并将数字信号处理算法应用于输入信号以估计到达方向。这些算法可以包括例如延迟和求和算法，其中输入信号被采样，并且采样信号的最终加权和延迟版本被一起平均以确定DOA。也可以实现最小均方(LMS)算法以创建自适应滤波器。该自适应滤波器然后可以用于例如，识别信号强度的差异或到达时间的差异。然后，这些差异可用于估计DOA。在另一个实施例中，可以通过将输入信号转换到频域内并选择要处理的时频(TF)域内的特定单元(bin)来确定DOA。可以处理每个选定TF单元以确定该单元是否包括具有直接路径音频信号的音频频谱的一部分。然后可以分析具有直接路径信号的一部分的那些单元，以识别传感器阵列220接收直接路径音频信号的角度。然后，所确定的角度可以用于识别接收到的输入信号的DOA。也可以单独地或者与上面的算法结合地使用上面没有列出的其他算法来确定DOA。

在一些实施例中，DOA估计模块240还可以相对于音频系统200在局部区域内的绝对位置来确定DOA。传感器阵列220的位置可以从外部系统(例如，头戴式装置的某个其他部件、人工现实控制台、映射服务器、位置传感器(例如，位置传感器190)等)接收。外部系统可以创建局部区域的虚拟模型，其中局部区域和音频系统200的位置被映射。接收的位置信息可以包括音频系统200的部分或全部(例如，传感器阵列220)的定位和/或定向。DOA估计模块240可以基于接收的位置信息更新估计的DOA。

传递函数模块250被配置为生成一个或更多个声学传递函数。一般来说，传递函数是一种数学函数，其为每个可能的输入值给出相应的输出值。基于所检测的声音的参数，传递函数模块250生成与音频系统相关联的一个或更多个声学传递函数。声学传递函数可以是阵列传递函数(ATF)、头部相关传递函数(HRTF)、其他类型的声学传递函数或它们的某种组合。ATF表征了麦克风如何从空间中的一个点接收声音。

ATF包括表征声音和由传感器阵列220中的声学传感器接收的相应声音之间的关系的多个传递函数。因此，对于声源，传感器阵列220中的每个声学传感器都有相应的传递函数。这组传递函数统称为ATF。注意，声源可以是例如在局部区域产生声音的某人或某物、用户或换能器阵列210的一个或更多个换能器。相对于传感器阵列220的特定声源定位的ATF可能因用户而异，这是由于人的解剖结构(例如，耳朵形状、肩膀等)会在声音行进到人的耳朵时影响到声音。因此，传感器阵列220的ATF对于音频系统200的每个用户是个性化的。

在一些实施例中，传递函数模块250为音频系统200的用户确定一个或更多个HRTF。HRTF表征耳朵如何接收来自空间中的一点的声音。相对于人的特定源定位的HRTF对于人的每只耳朵是唯一的(并且对于这个人是唯一的)，这是由于人的解剖结构(例如，耳朵形状、肩膀等)在声音行进到人的耳朵时会影响到声音。在一些实施例中，传递函数模块250可以使用校准过程为用户确定HRTF。在一些实施例中，传递函数模块250可以向远程系统提供关于用户的信息。远程系统使用例如机器学习确定为用户定制的HRTF集合，并将定制的HRTF集合提供给音频系统200。

跟踪模块260被配置为跟踪一个或更多个声源的定位。跟踪模块260可以比较当前DOA估计，并将它们与先前DOA估计的存储历史进行比较。在一些实施例中，音频系统200可以定期重新计算DOA估计，例如每秒一次，或者每毫秒一次。跟踪模块可以将当前的DOA估计与先前的DOA估计进行比较，并且响应于声源的DOA估计的变化，跟踪模块260可以确定声源移动了。在一些实施例中，跟踪模块260可以基于从头戴式装置或某个其他外部源接收的视觉信息来检测定位的变化。跟踪模块260可以跟踪一个或更多个声源随时间的移动。跟踪模块260可以存储关于声源数量和每个声源在每个时间点的定位的值。响应于声源的数量或定位的值的变化，跟踪模块260可以确定声源移动了。跟踪模块260可以计算定位方差的估计。定位方差可以用作每次确定运动变化的置信等级。

波束成形模块270被配置为处理一个或更多个ATF，以选择性地强调来自某个区域内的声源的声音，同时削弱来自其他区域的声音。在分析由传感器阵列220所检测到的声音时，波束成形模块270可以组合来自不同声学传感器的信息，以强调来自局部区域的特定区域的相关声音，同时削弱来自该区域外部的声音。波束成形模块270可以基于例如来自DOA估计模块240和跟踪模块260的不同DOA估计，将与来自特定声源的声音相关联的音频信号与局部区域中的其他声源隔离。波束成形模块270因此可以选择性地分析局部区域中的离散声源。在一些实施例中，波束成形模块270可以增强来自声源的信号。例如，波束成形模块270可以应用声音滤波器，其消除高于特定频率、低于特定频率或在特定频率之间的信号。信号增强用于相对于传感器阵列220所检测到的其他声音来增强与给定的已识别声源相关联的声音。

声音滤波器模块280确定用于换能器阵列210的声音滤波器。在一些实施例中，声音滤波器使得音频内容被空间化，使得音频内容听起来源自目标区域。声音滤波器模块280可以使用HRTF和/或声学参数来生成声音滤波器。声学参数描述了局部区域的声学属性。声学参数可以包括例如混响时间、混响等级、房间脉冲响应等。在一些实施例中，声音滤波器模块280计算一个或更多个声学参数。在一些实施例中，声音滤波器模块280向映射服务器请求声学参数(例如，如下面参考图5所述)。

声音滤波器模块280向换能器阵列210提供声音滤波器。在一些实施例中，声音滤波器可以根据频率引起声音的正或负放大。

在一些实施例中，触感控制模块285控制换能器阵列210，以在经由换能器阵列210向用户呈现内容的同时，调整经由换能器阵列210中的至少一个换能器(例如，软骨传导换能器)的激励而给予用户的触觉内容的等级。内容可以包括纯音频内容、纯触觉内容或者音频内容和触觉内容的组合。为了传递纯音频内容，触感控制模块285可以针对一个频带将至少一个换能器的激励参数(例如，输入信号等级)调整为低于触感阈值等级，使得该频带内的触觉内容部分不被用户感知。注意，低于触感阈值等级的激励参数的值对应于该频带内的触觉内容部分未被用户感知的激励范围，并且处于或高于触感阈值等级的值对应于该部分触觉内容被用户感知的范围。

在一个或更多个实施例中，触感控制模块285通过基于例如换能器灵敏度应用固定激励阈值方法来调整触觉内容的等级。对于经由换能器传递给用户的声压波的多个频带，换能器灵敏度可以被定义为激励参数(即，激励输入信号(例如输入电压)的电平)与输出声压之间的传递函数。对于纯音频内容，频带是覆盖人类感知的声学频谱的典型频带，例如，在大约20Hz和20,000Hz之间。对于纯触觉内容，频带限于低频，例如低于大约500Hz的频率，因为机械感受器主要对低于例如500Hz的频率敏感。如果换能器阵列210中的换能器的灵敏度随着时间并且跨多个用户(例如，随着时间并且跨多个用户)是恒定的，触感控制模块285可以在多个频带中的每个定义的频带处导出用于激励参数(例如，激励信号)的固定触感阈值等级，所述多个频带例如覆盖人类感知的声谱。触感控制模块285可以应用例如标准动态范围压缩方案，以确保用于激励换能器阵列210中至少一个换能器的激励参数的等级低于导出的触感阈值等级，从而避免与导出的触感阈值等级相关联的特定频带的触感。

在一些实施例中，当换能器阵列210中的至少一个换能器经由激励参数(该激励参数针对频带集合具有初始值集合)被激励时，传感器阵列220检测由换能器阵列210产生的声音(即，包括音频/触觉的内容)。触感控制模块285可以基于所检测到的声音的在频带内的一部分，为该集合中的每个频带导出激励参数的触感阈值等级。所检测到的内容的在频带内的部分可以包括一定量的触感内容，该触感内容可以大于或小于足以被用户感知到的该频带内的触觉内容的最小等级(例如，取决于激励参数针对该频带的初始值和用户的感知)。触感控制模块285可以确定激励参数针对该频带的触感阈值等级，例如，通过相对于激励参数的针对该频带的初始值调节激励参数的等级，使得由换能器阵列210产生的用于该频带的内容部分大约包括触觉内容的最小等级。触感控制模块285然后可以在向用户呈现内容(即，纯音频、纯触觉或音频和触觉的组合)时，相对于触感阈值等级来调整激励参数。当激励参数处于或高于触感阈值等级时，该频带内的触觉内容部分被用户感知。否则，如果激励参数低于触感阈值等级，则该频带内的触觉内容部分不会被用户感知。

触感控制模块285可以通过使用来自数据储存器235的感知模型，相对于触感阈值等级，针对频带调整至少一个换能器的激励参数，从而调整触觉内容的等级。感知模型对于多个用户和/或声学环境可以是通用的。替代地，数据储存器235中的每个感知模型对于每个用户和/或声学环境可以是唯一的。替代地，感知模型对于特定人群可以是唯一的，例如，一个感知模型可能适合老年人，而另一个感知模型可能适合年轻人。触感控制模块285可以通过校准换能器阵列210中的至少一个换能器来为特定用户和/或声学环境生成感知模型。在校准期间，触感控制模块285基于来自用户的关于每个频带的触觉内容的感知等级的反馈响应来确定多个频带的触感阈值等级。例如，用户可能位于针对其生成感知模型的特定声学环境中。在一个或更多个实施例中，代替依赖于用户关于感知的触觉内容的手动反馈，触感可以由传感器阵列220的一个或更多个传感器自动检测，传感器阵列220被实现为例如能够感测用户神经元的放电的非侵入式电极和/或用户组织内的植入物。

在一些实施例中，触感控制模块285基于传感器阵列220在低于定义的阈值频率的频带内所检测到的声音的部分，为用户估计换能器阵列210中至少一个换能器的灵敏度等级。触感控制模块285然后可以基于用于频带的估计的换能器灵敏度，导出用于该频带的至少一个换能器的激励参数的触感阈值等级(例如，输入电压或某个其他激励信号的电平)。触感控制模块285调整激励参数，例如，使其低于触感阈值等级，从而用户不会感知到该频带内的触觉内容部分。替代地，触感控制模块285将激励参数调整为触感阈值等级或高于触感阈值等级，使得用户感知到该频带内的触觉内容的特定等级。

这种用于调整触觉内容的等级的特定方法可以被称为自适应输入电压阈值方法，因为输入电压阈值是基于估计的换能器灵敏度来调整的，估计的换能器灵敏度可以例如根据用户和/或随着时间变化。在一个或更多个实施例中，当换能器阵列210中的至少一个换能器的灵敏度在用户之间变化而不随着时间变化时，触感控制模块285可以通过利用例如入耳式麦克风来测量定义频带内的换能器灵敏度，即每个频带内的输出声压和输入电压之间的函数关系，从而为每个用户应用一次性校准。基于所测量的换能器灵敏度，触感控制模块285然后可以导出用于激励至少一个换能器以感知或不感知频带内的触觉内容部分的激励参数的触感阈值等级。如果换能器阵列210中的至少一个换能器的灵敏度也随时间变化，则触感控制模块285可以被配置为在定义的时间段内重复校准过程特定次数，以更新特定频带的触感阈值等级。

在一个或更多个其他实施例中，代替入耳式麦克风，软骨传导换能器的某些独特属性可以被利用来使用眼镜框架上的麦克风(例如，安装在图1A的框架110上的声学传感器180)来执行校准。例如，如所讨论的，换能器阵列210中的一个或更多个换能器可以被实现为软骨传导换能器。触感通常出现在低频带。如果软骨传导换能器与例如用户耳朵的耳软骨有良好的接触，则空气中的声压波的辐射模式主要是定向的。然而，如果软骨传导换能器和耳软骨之间没有直接接触，则空气中声压波的辐射模式可能相反地是多向的(omni-directional)。因此，触感控制模块285能够通过比较来自换能器阵列210的软骨传导换能器两侧的麦克风(例如，声学传感器180)的信号来估计低频带内的换能器灵敏度。

在一些实施例中，代替基于灵敏度的校准，触感控制模块285可以被配置为基于用户对不同输入信号(例如，电压)的触感的反馈来测量频率范围的输入信号阈值曲线。代替用户的手动反馈，触感可以由传感器阵列220的一个或更多个传感器来检测，传感器阵列220被实现为例如非侵入式电极和/或用户组织内的植入物，并且被配置为当机械感受器活动时感测神经元的放电。触感控制模块285可以基于在用户处所检测到的触感，为换能器阵列210中的至少一个换能器的激励参数导出频率范围内的触感阈值等级。触感控制模块285可以将至少一个换能器的激励参数调整为低于阈值等级，使得至少一部分触觉内容不被用户感知。

在一些实施例中，当向用户呈现音频信号时，传感器阵列220中的至少一个传感器(例如，麦克风和/或加速度计)监控由换能器阵列210中的至少一个换能器生成的声压和/或加速度。触感控制模块285然后可以基于声压和加速度中的至少一个或两个来控制呈现给用户的音频内容，使得特定频率的音频内容的振幅低于阈值等级。低于(触感)阈值等级的振幅值对应于其中该频率内的触觉内容部分不被用户感知的音频内容，而处于或高于阈值等级的值对应于其中该部分触觉内容被用户感知的音频内容。因此，在这种情况下，触感控制模块285与传感器阵列220一起执行换能器阵列210的主动控制，以实现无触觉的音频内容。在一个实施例中，可以从例如用户研究中获得针对频率(或频带)的触感阈值等级，其中获得一组受试者的平均触感阈值曲线。在另一个实施例中，可以使用用户可以创建其自己的定制触感阈值曲线的应用来获得针对频率(或频带)的触感阈值等级，例如，基本上类似于听力和听力计应用。

根据本公开的某些实施例，音频系统200的一个目的可以是通过触觉刺激来增强音频体验。在音频系统200具有换能器阵列210的情况下，换能器阵列210在耳廓处具有一个或更多个软骨传导换能器，用于传递音频信号，一个或更多个软骨传导换能器也可以产生触感。触感可能是音频传输的副产品。替代地，触感可以被主动控制为纯触觉信号，例如振幅低于定义阈值的信号。

在一些实施例中，触感控制模块285控制经由换能器阵列210中至少一个换能器的激励而给予用户的触觉内容，以传递导航信号，而不干扰视觉或中断其他音频内容，例如电话。带有导航信息的受控触觉内容可以仅仅是传递给用户的内容，或者可以与音频内容一起传递。在一个或更多个实施例中，施加于耦合到驾驶员相应耳朵的至少一个软骨传导的触觉信号可以提供适当的导航指令。例如，右耳上的嗡嗡声(buzz)可以传达右转指令，左耳上的嗡嗡声可以传达左转指令，双耳上的嗡嗡声可以传达“直行”指令。嗡嗡声可能是间歇性的或是持续性的。在一个实施例中，嗡嗡声可能开始很微弱，随着用户移动接近他们应该转弯的交叉路口，嗡嗡声会越来越强。施加于相应耳朵的间歇嗡嗡声(例如，随时间变弱的嗡嗡声)可以传达用户错过转弯的信息。触感控制模块285可以具有来自例如用户移动设备上可用的第三方导航应用的关于用户位置和移动方向的信息。替代地，触感控制模块285可以利用来自映射服务器的位置和地图，并且映射服务器可以生成导航指令并将其提供给触感控制模块285，触感控制模块285适当地控制触觉内容。

在一些其他实施例中，触感控制模块285通过控制呈现给用户的触觉内容(例如，连同音频内容)来增强语音可懂度。例如，触觉刺激可以被传递用来提高非送气音节的收听，如“b”和“p”。在这种情况下，触觉刺激可以通过例如振动触觉(vibrotactile)接口来传递，以增强收听。

在一些其他实施例中，主动控制的触觉信号可以用于产生近场效应。触感控制模块285可以被配置为通过控制触觉内容来生成具有定义等级的近场效应的音频内容。在一个实施例中，触感控制模块285可以控制触觉内容以产生近场效应，作为虚拟蚊子在耳朵周围嗡嗡叫的更真实的感觉。在另一个实施例中，触感控制模块285可以控制触觉内容以产生近场效应，如靠近用户耳朵低语的某人的呼吸，例如某个其他人或虚拟助手。

通常，听觉(即收听行为)与触觉相结合，用于语音感知。例如，当与脖子或手腕上的吹气同步时，像“b”这样的非送气音节更有可能作为送气的“p”被听到。在现实生活场景中，触觉刺激可以通过振动触觉接口而不是吹气来传递，以增强收听。例如，在嘈杂的环境中，小心传递的触觉刺激可以用来改善语音感知。因此，为了传递优选等级的触觉刺激，触感控制模块285可以执行自然语言处理(NLP)来解码用户正在关注的语音信号。然后，触感控制模块285可以基于解码的语音信号适当地调节触觉刺激。

在一些实施例中，触觉刺激也可以通过为听觉设计的设备来传递。例如，换能器阵列210中的软骨传导换能器和骨传导换能器可以传递诱发触觉的振动(例如，尤其是在频谱的低端)。这种寄生信号也可以用来增强语音感知。触感控制模块285可以通过改变特定声学信号的频谱内容来控制用于呈现给用户的触觉内容，以提高或降低触感的强度，例如，加强(boost)频谱的低端以使“p”更容易理解，并且针对“b”减少频谱的低端。在一个或更多个实施例中，触感控制模块285基于存储在例如数据储存器235中并且至少部分基于由传感器阵列220所检测到的声音生成的感知模型来执行频谱内容的改变。

在一个或更多个其他实施例中，触感控制模块285通过增强音频信号的频谱的一部分来控制用于呈现给用户的触觉内容。在头戴式AR眼镜在耳朵处具有接触换能器(例如，组织换能器170)的情况下，触感控制模块285可以使用由麦克风阵列(例如，声学传感器180的阵列)捕获的信号来增强具有声学内容和触觉内容的定义组合的自然声源(例如，另一个说话者)。替代地，触感控制模块285可以仅通过一种模态(声学或触觉)来执行频谱的一部分的选择性增强，以增强自然声源。

在一些实施例中，触感控制模块285通过控制触觉内容来增强声源，例如在远程呈现中。例如，触感控制模块285可以控制触觉内容，以使耳语在感知上更具沉浸感和真实感(即使真实的低语可能不会引起触感)。由触感控制模块285增强的声源可以位于远离用户的位置。声源可以是虚拟声源，例如用户肩膀上的虚拟助手或虚拟飞虫。替代地，声源可以是抽象的，例如用于向用户提供方向信息的触觉嗡嗡声。

在一些实施例中，触感控制模块285对音频信号执行触觉增强，以生成具有触觉内容的音频内容，用于呈现给用户。首先，可以(例如，通过传感器阵列220)记录或(例如，通过触感控制模块285)生成声信号。此后，触感控制模块285可以通过应用例如语音分割、频率选择性滤波、特征提取、某种其他处理技术或其组合来处理用于触觉增强的声信号。触感控制模块285然后可以基于处理后的声信号产生触觉刺激。替代地，触感控制模块285可以过滤音频信号，以在音频内容被传递给用户时产生触感。触觉信号和声信号可以通过位于耳朵附近的换能器阵列210的接触换能器来传递，例如通过耦合到耳屏或耳廓的软骨传导换能器，或者通过骨传导换能器。

在一些实施例中，当向用户呈现音频内容时，传感器阵列220检测由换能器阵列210中的至少一个换能器(例如，软骨传导换能器)产生的声音。触感控制模块285可以检测所检测到的声音的退化等级，例如，由于声压波的软骨传导。触感控制模块285然后可以基于所检测到的退化等级来处理音频信号，以减轻音频信号中声学内容的退化。在一些实施例中，触感控制模块285对所检测到的声音执行机器学习以训练分类器。触感控制模块285可以基于所检测到的声音的类型和特征，应用训练的分类器将所检测到的声音分类成不同的类别(即，不同类型的退化)。触感控制模块285还可以警告用户特定类型的退化是否高于阈值等级。

图2B是示出根据一个或更多个实施例的作为频率的函数的换能器(例如音频系统200中换能器阵列210中的换能器)的平均触感阈值等级的示例曲线图290。图2B中所示的曲线295表示作为触觉内容的频率的函数的平均触感阈值等级(例如，被表示为声压等级(SPL))。曲线图290示出了所呈现内容的可听度和触感的阈值等级。曲线295下方的SPL值对应于特定频率内的触觉内容部分不被“平均用户”感知的情况。曲线295处或曲线295上方的SPL值对应于该部分触觉内容被“平均用户”感知的情况。例如，曲线图290显示，在200Hz处，如果软骨传导换能器产生的SPL大于大约80dB，则“平均用户”同时感知音频和触觉，即用户不仅听到还感觉到。

触感阈值曲线295是基于通过平均该组用户的触感阈值而为该组用户收集的触感阈值数据。在图示的实施例中，由SPL的dB等级表示的触感阈值数据是使用放置在每个用户耳朵上相同位置的特定(例如，定制的)软骨传导换能器获得的。并且软骨传导换能器的刺激等级递增，直到感知的音频变成双模态，即包括音频内容和触觉内容。注意，通过利用不同的软骨传导换能器，基于例如传输到每个用户的皮肤和空气的能量的量，可以生成不同于图2B的触感阈值曲线。此外，当使用不同的换能器设备测量SPL时，SPL和触感之间的关系可能不同。

图2B的触感阈值曲线295示出了，在较低频率处，处于触觉域中的概率高于较高频率。曲线图290中所示的触感阈值数据是使用例如放置在耳道入口处的麦克风获得的。如果使用与耳廓接触的加速度计，可以获得类似的阈值曲线。在这种情况下，触感阈值数据将表示内容何时能够同时被听到和感觉到的加速度阈值。注意，加速度阈值可以被转换成关于速度的信息(例如，通过积分)或关于组织位移的信息(例如，通过双积分)。在其他实施例中(图2B中未示出)，可以获得骨传导和空气传导的类似曲线。

图3是根据一个或更多个实施例的用于在呈现音频内容的同时调整触觉内容的等级的方法300的流程图。图3所示的过程可以由音频系统(例如，音频系统200)的部件来执行。在其他实施例中，其他实体可以执行图3中的一些或所有步骤。实施例可以包括不同的和/或附加的步骤，或者以不同的顺序执行这些步骤。音频系统可以是头戴式装置的一部分。

音频系统(例如，通过传感器阵列220)检测310由换能器阵列的换能器产生的声音。音频系统可以检测用户组织内的触感，例如，通过耦合到组织或位于组织中的一个或更多个传感器检测。替代地或附加地，当向用户呈现音频时，音频系统可以监控由换能器生成的声压和/或加速度。音频系统可以基于所监控的声压和/或加速度来控制呈现给用户的音频，使得对于定义的频率，音频内容的振幅低于触感阈值等级。低于阈值等级的振幅值对应于用户不感知该频率的触觉内容部分的音频，而处于或高于阈值等级的值对应于用户感知该部分触觉内容的音频。

音频系统基于所检测到的声音的在频带内的一部分，导出320换能器的激励参数的针对该频带的触感阈值等级。低于触感阈值等级的激励参数的值对应于用户未感知到该频带内的触觉内容部分的激励范围，而处于或高于阈值等级的值对应于用户感知到该部分触觉内容的范围。在一些实施例中，音频系统基于所检测到的声音在低于定义的阈值频率的频带中的部分，为用户估计换能器的灵敏度等级。音频系统基于估计的灵敏度等级来导出激励参数的阈值等级。在一些其他实施例中，音频系统基于例如由位于用户组织内的传感器阵列220的一个或更多个传感器所检测到的触感来导出激励参数的阈值等级。

在一些实施例中，基于所检测到的特定用户的触感和/或递送的触觉内容的多个频带的声学环境，音频系统被校准以生成感知模型。感知模型可以包括关于用于激励换能器的激励参数(例如，输入电压)的作为频带(或频率)的函数的触感阈值等级的信息。对于多个用户和/或多个声学环境，感知模型可以是相同的。替代地，感知模型对于特定用户和/或特定声学环境可以是唯一的。

当向用户呈现音频内容时，音频系统(例如，通过触感控制模块285)调整330经由换能器阵列中的换能器的激励而给予用户的触觉内容的等级。音频系统可以通过相对于特定频带的触感阈值等级调整换能器的激励参数(即，诸如电压或电流的激励信号的电平)来调整触觉内容的等级。在一些实施例中，在激励换能器时，音频系统将激励参数调整为低于触感阈值等级，使得特定频带内的触觉内容部分不被用户感知。音频系统可以基于感知模型来调整触觉内容的等级。

音频系统指示340换能器向用户呈现音频内容，其中音频内容包括触觉内容的调整等级。音频系统(例如，触感控制模块285)可以将频带的激励参数等级(例如，输入电压电平)施加于低于该频带的触感阈值等级的换能器的激励器，使得用户不会感知到该频带内的任何触感。

图4是根据一个或更多个实施例的用于控制呈现给用户的触觉内容的方法400的流程图。图4所示的过程可以由音频系统(例如，音频系统200)的部件来执行。在其他实施例中，其他实体可以执行图4中的一些或所有步骤。实施例可以包括不同的和/或附加的步骤，或者以不同的顺序执行这些步骤。音频系统可以是头戴式装置的一部分。

当向用户呈现音频内容时，音频系统(例如，经由触感控制模块285)控制410经由换能器阵列中至少一个换能器的激励而给予用户的触觉内容的量。音频系统可以通过使用受控触觉内容来提供导航信息。此外，音频系统可以通过控制呈现的音频内容内触觉内容的量来提高呈现给用户的音频内容的语音可懂度。替代地或附加地，音频系统可以通过控制所呈现的音频内容内的触觉内容的量来生成具有定义等级的近场效应的音频内容。

在一些实施例中，当通过基于感知模型(例如，其存储在数据储存器235中)改变输入音频信号的频谱内容来生成音频内容时，音频系统控制触觉内容的量。音频系统可以(例如，通过传感器阵列)检测由换能器阵列产生的声音。音频系统可以将关于所检测到的声音的信息输入到感知模型中，以调整触觉内容的等级。在一些其他实施例中，当生成用于呈现给用户的音频内容时，音频系统通过增强音频信号的频谱的一部分来控制触觉内容。在又一些其他实施例中，音频系统通过控制触觉内容来增强声源，其中声源(例如，虚拟声源)位于远离用户的位置。

在一些实施例中，音频控制器对输入音频信号执行触觉增强，以创建具有触觉内容的音频内容来呈现给用户。在一些其他实施例中，音频系统(例如，通过传感器阵列)检测由包括至少一个软骨传导换能器的换能器阵列产生的声音。音频系统可以检测所检测到的声音的退化等级，例如由于声压波的软骨传导。音频系统可以基于所检测到的退化等级来处理音频信号，以减轻用于呈现给用户的音频内容中声学内容的退化。

音频系统指示420换能器阵列向用户呈现音频内容，其中音频内容包括触觉内容。在一些实施例中，音频系统使用触觉内容向用户提供导航指令。换能器阵列可以包括多个软骨传导换能器，其中至少一个软骨传导换能器附接到用户的相应耳朵。音频系统通过至少一个软骨传导换能器将触觉内容施加于相应的耳朵，以向用户提供例如导航指令。

系统环境

图5是根据一个或更多个实施例的包括头戴式装置505的系统500。在一些实施例中，头戴式装置505可以是图1A的头戴式装置100或图1B的头戴式装置105。系统500可以在人工现实环境(例如，虚拟现实环境、增强现实环境、混合现实环境或其某种组合)中操作。图5所示的系统500包括头戴式装置505、耦合到控制台515的输入/输出(I/O)接口510、网络520和映射服务器525。虽然图5示出了包括一个头戴式装置505和一个I/O接口510的示例系统500，但是在其他实施例中，系统500中可以包括任意数量的这些部件。例如，可以有多个头戴式装置，每个头戴式装置具有关联的I/O接口510，每个头戴式装置和I/O接口510与控制台515通信。在替代配置中，系统500中可以包括不同的和/或附加的部件。此外，在一些实施例中，结合图5中所示的一个或更多个部件描述的功能可以以与结合图5描述的方式不同的方式分布在部件之间。例如，控制台515的一些或全部功能可以由头戴式装置505提供。

头戴式装置505包括显示组件530、光学块535、一个或更多个位置传感器540和DCA545。头戴式装置505的一些实施例具有与结合图5描述的部件不同的部件。此外，在其他实施例中，结合图5描述的各种部件提供的功能可以不同地分布在头戴式装置505的部件之间，或者被捕获在远离头戴式装置505的单独组件中。

显示组件530根据从控制台515接收的数据向用户显示内容。显示组件530使用一个或更多个显示元件(例如，显示元件120)显示内容。显示元件可以是例如电子显示器。在各种实施例中，显示组件530包括单个显示元件或多个显示元件(例如，用于用户的每只眼睛的显示器)。电子显示器的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、波导显示器、某种其他显示器或其某种组合。须注意，在一些实施例中，显示元件120还可以包括光学块535的一些或全部功能。

光学块535可以放大从电子显示器接收到的图像光，校正与图像光相关联的光学误差，并且将校正后的图像光呈现给头戴式装置505的一个或两个视窗。在各种实施例中，光学块535包括一个或更多个光学元件。光学块535中包括的示例光学元件包括：光圈、菲涅尔透镜、凸透镜、凹透镜、滤光器、反射表面或影响图像光的任何其他合适的光学元件。此外，光学块535可以包括不同光学元件的组合。在一些实施例中，光学块535中的一个或更多个光学元件可具有一个或更多个涂层，诸如部分反射或抗反射涂层。

光学块535对图像光的放大和聚焦允许电子显示器比更大的显示器物理上更小、重量更轻并且消耗更少的功率。另外，放大可以增大电子显示器所呈现的内容的视场。例如，所显示内容的视场使得所显示内容使用用户的几乎所有视场(例如，大约110度对角线)、且在一些情况下使用所有视场来呈现。此外，在一些实施例中，可以通过添加或移除光学元件来调整放大的量。

在一些实施例中，光学块535可以被设计为校正一种或更多种类型的光学误差。光学误差的示例包括桶形或枕形失真、纵向色差或横向色差。其他类型的光学误差可以进一步包括球面像差、色差或由于透镜场曲率、散光或任何其他类型的光学误差引起的误差。在一些实施例中，被提供给电子显示器用于显示的内容被预失真，并且当光学块535从电子显示器接收基于内容生成的图像光时，光学块535校正失真。

位置传感器540是生成指示头戴式装置505的位置的数据的电子装置。位置传感器540响应于头戴式装置505的运动而生成一个或更多个测量信号。位置传感器190是位置传感器540的一个实施例。位置传感器540的示例包括：一个或更多个IMU、一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器或其某种组合。位置传感器540可以包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和测量旋转运动(例如，俯仰、偏航、横滚)的多个陀螺仪。在一些实施例中，IMU对测量信号进行快速采样并根据所采样的数据计算头戴式装置505的所估计的位置。例如，IMU对从加速度计接收到的测量信号在时间上求积分以估计速度矢量并且对速度矢量在时间上求积分以确定头戴式装置505上的参考点的估计位置。参考点是可以用来描述头戴式装置505的位置的点。虽然参考点通常可以定义为空间中的点，然而实际上参考点被定义为头戴式装置505内的点。

DCA 545为局部区域的一部分生成深度信息。DCA包括一个或更多个成像设备和一个DCA控制器。DCA 545还可以包括照明器。DCA 545的操作和结构在上面关于图1A进行了描述。

音频系统550向头戴式装置505的用户提供音频内容。音频系统550基本上与上述音频系统200相同。音频系统550可以包括一个或更多个声学传感器、一个或更多个换能器和音频控制器。音频系统550可以向用户提供空间化的音频内容。在一些实施例中，音频系统550可以通过网络520向映射服务器525请求声学参数。声学参数描述局部区域的一个或更多个声学特性(例如，房间脉冲响应、混响时间、混响等级等)。音频系统550还可以从映射服务器525请求导航指令。例如，佩戴头戴式装置505的用户可以提供目的地信息，并且映射服务器525可以使用用户位置、所提供的目的地和区域模型来生成导航指令。音频系统550可以从例如DCA 545提供描述至少一部分局部区域的信息和/或从位置传感器540接收头戴式装置505的位置信息。音频系统550可以使用从映射服务器525接收的一个或更多个声学参数生成一个或更多个声音滤波器，并使用声音滤波器向用户提供音频内容。

在一些实施例中，音频系统550控制一个或更多个换能器，以例如在向用户呈现音频内容的同时，调整经由一个或更多个换能器的激励而给予用户的触觉内容的等级。音频系统550可以通过相对于阈值等级来针对一个频带调整一个或更多个换能器的激励参数，从而调整触觉内容的等级。低于阈值等级的激励参数的值对应于用户未感知到该频带内的触觉内容部分的激励范围，而处于或高于阈值等级的值对应于用户感知到该部分触觉内容的范围。

在一些其他实施例中，音频系统550控制经由换能器阵列中至少一个换能器的激励而给予用户的触觉内容。音频系统550例如经由一个或更多个换能器向用户呈现受控的触觉内容。音频系统550可以使用触觉内容向用户提供导航指令，例如通过经由附接到耳朵的至少一个软骨传导换能器将触觉内容施加到用户的相应耳朵。音频系统550还可以通过控制触觉内容来提高呈现给用户的音频内容的语音可懂度。替代地或附加地，音频系统550可以通过控制触觉内容来生成具有定义等级的近场效应的音频内容。

I/O接口510是允许用户发送动作请求并从控制台515接收响应的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据的捕获的指令，或者是在应用内执行特定动作的指令。I/O接口510可以包括一个或更多个输入装置。示例输入设备包括键盘、鼠标、游戏控制器、或者用于接收动作请求并将动作请求传送到控制台515的任何其他合适的设备。由I/O接口510接收的动作请求被传送到控制台515，控制台515执行对应于动作请求的动作。在一些实施例中，I/O接口510包括IMU，其捕获指示相对于I/O接口510初始位置的I/O接口510估计位置的校准数据。在一些实施例中，I/O接口510可以根据从控制台515接收的指令来向用户提供触觉反馈。例如，当接收到动作请求时提供触觉反馈，或者控制台515将指令传送到I/O接口510，从而使I/O接口510在控制台515执行动作时生成触觉反馈。

控制台515向头戴式装置505提供内容以根据从以下一项或更多项接收到的信息进行处理：DCA 545、头戴式装置505和I/O接口510。在图5所示的示例中，控制台515包括应用储存器555、跟踪模块560和引擎565。控制台515的一些实施例具有与结合图5描述的那些不同的模块或部件。类似地，下面进一步描述的功能可以以不同于结合图5描述的方式分布在控制台515的部件之间。在一些实施例中，本文参照控制台515讨论的功能可以在头戴式装置505或远程系统中实现。

应用储存器555存储由控制台515执行的一个或更多个应用。应用是一组指令，当由处理器执行时，该指令生成用于呈现给用户的内容。应用生成的内容可以响应于经由头戴式装置505或I/O接口510的移动从用户接收到的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。

跟踪模块560使用来自DCA 545、一个或更多个位置传感器540或其某种组合的信息来跟踪头戴式装置505或I/O接口510的移动。例如，跟踪模块560基于来自头戴式装置505的信息来确定在局部区域的映射中头戴式装置505的参考点的位置。跟踪模块560还可以确定对象或虚拟对象的位置。附加地，在一些实施例中，跟踪模块560可以使用来自位置传感器540的指示头戴式装置505的位置的数据的部分以及来自DCA545的局部区域的表示来预测头戴式装置505的未来定位。跟踪模块560向引擎565提供头戴式装置505或I/O接口510的估计或预测的未来位置。

引擎565执行应用，并从跟踪模块560接收头戴式装置505的位置信息、加速度信息、速度信息、所预测的未来位置或它们的某种组合。基于接收到的信息，引擎565确定提供给头戴式装置505以呈现给用户的内容。例如，如果接收到的信息指示用户已经向左看，则引擎565生成用于头戴式装置505的内容，该内容反映(mirror)用户在虚拟局部区域中或在用附加内容增强局部区域的局部区域中的移动。此外，引擎565响应于从I/O接口510接收到的动作请求而在控制台515上执行的应用内执行动作并向用户提供该动作被执行的反馈。所提供的反馈可以是经由头戴式装置505的视觉或听觉反馈或经由I/O接口510的触觉反馈。

网络520将头戴式装置505和/或控制台515耦合到映射服务器525。网络520可以包括使用无线和/或有线通信系统的局域网和/或广域网的任意组合。例如，网络520可以包括互联网以及移动电话网络。在一个实施例中，网络520使用标准通信技术和/或协议。因此，网络520可以包括使用诸如以太网、802.11、微波接入全球互通(WiMAX)、2G/3G/4G移动通信协议、数字用户线路(DSL)、异步传输模式(ATM)、无限带宽、PCI Express高级交换等技术的链路。类似地，网络520上使用的网络协议可以包括多协议标签交换(MPLS)、传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)、文件传输协议(FTP)等。通过网络520交换的数据可以使用包括二进制形式的图像数据(例如，便携式网络图形(PNG))、超文本标记语言(HTML)、可扩展标记语言(XML)等的技术和/或格式来表示。此外，可以使用传统的加密技术对所有或部分链路进行加密，例如安全套接字层(SSL)、传输层安全(TLS)、虚拟专用网络(VPN)、互联网协议安全(IPsec)等。

映射服务器525可以包括存储描述多个空间的虚拟模型的数据库，其中虚拟模型中的一个定位对应于头戴式装置505的局部区域的当前配置。映射服务器525经由网络520从头戴式装置505接收描述局部区域的至少一部分的信息和/或局部区域的定位信息。映射服务器525基于接收到的信息和/或定位信息，确定虚拟模型中与头戴式装置505的局部区域相关联的定位。映射服务器525部分地基于虚拟模型中确定的定位和与确定的定位相关联的任何声学参数来确定(例如，检索)与局部区域相关联的一个或更多个声学参数。映射服务器525可以将局部区域的定位和与局部区域相关联的任何声学参数值传输到头戴式装置505。映射服务器525可以向音频系统550提供导航指令。映射服务器525可以使用用户位置、用户提供的目的地和区域模型来生成导航指令。

附加的配置信息

为了说明提出了本公开的实施例的前述描述；它并不旨在是无遗漏的或将专利权利限制到所公开的精确形式。相关领域的技术人员可以理解，考虑到上述公开，许多修改和变化是可能的。

本说明书的一些部分根据对信息的操作的算法和符号表示来描述实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为将由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件、硬件或它们的任何组合中。

可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现本文描述的任何步骤、操作或过程。在一个实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。

实施例还可以涉及用于执行这里的操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中，或者任何类型的适于存储电子指令的介质中，其可以耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计以提高计算能力的架构。

实施例还可以涉及通过这里描述的计算过程生产的产品。这样的产品可以包括从计算过程得到的信息，其中信息被存储在非暂时性的、有形的计算机可读存储介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。

最后，说明书中使用的语言主要是出于可读性和指导性的目的而选择的，它可能不是为了描述或限制专利权而选择的。因此，本专利权利的范围不受本详细描述的限制，而是受基于此提出的申请的任何权利要求的限制。因此，实施例的公开旨在说明而非限制在所附权利要求中阐述的专利权范围。

Claims (15)

1.一种音频系统，包括：

控制器，其被配置为在向用户呈现音频内容的同时，控制经由换能器阵列中至少一个换能器的激励而给予用户的触觉内容；和

所述换能器阵列，其被配置为向用户呈现带有所述触觉内容的所述音频内容。

2.根据权利要求1所述的音频系统，其中，所述控制器还被配置为使用所述触觉内容向用户提供导航指令。

3.根据权利要求2所述的音频系统，其中：

所述至少一个换能器被实现为多个软骨传导换能器，至少一个所述软骨传导换能器附接到用户的相应耳朵；并且

所述控制器还被配置为经由至少一个软骨传导换能器选择性地将所述触觉内容施加于相应的耳朵，以向用户提供所述导航指令。

4.根据权利要求1所述的音频系统，其中，所述控制器还被配置为通过控制所述触觉内容来提高呈现给用户的所述音频内容的语音可懂度，和/或其中，所述控制器还被配置为通过控制所述触觉内容来生成具有定义等级的近场效应的音频内容。

5.根据权利要求1所述的音频系统，其中，所述控制器还被配置为：

当通过改变输入音频信号的频谱内容来生成所述音频内容时，基于感知模型控制所述触觉内容。

6.根据权利要求5所述的音频系统，还包括：

传感器阵列，其被配置为检测由所述换能器阵列产生的声音；并且

所述控制器还被配置为至少部分地基于所检测到的声音生成所述感知模型。

7.根据权利要求1所述的音频系统，其中，所述控制器还被配置为：

当生成用于呈现给用户的所述音频内容时，通过增强音频信号的频谱的一部分来控制所述触觉内容，和/或

通过控制所述触觉内容来增强声源，所述声源位于远离用户的位置，可选地，其中所述声源是虚拟声源。

8.根据权利要求1所述的音频系统，其中，所述控制器还被配置为：

对音频信号执行触觉增强，以创建具有所述触觉内容的音频内容，用于呈现给用户。

9.根据权利要求1所述的音频系统，还包括：

传感器阵列，其被配置为检测由所述至少一个换能器产生的声音；

并且所述控制器还被配置为：

检测所检测到的声音的退化等级；和

基于所检测到的退化等级，处理音频信号以减轻用于呈现给用户的音频内容中声学内容的退化。

10.根据权利要求1所述的音频系统，其中，所述换能器阵列包括一个或更多个软骨传导换能器，或者其中所述换能器阵列包括以下中的至少一项：一个或更多个空气传导换能器、一个或更多个骨传导换能器以及一个或更多个软骨传导换能器。

11.根据权利要求1所述的音频系统，其中，所述音频系统是头戴式装置的一部分。

12.一种方法，包括：

在向用户呈现音频内容的同时，控制经由换能器阵列中至少一个换能器的激励而给予用户的触觉内容的量；和

指示所述换能器阵列向用户呈现所述音频内容，其中所述音频内容包括所述触觉内容。

13.根据权利要求12所述的方法，还包括以下步骤中的至少一个：

使用所述触觉内容向用户提供导航指令；

通过控制所述音频内容内的所述触觉内容来提高呈现给用户的所述音频内容的语音可懂度；和

通过控制所述音频内容内的所述触觉内容，生成具有定义等级的近场效应的音频内容。

14.根据权利要求12所述的方法，还包括：

当通过改变输入音频信号的频谱内容来生成所述音频内容时，基于感知模型控制所述触觉内容，或者

在生成用于呈现给用户的所述音频内容时，通过增强音频信号的频谱的一部分来控制所述触觉内容。

15.一种计算机程序产品，包括其上编码有指令的非暂时性计算机可读存储介质，所述指令在被一个或更多个处理器执行时，使得所述一个或更多个处理器执行权利要求12至14所述的方法，或者：

在向用户呈现音频内容的同时，控制经由换能器阵列中至少一个换能器的激励而给予用户的触觉内容的量；和

指示所述换能器阵列向用户呈现所述音频内容，其中所述音频内容包括所述触觉内容。

Images