CN116076091A - 相对于移动外围设备的空间化音频 - Google Patents

Abstract

本发明公开了一种音频系统、方法和计算机程序产品，该音频系统包括可穿戴音频设备和移动外围设备。每个设备能够确定其相应的绝对或相对位置和取向。一旦该设备之间的该相对位置和取向是已知的，则在相对于该外围设备的固定位置和取向处生成虚拟声音源，使得该外围设备的位置和/或取向的任何变化都产生该虚拟声音源的该位置和/或取向的成比例变化。另外，可针对每个虚拟声音源模拟第一阶次和第二阶次经反射的音频路径，以增加经模拟的源的真实感。可通过使用头部相关传递函数(HRTF)修改初始音频信号来产生每个声音路径以模拟音频，如同其被用户的左耳和右耳感知为来自每个虚拟声音源。

Description

相对于移动外围设备的空间化音频

相关申请的交叉引用

本申请要求2020年6月17日提交的名称为“相对于移动外围设备的空间化音频(Spatialized Audio Relative to a Mobile Peripheral Device)”的美国专利申请序列号16/904,087的优先权，该申请全文以引用方式并入本文。

背景技术

本公开的方面和具体实施总体上涉及音频系统，例如包括移动外围设备和可穿戴音频设备的音频系统。

音频系统(例如，增强现实音频系统)可利用称为声音外部化的技术来向收听者渲染音频信号，以使他们的大脑产生错觉：相信他们正在感知来自环境内的物理位置的声音。具体地，当收听音频，特别是通过立体声耳机收听音频时，许多收听者感知到声音像来自“他们的头部内部”。声音外部化是指模拟和渲染声音使得它们被用户感知为如同它们来自周围环境(即声音对于收听者是“外部的”)的过程。

由于能够使用移动设备来执行这些增强现实音频系统，所以在预先确定的位置处模拟或外部化声音源对于一些用户来说可能不是期望的。

发明内容

本公开涉及包括可穿戴音频设备和移动外围设备的音频系统、方法和计算机程序产品。该可穿戴音频设备和外围设备能够确定它们在环境内的相应位置和/或取向以及它们相对于彼此的相应位置和/或取向。一旦例如可穿戴音频设备与外围设备之间的相对位置和取向是已知的，就可在相对于外围设备的固定位置和取向处生成虚拟声音源，使得外围设备的位置和/或取向的任何变化产生虚拟声音源的位置和/或取向的成比例变化。另外，可针对每个虚拟声音源模拟经反射的音频路径的一个或多个阶次以增加经模拟的源的真实感。举例来说，每个声音路径(例如，直接声音路径)以及第一阶次经反射的声音路径以及第二阶次经反射的声音路径可通过以下方法来产生：使用多个左头部相关传递函数(HRTF)及多个右HRTF来修改初始音频信号以模拟音频，如同音频分别由用户的左耳及右耳感知为来自每个虚拟声音源。

因此，本公开包括用于产生被“固定”到外围设备的空间化音频和外部化音频的音频系统、方法和计算机程序产品。这些系统、方法和计算机程序产品可利用：1)跟踪用户的头部位置和/或取向的装置；2)跟踪外围设备的位置和/或取向的装置；以及，3)渲染空间化音频信号的装置，其中虚拟声音源的位置以某种方式锚定或固定到外围设备。这可包括将虚拟声音源放置到用于左声道音频信号和右声道音频信号的外围设备的虚拟左侧和虚拟右侧。它还可包括用于中心声道音频的离散的、提取的或幻象中心虚拟声音源。本文所公开的概念还扩展到附加的声道，例如，可包括用于虚拟环绕声系统(例如，虚拟5.1或虚拟7.1)的具体实施的附加的声道。该概念还可包括面向对象的渲染，类似于例如由Dolby Atmos(杜比全景声)系统提供的面向对象的渲染，其可将虚拟高度声道添加到虚拟环绕声系统(例如，虚拟5.1.2或虚拟5.1.4)。

在一个示例中，提供一种用于模拟音频信号的计算机程序产品，该计算机程序产品包括存储于存储器中的非暂态计算机可读指令集，该非暂态计算机可读指令集可在处理器上执行且被配置为：获得或接收可穿戴音频设备相对于外围设备在环境内的取向；生成第一经修改音频信号，其中该第一经修改音频信号是至少部分地基于可穿戴音频设备相对于外围设备的取向使用第一头部相关传递函数(HRTF)被修改的；生成第二经修改音频信号，其中该第二经修改音频信号是至少部分地基于可穿戴音频设备相对于外围设备的取向使用第二头部相关传递函数(HRTF)被修改的；将第一经修改音频信号和第二经修改音频信号发送到可穿戴音频设备，其中第一经修改音频信号被配置为使用可穿戴音频设备的第一扬声器被渲染，并且第二经修改音频信号被配置为使用可穿戴音频设备的第二扬声器被渲染。

在一个方面中，该非暂态计算机可读指令集进一步被配置为：获得或接收可穿戴音频设备相对于环境内的外围设备的位置的位置，并且其中修改第一修改音频信号及修改第二经修改音频信号包括至少部分地基于可穿戴音频设备的位置与外围设备的位置之间的所计算距离的衰减。

在一个方面中，该非暂态计算机可读指令集进一步被配置为：获得或接收外围设备相对于可穿戴音频设备的取向，其中第一HRTF及第二HRTF部分地基于外围设备相对于可穿戴设备的取向。

在一个方面中，第一经修改音频信号及第二经修改音频信号被配置为模拟源自外围设备的中心近侧的第一虚拟声音源的第一直接声音。

在一个方面中，生成第一修改音频信号及生成第二经修改音频信号包括模拟源自环境内的外围设备的位置近侧的第一虚拟声音源的第一直接声音及模拟源自外围设备的位置近侧的第二虚拟声音源的第二直接声音。

在一个方面中，生成第一经修改音频信号及生成第二经修改音频信号包括模拟环绕声。

在一个方面中，生成第一经修改音频信号及生成第二经修改音频信号包括分别仅针对所有可用音频频率和/或声道的子集使用第一HRTF及第二HRTF。

在一个方面中，第一HRTF和第二HRTF进一步被配置为利用来自环境内的定位模块的定位数据，该定位数据对应于环境内的多个声学反射表面的定位。

在一个方面中，生成第一修改音频信号包括模拟源自外围设备近侧的第一虚拟声音源的第一直接声音以及模拟与第一直接声音从多个声学反射表面中的第一声学反射表面的经模拟的反射对应的主反射声音。

在一个方面中，生成第一修改音频信号包括模拟与主反射声音从多个声学反射表面中的第二声学反射表面的经模拟的反射对应的次反射声音。

在一个方面中，第一经修改音频信号及第二经修改音频信号对应于在外围设备上显示的视频内容。

在一个方面中，使用至少一个传感器来确定可穿戴音频设备相对于外围设备的取向，其中至少一个传感器位于可穿戴音频设备或外围设备上、中或附近，且至少一个传感器选自：陀螺仪、加速计、磁力计、全球定位传感器(GPS)、接近传感器、麦克风、激光雷达传感器或相机。

在另一示例中，提供一种模拟音频信号的方法，该方法包括：经由可穿戴音频设备从外围设备接收第一经修改音频信号，其中至少部分基于可穿戴音频设备相对于外围设备的取向使用第一头部相关传递函数(HRTF)来修改第一经修改音频信号；经由可穿戴音频设备从外围设备接收第二经修改音频信号，其中第二经修改音频信号是至少部分地基于可穿戴音频设备相对于外围设备的取向使用第二头部相关传递函数(HRTF)被修改的；使用可穿戴音频设备的第一扬声器渲染第一经修改音频信号；使用可穿戴音频设备的第二扬声器渲染第二经修改音频信号。

在一方面中，该方法还包括：获得可穿戴音频设备在环境内相对于外围设备的位置，并且其中修改第一经修改音频信号及修改第二经修改音频信号至少部分地基于可穿戴音频设备的位置与外围设备的位置之间的计算距离。

在一方面中，该方法还包括获得外围设备相对于可穿戴音频设备的取向，其中第一HRTF及第二HRTF部分地基于外围设备的取向。

在一方面中，第一经修改音频信号及第二经修改音频信号被配置为模拟源自外围设备的中心近侧的第一虚拟声音源的第一直接声音。

在一方面中，渲染第一经修改音频信号及渲染第二经修改音频信号包括模拟源自环境内的外围设备的位置近侧的第一虚拟声音源的第一直接声音及模拟源自外围设备的位置近侧的第二虚拟声音源的第二直接声音。

在一个方面中，生成第一经修改音频信号及生成第二经修改音频信号包括模拟环绕声。

在一个方面中，生成第一经修改音频信号及生成第二经修改音频信号包括分别仅针对所有可用音频频率和/或声道的子集使用第一HRTF及第二HRTF。

在一方面中，该方法还包括从环境内的定位模块接收定位数据；以及基于定位数据确定多个声学反射表面在环境内的位置。

在一方面中，渲染第一经修改音频信号包括模拟源自外围设备近侧的第一虚拟声音源的第一直接声音及模拟与第一直接声音从多个声学反射表面中的第一声学反射表面的经模拟的反射对应的主反射声音。

在一方面中，第一经修改音频信号包括模拟与主反射声音从多个声学反射表面中的第二声学反射表面的经模拟的反射对应的次反射声音。

在一方面中，外围设备包括被配置为显示与第一经修改音频信号及第二经修改音频信号相关联的视频内容的显示器。

在一方面中，使用至少一个传感器来确定可穿戴音频设备相对于外围设备的取向，其中至少一个传感器位于可穿戴音频设备或外围设备上、中或附近，且至少一个传感器选自：陀螺仪、加速计、磁力计、全球定位传感器(GPS)、接近传感器、麦克风、激光雷达传感器或相机。

在又一示例中，提供一种用于模拟音频的音频系统，该系统包括：外围设备，该外围设备被配置为获得或接收可穿戴音频设备在环境内相对于外围设备的取向，该外围设备进一步被配置为基于可穿戴音频设备相对于外围设备的取向使用第一头部相关传递函数(HRTF)生成第一经修改音频信号且基于可穿戴音频设备相对于外围设备的取向使用第二头部相关传递函数(HRTF)生成第二经修改音频信号；以及，可穿戴音频设备。该可穿戴音频设备包括处理器，该处理器被配置为接收第一经修改音频信号且接收第二经修改音频信号；第一扬声器，该第一扬声器被配置为使用第一扬声器来渲染第一经修改音频信号；第二扬声器，该第二扬声器被配置为使用第二扬声器渲染第二经修改音频信号。

各种实施方案的这些和其它方面从下文中描述的实施方案中将显而易见，并且将参考下文中描述的实施方案进行阐明。

附图说明

在附图中，在所有不同视图中，类似的参考符号通常是指相同的部件。此外，附图不一定按比例绘制，而重点通常放在例示各种实施方案的原理上。

图1是根据本公开的音频系统的示意性透视图。

图2A是根据本公开的可穿戴音频设备的部件的示意图。

图2B是根据本公开的外围设备的部件的示意图。

图3是根据本公开的音频系统的部件的示意性透视图。

图4是根据本公开的环境内的音频系统的部件的示意性俯视平面图。

图5是根据本公开的环境内的音频系统的部件的示意性俯视平面图。

图6是根据本公开的音频系统的部件的示意性俯视平面图。

图7是根据本公开的环境内的音频系统的部件的示意性俯视平面图。

图8是根据本公开的环境内的音频系统的部件的示意性俯视平面图。

图9是根据本公开的环境内的音频系统的部件的示意性俯视平面图。

图10是示出根据本公开的方法的步骤的流程图。

图11是示出根据本公开的方法的步骤的流程图。

具体实施方式

本公开涉及包括可穿戴音频设备(例如，耳机或耳塞)和诸如移动外围设备(例如，智能电话或平板计算机)之类的外围设备的音频系统、方法和计算机程序产品。可穿戴音频设备和外围设备能够确定它们在环境内的相应位置和/或取向以及它们相对于彼此的相应位置和/或取向。一旦例如可穿戴音频设备与外围设备之间的相对位置和取向是已知的，就可在相对于外围设备的固定位置和取向处生成虚拟声音源，使得外围设备的位置和/或取向的任何变化产生虚拟声音源的位置和/或取向的成比例变化。另外，可针对每个虚拟声音源模拟经反射的音频路径的一个或多个阶次(例如，第一阶次，且任选地还有第二阶次)以增加经模拟的源的真实感。每个声音路径(例如，直接声音路径)以及经反射的声音路径的阶次(例如，第一阶次及任选地第二阶次)可通过以下方法来产生：使用多个左头部相关传递函数(HRTF)及多个右HRTF来修改初始音频信号以模拟音频，如同音频分别由用户的左耳及右耳感知为来自每个虚拟声音源。

如本申请中所用的术语“可穿戴音频设备”旨在表示包耳、贴耳、入耳或近耳适配的设备(包括佩戴在用户的头部或肩部上的开耳式音频设备)以及将声能辐射到耳朵中或朝耳朵辐射的设备。可穿戴音频设备有时被称为耳机、耳筒、听筒、头戴式耳机、耳塞或运动耳机，可以是有线或无线的。可穿戴音频设备包括将音频信号转换为声能的声学驱动器，其可利用空气传导和/或骨传导技术。声学驱动器可容纳在耳罩中。虽然以下的一些附图和描述可示出具有一对耳罩(各自包括声学驱动器)的单个可穿戴音频设备，但是应当理解，可穿戴音频设备可以是仅具有一个耳罩的单个独立单元。可穿戴音频设备的每个耳罩可机械地连接到另一个耳罩或耳机，例如通过头带和/或通过将音频信号传导到耳罩或耳机中的声学驱动器的引线。可穿戴音频设备可包括用于无线接收音频信号的部件。可穿戴音频设备可包括主动降噪(ANR)系统的部件。可穿戴音频设备还可包括其它功能，诸如麦克风，使得可穿戴设备可用作头戴式耳机。虽然图1示出音频眼镜形状因数的一个示例，但是在其它示例中，头戴式耳机可以为入耳式、贴耳式、包耳式或近耳式头戴式耳机。在一些示例中，可穿戴音频设备可为开耳式设备，该开耳式设备包括声学驱动器以朝耳朵辐射声能，同时使耳朵向其外界和周围环境敞开。

如本文所用，术语“头部相关传递函数”或首字母缩略词“HRTF”除了其对于本领域技术人员而言的普通含义之外，还旨在广义地反映对人耳感知到的双耳声音进行计算、确定或逼近而使得收听者可逼近声音在空间中的原点位置的任何方式。例如，HRTF可为数学公式或数学公式的集合，其可与音频信号一起应用或卷积，使得收听经修改音频信号的用户可将声音感知为起源于空间中的特定点处。如本文所提及的，这些HRTF可特定于每个用户生成，例如，考虑该用户的独特生理(例如，头部、耳朵、鼻腔、口腔等的尺寸和形状)。或者，应当理解，可生成应用于所有用户的一般化HRTF，或可生成应用于用户子集的多个一般化HRTF(例如，基于至少宽泛地指示该用户的独特头部相关传递函数的某些生理特性，例如年龄、性别、头部尺寸、耳朵尺寸或其它参数)。在一个示例中，可准确地确定HRTF的某些方面，而粗略地近似其它方面(例如，准确地确定耳间延迟，但粗略地确定量值响应)。

应根据图1-图9阅读以下描述。图1是根据本公开的音频系统100的示意图。音频系统100包括可穿戴音频设备102和外围设备104。可穿戴音频设备102旨在是能够接收音频信号(例如，下文论述的修改音频信号146A-146B(示出于图2A和图2B中))且将该信号产生或渲染为环境E内且接近用户或佩戴者的耳朵的声能的设备。在一个示例中，如图1所示，可穿戴音频设备102包括眼镜形状因数音频设备，其能够将声能渲染于用户耳朵外部且接近用户耳朵。应当理解，在其它示例中，可穿戴音频设备102可选自耳罩式或入耳式耳机、耳筒、听筒、头戴式耳机、耳塞或运动耳机。外围设备104可选自能够生成和/或发射音频信号(例如，下文论述的修改音频信号146A-146B)到单独设备(例如，可穿戴音频设备102)的任何电子设备。在一个示例中，如图1和图3-图9所示，外围设备104旨在是平板电脑。然而，应当理解，外围设备104可选自智能电话、膝上型电脑或个人计算机、被配置为与可穿戴音频设备102配合地啮合和/或对可穿戴音频设备102充电的壳体，或任何其它便携式和/或可移动计算设备。

如图2A所示，可穿戴音频设备102还包括第一电路106。第一电路106包括第一处理器108和第一存储器110，该第一处理器和该第一存储器被配置为分别执行和存储第一非暂态计算机可读指令集112以执行如本文所描述的第一电路106和可穿戴音频设备102的各种功能。第一电路106还包括第一通信模块114，该第一通信模块被配置为经由有线或无线连接(例如，与外围设备104的数据连接142(下文论述))发送和/或接收数据(例如，音频数据)。在一些示例中，所发送和/或接收的音频数据包括下文所论述的修改音频信号146A-146B。应当理解，第一通信模块114还可包括用于发送和/或接收上文论述的数据的第一天线116。此外，尽管未示出，但应当理解，可穿戴音频设备102可包括位于第一电路106上、第一电路106中或与第一电路106电子通信的电池、电容器、超级电容器或其它电源。

第一电路106还包括至少一个传感器，即第一传感器118。第一传感器118可位于可穿戴音频设备102上、可穿戴音频设备102中或与可穿戴音频设备102通信。第一传感器118选自以下各项中的至少一者：陀螺仪、加速计、磁力计、全球定位传感器(GPS)、接近度传感器、麦克风或多个麦克风、相机或多个相机(例如，前安装相机和后安装相机)，或能够获得以下各项中的至少一者的任何其它传感器设备：环境E内的可穿戴音频设备102的第一位置P1、相对于外围设备104的第一位置P1；可穿戴音频设备102相对于环境E的第一取向O1；可穿戴音频设备102相对于外围设备104的第一取向O1；或可穿戴音频设备102与外围设备104之间的距离。下文将更详细地论述第一位置P1和第一取向O1。此外，第一电路106还可包括至少一个扬声器120。在一个示例中，第一传感器118是能够获得环境E的图像数据和/或外围设备104的相对位置和取向的相机或多个相机(例如，前安装相机和后安装相机)，如下文将论述。在一个示例中，第一电路106包括多个扬声器120A-120B，这些扬声器被配置为接收音频信号(例如，修改音频信号146A-146B(下文论述))且生成音频播放APB以在用户的耳朵近侧产生与音频信号相关联的可听声能。

如图2B所示，外围设备104还包括第二电路122。第二电路122包括第二处理器124和第二存储器126，该第二处理器和该第二存储器被配置为分别执行和存储第二非暂态计算机可读指令集128以执行如本文所描述的第二电路122和外围设备104的各种功能。第二电路122还包括第二通信模块130，该第二通信模块被配置为经由与可穿戴音频设备102(下文论述)和/或与能够连接到因特网的设备(例如，本地路由器或蜂窝塔)的有线或无线连接来发送和/或接收数据(例如，音频数据)。在一些示例中，所发送和/或接收的音频数据包括下文所论述的修改音频信号146A-146B。应当理解，第二通信模块130还可包括用于发送和/或接收上文论述的数据的第二天线132。此外，尽管未示出，但是应当理解，外围设备104可包括位于第二电路122上、第二电路122中或与第二电路122电子通信的电池、电容器、超级电容器或其他电源。

第二电路122还可包括至少一个传感器，即第二传感器134。第二传感器134可位于外围设备104上、外围设备104中或与外围设备104通信。第二传感器134选自以下各项中的至少一者：陀螺仪、加速计、磁力计、全球定位传感器(GPS)、接近度传感器、麦克风、相机或多个相机(例如，前安装相机及后安装相机)，或能够获得以下各项中的至少一者的任何其它传感器设备：外围设备104在环境E内的第二位置P2、相对于可穿戴音频设备102的第二位置P2；外围设备104相对于环境E的第二取向O2；外围设备104相对于可穿戴音频设备102的第二取向O2；或可穿戴音频设备102与外围设备104之间的距离。下文将更详细地论述第二位置P2和第二取向O2。在一个示例中，第二传感器134是能够获得环境E的图像数据和/或可穿戴音频设备102的相对位置和取向的相机或多个相机(例如，前安装相机和后安装相机)，如下文将论述。

此外，第二电路122还可包括至少一个设备扬声器136，以及显示器138。在一个示例中，至少一个设备扬声器136被配置为接收音频信号或音频信号的一部分(例如，修改音频信号146A-146B(下文论述))且生成音频播放APB以在相对于可穿戴音频设备102固定距离的外围设备104的第二位置P2处产生与音频信号相关联的可听声能。显示器138旨在是能够显示视频内容140的屏幕。在一个示例中，显示器138是液晶显示器(LCD)，并且还可包括触摸屏功能，例如，能够利用电阻或电容感测来确定用户的手指相对于屏幕表面的接触和位置。还应当理解，显示器138可选自以下各项中的至少一者：发光二极管(LED)屏幕、有机发光二极管(OLED)屏幕、等离子屏幕或能够将图片或视频(例如，视频内容140)呈现给观看者或用户的任何其它显示技术。

如上所述，可穿戴音频设备102和/或外围设备104分别被配置为使用第一传感器118和第二传感器134获得其在环境E内和/或相对于彼此的相应位置和取向。在一个示例环境内，E是房间，例如由被至少一个墙壁围绕并且被天花板或屋顶覆盖的地板限定的空间，并且在该空间内，单个位置可由三维笛卡尔坐标系建模和限定为具有分别与长度维度、宽度维度和高度维度相关联的限定空间内的X、Y和Z位置。因此，在环境E内获得可穿戴音频设备102的第一位置P1可以是绝对的(例如，完全由其在房间内的笛卡尔坐标定义)，或者可与另一设备(即，外围设备104)的位置有关。

类似地，每个设备可获得其自身的取向，该取向由原点在每个设备的中心处的球坐标系统内的相应偏航、俯仰和翻滚定义，其中偏航包括围绕穿过该设备并且与该设备下方的地板正交的竖直轴线的旋转，俯仰包括围绕与该竖直轴线正交并且从该房间的该至少一个墙壁延伸的第一水平轴线的旋转，并且翻滚包括围绕与该竖直轴线和该第一水平轴线正交的第二水平轴线的旋转。在一个示例中，在相对于彼此界定可穿戴音频设备102的第一取向O1及外围设备104的第二取向O2的情况下，每一设备可确定表示每一设备之间的相对高度及相对方位角的向量，其部分地基于每一设备的偏航、俯仰及翻滚。还应当理解，第一取向O1和第二取向O2还可绝对地在环境E内获得，例如相对于环境E内的预先确定的和/或固定位置。

如上文所提及，音频系统100的设备的相应电路(例如，可穿戴音频设备102的第一电路106及外围设备104的第二电路122)能够建立数据连接142且经由数据连接142发送和/或接收有线或无线数据。例如，第一通信模块114的第一天线116被配置为与第二通信模块130的第二天线132建立数据连接142。数据连接142可利用选自以下各项中的至少一者的一个或多个有线或无线数据协议：蓝牙、蓝牙低能量(BLE)或LE音频、射频识别(RFID)通信、低功率射频发射(LP-RF)、近场通信(NFC)，或能够在第一电路106与第二电路122之间建立永久或半永久连接(也称为配对连接)的任何其它协议或通信标准。应当理解，可穿戴音频设备102的第一电路106及外围设备104的第二电路122可利用数据连接142来发送和/或接收与如上文所论述的每一设备的相应位置和取向(例如，第一位置P1、第二位置P2、第一取向O1、第二取向O2及设备之间的距离)有关的数据，使得每一设备可知道其自身和/或音频系统100内的其它设备的位置和取向。另外，如上文所提及，数据连接142还可用于在音频系统100的设备之间发送和/或接收音频数据，例如修改音频信号146A-146B(下文论述)。

除了获得音频系统100的每个设备的相应位置和取向的能力之外，音频系统100还被配置成使用例如已使用至少一个头部相关传递函数(HRTF)(也在下文论述)滤波或修改经修改音频信号146A-146B(下文论述)向环境E内的用户渲染外部化声音。在音频系统100的一个示例中，通过对环境E进行建模、在环境E内的各个位置处创建虚拟声音源(例如，虚拟声音源144A-144G(统称为“多个虚拟声音源144”或“虚拟声音源144”))、以及对声波及其从虚拟声音源144(在图3-9中示出)到用户耳朵的位置的相应路径进行建模或模拟以向用户模拟声音的感知，就如同虚拟声音源144是真实或有形声音源(例如，位于每个虚拟声音源位置处的物理扬声器)一样，来实现用于增强现实音频系统和程序的声音外部化。对于每个经建模的或经模拟的声音路径，使用计算处理来将至少一对HRTF(一个与左耳相关联，一个与右耳相关联)应用于音频信号或与音频信号卷积以生成修改音频信号146A-146B。一旦已经应用了HRTF并且生成了修改音频信号146A-146B，就可通过可穿戴设备102的多个扬声器120A-120B(左扬声器和右扬声器)播放修改音频信号146A-146B，以使用户的思想产生错觉：认为他们正在感知来自位于相应虚拟声音源144的位置处的实际外部化源的声音。如下文将解释的，这些经修改音频信号146A至146B的经模拟的真实感的质量可通过以下方式来增加：模拟来自环境E内的每个虚拟声音源的第一阶次和第二阶次声学反射，并且衰减或延迟经模拟的信号以接近声音信号通过空气传播的飞行时间。应当理解，可穿戴音频设备102和/或外围设备104可以对HRTF进行处理、应用或卷积以模拟虚拟声音源，如本文将论述的。然而，由于形状因数以及因此用于附加处理部件的空间通常在可穿戴音频设备(例如，可穿戴音频设备102)中受到限制，还应理解，HRTF与所论述的音频信号的应用或卷积可能通过外围设备104的电路来实现，并且随后经修改音频信号146A至146B可以被发送或流式传输到可穿戴音频设备以被渲染为音频回放APB。

在一些示例中，相对于可穿戴音频设备102的位置的多个虚拟声音源144中的每个虚拟声音源的位置可用于计算和模拟相应多个直接声音路径148A至148G(统称为“多个直接声音路径148”或“直接声音路径148”)，即，从每个虚拟声音源144直接到用户耳朵的至少一个直接声音路径148。每个声音路径可以与相应直接声音路径148从虚拟声音源144到可穿戴音频设备102的计算的距离(例如，图3中示出的计算的距离D1，以及图5和图7中示出的计算的距离D2至D3)相关联。由于实际声波传播根据距原点的距离或半径而耗散，计算的距离可以由HRTF使用以根据计算的距离(例如，如针对本文中所论述的每个声音路径的1/距离)来衰减和/或延迟声音信号。对于每一个直接声音路径148，音频系统100可以利用多个左HRTF 150和多个右HRTF 152中的至少一个来对初始音频信号进行滤波或修改以考虑到方向性和/或计算的距离。在一个示例中，HRTF可以利用方位角、仰角以及每个虚拟声音源144与可穿戴音频设备102之间的距离来对音频信号进行滤波和/或衰减。应当理解，在一个示例中，可以从预先确定的数据库获得左HRTF和右HRTF，其中所选择的特定对或单个HRTF是基于设备之间的特定相对方位角和/或特定相对仰角被选择的。因此，在一些示例性具体实施中，相应的HRTF被存储为针对不同方位角和/或相对仰角的滤波器系数的数据库，而不是被直接计算。

在一个示例中，如图3和图4所示，音频系统100被配置为模拟来自单个虚拟声音源144A的直接声音。如图3所示，音频系统100包括处于第一位置P1和第一取向O1的可穿戴音频设备102以及处于第二位置P2和第二取向O2的外围设备104。如图所示，在外围设备104的中心C处生成或模拟单个虚拟声音源144A。虚拟声音源144A旨在模拟沿直接声音路径148A的给定音频信号的中心音频声道。另外，由于可穿戴音频设备102和外围设备104相对于彼此或在环境E中绝对的位置是已知的，因此虚拟声音源144A的位置也是已知的，并且因此第一声音源144A与可穿戴音频设备102之间的距离可以被计算，例如，如图3所示的计算的距离D1。如上文所论述并且如图4所示，音频系统100可以修改音频信号以模拟中心声道音频，如同其是在对应于外围设备104的中心C的位置和距离处生成的那样，方法是将初始中心声道音频信号与左HRTF 150和右HRTF 152一起应用或卷积为经修改音频信号146A至146B，该经修改音频信号可以通过左右扬声器(例如，图2所示的扬声器120A和120B)被播放以模拟分别从虚拟声音源144A到用户的左耳和右耳的直接声音路径148A。应当理解，在图4中，直接声音路径148A已经被示意性地拆分以示出直接声音路径148A可以如何表示已通过左HRTF 150被修改的经修改音频信号146A和已通过右HRTF 152被修改的经修改音频信号146B两者。为了简单起见，下面的图示和解释将仅涉及单独的声音路径；然而，应当理解，每个声音路径可以示意性地表示如上所述已使用的左和右HTRF被修改的两个单独的经修改音频信号。

类似于与中心声道音频信号相关联的虚拟声音源144A，可以通过附加虚拟声音源(例如，144B和144C)来模拟左声道和右声道音频信号，如图5所示。如图所示，可以接近外围设备104的左侧L生成虚拟声音源144B以模拟左声道音频，并且可以接近外围设备104的右侧R生成虚拟声音源144C以模拟右声道音频。还应理解，可以生成这些音频信号使得在虚拟声音源144B和144C之间等距地形成幻象中心声道，使得通过虚拟声音源144A模拟中心声道音频不是必需的。在一个示例中，如图5所示，虚拟音频源144B和144C可以经定位以使得当使用可穿戴音频设备102的第一位置P1作为原点时，在虚拟声音源144B和144C之间形成的角度α为约30度，例如，关于中心线CL为-15度到+15度。应当理解，该角度可以选自0至180度之间的范围内的任何角度，例如，关于中心线CL为-75度至+75度、-50度至+50度、-30度至+30度或-5度至+5度。

另外，其它虚拟声音源配置也是可能的。例如，图6示出了模拟5.1环绕声系统的虚拟声音源144的配置。例如，虚拟音频源144A至144C在可穿戴音频设备102前方并接近外围设备104的空间中被模拟以模拟如上所述的前方中心声道音频信号、前方左声道音频信号和前方右声道音频信号。为了形成5.1环绕声效果，在可穿戴音频设备102后面模拟两个附加虚拟声音源(例如，144D和144E)以分别模拟后方左音频信号和后方右音频信号。应当理解，其他布置和配置是可能的，例如，可以添加附加虚拟声音源，使得音频系统100可以模拟7.1和9.1环绕声系统，并且尽管未示出，但还可包括至少一个经模拟的重低音扬声器以提供经模拟的基本声道音频。

另选地并且尽管未示出，但是应当理解，前述示例性配置中的任一者内的一个或多个虚拟声音源144可以被真实声音源(例如，置于环境E内处于其旨在替换的虚拟声音源的近似定位处的真实有形扬声器)替换。例如，在针对虚拟声音源144A指示的定位处渲染的中心声道音频信号可以被替换(即，不在该位置处被虚拟地生成)，并且至少一个设备扬声器136可在外围设备104的音频回放APB仅包括中心声道音频的定位处渲染音频回放APB。类似地，由于可能难以模拟对应于基本音频声道的音频的方向性，因此可以将真实重低音扬声器置于环境E内以替换虚拟等效基本声音源。除前述内容之外或作为前述内容的另选方案，应当理解，前述示例性配置中的任一者内的一个或多个虚拟声音源144可以由可穿戴音频设备102渲染而无需如本文所述的被虚拟化或空间化。例如，在利用左、右和中心音频声道的配置中，如上文所论述，音频系统100可以通过在环境E内生成模拟那些声道中的一个或多个的虚拟音频源144来选择虚拟化或空间化那些声道中的任一个。然而，除对这些声道中的一个或多个进行空间化之外或作为这些声道中的一个或多个进行空间化的另选方案，音频系统100可以在未被空间化的可穿戴音频设备102的扬声器处渲染音频，例如，这些声道中的一个或多个可以被可穿戴音频设备102渲染为可听声音并且被用户感知为如同其来自用户头部内部那样。

另外，在一些具体实施中，本文所述的用于将音频在空间上置位到给定定位(诸如外围设备的显示器的中心)的技术可以通过频率和/或声道分离待在空间上被置位的音频，使得音频的部分在空间上被置位而其它部分不在空间上被置位。例如，与低频相关的音频部分(诸如用于重低音扬声器声道的那些音频部分)可以被排除在使用本文以各种方式描述的技术进行空间化之外，因为那些低频与其他频率相比是相对空间上/方向上不可知的。换句话讲，在低频和/或重低音扬声器声道的情况下，用户的大脑可使用很少的信息来定位低频和/或重低音扬声器声道的源，并且因此当变换要在空间上被置位的音频时包括那些频率和/或该声道将增加计算成本而具有很少乃至没有心理声学益处(因为无论如何用户将无法分辨那些低频和/或重低音扬声器声道来自何处)。这就是为什么音频系统中的重低音扬声器通常可以被置于房间中的任何地方的原因，因为低频是方向上不可知的。在一些此类具体实施中，技术包括：在执行如本文以各种方式描述的空间置位之前分离出频率、声道和/或部分(例如，低频和/或重低音扬声器声道)，针对频率、声道和/或部分的其余部分执行空间置位，并且随后将非空间上置位的方面(例如，低频和/或重低音扬声器声道)与空间上置位的方面(例如，所有其它频率和/或所有其它声道)相组合。

在下面的示例中，对应于图7至图9，将描述和示出仅两个虚拟声音源，即，虚拟声音源144B和144C；然而，应当理解，如上所述，具有更多或更少虚拟声音源的其他配置以及具有一个或多个重低音扬声器以模拟一个或多个基本声道的配置是可能的。如上所述，每个虚拟声音源144的位置和取向相对于外围设备104的位置和取向被置位、锁定或以其它方式在空间上被固定。换句话讲，如果外围设备104在环境E内或相对于可穿戴音频设备102移动、旋转、枢转、倾斜或以其它方式改变位置、定位或取向，那么多个虚拟声音源144将成比例地移动、旋转、枢转、倾斜或以其它方式改变位置、定位或取向，使得每个虚拟声音源144的位置和取向相对于外围设备104固定。由于音频系统100的设备能够获得它们相对于彼此或在环境E内的相对位置和取向，因此设备和/或虚拟声音源144之间的距离可以被HRTF用来衰减和/或延迟声音信号以模拟真实声波在从每个相应虚拟声音源144的位置通过空气传播时将经历的实际飞行时间。因此，通过使用左HRTF 150和右HRTF 152将初始音频信号改变修改为经修改音频信号146A和146B，可以通过可穿戴音频设备102向佩戴者、用户或收听者模拟多个真实外部源将经历的真实世界方向性以及真实世界时间延迟。另外，尽管在一些示例中，环境E内的虚拟声音源的位置与外围设备104的位置和取向成比例地置位或固定，例如将与外围设备104的移动成比例地移动、旋转、枢转、倾斜或以其他方式改变位置、定位或取向，但是在一些示例中，每个虚拟声音源的高度被固定或限制到相对于用户下方的地板的特定高度。例如，如果用户将外围设备旋转地枢转45度，这将使外围设备的屏幕基本上面向用户上方的天花板，则已在外围设备的位置的相对侧或后侧上被空间化或虚拟化的任何前方虚拟声音源(例如，在5.1环绕声配置中)将成比例地枢转，并且可以接近用户下方的地板或在用户下方的地板内，而已在用户后方被空间化或虚拟化的后方虚拟声音源将成比例地枢转，并且可以接近用户上方的天花板或在用户上方的天花板内。因此，在一些示例中，虚拟声音源(例如，至少前方和后方经模拟的虚拟声音源)的高度可以被固定或锁定到距地板的特定高度(例如，可穿戴音频设备102距地板的近似高度)。在其它示例中，虚拟声音源的高度可以相对于环境E内的基座或其它物体的高度被固定或锁定。

在操作期间，如图7所示，音频系统100可以模拟两个虚拟声音源，例如对应于左右声道音频信号的虚拟声音源144B和144C，其中虚拟声音源相对于外围设备104的第二取向O2和第二位置P2在空间上被置位、锁定或以其它方式固定。如图所示，如果用户旋转或以其它方式改变外围设备104的取向(例如，围绕第二位置P2顺时针旋转外围设备104约45度)，那么虚拟声音源144B和144C的位置将在距外围设备104的固定距离处并围绕位置P2转动约45度，使得在外围设备104旋转之后，虚拟声音源144B和144C相对于外围设备104的位置与它们在旋转之前的位置相同。值得注意的是，通过在用户保持其初始头部位置(即，可穿戴音频设备102的第一位置P1和第一取向O1)的同时将外围设备104旋转45度，每个虚拟声音源144B和144C相对于可穿戴音频设备102的位置将被改变。例如，当顺时针旋转外围设备104约45度时，如图7所示，虚拟声音源144B将远离可穿戴音频设备102移动，而虚拟声音源144C将更靠近可穿戴音频设备102移动。换句话讲，计算的距离D2将增加，而计算的距离D3将减小，如图所示。因此，为了考虑外围设备104相对于可穿戴音频设备102的旋转，左HRTF150可包括虚拟声音源144B的计算的距离D2中的改变以模拟到可穿戴音频设备102的距离中的增加，而右HRTF 152可包括虚拟声音源144C的计算的距离D3的改变以模拟到可穿戴音频设备102的距离中的减小。如上所述，应当理解，可以在上文的示例性配置中的任一者中模拟任何数量的虚拟声音源144，并且每个虚拟声音源144可以相对于外围设备104在空间上被置位、锁定或固定，如本文所公开的那样。此外，尽管前述示例仅公开了外围设备104只是顺时针旋转地旋转45度，但是取向或位置中的更复杂的变化(例如，倾斜、移动、枢转或这些运动的任何组合)可以被考虑为与上述类似的方式。

在另一示例中，音频系统100可以利用定位数据来进一步增加外部化和/或虚拟化声音源144的经模拟的真实感。如上所述，除模拟从每个虚拟声音源144开始的直接声音路径之外，增加经模拟的声音的真实感的一种方式是添加附加虚拟声音源144，其模拟当传播声音信号从声学反射表面反射并返回到用户时真实音频源产生的主反射和次反射。换句话讲，真实声音源形成球面波而不仅仅是定向波，其从例如声学反射表面154A至154D(统称为“声学反射表面154”或“表面154”)反射，声学反射表面可包括但不限于墙壁、地板、天花板和诸如家具的其它声学反射表面。因此，定位是指获得用户周围(例如，可穿戴音频设备102和/或外围设备104周围)的直接或邻近区域或环境E的数据的过程，其将指示用户的环境E内的物体的定位、取向和/或声学反射性质。一旦被定位，则可以计算每个虚拟声音源144与每个表面154之间的反射路径。路径接触每个表面154的点(本文中称为接触点CP)可用于生成新的虚拟声音源，该新的虚拟声音源在被模拟时产生模拟初始虚拟声音源144的声学反射的声音。生成这些新的虚拟声音源的一种方式是针对每个虚拟声音源创建镜像虚拟声音源，其中镜像虚拟声音源关于声学反射表面154呈镜像，如下文将关于图8描述的。应当理解，为了帮助获得关于用户、可穿戴音频设备102和/或外围设备104周围的环境E的定位数据，音频系统100还可包括定位模块156(在图2A和图2B中示出)，该定位模块可以被提供为单独的设备或者可以被集成在可穿戴音频设备102或外围设备104内。例如，可以提供单独的定位模块156，其中单独的定位模块156选自以下各项中的至少一项：测距器(例如，LIDAR传感器)、接近传感器、相机或多个相机、全球定位传感器(GPS)或者能够获得、收集或生成关于用户、可穿戴音频设备102、外围设备104和声学反射表面154的定位的定位数据的任何传感器、设备、部件或技术。在一个示例中，定位模块156包括集成在可穿戴音频设备102或外围设备104内的至少一个相机，例如作为第一传感器118或第二传感器134。定位模块156还可包括或采用人工神经网络、深度学习引擎或算法或者被训练为从由相机捕获的图像数据在视觉上检测环境E内的声学反射表面154的声学性质、定位和取向的其他机器学习算法。在另一示例中，定位模块156经布置以收集与用户、可穿戴音频设备102或外围设备104所处的环境的混响时间和/或声学衰减特性相关的数据。例如，定位模块156可包括专用扬声器并且可以被配置为产生指定的声音信号(例如，“砰”或人类听觉范围之外的其他信号)并测量反射的响应(例如，用专用麦克风)。在一个示例中，吸收系数根据整个环境的混响时间或其他特性进行计算并作为近似值被应用于声学反射表面154。如果声音信号被特定地引导或瞄准声学反射表面154，则初始信号与最初接收到的反射之间的差可用于计算声学反射表面154的吸收系数。在一个示例中，定位模块包括全球定位系统(GPS)传感器(例如嵌入在可穿戴音频设备102或外围设备104中)，并且定位模块156可以选择性地利用来自在每个虚拟声音源144的某个阈值距离内的声学反射表面154的数据。

一旦使用例如定位模块156获得定位数据，并且除上文所述的直接声音路径148A和148B之外，则可以确定每个虚拟声音源144与每个声学反射表面154之间的路径。在每个确定的路径和每个声学反射表面154之间的结合部处，存在接触点CP。在一个示例中，如图8所示，在环境E内的音频系统100的俯视图中，音频系统100包括主镜像虚拟声音源158A和158B(统称为“主镜像虚拟声音源158”或主镜像源158”)。每个主镜像虚拟声音源158是在与初始虚拟声音源144的位置等同的位置处生成并关于声学反射表面154呈镜像的新的虚拟声音源。例如，如图所示，确定虚拟声音源144B与声学反射表面154A(示为墙壁)之间的路径(由图8中的虚线示出)。所确定的路径与声学反射表面154A相遇的点被标记为接触点CP。虚拟声音源144B的拷贝被生成为处于与虚拟声音源144B在关于声学反射表面154A镜像之后的位置等同的位置处的主镜像虚拟声音源158A。一旦在所示位置处生成，则从该主镜像声音源158A的位置生成的经模拟的声音模拟第一阶次或主经反射的声音路径160A(由图8中的虚线示出)，其模拟来自虚拟声音源144B的声音，如同其在环境E内生成并从声学反射表面154A反射到用户耳朵的位置(即，可穿戴音频设备102的近似位置)那样。可以确定并模拟类似路径以生成对应于针对虚拟声音源144C的第一阶次或主经反射的声音路径160B的主镜像虚拟声音源158B。

类似地，音频系统100可以生成次镜像虚拟声音源162A至162B(统称为“次镜像虚拟声音源162”或“次镜像源162”)。每个次镜像虚拟声音源162是在与初始虚拟声音源144的位置等同的位置处生成并关于不同的声学反射表面154呈镜像的新的虚拟声音源。例如，如图所示，确定两部分路径(由图8中的两条虚线示出)，即，其中第一部分从虚拟声音源144B延伸到声学反射表面154A(示为墙壁)，并且第二部分从路径的第一部分的终端延伸到第二声学反射表面154B(示为墙壁)。所确定的路径的第二部分与声学反射表面154B相遇的点被标记为接触点CP。虚拟声音源144B的拷贝被生成为处于与虚拟声音源144B关于声学反射表面154B镜像之后的位置等同的位置处的次镜像虚拟声音源162A。一旦在所示位置处生成，则从该次镜像声音源162A的位置生成的经模拟的声音模拟第二阶次或次经反射的声音路径164A(由图8中的虚线示出)，其模拟来自虚拟声音源144B的声音，如同其在环境E内生成并从声学反射表面154A和声学反射表面154B反射到用户耳朵的位置(即，可穿戴音频设备102的近似位置)那样。可以确定并模拟类似路径以生成对应于第二阶次或次经反射的声音路径164B的次镜像虚拟声音源162B，该第二阶次或次经反射的声音路径从声学反射表面154A和声学反射表面154C反射以模拟虚拟声音源144C的第二阶次经反射的音频。

类似于上文关于图7描述的示例，主镜像虚拟声音源158和次镜像虚拟声音源162相对于外围设备104的取向和位置被置位或以其他方式在空间上被锁定。换句话讲，如果外围设备104在环境E内或相对于可穿戴音频设备102移动、旋转、枢转、倾斜或以其它方式改变位置、定位或取向，那么环境E内的多个虚拟声音源144将成比例地移动、旋转、枢转、倾斜或以其它方式改变位置、定位或取向，使得每个虚拟声音源144的位置和取向相对于外围设备104被固定。由于虚拟声音源144的定位、位置和/或取向将随着外围设备104而改变，因此每个主镜像虚拟声音源158和每个次镜像虚拟声音源也将移动，使得它们继续模拟虚拟声音源144关于每个声学反射表面的反射。

应当理解，可以针对上文所述的每一个虚拟声音源配置(例如，5.1、7.1和9.1环绕声配置以及包括与基本声道音频信号相关联的至少一个虚拟重低音扬声器的配置)使用主镜像虚拟声音源158和次镜像虚拟声音源162来模拟主经反射的声音路径160和次经反射的声音路径164。另外，本公开不限于主反射和次反射。例如，更高阶次的反射是可能的，例如，第三阶次反射、第四阶次反射、第五阶次反射等是可能的；然而，随着附加阶次反射以及因此经模拟的虚拟声音源的数量增加，计算处理能力和处理时间呈指数地缩放。在一个示例中，音频系统100被配置为模拟六个虚拟声音源144，例如，对应于5.1环绕声配置。对于每个虚拟声音源144，计算直接声音路径148。对于每个虚拟声音源144，存在对应于从四个墙壁、天花板和地板(例如，声学反射表面154)的第一阶次反射的六个第一阶次或主经反射的声音路径160。每个第一阶次经反射的路径可以再次从其它五个剩余表面154反射，从而产生指数数量的虚拟源和经反射的声音路径。应当理解，在音频系统100的一些示例性具体实施中，第二阶次反射164的数量取决于环境E的几何结构，例如房间相对于可穿戴音频设备102和虚拟声音源144的位置的形状。例如，在矩形房间几何结构中，一旦选择了第一阶次或主经反射的声音路径160，则某些第二阶次反射164在物理上可能是不可能的，例如在接触点CP将需要被定位在房间外部以获得有效的第二阶次反射路径的情况下。因此，在具有矩形房间几何结构的示例中，应当理解，并非针对每个第一阶次经反射的声音路径160模拟五个次经反射的声音路径164，而是可以仅模拟三个次经反射的声音路径164以考虑由特定房间几何结构引起的无效的第二阶次反射164。例如，并非模拟六个第一阶次反射160和三十个第二阶次反射164(例如，其中六个第一阶次声音路径160中的每一者各自从五个剩余墙壁反射)，而是音频系统100可以模拟六个第一阶次反射160和仅十八个次经反射的声音路径164(例如，六个第一阶次反射160中的每一者从五个剩余墙壁中的三个墙壁反射)。还应理解，音频系统100可以被配置为跨越所有经模拟的路径执行有效性测试以确保从每个经模拟的源到例如可穿戴音频设备102的路径为有效路径，即，根据环境E的几何结构而在物理上是可实现的。

另外，由于实时生成这些第一阶次和第二阶次反射所需的潜在处理能力，在一个示例中，音频系统100利用外围设备104的第二电路122的处理能力，例如，使用第二处理器124、第二存储器126和/或第二非暂态计算机可读指令集128。然而，应当理解，在音频系统100的一些示例性具体实施中，音频系统100可以利用可穿戴音频设备102的第一电路106的处理能力(例如，使用第一处理器108、第一存储器110和/或第一非暂态计算机可读指令集112)来模拟本文所述的第一和第二阶次经反射的声音源。此外，应当理解，音频系统100可以以任何可想到的组合在第一电路106与第二电路122之间拆分处理负载。

在操作期间，如图9所示，音频系统100可以模拟两个虚拟声音源，例如对应于左声道音频信号和右声道音频信号的虚拟声音源144B和144C，其中虚拟声音源相对于外围设备104的第二取向O2和第二位置P2在空间上被置位、锁定或以其它方式固定。如图所示，如果用户旋转或以其它方式改变外围设备104的取向(例如，围绕第二位置P2顺时针旋转外围设备104约45度)，那么虚拟声音源144B和144C的位置将在距外围设备104的固定距离处并围绕位置P2转动约45度，使得在外围设备104旋转之后，虚拟声音源144B和144C相对于外围设备104的位置与它们在旋转之前的位置相同。值得注意的是，通过在用户保持其初始头部位置(即，可穿戴音频设备102的第一位置P1和第一取向O1)的同时将外围设备104旋转45度，相对于可穿戴音频设备102的每个虚拟声音源144B和144C的位置、每个主镜像声音源158的位置以及每个次镜像声音源162的位置将被改变。例如，当顺时针旋转外围设备104约45度时，如图9所示，虚拟声音源144B将远离可穿戴音频设备102移动，而虚拟声音源144C将更靠近可穿戴音频设备102移动。另外，这些变化导致每个主镜像虚拟声音源158和每个次镜像虚拟声音源162的成比例的镜像变化以考虑虚拟声音源144相对于可穿戴音频设备102的位置P1的移动。因此，至少一个左HRTF 150可包括虚拟声音源144B的计算的距离的改变以模拟到可穿戴音频设备102的距离中的增加，至少一个左HRTF 150可包括主镜像虚拟声音源158A的计算的距离中的改变以模拟到可穿戴音频设备102的距离中的增加，并且至少一个左HRTF 150可包括次镜像虚拟声音源162A的计算的距离的改变以模拟到可穿戴音频设备102的距离中的增加。类似地，至少一个右HRTF 150可包括虚拟声音源144B的计算的距离的改变以模拟到可穿戴音频设备102的距离中的增加，至少一个左HRTF 150可包括主镜像虚拟声音源158A的计算的距离中的改变以模拟到可穿戴音频设备102的距离中的增加，并且至少一个左HRTF 150可包括次镜像虚拟声音源162A的计算的距离的改变以模拟到可穿戴音频设备102的距离中的增加。基于虚拟声音源144C的位置和/或取向的变化，可以使用左HRTF 150和右HRTF 152进行类似的修改。此外，尽管前述示例仅公开了外围设备104只是顺时针旋转地旋转45度，但是取向或位置的更复杂的变化(例如，倾斜、移动、枢转或这些运动的任何组合)可以被考虑为与上述类似的方式。

图10和图11示出了根据本公开的方法200的示例性步骤。方法200包括例如：经由可穿戴音频设备102从外围设备104接收第一经修改音频信号146A，其中第一经修改音频信号146A是至少部分地基于可穿戴音频设备102相对于外围设备104的取向O1使用第一头部相关传递函数(HRTF)150被修改的(步骤202)；经由可穿戴音频设备102从外围设备104接收第二经修改音频信号146B，其中第二经修改音频信号146B是至少部分地基于可穿戴音频设备102相对于外围设备104的取向O1使用第二头部相关传递函数(HRTF)152被修改的(步骤204)；获得在环境E内相对于外围设备104的可穿戴音频设备102的位置P1，并且其中修改第一经修改音频信号146A和修改第二经修改音频信号146B至少部分地基于可穿戴音频设备102的位置P1与外围设备104的位置P2之间的计算的距离D1至D3(步骤206)；获得外围设备104相对于可穿戴音频设备102的取向O2，其中第一HRTF 150和第二HRTF 152部分地基于外围设备104的取向O2(步骤208)；使用可穿戴音频设备102的第一扬声器120A来渲染第一经修改音频信号146A(步骤210)；以及使用可穿戴音频设备102的第二扬声器120B来渲染第二经修改音频信号146B(步骤212)。任选地，方法200还可包括：从环境E内的定位模块156接收定位数据(步骤214)；以及基于定位数据来确定环境E内的多个声学反射表面154的定位(步骤216)。

如本文所定义和使用的所有定义应理解为涵盖词典定义、以引用的方式并入的文件中的定义和/或定义的术语的普通含义。

除非明确相反地指出，否则如本文在说明书和权利要求书中所使用的不定冠词“一个”和“一种”应理解为意指“至少一个/一种”。

如本文在说明书和权利要求书中所使用的，短语“和/或”应理解为意指如此结合的元素中的“任一个元素或两个元素”，即，在一些情况下结合存在并且在其他情况下分离存在的元素。用“和/或”列出的多个元素应以相同的方式理解，即，如此结合的元素中的“一个或多个元素”。除由“和/或”从句明确标识的元素之外，其他元素可以任选地存在，无论是与明确标识的那些元素相关还是不相关。

如本文在说明书和权利要求书中所使用的，“或”应理解为具有与如上所定义的“和/或”相同的含义。例如，当在列表中分离项时，“或”或“和/或”应被理解为包括性的，即包括多个元素或元素列表中的至少一个元素和多于一个元素，以及任选的附加的未列出的项。仅明确相反地指出的术语(诸如“……中的仅一个”或“……中的恰好一个”或“由……组成”(当用在权利要求书中时))将指包括多个元素或元素列表中的恰好一个元素。一般来讲，当其后跟排他性术语(诸如“任一个”、“……中的一个”、“……中的仅一个”或“……中的恰好一个”)时，如本文所使用的术语“或”应仅理解为指示排他性另选方案(即，“一个或另一个但不是两个”)。

如本文在说明书和权利要求书中所使用的，短语“至少一个”(关于一个或多个元件的列表)应理解为意指选自元素列表中的元素中的任何一个或多个元素的至少一个元素，但不必包括在元素列表内具体列出的每个元素中的至少一个元素，并且不排除元素列表中的元素的任何组合。该定义还允许可以任选地存在除在短语“至少一个”所指的元素列表内明确标识的元素之外的元素，无论是与明确标识的那些元素相关还是不相关。

还应理解，除非明确相反地指出，否则在本文要求保护的包括多于一个步骤或动作的任何方法中，方法的步骤或动作的次序不一定限于叙述方法的步骤或动作的次序。

在权利要求书以及以上说明书中，所有连接短语诸如“包括”、“包含”、“携带”、“具有”、“含有”、“涉及”、“容纳”、“由……构成”等应理解为开放式的，即意指包括但不限于。仅连接短语“由...组成”和“基本上由...组成”分别应为封闭的或半封闭的连接短语。

所述的主题的上述示例可以以多种方式中的任何方式实现。例如，可以使用硬件、软件或它们的组合来实现一些方面。当在软件中至少部分地实现任何方面时，可以在任何合适的处理器或处理器集合上执行软件代码，无论是在单个设备或单个计算机中提供还是分布在多个设备/计算机之间。

本公开可以被实现为任何可能的技术细节集成级别下的系统、方法和/或计算机程序产品。计算机程序产品可以包括一个(或多个)计算机可读存储介质，该计算机可读存储介质在其上具有计算机可读程序指令，用于使处理器执行本公开的各方面。

计算机可读存储介质可以是可以保持和存储供指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的不完全列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或Flash存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码的设备(诸如具有记录在其上的指令的凹槽中的穿孔卡或凸起结构)、以及前述的任何合适的组合。如本文所用，计算机可读存储介质不应理解为暂态信号本身，诸如无线电波或其他自由传播电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过线材传输的电信号。

本文所述的计算机可读程序指令可以经由网络(例如，互联网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到相应的计算/处理设备，或者下载到外部计算机或外部存储设备。网络可以包括铜传输线缆、光学传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令并转发计算机可读程序指令以存储在相应的计算/处理设备内的计算机可读存储介质中。

用于执行本公开的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、针对集成电路的配置数据或以一种或多种编程语言(包括：面向对象的编程语言，诸如Smalltalk、C++等；以及过程化程序设计语言，诸如“C”程序设计语言或类似程序设计语言)的任何组合编写的源代码或对象代码中的任一者。计算机可读程序指令可以完全在用户的计算机上执行，部分地在用户的计算机上执行，作为独立的软件包执行，部分地在用户的计算机上执行，部分地在远程计算机上或完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，使用互联网服务提供商通过互联网)。在一些示例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过以下方法来执行计算机可读程序指令以便执行本公开的各方面：利用计算机可读程序指令的状态信息来使电子电路个性化。

本文参考根据本公开的示例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本公开的各方面。应当理解，流程图图示和/或框图中的每个框以及流程图图示和/或框图中的框的组合可以通过计算机可读程序指令实现。

计算机可读程序指令可以提供给专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以指引计算机、可编程数据处理装置和/或其他设备以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实现在流程图和/或框图或框中指定的功能/动作的各方面的指令。

计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使一系列操作步骤在计算机、其他可编程装置或其他设备上执行以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现在流程图和/或框图的一个或多个框中指定的功能/动作。

附图中的流程图和框图示出了根据本公开的各个示例的系统、方法和计算机程序产品的可能具体实施的架构、功能和操作。就这一点而言，流程图或框图中的每个框可表示指令模块、指令片段或指令部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些另选具体实施中，框中所述的功能能够不按照附图中所述的次序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可基本上同时执行，或者框有时可以相反的顺序执行。框图和/或流程图图示中的每个框以及框图和/或流程图图示中的框的组合可由进行指定功能或动作或执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。

其他具体实施都在以下权利要求书和申请人可能享有的其他权利要求的范围内。

虽然本文已描述和示出了各种示例，但本领域的普通技术人员将易于设想用于执行本文所述的功能和/或获得本文所述的结果和/或优点中的一个或多个的多种其他设备和/或结构，并且此类变型和/或修改中的每一个被认为在本文所述的示例的范围内。更一般地，本领域的技术人员将容易理解，本文所述的所有参数、尺寸、材料和构型旨在为示例性的，并且实际参数、尺寸、材料和/或构型将取决于使用本发明教导内容的一个或多个具体应用。本领域的技术人员将认识到或仅使用常规实验就能够确定本文所述的具体示例的许多等同物。因此，应当理解，上述实施例仅以举例的方式呈现，并且在所附权利要求及其等同物的范围内，可以不同于具体描述和要求保护的方式来实践示例。本公开的示例涉及本文所述的每个单独的特征、系统、制品、材料、成套工具和/或方法。此外，如果此类特征、系统、制品、材料、成套工具和/或方法不相互矛盾，则两个或更多个此类特征、系统、制品、材料、成套工具和/或方法的任何组合包括在本公开的范围内。

Claims (25)

1.一种用于模拟音频信号的计算机程序产品，所述计算机程序产品包括存储在存储器中的非暂态计算机可读指令集，所述非暂态计算机可读指令集能够在处理器上被执行并被配置为：

获得或接收可穿戴音频设备相对于外围设备在环境内的取向；

生成第一经修改音频信号，其中所述第一经修改音频信号是至少部分地基于所述可穿戴音频设备相对于所述外围设备的所述取向使用第一头部相关传递函数(HRTF)被修改的；

生成第二经修改音频信号，其中所述第二经修改音频信号是至少部分地基于所述可穿戴音频设备相对于所述外围设备的所述取向使用第二头部相关传递函数(HRTF)被修改的；

将所述第一经修改音频信号和所述第二经修改音频信号发送到所述可穿戴音频设备，其中所述第一经修改音频信号被配置为使用所述可穿戴音频设备的第一扬声器被渲染，并且所述第二经修改音频信号被配置为使用所述可穿戴音频设备的第二扬声器被渲染。

2.根据权利要求1所述的计算机程序产品，其中所述非暂态计算机可读指令集还被配置为：

获得或接收在所述环境内相对于所述外围设备的位置的所述可穿戴音频设备的位置，并且其中修改所述第一经修改音频信号和修改所述第二经修改音频信号包括至少部分地基于所述可穿戴音频设备的所述位置与所述外围设备的所述位置之间的计算的距离的衰减。

3.根据权利要求1所述的计算机程序产品，其中所述非暂态计算机可读指令集还被配置为：

获得或接收所述外围设备相对于所述可穿戴音频设备的取向，其中所述第一HRTF和所述第二HRTF部分地基于所述外围设备相对于所述可穿戴设备的所述取向。

4.根据权利要求1所述的计算机程序产品，其中所述第一经修改音频信号和所述第二经修改音频信号被配置为模拟源自接近所述外围设备的中心的第一虚拟声音源的第一直接声音。

5.根据权利要求1所述的计算机程序产品，其中生成所述第一经修改音频信号和生成所述第二经修改音频信号包括：模拟源自接近所述环境内的所述外围设备的位置的第一虚拟声音源的第一直接声音，以及模拟源自接近所述外围设备的所述位置的第二虚拟声音源的第二直接声音。

6.根据权利要求1所述的计算机程序产品，其中生成所述第一经修改音频信号和生成所述第二经修改音频信号包括模拟环绕声。

7.根据权利要求1所述的计算机程序产品，其中生成所述第一经修改音频信号和生成所述第二经修改音频信号包括针对所有可用音频频率和/或声道的仅子集分别使用所述第一HRTF和所述第二HRTF。

8.根据权利要求1所述的计算机程序产品，其中所述第一HRTF和所述第二HRTF还被配置为利用来自所述环境内的定位模块的定位数据，所述定位数据对应于所述环境内的多个声学反射表面的定位。

9.根据权利要求8所述的计算机程序产品，其中生成所述第一经修改音频信号包括：模拟源自接近所述外围设备的第一虚拟声音源的第一直接声音，以及模拟与所述第一直接声音从所述多个声学反射表面中的第一声学反射表面的经模拟的反射对应的主反射声音。

10.根据权利要求9所述的计算机程序产品，其中生成所述第一经修改音频信号包括模拟与所述主反射声音从所述多个声学反射表面中的第二声学反射表面的经模拟的反射对应的次反射声音。

11.根据权利要求1所述的计算机程序产品，其中所述第一经修改音频信号和所述第二经修改音频信号对应于在所述外围设备上显示的视频内容。

12.根据权利要求1所述的计算机程序产品，其中使用至少一个传感器来确定所述可穿戴音频设备相对于所述外围设备的所述取向，其中所述至少一个传感器位于所述可穿戴音频设备或所述外围设备之上、之中或附近，并且所述至少一个传感器选自：陀螺仪、加速计、磁力计、全球定位传感器(GPS)、接近传感器、麦克风、激光雷达传感器或相机。

13.一种模拟音频信号的方法，所述方法包括：

经由可穿戴音频设备从外围设备接收第一经修改音频信号，其中所述第一经修改音频信号是至少部分地基于所述可穿戴音频设备相对于所述外围设备的取向使用第一头部相关传递函数(HRTF)被修改的；

经由所述可穿戴音频设备从所述外围设备接收第二经修改音频信号，其中所述第二经修改音频信号是至少部分地基于所述可穿戴音频设备相对于所述外围设备的所述取向使用第二头部相关传递函数(HRTF)被修改的；

使用所述可穿戴音频设备的第一扬声器来渲染所述第一经修改音频信号；以及

使用所述可穿戴音频设备的第二扬声器来渲染所述第二经修改音频信号。

14.根据权利要求13所述的方法，其中所述方法还包括：

获得可穿戴音频设备相对于所述外围设备在环境内的位置，并且其中修改所述第一经修改音频信号和修改所述第二经修改音频信号至少部分地基于所述可穿戴音频设备的位置与所述外围设备的位置之间的计算的距离。

15.根据权利要求13所述的方法，还包括：

获得所述外围设备相对于所述可穿戴音频设备的取向，其中所述第一HRTF和所述第二HRTF部分地基于所述外围设备的所述取向。

16.根据权利要求13所述的方法，其中所述第一经修改音频信号和所述第二经修改音频信号被配置为模拟源自接近所述外围设备的中心的第一虚拟声音源的第一直接声音。

17.根据权利要求13所述的方法，其中渲染所述第一经修改音频信号和渲染所述第二经修改音频信号包括：模拟源自接近所述环境内的所述外围设备的位置的第一虚拟声音源的第一直接声音，以及模拟源自接近所述外围设备的所述位置的第二虚拟声音源的第二直接声音。

18.根据权利要求13所述的方法，其中生成所述第一经修改音频信号和生成所述第二经修改音频信号包括模拟环绕声。

19.根据权利要求13所述的方法，其中生成所述第一经修改音频信号和生成所述第二经修改音频信号包括针对所有可用音频频率和/或声道的仅子集分别使用所述第一HRTF和所述第二HRTF。

20.根据权利要求13所述的方法，还包括：

从所述环境内的定位模块接收定位数据；以及

基于所述定位数据来确定所述环境内的多个声学反射表面的定位。

21.根据权利要求20所述的方法，其中渲染所述第一经修改音频信号包括：模拟源自接近所述外围设备的第一虚拟声音源的第一直接声音，以及模拟与所述第一直接声音从所述多个声学反射表面中的第一声学反射表面的经模拟的反射对应的主反射声音。

22.根据权利要求21所述的方法，其中渲染所述第一经修改音频信号包括模拟与所述主反射声音从所述多个声学反射表面中的第二声学反射表面的经模拟的反射对应的次反射声音。

23.根据权利要求13所述的方法，其中所述外围设备包括显示器，所述显示器被配置为显示与所述第一经修改音频信号和所述第二经修改音频信号相关联的视频内容。

24.根据权利要求13所述的方法，其中使用至少一个传感器来确定所述可穿戴音频设备相对于所述外围设备的所述取向，其中所述至少一个传感器位于所述可穿戴音频设备或所述外围设备之上、之中或附近，并且所述至少一个传感器选自：陀螺仪、加速计、磁力仪、全球定位传感器(GPS)、接近传感器、麦克风、激光雷达传感器或相机。

25.一种用于模拟音频的系统，所述系统包括：

外围设备，所述外围设备被配置为获得或接收可穿戴音频设备相对于所述外围设备在环境内的取向，所述外围设备还被配置为：基于所述可穿戴音频设备相对于所述外围设备的所述取向使用第一头部相关传递函数(HRTF)来生成第一经修改音频信号，以及基于所述可穿戴音频设备相对于所述外围设备的所述取向使用第二头部相关传递函数(HRTF)来生成第二经修改音频信号；和

所述可穿戴音频设备，所述可穿戴音频设备包括：

处理器，所述处理器被配置为：

接收所述第一经修改音频信号，以及

接收所述第二经修改音频信号；

第一扬声器，所述第一扬声器被配置为使用所述第一扬声器来渲染所述第一经修改音频信号；以及

第二扬声器，所述第二扬声器被配置为使用所述第二扬声器来渲染所述第二经修改音频信号。

Images