CN101133679B - 个性化的头戴耳机虚拟系统和方法 - Google Patents

Abstract

听者可通过头戴耳机以难以与真实扩音器体验相区分的真实度来体验虚拟扩音器的声音。在有限数目的听者头部位置上针对若干扩音器声音源获取若干组个性化房间脉冲响应(PRIR)。所述PRIR接着被用于将用于所述扩音器的音频信号变换成用于所述头戴耳机的虚拟输出。通过使所述变换基于听者头部位置，所述系统可调节所述变换，以使得所述虚拟扩音器表现为不会随着听者移动头部而移动。

Description

个性化的头戴耳机虚拟系统和方法

相关申请案的交叉参者

本申请案主张基于2004年9月1日申请的第0419346.2号英国申请案的优先权，所述申请案以全文引用的方式并入本文中。 

技术领域

本发明大体上涉及通过头戴耳机或耳机的三维音频再现的领域。具体地说，其涉及使用头戴耳机或耳机并开发难以与真实扩音器效果区分的真实性等级来对音频源(例如家庭娱乐系统中使用的扩音器)所作的个性化虚拟。 

背景技术

使用头戴耳机来产生虚拟扩音器的想法是所属领域的技术人员熟知的一般概念，如第3,920,904号美国专利中所描述。概括来说，可主要通过获取使用放置在人的左耳和右耳附近的麦克风测量得的所讨论扩音器的个性化房间脉冲响应(PRIR)而在头戴耳机或耳机上为任何个人有效地虚拟扩音器。所得的脉冲响应含有与声音再现设备、扩音器、房间声学(混响)和被测者的肩膀、头部和耳朵的方向性质有关的信息(通常称为与头部有关的传递函数(HRTF))，且通常覆盖数百毫秒的时间跨度。为了产生扩音器的虚拟声像，一般会通过真实扩音器播放的音频信号被替代地与测得的左耳和右耳PRIR卷积并馈入到个人配戴的立体声头戴耳机。如果人恰好定位于其在个性化测量期间所处的位置，那么假定头戴耳机经适当均衡化，所述个人将感觉到声音是来自真实扩音器而不是头戴耳机。本文中将通过头戴耳机投射虚拟扩音器的过程称为虚拟。 

由头戴耳机投射的虚拟扩音器的位置与在个性化房间脉冲响应(PRIR)测量期间建立的头部与扩音器之间的关系匹配。举例来说，如果在个性化阶段测量的真实扩音器在个人头部的前方且在左边，那么相应的虚拟扩音器也将表现为来自左前方。这意味着如果个人定向其头部而使得(从其观看点来看)真实扩音器与虚拟扩音器重合，那么虚拟声音将表现为从真实扩音器发出，且只要个性化测量是准确的，那么个人就很难区分虚拟与真实声音源。这意味着如果听者已针对其家庭娱乐系统中的每个扩音器进行了PRIR测量，那么他们将能够通过头戴耳机同时再现完整的多通道扩音器收听体验而不必实际打开扩音器。 

然而，在存在头部移动(尤其是横向平面上的头部移动)时，难以维持简单个性化虚拟声音源的幻觉。举例来说，当个人使虚拟扩音器与真实扩音器对准时，虚拟幻觉较强。然而，如果所述个人现将其头部转到左边，那么由于虚拟声音源相对于个人头部是固定的，因而所感知的虚拟声音源也将随着头部移动到左边。无疑地，头部移动不会导致真实扩音器移动，且因此为了维持较强的虚拟幻觉，必需操纵馈入到头戴耳机的音频信号，以使得虚拟扩音器也保持固定。 

双耳处理也具有用于使用扩音器而不是头戴耳机来虚拟扩音器的应用，如第5,105,462号和第5,173,944号美国专利中描述。这些应用也可利用头部跟踪来改进虚拟幻觉，如第6,243,476号美国专利中描述。 

第3,962,543号美国专利是描述响应于头部跟踪信号而操纵馈入到头戴耳机的双耳信号以便使虚拟扩音器的感知位置稳定的概念的最早公开案之一。然而，其揭示内容先于数字信号处理理论的当前发展，且其方法和设备通常不适用于数字信号处理(DSP)型实施方案。 

第5,687,239号和第5,717,767号美国专利揭示一种更新近的基于DSP的头部跟踪虚拟器。此系统是基于分离HRTF/房间混响表现(低复杂性虚拟器系统的典型)，且使用存储器查找以响应于从头部跟踪装置导出的查找地址来读出HRTF脉冲文件。房间混响不会响应于头部跟踪而改变。此系统的主要想法在于，由于HRTF脉冲数据文件相对较小，通常在64到256个数据点之间，因此可在典型DSP平台的正常存储器存储能力内存储特定于每个耳朵和每个扩音器且对于大范围的头部转动角度的许多HRTF脉冲响应。 

房间混响由于两个原因而不会被修改。首先，针对每个头部转动角度存储唯一的混响脉冲响应将需要庞大的存储容量—每一个别混响脉冲响应通常长度为10000到24000个数据点。第二，即使使用当今可用的信号处理器，对此大小的房间混响脉冲进行卷积的计算复杂性也将是不实际的，且由于所述发明者未讨论针对长脉冲进行卷积的有效实施方案，因而他们可能预期仿真混响实施方案以便减少与房间卷积相关联的计算复杂性。根据定义，此类实施方案不易于由头部跟踪器地址适应。由于没有讨论个性化且显然对于此系统并未预期个性化，因此所述发明者没有提供与为HRTF或混响过程合并这种操作模式将需要的步骤相关的信息。此外，由于此系统将需要存储几百个HRTF脉冲文件以便允许在头部跟踪器的控制下进行充分平滑的HRTF切换，因而所属领域的技术人员将不会明了可如何以可行的方式进行所有这些测量而使得无法期望一般人能在自己的家中进行这些测量。如何从所有个性化测量中确定单个房间混响特性也并不明了。  另外，由于房间混响未被头部跟踪器地址调整，因此显然此系统将不能复制真实房间中的真实扩音器的声音，且因此其对真实虚拟的适用性明显受到限制。 

头部跟踪已被熟知为一种用于检测头部移动的技术。许多方法已被建议且在此项技术中已熟知。头部跟踪器可安装在头部，即回转的、磁性的、基于GPS的、光学的，或其可远离头部(即，视频)或在附近。头部跟踪器的目的是连续测量个人头部在收听头戴耳机时的定向以及将此信息传输到虚拟器以允许随着检测到改变而实时修改虚拟过程。可使用电线将头部跟踪数据发送回虚拟器，或可使用光学或RF传输技术无线地传递所述数据。 

现有的头戴耳机虚拟器系统并不投射真实度足以与真实扩音器体验直接比较的虚拟声像。这是因为由于与测量相关联的困难以及关于如何将头部跟踪并入到此类方案中的不确定性的缘故，现有技术未尝试将个性化方法直接并入到适于公众使用的头戴耳机虚拟器中。 

发明内容

考虑到上述问题，本发明的实施例提供一种方法和设备，其允许个人在有限的头部移动范围内通过头戴耳机以难以与真实扩音器体验相区分的真实度来体验虚拟扩音器的声音。 

根据本发明的一个方面，提供一种用于在有限数目的听者头部位置上获取扩音器声音源的个性化房间脉冲响应(PRIR)的方法和设备；其中用户对家庭娱乐扩音器系统采取正常收听位置；其中用户在每个耳朵中插入麦克风；其中用户通过在有限数目的头部位置上获取每个扩音器的个性化房间脉冲响应(PRIR)来建立听者头部移动范围；用于确定所有个性化测量头部位置的构件；用于针对双耳测量个性化头戴耳机-麦克风脉冲响应的构件；用于存储PRIR数据、头戴耳机-麦克风脉冲响应数据和PRIR头部位置的构件。 

根据本发明的另一方面，提供一种用于通过使用PRIR数据、头戴耳机-麦克风脉冲响应数据和PRIR头部位置数据来初始化头部跟踪虚拟器的方法；用于时间对准PRIR的构件；为左耳和右耳产生头戴耳机均衡脉冲响应的构件；用于为PRIR内插器产生所有必要的内插头部角度公式或查找表的构件；用于为可变延迟缓冲器产生所有必要的路径长度-头部角度公式或查找表的构件。 

根据本发明的又一方面，提供一种用于构建实时个性化头部跟踪虚拟器的方法和设备；用于采样头部跟踪器坐标和产生恰当的PRIR内插器系数值的构件；用于利用头部  跟踪器坐标来为所有虚拟扩音器产生恰当的耳间延迟值的构件；用于通过使用内插系数来为所有虚拟扩音器产生经内插的时间对准PRIR的构件；用于读取每个扩音器通道的音频样本块和将所述音频样本块与其各自的左耳和右耳内插时间对准PRIR进行卷积的构件；用于通过使其各自的左耳和右耳样本通过延迟与所产生的延迟值匹配的可变延迟缓冲器来实现每个虚拟扩音器的耳间延迟的构件；用于对所有左耳样本求和的构件；用于对所有右耳样本求和的构件；用于通过头戴耳机均衡滤波器而对左耳和右耳样本进行滤波的构件；用于将左耳和右耳音频样本实时写入到头戴耳机DAC的构件。 

根据本发明的又一方面，提供一种用于通过将偏移量引入虚拟器中所进行的PRIR内插和路径长度计算来调节虚拟扩音器位置以便使其与真实扩音器位置重合的方法。 

根据本发明的又一方面，提供一种用于通过修改PRIR数据来调节虚拟扩音器的感知距离的方法。 

根据本发明的又一方面，提供针对落在测得范围以外的听者头部定向而修改虚拟器行为的方法。 

根据本发明的又一方面，提供一种允许在虚拟器内将个性化与一般房间脉冲响应进行混合的方法。 

根据本发明的又一方面，提供一种用于自动调节激励信号电平以便在PRIR测量期间使信号质量最高的方法。 

根据本发明的又一方面，提供用于允许通过使用多通道编码激励位流进行个性化测量的方法。 

根据本发明的又一方面，提供用于在个性化测量过程期间检测用户头部移动和用于改进脉冲响应测量准确度的方法和设备。 

根据本发明的又一方面，提供一种用于均衡包含用户娱乐系统的扩音器以使得经虚拟的扩音器的声音质量可得以改进而优于PRIR测量中所使用的真实扩音器的声音质量的方法。 

根据本发明的又一方面，提供一种用于通过使用次频带滤波器组来实施虚拟卷积处理并将其与次频带PRIR内插和次频带耳间可变延迟处理或时域耳间可变延迟处理进行组合的方法；和用于通过调节次频带PRIR脉冲长度来优化卷积计算负荷的构件；和用于通过采用次频带信号掩蔽阈值来优化卷积计算负荷的构件；和用于补偿次频带卷积纹波的构件；和用于通过组合扩音器PRIR的后期反射部分以使得仅需要执行较少数目的卷积来用次频带卷积复杂性换取虚拟准确度的构件。 

根据本发明的又一方面，提供用于产生预先虚拟的信号以使得与常规实时虚拟相比  大体上减少播放的计算负荷的方法；和用于编码预先虚拟的信号以便减少其位速率和/或存储要求的构件；和用于通过使用用户上载的PRIR数据而在远程服务器中产生预先虚拟的音频且用于用户下载预先虚拟的音频以在用户自己的硬件上播放的构件。 

根据本发明的又一方面，提供一种用于通过使用远程虚拟服务器而进行网络连接的个性化虚拟电话会议的方法，所述远程虚拟服务器使用每个参与者上载的PRIR数据来影响每个参与者头部跟踪器控制下的虚拟过程。 

所属领域的技术人员从以下结合附图做出的对优选实施例的详细描述将了解本发明的这些和其它特征与优点，在附图中： 

附图说明

图1是连接到多通道AV接收器的5.1ch头部跟踪虚拟器的方框图。 

图2说明在头部跟踪器输入控制下的n通道头部跟踪虚拟器的基本结构。 

图3说明人主体面朝激励扩音器时经历PRIR测量的平面图。 

图4说明人主体朝激励扩音器左边看时经历PRIR测量的平面图。 

图5说明人主体朝激励扩音器右边看时经历PRIR测量的平面图。 

图6是在左耳处测得的脉冲响应和在右耳处测得的脉冲的振幅对时间曲线图的实例，其中人主体朝激励扩音器右边看。 

图7是在左耳处测得的脉冲响应和在右耳处测得的脉冲的振幅对时间曲线图的实例，其中人主体观看激励扩音器。 

图8是在左耳处测得的脉冲响应和在右耳处测得的脉冲的振幅对时间的曲线图的实例，其中人主体朝激励扩音器左边看。 

图9是人主体经历测量范围中心点的PRIR测量的平面图以及所得的脉冲时间波形。 

图10是人主体经历测量范围最左点的PRIR测量的平面图以及所得的脉冲时间波形。 

图11是人主体经历测量范围最右点的PRIR测量的平面图以及所得的脉冲时间波形。 

图12说明通过修改脉冲响应波形来改变虚拟声音源的感知距离的方法。 

图13说明PRIR测量角度的映射以便公式化耳间差分延迟-头部角度正弦波函数。 

图14a和14b说明未经补偿的次频带卷积的3dB纹波效应。 

图15说明当测量范围由相对于参考观看角度成+30、0和-30度的头部位置代表时在PRIR之间进行内插的方法。 

图16类似于图15，不同之处只是内插是在次频带域中操作的。 

图17说明过采样可变延迟缓冲器，其延迟由头部跟踪器动态调节。 

图18类似于图17，不同之处只是可变延迟缓冲器是在次频带域中构建的。 

图19是次频带卷积概念的方框图。 

图20是安装在人主体耳道中的微型麦克风的略图。 

图21是微型麦克风插塞的构造的略图。 

图22是人主体在安装在其耳道中的微型麦克风上方佩戴头戴耳机的略图。 

图23是人主体经历PRIR测量的平面图，其中来自左前方扩音器的激励信号的记录电平在测试开始之前被缩放。 

图24是在PRIR测量期间使用导频音调来检测人主体头部的过量移动的MLS系统的方框图。 

图25是图24的扩展，其中导频音调相位的变化用于拉伸或压缩记录的MLS信号以便补偿较小的头部移动。 

图26是人主体经历右环绕扩音器的PRIR测量的平面图，其中激励信号直接输出到扩音器。 

图27是人主体经历右环绕扩音器的PRIR测量的平面图，其中激励信号在驱动扩音器之前经编码并传输到AV接收器。 

图28是如图26中的人主体通过头部跟踪头戴耳机收听虚拟信号的平面图。 

图29是定位在宽屏幕电视机周围的左、右和中央扩音器的前方正视图，且其展示包含PRIR测量范围的三个观看位置。 

图30类似于图29，不同之处只是两个外部观看位置对应于左扩音器和右扩音器的位置。 

图31类似于图29，不同之处只是五个观看位置标记出PRIR测量范围。 

图32a和32b说明用于为图31的五点范围确定头部跟踪PRIR内插系数的三角测量方法。 

图33a和33b说明使用虚拟扩音器偏移量来使虚拟源的位置与真实扩音器的位置重新对准。 

图34a和34b说明5通道环绕扩音器系统的平面图和允许在期望头部定向范围之外继续PRIR内插的技术。 

图35说明人主体经历头戴耳机均衡测量的平面图和到相关处理块的连接。 

图36说明使用次频带卷积的针对单通道的虚拟过程，其中耳间时间延迟在合成滤  波器组之后在时间频带域中实施。 

图37说明使用次频带卷积的针对单通道的虚拟过程，其中耳间时间延迟在合成滤波器组之前在次频带域中实施。 

图38类似于图36，不同之处只是其展示扩展输入通道数目所必需的步骤。 

图39类似于图37，不同之处只是其展示扩展输入通道数目所必需的步骤。 

图40类似于图39，不同之处只是其展示允许两个独立用户收听虚拟信号所必需的步骤。 

图41是基于DSP的虚拟器核心处理器和主要支持电路的方框图。 

图42是实时DSP虚拟化例行程序的方框图。 

图43是在运行虚拟器例行程序之前处理PRIR数据的DSP例行程序的方框图。 

图44说明使用单个音频通道和使用三个位置PRIR范围的预先虚拟的概念。 

图45类似于图44，不同之处只是预先虚拟的音频信号在播放之前被编码、存储和解码。 

图46类似于图45，不同之处只是通过使用由用户上载的PRIR数据而在安全远程服务器上进行预先虚拟。 

图47说明用于三个位置PRIR范围的简化预先虚拟概念，其中播放由在组合的左耳与右耳信号之间进行内插组成。 

图48说明个性化虚拟电话会议的概念，其中个别PRIR被上载到会议服务器。 

图49说明通过合并PRIR的后期反射部分来减少次频带卷积的计算负荷的方法。 

图50说明在典型的房间脉冲响应波形内分离初始/早期反射与后期反射的方法。 

具体实施方式

使用头戴耳机的个性化头部跟踪虚拟

图1说明本文揭示的个性化头部跟踪虚拟器方法的典型应用。在此说明中，听者正在观看电影，但不是通过其扩音器收听电影声轨，而是其替代地通过头戴耳机收听扩音器声音的虚拟型式。DVD播放器82在播放电影光碟时经由S/PDIF串行接口83实时输出经编码的(例如Dolby Digital、DTS、MEPG)多通道电影声轨。位流由音频/视频(AV)接收器84解码，且个别模拟音频轨道(左、右、左环绕、右环绕、中央和副低音炮扩音器通道)经由前置放大器输出端76输出并输入到头戴耳机虚拟器75。模拟输入通道经数字化70，且数字音频被馈入到实时个性化头部跟踪虚拟器核心处理器123。 

此过程对每个扩音器信号进行滤波或将每个扩音器信号与表示期望的虚拟扩音器  与听者耳朵之间传递函数的一组左耳和右耳个性化房间脉冲响应(PRIR)进行卷积。来自所有输入信号的左耳滤波信号和右耳滤波信号经求和以产生转换回到模拟72且在驱动头戴耳机80之前的单个立体声(左耳和右耳)输出。由于每个输入信号76通过其自身的特定PRIR组来进行滤波，因而当通过头戴耳机80听到时，听者79感觉每个输入信号来自原始扩音器位置中的一个位置。虚拟器处理器123也能补偿听者头部移动。 

听者79的头部角度由安装在头戴耳机的头部跟踪器81监视，头部跟踪器81经由简单的异步串行接口73周期性地将角度向下传输77到虚拟器处理器123。头部角度信息用于在覆盖典型的听者头部移动范围的一组稀疏的PRIR之间进行内插，以及用于改变将已在听者耳朵与被虚拟的各种扩音器之间存在的耳间延迟。这些过程的组合是为了退旋经虚拟的声音以抵消头部移动，使得其对听者来说表现为保持稳定。 

图1说明头部跟踪虚拟器的实时播放模式。为了使听者通过头戴耳机听到扩音器声音的令人信服的幻觉，首先进行许多个性化测量。主要的测量涉及通过头戴耳机和在听者一般使用头戴耳机时可能做出的头部移动的范围内，针对用户希望虚拟的每个扩音器而获取个性化房间脉冲响应(或PRIR)。PRIR本质上描述扩音器与听者耳道之间的声学路径的传递函数。对于任意一个扬声器来说，可能必需针对每个耳朵测量此传递函数；因此，PRIR作为左耳和右耳组存在。 

测试涉及听者在其扩音器布置内采取其正常收听位置，将小型麦克风放置在其每个耳朵中，且接着将激励信号发送到待测扩音器持续某段时间。针对每个扩音器且针对用户希望获得的每个头部定向而重复此过程。如果音频信号经滤波或与所得的左耳和右耳PRIR卷积，且经滤波的信号用于分别驱动左耳和右耳头戴耳机变换器，那么听者将感觉到所述信号来自与第一位置中用于测量PRIR的扩音器相同的位置。为了改进虚拟过程的真实性，可能必需补偿头戴耳机本身将在其变换器与听者耳道之间强加额外传递函数的事实。因此进行次级测量，藉此此传递函数也被测量到并用于产生反向滤波器。所述反向滤波器接着用于修改PRIR或实时对头戴耳机信号进行滤波以均衡此不希望的响应。 

在图2中更详细地说明图1中所指示的头部跟踪PRIR滤波或卷积处理123。经数字化的音频信号41输入到Ch 1并施加到两个卷积器34。一个卷积器用左耳内插PRIR15a来对输入信号进行滤波，且另一个卷积器用右耳内插PRIR对同一信号进行滤波。将每个卷积器的输出施加到可变路径长度缓冲器17，所述缓冲器在左耳滤波信号与右耳滤波信号之间产生耳间差分延迟。根据从头部跟踪器81反馈回的头部定向10调节PRIR内插15a和可变延迟缓冲器17，以便影响虚拟声音级退旋。针对所有其它输入信号单独  实施针对Ch1 41描述的过程。然而，所有左耳信号和所有右耳信号在其输出到头戴耳机之前被单独求和5。 

个性化房间脉冲响应(PRIR)获取

本发明实施例的一个特征是便于以便利的方式获取在用户左耳和右耳附近测量得的个性化房间脉冲响应(本文称为PRIR)数据。在获取之后，PRIR数据经处理并存储以供虚拟器卷积引擎用于产生真实扩音器幻觉。如需要，也可将此数据写入到便携式存储媒体或将其传输离开板，以供与获取设备不关联的远端兼容虚拟器使用。 

用于获取个性化房间脉冲响应的基本技术已不是新的且已被良好记载，且所属领域的技术人员了解到这些技术。概括来说，为了获取脉冲响应，通过在需要的地方使用合适的变换器而在相对于主体头部的空间中的期望位置处再现激励信号(例如脉冲、火花、气球破裂、伪噪声序列等)，且通过使用位于靠近主体耳朵处或优选地在主体耳道入口处或主体耳道中任何地方的麦克风来记录所得的声波。 

图20说明小型全向驻极体麦克风胶囊87(6mm直径)在人主体79的单个耳道209中的放置。主体外耳的轮廓(耳廓)也被展示210。图21较好地说明配合到耳道中的麦克风插塞的构造。麦克风胶囊嵌入到可变形泡沫耳塞211(其正常用途是用于噪声衰减)中，其中麦克风212的开放末端朝外。胶囊可胶粘到泡沫插塞中，或其可通过使用套管配合器扩张泡沫并允许泡沫将其封盖而摩擦配合。根据麦克风胶囊本身的高度，泡沫插塞211通常将被裁剪为约10mm长的长度。 

通常将插塞制造成具有在10-14mm范围内的未经压缩的直径，以适应不同大小的耳道。焊接到背部的信号/电力和接地线86沿着胶囊壁的外部行进，还在其去往麦克风放大器的途中从前方退出。所述线可在需要时固定到胶囊的侧面以减少对焊点损坏的可能性。为了将麦克风插入耳朵中，用户简单地卷动泡沫插塞，其中胶囊在其手指之间且压缩插塞的直径，使用食指快速地将其插入耳朵中。泡沫将立即开始缓慢向外扩张，在5到10秒之后在耳道中提供舒适但紧密的配合。麦克风插塞因此能停留在适当位置而不需要额外辅助。理想的是当插塞被配合时，麦克风的开放末端将与耳道入口齐平。线86应如图20所示那样突出，且拉动这些线允许用户在测试完成时方便地取出麦克风插塞。泡沫提供的额外好处在于其密封了耳朵并降低在个性化测试期间暴露于激励噪声的水平。 

一旦安装好左耳和右耳麦克风，就可开始个性化测量。根据测量空间周围环境的混响特性，所得的脉冲波形通常将在几秒内衰减到零，且记录不需要延伸超过这个时间。所获取的脉冲响应的质量将在某种程度上取决于环境的背景噪声级、变换器和记录信号  链的质量以及在测量过程期间经历的头部移动的程度。不幸的是，脉冲响应信号保真度损失将直接影响通过与此脉冲响应卷积而虚拟的任何声音的质量或真实性，且因此期望使测量的质量达到最高。 

为了解决这个问题，作为获取方法的基础，实施例使用伪噪声序列作为用于个性化房间脉冲响应测量的激励信号，已知为MLS或最大长度序列。同样，MLS技术在例如Berish J.的“Self-contained cross-correlation program for maximum-length sequences”(J.Audio Eng.Soc第33卷第11号，1985年11月)中良好记载。MLS测量具有某些优于脉冲或火花型激励方法的优点，因为伪噪声序列提供较高的脉冲信噪比。另外，所述过程允许个人容易地以自动方式进行连续测量，使得可通过平均化过程进一步压缩测量得的脉冲响应中固有的测量环境和设备的背景噪声。 

在MLS方法中，持续时间为测试环境的期望混响时间的至少两倍的预先计算的二进制采样序列以某个期望的采样速率输出到数字到模拟转换器，并实时馈入扩音器作为激励信号。下文中将此扩音器称为激励扩音器。可将同一序列重复用以达成背景噪声抑制的期望水平可能必需的次数。麦克风实时拾取所得的声波，且同时信号被采样和数字化(使用同一采样时基作为激励播放)并存储到存储器。一旦已播放了期望次数的序列重复，那么就停止记录。接着使记录的样本文件循环地与原始二进制序列交叉相关，以产生对于相对于其周围声学环境的激励扩音器位置和对于上面安装麦克风的人主体头部为唯一的平均个性化房间脉冲响应。 

理论上可能单独地在每个耳朵处测量脉冲响应，即仅使用一个麦克风且针对每个耳朵重复测量，但既方便又有利的是在每个耳朵中放置麦克风并在激励信号存在时进行同时的双通道记录。在此情况下，在每个耳朵处记录的每个采样的音频文件被单独处理，从而给出两个唯一的脉冲响应。这些文件在本文中被称为左耳PRIR和右耳PRIR。 

图3是优选实施例内所使用的获取个性化房间脉冲响应的方法的简化说明。为清楚起见，已排除了所有模拟和数字转换以及定时电路。扩音器88首先相对于人主体89的平面图而位于房间或声学环境内的期望位置。在此说明中，扩音器直接定位在主体前方。人主体已安装两个麦克风(每个耳道附近一个)，其输出86a和86b连接到两个麦克风放大器96。在测试开始之前，人主体将其头部相对于激励扩音器定位到期望定向，并在测量的持续时间中尽力维持这个定向。在图3的情况下，人主体89直视扩音器88。本文中术语“视”或“观看”的使用意味着将头部定向成使得垂直于主体脸部的假想线将穿过其正观看的点。 

在一个实施例中，如下进行测量。MLS以重复方式从98输出，且同时输入到扩音  器放大器115和循环交叉相关处理器97。扩音器放大器以期望电平驱动扩音器88，从而促使声波向外并朝向安装在人主体89上的左耳和右耳麦克风行进。左和右麦克风信号86a和86b分别被输入到麦克风放大器96。经放大的信号被采样和数字化并输入到循环交叉相关处理单元97。此处，其可在已播放完所有序列之后被存储以供离线处理，或其可在每个完整MLS块到达时被实时处理，这取决于可用的数字信号处理能力。任一种方式中，记录的数字信号与从98输入的原始MLS交叉相关，且在完成时，将所得的平均个性化房间脉冲响应文件存储在存储器92中以供以后使用。 

图7说明如图3指示的头部定向成直视激励扬声器时可能获取的针对左耳麦克风171和右耳麦克风172而绘制为振幅对时间的典型脉冲响应的早期部分。如图7指示，当头部指向激励源时，分别从扩音器到左耳和右耳麦克风的直接路径长度将几乎相等，从而获得几乎重合的脉冲开始时间174。 

图4类似于图3，不同之处只是图4说明在人主体90观看激励扩音器左边的一点时获取个性化房间脉冲响应的实例。同样，一旦已确定了头部定向，那么其在测量期间就不应改变。图8说明如图4指示的头部定向成观看激励扬声器左边时可能获取的针对左耳麦克风171和右耳麦克风172而绘制为振幅对时间的典型脉冲响应的早期部分。如图8指示，当头部指向激励源左边时，从扩音器到左耳麦克风的直接路径长度现将大于扩音器与右耳麦克风之间的直接路径长度，从而导致左耳脉冲开始173与右耳脉冲开始174相比被延迟175。 

图5也是类似的，不同之处只是其说明在人主体91观看激励扩音器右边的一点时获取个性化房间响应脉冲的实例。图6说明如图5指示的头部定向成观看激励扬声器右边时可能获取的针对左耳麦克风171和右耳麦克风172而绘制为振幅对时间的典型脉冲响应的早期部分。如图6指示，当头部指向激励源右边时，从扩音器到右耳麦克风的直接路径长度现将大于扩音器与左耳麦克风之间的直接路径长度，从而导致右耳脉冲开始173与左耳脉冲开始174相比被延迟175。 

如果成功完成图3、4和5中说明的三种测量，也就是说，人主体在每个获取阶段期间以足够准确度来维持其头部定向，那么现将在存储区92(图3)、93(图4)和94(图5)中找到三对个性化房间脉冲响应，每一对对应于针对直视扩音器88、观看扩音器88左边和观看扩音器88右边的所述人主体的左耳和右耳PRIR。 

建立听者头部移动的范围

本文揭示的是在个性化头部跟踪设备中使用的获取PRIR数据的方法，其经设计以通过使用人自有的扩音器声音系统且在其正常收听房间环境中进行。所述获取方法假定  期望进行个性化测试的人主体首先定位在理想的收听位置中，即人主体在使用其扩音器听音乐或看电影时通常将采用的位置。举例来说，通过典型的多通道家庭娱乐系统(如图34a的平面图所说明)，扩音器被配置为左前方200、中前方196、右前方197、左环绕199和右环绕198。 

通常中央环绕扬声器和低音副低音炮也形成许多家庭娱乐系统的一部分。在图34a中，人主体79定位成与所有扩音器等距离。在家庭电影系统中通常是，前中央扬声器位于用于显示与声音相关联的电影的电视机/监视器/投影屏幕的上方或下放或后面。人主体接着通过覆盖前方观看区域中和周围的收听区域的有限数目的头部定位来继续针对每个扩音器获取个性化测量。测量点可在同一横向平面(偏转)或其可包括上升分量(俯仰)，或其可说明三种程度的头部移动——偏转、俯仰和倾侧。 

所述方法的目的在于为界定用户在听音乐或看电影时经历的最大可能范围的头部移动的周界周围的每个扩音器获取一组稀疏的测量。举例来说，当观看电影时，听者通常会维持允许其观看电视机或投影仪屏幕且同时收听电影声轨的头部定向。因此，在认识到对于绝大多数的时间，此区域将覆盖看电影过程期间所有听者头部定向的情况下，可针对观看屏幕左边、观看屏幕右边和在需要时观看屏幕上方和下方的某些点的头部位置而为所有扩音器进行测量。如果在播放期间期望倾侧这种类型的运动，那么将头部倾侧角度范围引入PRIR过程中也是可能的。 

如果头部跟踪虚拟器可以使用针对限制期望的用户头部移动范围的头部定向而测量得的房间脉冲响应数据，那么能够通过内插而为由头部跟踪器指示的所述范围内的任何头部定向计算近似的脉冲响应。本文中将内插器针对其具有足够PRIR数据来以此方式退旋虚拟扩音器的头部移动范围称为测量的“范围”或听者头部移动的“范围”。可通过在头部面朝头部跟踪区域的中点时进行额外的个性化测量来进一步增强虚拟器的性能。通常，这只是正前方的位置，其为观看电视机或电影屏幕上的电影时的自然头部定向。如果针对不同的头部倾侧角度进行测量，尤其是在观看前方屏幕时可具有进一步改进，从而有效地将第三维度添加到内插等式中。稀疏采样方法的好处有许多，包括： 

1)由于听者范围以外的头部定向不是测量程序的一部分，因此人主体获取的PRTR测量的数目可相对较低，而不会牺牲性能。 

2)测量过程可适应任意数目的扩音器。 

3)扩音器相对于人主体的空间定位可以是任意的且不需要测量，这是由于一组完整的头部相关PRIR数据是针对每个单独扩音器而测量的并随后由内插器用来虚拟那些扩音器。 

4)仅需要相对于参考头部定向来准确测量在获取每个PRIR数据组时使用的相对较少的头部位置。 

5)假定测量和随后的收听是使用同一声音系统进行的，那么对于听者范围内的各头部位置，虚拟扩音器的空间定位和混响特性与真实扩音器的空间定位和混响特性完全匹配。 

6)所述方法没有做出任何关于扩音器呈现格式特性的假定。例如可由一个以上扩音器承载声轨，这对于较大家庭娱乐配置中的扩散环绕效果通道来说是常见的。在这种情况下，由于所有相关联的扩音器将由同一激励信号驱动，因而个性化测量将自动承载在听者范围内虚拟所述组扩音器所必需的所有信息。 

图31说明人主体79面朝基于电视机182的家庭娱乐系统。出于此说明的目的，假定环绕和低音炮扩音器在看不见的地方。左前方扩音器180定位在电视机的左边，右前方扩音器183定位在右边。中央扩音器181放置在电视机182的顶上。虚线179指示期望听者将其头部定向维持在其中的有界区域。X点184、185、186、187和177表示人主体所观看的且进行每组个性化测量的空中虚拟点。中心线250表示在主体观看每个X点时的不同视线。在图31的情况下，针对所有扩音器(包括那些看不见的扩音器)的个性化测量将被重复五次，每次人主体将重新定位其头部以面朝所述测量X点中的一者。 

在此实例中，五个个性化头部定向是：左上方185，即主体向左前方扩音器180的上方和左边观看；右上方186，即右前方扩音器183的上方和右边；左下方184；右下方187；和屏幕中央177，其接近观看电影时的标称头部定向。一旦获取了所有测量值，就存储所得的PRIR数据及其相关联的头部定向以供内插器使用。 

图29说明替代性个性化测量程序，借此仅使用同一横向平面179上的三个头部定向来进行个性化测量，即左前方扬声器180左边的X点176、中央屏幕处的X点177和右前方扩音器右边的X点178。这种形式的测量假定头部跟踪虚拟中最重要的分量是单纯的头部旋转(偏转)，这是由于将不知道这条线任一侧的头部升高(俯仰)的房间脉冲响应。图30说明进一步的简化，借此左边和右边的X点176和178对应于左前方和右前方的扩音器本身。在此变化中，人主体仅需要分别针对每组个性化测量观看全部在近似于同一横向平面上的左前方扩音器、右前方扩音器和屏幕中央。 

个性化房间脉冲响应(PRIR)数据组允许扩音器的虚拟，且每个虚拟扩音器的位置将对应于在测量过程期间建立的真实扩音器相对于人主体头部的位置。因此，为使内插方法准确作用，也就是说，促使虚拟扩音器表现为定位成与真实扩音器重合，假定相对  于真实扩音器的主体收听位置在个性化测量期间是相同的，那么虚拟器仅必需了解个性化脉冲响应对应于哪些头部定向，以便使其响应于从头部跟踪装置反馈回的头部定向信号而内插在数据之间。假定头部跟踪器与确定每个个性化数据组的头部定向的系统使用相同的方向性参考，那么在原始测量的范围内，从听者角度来看，虚拟和真实扩音器将重合。 

匹配虚拟—真实扩音器横向和高度位置

个性化测量过程依赖于在人主体头部移动的某个范围或范畴中测量每个扩音器的事实。尽管针对每个个性化数据组的头部定向是已知的且参考播放头部跟踪器坐标而表示的，但严格来说，本发明的实施例不需要知道所测试扩音器中的任一者的物理位置来达成准确虚拟。假定真实扩音器位置保持与用于个性化过程的那些扩音器位置相同，那么虚拟声音将从相同的物理位置发出。然而，当由于虚拟-真实扩音器位置未对准而可能必需对虚拟扩音器位置进行调节时，知道物理扩音器位置是有用的。举例来说，如果用户希望设置收听环境下的扩音器而不是用于进行测量的扩音器，那么理想地，用户将在物理上把扩音器排列成尽可能与虚拟扩音器位置准确匹配，以便促使虚拟声音与真实扩音器重合。在这种情况不可能的情况下，那么听者将感觉到虚拟声音是从不同于扩音器的位置处发出的，这是对于某些个体来说可降低虚拟器真实性的现象。这个问题对于在正常听者头部移动范围中通常看不见的扩音器来说并不是问题，例如可能是针对图34a的环绕扩音器198和199或定位在听者上方的那些扩音器的情况。 

本发明的实施例可允许通过向内插过程引入偏移量来对虚拟扩音器横向和/或高度位置作出某种程度的调节。所述偏移量表示期望的虚拟扩音器相对于测量的扩音器位置的位置。然而，在虚拟所述扩音器时允许的头部移动程度将被减少等于偏移量的量，这归因于个性化房间脉冲响应并不覆盖超过原始测量边界的头部移动的事实。这意味着应在比可能在以后日子做出较小位置调节时正常收听/观看通常可能需要的头部定向范围更广的头部定向范围中进行原始的个性化过程。在图33a和33b中说明使用内插偏移量来改变虚拟扩音器的位置。在图33a中，虚线边界线179表示听者观看边界，在所述边界上虚拟器内插器使用针对真实扩音器180在点184、185、186、187和177处测量得的个性化数据组进行操作。中心测量点177表示标称收听/观看头部定向，且此对应于播放头部跟踪器零参考位置。左右和上下头部移动的最大程度分别由214和215指示。在图33b中，真实扩音器217的位置现并不对应于用于进行个性化测量180的位置。这意味着虚拟器内插器将偏移量引入其计算216中，以便迫使虚拟扩音器180与真实扩音器217重新对准——所述偏移与期望的虚拟扩音器位置移位218相反。还使用同一偏移量  来调节耳间路径差。因此，可由内插器针对此虚拟扩音器而适应的头部移动范围显著减小了214和215——在此特定说明中，中央左边和中央下方的头部移动将比在没有偏移量的情况下快得多地到达个性化测量边界179。 

测量在个性化测量期间占据的头部定向

为了使个性化房间脉冲响应内插促使虚拟扩音器位置与真实扩音器的位置重合，可能必需针对所述个性化房间响应测量中的每一者建立和记录头部定向，且可能必须参考将在虚拟器播放中使用的头部跟踪坐标来表示这些定向。这些坐标通常将与PRIR数据组一起永久地存储，这是由于在没有这些坐标的情况下，其表示的头部角度和虚拟扩音器可能难以与PRIR本身分开。可以许多方式来实现头部定向测量。 

最直接的方法涉及在个性化测量期间，除了安装到耳朵的麦克风之外，人主体还佩戴某种形式的头部跟踪器装置。这种方法可通过三个自由度确定头部定向，且因此适用于所有等级的测量复杂性，包括考虑头部倾侧的那些测量。举例来说，头部跟踪器可用于图29、30和31中说明的测量。因此，可在开始每组扩音器测量之前记录从头部跟踪器输出的头部偏转(或旋转)、俯仰(升高)和倾侧读取值，且保持此信息以供虚拟器使用。 

或者，如果头部跟踪器不可用，那么可在测试之前设置固定物理观看点，这些观看点的相关联头部定向是提前手动测量的。这通常将涉及在前方扩音器或电影屏幕周围建立许多观看目标。人主体对于每个个性化测量简单地面朝这些目标，且将相关联的头部定向数据手动输入虚拟器中。在测量头部定向限于横向平面的情况(例如图29和30)下，也可能使用图30的前方扩音器本身180和183作为观看目标，并将其位置输入虚拟器中。 

遗憾地，当人主体观看目标或扩音器时，其头部经常不会完全对着其正观看的物体，且所导致的未对准可在虚拟器头戴耳机播放期间导致微小的动态跟踪误差。对此问题的一种解决方案是将测量点视为任意的头部角度，如图29，其中可通过分析测量得的个性化房间脉冲响应本身的耳间延迟来估计与位置176和178相关联的头部旋转角度。举例来说，如果主体将其头部定位成观看左边，且选择前中央扩音器181作为激励扩音器，那么左耳与右耳脉冲响应开始之间的延迟将提供相对于中央扩音器的头部角度估计。 

假定已知最大延迟，即当激励信号直接垂直于左耳或右耳且头部角度在激励扩音器的+/-90度内时在左耳与右耳麦克风信号之间测量得的延迟，那么如下给出对所述扩音器参考的头部角度： 

头部角度＝arcsine(-延迟/最大绝对延迟)                    (等式1) 

其中当左耳麦克风的延迟超过右耳麦克风的延迟时发生正延迟。当激励扩音器与主体头部之间所对的角度最低时，所述技术的准确性最高，即对于左边的测量，可能最好使用左前方扩音器而不是中前方扩音器作为激励源。另外，所述方法尤其在头部与扩音器的角度较小时可使用最大绝对延迟的估计，或可测量安装到用户耳朵的麦克风之间的最大绝对延迟作为个性化程序的一部分。另一个变化是使用某种类型的导频音调而不是脉冲测量激励信号。在某些环境下，音调将使得能够进行更准确的头部角度测量。在此情况下，所述音调可为连续的或突发的，且通过分析左耳与右耳麦克风信号之间的相位差或开始时间来确定延迟。 

依据个性化期间所允许的自由度而定，通常相对于参考头部定向(这里称为θref、ωref或ψref)来测量每次个性化获取期间所采取的头部定向角度。参考头部定向界定在观看电影屏幕或听音乐时将采取的听者头部定向。依据头部跟踪器的本性而定，跟踪坐标可具有固定的参考点(例如地球磁场或位于电视机上的光学发射器)，或者其参考点可随时间而变化。通过固定参考系统，将可能测量正常观看定向，并接着将此测量值永久地保持在虚拟器内部以用作参考头部定向。仅在听者的家庭娱乐系统将以导致观看角度相对于此参考而变化的方式改变时，才会重复所述测量。通过浮动参考头部跟踪器(例如基于陀螺仪的)，可能需要在每次接通虚拟器/头部跟踪器时建立参考头部定向。 

全部这种情况的一种可能含义是，存在由随时间的头部参考值差异带来的某种虚拟-真实扩音器未对准可能并不是不寻常的。头戴耳机虚拟系统因此可向用户提供一种方便的将头部参考定向角度(θref、ωref或ψref)重设为正常收听设置的一部分的方式。这可以(例如)通过提供一种单触发开关来实现，所述单触发开关在被按下时会提示虚拟器或头部跟踪器存储听者的当前头部定向角度。听者可通过简单地通过头戴耳机收听虚拟化扩音器来交互性地导向到正确的头部对准，在与所感觉到的未对准相反的方向上移动其头部，同时通过使用所述开关重复采样角度，直到虚拟扩音器和真实扩音器重合为止。或者，可使用某种形式的绝对参考方法，例如在存储头部角度之前，使用安装到头部的激光器并将激光光束指向收听房间中某个先前界定的参考点(例如电影屏幕的中央)。 

基于头部跟踪器输入的在PRIR数据之间的内插

这里揭示的是一种方法，其允许稀疏采样的PRIR之间进行准确的内插而没有任何虚拟准确度损失，且可能对于本文揭示的个性化头部跟踪方法的成功来说是重要的。当与音频信号卷积以使得通过一对头戴耳机的左侧播放左耳卷积信号且通过头戴耳机的右侧播放右耳卷积信号时，左耳和右耳个性化房间脉冲响应(PRIR)导致听者感觉到音  频相对于其头部定向是来自与用于在第一位置中获取左耳和右耳PRIR的扩音器相同的位置。如果听者移动其头部，那么虚拟扩音器声音将与头部保持相同的空间关系，且图像将可能被感觉成与头部一致地移动。如果在头部跟踪器指示听者头部与原始测量位置重合时通过使用一系列头部定向来测量同一扩音器且由卷积器选择替代的PRIR，那么虚拟扩音器将正确地定位在这些相同的头部位置处。 

对于未对应于那些在测量期间使用的头部位置的头部位置，虚拟扩音器位置可能不会与真实扩音器的位置对准。内插方法背后的想法在于，扩音器与安装到耳朵的麦克风之间的脉冲响应特性将可能在头部转动时相对缓慢地变化，且如果对较少数目的头部位置进行测量，那么可通过在存在脉冲数据的那些头部位置之间进行内插来计算那些未具体测量的头部位置的脉冲特性。加载到卷积器的脉冲响应数据因此将与原始PRIR中仅用于对应于测量头部位置的头部位置的那些PRIR完全匹配。理论上，头部定向可覆盖整个听觉范围，且只要进行若干测量来覆盖这个范围的移动，那么PRIR之间的差可能将较大，且因此不会较好适于内插。 

本文揭示的是一种方法，借此识别典型的听者头部移动，且仅有足以覆盖此较窄范围的头部移动的测量被实施并应用到内插过程。如果相邻PRIR之间的差较小，那么通过基于测量得的PRIR来计算中间脉冲响应，即使在头部跟踪器指示听者头部位置不再与PRIR中的那些重合时，内插过程也应导致虚拟扩音器位置保持稳定。为使内插过程准确地运作，将其划分成若干步骤。 

1)测量、记录从个性化过程输出的原始脉冲响应中固有的耳间时间延迟且接着将其从脉冲数据中去除，即所有脉冲响应在时间上对准。这在个性化测量完成之后仅进行一次。 

2)基于由听者头部跟踪器指示的头部定向来直接内插经时间对准的脉冲，其中内插系数是实时计算的或从查找表中得到，且使用内插的脉冲来卷积音频信号。 

3)左耳和右耳音频信号在PRIR卷积过程之前或之后经过单独的可变延迟缓冲器，所述缓冲器的延迟经连续调适以与模拟通常将存在于听者左耳和右耳与和虚拟扩音器重合的真实扩音器之间的不同路径长度的效应的虚拟耳间延迟匹配。基于由听者头部跟踪器指示的头部定向，可实时计算得到路径长度，或可从查找表得到路径长度。 

脉冲响应的时间对准

为了提供有效的脉冲内插，需要将PRIR进行时间对准。然而，通过使用固定与经头部跟踪器驱动的可变延迟缓冲器的组合而在PRIR卷积过程之前或之后将所有PRIR之间的差分时间延迟放回到音频信号中，以便完全再造虚拟器幻觉。实现此情况的一种  方法是测量各种时间延迟，记录这些时间延迟，并接着从每个PRIR中去除这些延迟样本，以使得其大致地被时间对准。另一方法是简单地去除延迟并依赖用户输入充分的关于PRIR头部角度和扩音器位置的信息，以使得可独立于PRIR数据来计算延迟。 

如果期望从PRIR数据估计延迟(而不是让用户输入数据)，那么第一步骤是通过搜索原始PRIR数据文件并定位每个脉冲的开始来测量从扩音器到安装到耳朵的麦克风的绝对时间延迟。由于在一种实施方案中MLS的播放和记录紧密受控且高度可再现，因而每个脉冲开始的位置和所述扩音器与麦克风之间的路径长度有关。由于模拟和数字电路中的等待时间，即使扩音器-麦克风距离较小，某个固定的延迟偏移量将一直存在于PRIR中，但其可在校准程序期间测量得到并从计算中去除。 

存在许多用于检测波形峰值的方法，且所述方法在此项技术中是众所周知的。一贯起作用的方法是测量整个脉冲响应波形上的绝对峰值并接着使用这个值来计算峰值检测阈值的方法。接着从脉冲文件的开始处开始搜索，其按顺序将每个样本与所述阈值进行比较。首先超过阈值的样本界定脉冲开始。从文件开始处的样本的位置(小于任何硬件偏移量)是扩音器与麦克风之间在样本中的总路径长度的测量。 

一旦针对每个PRIR测量得到并记录延迟，就从PRIR数据文件中去除直到脉冲开始的所有数据样本，从而留下与每个文件开始一致或极为接近的直接脉冲波形。第二步骤涉及测量从每个真实扩音器到头部中央的采样延迟，并接着使用所述采样延迟来为在个性化测量期间采取的每个头部位置计算存在于左耳与右耳麦克风之间的耳间延迟。通过取左耳与右耳脉冲开始之间的平均值来计算扩音器-头部采样路径长度。对于用于测量同一扩音器的所有头部位置应找到同一个值，然而可能存在微小差异，且可能需要平均的扩音器路径。接着针对所有头部位置和所有扩音器的所有脉冲响应对，通过从左耳路径长度中减去右耳路径长度来计算耳间路径差。 

描述此情况的方法进一步对以与通过激励扩音器进行MLS播放的速率相等的速率采样的原始PRIR数据进行操作。通常，此采样速率将为48kHz的区域。当希望以高采样速率(例如96kHz)运行虚拟系统时，较高的MLS采样速率是可能的，且的确经常是优选的。较高的采样速率也允许PRIR文件的更准确时间对准，且由于可变缓冲器实施方案通常将提供小到采样周期的较小片断的延迟步长，因而可容易地开发额外准确度。代替升高MLS过程的基本采样速率，还可能将PRIR数据样本过采样到任何期望的分辨率，并基于过采样的数据来对脉冲进行时间对准。一旦完成此情况，就接着向下采样脉冲数据，使其返回到其原始采样速率，并被存储供内插器使用。严格来说，仅必需过采样每个脉冲对的左耳或右耳脉冲以便实现对准。 

脉冲响应内插

对经时间对准的脉冲数据进行内插是相对直接的，且基于由头部跟踪器实时发送的听者头部定向角度来线性实施。最直接的实施方案在仅仅两个脉冲响应之间进行内插，所述两个脉冲响应对应于期望的标称观看角度任一侧的两个测量角度。然而，借助于通过采取接近标称观看头部定向的头部位置而在两个外部测量之间的中途进行第三测量，可实现显著的性能改进。 

举例来说，图15中说明这种3点线性内插的过程。经时间对准的PRIR内插过程15输入三个内插系数6、7和8，所述内插系数从头部跟踪器头部角度10、参考头部角度12和虚拟扩音器偏移角度11的分析中计算得到9。所述内插系数用于通过使用乘法器4来缩放分别从缓冲器1、2和3输出的脉冲响应样本的振幅。经缩放的样本经求和5并存储13，且在要求时输出14到卷积器。脉冲响应缓冲器每一者通常保持成千上万的样本，这表示个性化房间脉冲响应具有数百毫秒的混响时间。内插过程一般逐步通过缓冲器1、2和3中保持的所有样本，尽管出于经济和速度的原因，可能对较少数目的样本进行内插并使用来自脉冲响应缓冲器之一的相应样本来填充13中未经内插的那些位置。读取头部跟踪器角度、计算内插系数和更新经内插的PRIR数据文件13的过程一般将以虚拟器输入音频帧速率或头部跟踪器更新速率来发生。针对此说明的基本内插等式由下式给定： 

内插IR(n)＝a*IR1(n)+b*IR2(n)+c*IR3(n)；对于n＝0，脉冲长度(等式2) 

在此实例中，脉冲响应缓冲器1、2和3分别相对于-30度(或逆时针30度)、0度和+30度的参考头部角度θref12而含有对应于听者横向头部角度的PRIR。通常将响应于头部跟踪器角度θ_T如下计算此情况下的内插系数。首先，标准化头部跟踪角度θn由下式给定： 

θn＝(θx-θref)且限于-30＜θn＜30(等式3) 

其中参考头部角度θref是对应于期望的观看或收听头部角度的固定头部跟踪器角度。如果虚拟扩音器偏移角度为零，那么所述系数由下式给定： 

a＝(θn)/-30        对于-30＜θn＜＝0 (等式4L) 

b＝1.0-a            对于-30＜θn＜＝0 (等式5L) 

c＝0.0              对于-30＜θn＜＝0 (等式6L) 

a＝0.0              对于30＞θn＞0    (等式4R) 

c＝(θn)/30         对于30＞θn＞0    (等式5R) 

b＝1.0-c            对于30＞θn＞0    (等式6R) 

且因此全部由1和0限制。虚拟扩音器偏移角度θv是角偏移，在可能(例如)需要使虚拟扩音器与位置并不与所测量的扩音器匹配的真实扩音器对准时，将所述角偏移添加到标准化头部跟踪角度以导致虚拟扩音器位置相对于θref略微移位。对于每个虚拟扩音器来说存在单独的θv。由于保持在三个缓冲器中的PRIR文件仅代表固定的头部角度范围——在此实例中为+/-30度，因而使用偏移量导致相对于θref减小头部跟踪范围。举例来说，在θv_L表示将应用于左前方虚拟扩音器的偏移量时，用于此扩音器的标准化头部跟踪角度θn_L为： 

θn_L＝(θ_T-θref+θv_L)同样限于-30＜θn_L＜30(等式7) 

到目前为止，所述论述已在对应于在三个头部角度-30、0和+30度处测量的扩音器的单组PRIR文件之间进行了内插。在正常操作下，个性化测量角度将是任意的，且在参考θref周围几乎肯定是不对称的。在这些环境下的内插等式的更一般形式由下式给定： 

θn_X＝(θ_T-θref+θv_X)     限于θL＜θn_X＜θR      (等式8) 

a＝(θn_X-θC)/(θL-θC)    对于θL＜θn_X＜＝θC    (等式9) 

b＝1.0-a                   对于θL＜θn_X＜＝θC    (等式10) 

c＝0.0                     对于θL＜θn_X＜＝θC    (等式11) 

a＝0.0                     对于θR＞θn_X＞θC      (等式12) 

c＝(θn_X-θC)/(θR-θC)    对于θR＞θn_X＞θC      (等式13) 

b＝1.0-c                   对于θR＞θn_X＞θC      (等式14) 

其中θv_X是扩音器x的虚拟偏移量，θn_X是虚拟扩音器x的标准化头部跟踪角度，θL、θC和θR是分别参考θref的看向左边、看向中央和看向右边的三个测量角度。考虑到虚拟偏移量θv_X对于每个扩音器来说可能不同，针对所有虚拟扩音器的每个左耳和右耳PRIR重复所述内插过程。 

当对于包括升高(俯仰)的头部位置存在PRIR时，也可实现内插。图32a说明其中对于头部定向A 185、B 184、C 177、D 186和E 187存在五个PRIR测量组的实例。内插通常通过以下方式来实现：将区域划分成三角形188、189、190和191，确定听者头部角度落在哪个三角形中，且接着基于所述头部角度落在何处相对于形成所述三角形的三个顶点测量点来计算所述三个内插系数。图32b以实例方式说明位于顶点A、B和C分别对应于原始测量点中的三者185、184和177的三角形内的当前听者头部定向194。如图所示再次细分此三角形，其中头部角度点194形成每个子三角形的新顶点。子区域A′192由头部角度点177以及顶点B和C界定。同样，子区域B′193由194、A和C界  定，且子区域C′195由194、A和B界定。内插等式由下式给定： 

内插IR(n)＝a*IRA(n)+b*IRB(n)+c*IRC(n)；对于n＝0，脉冲长度(等式15) 

其中IRA(n)、IRB(n)和IRC(n)为分别对应于测量点A、B和C的脉冲响应数据缓冲。内插系数a、b和c由下式给定： 

a＝A′/(A′+B′+C′)                    (等式16) 

b＝B′/(A′+B′+C′)                    (等式17) 

c＝C′/(A′+B′+C′)                    (等式18) 

此方法可用于构成头部跟踪器指示听者头部正指向的原始测量边界的三角形中的任一者。此项技术中存在许多方法用于计算子区域A′、B′和C′。最准确的方法假定测量点A、B、C、D、E和头部位置点194全部位于球体表面上，所述球体的中心与听者头部重合。如果听者头部偏转和俯仰坐标由ω_T给出，那么如同横向内插的情况，其参考期望的观看偏转和俯仰定向ωref并限于位于测量2维边界内。在图32a的情况下，标准化跟踪器坐标ωn界定为如下： 

ωn＝(ω_T-ωref)    限于AB＜ωn(偏转)＜DE    (等式19) 

                        BE＜ωn(俯仰)＜AD    (等式20) 

其中AB、DE、AD和BE表示测量区域的左、右、上和下边界。同样，可将用于虚拟扩音器x的2维偏移量ωv_X添加到标准化坐标ωn，以导致感觉到的虚拟扩音器的位置相对于参考观看定向ωref移位，以给出 

ωn_X＝(ω_T-ωref+ωv_X)限于AB＜ωn_X(偏转)＜DE    (等式21) 

                          BE＜ωn_X(俯仰)＜AD    (等式22) 

上述讨论已假定相对于参考头部定向来测量PRIR测量头部定向。如果PRIR定向仅相对于彼此而已知，那么其与参考头部定向的确切关系可能是不确定的。在此情况下，将必需通过计算PRIR测量范围的中值点并参考测量坐标表示此点来建立近似的中心参考。这并不保证在虚拟播放期间具有完全的虚拟—真实扩音器对准，这是由于此中值点可能不与在其获取期间使用的参考头部定向重合。此情况下的对准可仅为在通过如本文听述的头戴耳机收听虚拟化扩音器时以交互方式实现的可靠性。 

为减少内插系数计算的计算负荷，可能在虚拟器初始化阶段期间建立离散值的查找表。接着将基于头部跟踪器角度而从表中读出这些值。此类查找表可与PRIR数据一起存储，从而避免在每次由虚拟器初始化例行程序加载PRIR时需要重新产生所述表。所述论述还以实例方式提到了2位置、3位置和5位置PRIR内插方法。将了解，PRIR内插技术并不限于这些具体实例，且可在不脱离本发明范围的情况下应用于头部定向的许  多组合。 

预先内插的脉冲响应存储

响应于听者头部角度变化而改变PRIR的一种方法是在运行中从某组稀疏测得的PRIR中计算内插脉冲响应。替代方法是提前预先计算中间响应的范围并将其存储在存储器中。接着使用包括任何偏移量的头部跟踪器角度来直接访问这些文件，从而避免在实时虚拟期间需要产生内插系数或运行PRIR内插过程。此方法具有的优点在于实时存储器读取和计算的数目低于内插的情况。较大的缺点在于，为了在动态头部跟踪期间充分实现中间响应之间的平滑过渡，需要许多脉冲响应文件，从而对系统存储器造成过多要求。 

路径长度计算

由于针对每个扩音器和每个头部位置测得的原始左耳和右耳PRIR未必是时间对准的，即其可能展现出耳间时间差(或延迟)，那么在将左耳和右耳音频信号与时间对准的脉冲响应卷积之后，可能必需通过使卷积的音频经过可变延迟缓冲器来重新引入此差。耳间延迟将仅对于横向平面(偏转)中的头部移动和对于头部倾侧而以正弦曲线方式变化。升高(俯仰)头部不影响到达时间，因为俯仰轴本质上与耳朵本身对准。因此，对于头部位置包括旋转与升高两者的个性化测量，仅有头部跟踪器的偏转角度用于驱动可变延迟缓冲器。在对于不同于水平的头部倾侧角度存在PRIR数据时，耳间时间延迟计算考虑到头部跟踪器倾侧角度的变化。关于耳间时间延迟的偏转或倾侧移动的最大程度最终将取决于扩音器相对于听者头部的位置。 

举例来说，图13中说明针对图9、10和11的横向平面测量的安装到左耳与右耳的麦克风之间的典型耳间路径差Δ。在Δ149在y轴147上绘制为正的情况下，路径长度对于左耳麦克风最大。Δ相对于头部旋转的变化绘制在x轴150上，且用正弦曲线149来近似，在穿过耳朵的轴线与声音源对准时达到峰值148和155。正弦曲线的实线部分指示所述曲线的分别界定图10、9和11中所说明的三个头部观看位置154、153和151的区域。正弦曲线在这三个点处的振幅表示针对每个头部位置从PRIR数据测得的路径长度差，且其相对的头部角度在x轴上分开。路径长度内插方法涉及针对由头部跟踪器指示的头部角度150计算正弦曲线的振幅，使得可在头部角度A、B和C之间建立任何中间路径延迟。即使当头部跟踪器指示头部已移动到由图13中虚线149说明的测量边界外部时，路径长度计算也可继续，这是由于所述正弦曲线是针对整个0-360度头部转动范围而自动界定的。 

对于任何特定扩音器来说，通过使用PRIR测量点中的至少两者的路径差和头部角  度值来求解正弦曲线等式。用于点A、B和C的基本等式为： 

1)PEAK*sin(θ)＝Δ_A                  (等式23) 

2)PEAK*sin(θ+ω)＝Δ_B               (等式24) 

3)PEAK*sin(θ+ω+ε)＝Δ_C            (等式25) 

其中PEAK是当声音源垂直于耳朵时的最大耳间延迟，θ是正弦曲线上对应于测量点A的角度，Δ_A、Δ_B、Δ_C分别是点A、B和C的差分延迟，ω是点A与B之间所对的角度，且ε是点B与C之间所对的角度。 

求解θ，且使用前两个等式给出： 

Sin(θ+ω)/Sin(θ)＝Δ_B/Δ_A          (等式26) 

由于至少两个头部角度界定听者范围，且与这些角度相关联的是展现已知路径差Δ(例如Δ_A和Δ_B)的左耳和右耳PRIR数据组，且头部角度之间的角位移ω也是已知的，因而可容易通过迭代来确定θ。由于测量不准确性，可能需要产生存在额外测量的第二比率，例如在此实例中为Δc/Δ_A，以便确认第一比率的结果或产生平均值。接着可通过代入找到正弦曲线的振幅PEAK。针对所有扩音器PRIR数据的左耳和右耳组而重复上述方法。用于虚拟扩音器x的一般路径差等式如下给出： 

Δ_X＝PEAK_X*sin(θ_X+ρ)               (等式27) 

其中ρ是与听者头部旋转有关的角度。更具体地说，由于原始测量点是参考θref的，因此由跟踪器指示的听者头部角度θt被适当偏移以给出标准化听者头部角度θn： 

θn＝(θt-θref)                     (等式28) 

此角度通常将限于在测量点的角度限制内，但这不是严格必要的，因为可针对所有头部角度正确计算路径差。当应用虚拟扩音器偏移量θv_X时情况也是这样。 

θn_X＝(θt-θref+θv_X)               (等式29) 

标准化头部角度现参考图13的正弦曲线函数。通过从标准化头部角度中减去最左边的测量角度θA来计算每个虚拟扩音器的路径长度角度θ_ΔX。 

θ_ΔX＝(θn_X-θA)                    (等式30) 

因此，当标准化角度等于左边测量点时，路径长度角度θ_ΔX为零。现使用下式来计算扩音器x的路径长度差： 

Δn_X＝PEAK_X*sin(θ_X+θ_ΔX)           (等式31) 

通常，将使用子例行程序来计算正弦函数，或将使用某种形式的离散查找表来估计所述正弦函数。 

上述解释集中在横向头部旋转(偏转)的实例。头部升高(俯仰)的变化不影响耳  间延迟。这意味着当从其PRIR数据组构造正弦曲线函数时，俯仰角度的选择不是重要的。在使用头部倾侧来调节虚拟耳间延迟的情况下，那么可通过使用从针对不同倾侧角度获取的PRIR数据测得的耳间时间延迟来进行相同的一般方法。在此情况下，基于倾侧角度的程度来修改从偏转头部移动计算出的耳间延迟。各种程序可用于实施此类2维内插过程，且在此项技术中是熟知的。此外，用于解释偏转路径长度计算的说明已集中在3点PRIR配置上。将了解，在不脱离本发明范围的情况下可使用较广范围的PRIR头部定向组合来构造路径长度公式。 

除了针对任何一个扩音器而存在于耳朵之间的耳间(差分)延迟之外，路径长度差也潜在地存在于各个扩音器之间。也就是说，扩音器可能不会与听者头部等距离。通过首先识别最短路径长度(即，最靠近听者头部的扩音器)并从将此值从其本身和所有其它扩音器路径长度值中减去来计算扩音器间的差分延迟。这些差分值可成为经产生以实施耳间延迟处理的适应性延迟缓冲器的固定要素。或者，可能更需要在这些延迟被分裂而馈入可变耳间延迟缓冲器或PRIR卷积器(无论哪个在前)之前，在音频信号路径中实施这些延迟。 

可通过使用固定延迟缓冲器而在所述过程的任一阶段实施共同扩音器延迟(即，到头部的最小路径长度)。同样，可能需要延迟对虚拟器的输入，或者如果延迟足够小而使其不会引入明显的头部跟踪等待时间，那么可将其引入到在虚拟器输出端处馈入的头戴耳机信号中。然而通常，虚拟器硬件实施方案本身将展现明显的信号处理延迟或等待时间，且因此通常会将最小扩音器路径延迟减少硬件等待时间的量，且可能根本不需要最小扩音器路径延迟。 

手动公式化路径长度计算器

目前为止所述论述已描述了通过分析PRIR数据来确定路径长度等式和/或相关联查找表的方法。如果已经知道PRIR头部定向角度与PRIR扩音器之间的关系，那么可能能够通过使用此数据来直接建立路径长度公式。距离来说，如果用户准备在进行PRIR测量时佩戴头部跟踪器，那么会已经知道PRIR角度。另外，如果相对于参考定向也已知扩音器的位置，那么可能直接公式化路径长度等式而不需要任何进一步分析。为支持此类方法，用户将必须将其扩音器的位置手动输入到虚拟器中以允许进行计算。这些位置将参考用于测量PRIR头部角度的相同坐标来表示。也可以相同方式来输入PRIR头部角度，或者可在PRIR程序期间从头部跟踪器处采样所述PRIR头部角度。 

一旦PRIR头部角度和扩音器位置安装在虚拟器中，那么此数据就可与PRIR数据一起存储，从而允许在每次由虚拟器初始化例行程序加载PRIR时重新产生路径长度公  式。 

可变延迟缓冲器的实施方案

数字可变延迟缓冲器是众所周知的，且此项技术中存在许多有效的实施方案。图17说明典型的实施方案。可变延迟缓冲器17通过在样本之间插入若干个零来过采样18输入流，且接着进行低通滤波器19以抵制图像伪信号。样本进入固定长度缓冲器25的顶部，且此缓冲器的内容在每个过采样周期中系统地向下逐渐移动到底部。从缓冲器位置读出样本，所述缓冲器位置的地址20通过由听者头部定向10、参考角度11和任意虚拟扩音器偏移量12驱动的耳间时间延迟计算器24来确定。举例来说，在缺少头部倾侧角度时，此计算器将采用等式31的形式。从缓冲器中读出的样本被向下采样22，且输出剩余样本。通过改变从中读取样本的位置的地址20来影响缓冲器的延迟，且这可在虚拟器运行同时动态地发生。延迟的范围可从零(从缓冲器顶部拾取输出样本)到缓冲器本身的样本大小(从最底部位置拾取输出样本)。通常，过采样速率18大约为100s，以确保改变输出地址的动作不会导致可闻假象。 

预先计算的路径长度

响应于听者头部角度变化而改变耳间路径长度的一种方法是经由运行中的计算基于正弦曲线函数或通过某种类型的正弦查找表来计算可变延迟路径长度。替代方法是提前针对每个扩音器预先计算覆盖预期头部移动范围的一系列路径长度，并将这些路径长度存储在查找表中。接着将响应于变化的头部跟踪器角度来存取离散的路径长度值。 

匹配虚拟-真实扩音器的感知距离

尽管人们对于声音源的感知距离差相对较不敏感，但听者与用于进行个性化测量的扩音器之间和听者与用于在视觉上增强虚拟图像的实际扩音器之间的较大距离差将难以在心理声学角度上变得和谐。当观看屏幕相对较靠近听者头部(例如飞机和车内娱乐系统)时，所述问题尤其明显。此外，在这些环境中，对此类播放系统进行个性化通常是不可行的。出于此原因，本发明的实施例包括一种修改个性化房间脉冲响应本身以便改变感知的虚拟扩音器距离的方法。所述修改涉及识别所讨论的扩音器专有的个性化房间脉冲响应的直接部分以及相对于后面的混响部分改变其振幅和位置。如果现在虚拟器中使用此经修改的房间脉冲响应，那么虚拟扩音器的表观距离将在某种程度上受到改变。 

图12中展示此类修改的说明。在此实例中，原始脉冲响应(上部迹线)描述被感知为与实体扩音器相距太远的虚拟扩音器，且所述修改试图缩短此距离(底部迹线)。通常，个性化房间响应161的直接部分将包含波形中从脉冲开始162开始的前5到10ms，  且由响应中表示在任何房间反射164到达之前直接从扩音器到达麦克风的脉冲波的那个部分界定。 

将脉冲161在开始162与第一反射164之间的直接部分复制到经修改的脉冲响应163而不进行迭代。脉冲响应的直接和混响部分的相对振幅在很大程度上影响扩音器的感知距离，扩音器越近，直接信号相对于反射信号的能量越大。由于声音级降低了与源相距距离的负二次方，因而如果试图使虚拟与真实扩音器之间的感知距离减半，那么混响部分将衰减到1/4。因此，从第一房间反射的开始164起始到房间脉冲响应的结束165的脉冲响应的振幅经适当调节并被复制到经修改的脉冲响应163。在此实例中，通过用零拉长脉冲样本来假象地增加直接部分的结束166与第一反射的开始167之间的时间。这模拟了直接和混响部分的相对到达时间将随着物体逐渐靠近扩音器声音源而增加的事实。为使扩音器听上去更远，以相反的方式来进行对脉冲的修改——相对于混响部分衰减脉冲的直接部分，且可通过恰好在第一反射之前去除脉冲样本来缩短到达时间。 

调节偏离中央的收听位置

即使当针对个性化和收听活动两者维持同一扩音器配置时，如果收听位置与用于进行个性化测量的位置不相同，那么可能不会实现虚拟-真实扩音器对准。当(例如)一个以上的人同时听音乐或看电影时——在此情况下一个或一个以上个人可能位于与期望的有效点相距较短距离处，此问题通常将会出现。可通过使用本文描述的技术来容易地补偿例如这些的较小位置误差。首先，收听位置相对于测量位置的偏移量可改变真实扩音器相对于中心观看定向的横向和高度坐标——改变程度对于每个扩音器而不同，且依据收听位置偏移量误差的量值而定。如果已知真实扩音器的位置，那么为使真实扩音器与虚拟扩音器重新对准，通过使用本文描述的方法针对每个扩音器单独采用内插器偏移量ωv(或θv)。其次，听者头部与真实扩音器之间的距离可能不再与感知的虚拟距离匹配。由于已知原始距离，因而作为个性化测量的副产物，可计算出每个虚拟扩音器的距离误差，且通过使用本文描述的技术修改个别房间脉冲响应数据以去除偏差。 

落在测得范围以外的头部移动

这里揭示的是可用来处理以下情形的若干方法：听者头部移动超出个性化测量边界的限制，即落在头部跟踪退旋过程的范围以外，所述范围例如图31中所说明的虚线179。最基本的方法简单地针对任一轴线(其中头部跟踪器指示已发生了边界突破)冻结所述内插过程，并保持所述值，直到头部移动回到范围中为止。此方法的效果在于，虚拟扩音器图像可能跟随所述范围以外的各种定向的头部运动，但一旦在范围内便将保持稳定。 

另一方法允许差分路径长度计算过程继续适用于所述范围以外(等式31)，从而使脉冲响应内插固定于在突破范围边界之前所使用的最后一个值。此方法的效果在于，只有从虚拟扩音器发出的高频率才可能在范围以外随头部而移动。 

再一方法通过使用某种类型的头部位置衰减曲线来迫使虚拟器输出的振幅在范围以外得到衰减。此方法可与先前方法中的任一者组合使用。衰减的效果是产生声窗，借此仅当用户观看个性化区域(范围)的附近时，声音才来自虚拟扩音器。此方法不需要在头部越过范围边界以外之后立即开始衰减音频，例如，在仅进行了横向测量(如图29和30中说明)的情况下，需要在触发衰减过程之前允许升高(俯仰)的显著偏差，即在测量中心线179上方和下方。所述衰减方法的一个心理声学益处在于，其显著增强了虚拟声音级，因为其使听者经受声像旋转的幻觉减少效应的可能性减到最小。所述衰减方法的另一益处在于，其允许用户容易地控制施加于头戴耳机的音量，例如，通过将头部转动远离电影屏幕，听者可有效地减弱头戴耳机的声音。 

最后的方法涉及通过使用同一个性化数据组中与其它虚拟扩音器相关联的房间脉冲响应数据来人为地扩展个性化范围。所述方法尤其可用于多通道环绕声型扩音器系统(图34a)，其中存在足够的扩音器以在整个+/-180度头部转动范围中允许相当准确的虚拟化经历。然而，所述方法不保证虚拟扩音器将在声音上与真实扩音器的声音匹配，因为通过扩展内插区域，可能必须使用通过使用定位在多个位置中的扩音器而不是虚拟化的扩音器而测量得的房间脉冲响应数据。 

除了声音不匹配之外，所述方法还存在其它问题，即配置在环绕声系统中的扩音器可能不会定位成等距离或处于相同的高度，且因此在单个横向平面上进行个性化的情况下，可能难以在听者头部移动通过扩展的范围时在虚拟与真实扩音器之间保持准确对准。在个性化测量包括升高要素的情况下，那么可通过使用如先前论述的内插器偏移量而在头部转动时动态地补偿这些高度不匹配。也可通过使用已论述的技术而在头部旋转时动态地校正扩音器距离差。 

所述方法在图34b中通过使用常见的5通道环绕声扩音器格式来说明，且描绘用于在听者转动通过360度时虚拟左前方扩音器200(图34a)的各种内插组合。图34a的说明是平面图，且展示位于假想圆201中心的听者79与定位在假想圆201上的中央196、右前方197、右环绕198、左环绕199和左前方200五个扩音器之间的角关系。前中央扩音器196表示0度方向，且是听者在观看中央屏幕时将采取的方向。左前方扩音器200定位成与中央屏幕偏离-30度，右前方扩音器197与屏幕中央偏离+30度，左环绕扩音器199与屏幕中央偏离-120度，且右环绕扩音器198与屏幕中央偏离+120。 

图34b假定已在单个横向平面上进行了个性化测量，且针对分别由左前方200、屏幕中央196和右前方197扩音器组成且在横向平面上提供+/-30度的范围的三个观看点(先前在图30中说明)测量了所有五个扩音器。图34b描绘由内插器在听者头部移动通过整个360度时虚拟左前方扩音器200所使用的个性化数据组202、203、204、205、206、207和208的组合。由于所有扩音器的个性化测量是在观看所述三个前方扩音器位置的情况下进行的，因而对于停留在此范围(偏离中央屏幕+/-30度)202内的头部角度，内插器使用所述通过使用真实的左前方扩音器而测得的三组房间脉冲响应。这是正常的操作模式。 

当头部移动越过左前方扩音器而进入-30到-90度区域208中时，内插器可不再使用左前方扩音器数据，且内插器被迫采用针对右前方扩音器测得的三组房间响应脉冲数据。在此情况下，输入到内插器的头部旋转角度被顺时针偏移60度，以迫使右前方扩音器脉冲数据在头部转动通过此区域时被正确存取。如果左前方和右前方扩音器的声音特性类似且其定位在相同高度，那么调换将是无缝的，且用户一般应当不会察觉到扩音器数据不匹配。 

对于在-90与-120度之间207的头部角度，虚拟器在用户观看左前方扩音器时针对右方扩音器测得的房间脉冲响应数据与在用户观看右前方扩音器时针对右环绕扩音器测得的房间脉冲响应数据之间进行内插。 

对于在-120与-180度之间206的头部角度，内插器使用针对右环绕扩音器测得的三组房间脉冲响应数据，其中向内插器施加适当的角偏移量。 

对于在180与120度之间205的头部角度，虚拟器在观看左前方扩音器时针对右环绕扩音器测得的房间脉冲响应数据与在观看右前方扩音器时针对左环绕扩音器测得的房间脉冲响应数据之间进行内插。 

对于在120与60度之间204的头部角度，内插器使用针对左环绕扩音器测得的三组房间脉冲响应数据，其中再次向内插器施加适当的角偏移量。 

对于在60与30度之间203的头部角度，虚拟器在观看左前方扩音器时针对左环绕扩音器测得的房间脉冲响应数据与在观看右前方扩音器时针对左前方扩音器测得的房间脉冲响应数据之间进行内插。所属领域的技术人员将明了，刚在图F中描述和说明的技术可容易应用于具有更多或更少扩音器的娱乐系统，且其可应用于通过使用横向(偏转)和升高(俯仰)头部定向获得的个性化数据组。 

混合个性化与非个性化房间脉冲响应

发明者所进行的实验有力地表明虚拟准确性高度取决于听者本身个性化房间脉冲  响应(PRIR)数据的采用。然而，还发现，一般看不见的扩音器对个性化数据的准确性较不关键，且确实经常可能使用非个人房间脉冲或使用虚构头部获取的那些房间脉冲而不严重损失后面的虚拟幻觉。因此，可采用用以虚拟多通道扩音器配置的个性化与非个性化(或普通)房间响应的组合。在用户没有时间进行必要的测量的情况下或在难以在期望位置中配置扩音器以进行测量的情况下，此操作模式是可能的。普通房间脉冲响应(GRIR)具有与PRIR相同的形式，即其表示在典型的听者头部移动范围或范畴中对扩音器的稀疏采样。GRIR的处理也将为类似的，即将记录耳间延迟、时间对准脉冲波形并接着通过使用可变延迟缓冲器来恢复耳间延迟，且内插器在听者头部位置动态驱动下产生中间脉冲响应数据。 

用于个性化测量程序的自动电平调节

在反馈回到循环交叉相关处理器的记录信号中存在非线性时，通过使用MLS技术而进行的脉冲响应测量变得不准确。非线性通常由于在麦克风放大器之后的模拟到数字转换级处的限幅而出现，或者扩音器变换器或扩音器放大器中的失真由于过驱动而出现。这意味着对于稳健的MLS个性化房间脉冲响应测量方法来说，可能必须在测量期间控制测量链的每一级处的信号电平。 

在一个实施例中，揭示了在每个个性化测量时期之前使用的MLS电平缩放方法。一旦确定了适当的MLS电平，那么就在针对特定房间扬声器设置和人主体进行的所有后续个性化测量期间使用所得的缩放因数来设定MLS音量电平。通过在个性化房间脉冲响应获取期间使用单个缩放因数，额外的缩放或耳间电平调节在其用于虚拟器引擎之前是不必要的。 

图23说明典型的5通道扩音器MLS个性化设定。人主体(平面图)79由五个扩音器(也是平面图)围绕，且位于期望的测量点并面朝前中央扩音器，且在每个耳朵中安装有麦克风，所述麦克风的输出连接到麦克风放大器96。从98输出的MLS通过与缩放因数101相乘而得到缩放4。经调节的MLS信号103输入到1对5反向多路复用器104，所述反向多路复用器104的输出105各自经由数字到模拟转换器72和可变增益功率放大器106而驱动五个扩音器中的一者。图23具体说明MLS信号98被路由到前左方扩音器88。安装到耳朵的麦克风拾取由扩音器88发射的MLS声波，且这些信号被放大96和数字化99，且将其峰值振幅进行分析97并与期望的阈值电平100比较。 

测试以扩音器放大器音量106设定得足够高开始，其中所述扩音器放大器音量106高得足以允许由扩音器表示的全标度MLS信号在安装到耳朵的麦克风处产生一个声压电平，所述声压电平将导致将达到或超过期望阈值电平100的麦克风信号电平。如果有  任何疑问，那么将音量保留在其最大设定且不被再次调节，直到已获取所有的个性化房间脉冲响应为止。电平测量例行程序以MLS缩放到相对较低的电平(例如，-50dB)开始。由于从98输出的MLS在数字峰值电平(即，0dB)处在内部产生，因而这导致MLS以低于其数字限幅电平50dB而到达DAC。经衰减的MLS被放出到由104选择的仅一个扩音器持续一段时期，所述时期足够长以允许97处的实时测量可靠地确定峰值电平。在一个实施例中，使用0.25秒的周期。将97处的此峰值与期望电平100比较，且如果发现记录的MLS麦克风信号中的任一者都没有超过此阈值，那么就略微减小缩放因数衰减并重复测量。 

在一个实施例中，以3dB的步长来减小缩放因数衰减。以递增方式升高对扩音器的MLS驱动的振幅和测试所得的麦克风拾取电平的这个过程持续到麦克风信号中的任一者都超过期望电平为止。一旦达到了期望的电平，那么就保持缩放因数101以用于实际个性化测量。可通过选择替代扩音器来使用104测试而针对所有将经受个性化测量的扩音器重复所述MLS电平测试。在此情况下，保持每个扩音器的缩放因数，直到测试了所有扩音器为止，且保持具有最高衰减的缩放因数以用于所有后续个性化测量。 

为使得MLS导出的个性化房间脉冲响应的信噪比最大化，应将期望的电平阈值100设定为接近数字限幅电平。然而通常，将其设定为略低于限幅以提供误差容限。而且，如果MLS声压电平令人主体不舒服，或测量链具有不充足的增益，而使得存在过驱动扩音器或放大器的风险，那么可进一步减小此电平。 

如果缩放因数101达到值1.0(0dB)且测得的MLS电平保持在期望电平100以下，那么就放弃MLS电平测试。如果测得的麦克风电平不与缩放因数迭代步骤的电平成比例地增加，那么也放弃测试。也就是说，如果在每一步骤缩放因数衰减减小3dB，那么麦克风信号电平应增加3dB。任一麦克风上的固定信号电平通常指示麦克风、扩音器、放大器和/或其互连所存在的问题。 

以上论述已参考特定的步长大小和阈值。将了解，在不脱离本发明此方面的范围的情况下可将较广范围的步长大小和阈值应用于所述方法。 

使用直接扩音器连接的个性化测量

执行个性化房间脉冲响应(PRIR)测量要求实时地通过选定的扩音器输出激励信号且通过使用安装到耳朵的麦克风来记录所得的房间响应。一个实施例使用MLS技术来进行这些测量，且将此信号选择性地切换到在典型AV接收器设计的功率放大级之前的DAC中。在图26中说明直接存取扩音器信号馈入的配置。多通道音频输入76经由模拟到数字转换器(ADC)70输入，并连接到头戴耳机虚拟器122输入和一组双向数字开关  132。通常，开关132被设定为允许音频信号121通过而到达数字到模拟(DAC)转换器72，并经由可变增益功率放大器106驱动扩音器。这将是正常的操作模式，且允许用户选择通过扩音器或头戴耳机来收听音频。然而，当用户希望开始个性化测量时，虚拟器123通过转接开关132而隔离扩音器，且经缩放的数字MLS信号103替代地被路由104到所述扩音器中的一者，其中所有其余扩音器馈入的声音都被减弱。虚拟器可通过改变MLS路由104来选择不同的扩音器进行测试。在完成所有MLS测试之后，通常将开关132重设为允许音频信号121再次通过而到达扩音器。 

使用外侧处理器的个性化测量

例如当头戴耳机虚拟器被设计为单独的外侧处理器且多通道音频信号是从传入的编码位流解码时，某些产品设计被设想为不到达所述扩音器信号路径。在许多情况下，包括来自虚拟器处理器的可连接到外部线路电平切换系统的单独输出，正如将MLS发出到选定扩音器所需的那样，将是成本过高的。尽管可经由编码的数字位流播放来自CD或DVD光盘的激励信号，但这是不方便的，因为一旦光盘播放开始就不容易使其中断。这将意味着例如MLS电平调节、头部稳定或跳过扩音器测量等简单任务由用户手动引导或辅助，从而大大增加了个性化过程的难度和持续时间。 

这里揭示的是一种方法，其使用工业标准多通道编码系统来用最小的额外开销和成本提供对AV接收器型设计中的扩音器的访问。在图27中说明此系统。头戴耳机虚拟器124容纳虚拟器123以及头戴耳机、头部跟踪器和麦克风i/o 72、73、96和99、多通道解码器114和S/PDIF接收器111和发射器112。外部DVD播放器82经由数字SPDIF连接而连接到124，所述信号从DVD播放器发送110并由虚拟器使用内部SPDIF接收器111接收。此信号被传递到内部多通道解码器114，且经解码的音频信号121被传递到虚拟器核心处理器122。通常，将开关120定位为允许来自DVD播放器的SPDIF数据直接传递到内部SPDIF发射器112并到达AV接收器109。AV接收器解码SPDIF数据流，且所得经解码的音频信号经由可变增益功率放大器106输出到扩音器88。这将是正常的操作模式，且允许用户选择通过扩音器或头戴耳机来收听音频，而不必对设备间信号连接做出任何改变。 

然而，当用户希望开始个性化测量时，虚拟器123通过转接开关120而隔离来自DVD播放器的SPDIF信号，且从多通道编码器119输出的经编码的MLS位流替代地传出到AV接收器109。产生的MLS样本98在其编码119之前被增益变动4和101。由于在任一个时间仅测量一个音频通道，因而MLS由虚拟器引导到多通道编码器中虚拟器希望测量的那个特定输入通道。所有其它通道的声音一般将被减弱。这具有的优点在于  编码位分配可将可用的位单独集中到承载MLS的通道，且因此使编码系统本身的作用最小。将MLS编码的位流实时传输到AV接收器109，在该处使用兼容的多通道解码器108将MLS解码为PCM。 

PCM音频从解码器输出，且MLS通过而到达期望的激励扩音器88。同时，人主体79的安装到左耳和右耳的麦克风拾取所形成的声音并使其延迟(86a和86b)到达麦克风放大器96以供MLS交叉相关过程97进行处理。所有其它扩音器将保持安静，因为其音频通道的声音在编码过程119期间被减弱。所述方法依赖于AV接收器内存在兼容多通道解码器。目前，可通过使用大量现有的消费者娱乐设备来解码通过使用(例如)Dolby Digital、DTS(参见(例如)第5,978,762号美国专利)或MPEG I方法编码的音频。所述方法将对所有三种类型的编码有良好作用，但都将对MLS或激励波形引入某种失真，从而导致PRIR保真度的略微减小。然而，DTS和MPEG系统可以较高的位速率操作，且具有前向自适应位分配系统，所述前向自适应位分配系统可经修改以较好地利用仅有一个音频通道是活动的事实，且因此可比Dolby系统更少地改变激励波形。而且，DTS系统在某些操作模式中提供高达23位量化和完整重构，且这可能导致比MPEG系统甚至更低的激励失真等级。 

在图27中，MLS在其到达激励扩音器的途中经实时产生98、缩放4且接着编码119。另一方法是在存储器中保持编码MLS数据的预先编码的块，其每一者均表示一系列振幅的不同激励通道。经编码的数据仅需表示单个MLS块或较少数目的块，因为其在MLS测量期间可以环路形式重复输出到解码器。此技术的益处在于，计算负荷低了很多，因为所有编码都是离线完成的。预先编码MLS方法的缺点在于，需要相当大的存储器来存储所有预先编码的MLS数据块。举例来说，全位速率DTS(1.536Mbps)编码的15位MLS块对于每个通道和对于每个振振幅将需要大约1兆位的存储。 

原始MLS块不容易由编码系统提供的编码帧大小来划分。举例来说，二值15位MLS包含32767个状态，而分别从MPEG I、DTS和Dolby仅得到编码帧大小的384、512和1536倍的样本。当需要以连续的端到端回路播放经编码的MLS块时，整数个编码帧恰好覆盖MLS块样本长度。这意味着MLS首先经重新采样以便调节其长度，而使得可被编码帧划分。举例来说，32767个样本可经重新采样以使其长度增加一个样本变为32768，并接着编码成64个连续的DTS编码帧。MLS交叉相关处理器接着使用此相同的重新采样的波形来实现MLS解卷积。 

避免必须为每个扩音器存储一系列预先编码的MLS振幅的方法是替代地通过在将位流送出到AV接收器之前直接操纵嵌入在位流中的缩放因数码来改变与承载激励音频  的经编码的音频通道相关的缩放因数增益。对位流缩放因数的调节将成比例地影响经解码的激励波形的振幅而不会损失保真度。此过程将减少每个扩音器将存储到仅单个块的预先编码的块的数目。此技术尤其适用于DTS和MPEG编码的位流，这归因于其前向自适应本性。 

所述方法中的另一变化涉及在每次扩音器测试之前从其预先编码的要素编译位流。举例来说，由于在任何一个时间仅有一个通道是活动的，因而理论上可能仅必须存储用于单个编码的激活音频通道的位流要素。对于虚拟器希望测试的每个扩音器，将原始编码的激励数据重新封装成期望的位流通道槽，从而减弱所有其它通道槽的声音，且将所述流输出到AV接收器。此技术也可利用刚描述的缩放因数调节过程。在全位速率DTS流格式的情况下，理论上所有通道和所有振幅都可由仅单个1兆位文件表示。 

尽管MLS是一个可能的激励信号，但使用工业标准多通道编码器或预先编码的位流来将激励信号承载到远端解码器以便简化对扩音器的访问的方法同样适用于其它类型的激励波形(例如脉冲和正弦波)。 

个性化测量期间的头部稳定

基于MLS的获取过程期间的背景噪声和头部移动共同导致降低获得的个性化房间脉冲响应(PRIR)的准确性。背景噪声直接影响脉冲响应数据的宽带信噪比，但因为其与MLS不相关，所以其表现为叠加在从交叉相关过程提取的每个脉冲响应上的随机噪声。通过重复MLS测量并维持脉冲响应的移动平均值，随机噪声将以脉冲本身速率的一半建立，从而有利于为每次新测量改进脉冲信噪比。另一方面，导致由每个麦克风俘获的MLS波形的时间拖尾效应的头部移动不是随机的，而是与平均头部位置相关的。 

拖尾效应的作用在于减小平均化脉冲的信噪比和改变响应，尤其是在高频区域中。这意味着在没有直接干涉的情况下，任何平均化程度都不会完全恢复由于头部移动造成的高频信息损失。发明者进行的实验指示无意的头部移动(使用熟悉个性化过程的人主体)导致麦克风与激励扩音器之间的路径长度改变的变化高达大约+/-3mm，尽管平均变化将比这低得多。以48kHz的采样速率，此转换成采样周期的约+/-二分之一。实际上，由没有经验的主体测得的头部移动可能大得多。 

尽管在测量期间可能使用某种形式的头部支撑件，例如颈部支柱或下颌支撑件，但优选进行未经支撑的个性化测量，因为这避免了支撑件本身影响测得脉冲响应的可能性。通过分析，大多数头部移动主要由呼吸和血液循环的动作引起，且因此具有相对较低的频率且容易跟踪。 

这里揭示的是经开发以在存在头部移动时改进获取的脉冲响应的准确性的若干替  代方法。第一种涉及识别由头部移动引起的从左耳和右耳麦克风输出的实际记录的MLS波形变化。此过程的优点在于其不需要任何导频或参考信号来实施所述程序，但其缺点在于测量变化所必需的处理可能较密集且/或可能需要实时存储MLS信号并离线进行处理。通过使用基于时间或频率的交叉相关测量并基于MLS逐个块的方式进行分析，以在传入的块波形之间建立相似性水平。保持被视为彼此相似的块，以便通过MLS交叉相关进行处理。丢弃可接受限制外部的那些块。相关测量可使用块波形的移动平均值，或者其可使用某种类型的中值测量，或者所有MLS块可与所有其它块交叉相关，且那些最相似的块被保留以便转换成脉冲。 

在此项技术中已知的许多替代相关技术同样适用于驱动此选择过程。不同于分析MLS时间波形，另一方法涉及分析从循环交叉相关级输出的所得脉冲响应之间的相关性，并仅将那些被视为与期望头部位置相关联的某个标称脉冲响应充分类似的脉冲响应添加到移动平均值。可以与刚才针对MLS波形块描述的方式类似的方式来实现选择过程。举例来说，对于每一个别脉冲响应，可对所有其它脉冲进行交叉相关测量。此测量将指示响应之间的类似性。同样，此项技术中存在许多将适用于此过程的用以测量脉冲间相似性的方法。将丢弃展现出与所有其它脉冲具有较弱相关性的脉冲。剩余的脉冲将被加在一起以形成平均脉冲响应。为减少计算负荷，针对每个脉冲响应的选定部分(例如，脉冲响应的早期部分)测量交叉相关性和使用这些简化的测量来驱动选定过程，可能是足够的。 

第二方法涉及使用某种形式的头部跟踪装置，其在MLS获取在进行中时测量头部移动。可通过使用与安装到左耳和右耳的麦克风结合起作用的安装到头部的跟踪器(例如，磁性、陀螺仪或光学型检测器)来测量头部移动，或者可通过使用指向主体头部的相机来测量头部移动。这些形式的头部跟踪装置在此项技术中是众所周知的。将头部移动读取发送到MLS处理器97以便驱动刚才描述的MLS块或脉冲响应选择程序。通过与MLS记录一起记录头部跟踪器数据，离线处理也是可能的。 

第三方法涉及导频或参考信号的传输，所述信号与MLS同时从扩音器输出，以充当声学头部跟踪器。导频可从用于传递MLS的同一扩音器处输出，或者其可从第二扩音器处输出。尤其是在同一个扩音器用于驱动MLS与导频信号两者时，导频方法优于传统头部跟踪方法的优点在于，不需要有关相对于头部的MLS扩音器位置的额外信息来估计测得的头部移动将如何影响左耳和右耳麦克风信号。举例来说，由扩音器直接驱动到人主体左边的MLS将比从主体头部正前方的扩音器发出的MLS更不容易受头部移动的影响。因此，头部跟踪分析器可能必须知道MLS信号入射到头部的角度。因为导  频和MLS来自同一个扩音器，所以头部移动将对两种信号具有几乎相同的作用。 

导频方法的另一优点在于，不需要任何额外的设备来测量头部移动，因为相同的麦克风同时获取MLS和导频信号两者。因此，在最简单的形式中，导频音调方法允许对传入的MLS信号进行极为直接的分析，且在获取记录时实时采取适当的动作。图24说明导频音调实施方案，其中MLS 98经低通滤波135、与导频134求和并输出103到扩音器。麦克风输出86a和86b被放大96，且由于MLS和导频音调将一起出现在记录的波形中，因而为了分离出MLS和音调分量，每个麦克风信号分别通过低通135和互补的高通136滤波器。两个MLS低通滤波器135的特性通常将匹配。 

通过对由左耳和右耳麦克风拾取的经高通滤波的导频音调进行过采样并分析137其相对相位或其绝对相位中的个别变化，容易检测到小到几分之一毫米的头部移动。此信息可用于驱动涉及MLS波形块或所得脉冲响应的适用性的选择过程，如上文使用非导频音调方法所述。另外，对导频音调的分析也允许尝试在时间上拉伸或压缩记录的MLS信号以便抵消头部移动的方法。图25中针对由左耳麦克风记录的MLS信号说明此类方法。可在信号从麦克风到达时实时进行所述过程，或者可在测量期间存储复合的MLS音调信号以用于稍后在完成记录时离线进行处理。 

可通过对从麦克风到达的MLS波形141进行过采样，并建构延迟由参考音调146的相位分析确定的可变延迟缓冲器142，来实现改变波形时序。需要高级过采样141以便确保拉伸或压缩MLS时间波形的动作本身不会将相当大的失真水平引入到MLS信号中，所述失真水平接着将转变为后续脉冲响应中的误差。本文描述的可变延迟缓冲器142技术在此项技术中是众所周知的。为确保经过采样的MLS与左耳和右耳导频音调保持时间对准，对导频和MLS信号使用相同的过采样抗混叠滤波器，可能是优选的。对过采样的导频音调相位146的分析用于实施可变缓冲器输出地址指针145。相对于输入改变指针输出位置的动作导致通过缓冲器142的MLS样本的通道的有效延迟改变。从缓冲器读出的样本经向下采样143并输入到标准MLS交叉相关处理器97以供转换成脉冲响应。 

MLS波形拉伸-压缩过程也可使用头部跟踪器信号来驱动过采样的缓冲器输出指针位置。在此情况下，可能必须知道或估计相对于MLS扩音器位置的头部位置，以便估计由于跟踪器装置所检测到的头部移动而会发生的MLS扩音器与左耳和右耳麦克风之间的路径长度的改变。 

头戴耳机的均衡

个性化过程期望测量从扩音器到安装到耳朵的麦克风的传递函数。通过所得的  PRIR，可使用此传递函数来对音频信号进行滤波或虚拟。如果可将这些经滤波的音频信号转换回成声音并将其驱使到耳腔中靠近获得原始测量的定位麦克风的地方，那么人主体将感觉到声音来自扩音器。头戴耳机是在耳朵附近再现此声音的方便方法，但所有的头戴耳机都展现出其自身的某种额外滤波。也就是说，从头戴耳机到耳朵的传递函数不是平坦的，且此额外滤波被补偿或均衡以确保虚拟扩音器的保真度尽可能与真实扩音器的保真度精密匹配。 

在本发明的一个实施例中，使用MLS解卷积技术(如先前结合PRIR测量所论述)来对头戴耳机到安装到耳朵的麦克风的脉冲响应进行一次性测量。此脉冲响应接着被反向并用作头戴耳机均衡滤波器。通过对存在于具有此均衡滤波器的虚拟器的输出端处的头戴耳机音频信号进行卷积，可有效消除或均衡头戴耳机-耳朵传递函数的作用，且信号将以平坦的响应到达麦克风拾取点。优选地单独针对每个耳朵计算反向滤波器，但平均化左耳和右耳响应也是可能的。一旦算出了反向滤波器，就可将其建构为位于沿着虚拟器信号链任何地方(例如，在输出端处)的单独的实时均衡滤波器。或者其可用于预先加强由PRIR内插器使用的经时间对准的PRIR数据组，即其一次性地用于在虚拟器初始化期间对PRIR进行滤波。 

图22说明安装到耳朵的麦克风87的放置以及头戴耳机80在人主体79上的配合。其适用于两个耳朵。以与用于个性化测量相同的方式且在大致相同的位置将麦克风安装在耳道209中。的确，为确保最高准确性，优选的是在完成个性化测量之后左耳与右耳麦克风均保留在耳朵中，且头戴耳机均衡测量随后立即进行。图22展示麦克风电缆86必须经过头戴耳机垫80a下面，且为了维持良好的头戴耳机与头部之间的密封，这些电缆应为柔性的且具有较轻重量。头戴耳机变换器213经由头戴耳机电缆78由MLS信号驱动。 

图35说明个性化电路应用于头戴耳机MLS均衡测量。MLS产生98、增益范围变动101和4、麦克风放大96、数字化99、交叉相关97和脉冲平均化过程与用于个性化测量的那些过程相同。然而，经缩放的MLS信号103并不驱动扩音器，而是被重定向到立体声头戴耳机输出电路72，以便驱动头戴耳机变换器。针对左耳和右耳头戴耳机变换器单独地进行MLS测量，以避免在同时进行时在其间发生串音的可能性。所述说明展示麦克风安装在左耳87a和右耳87b中的人主体79。麦克风信号86a和86b分别连接到麦克风放大器96。主体还佩戴立体声头戴耳机，其中经由电缆78a从左边头戴耳机输出80a处驱动左耳变换器，且经由电缆78b从右边输出处驱动右边变换器。 

在一个实施例中，用于获取头戴耳机-麦克风脉冲响应的程序如下。首先，通过使用  针对个性化测量描述的相同迭代方法对由麦克风拾取的信号的振幅进行分析，来确定发送到头戴耳机的MLS信号的增益101。针对左耳和右耳电路单独测量增益，且保持最低增益缩放因数101且将其用于MLS测量两者。这确保了左耳与右耳脉冲响应之间的振幅差得以保持。然而，左耳或右耳头戴耳机变换器或头戴耳机驱动增益的任何差异都将降低此测量的准确性。接着开始MLS测试，以左耳开始，随后是右耳。MLS被输出到头戴耳机变换器，并由各自的麦克风实时拾取。如同个性化程序一样，可存储经数字化的麦克风信号99以用于稍后处理，或者交叉相关和脉冲平均化可实时进行——依据可用的处理能力而定。一旦完成，那么左脉冲响应与右脉冲响应就被时间对准并转移117到虚拟器122以供反向。时间对准确保头戴耳机变换器到耳朵的路径长度对于头部两侧是对称的。对准过程可遵循针对PRIR描述的同一种方法。 

可使用此项技术中众所周知的若干滤波器反向技术来反向头戴耳机-耳朵脉冲响应。最直接的方法而且是实施例中使用的方法将脉冲转换成频域，去除相位信息，反向模数频率分量的振幅，并接着转换回时域，从而获得线性相位反向脉冲响应。通常，原始响应将被平滑或以某些频率抖动，以减弱反向计算期间较强极点和零点的作用。尽管经常对单独的脉冲响应进行反向过程，但重要的是确保正确地反向两个脉冲响应之间的相对增益。这由于频谱平滑动作而变复杂，且可能必须重新校准较低频率振幅以确保针对关注的频率保持左-右反向平衡。 

由于针对用于驱送出MLS的所述类型的头戴耳机和佩戴所述头戴耳机的特定个人而优化反向滤波器，因而系数通常将与记录头戴耳机制造和模型以及测试中所涉及的人的某种类型的信息一起存储。另外，由于麦克风的位置可能已经用于个性化测量时期中，因而也可存储涉及此关联的信息以供稍后检索。 

扩音器的均衡

由于本发明的实施例中已建立一种用于测量扩音器与麦克风之间的传递函数和用于反向此类传递函数的设备，因而此实施例的有用扩展是提供一种构件以测量真实扩音器的频率响应，产生反向滤波器，且接着使用这些滤波器来均衡虚拟扩音器信号，以使得其表观保真度可经改进而优于真实扩音器。 

通过均衡虚拟扩音器，头戴耳机系统不再试图与真实扩音器的声音保真度匹配，而是试图对保真度进行改进且同时保持其相对于听者的空间性。当(例如)扩音器具有低质量且需要改进其频率范围时，此过程是有用的。可将所述均衡方法仅应用于那些被怀疑正在执行的扩音器，或者可将其例行地应用于所有虚拟扩音器。 

可以与个性化PRIR的方式几乎相同的方式来测量扩音器到麦克风的传递函数。在  此应用中，仅使用一个麦克风，且此麦克风未安装在耳朵中，而是定位在靠近听者看电影或听音乐时头部将占据的地方的自由空间中。通常会将麦克风固定到某种形式的安装到支座的吊杆臂，以使得其可在进行MLS测量时固定在头部高度。 

按照个性化方法，MLS测量过程首先选择将接收MLS信号的扩音器。其接着再次以与个性化方法相同的方式来建立对输出到此扩音器的MLS信号进行适当缩放的必要缩放因数，并继续获取脉冲响应。在PRIR的情况下，扩展的房间混响响应尾迹与直接脉冲一起保持，并用于卷积音频信号。然而，在此情况下，仅有脉冲响应的直接部分用于计算反向滤波器。所述直接部分通常覆盖脉冲开始之后约1到10ms的时间周期，且表示入射声波的在任何显著房间反射之前到达麦克风的那部分。因此，原始MLS导出的脉冲响应被截断并接着应用于针对头戴耳机均衡程序描述的反向程序。如同头戴耳机均衡一样，可能需要平滑频率响应以减弱较强极点或零点的作用。同样，如同头戴耳机情况一样，应特别谨慎以确保虚拟扩音器间平衡不会由反向过程改变，且可能必须在最后确定反向滤波器之前重新校准这些值。 

可针对每一个别扩音器计算虚拟扩音器均衡滤波器，或者许多扩音器的某个平均值可用于所有虚拟扩音器或其任意组合。可通过在到虚拟器的输入处或在虚拟器输出处使用实时滤波器或通过与那些虚拟扩音器相关联的时间对准PRIR(结合任何期望的头戴耳机均衡)的一次性预先加强来实施虚拟扩音器均衡滤波。 

次频带虚拟

头戴耳机虚拟过程的实施例的一个特征是用个性化房间脉冲响应(PRIR)对表示真实扩音器信号馈入的传入音频信号进行的滤波或卷积。对于将被虚拟的每个扩音器，可能必须将相应输入信号与左耳和右耳PRIR两者进行卷积，从而给出左耳和右耳立体声头戴耳机馈入。举例来说，在许多应用中，6扩音器头戴耳机虚拟器将同时且实时运行12个卷积过程。典型的起居室展现约0.3秒的混响时间。这意味着理想地以48kHz的采样频率，每个PRIR将包含至少14000个样本。对于实施简单时域非递归滤波(FIR)的6扩音器系统，每秒的卷积相乘/累积运算的次数为每秒14000*48000*2*6次或80.64亿次运算。 

此计算要求是当今已知的所有低成本数字信号处理器不能满足的，且因此可能必须设计一种用于实施实时虚拟卷积处理的更有效方法。此项技术中存在许多种此类基于FFT卷积原理的实施方案，例如Gardner W.G.的“Efficient convolution without input-outputdelay”(J.Audio Eng.Soc，第43卷第3号，1995年3月)中所描述。FFT卷积的缺点之一在于，由于所涉及的高频分辨率的缘故，对所述过程存在隐含的等待时间或延迟。尤  其是在需要跟踪听者头部运动，且需要任何改变以修改卷积器所使用的PRIR数据以使得虚拟声音源可经退旋以抵消此头部移动时，较大等待时间通常是不良的。根据定义，如果卷积过程具有高等待时间，那么相同的等待时间将出现在退旋自适应回路中，且可导致听者移动其头部与虚拟扩音器位置被校正之间的显著时滞。 

这里揭示的是使用次频带滤波器组来实施频域次频带卷积器的有效卷积方法。次频带滤波器组是此项技术中众所周知的，且将不再详细论述其实施方案。所述方法导致显著减少计算负荷且同时保持高水平信号保真度和低处理等待时间。中间等级的次频带滤波器组展现通常约为10ms的相对较低的等待时间，但因此展现较低的频率分辨率。次频带滤波器组的低频率分辨率表示次频带间泄漏，且在传统的临界采样设计中，这导致高度依赖于混叠消除来维持信号保真度。然而，根据定义，次频带卷积可能导致次频带之间较大的振幅移位，其经常引起重叠区域中混叠消除的完全破坏且伴随其的还有合成滤波器组的重构性质的有害改变。 

但通过使用称为过采样次频带滤波器组的一类滤波器组可减轻混叠问题，所述滤波器组避免了在重叠附近折叠信号泄漏。过采样滤波器组展现出一些缺点。首先根据定义，次频带采样速率高于临界采样情况，且因此计算负荷成比例地较高。其次，较高的采样速率意味着次频带PRIR文件也将含有成比例的更多样本。因此，与临界采样的对应部分相比，次频带卷积计算将以过采样因数的二次方来增加。过采样次频带滤波器组理论在此项技术中也是众所周知的(参见(例如)Vaidyanatham，P.P.的“Multirate systems andfilter banks”，Signal processing series，Prentice Hall，1992年1月)，且仅将论述特定用于理解卷积方法的那些细节。 

次频带虚拟是卷积或滤波借以在滤波器组次频带内独立操作的过程。在一个实施例中，实现此过程的步骤包括： 

1)PRIR样本通过次频带分析滤波器组作为一次性处理，从而给出一组较小的次频带PRIR； 

2)通过使用同一分析滤波器组将音频信号分裂成若干次频带； 

3)使用每个次频带PRIR来对相应的音频次频带信号进行滤波； 

4)通过使用合成滤波器组将经滤波的音频次频带信号重构回到时域中。 

依据滤波器组中所使用的次频带的数目而定，次频带卷积具有显著较低的计算负荷。举例来说，2频带临界采样滤波器组将48kHz采样音频信号分裂成两个次频带，每个次频带为24kHz采样。使用同一滤波器组来将14000样本的PRIR分裂成两个次频带PRIR，每个次频带具有7000个样本。通过使用以上实例，计算负荷现为  7000*24000*2*2*6次或40.32亿次运算，即减小到1/4。因此，对于临界采样的滤波器组来说，减小因数简单地等于次频带的数目。对于过采样滤波器组来说，与临界采样的次频带卷积相比，次频带卷积增益减小了过采样比率的二次方，即对于2x过采样来说，仅8个和8个以上频带的滤波器组对简单的时域卷积提供减小。过采样滤波器组不限于整数过采样因数，且通常可使用约为1.4x的过采样因数来产生高信号保真度，即对2x滤波器组产生大约2.0的计算改进。 

非整数过采样的益处不仅仅限于计算负荷。较低的过采样速率也减小了次频带PRIR文件的大小，且这又减小了PRIR内插计算负荷。经常通过使用实数-复数-实数信号流来实施非整数过采样滤波器组的最有效实施方案，意味着次频带信号将与实数相对而为复数的(实数和虚数)。在这些情况下，使用复数卷积来实施次频带PRIR滤波，其需要复数乘法和加法，与实数算术相比，在某些数字信号处理器结构中可能不能有效实施所述复数乘法和加法。此类非整数过采样滤波器组在此项技术中是众所周知的(参见(例如)Cvetkovi Z.，Vetterli M.的“Oversampled filter banks”，IEEE Trans.Signal Processing，第46卷第5号，1245-55(1998年5月))。 

图19中说明次频带虚拟的方法。首先，通过使用分析滤波器组26将PRIR数据文件分裂成若干次频带，且存储31个别次频带PRIR文件28以供次频带卷积器30使用。接着，通过使用类似的分析滤波器组26来分裂输入音频信号，且次频带音频信号进入次频带卷积器30，所述次频带卷积器30用所有音频次频带的各自次频带PRIR来对所有音频次频带进行滤波。接着通过使用合成滤波器组27来重构次频带卷积器输出29，以输出全频带时域虚拟音频信号。 

此项技术中存在的原型低通滤波器经设计以控制次频带通带、过渡带和阻带响应，以使得重构振幅纹波最小化，且在临界采样滤波器组的情况下，混叠消除最大化。基本上其被设计为在次频带重叠频率处展现3dB衰减。因此，分析和合成滤波器组合以保留从通带向下6dB的过渡频率。通过求和，次频带重叠区域加到0dB，从而使最终信号在其整个通带内不含纹波。然而，在合成滤波器组之前将一个次频带与另一次频带卷积的动作导致具有3dB峰值的重叠纹波，这是由于音频信号已有效地通过所述原型三次而不是两次。 

图14a说明通常在重构时发生于任意两个相邻次频带之间的纹波160的实例。重叠或过渡频率158与最大衰减一致，且依据原型滤波器的规格而定，其将为大约-3dB。在过渡的任一侧157和159，纹波对称地减小到0dB。通常，这些点之间的带宽大约为200-300Hz。举例来说，图14b说明可能存在于已通过8频带次频带卷积器的重构音频  信号中的所得纹波。 

本文揭示用以去除此纹波160并恢复平坦响应160a的若干方法。首先，由于纹波纯粹是振幅失真，因而可通过将重构信号通过频率响应为纹波的反向的FIR滤波器来均衡所述纹波。相同的反向滤波器可用于预先加强滤波器组之前的输入信号或PRIR本身。第二，用于分裂PRIR文件的分析原型滤波器可经修改以将过渡衰减减小到0dB。第三，可针对给出6dB的组合衰减的音频与PRIR滤波器组两者设计具有2dB的过渡衰减的原型滤波器。第四，可在卷积级之前或之后使用具有适当的反向响应的次频带FIR滤波器来对次频带信号本身进行滤波。重新设计原型滤波器可能是优选的，因为可避免整个系统等待时间的增加。将了解，在不脱离本发明精神和范围的情况下，可用许多方法来均衡纹波失真。 

图36说明将基本次频带虚拟器与形成单个个性化头部跟踪虚拟通道所需的PRIR内插和可变延迟缓冲相组合所必需的步骤。将音频信号输入到分析滤波器组26，所述滤波器组26将所述信号分裂成若干次频带信号。次频带信号进入两个单独的次频带卷积过程，一个用于左耳头戴耳机信号35且另一个用于右耳头戴耳机信号36。每个卷积过程以类似的方式起作用。将进入左耳卷积器块36的次频带信号施加到个别次频带卷积器34，所述次频带卷积器34实质上用所述次频带音频信号的各自左耳次频带时间对准PRIR文件16来对所述次频带音频信号进行滤波，所述PRIR文件16由头部跟踪器角度信息10、11和12所驱动的内部次频带PRIR内插器选择。 

次频带卷积器34的输出进入合成滤波器组27，且被重组回全频带时域左耳信号。对于右耳次频带卷积36来说，除了右耳次频带时间对准PRIR 16用于卷积单独的次频带音频信号之外，过程是相同的。虚拟的左耳和右耳信号接着通过可变延迟缓冲器17，针对由头部跟踪器指示的特定头部定向，动态调节可变延迟缓冲器17的路径长度以模拟对于和与PRIR数据组相关联的虚拟扩音器一致的真实声音源而会存在的耳间时间延迟。 

图16使用针对三个横向头部位置测得的PRIR作为实例来更详细地说明次频带内插块16的工作过程。在9中通过对头部跟踪器角度信息10、参考头部定向12和虚拟扩音器偏移量11的分析而产生内插系数6、7和8。针对每个次频带PRIR存在单独的内插块15，其运算与图15的运算相同，不同之处只是所述PRIR数据在次频带域中。所有的内插块15(图16)使用相同的内插系数，且内插的次频带PRIR数据被输出14到次频带卷积器。 

图38说明如何扩展图36的方法以包括更多的虚拟扩音器通道。为清楚起见，将次  频带信号路径组合为单个粗实线28，且未展示头部跟踪信号路径。将每个音频信号分裂成若干次频带26，且相应的次频带信号通过左耳和右耳卷积器35和36，左耳和右耳卷积器35和36的输出被重组27为全频带信号并传递到可变延迟缓冲器17以影响适当的耳间延迟。用于所有左耳和右耳信号的缓冲器输出40经单独求和5以分别产生左耳和右耳头戴耳机信号。 

图37说明图36的实施方案的变化，其中可变延迟缓冲器23建构在合成滤波器组27之前的每个次频带中。在图18中说明此次频带可变延迟缓冲器23。每个次频带信号进入其自身的单独过采样延迟处理器17a，所述过采样延迟处理器17a的操作与图17所说明的相同。次频带与全频带延迟缓冲器实施方案之间仅有的差异在于，对于相同的性能，可以滤波器组次频带的抽选因数来减少过采样因数。举例来说，如果次频带采样速率为输入音频采样速率的1/4，那么可变缓冲器的过采样速率可减少到1/4。这也导致过采样FIR和延迟缓冲器大小的类似减小。图18还展示应用于所有次频带延迟缓冲器的共用输出缓冲器地址20，其反映出同一音频信号内的所有次频带应展现相同延迟的事实。 

在次频带域中建构可变延迟缓冲器的情况下，如图37，可通过对次频带域中的左耳和右耳信号求和并接着通过针对每一者仅使用单个合成级来重构这些信号，可具有实施方案效率的某些改进。图39说明此类方法。同样为清楚起见，用单个粗实线28和29表示次频带信号路径，且未展示头部跟踪器信息路径。将每个输入信号分裂26成若干次频带28，且每一个别次频带经卷积并施加到次频带可变延迟缓冲器37和38。从各自缓冲器输出的所有通道的左耳和右耳次频带信号在其使用合成滤波器组27重构回全频带信号之前在次频带加法器39处求和。左耳和右耳次频带加法器39根据以下等式对来自每个虚拟音频通道的个别次频带进行运算： 

sub_L[i]＝sub_L1[i]+sub_L2[i]+....sub_Ln[i]                (等式32) 

sub_R[i]＝sub_R1[i]+sub_R2[i]+....sub_Rn[i]                (等式33) 

对于i＝1到滤波器组次频带的数目且n＝虚拟音频通道的数目，其中sub_L[i]表示第i个左耳次频带，且sub_R[i]表示第i个右耳次频带。 

图40说明一种实施方案，其中用户A和用户B均希望收听相同的虚拟音频信号，但使用其自身的PRIR和头部跟踪信号。同样，为清楚起见而去除了这些信号。在此情况下，产生了计算节省，因为相同的音频次频带信号28可用于用户的左耳和右耳卷积处理器37和38两者，且此节省可用于任意数目的用户。 

在先前各部分中已描述了头戴耳机和扩音器均衡滤波的方法。所属领域的技术人员  将了解，此类方法同样可应用于利用刚才论述的次频带卷积方法的虚拟器实施方案。 

利用次频带混响时间的变化

本文揭示的次频带虚拟方法的显著益处是能够利用PRIR混响时间与频率的背离，以使得可在卷积计算负荷、PRIR内插计算负荷和PRIR存储空间要求中获得进一步节省。举例来说，典型的房间脉冲响应将经常展现混响时间随频率上升而下降。如果在此情况下将PRIR分裂成若干频率次频带，那么每个次频带PRIR的有效长度会在较高的次频带中下降。举例来说，4频带临界采样滤波器组将14000个样本PRIR分裂成4个次频带PRIR，每个次频带PRIR具有3500个样本。然而，这假定整个次频带上的PRIR混响时间为相同的。在48kHz的采样速率下，3500、2625、1750和875(其中3500是针对最低频率次频带的)的PRIR长度可为更典型的，反映出高频声音更容易被收听房间环境吸收的事实。因此，更一般来说，可确定任一次频带的有效混响时间，且卷积和PRIR长度经调节以仅覆盖此时间周期。由于混响时间与测得的PRIR有关，因而其仅需要在初始化头戴耳机系统时计算一次。 

利用次频带信号掩蔽阈值

可通过确定将听不见的那些次频带或在卷积之后将由邻近次频带信号掩蔽的那些次频带来减少卷积过程中涉及的次频带的实际数目。感知噪声或信号掩蔽的理论在此项技术中是众所周知的，且涉及识别信号频谱中不能被人主体感觉到的部分，所述部分不能被感觉到是因为频谱的所述那些部分的信号电平低于可听度阈值，或因为频谱的那些部分由于较高信号电平和/或邻近频率的本性的缘故而不能被听见。举例来说，通过应用某种可听度阈值曲线可确定，不管输入信号的电平如何，16kHz以上的次频带是听不见的。在此情况下，此频率以上的所有次频带将从次频带卷积过程中永久丢弃。相关联的次频带PRIR也可从存储器中删除。更一般来说，可以逐个帧的方式估计经卷积的次频带上的掩蔽阈值，且在分析帧的持续时间中将减弱被认为落在阈值以下的那些次频带的声音，或较强地缩减其混响时间。这意味着完全动态的掩蔽阈值计算将导致将在帧与帧之间变化的计算负荷。然而，由于在典型的应用中卷积处理将同时在许多音频通道上运行，因而将可能使此变化平滑。如果期望维持固定的计算负荷，那么可对活动次频带的数目或任意或所有音频通道上的总卷积分支长度强加某些限制。举例来说，以下限制可证明为在感知上可接受的。 

首先，使所有通道上的卷积中涉及的次频带的数目固定在最大水平，以使得掩蔽阈值将仅偶尔选择较大数目的次频带。可对低频次频带设置优先权，以使得由超过次频带限制导致的频带限制效应将限于高频区域。另外，可将优先权给予某些音频通道，且高  频带限制效应限于被视为较不重要的那些通道。 

而且，将卷积分支的总数目固定为使得掩蔽阈值将仅偶尔选择混响时间组合而超过此限制的一系列次频带。如同之前，可对低频次频带和/或特定音频通道设置优先权，以使得高频混响时间仅在低优先权音频通道中减小。 

利用信号或扩音器带宽中的变化

对于带宽没有与其采样速率成比例地缩放的音频通道或扩音器，可永久降低参与卷积过程的次频带的数目以与应用的带宽匹配。举例来说，许多家庭影院娱乐系统中共有的低音炮通道具有从约120Hz下降的操作带宽。低音炮扩音器本身也是如此。因此，通过仅允许含有任何有意义的信号的那些次频带参与次频带卷积过程来限制卷积过程的带宽以与音频通道的带宽匹配，可实现相当大的节省。 

改变频率-混响时间特性

为使头戴耳机虚拟器的真实性最大化，需要保持原始PRIR的频率-混响时间特性。然而，通过限制卷积器用以对次频带音频进行滤波的次频带PRIR样本的数目来限制任一次频带中的混响时间，可改变此特性。可能仅需要此干涉来限制任一特定频率处卷积器的复杂性(如论述)，或者如果期望实际减少某些频率下虚拟扩音器的感知混响时间，那么可更主动地应用此干涉。 

用卷积复杂性换取虚拟准确度

个性化房间脉冲响应包含三个主要部分。第一部分是脉冲开始，其记录脉冲波在从扩音器移出经过安装到耳朵的麦克风时的初始通道。通常，第一部分将延伸超过初始脉冲开始约5到10ms。开始之后的是脉冲中已跳出收听房间边界的早期反射的记录。对于典型的收听房间，此覆盖约50ms的时间间隔。第三部分是后期反射或房间混响的记录，且通常持续200到300ms，这取决于环境的混响时间而定。 

如果PRIR的混响部分充分散开，也就是说，感觉声音相等地来自所有方向，那么所有获取的PRIR的后期反射(混响)部分将是类似的。由于混响部分表示整个脉冲响应的最大部分，因此可通过将这些部分和相应卷积合并成单个过程来获得显著的节省。图50说明原始的时间对准PRIR246的分解。脉冲开始和早期反射242和后期反射243(或混响)展示为由虚线241分离。初始和早期反射系数244形成用于主信号卷积器的PRIR。后期反射(或混响)系数245用于卷积合并的信号。可将早期系数部分247归零，以便维持原始的时间延迟，或可将其整个去除并使用固定的延迟缓冲器来恢复延迟。 

举例来说，图49说明通过使用经修改的PRIR来虚拟两个输入信号的系统。为清楚起见，未展示头部跟踪信号。针对左耳37和右耳38信号使用次频带28卷积和可变时  间延迟过程来虚拟两个音频通道IN 1和IN 2。经卷积并延迟的此频带信号被求和39并转换回时域27，从而获得左耳和右耳头戴耳机信号。左37和右38过程内使用的PRIR已被截断以仅包括开始和早期反射244(图50)，且因此展现明显较低的计算负荷。37和38内的头部跟踪次频带PRIR内插以正常方式运算，且还由于其减小的长度而计算量较不密集。用于两个输入通道(CH1和CH2)的PRIR 245(图50)的混响部分被加在一起，且经电平调节并载入次频带卷积器35和36。这些级与37和38的级不同之处在于没有可变延迟处理。对来自两个输入通道28的次频带信号求和39，并将合并的信号240施加到左耳35和右耳36次频带卷积器。从35和36输出的次频带在转换27回时域之前与其各自的左耳和右耳次频带39求和。 

头部跟踪耳间延迟处理对于35和36的混响通道是无效的且不被使用。这是因为合并的音频信号不再从单个虚拟扩音器发出，意味着对于例如这些信号的复合信号来说，没有一个延迟值将可能是最佳的。卷积器级35和36一般使用由头部跟踪器驱动的内插混响PRIR。通过锁定内插过程并将合并的信号与仅一个固定的混响PRIR(例如，表示标称观看头部定向的PRIR)进行卷积，进一步简化是可能的。 

在图49的实例中，PRIR的初始和早期反射部分可能通常表示原始PRIR的仅20％，且所说明的两个通道卷积实施方案可能实现大约30％的计算节省。很明显，利用合并的混响路径的通道越多，节省也就越大。举例来说，五通道实施方案可能使卷积处理复杂性降低60％。 

预先虚拟技术

在正常操作模式中，所述系统的实施例通过使用从每个虚拟扩音器专有的若干预定PRIR内插的脉冲响应数据来实时卷积输入音频信号。内插过程和卷积过程一起连续运行，并使用头部跟踪装置来计算适当的内插系数和缓冲器延迟，以使得在存在听者头部移动时虚拟声音源表现为固定的。此操作模式的显著缺点在于，从虚拟器输出的立体声头戴耳机信号与听者的实时头部位置有关，且仅在所述特定时刻有意义。因此，头戴耳机信号本身一般不能被存储(或记录)并在以后某个时间重放，因为听者的头部移动不可能与在记录期间发生的那些头部移动匹配。而且，由于内插和差分延迟不能回顾性地施加到头戴耳机信号，因而听者的头部移动将不会退旋虚拟图像。然而，预先记录的虚拟或预先虚拟的概念将提供播放中计算负荷的显著减少，因为密集的卷积过程仅会发生在记录期间且将无需在播放期间进行重复。对于具有有限播放处理能力且存在虚拟过程离线运行机会的应用，以及对于替代地在听者头部跟踪器装置控制下实时处理的预先虚拟(或双耳)信号，此过程将为有益的。 

例如在图44中说明预先虚拟过程的基础。单个音频信号41与三个左耳时间对准PRIR 42、43和44以及三个右耳时间对准PRIR 45、46和47卷积34。在此实例中，三个左耳和右耳PRIR对应于针对三个不同头部定向A、B和C而个性化的单个扩音器。图29中展示所述个性化定向的说明。用于头部位置A、B和C的左耳PRIR每一者卷积输入信号41以分别产生三个单独的虚拟信号48、49和50。另外，通过使用右耳PRIR而针对右耳产生三个单独的虚拟信号。此实例中的六个虚拟信号现表示针对三个听者头部定向A、B和C的用于头戴耳机的左耳和右耳馈入。可将这些信号传输到播放装置，或可将其进行存储以在以后时间51播放。在此情况下，此中间虚拟级的计算负荷与等效内插型式高3倍，因为使用所有三个头部位置的PRIR来卷积信号，而并非仅使用单个内插PRIR。然而，在虚拟信号正被存储的情况下，可能不一定要实时进行此过程。 

为使用户收听输入音频信号41的虚拟型式，可能必须将三个左耳虚拟信号52、53和54施加到内插器56，所述内插器56的内插系数是以与常规PRIR内插运算10几乎相同的方式基于听者头部角度10来计算的。在此情况下，内插系数用于在每个采样周期输出三个输入信号的线性组合。右耳虚拟信号也通过使用相同的过程来进行内插10。对于此实例，如果头部位置A的虚拟信号样本为x1(n)，虚拟头部位置B的信号样本为x2(n)且虚拟头部位置C的信号样本为x3(n)，那么内插样本流x(n)由下式给定： 

x(n)＝a*x1(n)+b*x2(n)+c*x3(n)；对于第n个采样周期        (等式34) 

其中a、b和c是内插系数，其值根据等式2、3和4依据头部跟踪器角度而变化。 

接着将左耳内插输出56施加到可变延迟缓冲器17，其根据听者头部角度而改变缓冲器的路径长度。内插的右耳信号也通过可变延迟缓冲器，且左耳与右耳缓冲器之间的延迟差动态地适合于头部角度变化，以使得其与当头戴耳机信号实际上来自与虚拟扩音器重合的真实扩音器时将存在的耳间延迟匹配。这些方法与早先部分中描述的那些方法是全部相同的。内插器和可变延迟缓冲器两者可利用用于产生虚拟信号的PRIR专有的个性化测量头部角度信息，从而允许其动态计算恰当的内插器系数和缓冲器延迟(如头部跟踪器指示)。 

此系统的一个益处在于，内插和可变延迟过程展现出的计算负荷比虚拟卷积级34所需的计算负荷低得多。图44说明针对三个头部位置而虚拟的单个音频信号41。所属领域的技术人员将了解，可容易地扩展此过程以覆盖更多的头部位置和更多数目的虚拟音频通道。而且，可本地存储预先虚拟的信号51(图44)，或者可将其存储在某个远端位置，且用户可将这些信号与其它相关联的媒体流(例如电影或视频)同步播放。 

图45说明所述过程的扩展，借此六个虚拟信号经编码57并输出59到作为中间级  的存储装置60。获得输入音频样本41、产生不同的虚拟信号、对其进行编码和接着将其存储60的过程持续到所有输入音频样本都已被处理为止。这可能是或者可能不是实时的。用于产生虚拟信号的PRIR专有的个性化测量头部角度信息也包括在经编码的流中。 

某段时间之后，听者希望收听虚拟声轨，且保持在存储装置60中的虚拟数据流动61到解码器58，所述解码器58提取个性化测量头部角度信息并实时重构六个虚拟音频流。在重构时将左耳和右耳信号施加到其各自的内插器56，所述内插器56的输出通过可变延迟缓冲器17以重新产生虚拟耳间延迟。在此实例中，通过使用处理缓冲器输出的滤波器级来实施头戴耳机均衡，且这些滤波器的输出用于驱动立体声头戴耳机。同样，此系统的益处在于，与解码、内插、缓冲和均衡相关联的处理负荷与虚拟过程相比是较小的。 

在图44和45的实例中，预先虚拟过程导致待传输或存储的音频流的数目增加6倍。更一般来说，流的数目等于待虚拟的扩音器的数目乘以内插器所使用的个性化头部测量数目的两倍。减小此传输的位速率或将保持在存储装置60中的数据文件大小的一种方法是使用某种形式的音频位速率压缩或编码器57内的音频编码。那么互补的音频解码过程将驻存在解码过程58中以重构音频流。当今存在的高质量音频编码系统可以低至12∶1的压缩比率操作而不会有可闻失真。这意味着预先虚拟的编码流的存储要求将可有利地与原始未压缩音频信号的存储要求相比。然而，对于此应用，由于进入编码级57的各种虚拟信号之间的高度相关性的缘故，甚至更大的压缩效率也是可能的。 

如果在非时间对准的预先虚拟信号之间内插被视为可接受的，那么可从根本上简化图44和45中说明的过程。此简化的含义在于，在播放级处完全丢弃了可变延迟处理，允许在编码之前求和左耳与右耳信号群组，从而减少了当一个以上扩音器待虚拟时将存储或传输到解码侧的信号的数目。 

在图47中说明此简化。将两个通道的音频应用于预先虚拟过程55和56，使用单独的扩音器PRIR虚拟每个音频通道。用于卷积音频信号的PRIR数据未经时间对准，但保留了原始PRIR数据中所存在的耳间时间延迟。将三个头部位置的预先虚拟信号与第二音频通道的那些信号求和，并使这些信号传递通过到达左耳和右耳内插器56，所述内插器56的输出直接驱动头戴耳机。传递到播放侧51的预先虚拟信号的数目现为固定的且等于PRIR头部位置数目的两倍，从而大体上减少建构图45所说明的系统将需要的音频编码压缩要求。 

图47说明对2个音频通道和3个PRIR头部位置的应用。将了解，这可容易地经扩  展以使用两个或两个以上PRIR头部位置来覆盖任意数目的音频通道。此简化的主要缺点在于，由于没有时间对准PRIR，因而内插过程产生了显著的梳形滤波效应，所述梳形滤波效应往往会在听者头部在PRIR测量点之间移动时衰减头戴耳机音频信号中的某些较高频率。然而，由于用户可能花费大多数时间收听虚拟扩音器声音且其头部定位在靠近参考定向的地方，因而一般用户可能不会感觉到此假象较为明显。为清楚起见，在图47中未展示头戴耳机均衡，但将了解，其可包括在PRIR内或在预先虚拟处理期间，或者可在播放期间对解码信号或对头戴耳机输出本身进行滤波。 

图47的个性化预先虚拟方法可进一步扩展以涵盖用于产生左耳和右耳(双耳)头戴耳机信号的不同方法。所述方法在其最广泛的形式中描述了产生许多个性化双耳信号的技术，每一信号代表相同的虚拟扩音器配置但是针对个性化数据所从属的个人的不同头部定向。可以某种方式来处理这些信号，(例如)以辅助传输或存储，但最终在播放期间，在头部跟踪器控制下，从这些相同组的信号中导出发送到头戴耳机的双耳信号。在其最基本的配置中，代表两个听者头部位置的两组双耳信号将用于实时产生驱动头戴耳机并使用听者头部跟踪器作为确定恰当组合的构件的单个双耳信号。再次，在不脱离本发明范围的情况下，可在所述过程的各个级处执行头戴耳机均衡。 

图46中说明预先虚拟方法的一种最终变化。远程服务器64含有安全音频67，所述安全音频67可被下载66到客户存储装置60以通过便携式音频播放器222进行播放。预先虚拟可采用图45中所说明的形式，因为安全音频本身在客户设备中被下载并预先虚拟。然而，为避免盗版问题，可能需要强制客户将其PRIR文件63上载65到远程服务器，且需要服务器预先虚拟音频68，编码虚拟音频57，并接着将流66下载到客户本身的存储装置60。按照早先的解释，接着可使保持在存储装置中的编码数据流到解码器以通过客户的头戴耳机进行播放。也可将头戴耳机均衡上载到服务器且并入到预先虚拟处理中，或者可按照图46由播放器实施62。预先虚拟和播放技术可利用图45中示范的方法，或者其可使用图47的简化方法(或如论述的其一般形式)。 

此方法的优点仅在于，通过将音频与其PRIR卷积的动作已有效地对由客户下载的音频进行个性化。音频较不可能被盗版，因为所述虚拟将可能对于测量PRIR所针对的个人以外的听者来说是稍微无效的。此外，PRIR卷积过程难以反向，且在安全多通道音频的情况下，个别通道实际上不可能与头戴耳机信号分离。 

图46说明便携式播放器的使用。然而，将了解，将PRIR数据上载到远程音频位置且接着下载个性化虚拟(双耳)音频的原理可应用于许多类型的消费者娱乐播放平台。还将了解，虚拟音频可与其它类型的媒体信息(例如电影或视频数据)相关联，且这些  信号将通常与虚拟音频播放同步，从而实现完全的图片-声音同步。举例来说，如果应用是计算机上的DVD视频播放，那么电影声轨将从DVD光盘中读取、预先虚拟并接着存储回计算机本身的硬盘驱动器。预先虚拟通常将离线执行。为了看电影，计算机用户开始电影，且并非收听解码的DVD声轨，而是在与图像同步的适当位置播放(使用头部跟踪器来模拟耳间延迟17和/或以正常方法进行内插56)预先虚拟的音频。可通过使用上载的PRIR来在远程服务器上实现预先虚拟DVD声轨，如图46中说明。 

预先虚拟方法的描述参考了(例如)3点PRIR测量范围。将了解，可容易地将所论述的方法扩展为适应更少或更多的PRIR头部定向。这同样适用于输入音频通道的数目。此外，正常实时虚拟方法的许多特征(例如针对落在测量范围以外的头部移动修改虚拟器输出的那些特征)可同样适用于预先虚拟的播放系统。预先虚拟的揭示内容已集中在将卷积过程与内插和可变延迟处理分离的原理，以便说明所述方法。所属领域的技术人员将了解，使用有效的虚拟技术(例如本文揭示的次频带卷积方法或例如FFT卷积的其它方法)将导致改进的编码和解码实施方案。举例来说，经卷积的次频带音频信号或FFT系数本身展现出的某些冗余性可由音频编码技术更好地利用以改进其位速率压缩效率。而且，所提出的用以减少次频带卷积过程的计算负荷的许多方法也可应用于编码过程。举例来说，落在感知掩蔽阈值以下且视需要从卷积过程去除的次频带也可从针对所述帧的编码过程中删除，从而减少需要量化和编码的次频带信号的数目，进而导致位速率的降低。 

网络连接的实时个性化虚拟应用

已设想出其中使用个性化头部跟踪虚拟的许多新应用。一种此类一般应用是网络连接的实时个性化虚拟，借此卷积过程在可利用用于各种网络连接参与者的PRIR数据组的远程网络连接服务器上运行。此类系统形成虚拟电话会议、因特网远程教育虚拟教室和互动网络连接游戏系统的核心。在图48中说明通用网络连接虚拟器。举例来说，三个远程用户A、B和C经由网络227而连接到虚拟器网络集线器226，并希望以三向会议类型呼叫来进行通信。虚拟的目的在于促使远程方的语音从本地参与者头戴耳机发出，以使得其表现为来自相对于其参考头部定向的不同方向。举例来说，一种选择将是使远程方之一的语音来自虚拟左前方扩音器，且另一者的语音来自虚拟右前方扩音器。每个参与者头部位置由头部跟踪器监视，且这些角度连续向上流到服务器，以便在存在头部移动时退旋虚拟方。 

每个参与者79佩戴立体声耳机80，所述立体声耳机80的音频信号从服务器226向下流出。头部跟踪器81跟踪用户头部移动，且此信号向上路由到服务器以控制与所述  用户相关联的虚拟器235、耳间延迟和PRIR内插236。每个头戴耳机还安装有悬挂式麦克风228以允许每个用户数字化229语音信号向上传递到服务器234。每个语音信号可用作对其它参与者的虚拟器的输入。以此方式，每个用户仅听到其它参与者的语音作为虚拟源——其本身的语音被本地馈入以提供置信信号。 

在开始会议之前，每个参与者79将表示针对若干头部角度测得的虚拟扩音器或点源的PRIR文件(236、237和238)上载到服务器。此数据可与从家庭娱乐系统获取的数据相同，或者其可具体针对应用而产生。举例来说，其包括的扩音器位置可能比娱乐目的通常所需的扩音器位置更多。每个用户被分配服务器中的独立虚拟器235，其个别PRIR文件和头部跟踪器控制信号239与所述虚拟器235相关联。每个虚拟器的左耳和右耳输出233通过其头戴耳机80实时流回到每一个别参与者。明显地，图48可经扩展以适应任意数目的参与者。 

在网络中存在较大传输延迟(等待时间)的情况下，通过允许在网络上听者更容易访问(即，上游和下游延迟较低)的某个位置处进行头部跟踪PRIR内插和路径长度处理，可改进头部跟踪响应时间。新的位置可为网络上的另一服务器，或者其可随听者定位。这意味着在预先虚拟的信号传输到次级位置而不是左耳和右耳音频的情况下将采用图44、45和47中所说明的类型的预先虚拟方法。 

当参与者数目较小时，电话会议应用的进一步简化是可能的。在此情况下，可使每个参与者语音信号更经济地通过网络广播到所有其它参与者。以此方式，整个虚拟器恢复到标准家庭娱乐设置，其中每个传入的语音信号仅为对随每个参与者而定位的虚拟器设备的输入。在此情况下，网络连接的虚拟器或PRIR上载都是不需要的。 

使用数字信号处理器(DSP)的实时实施方案

在以48kHz采样速率运行的多通道家庭娱乐应用内使用的头戴耳机虚拟器的六通道型式的实时实施方案(图1)构造在单个数字信号处理器(DSP)芯片周围。此实施方案将MLS个性化例行程序和虚拟化例行程序并入单个程序中。所述实施方案能够在图26、27和28所示的模式中操作，且提供额外的第六输入70和扩音器输出72。在图41中说明DSP核心和辅助硬件。DSP芯片123处理执行PRIR测量、头戴耳机均衡、头部跟踪器解码、实时虚拟和所有其它相关联过程所必需的所有数字信号处理。为清楚起见，图41将各个数字i/o信号展示为分离的路径。实际的硬件使用可编程逻辑多路复用器，所述可编程逻辑多路复用器使DSP能够在中断或DMA控制下读取和写入外部解码器114、ADC 99、DAC 92和72、SPDIF发射器112、SPDIF接收器111和头部跟踪器UART 73。此外，DSP通过多路复用的外部总线访问RAM 125、自引导ROM 126和微  控制器127，且这在需要时也可在DMA控制下操作。 

DSP块123是图26、27和28所共有，且这些说明提供在芯片本身内实施为DSP例行程序的主信号处理块的概述。DSP可经配置以在两种PRIR测量模式中操作。 

模式A)经设计以用于其中直接访问扩音器是不实际的应用，如图27所说明。在此模式中，输入音频信号121(图41)可从位流经由SPDIF接收器111输入的本地多通道解码器114导出，或者其可从本地多通道ADC 70直接输入。使用工业标准多通道编码器来编码个性化测量MLS信号，且将其经由SPDIF发射器112输出。随后使用标准AV接收器109(图27)来解码MLS位流，并将其引导到期望的扩音器。 

模式B)经设计以用于其中直接访问扩音器是可能的应用，如图26所说明。如同模式A，输入音频信号121(图41)可从位流经由SPDIF接收器111输入的本地多通道解码器114导出，或者其可从本地多通道ADC 70直接输入。然而，个性化测量MLS信号被直接输出到多通道DAC 72。 

图43描述根据本发明实施例的个性化例行程序的步骤和规格。图42类似地描述虚拟化例行程序的那些步骤和规格。DSP例行程序根据功能而分开，且通常针对没有任何先前获取的个性化数据可用的用户在上电之后按如下次序运行。 

1)获取每个扩音器和每个头部位置的PRIR 

2)获取双耳的头戴耳机-麦克风传递函数，并产生均衡滤波器 

3)产生内插和耳间时间延迟函数，并时间对准PRIR 

4)使用头戴耳机均衡滤波器预先加强时间对准的PRIR 

5)产生次频带PRIR 

6)建立头部参考角度 

7)计算任何虚拟扩音器偏移量 

8)运行虚拟器 

使用DSP的实时扩音器MLS测量

个性化房间脉冲响应测量例行程序使用包含32767个状态且能够测量多达32767个样本的脉冲响应的15位二进制MLS。以48kHz的音频采样速率，此MLS可测量约0.68秒的环境混响时间内的脉冲响应，而不会有显著的循环卷积混叠。在房间的混响时间可能超过0.68秒的情况下可使用较高的MLS次序。图29中所说明的三点PRIR测量方法在实时DSP平台中实施。因此，当获取PRIR时未考虑头部俯仰和倾侧。MLS测量过程期间的头部移动也被忽略，且因此假定人主体的头部在测试的持续时间内保持得相当静止。 

为便于模式A操作，对32768个样本重新采样所述32767序列，且紧接块的连续流使用以1536kbps运行的5.1ch DTS相干声学编码器进行编码，其中启用了最佳重构模式。对MLS编码器帧对准进行调节，以便确保原始MLS窗口准确对应于512个样本的64个解码帧的MLS窗口，以使得DTS位流可以环路形式播放而不会造成解码器输出处的帧间不连续性。一旦实现对准，就从最终DTS位流中提取64个帧，其包含1048576个位或32768个立体声SPDIF 16位有效负载字。针对包括低音炮的六个通道中的每一者(其中到达编码器的其它输入信号的声音被减弱)产生位流。对每个活动通道产生十个位流，覆盖从-27dB开始以3dB步长上升到0dB的MLS振幅范围。所有60个编码的MLS序列被离线编码，且位流预先存储在紧凑型快闪130(图41)中并在每次系统初始化时被上载到系统RAM 125，其中启用模式A。 

在个性化过程期间，所有非必要的例行程序被暂停，且传入的左耳和右耳麦克风样本由循环卷积例行程序以逐个样本的方式直接处理。个性化测量通过首先确定促使麦克风记录超过-9dB阈值所必需的MLS振幅而开始。这将对每个扩音器单独进行测试，且具有最低振幅的MLS将用于所有后续PRIR测量。接着，恰当的位流以环路形式流出到SPDIF发射器，且将经数字化的麦克风信号99循环地与原始重新采样的MLS进行卷积。此过程持续32个MLS帧周期——在48kHz采样速率下大约22秒。对于完全的5.1ch扩音器设置，通常使用以下程序来进行测试。 

人主体面朝屏幕中央并保持其头部稳定，且： 

1.循环左扩音器MLS位流并测量左耳和右耳PRIR， 

2.循环右扩音器MLS位流并测量左耳和右耳PRIR， 

3.循环中央扩音器MLS位流并测量左耳和右耳PRIR， 

4.循环左环绕扩音器MLS位流并测量左耳和右耳PRIR， 

5.循环右环绕扩音器MLS位流并测量左耳和右耳PRIR，且 

6.循环低音炮MLS位流并测量左耳和右耳PRIR。 

人主体面朝左扩音器并保持其头部稳定，且： 

1.循环左扩音器MLS位流并测量左耳和右耳PRIR， 

2.循环右扩音器MLS位流并测量左耳和右耳PRIR， 

3.循环中央扩音器MLS位流并测量左耳和右耳PRIR， 

4.循环左环绕扩音器MLS位流并测量左耳和右耳PRIR， 

5.循环右环绕扩音器MLS位流并测量左耳和右耳PRIR，且 

6.循环低音炮MLS位流并测量左耳和右耳PRIR。 

人主体面朝右扩音器并保持其头部稳定，且： 

1.循环左扩音器MLS位流并测量左耳和右耳PRIR， 

2.循环右扩音器MLS位流并测量左耳和右耳PRIR， 

3.循环中央扩音器MLS位流并测量左耳和右耳PRIR， 

4.循环左环绕扩音器MLS位流并测量左耳和右耳PRIR， 

5.循环右环绕扩音器MLS位流并测量左耳和右耳PRIR，且 

6.循环低音炮MLS位流并测量左耳和右耳PRIR。 

对于模式B操作32，经缩放的32767个样本MLS在测试72下(图41)直接输出到扩音器。如同模式B，在测试开始之前首先缩放MLS的振幅。MLS本身作为32767位序列预先存储在紧凑型快闪130(图41)中，并在上电时上载到DSP。针对待测的每个扩音器且针对每个期望的个性化头部定向进行MLS测量。 

人主体面朝屏幕中央并保持其头部稳定，且： 

1.将MLS驱送出左扩音器并测量左耳和右耳PRIR， 

2.将MLS驱送出右扩音器并测量左耳和右耳PRIR， 

3.将MLS驱送出中央扩音器并测量左耳和右耳PRIR， 

4.将MLS驱送出左环绕扩音器并测量左耳和右耳PRIR， 

5.将MLS驱送出右环绕扩音器并测量左耳和右耳PRIR，且 

6.将MLS驱送出低音炮并测量左耳和右耳PRIR。 

人主体面朝左扩音器并保持其头部稳定，且： 

1.将MLS驱送出左扩音器并测量左耳和右耳PRIR， 

2.将MLS驱送出右扩音器并测量左耳和右耳PRIR， 

3.将MLS驱送出中央扩音器并测量左耳和右耳PRIR， 

4.将MLS驱送出左环绕扩音器并测量左耳和右耳PRIR， 

5.将MLS驱送出右环绕扩音器并测量左耳和右耳PRIR，且 

6.将MLS驱送出低音炮并测量左耳和右耳PRIR。 

人主体面朝右扩音器并保持其头部稳定，且： 

1.将MLS驱送出左扩音器并测量左耳和右耳PRIR， 

2.将MLS驱送出右扩音器并测量左耳和右耳PRIR， 

3.将MLS驱送出中央扩音器并测量左耳和右耳PRIR， 

4.将MLS驱送出左环绕扩音器并测量左耳和右耳PRIR， 

5.将MLS驱送出右环绕扩音器并测量左耳和右耳PRIR，且 

6.将MLS驱送出低音炮并测量左耳和右耳PRIR。 

对于A或B模式，5.1ch个性化测量均导致18个左-右PRIR对(每对具有32768个样本)，且这些既保持在临时存储器116(图26和27)中用于进一步处理，又存储回紧凑型快闪。因此，用户在未来任意时间点都可检索这些测量数据而不必重复PRIR测量。 

使用DSP的实时头戴耳机MLS测量

对于模式A和B两者，使用直接MLS(模式B)来执行头戴耳机均衡测量。除了经缩放的MLS经由头戴耳机DAC而不是扩音器DAC输出到头戴耳机之外，MLS头戴耳机测量例行程序与扩音器测试相同。根据以下步骤使用32个平均化去卷积MLS帧来单独产生头戴耳机每一侧的响应： 

1.将MLS驱送出左耳头戴耳机变换器并测量左耳PRIR，且 

2.将MLS驱送出右耳头戴耳机变换器并测量右耳PRIR。 

左耳和右耳脉冲响应与最近的样本时间对准并被截断，以使得从脉冲开始的仅前128个样本得以保留。接着，使用本文描述的方法来反向每个128样本脉冲。在反向期间，将高于16125Hz的计算频率设定为单位增益，并相对于0与750Hz之间的平均水平将极点和零点限幅到+/-12dB。将所得的左通道和右通道128分支对称脉冲响应存储回紧凑型快闪130(图41)。 

PRIR数据的准备

在图43中说明实时虚拟化例行程序中使用的PRIR数据的准备。在PRIR测量完成时，每个扩音器和三个横向头部定向中的每个定向的原始左耳和右耳PRIR保持在存储器116中。首先，对最近的样本测量225针对所有十八个左耳和右耳PRIR对的耳间时间位移，并临时存储所述值以供头部跟踪器处理器9和24使用。接着，按照本文描述的方法针对最近的样本来时间对准225所述PRIR对。经时间对准的PRIR每一者与头戴耳机均衡滤波器62卷积，并使用2x过采样分析滤波器组分裂成十六个次频带26，所述过采样分析滤波器组的原型低通滤波器滑移已被略微扩展以确保单位增益被维持直到重叠点，如本文论述。 

将每个PRIR分裂成若干次频带的动作导致16个次频带PRIR文件，其每一者具有4096个样本。将次频带PRIR文件截断223，以便优化随后卷积过程的计算负荷。对于除低音炮以外的所有音频通道，每个PRIR的次频带1到10经剪裁以仅包括前1500个样本(给出大约0.25s的混响时间)，次频带11到14经剪裁以仅包括前32个样本，且次频带15和16被完全删除，且因此头戴耳机音频中不存在高于21kHz的频率。对于低  音炮通道，次频带1经剪裁以仅包括前1500个样本，且所有其它次频带被删除且不包括在低音炮卷积计算中。一旦被剪裁，接着就将次频带PRIR数据载入224到其各自次频带PRIR内插处理器16存储器中，以供图42的实时虚拟过程使用。 

在此DSP实施方案中使用PRIR内插公式(等式8-14)。这要求知道分别对应于观看头部角度176、177和178(图29)的三个PRIR测量头部角度θL、θC和θR。所述实施方案假定前中央扩音器181与参考头部角度θref完全对准。这允许通过分析在中央扩音器作为MLS激励源时针对三个头部位置中每个位置的左耳与右耳PRIR对之间的耳间时间延迟，使用等式1来计算θL、θC和θR。在此情况下，最大绝对延迟固定在24个样本。 

使用等式23-25来估计每个虚拟扩音器的耳间路径长度公式，且结合任何虚拟偏移量调节，使用等式31来计算每个差分路径长度。使用与提供0.25度角分辨率的4位线性内插组合的32点单象限查找表来在软件中构造正弦函数。即使当听者头部移动到PRIR测量角度范围之外时，也继续路径长度计算。 

作为选择，PRIR内插和路径长度公式产生例行程序能够访问与PRIR头部角度有关的信息，且扩音器位置经由键盘129(图41)手动输入到虚拟器中。 

动态头部跟踪计算

头部跟踪器实施方案是基于安装到头戴耳机的3轴磁性传感器设计，其在存在听者头部倾斜时利用2轴倾斜加速度计来退旋磁性读取。为避免干扰，静电头戴耳机用于再现虚拟信号。由板上微控制器以120Hz的更新速率进行磁性和倾斜测量及方向计算。使用以9600bit/s波特率传输的简单异步串行格式来使听者头部偏转、俯仰和倾侧角度流到虚拟器。位流包含同步数据、可选命令和三个头部定向。头部角度通过利用使用Q2二进制格式的+/-180度格式进行编码，且因此在任意轴线上提供0.25度的基本分辨率。因此，传输两个字节以概述每个头部角度。头部跟踪器串行流连接到外侧UART 73(图41)，且每个字节被解码并经由中断服务例行程序传递到DSP 123。头部跟踪器更新速率自由运行(大约120Hz)，且不与虚拟器的音频采样速率的更新速率同步。在每次头部跟踪器中断时，DSP读取UART总线并检查同步字节的存在。遵循认可的同步样式的字节用于更新保留在DSP中的头部定向角度，且视需要标记头部跟踪器命令。 

头部跟踪器命令功能之一是要求DSP采样当前头部偏转角度并将此角度复制到内部存储的参考头部定向θref。此命令由安装在头部跟踪器单元上的微型开关触发，所述头部跟踪器单元本身安装在头戴耳机头带上。在此实施方案中，通过要求听者将头戴耳机放置在其头部上并接着面朝中央扩音器且按下参考角度微型开关，来建立参考角度。  DSP接着使用此头部偏转角度作为参考。可在任何时刻通过简单按下开关来作出参考角度的改变。 

以200Hz的虚拟器帧速率(240个输入样本Fs＝48kHz)计算次频带内插系数和可变延迟路径长度更新。针对音频通道中的每一者独立计算唯一的一组内插系数，以允许以逐个扩音器的方式进行虚拟偏移量调节(θv_X)。所得的次频带内插系数直接用于针对每个音频通道16(图16)产生一组内插的次频带PRIR。 

然而，路径长度更新不直接用于驱动过采样缓冲器地址20(图18)，而是替代地用于更新一组“期望路径长度”变量。实际路径长度每24个输入样本进行更新，且使用Δ函数进行增量调节，以使得其适于期望路径长度值的方向。这意味着响应于头部跟踪器偏转角度的改变而以2kHz的速率有效调节所有虚拟扩音器路径长度。使用Δ更新的目的是确保可变缓冲器路径长度不会以较大步长变化，且因此避免了由于听者头部角度突然变化而将可闻假象引入音频信号中的可能性。 

对于个性化范围的范畴以外的头部偏转角度，内插系数计算在其最左边或右边位置处饱和。通常，虚拟器忽略头部跟踪器俯仰和倾侧角度，因为这些角度不包括在PRIR测量范围内。然而，当俯仰角度超过大约+/-65度(+/-90度为水平的)时，虚拟器将接入扩音器信号(若可用)132(图28)。这为听者移去头戴耳机并将其放平且继续通过扩音器收听音频提供了便利方式。 

实时5.1ch DSP虚拟器

图42说明根据本发明实施例的经实施以虚拟单个输入音频通道的一组例行程序。针对通道的其余部分复制所有函数，且对其左耳和右耳头戴耳机信号求和以形成复合立体声头戴耳机输出。以48kHz的采样速率实时数字化70模拟音频输入信号，且使用中断服务例行程序而将其载入到240样本缓冲器71。在填充此缓冲器时，DSP调用DMA例行程序，所述DMA例行程序既将输入样本复制到内部临时缓冲器，又用来自一对临时输出缓冲器的新近虚拟的音频重新装载左通道和右通道输出缓冲器71。此DMA每240个输入样本发生一次，且因此虚拟器帧速率以200Hz运行。 

使用2x过采样480分支分析滤波器组将240个新近获取的输入样本分裂成16个次频带26。用于此分析滤波器组和合成滤波器组的原型低通滤波器以正常方式设计，即重叠点大约在通带以下3dB。接着，使用左耳和右耳次频带卷积器30将每个次频带中的30个样本与由内插例行程序产生并使用最新内插系数的相关次频带PRIR样本16进行卷积。使用互补的16频带次频带480分支合成滤波器组27将经卷积的左耳和右耳样本每一者重构回240个样本波形。接着，所述240个经重构的左耳和右耳样本通过可变延  迟缓冲器17，以实现适合于虚拟扩音器的耳间时间延迟。可变缓冲器实施方案使用500x过采样结构，并利用32000分支抗混叠滤波器。 

因此，每个缓冲器单独地能够以低至样本的1/500的步长使输入样本流延迟多达32个样本。如先前描述，每24个输入样本周期或每0.5ms来更新延迟，且因此可变延迟在每个240输入样本周期中被更新10次。从每个通道虚拟器的左耳和右耳可变延迟缓冲器输出的240个样本经求和5并载入临时输出样本缓冲器，以准备在下一DMA输入/输出例行程序上转移到输出缓冲器71。通过使用中断服务例行程序以48kHz的速率将左耳和右耳输出样本实时转移到DAC 72。所得的模拟信号经缓冲并输出到听者佩戴的头戴耳机。 

变化和替代实施例

尽管已在本发明的整个具体实施方式中展示和描述了本发明的若干说明性实施例，但所属领域的技术人员将可作出许多变化和替代实施例。可在不脱离本发明的精神和范围的情况下，预期和进行此类变化和替代实施例。 

举例来说，所述描述参考了建立播放期间听者头部移动范围的个性化测量过程。理论上，需要两个或两个以上测量点以便有利于内插。实际上，许多实例已说明三点和五点PRIR测量范围的使用。以此方式测量每个扩音器响应的优点在于，只要头部移动在测量范围内，退旋头部移动的PRIR内插总是使用正用于投射虚拟扩音器的真实扩音器专有的PRIR数据。换句话说，虚拟扩音器通常将与真实扩音器的体验几乎完全匹配，因为其使用所述扩音器专有的PRIR数据。此方法的一个偏离是针对每个扩音器仅测量一组PRIR，即人主体仅采用一个固定的头部位置，并针对构成其娱乐系统的每个扩音器获取左耳和右耳PRIR。 

通常，在进行测量之前人主体将面朝屏幕中央或某个其它理想的收听定向。在此情形下，通过使用与正被虚拟的扩音器无关的内插PRIR数据组来对头部跟踪器检测到的任何偏离此参考头部定向的头部移动进行退旋。然而，耳间路径长度计算可保持准确，因为其可从各种扩音器PRIR数据导出或以正常方式手动地输入到虚拟器本身。在用于使虚拟器范围延伸超过测量范围的方法之一中已在某种程度上论述了在相邻扩音器PRIR之间进行内插的过程(参见题为“落在测得范围以外的头部移动”部分)。 

图34b说明对于超过+/-30度测量范围的头部旋转而对左前方扩音器的内插要求。在此实例中，假定每个扩音器代表完整60度头部转动，且仅当存在不足的覆盖时，对相邻的扩音器PRIR进行内插以分别填充间隙203、207、205(图34b)。在仅测量一组PRIR的方法中，扩音器之间的每个区域都采用相邻的扩音器内插。 

以下描述说明使用图34所示的相同扩音器设置的过程。同样，在此描述中，将在整个360度头部转动范围中虚拟左前方扩音器。以听者观看中央扩音器(0度)开始，所有PRIR内插器都使用从真实扩音器直接测得的那些响应。在听者头部逆时针朝向左扩音器位置转动时，用于左前方虚拟扩音器的PRIR内插器开始向卷积器输出与中央和左扩音器位置之间的听者头部角度成比例的左扩音器与中央扩音器PRIR的线性组合。 

当听者头部定向到达左扩音器位置(-30度)时，完全由中央扩音器PRIR进行虚拟左扩音器卷积。当头部继续在逆时针方向上转动(-30到-60度)时，内插器向卷积器输出中央与右扩音器PRIR的线性组合。从-60到-150度，内插器使用右方和右环绕PRIR。从-150到+90度，使用右环绕和左环绕PRIR。最后在从+90到0度逆时针移动时，内插器使用左环绕和左方PRIR。此描述说明在360度头部转动期间使虚拟左前方扩音器稳定所必需的内插组合。通过检查特定扩音器配置的几何形状和可用的PRIR数据组，可容易导出用于其它虚拟扩音器的PRIR组合。 

将了解，针对仅单个头部定向测得的PRIR可同样应用于本文论述的预先虚拟方法。在这些情况下，双耳信号的范围不限于PRIR头部定向的范围，且因此用户确定期望的头部移动范围，产生覆盖所述范围的恰当的内插扩音器PRIR，并对每一者运行虚拟。接着将头部移动限制发送到播放装置以便适当地设置内插器范围。若需要，还发送路径长度数据，以便当听者头部在内插器限制之间移动时产生耳间路径长度。 

出于说明目的已呈现本发明实施例的上述描述；不希望此描述为详尽的或将本发明限于所揭示的精确形式。所属领域的技术人员可了解，根据上述教示，许多修改和变化是可能的。因此，希望本发明的范围并不是由此详细描述限定，而是由所附权利要求书来限定。 

Claims (37)

1.一种用于在一对头戴耳机中对一组扩音器进行个性化虚拟的音频系统，所述系统包含：

音频输入接口，用于接收扩音器输入信号；

扬声器输出接口，用于用音频信号来驱动一组扩音器中的每一者；

头戴耳机输出接口，用于用音频信号来驱动一对头戴耳机；

麦克风输入接口，用于接收来自一个以上可定位在靠近听者每个耳朵处的麦克风的响应信号；

头部跟踪系统，用于检测听者头部的定向；

激励信号发生器，其耦合到所述扬声器输出接口，其中当所述音频系统在个性化测量模式中时，所述激励信号发生器经配置以将激励信号提供到所述扬声器输出接口，以驱动所述扩音器中的一者以上以便在靠近听者每个耳朵的位置处产生音频响应；

测量模块，其耦合到所述麦克风输入接口以接收来自所述麦克风输入接口的信号以获得所述音频响应，所述测量模块经配置成产生与每一音频响应相关联的预定的响应函数，每一预定的响应函数与特定扩音器以及所述听者的特定耳朵和头部定向相关联；和

虚拟器，其耦合到所述头戴耳机输出接口，其中当所述音频系统在正常模式中时，所述虚拟器经配置以通过使用一组所估计的响应函数来对所述扩音器输入信号进行变换，所述组所估计的响应函数是基于所述听者的头部定向确定的，并将所述经变换的扩音器输入信号提供到所述头戴耳机输出接口，其中所述组所估计的响应函数是对来自两组或更多组预定的响应函数进行内插，每一组预定的响应函数与不同的头部定向相关联。

2.根据权利要求1所述的系统，其进一步包含：

激励信号发生器，其耦合到所述头戴耳机输出接口，其中当所述音频系统在个性化头戴耳机均衡测量模式中时，所述激励信号发生器经配置以将激励信号提供到所述头戴耳机输出接口，以驱动所述头戴耳机以便在靠近所述听者的每个耳朵的位置处产生音频响应，所述测量模块经配置以响应于所述音频响应来计算响应函数以用于均衡所述头戴耳机。

3.根据权利要求1所述的系统，其中所述扬声器输出接口包含多通道编码位流输出，且使用多通道音频编码方法来编码所述激励信号。

4.根据权利要求1所述的系统，其进一步包含：

存储器，用于将每一预定的响应函数存储为一组滤波系数。

5.根据权利要求1所述的系统，其中所述扩音器输入信号包含各自对应于一扩音器的多个通道，且所述虚拟器通过以下方式来对所述扩音器输入信号进行变换：基于所述听者的头部定向确定所述组所估计的响应函数，使用左耳和右耳响应函数来对每一通道进行变换，且对所述左耳变换通道和所述右耳变换通道分别求和，以获得用于所述头戴耳机输出接口的双通道变换扩音器输入信号。

6.根据权利要求5所述的系统，其中所述虚拟器通过选择多组预定响应函数并基于所述听者的头部定向和与所述预定响应函数相关联的头部定向对所述选定组的预定响应函数进行内插来确定所述组所估计的响应函数。

7.根据权利要求6所述的系统，其中所述虚拟器通过对与特定扩音器以及所述听者的特定耳朵和头部定向相关联的所述响应函数中的每一者进行内插来对两组以上预定响应函数进行内插。

8.根据权利要求6所述的系统，其中所述预定的响应函数为脉冲函数，且所述虚拟器通过以下方式来对两个以上预定的响应函数进行内插：测量每一脉冲函数的时间延迟，从每一脉冲函数去除所述时间延迟，对所得脉冲函数进行平均化，且将所述去除的延迟重新并入到所述平均化的脉冲函数中。

9.根据权利要求8所述的系统，其中通过根据所述听者的经跟踪头部定向和与每一脉冲函数相关联的定向对所述脉冲函数进行加权来对所述脉冲函数进行平均化。

10.根据权利要求5所述的系统，其中所述虚拟器通过选择存储在存储器中的一组预定的预先内插的响应函数来确定所述组所估计的响应函数，所述选定组与最匹配所述听者的经跟踪头部定向的头部定向相关联。

11.根据权利要求1所述的系统，其中所述虚拟器进一步经配置以调节所述所估计的响应函数中的一者以上以改变所述相应扩音器的感知距离。

12.根据权利要求11所述的系统，其中通过识别所述响应函数的直接部分和混响部分并相对于所述混响部分改变所述直接部分的振幅和位置来调节所估计的响应函数。

13.根据权利要求1所述的系统，其中所述虚拟器进一步经配置以应用反向传递函数，以补偿所述头戴耳机对从其输出的信号的影响。

14.根据权利要求1所述的系统，其中所述虚拟器进一步经配置以对所述扩音器输入信号应用反向传递函数和理想参考传递函数，所述反向传递函数经设计以补偿所述扩音器对从其输出的信号的影响，且所述理想参考传递函数经设计以产生使得一组扩音器具有改进保真度的效果。

15.一种用于在用于头戴耳机的虚拟环绕声系统中进行个性化虚拟的系统，所述系统包含：

头部跟踪系统，其确定听者的头部定向；

用于将激励信号施加到一组扩音器的构件；

用于接收所述激励信号的麦克风；

用于在若干听者头部定向上自接收的所述激励信号获取针对每个耳朵和每一扩音器的个性化房间脉冲响应的构件；和

用于通过内插所述个性化房间脉冲响应的组来产生所估计的房间脉冲响应的组的构件，每一组所述个性化房间脉冲响应与不同的头部定向相关联。

16.一种用于在一对头戴耳机中对一组扩音器进行个性化虚拟的音频系统，所述系统包含：

音频输入接口，用于接收扩音器输入信号；

头戴耳机输出接口，用于用音频信号来驱动一对头戴耳机；

头部跟踪系统，用于跟踪听者头部的定向；和

虚拟器，其耦合到所述头戴耳机输出接口，其中所述虚拟器经配置以

基于所述跟踪的听者头部的定向来估计一组响应函数，其中所述组所估计的响应函数是对来自两组或更多组预定的个性化响应函数进行内插，每一组预定的个性化响应函数与不同的头部定向相关联；

通过使用所述组所估计的响应函数来变换所述扩音器输入信号，并将所得虚拟音频信号提供到所述头戴耳机输出接口。

17.根据权利要求16所述的系统，其中所述虚拟器通过以下操作来对所述扩音器输入信号进行变换：

组合所述经变换的扩音器输入信号以产生所述虚拟音频信号。

18.一种用于在家庭环境中在听者音频虚拟系统中进行个性化虚拟的方法，所述方法包含：

提供定位在收听位置周围的一组扩音器，所述组扩音器将定向声音提供到所述收听位置；

将麦克风固定在听者头部的耳朵附近，所述听者位于所述收听位置；

针对若干头部定向中的每一者，用一个以上激励信号驱动所述扩音器以产生所述听者的耳朵对每一扩音器的音频响应；

用所述麦克风记录所述音频响应；

针对每一记录的音频响应产生预定的响应函数，每一预定的响应函数指示所述相应激励信号针对特定头部定向的从特定扩音器到所述听者的特定耳朵的变换；和

通过内插两组或更多组所述预定的响应函数来产生一组所估计的响应函数，每一组所述预定的响应函数与不同的头部定向相关联。

19.根据权利要求18所述的方法，其进一步包含：

跟踪所述听者头部的定向。

20.根据权利要求18所述的方法，其进一步包含：

将麦克风固定到所述听者的每个耳朵；和

同时记录所述听者的每个耳朵对特定扩音器的所述音频响应。

21.根据权利要求18所述的方法，其进一步包含：

将每一预定的响应函数存储在存储器中作为一组滤波系数；和

将每一预定的响应函数与头部定向和扩音器相关联。

22.根据权利要求18所述的方法，其进一步包含：

将一对头戴耳机放置在所述听者的头部上；

用一个以上激励信号来驱动所述头戴耳机以产生针对所述听者的每个耳朵的头戴耳机音频响应，所述头戴耳机音频响应对于所述头戴耳机和所述听者是特定的；

用所述麦克风记录所述头戴耳机音频响应；和

针对每一记录的头戴耳机音频响应产生头戴耳机响应函数，每一头戴耳机响应函数可用于产生反向传递函数，以补偿所述头戴耳机对从其输出的信号的影响。

23.一种用于为听者将一组扩音器虚拟成一对头戴耳机的方法，所述方法包含：

接收用于所述组扩音器的音频信号；

跟踪所述听者的头部定向；

基于所述跟踪的听者的头部定向来估计一组响应函数，其中所述组所估计的响应函数是对来自两组或更多组预定的个性化响应函数进行内插，每一组预定的个性化响应函数与不同的头部定向相关联；

使用所述组所估计的所述组响应函数来变换所述接收的音频信号；

组合所述经变换的音频信号以产生用于所述头戴耳机的虚拟音频信号；和

将所述虚拟音频信号提供到所述头戴耳机。

24.根据权利要求23所述的方法，其进一步包含：

将每一响应函数存储为一组滤波系数。

25.根据权利要求23所述的方法，其中估计所述响应函数包含：

基于所述经跟踪的头部定向选择两组以上预定的个性化响应函数；和

针对特定头部定向对与特定扩音器和所述听者的特定耳朵中的每一者相关联的所述预定个性化响应函数进行内插。

26.根据权利要求25所述的方法，其中所述预定的个性化响应函数为脉冲函数，且其中对两个以上预定的个性化响应函数进行内插包含：

测量每一脉冲函数的时间延迟；

从每一脉冲函数中去除所述时间延迟；

对所得的脉冲函数进行平均化；和

将所述去除的延迟重新并入到所述平均化的脉冲函数中。

27.根据权利要求26所述的方法，其中对所得脉冲函数进行平均化包含根据所述经跟踪的头部定向和与每一脉冲函数相关联的定向对所述脉冲函数进行加权。

28.根据权利要求23所述的方法，其中估计所述响应函数包含：

选择存储在存储器中的一组预定的预先内插的响应函数，所述选定组与最匹配所述经跟踪的头部定向的头部定向相关联。

29.根据权利要求23所述的方法，其中所述接收的音频信号包含与所述扩音器中的每一者相关联的通道，且对所述接收的音频信号进行变换包含使用与左耳和右耳相关联的估计响应函数对所述接收的音频信号的每一通道进行变换。

30.根据权利要求29所述的方法，其中组合所述经变换的音频信号包含对所述左耳变换通道和所述右耳变换通道分别求和，以获得适合于所述头戴耳机的双通道变换音频信号。

31.根据权利要求23所述的方法，其进一步包含：

调节所述估计的响应函数中的一者以上，以改变所述相应扩音器的感知距离。

32.根据权利要求31所述的方法，其中所述调节包含：

识别所述估计的响应函数的直接部分和混响部分；和

相对于所述混响部分改变所述直接部分的振幅和位置。

33.根据权利要求23所述的方法，其进一步包含：

应用反向传递函数以补偿所述头戴耳机对从其输出的信号的影响。

34.根据权利要求23所述的方法，其进一步包含：

将反向传递函数应用于所述接收的音频信号，所述反向传递函数经设计以补偿所述扩音器对从其输出的信号的影响；和

将理想参考传递函数应用于所述接收的音频信号，所述理想参考传递函数经设计以产生使得一组扩音器具有改进保真度的效果。

35.一种用于为听者将一组扩音器虚拟成一对头戴耳机的方法，所述方法包含：

接收用于所述组扩音器的音频信号；

使用针对多个听者头部定向的预定个性化响应函数将所述音频信号变换为多组预先虚拟的音频信号；

跟踪所述听者的头部定向；

基于所述组预先虚拟音频信号中的一组以上和所述听者的经跟踪头部定向来产生一组经变换的音频信号；

基于所述听者的经跟踪头部定向延迟所述产生的变换音频信号；

组合所述经延迟的所产生变换音频信号以产生用于所述头戴耳机的虚拟音频信号；和

将所述虚拟音频信号提供到所述头戴耳机。

36.根据权利要求35所述的方法，其中产生所述组经变换的音频信号包含基于所述听者的经跟踪头部定向来对所述组预先虚拟音频信号中的一组以上进行内插。

37.一种用于为听者将一组扩音器虚拟成一对头戴耳机的方法，所述方法包含：

接收用于所述组扩音器的音频信号；

使用针对多个听者头部定向的预定个性化响应函数将所述音频信号变换为多组预先虚拟的音频信号；

组合所述预先虚拟的音频信号以针对所述听者头部定向中的每一者产生用于所述头戴耳机的虚拟音频信号；

跟踪所述听者的头部定向；

基于所述听者的经跟踪头部定向产生从所述组合的预先虚拟音频信号导出的单个头戴耳机信号；和

将所述导出的虚拟音频信号提供到所述头戴耳机。

Images