CN112005559B - 改进环绕声的定位的方法 - Google Patents

Abstract

本公开的方面涉及一种用于处理音频信号以使用头部相关传递函数(HRTF)来优化声音系统中的声音的定位的方法和系统。确定用户的位置，并且用表示具有期望用户响应的位置特定提示的波形来驱动扬声器。所述位置特定提示与所述用户的所确定位置的所定义HRTF相关联。检测对位置特定提示的用户响应，并且将所述用户响应与所述位置特定提示进行比较。然后用来自所述用户响应与所述位置特定提示的比较的信息来更新所述所定义HRTF。

Description

改进环绕声的定位的方法

技术领域

本公开涉及音频信号处理和声音定位。特别地，本公开的方面涉及对环绕声型扬声器系统中的声音的定位和外在化进行优化。

背景技术

人类能够通过与头和耳朵的几何形状有关的多种听觉提示以及在大脑中处理声音的方式来识别通过耳朵听到的声音的来源位置，即距离和取向。环绕声系统试图通过从环绕收听者的各个位置输出声音来丰富收听者的音频体验。

典型的环绕声系统利用具有多个离散声道的音频信号，所述离散声道被路由到可以多种已知格式布置的多个扬声器。例如，5.1环绕声利用五个全范围声道和一个低频效果(LFE)声道(分别由小数点前后的数字指示)。对于5.1环绕声，五个全范围声道然后通常将布置在一个房间中，其中三个全范围声道布置在收听者前面(在左、中和右位置)，并且其余两个全范围声道布置在收听者后面(在左和右位置)。LFE声道通常输出到一个或多个重低音喇叭(或有时被路由到能够处理低频信号的其他扬声器中的一个或多个，而不是专用的重低音喇叭)。存在多种其他环绕声格式，诸如6.1、7.1、10.2，所有这些环绕声格式通常都依赖于多个离散音频声道向以展开配置布置的多个扬声器的输出。多个离散音频声道可通过一对一映射到输出声道(例如扬声器)来被译码成源信号。替代地，使用如矩阵解码等其他技术以提取要播放的信号的声道，可从具有较少声道的源信号(诸如具有两个离散声道的立体声信号)提取声道。

多年来，环绕声系统已在电影院、家庭影院和其他系统设置中变得流行起来，因为许多电影、电视节目、视频游戏、音乐和其他娱乐形式都利用通过环绕声系统产生的声场以提供增强的音频体验。然而，传统的环绕声系统存在一些缺点，特别是在家庭影院应用中。例如，创建理想的环绕声场通常取决于优化扬声器的物理设置。不幸的是，物理约束和其他限制可能阻止最佳扬声器设置。此外，在许多环绕声格式中，通常没有扬声器高度的标准。而且，环绕声系统可能无法以与基于头戴式耳机的系统相同的准确度来模拟声场的三维性质。

已经提出了操纵底层声源信号的系统，以使得当通过头戴式耳机播放时，所述信号听起来好像是源自期望位置。这种技术在音频信号处理中通常被称作“声音定位”。许多已知的音频信号处理技术试图使用时域头部相关脉冲响应(HRIR)函数或其傅里叶变换(称为头部相关传递函数(HRTF))来实现声音定位。HRTF表征来自特定位置的声音在进入收听者的耳道之前如何通过人头部解剖结构进行修改。声音定位通常涉及针对期望源位置将源信号与每只耳朵的HRTF进行卷积。HRTF通常源于消声室中的声学脉冲的双耳记录。相对于在每个耳道内放置传声器的真人头或模拟头，将脉冲源定位在期望位置处，以记录头部在源自该位置的脉冲到达耳道的换能组件之前如何影响所述脉冲。

HRTF可由用于对应频率仓的衰减值集表示。通过在没有模拟头的位置处记录已知的宽带声音信号并且然后在模拟头就位的位置处记录相同的信号，可确定给定位置的HRTF。然后可将两个记录的信号转换为频域频谱(例如，通过快速傅里叶变换)。用头获得的频谱中每个频率仓的每个衰减值除以未使用头获得的频谱中的对应衰减值，得出该位置的HRTF。

涉及头戴式耳机重放的虚拟环绕声系统还可考虑环境声学效果以便创建环绕声信号，所述环绕声信号听起来好像是在收听者的声学环境中自然发生的，而不是在耳朵处或在没有声音的环境反射和混响的消声室中直接播放。因此，许多已知的音频信号处理技术也使用通过算法生成以对期望环境进行建模的合成房间脉冲响应函数来对环境的脉冲响应进行建模，所述响应在下文被称作“房间脉冲响应”(RIR)。这些房间脉冲响应函数也与源信号进行卷积，以便模拟声学环境。在环绕声型系统中，这些房间脉冲响应会生成不需要的效果，诸如回声和混响。此类不需要的效果可能会改变用户对声源位置的感知，并降低房间内声音的保真度。

不幸的是，使用上述技术来修改声学信号的现有声音系统仍然性能较差，并且不会准确地定位声音或抵消不需要的房间效果。

正是在这种背景下提出本公开的方面。

附图说明

本公开的教义可通过考虑下面结合附图的具体实施方式很容易理解，其中：

图1A是具有点声源的房间中的人以及房间内的不同点处的多个模拟的HRTF的示意图。

图1B是收听源自扬声器的声音的不同头部形状的示意图。

图2是描绘根据本公开的方面的通过图像捕获设备捕获并且测量耳间距离的人头的示意图。

图3A是描绘根据本公开的方面的具有不同耳廓大小的记录HRTF的模拟头的示意图。

图3B是根据本公开的方面的由图像捕获设备捕获以确定耳朵大小和形状的人头的侧面的示意图。

图4是描绘根据本公开的方面的具有声音系统的房间的示意图，所述声音系统利用用户反馈模拟房间内的点源。

图5是描绘根据本公开的方面的利用用户反馈模拟围绕用户平移声音的声音系统的示意图。

图6是示出根据本公开的方面的对与用户的原始取向成一定角度播放的声音的用户响应的分析的示意图。

图7A是描绘根据本公开的方面的用于细化在房间中使用的头部相关传递函数的一般方法的流程图。

图7B是描绘根据本公开的方面的用于利用平移声音和用户反馈细化HRTF的公开方法的流程图。

图8是描绘根据本公开的方面的用于使用点声音来细化HRTF的方法的流程图。

图9是描绘根据本公开的方面的利用HRTF对多声道音频信号进行滤波和处理的示意图。

图10是使用耳间距离D来开发HRTF滤波函数的示意图。

图11示出根据本公开的方面的用户利用耦接到用户的耳朵的传声器生成定制HRTF。

图12描绘根据本公开的方面的用于为用户生成定制的HRTF的方法的流程图。

图13示出根据本公开的方面的用以为用户生成定制的HRTF的滤波系统的示意图。

图14是描绘被配置来模拟过程音频信号以示出本公开的各方面的系统的框图。

具体实施方式

尽管下面的具体实施方式包含用于说明用途的许多具体细节，但是本领域的任何普通技术人员应了解，对以下细节的许多变化和更改处于本发明的范围内。因此，下面描述的本发明的示例性实施方案在不失一般性并且未暗示对要求保护的本发明的限制的情况下进行阐述。

引言

本公开的方面涉及针对个别收听者优化和细化头部相关传递函数(HRTF)以实现更好的声音定位和外在化。HRTF描述收听者的头部对到达收听者的耳朵的声音的频率和相位的影响。每个收听者具有不同的HRTF，因为HRTF的至少一部分取决于在收听者之间不同的解剖特征。人脑具有高度的适应能力，并且可使用这些独特的解剖特征来获得有关声源位置的信息。

影响HRTF的一个这种解剖特征是头部大小。头部较大的人可能比头部较小的人有更大的耳间相位差或耳间时间延迟(ITD)。类似地，头部较大的人的耳朵之间可能有较大的频率衰减效果。影响个别收听者的HRTF的其他解剖特征包括耳朵的称为耳郭或耳廓的向外突出部的大小。由于解剖特征变化会产生重大影响并且在用户之间可能会有所不同，因此普遍适用于每个用户的单个HRTF解决方案并不是最佳的。

另外，在扬声器声音系统的背景下，个人的HRTF取决于声源的距离和方向。因而，可为与来自声源的不同距离和方向相对应的个人创建不同HRTF的阵列。每个这样的HRTF也可能考虑到该个人的身体特性，诸如耳间距离和耳廓大小。从这种HRTF阵列可选择相对于每个声源(例如，每个扬声器)的给定位置的个人HRTF的最接近的近似，以优化声音定位。

在考虑各种实现细节及其附图的以下详细描述后，本公开的这些和其他方面将变得显而易见。

实现细节

图1A描绘用于记录HRTF的设置的实例。在无回声的房间中，从点声源101发出已知的声音，其中多个HRTF记录设备102、103、104距点源101按各种固定距离固定。每个HRTF记录设备都可包括模拟头以及位于模拟头的任一侧上的两个传声器，所述模拟头由被选择用于模拟人头的密度和共振的材料制成。在每个距离下，可在不同取向106上用HRTF记录设备检测声波。这确保HRTF将可用于用户105相对于声源101的一系列可能的距离和取向。对于点声源，声波107可被视为球形波阵面。因此，HRTF记录设备可按固定的距离放置。

为了近似位于与两个记录的HRTF相对应的位置之间的人105的HRTF，可在两个记录的HRTF之间进行插值。作为实例而非作为限制，通过在针对位置102生成的HRTF 1与针对位置103生成的HRTF2之间进行插值，可生成位于记录设备102与记录设备103之间的人的HRTF。

根据针对各种距离和角度获得的HRTF，可开发出函数，所述函数描述人的HRTF的每个频率仓的衰减值在距离和角度范围内如何变化。这种函数可另外考虑声源的相对高度的变化。在两个已知位置和/或取向处获得的测得HRTF之间进行插值是将所述函数应用于中间位置和/或取向值的相对简单的事项。

个人的HRTF也取决于所述个人的头部形状。图1B示出头部形状对HRTF的影响。在示出的实例中，声音111从收听者107右侧上的源行进，从而首先到达收听者的右耳109，然后到达左耳110。声波111以与右耳109处不同的相位进入左耳110。另外，收听者的两只耳朵之间的头颅和大脑会影响声音的频率和强度。这些“耳间效果”会添加另外的信息，用户的大脑可使用这些信息来确定声音的位置。头部较大的人在他们的耳朵处接收到的声音之间可能具有较大的相移。另外，位于收听者的头部的相反侧上的耳朵处的声音的高频也可能更大程度地消音或衰减。

这些耳间效果对于收听者可能是唯一的，其中每个收听者的听觉系统都经过训练以基于他们自有的生理特性确定声音的位置。头部较宽的人108比头部较小的人113耳间距离更长。结果，进入右耳109的波与进入左耳110的波之间的相位差在头部较小的人113中将较小。因而，使用一种大小的模拟头对HRTF进行的滤波无法如收听者将在真实环境中感知到般用高保真度声音位置进行完全重建。为了模拟这些差异，可使用具有对应于不同人头大小的不同耳间距离的模拟头来生成HRTF。

使用具有不同耳间距离的HRTF记录设备简单地生成HRTF并不能向系统告知用户的独特生理机能。因此，将期望创建一种系统，所述系统确定用户的头部形状并为用户生成补偿收听者的头部的影响的HRTF。图2描绘本公开的生成补偿用户的头部形状的HRTF的实施方案。诸如照相机或摄像机等图像捕获单元203可用于拍摄用户的头部205的图像204。可使用已知图像分析方法来分析用户的头部的图像以确定耳间距离201。另外的深度信息可能来自立体相机、耦接到控制器的光源、或各种其他测距系统，诸如超声或红外测距仪(未示出)。在替代实施方案中，系统可简单地提示用户测量他们的耳间距离201并将该信息提供给系统。在另一个示例性实施方案中，系统可向用户提供具有不同大小和形状的头部和耳朵的各种不同图像，这些图像各自与不同的HRTF集相关。用户可基于图像选择而选择最接近用户自己的头部和/或耳朵的头部和/或耳朵类型，系统可针对用户使用与所选择图像相关的HRTF集。在相关实施方案中，如上文所讨论，系统可通过对用户的头部的图像执行图像分析来在选择之后进一步缩小用户的HRTF的范围。在另一个替代实施方案中，可从用户提供给系统的图片识别出耳间距离。

系统可在HRTF的生成中补偿用户的头部的形状。这可与图1所示的距离一样以类似方式进行。如上文所讨论，可使用被选择来模拟不同大小的人头的不同大小的模拟头来生成多个HRTF。根据具有模拟头大小的不同HRTF记录，可确定HRTF的哪些分量与头部大小/密度相关。对于具有中等头部大小的收听者，可在HRTF之间插值以更好地使函数适合于收听者，否则可使用下一个更大的大小。

影响HRTF的另一个因素是受试者的耳朵的外貌特征。特别地，耳朵的外部部分(称为耳廓或耳郭)对声音的定位有很大影响。耳廓在确定声源的高度方面起着特别重要的作用。因此，如图3A所示，具有不同大小和/或形状的耳廓301、302、303的模拟头304可用于生成HRTF滤波器，所述HRTF滤波器针对收听者的变化的耳廓大小而更好地适应声音的定位。人的耳朵的不同组成部分对感知到的声音频率具有不同影响。耳朵的部分起到像陷波滤波器的作用，所述陷波滤波器降低所选择频率下的声音的振幅。例如，耳朵较小的人比耳朵较大的人将经历更高频率下的声音滤波。已经发现，耳朵的比例与滤波效果直接相关。

图像捕获单元306可用于识别收听者的耳廓的大小。图像捕获单元可被配置来在收听者的头部转向面对图像捕获单元时识别收听者308的耳朵305。如图3B所见。类似于确定耳间距离，深度信息可能来自耦接到由收听者持有的控制器或各种其他测距系统(诸如超声或红外测距仪)的光源。一旦在图像内识别出收听者的耳朵，就可使用已知方法来分析图像以确定用户的耳朵的方面，诸如耳朵大小305。在替代实施方案中，系统可简单地提示用户测量其耳廓的大小并将该信息提供给系统。在另一个替代实施方案中，可从系统提供的图片或用户向系统提供的图片识别收听者耳廓大小和/或形状。

在一些实现方式中，如果足够的HRTF数据可用于具有不同测得耳廓配置的不同收听者，那么可凭经验确定与耳廓大小对HRTF分量的影响有关的函数。可使用这种函数来在两个测得HRTF之间进行插值，以生成更好地适合用户解剖的HRTF。在其他实现方式中，如果收听者的耳廓大小落在已经针对其测量HRTF的两个耳廓大小之间，那么使用与两个耳廓大小中的较大耳廓相对应的测得HRTF可能就足够了。

如图10所见，可能需要在生成HRTF时组合不同变量(距离、取向、头部大小、耳廓大小/形状)的效果。作为实例而非作为限制，可使用具有耳间距离分量1003、源距离分量1004、取向分量1005和耳廓大小分量1006、源高度或其任何组合的函数从测得HRTF数据生成任意HRTF。不同测得HRTF的阵列可存储在系统内，并基于用户的属性进行选择。最终，在一些实施方案中，目标将是创建适当的函数，所述函数描述诸如到源的距离、到源的角度、源的高度和头部形状等不同变量如何影响HRTF。根据该函数，将生成将考虑声音重放和定位期间的各种变量的HRTF集。HRTF生成的其他方面在___,____提交的标题为“VIRTUALLOCALIZATION OF SOUND”的共同待决的申请号__/(代理人案卷号SCEA17069US00，其全部内容通过引用并入本文)中进行描述。一旦确定了这种HRTF集，根据本公开的另外的方面，就可使用用户反馈来从所述集创建或选择最佳HRTF。适当的HRTF集描述了不同位置处的各种源的效果，并且对于稍微不同的头部类型集，系统可使用图像捕获单元1001和运动检测控制器来为用户将HRTF集进一步细化为单个HRTF。然后，HRTF将在声音驱动器1007处与源音频信号进行卷积。这可能涉及通过对音频信号执行傅里叶变换并将所得的经变换音频信号乘以HRTF来将时域音频信号转换为频域。随后，进行卷积的音频信号可被转换回时域并用于驱动一个或多个扬声器1008、1009L、1009R，例如一对头戴式耳机。在涉及扬声器的实现方式中，可通过串扰消除函数1010进一步修改来自声音驱动器的信号。

可使用不属于一组头戴式耳机的扬声器对来进行串扰消除。在数学术语中，串扰消除涉及对传递函数的2×2矩阵求逆，其中矩阵的每个元素表示从两个扬声器中的一个传播到收听者两只耳朵中的一者的声音的滤波器模型。如图10所见，用户的左耳的传递函数包括来自左扬声器1009L的声音的传递函数H_LL(z)和来自右扬声器1009R的声音的串扰传递函数H_RL(z)。同样，用户的右耳的传递函数包括来自右扬声器1009R的声音的传递函数H_RR(z)和来自左扬声器1009L的声音的串扰传递函数H_LR(z)。

如果可假设左耳传递函数与右耳传递函数完全对称，那么可简化矩阵求逆，在这种情况下H_LL(z)＝H_RR(z)＝H_S(z)并且H_RL(z)＝H_LR(z)＝H_O(z)。在此类情形下，矩阵求逆变为：

此类情形下的主要约束是

必须稳定。在许多情况下，这在物理上是可实现的。

为了确定传递函数并执行矩阵求逆，需要知道收听者的每只耳朵的位置(距离和方向)。串扰消除滤波器可在测量合适的HRTF之后进行计算，并存储起来以备后用。为捕获HRTF而测量的相同滤波器是将用于计算串扰消除滤波的滤波器。

串扰消除滤波可在与具有HRTF的驱动信号进行HRTF卷积之后和在通过一对扬声器1009L、1009R进行重放之前进行。如果无法使用多于两个扬声器来完成串扰消除，那么将需要某种方法从所有可用扬声器选择要使用的一对扬声器。

反馈驱动的HRTF优化

根据如上所述的本公开的方面，所述系统可能够检测收听者的影响声音定位并将用户的HRTF范围缩小到HRTF集的物理属性。可通过用户反馈进一步提高收听者的体验。这种反馈可能来自系统的初始设置时段，或者可能是贯穿用户与系统交互过程运行的持续改进过程。在一些实现方式中，反馈过程可伪装成游戏的一部分，或者可整合到游戏本身中。

作为实例而非作为限制，反馈驱动的HRTF滤波器优化过程遵循图7所示的一般方法。将声音提示或视觉提示提供给用户701。系统将提示用户关于声音提示或视觉提示采取某种动作的请求702。所述请求可在提示之前、之后或期间。所述请求将从用户获得特定期望响应。作为实例而非作为限制，系统可请求用户移动到声音的位置，或者可请求用户指向声音的方向。在这些实施方案中，声音具有由系统定义的特定方向或位置，并且期望用户的响应在物理上接近该方向。其他实施方案包括请求用户说出声音的位置并使用已知语音识别系统来识别所述位置。

系统可持续监视用户在房间内的位置和/或取向。在提供提示期间或之后，系统可监视用户的响应703。作为实例而非作为限制，系统可使用诸如加速度计等运动检测系统，所述运动检测系统耦接到控制器或图像捕获单元以检测用户或检测用户控制器的位置。有关检测用户位置和/或取向的更多信息可在共同拥有的美国专利号9,682,320(SCEA06016US01)中找到，所述美国专利的内容通过引用并入本文。系统还可监视传声器以确定用户响应。有关语音检测和语音识别的更多信息可在共同拥有的美国专利号8,549,442(SCEA05035US00)中找到。

在已检测到响应之后，系统可基于响应调整HRTF704。作为实例而非作为限制，系统可使HRTF变化以在声源处于模拟距离的情况下更好地模拟收听者的HRTF，和/或在声源与收听者处于特定模拟角度时使HRTF变化以更好地模拟收听者的HRTF。在一些实施方案中，HRTF滤波器可针对声源的模拟高度而更好地模拟收听者的HRTF。

一旦系统已调整HRTF，就可重复所述过程以确保已选择准确的模拟HRTF。当定义数量的用户响应离期望响应处于某个阈值内时，系统可持续监视用户的响应，或者可停止重复所述过程。作为实例而非作为限制，阈值可以是离模拟点的某一距离和/或与期望点所成的某一角度。

图4和图8描绘使用点声源409来细化HRTF的方法。用户404可位于具有声音系统405和图像捕获单元406的房间410中。声音系统405可被配置来播放房间内的点源声音提示409，点源声音提示409中的每一个与用户具有限定的距离和角度。为了针对该模拟距离和角度提供更高的保真度，可将每个点源波形与收听者404的特定HRTF进行卷积。第一波形401用于驱动房间内的声音系统的扬声器。波形401被配置来模拟位于房间内的一定位置处的点声源。波形401被转换为频域并且与用户的所选择HRTF进行卷积。这种特定HRTF使用户能够更好地定位或外在化由声音系统生成的声音的模拟位置。

最初，基于用户的位置和其他用户信息(诸如头部大小和耳朵形状)，系统检测收听者的原始位置并且用从HRTF集选择的HRTF对波形进行卷积，如801处指示。通过诸如耦接到游戏控制器的加速度计、被配置来检测耦接到游戏控制器的一个或多个光源的已知配置的图像捕获单元、耦接到游戏控制器的传声器阵列等装置，系统可检测用户的原始位置。滤波后的波形然后用于驱动声音系统。

系统可提示用户移动到或指向房间内的点声源的明显位置，如802处指示。系统然后可用具有由用户的HRTF滤波器401卷积的特定点源位置的波形来驱动声音系统，如803处指示。系统还可在房间周围移动特定点源位置，并且跟踪用户对移动的响应的准确性。作为实例而非作为限制，系统可在屏幕上向用户提供指令。在替代实施方案中，点声音包括提示。在另一个替代实施方案中，在播放点源声音之前、期间或之后提示用户。

系统监视变化的用户位置和/或取向，如804处指示。系统使用如上所述的运动检测设备406来检测这种变化，以检测用户的原始和新取向和/或位置。另外，用户的取向可包括姿势。系统可具有允许进行姿势检测以检测用户是朝向声音的模拟位置指向还是做出另一种类型的姿势的特征。姿势检测设备可以是手持游戏控制器或被配置来确定用户的肢体的位置的图像捕获单元。如果在超时后用户的位置没有变化，那么系统选择用户的当前位置/取向作为响应。否则在用户已使位置/取向变化后，系统确定用户的新位置和/或取向作为响应。根据本公开的另一个实施方案，系统还可随着声源的移动来跟踪用户的移动的准确性。

一旦确定了用户的响应，系统就将用户的响应与点源409的模拟位置进行比较，如805处指示。所述比较可确定用户的肢体的角度和/或身体位置相对于声源与用户的模拟角度是否处于阈值内。替代地，系统可确定用户是否已经移动到点源声音的模拟位置的阈值距离内。

一旦已在用户的响应与点源声音的模拟位置之间进行了比较，系统就可根据用户的响应来调整HRTF滤波器，如806处指示。作为实例而非作为限制，如果系统确定用户的新位置404不在第一HRTF408的阈值距离内，那么系统可将HRTF滤波器改变为与离模拟位置更远的点源相对应的第二HRTF402。(注：在图4的所描绘实例中，用户尚未响应于声音提示而移动。)替代地，如果系统确定用户已移动通过模拟位置并且新位置不在阈值内，那么系统可将HRTF改变为与更靠近模拟位置的点源相对应的第三HRTF403。一旦新HRTF滤波器和源位置已生成，系统就可重复细化过程，直到用户的位置和取向在阈值内为止，如807处指示。

如上所述，系统可针对模拟点源相对于用户的对应预定位置和取向存储多个预定HRTF。所存储HRTF可用于生成针对点源对用户的任意期望位置和取向进行调整的HRTF。不同HRTF之间的插值可用于更好地模拟每个HRTF的设定距离之间的距离。

在一些实现方式中，角度比较可确定响应是否在模拟点源与用户的原始位置的角度的角度阈值内，如在实例图6的背景下可更好地理解。系统600可存储与用户608的HRTF的不同角度相对应的多个HRTF滤波器。系统600最初播放在用户602的右边具有模拟位置的模拟点源声音。系统使用初始HRTF和扬声器驱动器信号来播放声音。用户601然后可通过转向面对源604的明显位置来对源声音作出响应。在此实例中，用户601没有完全转向面对源，因此可假设用户未正确地感知源的期望位置。运动检测系统406可检测用户的取向，并且系统600确定用户不在源602的期望位置的角度阈值607内。如果用户的响应不在角度阈值607内，那么系统可使用位置检测系统来确定用户的响应角度与朝向点声音603的期望模拟位置的指向之间的差异。系统可采用此差异，并且取决于模拟点源位于响应的哪一侧来生成偏移点源而简单地将此量加到模拟源角的角度或从模拟源角的角度减去。系统然后可选择与最接近所得偏移角608的角度605相对应的HRTF，并且将该滤波器605用于下一点源声音。替代地，系统可使用函数中的差错度来简单地生成新HRTF。在一些实施方案中，两个最接近的HRTF606滤波器之间的插值可用于生成与定制生成的HRTF的角度之间的偏移点源相对应的HRTF。

在确定用户响应与理想响应之间的差错度时，系统可隔离每个变量。例如，系统可首先确定用户的响应角度的差错度，并且然后确定距离差错度，而与用户的取向无关。在角度和方向偏移都被解决之后，系统可再次运行所述方法并且确定响应是否在阈值内。系统可重复过程，直到响应落在阈值内为止。系统还可执行最终测试以确定是否已选择准确的HRTF。作为实例而非作为限制，系统可跨越用户的前方播放平移声音，并提示用户用他们的手精确地跟随声音。

在图5和图7B中描述的替代实施方案中，系统可通过使用平移声音来确定HRTF的角度偏移。最初，系统可通过如上所述的运动检测406设备来检测用户在房间内的取向，如705处指示。系统可提示用户501面对声源或指向声源502，如706处指示。系统然后可针对每个角度707使用不同的HRTF滤波器来在用户周围平移声源。每当声源的角度相对于用户的位置变化时，系统都确定用户取向的变化，如708处指示。一旦检测到用户取向的变化，系统就将用户的最终取向确定为用户的响应。如上所述，系统可确定源声音的模拟角度与用户的响应之间的差错度并且从该差错生成偏移，如709处指示。然后，在使用偏移的模拟源角度来确定HRTF之前，可将偏移加到模拟源的角度或从所述角度减去偏移，如710处指示。根据本公开的方面，系统可最初使用平移声源而非点位置来改进声音系统内的模拟声源的定位。此初始步骤可提高偏移确定的速度和准确性，因为未向用户提供位置信息，并且因此在HRTF确定期间不存在位置信息而使用户迷惑。

如上所述，HRTF的细化可继续，直到用户对平移声音的响应在模拟声源的阈值角度之内为止，如711处指示。

头部响应传递函数滤波

图9描绘用于具有位置效果的三声道声音系统的滤波系统。系统可具有源波形920。源波形920可由许多单独的声道901组成。在此，源波形包括两个不同的声道X₁、X₂。这些源声道信号可各自最初由离散的时间和振幅样本组成。为了执行卷积滤波，可使用诸如离散傅里叶变换(DFT)或离散余弦变换(DFT)等众所周知的变换函数来将这些源声道变换成时不变频域。一旦源声道信号已经被变换成频域，它们就可通过乘法902与具有表示不同期望声音效果的许多不同滤波函数进行卷积。作为实例而非作为限制，一个这样的滤波器可是向用户提供最佳房间脉冲响应的滤波器，在共同拥有的共同待决的申请15/___,___(代理人参考号SCEA17067US00)中对其更详细地进行描述，所述申请的内容通过引用并入本文。在已根据上述方法确定了用户的HRTF之后，可在每个频率下将所述HRTF与源声道相乘卷积903。应注意，每个源声道将具有不同的HRTF滤波器。

在将用户的HRTF与声道信号进行卷积之后，可使用诸如离散傅里叶逆变换(IDFT)和离散余弦逆变换(IDCT)等众所周知的变换函数来将声道变换回时域。以生成滤波的时域声道信号904，y₁、y₂。这些滤波的时域信号然后可用于驱动声音系统内的扬声器。

根据本公开的替代实施方案，可针对用户确定定制的HRTF，如图11和图12中描绘。最初，可针对声音系统确定房间脉冲响应函数，如1201处指示。可通过将传声器阵列放置在房间中间并通过扬声器播放已知波形来确定这种房间脉冲响应。有关确定房间脉冲响应的更多信息可在共同拥有的共同待决的申请15/___,___(SCEA17067US00)中找到。

一旦确定了房间脉冲响应，就可利用两个传声器来生成用户的HRTF，用户的每一只耳朵1101耦接有一个传声器。声音系统可用宽带信号驱动用于单个声道的扬声器1102，如1202处指示。系统可提示用户移动到离扬声器若干段距离并面向某些方向，如1203处指示。系统可运用运动检测设备406监视用户的位置和/或，如上所述。为了创建最佳HRTF，系统可在方法期间向用户提供有关正确位置和取向的反馈信息。系统可暂停数据收集，直到已确定用户位于正确的位置和/或取向为止。扬声器1102将发出由两个传声器1101拾取的宽带声音信号。然后，将生成该位置处的用户的HRTF1204，如图13所见。两个传声器然后将声波转化为电信号，通过系统将所述电信号转换为取样的时域信号。通过使用诸如DFT或DCT等变换，然后可将取样的时域信号转换为时不变频域信号，如1301处指示。然后可通过每个频率下的复数除法从经变换房间脉冲响应对频域信号去卷积，如1302处指示。为了生成HRTF，然后可通过复数除法将信号从原始声波形去卷积，如1303处指示。一旦确定用户的HRTF与声源的距离和角度不同，就可将所述HRTF存储在系统的存储器中或上载到云存储系统。系统可检查它是否已经为其应用生成了足够的HRTF，如1205处指示。如果系统未收集到足够的HRTF样本，那么它将重复1207。如果系统已经生成足够的HRTF样本，它将存储所述HRTF样本以供后用，如上所述1206。生成的HRTF可用于更好地定位根据上述方法针对用户单独进行优化的声音。

转到图14，示出根据本公开的方面的被配置来定位声音的实例系统1400的框图。

根据本公开的方面，实例系统1400可包括耦接到声音系统输出端1430以便处理和/或输出音频信号的计算组件。作为实例而非作为限制，在一些实现方式中，声音系统包括立体声耳机，在其他实现方式中，声音系统包括多声道头戴式耳机。此外，在一些实现方式中，系统1400可以是嵌入式系统、移动电话、个人计算机、平板计算机、便携式游戏设备、工作站、游戏控制台、便携式耳机等的部分。

根据本公开的方面，系统1400可被配置来处理音频信号以对脉冲响应滤波器进行卷积。系统1400可包括一个或多个处理器单元1401，所述处理器单元可根据公知架构(诸如例如单核、双核、四核、多核、处理器-协处理器等)来配置。系统1400还可包括一个或多个存储器单元1402(例如，RAM、DRAM、ROM等)。

处理器单元1401可执行一个或多个程序，所述一个或多个程序的各部分可存储在存储器1402中，并且处理器1401可操作地耦接到存储器1402(例如，通过经由数据总线1420访问存储器)。程序可被配置来处理源音频信号，例如用于将信号转换为环绕声信号以供以后的用户使用，或者输出到扬声器1430。作为实例而非作为限制，程序可包括程序1404，所述程序的执行可使系统1400执行具有与以上实例方法相同的一个或多个特征的方法，诸如图7A的方法700A或图7B的方法700B或图8的方法800和/或图12的方法1200。作为实例而非作为限制，程序1404可包括处理器可执行指令，所述处理器可执行指令使系统1400用表示一个或多个脉冲响应的一个或多个滤波器对源信号1406的一个或多个声道进行滤波，以虚拟化输出音频信号中的声源的位置。存储器1402还可包含可包括用于驱动扬声器的源信号波形、头部相关传递函数信号、房间脉冲响应信号和HRTF滤波器信号的信号数据1406。

系统1400还可包括众所周知的支持电路1410，诸如输入/输出(I/O)电路1411、电源(P/S)1412、时钟(CLK)1413和高速缓存1414，它们可例如通过总线1420与系统的其他部件进行通信。系统1400还可包括大容量存储设备1415(诸如磁盘驱动器、CD-ROM驱动器、磁带驱动器、快闪存储器等)，并且大容量存储设备1415可存储程序和/或数据。系统1400还可任选地包括用于促进系统1000与用户之间的交互的用户接口1418。用户接口1416可包括键盘、鼠标、光笔、游戏控制垫、触摸接口或其他设备。系统还可包括显示器1416以向用户提供视觉信息。系统1400还可执行一个或多个通用计算机应用程序(未示出)，诸如视频游戏，所述通用计算机应用程序可结合如由卷积程序1404计算的虚拟环绕声的方面。另外，任意数量的运动检测设备耦接到I/O端口，所述运动检测诸如图像捕获单元1431、运动检测控制器1432和传声器阵列1433。图像捕获单元可以是摄像机、静态照相机、红外照相机等。运动检测控制器可使用本领域中已知的任何类型的运动控制，诸如耦接到控制器的加速度计、耦接到控制器的传声器阵列或耦接到控制器的移位传感器。运动检测控制器可与图像捕获单元串联工作，来为运动检测过程提供更大的分辨率。传声器阵列1433可耦接到用户的耳朵，并且用于执行图12的方法1200。阵列中的传声器可术语任何类型，但优选地是全向传声器。

系统1400可包括网络接口1421，所述网络接口被配置来实现使用Wi-Fi、以太网端口或其他通信方法。网络接口1421可并入合适的硬件、软件、固件或其某一组合，以促进通过电信网络进行通信。网络接口1421可被配置来通过局域网和诸如互联网等广域网实现有线或无线通信。系统1400可通过网络通过一个或多个数据包发送和接收数据和/或对文件的请求。

应易于了解，图14中描绘的组件的许多变型是可能的，并且这些组件中的各种组件可以硬件、软件、固件或其某一组合实现。例如，包含在存储器1402中并且由处理器1401执行的卷积程序的一些特征或所有特征可通过被配置来执行本文描述的实例处理技术的一些或所有方面的经过适当配置的硬件来实现，诸如一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)。

结论

虽然以上为本发明的优选实施方案的完整描述，但是使用各种替代、修改和等效物是可能的。因此，本发明的范围不应参考以上描述确定，而是应替代地参考随附权利要求以及其整个范围的等效物确定。本文所述的任何特征(不论是否优选)可与本文所述的任何其他特征(不论是否优选)组合。在所附权利要求书中，除非另外明确陈述，否则不定冠词“一个(a/an)”指跟随冠词的一个或多个项目的数量。随附权利要求书不应被理解为包括装置加功能限制，除非这种限制在给定权利要求中使用短语“用于……的装置”来明确陈述。

Claims (18)

1.一种用于确定最佳头部相关传递函数的方法，所述方法包括：

a)确定用户的位置以及为所述用户定义的头部相关传递函数(HRTF)，其中向所述用户提供与不同HRTF相关联的头部的图像，并且提示用户选择与自己的头部紧密匹配的头部的图像；

b)用波形驱动扬声器，所述波形表示具有期望用户响应的位置特定提示，其中所述位置特定提示与所述用户的所确定位置的所定义HRTF相关联，其中所述位置特定提示是平移声源，并且所述期望用户响应是所述用户朝向所述平移声源的虚拟位置的取向变化；

c)检测对位置特定提示的用户响应；

d)与位置特定提示相比分析用户响应；并且

e)用来自所述用户响应与所述位置特定提示的比较的信息更新所述所定义HRTF。

2.如权利要求1所述的方法，其还包括：重复步骤a)至e)，直到所述检测到的用户响应与所述期望用户响应匹配为止。

3.如权利要求1所述的方法，其中a)还包括：确定所述用户的耳间距离。

4.如权利要求3所述的方法，其中至少基于所述用户的所确定耳间距离来选择b)的所述所定义头部相关传递函数。

5.如权利要求3所述的方法，其中根据用户输入确定所述耳间距离。

6.如权利要求3所述的方法，其中根据由图像捕获单元捕获的所述用户的面部的图像确定所述耳间距离。

7.如权利要求3所述的方法，其中根据所述用户的照片确定所述耳间距离。

8.如权利要求1所述的方法，其中a)还包括：确定所述用户的耳朵形状和/或大小。

9.如权利要求8所述的方法，其中根据由图像捕获单元捕获的所述用户的耳朵的图像确定所述耳朵形状和/或大小。

10.如权利要求1所述的方法，其中所述用户的所述取向变化包括指向所述声源的所述虚拟位置。

11.如权利要求1所述的方法，其中在a)处确定用户的位置还包括：当所述用户在所述用户的耳朵中佩戴传声器以跟踪所述用户的移动和头部取向时，从单个扬声器播放白噪声。

12.一种在其上包含指令的非暂时性计算机可读介质，所述指令在由处理器执行时使所述处理器执行用于确定最佳头部相关传递函数的方法，所述方法包括：

a)确定用户的位置以及为所述用户定义的头部相关传递函数(HRTF)，其中向所述用户提供与不同HRTF相关联的头部的图像，并且提示用户选择与自己的头部紧密匹配的头部的图像；

b)播放具有期望用户响应的位置特定提示，其中所述位置特定提示与所述用户的所确定位置的所定义HRTF相关联，其中所述位置特定提示是平移声源，并且所述期望用户响应是所述用户朝向所述平移声源的虚拟位置的取向变化；

c)检测对位置特定提示的用户响应；

d)与位置特定提示相比分析用户响应；并且

e)用来自所述用户响应与所述位置特定提示的比较的信息更新所述所定义HRTF。

13.如权利要求12所述的非暂时性计算机可读介质，其还包括：重复步骤a)至e)，直到所述检测到的用户响应与所述期望用户响应匹配为止。

14.如权利要求12所述的非暂时性计算机可读介质，其中a)还包括：确定所述用户的耳间距离。

15.如权利要求14所述的非暂时性计算机可读介质，其中至少基于所述用户的所确定耳间距离来选择b)的所述所定义头部相关传递函数。

16.如权利要求12所述的非暂时性计算机可读介质，其中a)还包括：确定所述用户的耳朵形状和/或大小。

17.如权利要求16所述的非暂时性计算机可读介质，其中至少基于所述用户的所确定耳朵形状和/或大小来选择b)的所述所定义头部相关传递函数。

18.一种系统，其包括：

处理器；

存储器，所述存储器耦接到所述处理器，所述存储器在其中包含可执行指令，所述可执行指令在被执行时被配置来使所述处理器执行方法，所述方法包括：

a)确定用户的位置以及为所述用户定义的头部相关传递函数(HRTF)，其中向所述用户提供与不同HRTF相关联的头部的图像，并且提示用户选择与自己的头部紧密匹配的头部的图像；

b)播放具有期望用户响应的位置特定提示，其中所述位置特定提示与所述用户的所确定位置的所定义HRTF相关联，其中所述位置特定提示是平移声源，并且所述期望用户响应是所述用户朝向所述平移声源的虚拟位置的取向变化；

c)检测对位置特定提示的用户响应；

d)与位置特定提示相比分析用户响应；并且

e)用来自所述用户响应与所述位置特定提示的比较的信息更新所述所定义HRTF。

Images