CN112073891B - 用于生成头部相关传递函数的系统和方法 - Google Patents

Abstract

本发明提出了用于生成头部相关传递函数的系统和方法。根据本发明的一个示例性方面，提出了一种方法，包括：计算针对用户的头部相关传递函数，该计算至少部分地基于至少包括视频材料和至少一个补充图像的采集数据，该至少一个补充图像包括叠覆在用户的至少一个生物细节上的透明测量装置的图像；以及传输上述头部相关传递函数。

Description

用于生成头部相关传递函数的系统和方法

技术领域

本发明提出了一种方法，包括：借由第一计算机程序应用来计算用户的头部相关传递函数，该计算至少部分地基于至少包括视频材料和至少一个补充图像的采集数据，该至少一个补充图像包括叠覆在用户的至少一个生物细节上的透明测量装置的图像；以及传输所述头部相关传递函数，尤其在音频工程应用领域中。

更具体地，本发明提出了一种用于生成个人的头部相关传递函数的系统和方法。本发明还包括计算机程序应用和套件，该套件包括能基于用户的生物数据以及可能会影响传递函数的其他数据来获得头部相关传递函数的测量装置。另外，本发明还提供了能执行头部相关传递函数而无需用户校准的音频硬件。

背景技术

音频监听的目的是以中立的方式来评价音频表现，以确保能良好地传递到其他再现系统。与头部运动相关的头部形状和外耳形状是我们听觉系统的主要定位机构，它使我们能够出色地定位声源，并使扬声器监听能正常工作。耳机会破坏与我们一生中所获得的这些自然机构的链接。因此，贴耳式耳机和入耳式耳机并不是监听的最佳选择。普通耳机很难设定水平、调节声音位置，以及均衡重要的声源，例如人的语音或调性乐器，这是因为耳机在中音范围内没有控制得好的频率响应，而且耳机之间的声音特征差异很大。人与人之间的个体差异使此事变得更加复杂。即使耳机的设定相同，你在耳机上听到的声音也可能会与其他人听到的声音非常不同。这些特征与良好的室内监听扬声器系统相比完全不同。使用优质的扬声器监听系统来完成的工作可以精确地转移到其他扬声器，对于所有听者来说声音都相同，并且在耳机再现方面也表现良好。

为了能使用耳机来进行监听，就需要新的方案。本发明旨在提供一种可靠的路径，以能够使用耳机进行立体声、环绕声和身临其境的音频的监听。在本发明的实施例中，对于用户的头部、外耳和上身如何影响和着色从任何给定方向到达的音频进行了计算。它的效果称为头部相关传递函数(HRTF)。本发明的至少一些实施例以SOFA文件格式提供了用户唯一的个人HRTF。SOFA(声音空间有向型格式)文件格式已由音频工程协会(AES)标准化，并被音频软件广泛接受和支持。

存在一些提供HRTF的方法，这些方法使用的不是从相关人员那里唯一测量的数据。这种数据可能来自人体模型或仿真人头。通常，这些方案不能产生最佳质量，即，所生成的HRTF不能与用户的身体结构很好地匹配。应当理解的是，质量差的HRTF(例如，包含声音着色和定位不准确以及定位错误的HRTF)对用户是没有用的，并且实际上可能会导致较低的保真度。

数据库中也有最初是从完全不同的人那里测得的数据。先前的方法包括用于在这种数据库中选择最佳匹配的装置。这种选择通常基于对人的一组尺寸的测量，例如头部尺寸和耳朵尺寸，这通常被称为人体测量学。可以将目标人的人体测量数据与数据库中其他人的数据进行匹配，以期找到最佳匹配。假定这将导致选择最有可能为给定人员创建正确的音频表现的HRTF。令人遗憾的是，这种方法实际上并没有显示出很好的性能。可以发现通常的问题在于不期望的着色、定位错误以及不能形成良好的外化，但这种发现通常无法导致可靠的渲染，因为仍然存在明显的个体差异，且目前还没有完善的选择方法。

本发明旨在解决上述方案所存在的问题和缺点，并提供本文所述的有益效果。

发明内容

本发明由独立权利要求中的特征所限定。在从属权利要求中限定了一些具体实施例。

根据本发明的第一方面，提出了一种方法，包括：通过第一计算机程序应用来计算针对用户的头部相关传递函数，该计算至少部分地基于至少包括视频材料和至少一个补充图像的采集数据，该至少一个补充图像包括叠覆在用户的至少一个生物细节上的透明测量装置的图像；以及传输上述头部相关传递函数。

根据本发明的第二方面，提出了一种设备，包括至少一个处理核，包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码配置为通过所述至少一个处理核而导致所述设备至少能：计算针对用户的头部相关传递函数，所述计算至少部分地基于至少包括视频材料和至少一个补充图像的采集数据，所述至少一个补充图像包括叠覆在用户的至少一个生物细节上的透明测量装置的图像；以及传输所述头部相关传递函数。

第一方面和/或第二方面的各种实施例可包括来自以下列表中的至少一个特征：

采集与用户相关的数据；

与用户相关的数据至少包括以下内容中的至少一个：

视频材料，

至少一个补充图像，

听觉测量数据，

用户元数据；

从用户处采集的至少一个补充图像包括叠覆在用户的至少一个生物细节上的透明测量装置的图像；

通过至少一个计算机程序应用来传输与用户相关的数据；

通过至少一个计算机程序应用来接收与用户相关的数据；

使用计算机程序应用，计算针对用户的至少一个头部相关传递函数，该计算至少部分地基于上述采集数据；

将至少一个头部相关传递函数传输给至少一个计算机程序应用；

将头部相关传递函数载入到至少一个音频装置中；

将包含头部相关传递函数的音频装置提供给头部相关传递函数所基于的用户；

耳机包括头部相关传递函数；

使用独立装置来采集与用户相关的数据；

在数据采集过程中，例如使用计算机程序应用来提供情景指令；

数据包括与用户相关的元数据；

将元数据相对于视频材料和补充图像独立传输到计算机程序应用；

数据包括用户的左耳的至少一个补充图像和用户的右耳的至少一个补充图像；

在时域中，通过求解至少一个波动方程来计算头部相关传递函数；

在频域中，通过求解至少一个亥姆霍兹方程来计算头部相关传递函数。

附图说明

图1显示了根据本发明的至少某些实施例的用户和用于发出被用户的至少一只耳朵所听到的声音的声源的一个实施例的示意图；

图2显示了根据本发明的至少某些实施例的一种示例性的数据采集方法的示意图，该方法包括获取用户的视觉再现；

图3显示了根据本发明的至少某些实施例的一种示例性的数据采集方法的示意图，该方法包括利用独立装置来获取用户的视觉再现；

图4显示了根据本发明的至少某些实施例的一种示例性的数据采集方法的示意图，该方法用于通过独立装置来获取用户的视觉再现；

图5显示了根据本发明的至少某些实施例的一种示例性的能用于获取用户的生物细节的测量装置；

图6显示了根据本发明的至少某些实施例的一种示例性的能用于获取用户的生物细节的测量装置；

图7显示了根据本发明的至少某些实施例的用户耳朵与音频通过与用户生物部位相关的不同方式交互的示意图；

图8显示了根据本发明的至少某些实施例的用户耳朵与音频通过与用户生物部位相关的不同方式交互的示意图；

图9显示了根据本发明的至少某些实施例的一种示例性方法的流程图；

图10显示了根据本发明的至少某些实施例的一种示例性方法的流程图。

具体实施方式

在本发明中，提出了一种用于生成头部相关传递函数的系统和方法。本发明还包括计算机程序应用和套件，该套件包括能至少基于用户的头部、外耳、躯干上部的确切形状(已知会影响HRTF)的信息以及可能会影响传递函数的其他数据来获得目标用户的头部相关传递函数的测量装置。另外，本发明还提出了能执行头部相关传递函数而无需用户校准的音频硬件。

头部相关传递函数(HRTF)是分别针对每只耳朵的过滤器，其中在水平面(方位角)和垂直面(仰角)上针对每个到达方向具有不同的值，并结合了所有频谱和时域效果。HRTF描述了从给定方向接近耳朵的声音所产生的声音的所有变化。为了完全理解声音的定向效果，需要针对包围听者头部的球面上的所有到达方向的大量的HRTF。当HRTF信息在时域中表示时，结果是头部相关脉冲响应(HRIR)。

图1显示了具有两只耳朵(即左耳12和右耳11)的用户10。两只耳朵能听到声源200所发出的声音，左耳能听到声音202，右耳能听到声音201。

声音空间有向性格式(SOFA)是用于存储多个HRTF的国际标准化文件格式。在本发明中，输出SOFA文件例如可以包括在音频信号的836个不同的到达方向上得到的两只耳朵的HRIR数据。HRIR脉冲响应的长度为1024次采样，并根据用户偏好而使用48kHz、44.1kHz或96kHz的采样率。文件中的方位角分辨率取决于仰角，在表1中给出了方位角分辨率。最高的方位角分辨率处于人类听觉系统也具有最高的角分辨率的小仰角上。

表1

仰角	方位角分辨率	细节
			±90°	360°	方向向上和方向向下
±80°	30°
			±70°	15°
±60°	10°
			±50°	8°
±40°	6°
			±30°	6°
±20°	5°
			±10°	5°
0°	5°	在用户前面的耳朵的高度

在本发明的至少某些实施例中，提出了一种系统，该系统能测量、计算个人化的头部相关传递函数，并将个人化的头部相关传递函数传输给至少一个终端用户。这种系统可以至少包括至少一个第一计算机程序应用，该第一计算机程序应用包括以下功能：基于用户所提供的数据来计算和获得头部相关传递函数，将该头部相关传递函数打包到至少一个所期望的文件格式中，以及将上述文件格式传输给用户。该系统还可以包括第二计算机程序应用，该第二计算机程序应用包括帮助用户进行测量和将测量结果发送到第一计算机程序应用的功能。然后，用户可以利用第二计算机程序应用而安全地获得文件格式，或者在一个替代实施例中，可以使用单独的第三计算机程序应用。

HRTF可用于任意形式的音频设备，例如：头戴式耳机、耳机、扬声器、低音喇叭、骨传导音频装置、助听器、PA系统、放大器、前置放大器、监视器、电视、移动电话、平板电脑、智能手表。

根据本发明的至少某些实施例，终端用户(即，生成头部相关传递函数的人)的细节需要材料。在本文中，该材料可称为用户数据、用户材料或其他这样的用语。例如，可以通过使用第一计算机程序应用、可选地结合包括第二计算机程序应用的计算装置的操作系统的元件来获得这种材料。例如，第二计算机程序应用可以包括至少一个移动电话应用。

所需的用户材料可以包括静止图像和/或视频，即图像序列。另外，用户数据可包括音频，例如用于处理图像的测试信号或定时信号。图像或音频数据可以作为视频的一部分，或单独地记录。在一个示例性实施例中，图像材料优选为至少720×920像素，更优选为1920×1080像素。图像材料优选地包括用户生物部位的视觉再现，包括以下部分中至少一些：头部、肩膀、躯干、颈部、面部、耳朵、鼻子。对于使用者的耳朵来说，外耳生物部位很重要，包括耳廓和耳道的形状和尺寸。用户所感知到的声音会受到以下生物数据(生物细节)中的至少一些的影响：耳朵形状、耳朵尺寸、头部形状、头部尺寸、肩膀尺寸、肩膀形状、口腔和鼻腔的尺寸和形状，以及前述身体部位与其他生物细节之间的距离。因此，有利的是得到用户的躯干和肩膀以及头部的视觉记录。在至少一个示例性实施例中，图像材料包括用户张开嘴的视觉再现，以获得与用户的牙齿状况有关的信息，例如，牙齿是否缺失。这种信息可用于在计算阶段中调节头部相关传递函数，以获得更准确的模型。此外，得到用户头部的每一侧(包括耳朵)的图像是有益的，因为用户可能遭受了创伤而导致每个头部侧面的生物细节不同。

图2示出了根据本发明的至少某些实施例的经受视频采集的用户10。用户10的头部16包括：耳朵11和12、嘴15。用户10还包括颈部18、肩膀13和14。用户生物要素11、12、13、14、15和16由记录装置300所记录。记录装置300包括至少一个视频采集器件，例如摄像机，该摄像机具有由线303示出的视场。因此，采集并另外示出了用户的视觉再现301。视觉再现301有利地包括用于HRTF生成过程的所有用户生物要素11、12、13、14、15、16、18。根据本发明，该实施例和可使用至少一种不同的数据获取方法的其他实施例包括采集用户的视觉再现301。

图3示出了根据本发明的至少某些实施例的经受视频采集的用户10。在该附图中，视频采集由独立装置400执行，其在这里显示为空中无人机。从附图中可以看出，视频采集是从用户的侧向进行的。独立装置4遵循包含路径404和405的路径。综合来看，路径404和405可以描述圆形、椭圆形或其他几何形状。因此，独立装置在用户10周围盘旋，同时有益地定向为使得摄像机视场403指向用户。在进行盘旋的同时，装置400对用户10进行连续记录，因此装置400所采集的视频将包括从用户的不同侧面看去的具有用户生物部位的视觉再现的视频帧。例如，可以在1000个视频帧中显示用户的左耳11，其中前200个帧从面部方向显示该耳朵的视图，并逐渐过渡到耳朵的侧面视图(直视图)，侧面视图可以包括帧201-800，之后其余的帧从后方显示耳朵。这些帧可用于特定细节，例如耳朵和肩膀细节，以及用于确定整体尺寸(即，用户的相应尺寸)，例如从耳朵到肩膀的距离。

在另一个示例性实施例中，装置路径可以具有高度变化，且装置可以越过用户的头部以从升高的角度(例如在头部的正上方)获得用户生物部位的摄影材料。在另一个示例性实施例中，在使用独立装置进行材料采集时，可以向用户提供本文所公开的指令。在另一个示例性实施例中，独立装置可以首先指示用户将测量装置放置在他们的耳朵上，然后调整位置以采集补充图像。根据本发明的至少某些实施例，路径404和405包含在预定方向上(例如每90°或每60°)的停留，以降低运动模糊对所采集图像的影响。

图4显示了用户正受到由在路径404和405上行进以采集由视场限制403所限定的图像的独立装置400所进行的视频采集。这些路径与用户成一定角度，从而允许装置采集用户头部生物部位的更多重要细节。在一个示例性实施例中，装置所采取的路径可类似于双螺旋，即，从至少两个方向采集用户的所有侧面，这能为HRTF计算提供更多的几何数据。

第一计算机程序可包括显示、传输或发出视觉、听觉、文本或触觉指令，以助于采集过程。指令有利地作为例如根据当前用户情况的情景指令而提供。指令的情景可以由第一计算机程序应用或第二计算机程序应用基于所收集的数据、用户位置、收集装置的方向或运动而导出。例如，如果用户数据的照明不足，则可以通过警告音将其指示给终端用户。在至少一个示例性实施例中，情景指令的提供由至少一个第一计算机程序应用基于从第二计算机程序应用传递到第一计算机程序应用的数据来确定。此外，第一计算机程序或第二计算机程序可以包括用户数据的分析功能，以执行用户数据的初始健全性检查，以避免不必要的数据传输。另外，第一计算机程序或第二计算机程序还可包括加密和压缩功能，分别用于保护用户资料，以及减少要传输的数据的量。

第二计算机程序可包括感测计算装置的方向和运动，以及将所述方向和/或运动信息与图像材料一起存储，以用于生成头部相关传递函数。可以利用图像稳定。在一个示例性实施例中，使用诸如无人机之类的独立飞行装置来采集用户数据。可以将无人机路径预编程到第二计算机程序中，并且响应于如上文所述的健全性检查，可以由第二计算机程序指示无人机来重新采集某些数据，例如已经确定为低质量的数据。

为了提高头部相关传递函数的准确性，测量过程可以使用特定的测量装置。测量装置可以包括诸如以下工具中至少一个的测量工具：公制长度标尺、预定图案、反射部分、诸如LED之类的部件、诸如条形码和QR码之类的视觉存储信息。测量装置可以包括诸如以下辅助件中至少一个的定位辅助件：钩、引导件、固定件、夹具、带子、粘合剂。在一个示例性实施例中，测量装置包括以至少一种机器可读格式和至少一种人类可读格式存储的信息，从而使得人类不必向机器解释数据，和/或反之亦然。机器可读数据还可以人类易于理解的格式(例如以文本格式)存储，其中，本文所述的计算机程序应用可由此而执行光学字符识别(OCR)或导致光学字符识别(OCR)被执行，以便读取数据。在一个示例性实施例中，至少一个测量装置可以是透明的，即包括光学透明材料。这是有利的，因为可以将测量装置放在用户的身体部位上，并且所得到的图像将会显示叠覆在用户的身体部位上的测量装置。在另一示例性实施例中，可以在数据获取期间由第一计算机程序应用或第二计算机程序应用来分析测量装置的位置，并且可以通过情景指令(例如，通过音频指令)将任意需要的位置校正发送给用户，这是因为用户可能会在握持测量装置时全神贯注。

图5示出了根据本发明的至少某些实施例的测量装置的使用。在获取用户耳朵12的图像时，测量装置90显示为叠覆在耳朵12上。测量装置90包括机器可读标尺91。通过使用将标尺当做参考特征的基于像素的计算，使用这种透明的测量装置有益于方便地确定用户的生物部位特征的尺寸，例如耳廓尺寸。

图6示出了叠覆在用户耳朵12上的另一种透明测量装置95。测量装置95以及本文所述的其他测量装置可由塑料材料制成，例如ABS或聚乙烯。测量装置95包括机器可读标尺96以及显示为条形码的识别机构97。标尺96和识别机构97的位置和方向允许对用户生物部位进行快速分析。可以将测量装置95轻轻压在用户耳朵12上，以确保没有透视效果妨碍数据收集。

在一个示例性实施例中，第二计算机程序和测量装置设置为套件。该套件可包括至少一个透明测量装置。在另一个示例性实施例中，该套件可以包括以下装置中至少一个：照明装置、传导测量装置、麦克风、耳机、不透光的测量装置，例如用作为背景。根据本发明的至少某些测量装置可构造为暂时性附接到用户的至少一个身体部位上。至少某些测量装置可以包括衣物，例如帽子、头带、衬衫。设置于套件内的至少某些装置可以有利地构造为接收HRTF，例如基于用户测量结果而生成的HRTF。在至少一个示例性实施例中，该套件可以包括存取码，其允许用户将数据传输到第一计算机程序应用。

在本发明的至少某些实施例中，还从用户处收集除了上述图像和音频数据之外的数据。在本发明的上下文中称为元数据的这种数据可以包括用户的身份，即以下内容中至少一个：用户姓名、用户别名、用户的生物识别(例如指纹)、用户年龄、用户的生物学性别。上述数据还可以包括与用户有关的地理数据，该地理数据包括以下内容中至少一个：用户位置、用户位置处的大气压力(由用户手动测量、获取或输入)、用户位置处的湿度、用户位置处的温度。这种数据有益于生成头部相关传递函数，因为用户所体验的音频会受到诸如年龄和骨骼传导性之类的生物因素以及诸如湿度之类的位置因素的影响。元数据可以收集为图像数据的一部分，例如，用户可以将数据发送到视频的音频轨道上。元数据可以至少部分地由包括使用传感器数据的第二计算机程序应用的装置来收集，或者在测量事件之前或之后由来源于一个或多个数据库和/或计算机系统的第一计算机程序或第二计算机程序从其他来源处获得，在至少某些实施例中，上述计算机系统不包括第二计算机程序应用和/或第一计算机程序应用。

图7示出了声音到达用户耳朵12的效果。声音202b直接到达用户的耳道内，而声音202a由用户耳朵的表面反射，更准确地说是从用户的外耳处反射。在附图所包含的频率图中显示了由用户体验到的音频的相应效果。

图8示出了另一种情况，其中声音202c和202d从耳朵的上方到达。声音202c直接到达用户的耳道内，而声音202d由耳朵的表面反射到耳道内。在附图所包含的频率图中显示了由用户体验到的音频的相应效果。图7和图8所示的情况是示例性的，典型的模拟包括可叠加以获得结果的数十到数百个这种模拟。本文中针对图7和图8所描述的情况可以用作用于获得HRTF的计算的一部分，或者作为替代或附加，用于在HRTF生成之后校正HRTF的至少某些部分(例如，频率范围)。图7和图8所示的情况在本文中也显示了用户生物部位对音频进入到耳朵中的物理传输的影响，并强调了这种现象对所感知的音频的影响，从而强调了本文中所提出的对高精度的HRTF的需求。

在根据本发明的至少某些实施例中，至少部分地使用第二计算机程序应用来测试用户听觉感受性。这种测试可以包括针对测试空气传导音频以及测试骨传导音频的成分。测试可以包括指示至少一个第一装置发出振动(即，第一刺激)，以及手动或自动地记录针对该至少一个第一刺激的至少一个第一用户响应。在本发明的至少某些实施例中，包括第二计算机程序并可选地包括测量装置的测量设备可以位于与用户不同的位置。在那种情况下，用户可以具有第一计算机程序的本地实例，该实例可以直接地或响应于用户的测量而指示用户应当去测量设备的位置以获得高质量的测量。

根据本发明，在频域中，根据所测量的用户生物部位通过模拟用户的耳鼓膜上的声压和/或通过使用频域声场建模来进行头部相关传递函数的计算。模拟的输入值可以是远场声音，例如，以球形构造位于距对象头部2米处的声源。获得头部相关传递函数可以包括从每个声源到对象耳朵的相关联声场的计算。通过在时域中求解至少一个波动方程和/或在频域中求解至少一个亥姆霍兹方程，可以在对象的几何形状中完成声场计算。波动方程和/或亥姆霍兹方程的数值解可以通过以下方法之一获得：有限元方法(FEM)、有限差分/时域有限差分法(FD/FDTD)或边界元方法(BEM)，或者它们的变型和扩展，或本文记载的任何其他方法。如果在时域中求解和/或计算声场，则在对象耳朵中产生的压力场直接为所需的脉冲响应。如果在频域中求解和/或计算声场，则通过诸如傅里叶逆变换之类的计算来获得所需的脉冲响应。另外，该计算可使用以下内容至少某一些：扫频正弦波或最大长度序列。可以至少针对表1中列出的值和所需的插值来计算传递函数，或者针对大量方向(例如836个方向)来计算传递函数。

根据本发明的至少某些实施例，在计算之前，对用户生物部位进行建模。上述建模包括从所提供的材料(可选地包括用户元数据)中提取用户生物几何形状，以及对该几何形状进行检查，以生成3D网格并确定耳道入口点。

HRTF的生成还可通过使用一个或多个权向量对输入变量进行加权来进行调整。例如，耳廓长度的权重可以大于从用户的耳朵到肩膀的距离的权重。来自用户的元数据和/或附加数据可以根据输入数据质量、HRTF质量和本文的其他地方所公开的确定标准而或多或少地赋予权重。

根据本发明的至少某些实施例，在计算或生成头部相关传递函数之后，可以计算至少一个质量度量。该质量度量提供传递函数的估计准确性的信息。可以通过将所获得的传递函数与基于以下内容中至少一个所获得的传递函数进行比较来计算质量得分：人口统计值、同期群组数据、模拟头部数据、仿真头部数据。质量得分可以百分比形式显示。

根据本发明的至少某些实施例，可以在上文所述的使用用户元数据的计算之后计算或调整头部相关传递函数。例如，用户相对于海平面的高度和/或用户所在位置的大气压力可能会影响音频如何传输到用户的耳道，因此将该因素纳入考虑将会得到更准确的传输函数。在另一实施例中，在某些情况下，用户在体验音频时可能必须要穿戴头盔或其他头饰。这种设备还会影响通过颅骨以及空气的声音传导，因此对于模型来说，考虑设备的几何形状和材料特性是有益的。在另一实施例中，如果用户使用或计划使用某些音频设备(例如，耳机)，则与本文中的其他实施例类似，可以对耳机的设计进行考虑，包括材料以及机械结构。

因此，与这种情况(与用户的元数据相关)及本文中的例子相关的数据可在系统中例如存储为加权值表或多维矩阵。至少一个第一计算机程序应用或第二计算机程序应用可包括使用或施加这些值的预编程指令，或者如果传递函数的质量得分未能满足某个阈值，例如50％，则该应用可以使用这些值。

在一个有利的实施例中，将预加载到至少一个音频收听装置(例如，耳机或扬声器)中的头部相关传递函数提供给用户。这种硬件可包括以下结构中至少一个：驱动器元件、包括至少部分地基于头部相关传递函数来执行某些对音频信号的调整的编程指令的预处理器、诸如电缆插孔之类的音频输入机构、诸如蓝牙适配器之类的无线通信机构。因此，在收到硬件后，就已经对硬件进行了定制，以考虑用户的特定生物部位和情况，从而节省了用户的宝贵时间。硬件还可以构造为在激活或用户请求时下载头部相关传递函数。

在图9所示的第一方法中，根据本发明的至少某些实施例，对听者进行视频采集。在连续镜头围绕听者时，该视频包括听者的头部和上躯干(肩膀)，以在所有角度中显示这些细节。此后，计算过程对视频进行分析，并通过查看视频中不同图像之间发生的差异使用摄影测量法来建立听者的三维模型。然后，使用该模型来计算在冲击声音从不同方向到达两只耳朵时的冲击声音体验。最后，可使用该信息在超过800个不同的音频到达方向上获得HRTF过滤器。

在第一方法的第一步骤中，从用户的前方开始向后盘旋，从所有角度为用户拍摄视频。此步骤的示例如图3所示。在视频拍摄过程中，用户处于静止状态，并且摄像机由另一人、无人机，或者龙门架或支撑系统来移动。在视频拍摄过程中，摄像机的移动会在摄像机直接面对用户耳朵的位置以及在用户头部的后方停止。这有益于确保在所获得的这些关键生物部位细节的图像中不存在运动模糊。在某些实施例中，在视频拍摄过程中，用户的嘴张开，以便从口腔中在视觉上获得牙齿信息。在根据本发明的某些实施例中，视频拍摄过程可以重复几次。在视频拍摄过程中，可以采集其他传感器数据，例如音频数据、回声数据、加速计数据、照明数据。

在第一方法的第二步骤中，拍摄用户的补充材料或补充图像(静态照片)。补充图像包括用户生物部位的细节，以及根据本文前述的装置的测量装置。此后，第一计算机程序应用使用该补充图像，以缩放视频材料的细节，并且该补充图像还可以用于与用户生物部位、设备等相关的细节。

在第一方法的第三步骤中，可以至少部分地通过第二计算机程序应用来收集和促进附加数据。该收集步骤可以包括记录音频、测量骨传导、测量振动、对用户身体的至少一部分进行称重或赋于权重。应当理解的是，根据本发明，该方法的形成数据收集过程的步骤1-3可以不同的顺序执行，并且在另一示例性实施例中，可以任意顺序执行。这些步骤可以统称为数据收集阶段，在图9中显示为步骤401。在这些步骤中，第二计算机程序应用可以提供以下内容中至少一个：与数据收集过程相关的指令或指导，与数据收集过程相关的质量数据，有助于数据收集过程的与人的通信。

在第一方法的第四步骤中，第二计算机程序应用自动地或响应于用户的提示或输入而准备所收集的资料，以传输到第一计算机程序应用。该材料可经受以下过程中的至少某一些：编码、加密、打包为单个文件、分离为多个文件、传输、再传输、验证。可以响应于以下条件中的至少某一些来执行一次或多次上述过程：数据大小、数据质量、网络状态、连接质量、连接技术、连接速度、用户的付款状态。在另一示例性实施例中，可以使用至少一个不同的过程、条件或连接来分别发送用户元数据和视频数据，以有利地保护用户的个人详细信息。例如，用户的个人详细信息可使用高级加密标准(AES*)和第一组加密密钥来进行加密，并通过虚拟专用网络来进行传输，而图像数据可使用第二组加密密钥进行传输，并通过互联网进行传输。该传输步骤如图9中的步骤402所示。

在第一方法的第五步骤(其可与第一方法的步骤1-4中的任一个同时发生)中，由第一计算机程序应用来接收和处理数据。在根据本发明的至少某些实施例中，数据可以经受以下过程中的至少某一些：解码、反向压缩、过滤、质量评价、索引、归一化、交叉引用。可至少部分地使用本文的其他部分所述的计算方法或步骤来实现HRTF的计算和/或生成。

在第一方法的第六步骤中，可以至少使用本文中的其他部分所述的计算方法和加权值来进行另外的调整。第五步骤和第六步骤共同显示为图9中的HRTF生成步骤404。

在任选的第七步骤中，可以根据本文中其他部分详述的质量控制方法来评价头部相关传递函数的质量。传递函数的质量得分以及与传递函数有关的其他细节可以被存储和发送给终端用户。在另一个实施例中，可将质量得分立即发送给终端用户，以供审阅。在这种情况下，可以暂停第一方法，以等待来自用户的确认或其他数据。在另一个实施例中，可以使用在数据收集步骤和质量评价步骤中所提供的数据来重复(即，再次执行)在计算步骤中所执行的计算。这有利于减少在上述步骤中所需的数据的量，以及提高头部相关传递函数的质量和准确性。该步骤在图9中显示为步骤405。

在第八步骤中，为用户打包HRTF。上述打包可包括至少一种声音空间有向性格式(SOFA)文件。SOFA文件可以包含多个HRTF。在一个示例性实施例中，输出的SOFA文件包括两只耳朵的HRIR数据。可以在音频信号的多个到达方向上给出上述HRIR数据，例如优选地在800-2200个不同方向上，特别是在836或1668个不同方向上。HRIR脉冲响应的长度可以在256–4096次采样之间，特别是1024次采样。根据用户偏好，采样率可以在40-200kHz之间，例如48kHz、44.1kHz或96kHz。在打包之后，HRTF经由本文中其他部分所述的传输方法中的至少一种而传输给用户。打包和传输步骤在图9中显示为步骤406。

在第九步骤中，用户接收HRTF。有利的是，HRTF文件可包括自动生成的预编程指令，用于至少将验证信号发送到至少一个第一计算机程序。验证信号有利于确保用户已收到HRTF并已能够将其用于它们的设备。响应于验证信号，可以向用户发送与HRTF相关的其他指令或信息。用户可以通过以下方法中至少一种来接收HRTF：至少一个处理器、音频设备、超链接、允许访问基于网络的存储的证书、诸如U盘之类的电子介质。在一个特别有利的实施例中，向用户提供用于与多个音频设备一起使用的多个HRTF副本。可以根据本文中概述的上述多个音频设备的细节来调整这种副本。

在完成第一方法或第二方法之后，用户拥有其个人化的头部相关传递函数，在图9中显示为步骤407。第二计算机程序应用可向用户提供用于评价头部相关传递函数的例程或方法。在另一示例性实施例中，用户可使用计算机程序应用或额外地使用至少一个装置，该装置包括至少与预编程的测试信号结合的麦克风，以获得与HRTF的性能有关的其他数据，然后将其发送到至少一个第一计算机程序应用，并根据本文中其他部分所述的至少某些标准来对其进行分析。然后，用户可以接收HRTF的更新版本。另外，头部相关传递函数可以有利地定期更新，例如每年更新一次，因为用户生物部位通常会随年龄变化。第一计算机程序应用可以向用户提供关于这种更新的提醒。在另一示例性实施例中，HRTF的更新和更新后的HRTF在音频设备(例如，耳机)中的使用可以由以下内容中至少一项发起、自动地完成：音频设备、第一计算机程序应用，第二计算机程序应用。

根据本发明，在至少一种第二方法中，用户可以访问存储在服务器上的资源，以发起个人化HRTF的采集。上文所述的第一方法中的至少某些成分和步骤也可用于第二方法中。

在第二种方法中，用户可通过互联网访问与HRTF相关的内容。在另一示例性实施例中，可以经由安全网页来提供访问。在另一示例性实施例中，上述资源由至少一个第一计算机程序应用或第二计算机程序应用提供。在另一个示例性实施例中，用户可以在访问与HRTF相关的内容之前首先提供与用户相关的基本信息，并验证其联系方式以及任选的数据。可在本文所述的方法的这一步骤或任何其他步骤中使用的验证过程有利于减少输入到计算中的错误数据，以及减少用户位置、年龄或其他与HRTF相关的数据不正确的可能性。

在用户已经提供了上述信息之后，可以向用户提供与HRTF相关的指令，例如，如何获得或测量与HRTF相关的数据。可通过静态的方式来提供这些指令，例如以文本或视频图像的格式来提供，或者有利地以交互的方式来提供，其中，在整个过程中引导用户，在用户可能会遇到问题的必要点处进行重复。这种指令还至少因以下原因而有利：通过使用所认可的采集方法，可大幅改进HRTF的输入数据。

在根据第一方法或第二方法的至少某些实施例中，在用户已经提供了他们的细节之后，可以给用户发送、传输或制造根据本发明的包含测量装置的测量套件，或由用户来制造根据本发明的包含测量装置的测量套件。这种行为可通过自动化的方式有利地完成，以减少对人工的需求并消除错误。

根据第二种方法，用户可通过网页而将上述数据提供给接收程序，该接收程序可包括第一计算机程序应用或第二计算机程序应用，和/或服务器应用。在数据传输完成之后，接收程序可以自动地对用户所提供的上述数据进行质量检查。在另一示例性实施例中，接收程序可自动地向用户发送验证消息：该数据处于用于生成HRTF的可接受状态。可至少部分地使用本文中的其他部分所述的计算方法或步骤来实现HRTF的计算和/或生成。

根据第二方法，接收程序可配置为根据关于第一方法概述的相应步骤来生成、调整、修改、打包和向用户传输HRTF。在一个特别有利的示例性实施例中，将HRTF上传、安装、传输或打包到音频设备(例如，耳机)上，然后通过送货服务(例如，邮政服务)将音频设备递送给用户。这有利于向用户提供定制化的耳机，以利于如本文的其他部分所述的改进音频质量。音频设备也可处于用户附近的商业企业(例如，商店)中，用户的HRTF自动或任选地手动上传到耳机中。与仅在商店购买耳机相比，这可缩短用户的等待时间，并提供更好的音频质量。在另一示例性实施例中，通过电子的方式来传输用户的HRTF，用户可使用他们自己的HRTF来测试多对音频设备。

在根据本发明的至少某些实施例中，至少某些计算机程序应用可以包括支付模块。这种支付模块可包括有助于从用户处收集电子支付的API、子例程或另一机构。用户的支付状态可附加到用户数据，并以不同的方式使用，例如，部分地用于向HRTF分配计算资源，或者在计算过程开始之前确认已接收到支付。

在本发明的上下文中，与HRTF相关的内容可以至少包括：与数据收集过程有关的指令或指导，与数据收集过程有关的质量数据，与有助于数据收集过程的与人的通信。

图10示出了如下示例性实施例：步骤501包括由第一计算机程序应用来计算针对用户的头部相关传递函数，该计算至少部分地基于至少包括视频材料和至少一个补充图像的采集数据，至少一个补充图像包括叠覆在用户的至少一个生物细节上的透明测量装置的图像，在步骤502中，将头部相关传递函数例如传输给用户。

在某些实施例中，计算机程序应用由计算装置来执行，该装置均包括至少一个处理核。计算装置例如可以是以下装置中至少一个：个人计算机(PC)、移动电话、智能电话、智能手表、平板电脑、服务器、节点或云计算装置。在计算装置中包括处理器，该处理器例如可包括单核处理器或多核处理器，其中，单核处理器包括一个处理核，而多核处理器包括一个以上的处理核。处理器可以包括一个以上的处理器。处理核例如可包括ARM Holdings公司的Cortex-A8处理核，或Advanced Micro Devices公司生产的Steamroller处理核。处理器例如可包括至少一个高通Snapdragon和/或英特尔酷睿处理器。处理器可包括至少一个专用集成电路(ASIC)。处理器可包括至少一个现场可编程门阵列(FPGA)。处理器可以是用于在计算装置中执行方法步骤的机构。处理器可至少部分地由计算机指令配置为执行动作。

在某些实施例中，使用网络来促进与计算装置和第二计算装置以及其他元件之间的往来通信。例如，根据本发明的可用网络技术至少包括：无线局域网、WLAN、以太网、通用串行总线、USB，和/或全球微波互联接入、蓝牙、WiMAX、标准以及卫星通信方法。作为替代或附加，可使用专有的通信框架。在某些实施例中，可针对以下目的中的一个或多个而使用单独的网络：计算装置与外围装置之间的通信，计算装置与服务器之间的通信等。

如上文所述，与本发明相关，可根据各种确定标准来调整本文所述的头部相关传递函数或任何计算机程序应用，这些确定标准包括：预编程指令，从其他装置接收的通信(包括存在或缺少第一方装置或第三方装置)，经过时间，预设时间，用户身体或用户位置之内或之外的测量，用户输入和定时，电池电量，网络数据，检测到的使用情况，计划的使用情况或其任意组合。计算机程序应用或硬件单元也可具有预编程活动或过程。可根据上面列出的标准来触发这些。

本发明、尤其是本文所述的实施例至少能提供以下益处：由于例如可使用标准的移动电话，所以仪器简单且成本低廉。数据采集过程对于用户来说很简单，采集可以在任何房间内进行，并且不需要听者坐很长时间。也不需要沉默。该方法不需要使用无回声房间，但是能提供无回声的HRTF。本文所述的方法能消除与将麦克风放在听者耳朵中有关的不确定性。听者的移动不会影响最终结果的质量。

应当理解的是，本发明所述的实施例不限于本文所述的特定结构、过程步骤或材料，而是可扩展至相关领域的普通技术人员所认知的等同物。还应理解的是，本文采用的术语仅用于描述特定实施例，而无意于进行限制。

在本说明书中提及一个实施例或某个实施例意味着关联于该实施例所描述的特定特征、结构或特性可包含在本发明的至少一个实施例中。因此，在本说明书的各处出现的短语“在一个实施例中”或“在某个实施例中”并不都一定指同一实施例。在使用诸如大约或大致之类的用语来说明数值时，也公开了确切的数值。

在本文中使用的多个项目、结构成分、组成要素和/或材料可为了方便而显示在共同的列表中。然而，这些列表应被解释为该列表中的每个成分都独立地显示为单独且唯一的成分。因此，不能仅基于它们显示在共同组中而没有相反的指示就将列表中的任何单个成分解释为相同列表中的任何其他成分的事实上的等同物。另外，本发明的各种实施例和示例也可涉及其中各种部分的替代物。应该理解的是，这种实施例、示例和替代物不应被理解为彼此的实际上等同，而是应被认为是本发明的独立且自主的表现。

此外，在一个或多个实施例中所描述的特征、结构或特性可以以任何合适的方式组合。在本文中，提供了许多具体细节，例如长度、宽度、形状等的示例，以提供对本发明的实施例的透彻理解。然而，相关领域的技术人员可以理解，可以在没有一个或多个特定细节的情况下，或者在具有其他方法、部件、材料等的情况下实践本发明。另外，本发明没有详细显示或描述公知的结构、材料或操作，以避免本发明的各个方面变得模糊。

尽管上述示例在一个或多个特定应用中说明了本发明的原理，然而对于本领域的普通技术人员来说显而易见的是，可以在不付出创造性劳动的情况下对形式、使用和细节进行多种修改，而不会背离本发明的原理和概念。因此，本发明不欲受到出了随附的权利要求书之外的限制。

动词“包含”和“包括”在本文中用作开放限制，既不排除也不要求存在未叙述的特征。除非另有明确说明，否则从属权利要求中记载的特征可以相互自由组合。此外，应当理解的是，在本文中使用“一”或“一个”、即单数形式并不排除多个。

工业应用

本发明的至少某些实施例可在音频工程、声音混合和听觉校准中找到工业应用。

缩略词列表

AES 音频工程学会

AES* 高级加密标准

API 应用程序编程接口

BEM 边界元法

FD 有限差分法

FDTD 时域有限差分

FEM 有限元法

HRIR 头部相关脉冲响应

HRTF 头部相关传递函数

LED 发光二极管

OCR 光学字符辨识

QR 快速响应码

SOFA 声音空间有向性格式

USB 通用串行总线

附图标记列表

Claims (14)

1.一种用于生成头部相关传递函数的方法，包括：

由第一计算机程序应用来计算针对用户的头部相关传递函数，所述计算至少部分地基于至少包括视频材料和至少一个补充图像的采集数据，所述至少一个补充图像包括叠覆在用户的至少一个生物细节上的透明测量装置的图像，其中，所述透明测量装置贴压在所述用户的耳朵上；

传输所述头部相关传递函数。

2.根据权利要求1所述的方法，其特征在于，所述传输包括：

将所述头部相关传递函数载入到至少一个音频装置中；

使所述用户能够使用所述音频装置。

3.根据权利要求2所述的方法，其特征在于，所述音频装置包括耳机。

4.根据权利要求1~3中任一项所述的方法，其特征在于，使用独立装置来采集与所述用户相关的数据。

5.根据权利要求1~3中任一项所述的方法，其特征在于，所述第一计算机程序应用提供用于数据采集过程的情景指令。

6.根据权利要求1~3中任一项所述的方法，其特征在于，所述采集数据包括与所述用户相关的元数据，分别从所述视频材料和所述至少一个补充图像中将所述元数据接收到所述第一计算机程序应用中。

7.根据权利要求1~3中任一项所述的方法，其特征在于，所述采集数据包括所述用户的左耳的至少一个补充图像以及所述用户的右耳的至少一个补充图像。

8.根据权利要求1~3中任一项所述的方法，其特征在于，在时域中通过求解至少一个波动方程来计算所述头部相关传递函数。

9.根据权利要求1~3中任一项所述的方法，其特征在于，在频域中通过求解至少一个亥姆霍兹方程来计算所述头部相关传递函数。

10.根据权利要求1~3中任一项所述的方法，其特征在于，所述传输包括将所述头部相关传递函数打包到SOFA文件格式中。

11.一种用于生成头部相关传递函数的设备，包括至少一个处理核，包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码配置为通过所述至少一个处理核而导致所述设备至少能：

计算针对用户的头部相关传递函数，所述计算至少部分地基于至少包括视频材料和至少一个补充图像的采集数据，所述至少一个补充图像包括叠覆在用户的至少一个生物细节上的透明测量装置的图像，其中，所述透明测量装置贴压在所述用户的耳朵上；以及

传输所述头部相关传递函数。

12.根据权利要求11所述的设备，其特征在于，所述头部相关传递函数的传输包括：

将所述头部相关传递函数载入到至少一个音频装置中；

使所述用户能够使用所述音频装置。

13.根据权利要求11或12所述的设备，其特征在于，在时域中，通过求解至少一个波动方程、求解至少一个亥姆霍兹方程中的至少一个来计算所述头部相关传递函数。

14.一种计算机可读介质，其上存储计算机程序，当程序执行时致使配置为能导致根据权利要求1-10中至少一项所述的方法能够执行。

Images