CN110192396A - 用于基于头部跟踪数据确定和/或使用音频滤波器的方法和系统 - Google Patents

用于基于头部跟踪数据确定和/或使用音频滤波器的方法和系统 Download PDF

Info

Publication number
CN110192396A
CN110192396A CN201780067772.9A CN201780067772A CN110192396A CN 110192396 A CN110192396 A CN 110192396A CN 201780067772 A CN201780067772 A CN 201780067772A CN 110192396 A CN110192396 A CN 110192396A
Authority
CN
China
Prior art keywords
hrtf
head
tone filter
database
tracking data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780067772.9A
Other languages
English (en)
Inventor
N.卡西米洛艾瑞克森
S.斯迈拉吉克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dirac Research AB
Original Assignee
Dirac Research AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dirac Research AB filed Critical Dirac Research AB
Publication of CN110192396A publication Critical patent/CN110192396A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G06F16/636—Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Stereophonic System (AREA)

Abstract

提供了一种用于确定音频滤波器的方法。该方法包括获得（S1）头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置；以及基于头部跟踪数据和表示声源的位置和/或方向的信息从HRTF数据库选择（S2）头部相关传递函数HRTF的表示。该方法还包括基于选择的HRTF表示来确定（S3）音频滤波器。

Description

用于基于头部跟踪数据确定和/或使用音频滤波器的方法和 系统
技术领域
所提出的技术一般地涉及音频技术以及使用音频滤波器在头戴受话器（headphone）或类似音频设备上的声音的渲染。更具体地，所提出的技术涉及用于确定音频滤波器的方法、音频滤波器选择系统、用于音频滤波的方法、音频滤波器系统、用于声音再现的方法、用于声音再现的系统以及相应的计算机程序和计算机程序产品。
背景技术
在某些应用中，通过头戴受话器将声音渲染给收听者，使得声音被感知为来自收听的人的头部之外的空间中的具体位置，这是期望的。典型的应用是虚拟现实，其中收听者将佩戴虚拟现实头戴送受话器（head-set）以及头戴受话器，所述头戴送受话器呈现视觉图像，所述头戴受话器补充音频体验。有时虚拟现实也被称为增强现实、AR或X现实、XR，其中X代表“未知”。
通常使用头部跟踪解决方案，其感测相对于声源人正在面向哪个大致方向。因此，人所看到和所听到的被实时更新，使得该人可以在虚拟世界中在不同的方向上看并得到那里的体验。
当收听者转身时，虚拟世界中的声源的相对方向改变。因此需要头部跟踪信息，使得声源可以在虚拟世界中在它们的合适位置中渲染，而不管收听者正面向哪个方向。
举例来说，用于渲染双耳虚拟音频源的常用方法基于将音频源信号与双耳HRTF响应进行卷积。HRTF（头部相关传递函数）由针对每个耳朵的一个传递函数组成，传递函数已经将大脑感测声音的方向需要的必要信息编码在其中。简单地描述，可以通过将麦克风放置在人的耳朵中，然后将声源放置在与人的特定角度和距离处，并且然后测量从声源到收听者的耳朵中的每个的传递函数（或等效地，冲激响应）来测量HRTF响应。源的角度由相对于头部的3D极角（polar angle）指定，其中原点在头部的中心中。
通过针对与人的大量的方向测量HRTF，可以构建HRTF的数据库，并且这使得能够在许多不同位置处渲染虚拟声源以及移动声源。通常测量HRTF数据库的方式是通过在测量期间使对其进行测量的人静坐并且面向非常精确的方向同时针对每次测量改变声源的位置来进行。由于人静坐而声源的位置被改变，因此人的头部和躯干在测量期间保持相同的恒定关系。关于双耳技术中的当前现有技术的更多信息可以在参考文献[1]中找到。
发明内容
总的目的是改进以其来确定和/或应用音频滤波器以改进声音再现的方式。
具体目的是提供一种用于确定音频滤波器的方法。
提供一种音频滤波器选择系统也是目的。
另一个目的是提供一种用于音频滤波的方法。
又一个目的是提供一种音频滤波器系统。
又一个目的是提供一种用于声音再现方法。
提供一种用于声音再现的系统也是目的。
另一个目的是提供相应的计算机程序和计算机程序产品。
通过如本文中所要求保护的所提出的技术来满足这些和其他目的。
根据第一方面，提供了一种用于确定音频滤波器的方法。该方法包括：
- 获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者（subject）的躯干姿势的头部姿势，该头部姿势也称为头部位置；
- 基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示；
- 基于选择的HRTF表示来确定音频滤波器。
根据第二方面，提供了一种音频滤波器选择系统。音频滤波器选择系统被配置成获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置。音频滤波器选择系统还被配置成基于获得的头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示。音频滤波器选择系统被进一步配置成基于选择的HRTF表示来确定音频滤波器。
根据第三方面，提供了一种用于音频滤波的方法。该方法包括：
- 获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置；
- 基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示；
- 基于选择的HRTF表示来确定音频滤波器；以及
- 对音频数据应用音频滤波器。
根据第四方面，提供了一种音频滤波器系统。音频滤波器系统被配置成获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置。音频滤波器系统还被配置成基于获得的头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示。音频滤波器系统被进一步配置成基于选择的HRTF表示来确定音频滤波器，并对音频数据应用音频滤波器。
根据第五方面，提供了一种用于声音再现的方法。该方法包括：
- 获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置；
- 基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示；以及
- 基于选择的HRTF表示来确定音频滤波器；
- 对音频数据应用音频滤波器以处理音频数据；
- 将处理的音频数据应用于声音系统以进行声音再现。
根据第六方面，提供了一种用于声音再现的系统。该系统被配置成获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置。该系统还被配置成基于获得的头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示。此外，该系统被配置成基于选择的HRTF表示来确定音频滤波器，并对音频数据应用音频滤波器以处理音频数据。该系统还被配置成将处理的音频数据应用于声音系统以进行声音再现。
根据第七方面，提供了一种计算机程序，其包括指令，当由至少一个处理器执行时，所述指令使得所述至少一个处理器：
- 获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置；以及
- 基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示；以及
- 基于选择的HRTF表示来确定音频滤波器。
根据第八方面，提供了一种计算机程序，其包括指令，当由至少一个处理器执行时，所述指令使得（一个或多个）处理器：
- 获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置；
- 基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示；以及
- 基于选择的HRTF表示来确定音频滤波器；以及
- 对音频数据应用音频滤波器。
根据第九方面，提供了一种计算机程序，其包括指令，当由至少一个处理器执行时，所述指令使得（一个或多个）处理器：
- 获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置；
- 基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示；以及
- 基于选择的HRTF表示来确定音频滤波器；
- 对音频数据应用音频滤波器以处理音频数据；以及
- 将处理的音频数据转发到声音系统，以使得能够实现声音再现。
根据第十方面，提供了一种计算机程序产品，其包括其上存储有第七、第八和/或第九方面中的任何方面的计算机程序的计算机可读介质。
以这种方式，实质上改进以其来确定和/或应用音频滤波器以改进声音再现的方式是可能的。确定和/或应用基于HRTF的音频滤波器的该新颖方式使得能够显著改进声音再现，并且尤其改善虚拟声源的感知位置准确性。
所提出的技术还提供关于基于HRTF测量构建的音频滤波器数据库的内容和/或有用性的（一个或多个）实质改进。
附图说明
图1A-C是图示HRTF的声波图的示例的示意图，并且示出了HRTF强烈地依赖于相对于躯干姿势的头部姿势。
图2是图示根据俯仰、侧倾和/或偏航的头部的姿势或位置的示例的示意图。
图3是图示声音渲染系统的概述的示例的示意框图。
图4是图示基于头部跟踪的HRTF数据库构建系统的示例的示意框图。
图5是图示滤波器选择系统的示例的示意框图。
图6是图示HRTF滤波器系统的示例的示意框图。
图7是示出HRTF滤波器系统的示例的示意框图，其中可以沿着空间中的3D轨迹渲染空间中的不同位置处的若干音频源。
图8是图示根据实施例的基于处理器-存储器实现的布置/系统的示例的示意框图。
图9是图示根据实施例的计算机实现的示例的示意图。
图10是图示用于确定音频滤波器的新颖方法的示例的示意流程图。
图11是图示用于音频滤波的新颖方法的示例的示意流程图。
图12是图示用于声音再现的新颖方法的示例的示意流程图。
具体实施方式
如提到的那样，用于渲染双耳虚拟音频源的常用方法基于将音频源信号与双耳HRTF响应进行卷积。HRTF包括针对每个耳朵的传递函数，传递函数已经将大脑感测声音的方向所需要的必要信息编码在其中。简单地描述，可以通过将麦克风放置在人的耳朵中，然后将声源放置在与人的特定角度和距离处，并且然后测量从声源到收听者的耳朵中的每个的传递函数（或等效地，冲激响应）来测量HRTF响应。源的角度由相对于头部3D极角指定，其中原点在头部的中心中。
我们主张，用于测量HRTF的上述过程是有问题的。这是因为在自然情况下，人经常倾向于移动头部以在不同方向上看，同时保持躯干静止。上述过程所模拟的是其中人移动整个身体同时保持头部相对于身体静止的情况。HRTF包含关于耳廓和头部衍射的复杂响应而且还关于来自躯干的反射两者的信息。来自躯干的反射模式根据头部相对于躯干的俯仰、侧倾和偏航而改变。偏航维度的影响的研究的示例可以在参考文献[2]中找到。
在定向或定位声音时，人主动移动他们的头部和身体。因此，为了捕获与这些动态头部和身体移动相关的HRTF，提出了基于动态头部跟踪器的HRTF系统。该解决方案开辟了全新的维度，基于头部相对于躯干围绕X轴和/或Z轴的旋转来创建HRTF的集合，参见图2。然而，围绕Y轴的旋转也是新的维度，因为没有创建包括这些旋转维度中的任一个的数据库或3D声音渲染系统的公共记录。
我们的研究示出，如本文中所述，由于孤立的头部移动而造成的对HRTF的影响对于在模拟虚拟音频源时正确建模是重要的，正确地对其建模提高了感知的位置准确性，并且最终其减轻了对HRTF的个性化的需要。在俯仰、侧倾和偏航维度上以高的准确性和分辨率的程度来测量和确定这些动态HRTF是高度复杂的任务。因此，下面描述的用于HRTF测量的我们的新颖系统实现对于验证我们的假设确实是正确的已经是关键的。从我们的测量系统获得的HRTF的声波图，参见图1A-C，示出了HRTF强烈依赖于相对于躯干姿势的头部姿势，该头部姿势也称为头部位置。我们的假设也已经通过主观听力评估被验证。
根据所提出的技术的不同方面，至少提供：
• 一种用于使用头部跟踪数据构建滤波器数据库的方法和系统
• 滤波器数据库，诸如双耳HRTF的数据库
• 基于头部跟踪的滤波器选择系统和相应的方法
• 基于头部跟踪的滤波器系统和相应的方法
• 用于声音再现的相应方法和系统，诸如用于渲染双耳3D声音的方法和双耳3D声音渲染系统
• 相应的计算机程序和计算机程序产品。
图10是图示用于确定音频滤波器的新颖方法的示例的示意流程图。在图10的示例中，该方法包括：
S1：获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置；
S2：基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示；以及
S3：基于所选择的HRTF表示来确定音频滤波器。
举例来说，HRTF的表示包括HRTF的至少子集和/或HRTF的至少子集的处理版本。
例如，可以选择HRTF表示以用作音频滤波器或以用作输入，以通过附加计算来确定音频滤波器。
在特定示例中，HRTF数据库包括存储在数据库的存储位置中的头部相关传递函数HRTF的多个表示。每个HRTF表示可以与表示相对于预期受验者的躯干姿势的头部姿势的相关联的头部跟踪数据和表示声源的位置和/或方向的信息一起被存储。然后，所获得的头部跟踪数据可以与表示声源的位置和/或方向的所获得的信息一起被用作对HRTF数据库的输入，以找到存储在HRTF数据库中的匹配的头部跟踪和位置/方向数据并从HRTF数据库提取相关联的HRTF表示。
作为示例，HRTF数据库可以包括双耳HRTF的表示，并且所选择的HRTF表示可以是在数据库中与存储的头部跟踪数据相关联的双耳HRTF的表示，所述存储的头部跟踪数据与所获得的头部跟踪数据匹配，所获得的头部跟踪数据用作对HRTF数据库的输入。
优选地，头部姿势输入与源方向信息组合以从HRTF数据库选择HRTF的一个或多个表示。
根据另一方面，提供了一种音频滤波器选择系统。音频滤波器选择系统被配置成获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置，
其中，音频滤波器选择系统被配置成基于所获得的头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示，以及
其中，音频滤波器选择系统被配置成基于所选择的HRTF表示来确定音频滤波器。
举例来说，可以参考图3、图5和/或图8的示例实现。
作为示例，HRTF的表示可以包括HRTF的至少子集和/或HRTF的至少子集的处理版本。
例如，音频滤波器选择系统可以被配置成选择HRTF表示以用作音频滤波器或者以用作输入，以通过附加计算来确定音频滤波器。
在特定示例中，音频滤波器选择系统包括音频滤波器选择块，其被配置成使用头部跟踪数据来从HRTF数据库选择HRTF表示。例如，可以参考图3和/或图5。
作为示例，音频滤波器选择块可以是HRTF选择块，其被配置成组合来自头部跟踪器的头部姿势输入和来自音频源块的源方向信息，以从HRTF数据库选择HRTF的一个或多个表示。
根据特定示例，HRTF数据库包括存储在数据库的存储位置中的头部相关传递函数HRTF的多个表示，其中每个HRTF表示与表示相对于预期受验者的躯干姿势的头部姿势的相关联的头部跟踪数据和表示声源的位置和/或方向的信息一起被存储。音频滤波器选择系统可以被配置成将获得的头部跟踪数据与表示声源的位置和/或方向的所获得的信息一起用作对HRTF数据库的输入，以找到存储在HRTF数据库中的匹配的头部跟踪和位置/方向数据，并且从HRTF数据库提取相关联的HRTF表示。
可选地，HRTF数据库包括双耳HRTF的表示，并且音频滤波器选择系统被配置成选择在数据库中与存储的头部跟踪数据相关联的双耳HRTF的表示，所述存储的头部跟踪数据与所获得的头部跟踪数据匹配，所获得的头部跟踪数据用作对HRTF数据库的输入。
优选地，音频滤波器选择系统被配置成组合头部姿势输入与源方向信息以从HRTF数据库选择HRTF的一个或多个表示。
如图5的示例中示意性地指示的那样，音频滤波器选择系统包括HRTF数据库。然而，应该理解，音频滤波器选择系统具有对这样的HRTF数据库的访问权是足够的。数据库甚至可以被远程定位，例如作为在线数据库。
在特定示例中，音频滤波器选择系统包括处理器和存储器，该存储器包括由处理器可执行的指令，由此，处理器可操作以基于所获得的头部跟踪数据从HRTF数据库选择HRTF表示。例如，可以参考图8的示例实现，这将在稍后更详细地描述。
图11是图示用于音频滤波的新颖方法的示例的示意流程图。在该示例中，该方法包括：
S11：获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置；
S12：基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示；
S13：基于所选择的HRTF表示来确定音频滤波器；
S14：对音频数据应用音频滤波器。
举例来说，HRTF的表示可以包括HRTF的至少子集和/或HRTF的至少子集的处理版本。
例如，可以选择HRTF表示以用作音频滤波器或以用作输入，以通过附加计算来确定音频滤波器。
在特定示例中，HRTF数据库包括存储在数据库的存储位置中的头部相关传递函数HRTF的多个表示，其中每个HRTF表示与表示相对于预期受验者的躯干姿势的头部姿势的相关联的头部跟踪数据和表示声源的位置和/或方向的信息一起被存储。所获得的头部跟踪数据与表示声源的位置和/或方向的所获得的信息一起被用作对HRTF数据库的输入，以找到存储在HRTF数据库中的匹配的头部跟踪和位置/方向数据，并且从HRTF数据库提取相关联的HRTF表示。
优选地，头部姿势输入与源方向信息组合以从HRTF数据库选择一个或多个HRTF。
根据另一方面，提供了一种音频滤波器系统。音频滤波器系统被配置成获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置。音频滤波器系统还被配置成基于所获得的头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示，并且音频滤波器系统被配置成基于所选择的HRTF表示来确定音频滤波器。音频滤波器系统被进一步配置成对音频数据应用音频滤波器。
举例来说，可以参考图3、图6和/或图8的示例实现。
举例来说，HRTF的表示包括HRTF的至少子集和/或HRTF的至少子集的处理版本。
例如，音频滤波器系统被配置成选择HRTF表示以用作音频滤波器或以用作输入，以通过附加计算来确定音频滤波器。
如在图6的示例中示意性地指示的那样，音频滤波器系统包括滤波器选择块，其被配置成使用头部跟踪数据来与HRTF数据库合作地选择或确定音频滤波器。
例如，滤波器选择块可以是HRTF选择块，其被配置成组合来自头部跟踪器的头部姿势输入和来自音频源块的源方向信息，以从HRTF数据库选择HRTF的一个或多个表示。
在特定示例中，HRTF数据库包括存储在数据库的存储位置中的头部相关传递函数HRTF的多个表示，其中每个HRTF表示与表示相对于预期受验者的躯干姿势的头部姿势的相关联的头部跟踪数据和表示声源的位置和/或方向的信息一起被存储。然后，音频滤波器系统可以被配置成将所获得的头部跟踪数据与表示声源的位置和/或方向的所获得的信息一起用作对HRTF数据库的输入，以找到存储在HRTF数据库中的匹配的头部跟踪和位置/方向数据，并且从HRTF数据库提取相关联的HRTF表示。
如在图3和/或图6的示例中示意性地指示的那样，音频滤波器系统可以包括卷积器或等效处理块，所述卷积器或等效处理块被配置成将滤波器应用于音频数据。
可选地，音频滤波器系统包括HRTF数据库。然而，应该理解，音频滤波器选择系统具有对这样的HRTF数据库的访问权是足够的。数据库甚至可以被远程定位，例如作为在线数据库。
根据特定示例，音频滤波器系统包括处理器和存储器，存储器包括由处理器可执行的指令，由此，处理器可操作以选择HRTF表示，确定音频滤波器并将音频滤波器应用于音频数据。例如，可以参考图8的示例实现，这将在稍后更详细地描述。
图12是图示用于声音再现的新颖方法的示例的示意流程图。在该示例中，该方法包括：
S21：获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置；
S22：基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示；
S23：基于所选择的HRTF表示来确定音频滤波器；
S24：对音频数据应用音频滤波器以处理音频数据；以及
S25：将处理的音频数据应用于声音系统以进行声音再现。
举例来说，HRTF的表示包括HRTF的至少子集和/或HRTF的至少子集的处理版本。
例如，可以选择HRTF表示以用作音频滤波器或以用作输入，以通过附加计算来确定音频滤波器。
在特定示例中，HRTF数据库包括存储在数据库的存储位置中的头部相关传递函数HRTF的多个表示，其中每个HRTF表示与表示相对于预期受验者的躯干姿势的头部姿势的相关联的头部跟踪数据和表示声源的位置和/或方向的信息一起被存储。然后，所获得的头部跟踪数据可以与获得的表示声源的位置和/或方向的信息一起被用作对HRTF数据库的输入，以找到存储在HRTF数据库中的匹配的头部跟踪和位置/方向数据，并且从HRTF数据库提取相关联的HRTF表示。
优选地，头部姿势输入与源方向信息组合以从HRTF数据库选择一个或多个HRTF。
作为示例，通过从轨迹获取输入以在任何给定时间应用适当的HRTF，可以沿着空间中的3D轨迹渲染在空间中不同位置处的若干音频源，并且若干HRTF处理的音频源因此可以被叠加以输出到声音系统。
根据另一方面，提供了一种用于声音再现的系统。该系统被配置成获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置。该系统还被配置成基于所获得的头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示。此外，该系统被配置成基于所选择的HRTF表示来确定音频滤波器，并且该系统被配置成对音频数据应用音频滤波器以处理音频数据。该系统还被配置成将处理的音频数据应用于声音系统以进行声音再现。
举例来说，可以参考图3和/或图8的示例实现。
作为示例，HRTF的表示可以包括HRTF的至少子集和/或HRTF的至少子集的处理版本。
例如，系统可以被配置成选择HRTF表示以用作音频滤波器或者以用作输入，以通过附加计算来确定音频滤波器。
在特定示例中，该系统包括滤波器选择块，其被配置成使用头部跟踪数据来与HRTF数据库协作选择或确定音频滤波器。
例如，滤波器选择块可以是HRTF选择块，其被配置成组合来自头部跟踪器的头部姿势输入和来自音频源块的源方向信息，以从HRTF数据库选择HRTF的一个或多个表示。
根据特定示例，HRTF数据库包括存储在数据库的存储位置中的头部相关传递函数HRTF的多个表示，其中每个HRTF表示与表示相对于预期受验者的躯干姿势的头部姿势的相关联的头部跟踪数据和表示声源的位置和/或方向的信息一起被存储。然后，该系统可以被配置成将所获得的头部跟踪数据与表示声源的位置和/或方向的所获得的信息一起用作对HRTF数据库的输入，以找到存储在HRTF数据库中的匹配的头部跟踪和位置/方向数据，并且从HRTF数据库提取相关联的HRTF表示。
可选地，该系统包括卷积器或等效处理块，所述卷积器或等效处理块被配置成将滤波器应用于音频数据。
可选地，该系统包括HRTF数据库。然而，应该理解，音频滤波器选择系统具有对这样的HRTF数据库的访问权是足够的。数据库甚至可以被远程定位，例如作为在线数据库。
在特定示例中，该系统是声音渲染系统，其被配置成使用HRTF数据库、头部跟踪设备、在期望位置处的声源的音频输入，并从数据库选择并应用HRTF的适当表示来输出声音系统的音频数据。
例如，头部跟踪设备可以被配置成产生关于人的头部姿势的实时数据。
举例来说，除了声源相对于躯干的方向之外，系统还可以被配置用于考虑头部姿势相对于躯干姿势的影响来产生虚拟声源。
可选地，系统可以被配置成通过并行渲染块来处理不同位置处的若干声源。
此外，系统可以可选地被配置成通过从轨迹获取输入以在任何给定时间应用适当的HRTF表示来沿着空间中的3D轨迹渲染空间中不同位置处的若干音频源，并且叠加若干HRTF处理的音频源以输出到声音系统。
作为示例，系统可以被配置成通过组合位于家庭影院配置中的虚拟声源来创建虚拟家庭影院扬声器设置。
例如，该系统可以是双耳3D声音渲染系统。
可能的实现选项的示例包括用移动电话、计算机、平板计算机、头戴受话器或虚拟现实、增强现实和/或所谓的X现实头戴送受话器来实现该系统。其他示例当然也是可行的。
如图8中示意性图示的那样，系统可以例如包括处理器和存储器，该存储器包括由处理器可执行的指令，由此，处理器可操作以选择HRTF表示，确定音频滤波器，将音频滤波器应用于音频数据并将处理的音频数据应用于声音系统以进行声音再现。
利用所提出的技术，实质上改进以其来确定和/或应用音频滤波器以改进声音再现的方式是可能的。
所提出的技术提供了关于基于HRTF测量构建的音频滤波器数据库的内容和/或有用性的（一个或多个）实质改进。
对于感兴趣的读者来说，区分虚拟声源和虚拟声音对象的相应范围可能是有用的。例如，这可以以以下方式来完成：
• 虚拟声源在概念上与音频渲染系统相关，而
• 虚拟声音对象在概念上与虚拟空间中的音频内容相关。
虚拟声音对象可以被定义为在虚拟空间中具有位置（和速度）的音频流或剪辑。
直到人们还已经定义了该虚拟空间中收听者的位置（和速度），它才可以被渲染为该收听者所预期的。该渲染可以包括创建反射（可能作为新的虚拟声音对象）、房间混响、距离增益减小、闭塞（occlusion）增益减少和着色（coloration）、多普勒效应以及用于双耳回放的类似HRTF的处理。
举例来说，虚拟声源可以被定义为从虚拟空间到音频渲染系统的通道，可能包括心理声学处理，诸如HRTF。
以下两个示例说明虚拟声源和虚拟声音对象之间可能存在混淆：
• 用于渲染虚拟声音对象的朴素（naïve）方法是针对每个虚拟声音对象创建一个虚拟声源。两者之间有1：1的对应关系。当虚拟声音对象的数量以及因此同时处理的HRTF滤波器的数量增加时，这对于音频渲染系统来说可能是计算上要求高的，但是当它是小的时可能是有意义的。
• 至少当虚拟声音对象的数量增加时，要求较低的方法将是把虚拟声音对象投影到较小的固定虚拟声源的集合上。虚拟声源可以被视为围绕收听者的虚拟扬声器的集合，每个虚拟扬声器具有取决于收听者的头部的姿势的给定HRTF表示。投影将通过跨最接近于虚拟声音对象的到达角度的虚拟扬声器平移（panning）虚拟声音对象的音频剪辑来实现。
例如，源方向可以被定义为相对于收听者的大致位置（例如，由收听者的躯干定义）到虚拟声源的方向。头部姿势由头部跟踪器单独配准。头部姿势和源方向一起确定HRTF（动态HRTF）的唯一表示。
当获取用于创建HRTF数据库的数据时，使用物理参考扬声器来表示虚拟声源是可能的。它们可以被放置在相对于预期受验者的某些位置处，以与源方向一致。通过让受验者佩戴头部跟踪器移动他/她的头部，同时在参考扬声器中播放激励声音，获取针对具体头部姿势和源方向的HRTF是可能的。
为了更好理解，现在将参考非限制性示例来描述所提出的技术。
举例来说，提供了HRTF的数据库，例如双耳HRTF，以及用于测量和构建HRTF的方法和系统，除了声源相对于躯干的方向之外，该方法和系统还与相对于躯干姿势的头部姿势相关联。
数据库存储通过对一个或多个受验者的音频测量创建的HRTF和相关联的头部跟踪数据。
头部的姿势或位置可以根据俯仰、侧倾和/或偏航来描述（参见图2）。
术语“头部跟踪设备”或“头部跟踪器”应被理解为表示通常除了相对于给定声源的方向之外还跟踪相对于躯干的头部姿势的设备。
可以通过针对头部姿势相对于躯干姿势的所有三个维度（俯仰、侧倾和偏航）或其子集（例如，仅俯仰和侧倾）测量特定位置处的声源的HRTF来创建HRTF数据库。
为了创建存储在数据库中的HRTF，举例来说，我们可以使用双耳HRTF捕获系统，其包括跟踪头部相对于躯干的俯仰、侧倾和偏航的头部跟踪设备、耳朵处的麦克风、已知位置处的声源，以及在连接到上述设备的计算机上运行的软件，或者如稍后描述的更一般的系统。
该系统可以提取个体HRTF或将若干个体的HRTF组合成表示典型人的HRTF（“通用HRTF”）。还可以提取每个人的HRTF的个体方面，诸如ITD（耳间时差）。
我们将与相对于躯干姿势的头部姿势和相对于躯干的声源的方向两者相关联的HRTF表示为动态HRTF。
所提出的技术的另一方面涉及一种用于声音再现的系统，诸如双耳3D声音渲染系统，其用于使用如上所述的HRTF数据库，除了声源相对于躯干的方向之外，还考虑头部姿势相对于躯干姿势的影响来产生虚拟声源。虚拟声源可以例如是虚拟扬声器。
简而言之，渲染系统可以使用HRTF数据库、头部跟踪设备、在期望位置处的声源的音频输入，并从数据库选择和应用适当的HRTF以输出用于声音系统的音频数据。可以通过并行渲染块来处理不同位置处的若干声源。例如，可以通过组合例如位于典型家庭影院配置中的五个虚拟声源来创建虚拟家庭影院扬声器设置。
考虑的维度（俯仰、侧倾和偏航）可以是三维、二维或甚至单个维度。优选地，对于HRTF数据库考虑至少两个维度，即使在用于基于头部跟踪的声音渲染系统的HRTF数据库中使用单个维度也被包括在所提出的技术的范围内。基本思想是还捕获由于相对于躯干的孤立头部移动而造成的对HRTF的影响。
图3是图示声音渲染系统的概述的示例的示意框图。举例来说，声音渲染系统10可以是使用实时头部跟踪的双耳3D声音渲染系统。
整个系统包括音频源、基于头部跟踪的HRTF滤波器系统20、头部跟踪器和相关联的声音系统以及用于考虑其他效果的可选块。举例来说，HRTF滤波器系统20包括HRTF数据库、滤波器选择块和卷积器。
在该示例中，音频源块产生应该在空间中的特定点处被渲染的音频以及虚拟源的方向。音频数据进入卷积器块，并且方向数据进入HRTF选择块。
HRTF数据库块包括针对测量方向的集合的HRTF。
头部跟踪器块产生关于人的头部姿势的实时数据。
举例来说，HRTF选择块组合来自头部跟踪器块的头部姿势输入和来自音频源块的方向信息以从HRTF数据库选择一个或多个HRTF，并在给定头部姿势和源方向信息的情况下计算适当的HRTF。每个HRTF可以是例如FIR滤波器或IIR滤波器，或其级联或并联的组合。
作为示例，卷积器块将选择的HRTF与来自音频源块的音频数据进行卷积，并将其发送到声音系统块。
声音系统块表示音频系统，该音频系统被配置成向收听者传递诸如双耳音频信号之类的音频信号。
其他效果块是可选块，该可选块可以添加例如房间效果，比如对声音的反射。
所提到的块可以是在例如移动电话、PC、头戴受话器或虚拟现实和/或增强现实头戴送受话器上运行的软件实现的形式。每个块可以在具有足够存储器和CPU周期的任何其他处理设备上运行。如上所述，头部跟踪器、音频源、其他效果块和声音系统各自为我们的系统提供输入和/或输出。
通过从HRTF移除耳间时差ITD并将其作为单独的延迟线而不是在卷积器块内应用，可以使本文中描述的系统更高效。
图4是图示基于头部跟踪的HRTF数据库构建系统的示例的示意框图。HRTF数据库构建系统30包括测量系统、HRTF确定块和用于存储计算的HRTF以及相关联的头部跟踪数据的HRTF数据库。
图4的系统可以被视为用于构建动态HRTF的数据库的系统。
举例来说，测量系统使用麦克风输入，该麦克风输入可以正在提供来自已知声源的每个耳朵处的声音的记录作为输入。例如，每个耳朵中的麦克风可以捕获音频数据，并且这可以被用作对HRTF数据库构建系统的输入。声源的位置以及发送到声源的音频数据是已知的。基于来自两个麦克风的记录的音频数据，HRTF确定块提取相关联的双耳HRTF，并且可以例如将其作为数字滤波器（FIR、IIR或其任何组合）输出到HRTF数据库，每个耳朵一个。相关联的头部跟踪数据（诸如头部的俯仰、侧倾和/或偏航）和声源位置与每个双耳HRTF一起被存储。
HRTF确定块可以例如使用系统标识以各种方式实现。实质上，它用发送到声源的已知音频数据对测量进行解卷积。参见例如[3]或[4]。实际上，平滑和插值对于创建比基本解卷积更好的模型可能是有用的。为了减少HRTF数据库的存储器要求，可以使用例如HRTF的冲激响应的主峰的左侧的互相关或过零检测从HRTF冲激响应提取ITD。
因此，使用例如本文中描述的系统构造的滤波器数据库可以存储多个动态HRTF，每个动态HRTF由FIR滤波器或由IIR滤波器或其组合表示，在任一情况下，要么作为描述个人的双耳HRTF的（双耳）HRTF，要么作为表示大量的人的通用（双耳）HRTF，以及声源相对于人的相关联的位置，以及相对于躯干姿势的头部姿势（由俯仰、侧倾和偏航或其子集描述）。
图5是图示滤波器选择系统的示例的示意框图。滤波器选择系统40包括HRFT数据库（或至少访问这样的数据库）和滤波器选择块。滤波器选择块使用头部跟踪数据和表示声源的位置和/或方向的信息，可能连同其他可选输入，以从数据库选择合适的HRTF，以便或多或少地直接用作滤波器，或以用作输入，以通过附加计算来确定合适的滤波器。该系统被配置成输出由滤波器选择块选择的滤波器，例如供卷积器使用以将滤波器应用于音频数据。
图6是图示HRTF滤波器系统的示例的示意框图。HRTF滤波器系统20包括HRFT数据库（或至少访问这样的数据库），以及滤波器选择块和卷积器或等效块。滤波器选择块使用头部跟踪数据和表示声源的位置和/或方向的信息，可能与其他可选输入一起，以与HRTF数据库合作地选择或确定滤波器。系统被配置成由卷积器使用所选择的滤波器以将滤波器应用于音频数据。
图7是示出HRTF滤波器系统的示例的示意框图，其中可以沿着空间中的3D轨迹渲染在空间中的不同位置处的若干音频源。HRTF处理块包括诸如图6中所示的系统，并且还从空间中的音频源的期望轨迹（由轨迹块提供）获取输入以在任何给定时间应用适当的HRTF。混合块叠加了若干HRTF处理的音频源并将其输出到声音系统。
应该理解，本发明不限于HRTF滤波器数据库中的某种格式的数据。举例来说，HRTF滤波器数据库可以由时域滤波器响应的集合表示，或者例如，数据可以被表示为涉及例如时间、频率和/或空间维度的一些变换。所描述的系统的其他部分也不限于某种形式的数据。
将理解，本文中描述的方法和布置可以以多种方式实现、组合和重新布置。
例如，实施例可以以硬件、或者以供合适的处理电路执行的软件、或其组合实现。
本文中描述的步骤、功能、过程、模块和/或块可以使用任何常规技术以硬件实现，所述技术诸如分立电路或集成电路技术，包括通用电子电路和专用电路两者。
替代地或作为补充，本文中描述的步骤、功能、过程、模块和/或块中的至少一些可以以供合适的处理电路（诸如一个或多个处理器或处理单元）执行的软件（诸如计算机程序）实现。
处理电路的示例包括但不限于一个或多个微处理器、一个或多个数字信号处理器（DSP）、一个或多个中央处理单元（CPU）、视频加速硬件和/或任何合适的可编程逻辑电路，所述可编程逻辑电路诸如一个或多个现场可编程门阵列（FPGA）或一个或多个可编程逻辑控制器（PLC）。
还应该理解，重新使用在其中实现所提出的技术的任何常规设备或单元的一般处理能力，这可以是可能的。重新使用现有软件，例如通过对现有软件重新编程或通过添加新软件组件来重新使用现有软件，这也可以是可能的。
图8是图示了根据实施例的基于处理器-存储器实现的布置/系统100的示例的示意框图。在该特定示例中，布置/系统100包括处理器110和存储器120，存储器120包括由处理器110可执行的指令，由此，处理器可操作以实现本文中描述的所提出的技术的各方面。
可选地，布置/系统100还可以包括通信电路130。通信电路130可以包括用于与其他设备有线和/或无线通信的功能，但是可以简单地是合适的输入/输出（I/O）设备、（一个或多个）输入端口和/或（一个或多个）输出端口。
基于硬件和软件的组合提供解决方案也是可能的。可以基于包括处理速度、实现的成本和其他要求的多个因素由系统设计者来决定实际的硬件-软件划分。
图9是图示根据实施例的计算机实现200的示例的示意图。在该特定示例中，本文中描述的步骤、功能、过程、模块和/或块中的至少一些以计算机程序225、235实现，所述计算机程序225、235被加载到存储器220中，以供包括一个或多个处理器210的处理电路执行。（一个或多个）处理器210和存储器220彼此互连以使得能够实现正常的软件执行。可选的输入/输出设备240还可以被互连到（一个或多个）处理器210和/或存储器220，以使得能够实现相关数据的输入和/或输出，诸如（一个或多个）输入参数和/或（一个或多个）得到的输出参数。
术语‘处理器’应该在一般意义上被解释为能够执行程序代码或计算机程序指令以执行特定处理、确定或计算任务的任何系统或设备。
因此，包括一个或多个处理器210的处理电路被配置成在执行计算机程序225时执行明确定义的处理任务，所述任务诸如本文中描述的那些。
处理电路不必专用于仅执行上述步骤、功能、过程和/或块，而是还可以执行其他任务。
在特定实施例中，计算机程序225、235包括指令，当由至少一个处理器210执行时，所述指令使得（一个或多个）处理器210执行本文中描述的任务，包括与文件管理器（filer）选择系统、滤波器系统和/或数据库构建系统相关的任务。
根据所提出的技术的方面，提供了一种包括指令的计算机程序，当由至少一个处理器执行时，所述指令使得至少一个处理器：
- 获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置；以及
- 基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示；以及
- 基于所选择的HRTF表示来确定音频滤波器。
根据所提出的技术的另一方面，提供了一种包括指令的计算机程序，当由至少一个处理器执行时，所述指令使得（一个或多个）处理器：
- 获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置；
- 基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示；以及
- 基于所选择的HRTF表示来确定音频滤波器；以及
- 对音频数据应用音频滤波器。
根据所提出的技术的又一方面，提供了一种包括指令的计算机程序，当由至少一个处理器执行时，所述指令使得（一个或多个）处理器：
- 获得头部跟踪数据，该头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，该头部姿势也称为头部位置；
- 基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示；以及
- 基于所选择的HRTF表示来确定音频滤波器；
- 对音频数据应用音频滤波器以处理音频数据；以及
- 将处理的音频数据转发到声音系统，以使得能够实现声音再现。
还提供了一种计算机程序产品，包括其上存储有这样的计算机程序的计算机可读介质。
所提出的技术还提供了包括计算机程序的载体，其中所述载体是电子信号、光信号、电磁信号、磁信号、电信号、无线电信号、微波信号或计算机可读存储介质中的一种。
举例来说，软件或计算机程序225、235可以被实现为计算机程序产品，其通常被携带或存储在计算机可读介质220、230上，特别是被携带或存储在非易失性介质上。计算机可读介质可以包括一个或多个可移动或不可移动存储设备，包括但不限于只读存储器（ROM）、随机存取存储器（RAM）、压缩盘（CD）、数字通用盘（DVD）、蓝光盘、通用串行总线（USB）存储器、硬盘驱动器（HDD）存储设备、闪存、磁带或任何其他常规存储设备。因此，计算机程序可以被加载到计算机或等效处理设备的操作存储器中，以供其处理电路执行。
当由一个或多个处理器执行时，本文中提供的过程流程可以被视为计算机流程。相应的装置可以被定义为功能模块的组，其中由处理器执行的每个步骤对应于功能模块。在这种情况下，功能模块被实现为在处理器上运行的计算机程序。
因此，驻留在存储器中的计算机程序可以被组织为适当的功能模块，所述功能模块被配置成当由处理器执行时执行本文中描述的步骤和/或任务的至少部分。
上面描述的实施例仅作为示例给出，并且应当理解，所提出的技术不限于此。本领域技术人员将理解，在不脱离如由所附权利要求限定的本范围的情况下，可以对实施例进行各种修改、组合和改变。特别地，不同实施例中的不同部分的解决方案可以在其中技术上可能的其他配置中组合。
参考文献
[1] Bosun Xie，Head-Related Transfer Function and Virtual AuditoryDisplay，J Ross出版社
[2] Brinkmann等，Audibility and Interpolation of Head-Above-TorsoOrientation in Binaural Technology，IEEE Journal of Selected Topics in SignalProcessing，第9卷，第5期，2015年8月
[3] Ljung Lennart，System Identification: Theory for the User (2ndedition)，Prentice Hall PTR，1999年
[4] Farina A.，Simultaneous measurement of impulse response and distortionwith a swept-sine technique。在2000年2月19-22日法国巴黎的第108届大会时提出

Claims (57)

1.一种用于确定音频滤波器的方法，其中，所述方法包括：
- 获得（S1）头部跟踪数据，所述头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，所述头部姿势也称为头部位置；
- 基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择（S2）头部相关传递函数HRTF的表示；
- 基于所选择的HRTF表示来确定（S3）音频滤波器。
2.如权利要求1所述的方法，其中，HRTF的表示包括HRTF的至少子集和/或HRTF的至少子集的处理版本。
3.如权利要求1或2所述的方法，其中，选择HRTF表示以用作音频滤波器或以用作输入，以通过附加计算来确定音频滤波器。
4.如权利要求1至3中的任一项所述的方法，其中，HRTF数据库包括存储在数据库的存储位置中的头部相关传递函数HRTF的多个表示，其中每个HRTF表示与表示相对于预期受验者的躯干姿势的头部姿势的相关联的头部跟踪数据和表示声源的位置和/或方向的信息一起被存储，并且所获得的头部跟踪数据与表示声源的位置和/或方向的信息一起被用作对HRTF数据库的输入，以找到存储在HRTF数据库中的匹配的头部跟踪和位置/方向数据，并从HRTF数据库提取相关联的HRTF表示。
5.如权利要求1至4中的任一项所述的方法，其中，所述HRTF数据库包括双耳HRTF的表示，并且所选择的HRTF表示是在数据库中与存储的头部跟踪数据相关联的双耳HRTF的表示，所述存储的头部跟踪数据与所获得的头部跟踪数据匹配，所述所获得的头部跟踪数据被用作对HRTF数据库的输入。
6.如权利要求1至5中的任一项所述的方法，其中，所述头部姿势输入与源方向信息组合，以从HRTF数据库选择HRTF的一个或多个表示。
7.一种音频滤波器选择系统（40；100；200），其中，音频滤波器选择系统被配置成获得头部跟踪数据，所述头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，所述头部姿势也称为头部位置，
其中，音频滤波器选择系统被配置成基于所获得的头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示，以及
其中，音频滤波器选择系统被配置成基于所选择的HRTF表示来确定音频滤波器。
8.如权利要求7所述的音频滤波器选择系统，其中，HRTF的表示包括HRTF的至少子集和/或HRTF的至少子集的处理版本。
9.如权利要求7或8所述的音频滤波器选择系统，其中，音频滤波器选择系统被配置成选择HRTF表示以用作音频滤波器或以用作输入，以通过附加计算来确定音频滤波器。
10.如权利要求7至9中的任一项所述的音频滤波器选择系统，其中，音频滤波器选择系统包括音频滤波器选择块，其被配置成使用头部跟踪数据以从HRTF数据库选择HRTF表示。
11.如权利要求10所述的音频滤波器选择系统，其中，音频滤波器选择块是HRTF选择块，其被配置成组合来自头部跟踪器的头部姿势输入和来自音频源块的源方向信息，以从HRTF数据库选择HRTF中的一个或多个表示。
12.如权利要求7至11中的任一项所述的音频滤波器选择系统，其中，所述HRTF数据库包括存储在数据库的存储位置中的头部相关传递函数HRTF的多个表示，其中每个HRTF表示与表示相对于预期受验者的躯干姿势的头部姿势的相关联的头部跟踪数据和表示声源的位置和/或方向的信息一起被存储，以及
其中，音频滤波器选择系统被配置成将获得的头部跟踪数据与表示声源的位置和/或方向的信息一起用作对HRTF数据库的输入，以找到存储在HRTF数据库中的匹配的头部跟踪和位置/方向数据，并从HRTF数据库提取相关联的HRTF表示。
13.如权利要求7至12中的任一项所述的音频滤波器选择系统，其中，所述HRTF数据库包括双耳HRTF的表示，并且所述音频滤波器选择系统被配置成选择数据库中与存储的头部跟踪数据相关联的双耳HRTF的表示，所述存储的头部跟踪数据与获得的头部跟踪数据匹配，所述获得的头部跟踪数据用作对HRTF数据库的输入。
14.如权利要求7至13中的任一项所述的音频滤波器选择系统，其中，所述音频滤波器选择系统被配置成将头部姿势输入与源方向信息组合，以从HRTF数据库选择HRTF的一个或多个表示。
15.如权利要求7至14中的任一项所述的音频滤波器选择系统，其中，音频滤波器选择系统包括HRTF数据库。
16.如权利要求7至15中的任一项所述的音频滤波器选择系统，其中，所述音频滤波器选择系统包括处理器和存储器，所述存储器包括由处理器可执行的指令，由此所述处理器可操作以基于获得的头部跟踪数据从HRTF数据库选择HRTF表示。
17.一种用于音频滤波的方法，其中所述方法包括：
- 获得（S11）头部跟踪数据，所述头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，所述头部姿势也称为头部位置；
- 基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择（S12）头部相关传递函数HRTF的表示；
- 基于选择的HRTF表示来确定（S13）音频滤波器；以及
- 对音频数据应用（S14）音频滤波器。
18.如权利要求17所述的方法，其中，HRTF的表示包括HRTF的至少子集和/或HRTF的至少子集的处理版本。
19.如权利要求17或18所述的方法，其中，选择HRTF表示以用作音频滤波器或以用作输入，以通过附加计算来确定音频滤波器。
20.如权利要求17至19中的任一项所述的方法，其中，所述HRTF数据库包括存储在数据库的存储位置中的头部相关传递函数HRTF的多个表示，其中每个HRTF表示与表示相对于预期受验者的躯干姿势的头部姿势的相关联的头部跟踪数据和表示声源的位置和/或方向的信息一起被存储，并且将获得的头部跟踪数据与表示声源的位置和/或方向的信息一起用作对HRTF数据库的输入，以找到存储在HRTF数据库中的匹配的头部跟踪和位置/方向数据，并从HRTF数据库提取相关联的HRTF表示。
21.如权利要求17至20中的任一项所述的方法，其中，所述头部姿势输入与源方向信息组合，以从HRTF数据库选择一个或多个HRTF。
22.一种音频滤波器系统（20；100；200），其中音频滤波器系统被配置成获得头部跟踪数据，所述头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，所述头部姿势也称为头部位置，
其中，音频滤波器系统被配置成基于获得的头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示，
其中，音频滤波器系统被配置成基于选择的HRTF表示来确定音频滤波器，以及
其中，音频滤波器系统被配置成对音频数据应用音频滤波器。
23.如权利要求22所述的音频滤波器系统，其中，HRTF的表示包括HRTF的至少子集和/或HRTF的至少子集的处理版本。
24.如权利要求22或23所述的音频滤波器系统，其中，音频滤波器系统被配置成选择HRTF表示以用作音频滤波器或以用作输入，以通过附加计算来确定音频滤波器。
25.如权利要求22至24中的任一项所述的音频滤波器系统，其中，所述音频滤波器系统包括滤波器选择块，所述滤波器选择块被配置成使用头部跟踪数据来与HRTF数据库合作地选择或确定音频滤波器。
26.如权利要求25所述的音频滤波器系统，其中，所述滤波器选择块是HRTF选择块，其被配置成组合来自头部跟踪器的头部姿势输入和来自音频源块的源方向信息，以从HRTF数据库选择HRTF的一个或多个表示。
27.如权利要求22至26中的任一项所述的音频滤波器系统，其中，所述HRTF数据库包括存储在数据库的存储位置中的头部相关传递函数HRTF的多个表示，其中每个HRTF表示与表示相对于预期受验者的躯干姿势的头部姿势的相关联的头部跟踪数据和表示声源的位置和/或方向的信息一起被存储，以及
其中，音频滤波器系统被配置成将获得的头部跟踪数据与表示声源的位置和/或方向的信息一起用作对HRTF数据库的输入，以找到存储在HRTF数据库中的匹配的头部跟踪和位置/方向数据，并从HRTF数据库提取相关联的HRTF表示。
28.如权利要求22至27中的任一项所述的音频滤波器系统，其中，所述音频滤波器系统包括卷积器或等效处理块，所述卷积器或等效处理块被配置成将滤波器应用于音频数据。
29.如权利要求22至28中的任一项所述的音频滤波器系统，其中，音频滤波器系统包括HRTF数据库。
30.如权利要求22至29中的任一项所述的音频滤波器系统，其中，所述音频滤波器系统包括处理器和存储器，所述存储器包括由处理器可执行的指令，由此所述处理器可操作以选择HRTF表示，确定音频滤波器并将音频滤波器应用于音频数据。
31.一种用于声音再现的方法，其中所述方法包括：
- 获得（S21）头部跟踪数据，所述头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，所述头部姿势也称为头部位置；
- 基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择（S22）头部相关传递函数HRTF的表示；以及
- 基于选择的HRTF表示来确定（S23）音频滤波器；
- 对音频数据应用（S24）音频滤波器以处理音频数据；
- 将处理的音频数据应用（S25）于声音系统以进行声音再现。
32.如权利要求31所述的方法，其中，HRTF的表示包括HRTF的至少子集和/或HRTF的至少子集的处理版本。
33.如权利要求31或32所述的方法，其中，选择HRTF表示以用作音频滤波器或以用作输入，以通过附加计算来确定音频滤波器。
34.如权利要求31至33中的任一项所述的方法，其中，所述HRTF数据库包括存储在数据库的存储位置中的头部相关传递函数HRTF的多个表示，其中每个HRTF表示与表示相对于预期受验者的躯干姿势的头部姿势的相关联的头部跟踪数据和表示声源的位置和/或方向的信息一起被存储，并且将获得的头部跟踪数据与表示声源的位置和/或方向的信息一起用作对HRTF数据库的输入，以找到存储在HRTF数据库中的匹配的头部跟踪和位置/方向数据，并从HRTF数据库提取相关联的HRTF表示。
35.如权利要求31至34中的任一项所述的方法，其中，所述头部姿势输入与源方向信息组合，以从HRTF数据库选择一个或多个HRTF。
36.如权利要求31至35中的任一项所述的方法，其中，通过从轨迹获取输入以在任何给定时间应用适当的HRTF来沿着空间中的3D轨迹渲染空间中不同位置处的若干音频源，并且叠加若干HRTF处理的音频源以输出到声音系统。
37.一种用于声音再现的系统（10；100；200），其中，所述系统被配置成获得头部跟踪数据，所述头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，所述头部姿势也称为头部位置，
其中，所述系统被配置成基于获得的头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示，
其中，所述系统被配置成基于选择的HRTF表示来确定音频滤波器，
其中，所述系统被配置成对音频数据应用音频滤波器以处理音频数据，
其中，所述系统被配置成将处理的音频数据应用于声音系统以进行声音再现。
38.如权利要求37所述的用于声音再现的系统，其中，HRTF的表示包括HRTF的至少子集和/或HRTF的至少子集的处理版本。
39.如权利要求37或38所述的用于声音再现的系统，其中，所述系统被配置成选择HRTF表示以用作音频滤波器或以用作输入，以通过附加计算来确定音频滤波器。
40.如权利要求37至39中的任一项所述的用于声音再现的系统，其中，所述系统包括滤波器选择块，所述滤波器选择块被配置成使用头部跟踪数据来与HRTF数据库合作地选择或确定音频滤波器。
41.如权利要求40所述的用于声音再现的系统，其中，滤波器选择块是HRTF选择块，其被配置成组合来自头部跟踪器的头部姿势输入和来自音频源块的源方向信息，以从HRTF数据库选择HRTF的一个或多个表示。
42.如权利要求37至41中的任一项所述的用于声音再现的系统，其中，所述HRTF数据库包括存储在数据库的存储位置中的头部相关传递函数HRTF的多个表示，其中每个HRTF表示与表示相对于预期受验者的躯干姿势的头部姿势的相关联的头部跟踪数据和表示声源的位置和/或方向的信息一起被存储，以及
其中，所述系统被配置成将获得的头部跟踪数据与表示声源的位置和/或方向的信息一起用作对HRTF数据库的输入，以找到存储在HRTF数据库中的匹配的头部跟踪和位置/方向数据，并从HRTF数据库提取相关联的HRTF表示。
43.如权利要求37至42中的任一项所述的用于声音再现的系统，其中，所述系统包括卷积器或等效处理块，所述卷积器或等效处理块被配置成将滤波器应用于音频数据。
44.如权利要求37至43中的任一项所述的用于声音再现的系统，其中，所述系统包括HRTF数据库。
45.如权利要求37至44中的任一项所述的用于声音再现的系统，其中，所述系统是声音渲染系统，其被配置成使用HRTF数据库、头部跟踪设备、在期望位置处的声源的音频输入，并从数据库选择和应用HRTF的适当表示，以输出用于声音系统的音频数据。
46.如权利要求45所述的用于声音再现的系统，其中，所述头部跟踪设备被配置成产生关于人的头部姿势的实时数据。
47.如权利要求37至46中的任一项所述的用于声音再现的系统，其中，所述系统被配置用于除了声源相对于躯干的方向之外还考虑头部姿势相对于躯干姿势的影响来产生虚拟声源。
48.如权利要求37至47中的任一项所述的用于声音再现的系统，其中，所述系统被配置成通过并行渲染块处理不同位置处的若干声源。
49.如权利要求37至48中的任一项所述的用于声音再现的系统，其中，所述系统被配置成通过从轨迹获取输入以在任何给定时间应用适当的HRTF表示来沿着空间中的3D轨迹渲染空间中不同位置处的若干音频源，并且叠加若干HRTF处理的音频源以输出到声音系统。
50.如权利要求37至49中的任一项所述的用于声音再现的系统，其中，所述系统被配置成通过组合位于家庭影院配置中的虚拟声源来创建虚拟家庭影院扬声器设置。
51.如权利要求37至50中的任一项所述的用于声音再现的系统，其中，所述系统是双耳3D声音渲染系统。
52.如权利要求37至51中的任一项所述的用于声音再现的系统，其中，所述系统用移动电话、计算机、平板计算机、头戴受话器或虚拟现实、增强现实和/或所谓的X现实头戴送受话器来实现。
53.如权利要求37至52中的任一项所述的用于声音再现的系统，其中，所述系统包括处理器和存储器，所述存储器包括由处理器可执行的指令，由此所述处理器可操作以选择HRTF表示，确定音频滤波器，将音频滤波器应用于音频数据，并将处理的音频数据应用于声音系统以进行声音再现。
54.一种计算机程序（225；235），其包括指令，当由至少一个处理器执行时，所述指令使得所述至少一个处理器：
- 获得头部跟踪数据，所述头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，所述头部姿势也称为头部位置；以及
- 基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示；以及
- 基于选择的HRTF表示来确定音频滤波器。
55.一种计算机程序（225；235），其包括指令，当由至少一个处理器执行时，所述指令使得（一个或多个）处理器：
- 获得头部跟踪数据，所述头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，所述头部姿势也称为头部位置；
- 基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示；以及
- 基于选择的HRTF表示来确定音频滤波器；以及
- 对音频数据应用音频滤波器。
56.一种计算机程序（225；235），其包括指令，当由至少一个处理器执行时，所述指令使得（一个或多个）处理器：
- 获得头部跟踪数据，所述头部跟踪数据表示相对于预期受验者的躯干姿势的头部姿势，所述头部姿势也称为头部位置；
- 基于头部跟踪数据和表示声源的位置和/或方向的信息，从HRTF数据库选择头部相关传递函数HRTF的表示；以及
- 基于选择的HRTF表示来确定音频滤波器；
- 对音频数据应用音频滤波器以处理音频数据；以及
- 将处理的音频数据转发到声音系统，以使得能够实现声音再现。
57.一种计算机程序产品（220；230），包括其上存储有权利要求54至56中的任一项所述的计算机程序（225；235）的计算机可读介质。
CN201780067772.9A 2016-11-04 2017-10-24 用于基于头部跟踪数据确定和/或使用音频滤波器的方法和系统 Pending CN110192396A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662417538P 2016-11-04 2016-11-04
US62/417538 2016-11-04
PCT/SE2017/051043 WO2018084770A1 (en) 2016-11-04 2017-10-24 Methods and systems for determining and/or using an audio filter based on head-tracking data

Publications (1)

Publication Number Publication Date
CN110192396A true CN110192396A (zh) 2019-08-30

Family

ID=62076201

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780067764.4A Pending CN109997376A (zh) 2016-11-04 2017-10-24 使用头部跟踪数据构建音频滤波器数据库
CN201780067772.9A Pending CN110192396A (zh) 2016-11-04 2017-10-24 用于基于头部跟踪数据确定和/或使用音频滤波器的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780067764.4A Pending CN109997376A (zh) 2016-11-04 2017-10-24 使用头部跟踪数据构建音频滤波器数据库

Country Status (4)

Country Link
US (2) US20190278802A1 (zh)
EP (2) EP3535988A4 (zh)
CN (2) CN109997376A (zh)
WO (2) WO2018084769A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153552A (zh) * 2020-09-10 2020-12-29 海菲曼（天津）科技有限公司 一种基于音频分析的自适应立体声系统
CN114223215A (zh) * 2019-09-28 2022-03-22 脸谱科技有限责任公司 用于呈现音频内容的头部相关传递函数的动态自定义
CN114339582A (zh) * 2021-11-30 2022-04-12 北京小米移动软件有限公司 双通道音频处理、方向感滤波器生成方法、装置以及介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111508507B (zh) * 2019-01-31 2023-03-03 华为技术有限公司 一种音频信号处理方法及装置
GB2581785B (en) * 2019-02-22 2023-08-02 Sony Interactive Entertainment Inc Transfer function dataset generation system and method
CN110611863B (zh) * 2019-09-12 2020-11-06 苏州大学 360度音源实时回放系统
US11375333B1 (en) * 2019-09-20 2022-06-28 Apple Inc. Spatial audio reproduction based on head-to-torso orientation
CN111246345B (zh) * 2020-01-08 2021-09-21 华南理工大学 一种远程声场实时虚拟重现的方法与装置
CN111506763A (zh) * 2020-04-15 2020-08-07 厦门快商通科技股份有限公司 一种声纹数据库建立方法和装置以及设备
US11586280B2 (en) 2020-06-19 2023-02-21 Apple Inc. Head motion prediction for spatial audio applications
US11675423B2 (en) 2020-06-19 2023-06-13 Apple Inc. User posture change detection for head pose tracking in spatial audio applications
US11589183B2 (en) 2020-06-20 2023-02-21 Apple Inc. Inertially stable virtual auditory space for spatial audio applications
US11647352B2 (en) 2020-06-20 2023-05-09 Apple Inc. Head to headset rotation transform estimation for head pose tracking in spatial audio applications
US11582573B2 (en) * 2020-09-25 2023-02-14 Apple Inc. Disabling/re-enabling head tracking for distracted user of spatial audio application
WO2022108494A1 (en) * 2020-11-17 2022-05-27 Dirac Research Ab Improved modeling and/or determination of binaural room impulse responses for audio applications
US11653166B2 (en) * 2021-05-27 2023-05-16 Qualcomm Incorporated Directional audio generation with multiple arrangements of sound sources

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050271212A1 (en) * 2002-07-02 2005-12-08 Thales Sound source spatialization system
CN101938686A (zh) * 2010-06-24 2011-01-05 中国科学院声学研究所 一种普通环境中头相关传递函数的测量系统及测量方法
CN102568535A (zh) * 2010-12-23 2012-07-11 美律实业股份有限公司 互动式声音录放装置
CN102665156A (zh) * 2012-03-27 2012-09-12 中国科学院声学研究所 一种基于耳机的虚拟3d重放方法
CN104284291A (zh) * 2014-08-07 2015-01-14 华南理工大学 5.1通路环绕声的耳机动态虚拟重放方法及其实现装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050147261A1 (en) 2003-12-30 2005-07-07 Chiang Yeh Head relational transfer function virtualizer
US7756281B2 (en) 2006-05-20 2010-07-13 Personics Holdings Inc. Method of modifying audio content
US9173032B2 (en) 2009-05-20 2015-10-27 The United States Of America As Represented By The Secretary Of The Air Force Methods of using head related transfer function (HRTF) enhancement for improved vertical-polar localization in spatial audio systems
US9578440B2 (en) * 2010-11-15 2017-02-21 The Regents Of The University Of California Method for controlling a speaker array to provide spatialized, localized, and binaural virtual surround sound
US9271102B2 (en) * 2012-08-16 2016-02-23 Turtle Beach Corporation Multi-dimensional parametric audio system and method
WO2015023685A1 (en) * 2013-08-12 2015-02-19 Turtle Beach Corporation Multi-dimensional parametric audio system and method
US9560464B2 (en) 2014-11-25 2017-01-31 The Trustees Of Princeton University System and method for producing head-externalized 3D audio through headphones
KR101627652B1 (ko) * 2015-01-30 2016-06-07 가우디오디오랩 주식회사 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
GB2542609A (en) * 2015-09-25 2017-03-29 Nokia Technologies Oy Differential headtracking apparatus
ES2883874T3 (es) 2015-10-26 2021-12-09 Fraunhofer Ges Forschung Aparato y método para generar una señal de audio filtrada realizando renderización de elevación
CN105979469B (zh) * 2016-06-29 2020-01-31 维沃移动通信有限公司 一种录音处理方法及终端
US20180007488A1 (en) * 2016-07-01 2018-01-04 Ronald Jeffrey Horowitz Sound source rendering in virtual environment
US10798514B2 (en) * 2016-09-01 2020-10-06 Universiteit Antwerpen Method of determining a personalized head-related transfer function and interaural time difference function, and computer program product for performing same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050271212A1 (en) * 2002-07-02 2005-12-08 Thales Sound source spatialization system
CN101938686A (zh) * 2010-06-24 2011-01-05 中国科学院声学研究所 一种普通环境中头相关传递函数的测量系统及测量方法
CN102568535A (zh) * 2010-12-23 2012-07-11 美律实业股份有限公司 互动式声音录放装置
CN102665156A (zh) * 2012-03-27 2012-09-12 中国科学院声学研究所 一种基于耳机的虚拟3d重放方法
CN104284291A (zh) * 2014-08-07 2015-01-14 华南理工大学 5.1通路环绕声的耳机动态虚拟重放方法及其实现装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FABIAN BRINKMANN ET AL: "Audibility of head-above-torso orientation in head-related transfer functions", 《FORUM ACUSTICUM 2014》 *
RISHABH RANJAN ET AL: "Fast Continuous Acquisition of HRTF for Human Subjects with Unconstrained Random Head Movements in Azimuth and Elevation", 《IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS》 *
VESA VALIMAKI: "Assisted Listening Using a Headset: Enhancing audio perception in real, augmented, and virtual environments", 《 IEEE SIGNAL PROCESSING MAGAZINE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114223215A (zh) * 2019-09-28 2022-03-22 脸谱科技有限责任公司 用于呈现音频内容的头部相关传递函数的动态自定义
CN112153552A (zh) * 2020-09-10 2020-12-29 海菲曼（天津）科技有限公司 一种基于音频分析的自适应立体声系统
CN112153552B (zh) * 2020-09-10 2021-12-17 头领科技（昆山）有限公司 一种基于音频分析的自适应立体声系统
CN114339582A (zh) * 2021-11-30 2022-04-12 北京小米移动软件有限公司 双通道音频处理、方向感滤波器生成方法、装置以及介质
CN114339582B (zh) * 2021-11-30 2024-02-06 北京小米移动软件有限公司 双通道音频处理、方向感滤波器生成方法、装置以及介质

Also Published As

Publication number Publication date
EP3535987A1 (en) 2019-09-11
EP3535988A1 (en) 2019-09-11
EP3535987A4 (en) 2020-06-10
WO2018084770A1 (en) 2018-05-11
EP3535988A4 (en) 2020-06-10
CN109997376A (zh) 2019-07-09
US20200059749A1 (en) 2020-02-20
WO2018084769A1 (en) 2018-05-11
US10715945B2 (en) 2020-07-14
US20190278802A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
CN110192396A (zh) 用于基于头部跟踪数据确定和/或使用音频滤波器的方法和系统
JP6446068B2 (ja) ルーム最適化された伝達関数の決定および使用
CN108616789B (zh) 基于双耳实时测量的个性化虚拟音频回放方法
EP3219115A1 (en) 3d immersive spatial audio systems and methods
CN107018460A (zh) 具有头部跟踪的双耳头戴式耳机呈现
JP2000152397A (ja) 複数の聴取者用３次元音響再生装置及びその方法
US20200260209A1 (en) Devices and methods for binaural spatial processing and projection of audio signals
Johansson VR for your ears: dynamic 3D audio is key to the immersive experience by mathias johansson· illustration by eddie guy
US9560464B2 (en) System and method for producing head-externalized 3D audio through headphones
US20190394596A1 (en) Transaural synthesis method for sound spatialization
CN105594227A (zh) 利用恒定功率成对平移的矩阵解码器
CN109417677A (zh) 用于预渲染的双耳音频的头部跟踪
Breebaart et al. Phantom materialization: A novel method to enhance stereo audio reproduction on headphones
Jakka Binaural to multichannel audio upmix
Surdu et al. A. LI. EN: An Audiovisual Dataset of different Acoustical Impulse Responses Measured in a Living Room Environment
US20230104111A1 (en) Determining a virtual listening environment
CN117793609A (zh) 一种声场渲染方法和装置
Otani et al. Dynamic crosstalk cancellation for spatial audio reproduction
Spagnol Individual Three-dimensional Spatial Auditory Displays for Immersive Virtual Environments
Rastogi et al. BiVR: A device comprising of Virtual reality and Binaural audio
Costerton A systematic review of the most appropriate methods of achieving spatially enhanced audio for headphone use
Fu et al. Fast 3D audio image rendering using equalized and relative HRTFs
Cardenas Simulation of a sound field reproduction approach for an innovative musical venue (II): Pre-processing of Head-Related Impulse Responses
Jakka Binauraalisen audiosignaalin muokkaus monikanavaiselle äänentoistojärjestelmälle
Sousa The development of a'Virtual Studio'for monitoring Ambisonic based multichannel loudspeaker arrays through headphones

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190830