CN113170273B - 用于双耳音频渲染的耳间时间差交叉渐变器 - Google Patents

用于双耳音频渲染的耳间时间差交叉渐变器 Download PDF

Info

Publication number
CN113170273B
CN113170273B CN201980080146.2A CN201980080146A CN113170273B CN 113170273 B CN113170273 B CN 113170273B CN 201980080146 A CN201980080146 A CN 201980080146A CN 113170273 B CN113170273 B CN 113170273B
Authority
CN
China
Prior art keywords
ear
delay
audio signal
time
applying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980080146.2A
Other languages
English (en)
Other versions
CN113170273A (zh
Inventor
S·C·迪克尔
H·M·巴尔巴亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202310251649.XA priority Critical patent/CN116249053B/zh
Publication of CN113170273A publication Critical patent/CN113170273A/zh
Application granted granted Critical
Publication of CN113170273B publication Critical patent/CN113170273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1058—Manufacture or assembly
    • H04R1/1075—Mountings of transducers in earphones or headphones
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Manufacturing & Machinery (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Headphones And Earphones (AREA)

Abstract

本公开的示例描述了用于向可穿戴头部装置的用户呈现音频信号的系统和方法。根据示例方法，接收第一输入音频信号，该第一输入音频信号对应于经由可穿戴头部装置被呈现给用户的虚拟环境中的第一源位置。处理第一输入音频信号以生成左输出音频信号和右输出音频信号。经由与可穿戴头部装置相关联的左扬声器向用户的左耳呈现左输出音频信号。经由与可穿戴头部装置相关联的右扬声器向用户的右耳呈现右输出音频信号。

Description

用于双耳音频渲染的耳间时间差交叉渐变器
相关申请的引用
本申请要求于2018年10月5日提交的美国临时申请No.62/742,254、2019年3月1日提交的美国临时申请No.62/812,546和2018年10月5日提交的美国临时申请No.62/742,191的优先权益，其内容通过引用整体合并于此。
技术领域
本公开大体上涉及用于音频信号处理的系统和方法，具体地，涉及用于在混合现实环境中呈现音频信号的系统和方法。
背景技术
沉浸式的和可信的虚拟环境需要以与用户的期望一致的方式呈现音频信号——例如，该期望指与虚拟环境中的对象对应的音频信号将与对象在虚拟环境中的位置和该对象的视觉呈现一致。在虚拟现实、增强现实和混合现实环境中创建丰富且复杂的声音景观(soundscape)(声音环境)需要对大量数字音频信号的高效呈现，每一个数字音频信号显得来自用户环境中的不同位置/接近度和/或方向。收听者的大脑适于识别用户的两个耳朵之间的声音到达时间的差异(例如，通过检测两个耳朵之间的相移)；以及根据时间差推断声音的空间原点。因此，对于虚拟环境，准确地呈现用户的左耳与右耳之间的耳间时间差(ITD)对于用户在虚拟环境中识别音频源的能力而言可能是关键的。然而，调整声音景观以可信地反映对象和用户的位置和取向可能需要对音频信号的快速改变，该音频信号可能导致不期望的声音伪像(sonic artifact)，诸如“点击”声音，这损害了虚拟环境的沉浸感。期望的是，向虚拟环境的用户呈现声音景观以准确地向用户的耳朵呈现耳间时间差，同时使声音伪像最小化并且保持在计算上是高效的系统和方法。
发明内容
本公开的示例描述了用于向可穿戴头部装置的用户呈现音频信号的系统和方法。根据示例方法，接收第一输入音频信号，该第一输入音频信号对应于经由可穿戴头部装置被呈现给用户的虚拟环境中的源位置。处理第一输入音频信号以生成左输出音频信号和右输出音频信号。经由与可穿戴头部装置相关联的左扬声器向用户的左耳呈现左输出音频信号。经由与可穿戴头部装置相关联的右扬声器向用户的右耳呈现右输出音频信号。处理第一输入音频信号包括：将延迟过程应用于第一输入音频信号以生成左音频信号和右音频信号；调整左音频信号的增益；调整右音频信号的增益；将第一头相关传递函数(HRTF)应用于左音频信号以生成左输出音频信号；以及将第二HRTF应用于右音频信号以生成右输出音频信号。将延迟过程应用于第一输入音频信号包括：将耳间时间延迟(ITD)应用于第一输入音频信号，ITD基于源位置来确定。
附图说明
图1示出了根据本公开的一些实施例的示例音频空间化系统。
图2A-2C示出了根据本公开的一些实施例的示例延迟模块。
图3A-3B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及示例性的对应延迟模块。
图4A-4B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及示例性的对应延迟模块。
图5A-5B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及示例性的对应延迟模块。
图6A示出了根据本公开的一些实施例的示例交叉渐变器。
图6B-6C示出了根据本公开的一些实施例的用于交叉渐变器的示例控制信号。
图7A-7B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
图8A-8B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
图9A-9B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
图10A-10B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
图11A-11B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
图12A-12B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
图13A-13B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
图14A-14B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
图15A-15B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
图16A-16B分别示出了根据本公开的一些实施例的相对于收听者的示例虚拟声源以及包括交叉渐变器的示例性的对应延迟模块。
图17示出了根据本公开的一些实施例的示例延迟模块。
图18A-18E示出了根据本公开的一些实施例的示例延迟模块。
图19-22示出了根据本公开的一些实施例的用于在延迟模块之间转变(transition)的示例过程。
图23示出了根据本公开的一些实施例的示例可穿戴系统。
图24示出了根据本公开的一些实施例的可以与示例可穿戴系统结合使用的示例手持式控制器。
图25示出了根据本公开的一些实施例的可以与示例可穿戴系统结合使用的示例辅助单元。
图26示出了根据本公开的一些实施例的用于示例可穿戴系统的示例功能框图。
具体实施方式
在下面的示例描述中，参考形成其一部分的附图，并且在附图中通过图示的方式示出了可以实践的具体示例。应当理解，在不脱离所公开示例的范围的情况下，可以使用其他示例，并且可以进行结构上的改变。
示例可穿戴系统
图23示出了示例可穿戴式头部装置2300，其被配置为佩戴在用户的头部上。可穿戴式头部装置2300可以是更广泛的可穿戴系统的一部分，该系统包括一个或多个组件，例如头部装置(例如，可穿戴式头部装置2300)、手持式控制器(例如，下面描述的手持式控制器2400)和/或辅助单元(例如，下面描述的辅助单元2500)。在一些示例中，可穿戴式头部装置2300可以用于虚拟现实、增强现实或混合现实系统或应用。可穿戴式头部装置2300可以包括一个或多个显示器，例如显示器2310A和2310B(其可以包括左和右透射显示器以及用于将光从显示器耦合到用户的眼睛的相关联的组件，例如正交光瞳扩展(OPE)光栅组2312A/2312B和出射光瞳扩展(EPE)光栅组2314A/2314B)；左和右声学结构，例如扬声器2320A和2320B(其可以被安装在镜腿2322A和2322B上，并分别位于用户的左耳和右耳附近)；一个或多个传感器，例如红外传感器、加速度计、GPS单元，惯性测量单元(IMU，例如，IMU 2326)、声学传感器(例如，麦克风2350)；正交线圈电磁接收器(例如，被示出为安装到左镜腿2322A的接收器2327)；背离用户定向的左和右相机(例如，深度(飞行时间)相机2330A和2330B)；以及朝向用户定向的左眼和右眼相机(例如，用于检测用户的眼睛运动)(例如，眼睛相机2328A和2328B)。然而，在不脱离本公开的范围的情况下，可穿戴式头部装置2300可以并入任何合适的显示技术以及传感器或其他组件的任何合适的数量、类型或组合。在一些示例中，可穿戴式头部装置2300可以并入一个或多个麦克风2350，该麦克风2350被配置为检测由用户的语音产生的音频信号；这样的麦克风可以放置为与用户的嘴相邻。在一些示例中，可穿戴式头部装置2300可以并入联网特征(例如，Wi-Fi功能)以与包括其他可穿戴系统的其他装置和系统通信。可穿戴式头部装置2300还可以包括诸如电池、处理器、存储器、存储单元或各种输入装置(例如，按钮、触摸板)的组件；或者可以被耦接到包括一个或多个这样的组件的手持式控制器(例如，手持式控制器2400)或辅助单元(例如，辅助单元2500)。在一些示例中，传感器可以被配置为输出头戴式单元的相对于用户环境的一组坐标，并且可以向执行同步定位和映射(SLAM)过程和/或视觉里程计算法的处理器提供输入。在一些示例中，可穿戴式头部装置2300可以耦接到手持式控制器2400和/或辅助单元2500，如下文进一步描述的。
图24示出了示例可穿戴系统的示例移动手持式控制器组件2400。在一些示例中，手持式控制器2400可以与可穿戴式头部装置2300和/或以下描述的辅助单元2500有线或无线通信。在一些示例中，手持式控制器2400包括要由用户握持的手柄部分2420以及沿顶表面2410设置的一个或多个按钮2440。在一些示例中，手持式控制器2400可以被配置为用作光学跟踪目标；例如，可穿戴式头部装置2300的传感器(例如，相机或其他光学传感器)可以被配置为检测手持式控制器2400的位置和/或取向—通过扩展，这可以指示握住手持式控制器2400的用户的手的位置和/或取向。在一些示例中，手持式控制器2400可以包括处理器、存储器、存储单元、显示器或者一个或多个输入装置，例如上面描述的。在一些示例中，手持式控制器2400包括一个或多个传感器(例如，上面关于可穿戴式头部装置2300描述的任何传感器或跟踪组件)。在一些示例中，传感器可以检测手持式控制器2400相对于可穿戴式头部装置2300或相对于可穿戴系统的另一组件的位置或取向。在一些示例中，传感器可以定位在手持式控制器2400的手柄部分2420中和/或可以被机械地耦接到手持式控制器。手持式控制器2400可以被配置为提供一个或多个输出信号，例如，与按钮2440的按下状态对应的信号；或者手持式控制器2400的位置、取向和/或运动(例如，通过IMU)。这样的输出信号可以用作可穿戴式头部装置2300的处理器、辅助单元2500或可穿戴系统的另一组件的输入。在一些示例中，手持式控制器2400可以包括一个或多个麦克风，以检测声音(例如，用户的语音、环境声音)以及在一些情况下以将与检测到的声音对应的信号提供给处理器(例如，可穿戴式头部装置2300的处理器)。
图25示出了示例可穿戴系统的示例辅助单元2500。在一些示例中，辅助单元2500可以与可穿戴式头部装置2300和/或手持式控制器2400有线或无线通信。辅助单元2500可以包括电池，以提供能量来操作可穿戴系统的一个或多个组件，例如可穿戴式头部装置2300和/或手持式控制器2400(包括显示器、传感器、声学结构、处理器、麦克风和/或可穿戴式头部装置2300或手持式控制器2400的其他组件)。在一些示例中，辅助单元2500可以包括处理器、存储器、存储单元、显示器、一个或多个输入装置和/或一个或多个传感器，诸如上面描述的。在一些示例中，辅助单元2500包括用于将辅助单元附接至用户(例如，用户佩戴的皮带)的夹子2510。使用辅助单元2500来容纳可穿戴系统的一个或多个组件的优势是，这样做可以允许大或重的组件被携带在用户的腰部、胸部或背部上—它们相对非常适合于支撑大和重的对象—而不是安装到用户的头部(例如，如果被容纳在可穿戴式头部装置2300中)或由用户的手部携带(例如，如果被容纳在手持式控制器2400中)。对于相对重或体积大的组件，例如电池，这可能是特别有利的。
图26示出了可以与示例可穿戴系统2600对应的示例功能框图，该示例可穿戴系统诸如可以包括上面描述的示例可穿戴式头部装置2300、手持式控制器2400和辅助单元2500。在一些示例中，可穿戴系统2600可以用于虚拟现实、增强现实或混合现实应用。如图26所示，可穿戴系统2600可以包括示例手持式控制器2600B，在此称为“图腾(totem)”(并且其可以对应于上述手持式控制器2400)；手持式控制器2600B可包括图腾至头部设备(headgear)六自由度(6DOF)图腾子系统2604A。可穿戴系统2600还可以包括示例头部设备装置2600A(其可以对应于上述可穿戴式头部装置2300)；头部设备装置2600A包括图腾至头部设备6DOF头部设备子系统2604B。在该示例中，6DOF图腾子系统2604A和6DOF头部设备子系统2604B协作以确定手持式控制器2600B相对于头部设备装置2600A的六个坐标(例如，三个平移方向的偏移和沿三个轴的旋转)。六自由度可以相对于头部设备装置2600A的坐标系来表示。三个平移偏移可以被表示为这种坐标系中的X、Y和Z偏移、可以被表示为平移矩阵或可以被表示为某种其他表示。旋转自由度可以表示为偏航、俯仰和滚动旋转的顺序；表示为矢量；表示为旋转矩阵；表示为四元数；或表示为某种其他表示。在一些示例中，被包括在头部设备装置2600A中的一个或多个深度相机2644(和/或一个或多个非深度相机)和/或一个或多个光学目标(例如，如上所述的手持式控制器2400的按钮2440或被包括在手持式控制器中的专用光学目标)可用于6DOF跟踪。在一些示例中，如上所述，手持式控制器2600B可以包括照相机；以及头部设备装置2600A可包括与相机结合的用于光学跟踪的光学目标。在一些示例中，头部设备装置2600A和手持式控制器2600B每一者都包括一组三个正交定向的螺线管，其用于无线地发送和接收三个可区分信号。通过测量在用于接收的每个线圈中接收到的三个可区分信号的相对幅度，可以确定手持式控制器2600B相对于头部设备装置2600A的6DOF。在一些示例中，6DOF图腾子系统2604A可以包括惯性测量单元(IMU)，该惯性测量单元可用于提供有关手持式控制器2600B的快速运动的改善的准确度和/或更及时的信息。
在一些涉及增强现实或混合现实应用的示例中，可能期望将坐标从局部坐标空间(例如，相对于头部设备装置2600A固定的坐标空间)变换为惯性坐标空间或环境坐标系协调空间。例如，这样的变换对于头部设备装置2600A的显示器可能是必要的，以在相对于真实环境的预期位置和取向处而不是在显示器上的固定位置和取向处(例如，在头部设备装置2600A的显示器中的相同位置)呈现虚拟对象(例如，坐在真实椅子上、面向前方的虚拟人，不考虑头部设备装置2600A的位置和取向)。这可以维持虚拟对象存在于真实环境中的假象(并且例如不会随着头部设备装置2600A的移动和旋转而在真实环境中出现定位不自然)。在一些示例中，可以通过处理来自深度相机2644的图像(例如，使用同时定位和映射(SLAM)和/或视觉里程计过程)来确定坐标空间之间的补偿变换，以便确定头部设备装置2600A相对于惯性或环境坐标系的变换。在图26所示的示例中，深度相机2644可以被耦接到SLAM/视觉里程计框2606，并且可以向框2606提供图像。SLAM/视觉里程计框2606实现方式可以包括被配置为处理该图像并确定用户头部的位置和取向的处理器，然后可以用该位置和取向来识别头部坐标空间与实际坐标空间之间的变换。类似地，在一些示例中，关于用户的头部姿势和位置的附加信息源是从头部设备装置2600A的IMU 2609获得的。来自IMU2609的信息可以与来自SLAM/视觉里程计框2606的信息集成，以提供关于用户的头部姿势和位置的快速调整的改善的准确度和/或更及时的信息。
在一些示例中，深度相机2644可以将3D图像提供给手部手势跟踪器2611，其可以在可穿戴头部装置2600A的处理器中实现。手部手势跟踪器2611可以例如通过将从深度相机2644接收的3D图像与代表手部手势的存储模式进行匹配来识别用户的手部手势。识别用户手部手势的其他合适的技术将显而易见。
在一些示例中，一个或多个处理器2616可以被配置为从头部设备子系统2604B、IMU 2609、SLAM/视觉里程计框2606、深度相机2644、麦克风2650和/或手部手势跟踪器2611接收数据。处理器2616还可以发送和接收来自6DOF图腾系统2604A的控制信号。处理器2616可以被无线地耦接到6DOF图腾系统2604A，例如在手持式控制器2600B不被限制的示例中。处理器2616可以进一步与诸如音频-视觉内容存储器2618、图形处理单元(GPU)2620和/或数字信号处理器(DSP)音频空间化器2622的附加组件通信。DSP音频空间化器2622可以被耦接到头部相关传递函数(HRTF)存储器2625。GPU 2620可以包括被耦接到成像式光调制器的左源2624的左信道输出和被耦接到成像式光调制器的右源2626的右信道输出。GPU 2620可以将立体图像数据输出到成像式光调制器的源2624、2626。DSP音频空间化器2622可以将音频输出到左扬声器2612和/或右扬声器2614。DSP音频空间化器2622可以从处理器2616接收输入，该输入指示从用户到虚拟声源的矢量(其可以由用户例如经由手持式控制器2600B移动)的方向矢量。基于该方向矢量，DSP音频空间化器2622可以确定对应的HRTF(例如，通过访问HRTF或者通过内插多个HRTF)。然后，DSP音频空间化器2622可以将所确定的HRTF应用于音频信号，诸如与由虚拟对象生成的虚拟声音对应的音频信号。通过并入用户相对于混合现实环境中的虚拟声音的相对位置和取向—也就是，通过呈现与用户对虚拟声音听起来像是在真实环境中的真实声音的期望相匹配的虚拟声音，可以增强虚拟声音的可信度和真实性。
在一些示例中，诸如图26中所示，处理器2616、GPU 2620、DSP音频空间化器2622、HRTF存储器2625和音频/视觉内容存储器2618中的一个或多个可以被包括在辅助单元2600C(其可以对应于上述辅助单元2500)中。辅助单元2600C可以包括电池427，以给其组件供电和/或向头部设备装置2600A和/或手持式控制器2600B供电。将这样的组件包括在可以安装到用户腰部的辅助单元中，可以限制头部设备装置2600A的尺寸和重量，进而可以减少用户头部和颈部的疲劳。
虽然图26呈现了与示例可穿戴系统2600的各种组件对应的元件，但是这些组件的各种其他合适的布置对于本领域技术人员而言将变得显而易见。例如，图26中呈现的与辅助单元2600C相关联的元件可以替代地与头部设备装置2600A或手持式控制器2600B相关联。此外，一些可穿戴系统可以完全放弃手持式控制器2600B或辅助单元2600C。这样的改变和修改应被理解为被包括在所公开的示例的范围内。
音频渲染
以下描述的系统和方法可以在增强现实或混合现实系统中实现，诸如上文所描述的。例如，增强现实系统的一个或多个处理器(例如，CPU、DSP)可用于处理音频信号或实现以下描述的计算机实现的方法的步骤；增强现实系统的传感器(例如，相机、声学传感器、IMU、LIDAR、GPS)可用于确定系统的用户或用户环境中的元素的位置和/或取向；以及增强现实系统的扬声器可用于向用户呈现音频信号。
在如上文所描述的增强现实或混合现实系统中，一个或多个处理器(例如，DSP音频声场定位器2622)可处理一个或多个音频信号以经由一个或多个扬声器(例如，上文所描述的左扬声器2612和右扬声器2614)呈现给可穿戴头部装置的用户。在一些实施例中，一个或多个扬声器可以属于与可穿戴头部装置分离的单元(例如，耳机)。音频信号的处理需要在感知的音频信号的真实性——例如，在混合现实环境中向用户呈现的音频信号与用户对音频信号将如何在真实环境中发出声音的期望相匹配的程度——与处理音频信号所涉及的计算开销之间进行折衷。在虚拟环境中将音频信号进行逼真地空间化对于创建沉浸式的和可信的用户体验可能是关键的。
图1示出了根据一些实施例的示例空间化系统100。系统100通过将输入声音/信号空间化来创建声音景观(声音环境)。系统100包括编码器104、混合器106和解码器110。
系统100接收输入信号102。输入信号102可以包括与要在声音景观中呈现的对象对应的数字音频信号。在一些实施例中，数字音频信号可以是音频数据的脉冲编码调制(PCM)波。
编码器104接收输入信号102并输出一个或多个左增益被调整的信号和一个或多个右增益被调整的信号。在该示例中，编码器104包括延迟模块105。延迟模块105可以包括可以由处理器(诸如上述增强现实系统的处理器)执行的延迟过程。为了使声音景观中的对象显得源自特定位置，编码器104因此使用延迟模块105来延迟输入信号102，并设置被输入到增益模块(g_L1…g_LM和g_R1…g_RM)的控制信号(CTRL_L1…CRTL_LM和CTRL_R1…CTRL_RM)的值。
延迟模块105接收输入信号102并输出左耳延迟和右耳延迟。左耳延迟被输入到左增益模块(g_L1…g_LM)，以及右耳延迟被输入到右增益模块(g_R1…g_RM)。左耳延迟可以是被延迟了第一值的输入信号102，以及右耳延迟可以是被延迟了第二值的输入信号102。在一些实施例中，左耳延迟和/或右耳延迟可以是零，在这种情况下，延迟模块105分别有效地将输入信号102路由到左增益模块和/或右增益模块。耳间时间差(ITD)可以是左耳延迟与右耳延迟之间的差。
一个或多个左控制信号(CTRL_L1…CTRL_LM)被输入到一个或多个左增益模块，以及一个或多个右控制值(CTRL_R1…CTRL_RM)被输入到一个或多个右增益模块。一个或多个左增益模块输出一个或多个左增益被调整的信号，以及一个或多个右增益模块输出一个或多个右增益被调整的信号。
一个或多个左增益模块中的每一个基于一个或多个左控制信号中的控制信号的值来调整左耳延迟的增益，以及一个或多个右增益模块中的每一个基于一个或多个右控制信号中的控制信号的值来调整右耳延迟的增益。
编码器104基于与输入信号102对应的要在声音景观中呈现的对象的位置来调整被输入到增益模块的控制信号的值。每一个增益模块可以是将输入信号102乘以作为控制信号的值的函数的因子的乘法器。
混合器106接收来自编码器104的增益被调整的信号、混合增益被调整的信号、并输出混合信号。混合信号被输入到解码器110，并且解码器110的输出被输入到左耳扬声器112A和右耳扬声器112B(在下文中统称为“扬声器112”)。
解码器110包括左HRTF滤波器L_HRTF_1-M和右HRTF滤波器R_HRTF_1-M。解码器110接收来自混合器106的混合信号、对混合信号进行滤波和相加(sum)、并且将滤波后的信号输出到扬声器112。解码器110的第一相加块/电路使从左HRTF滤波器输出的左滤波后的信号相加，以及解码器110的第二相加块/电路使从右HRTF滤波器输出的右滤波后的信号相加。
在一些实施例中，解码器110可以包括串扰消除器，以将左/右物理扬声器的位置变换到相应耳朵的位置，诸如在2006年10月5-8日在音频工程协会会议(AudioEngineering Society Convention)上由Jot等提出名称为用于交互式音频的复杂声学场景的双耳模拟(Binaural Simulation of Complex Acoustic Scenes for InteractiveAudio)的论文中描述的那些，其内容通过引用整体并入本文。
在一些实施例中，解码器110可以包括HRTF滤波器的组。该组中的HRTF滤波器中的每一个可对相对于用户的头部的特定方向建模。这些方法可以基于在固定的空间函数集合(a fixed set of spatial functions)和固定的基础滤波器集合(a fixed set of basisfilters)上对HRTF数据的分解。在这些实施例中，来自混合器106的每一个混合信号可以被混合到HRTF滤波器的输入中，该HRTF滤波器对与源的方向最接近的方向建模。被混合到那些HRTF滤波器中的每一个中的信号的电平由源的特定方向确定。
在一些实施例中，系统100可以接收多个输入信号，并且可以包括用于多个输入信号中的每一个的编码器。输入信号的总数可以表示要在声音景观中呈现的对象的总数。
如果在声音景观中呈现的对象的方向改变，则不仅编码器104A能够改变被输入到一个或多个左增益模块和一个或多个右增益模块的一个或多个左控制信号和一个或多个右控制信号的值，延迟模块105也可以改变输入信号102的延迟，从而产生左耳延迟和/或右耳延迟以适当地在声音景观中的呈现对象。
图2A-2C示出了根据一些实施例的延迟模块205的各种模式。延迟模块205可以包括延迟单元216，该延迟单元216将输入信号延迟了一个值，例如，时间值、样本计数等。图2A-2C中所示的示例延迟模块中的一个或多个可以用于实现示例系统100中示出的延迟模块105。
图2A示出了根据一些实施例的延迟模块205的零抽头(tap)延迟模式。在零抽头延迟模式中，输入信号202被拆分以创建第一耳朵延迟222和第二耳朵延迟224。延迟单元216接收输入信号202，但不延迟输入信号202。在一些实施例中，延迟单元216接收输入信号202并且用输入信号202的样本填充缓冲器，然后如果延迟模块205转变到一个抽头延迟模式或两个抽头延迟模式(下面描述)，则可以使用该样本。延迟模块205输出第一耳朵延迟222和第二耳朵延迟224，其简单地是输入信号202(没有延迟)。
图2B示出了根据一些实施例的延迟模块205的一个抽头延迟模式。在一个抽头延迟模式中，输入信号202被拆分以创建第二耳朵延迟228。延迟单元216接收输入信号202、将输入信号202延迟了第一值、并且输出第一耳朵延迟226。第二耳朵延迟228简单地是输入信号202(没有延迟)。延迟模块205输出第一耳朵延迟226和第二耳朵延迟228。在一些实施例中，第一耳朵延迟226可以是左耳延迟，而第二耳朵延迟228可以是右耳延迟。在一些实施例中，第一耳朵延迟226可以是右耳延迟，以及第二耳朵延迟228可以是左耳延迟。
图2C示出了根据一些实施例的延迟模块205的两个抽头延迟模式。在两个抽头延迟模式中，延迟单元216接收输入信号202、将输入信号202延迟了第一值并输出第一耳朵延迟232、并且将输入信号202延迟了第二值并输出第二耳朵延迟234。在一些实施例中，第一耳朵延迟232可以是左耳延迟，以及第二耳朵延迟234可以是右耳延迟。在一些实施例中，第一耳朵延迟232可以是右耳延迟，以及第二耳朵延迟234可以是左耳延迟。
在一些实施例中，可以向用户呈现声音景观(声音环境)。以下讨论是关于具有单个虚拟对象的声音景观；然而，本文中所描述的原理可适用于具有许多虚拟对象的声音景观。
图3A示出了根据一些实施例的环境300，环境300包括用户302和位于中间平面306上的虚拟对象(蜜蜂)304。从用户302的左耳到虚拟蜜蜂304的距离308等于从用户302的右耳到虚拟蜜蜂304的距离310。因此，来自虚拟蜜蜂304的声音应该花费相同的时间量到达左耳和右耳。
图3B示出了根据一些实施例的与图3A的环境300对应的延迟模块312。延迟模块312可以用于实现示例系统100中所示的延迟模块105。如图3B所示，延迟模块312处于零抽头延迟模式，并且输入信号314被拆分以创建左耳延迟316和右耳延迟318。左耳延迟316和右耳延迟318简单地是输入信号314，因为距离308和距离310是相同的。延迟单元320接收输入信号314，但不输出信号。在一些实施例中，延迟单元316接收输入信号314并且用输入信号314的样本填充缓冲器，然后如果延迟模块312转变到一个抽头延迟模式或两个抽头延迟模式，则可以使用该样本。延迟模块312输出左耳延迟316和右耳延迟318。
图4A示出了根据一些实施例的环境400，环境400包括用户402和位于中间平面406的左侧的虚拟对象(蜜蜂)404。从用户402的右耳到虚拟蜜蜂404的距离410大于从用户402的左耳到虚拟蜜蜂404的距离408。因此，来自虚拟蜜蜂404的声音应该比到达左耳花费更长的时间到达右耳。
图4B示出了根据一些实施例的与图4A的环境400对应的延迟模块412。延迟模块412可以用于实现示例系统100中所示的延迟模块105。如图4B所示，延迟模块412处于第一抽头延迟模式，并且输入信号414被拆分以创建左耳延迟416A。延迟单元420接收输入信号414、将输入信号414延迟了时间422、并且输出右耳延迟418。左耳延迟416简单地是输入信号414，以及右耳延迟418仅仅是输入信号414的延迟版本。延迟模块412输出左耳延迟416和右耳延迟418。
图5A示出了根据一些实施例的环境500，环境500包括用户502和位于中间平面506的右侧的虚拟对象(蜜蜂)504。从用户502的左耳到虚拟蜜蜂504的距离508大于从用户502的右耳到虚拟蜜蜂504的距离510。因此，来自虚拟蜜蜂504的声音应该比到达右耳花费更长的时间到达左耳。
图5B示出了根据一些实施例的与图5A的环境500对应的延迟模块512。延迟模块512可以用于实现示例系统100中所示的延迟模块105。如图5B所示，延迟模块512处于一个抽头延迟模式，并且输入信号514被拆分以创建右耳延迟518。延迟单元520接收输入信号514、将输入信号514延迟了时间522、并且输出左耳延迟516。右耳延迟518简单地是输入信号514以及左耳延迟516仅仅是输入信号514的延迟版本。延迟模块512输出左耳延迟516和右耳延迟518。
在一些实施例中，声音景观中的虚拟对象的方向相对于用户而改变。例如，虚拟对象可以从中间平面的左侧移动到中间平面的右侧、从中间平面的右侧移动到中间平面的左侧、从中间平面的右侧的第一位置移动到中间平面的右侧的第二位置(其中第二位置比第一位置更靠近中间平面)、从中间平面的右侧的第一位置移动到中间平面的右侧的第二位置(其中第二位置比第一位置更远离中间平面)、从中间平面的左侧的第一位置移动到中间平面的左侧的第二位置(其中第二位置比第一位置更靠近中间平面)、从中间平面的左侧的第一位置移动到中间平面的左侧的第二位置(其中第二位置比第一位置更远离中间平面)、从中间平面的右侧移动到中间平面上、从中间平面上移动到中间平面的右侧、从中间平面的左侧移动到中间平面上、以及从中间平面移动到中间平面的左侧，仅举几例。
在一些实施例中，声音景观中的虚拟对象相对于用户的方向的改变可能需要ITD的改变(例如，左耳延迟与右耳延迟之间的差)。
在一些实施例中，延迟模块(例如，示例系统100中所示的延迟模块105)可以通过基于虚拟对象的方向的改变而瞬时地改变左耳延迟和/或右耳延迟来改变ITD。然而，瞬时地改变左耳延迟和/或右耳延迟可能导致声音伪像。例如，声音伪像可以是“点击”声音。期望使这种声音伪像最小化。
在一些实施例中，延迟模块(例如，示例系统100中所示的延迟模块105)可以通过基于虚拟对象的方向的改变使用延迟的值的倾斜(ramping)或平滑来改变左耳延迟和/或右耳延迟来改变ITD。然而，使用延迟的值的倾斜或平滑来改变左耳延迟和/或右耳延迟可能导致声音伪像。例如，声音伪像可以是音高(pitch)的改变。期望使这种声音伪像最小化。在一些实施例中，使用延迟的值的倾斜或平滑来改变左耳延迟和/或右耳延迟可能引入等待时间，例如，由于计算和执行倾斜或平滑所花费的时间和/或由于要递送新声音所花费的时间。期望使这种等待时间最小化。
在一些实施例中，延迟模块(例如，示例系统100中所示的延迟模块105)可以通过使用从第一延迟到后续延迟的交叉渐变来改变左耳延迟和/或右早期延迟来改变ITD。交叉渐变可以例如通过避免拉伸或压缩时域中信号来在延迟值之间转变期间减少伪像。拉伸或压缩时域中的信号可导致如上文所描述的“点击”声音或音高移位。
图6A示出了根据一些实施例的交叉渐变器600。交叉渐变器600可以用于实现示例系统100中示出的延迟模块105。交叉渐变器600接收第一耳朵延迟602和后续耳朵延迟604作为输入，并且输出被交叉渐变的耳朵延迟606。交叉渐变器600包括第一电平渐变器(Gf)608、后续电平渐变器(Gs)610和加法器612。第一电平渐变器608基于控制信号CTRL_Gf的改变来逐渐减小第一耳朵延迟的电平，以及后续电平渐变器610基于控制信号CTRL_Gs的改变来逐渐地增大后续耳朵延迟的电平。加法器612使第一电平渐变器608和后续电平渐变器612的输出相加。
图6B示出了根据一些实施例的控制信号CTRL_Gf的模型。在所示的示例中，控制信号CTRL_Gf的值在一段时间内从一(unity)减小到零(例如，在时间t_0处为1以及在时间t_结束处为零)。在一些实施例中，控制信号CTRL_Gf的值可以线性地、指数地或以一些其他函数地从一减小到零。
图6C示出了根据一些实施例的控制信号CTRL_Gs的模型。在所示的示例中，控制信号CTRL_Gs的值在一段时间内从零增大到一(例如，在时间t_0处为零以及在时间t_结束处为一)。在一些实施例中，控制信号CTRL_Gs的值可以线性地、指数地或以一些其他函数地从零增大到一。
图7A示出了根据一些实施例的环境700，环境700包括用户702和在第一时间位于中间平面706的左侧的虚拟对象(蜜蜂)704A以及在后续时间位于中间平面706的右侧的虚拟对象(蜜蜂)704B。在第一时间，从虚拟蜜蜂704A到用户702的右耳的距离710A大于从虚拟蜜蜂704A到用户702的左耳的距离708A。因此，在第一时间，来自虚拟蜜蜂704A的声音应该比到达左耳花费更长的时间到达右耳。在后续时间，从虚拟蜜蜂704B到左耳的距离708B大于从虚拟蜜蜂704B到右耳的距离710B。因此，在后续时间，来自虚拟蜜蜂704B的声音应该比到达右耳花费更长的时间到达左耳。
图7B示出了根据一些实施例的与图7A的环境700对应的延迟模块712。延迟模块712可以用于实现示例系统100中所示的延迟模块105。延迟模块712接收输入信号714并输出左耳延迟716和右耳延迟718。延迟模块712包括延迟单元720和两个交叉渐变器：左交叉渐变器730A和右交叉渐变器730B。左交叉渐变器730A包括第一电平渐变器(Gf)722A、后续电平渐变器(Gs)724A和加法器726A。右交叉渐变器730B包括第一电平渐变器(Gf)722B、后续电平渐变器(Gs)724B和加法器726B。
在第一时间，距离710A大于距离708A。对于第一时间，输入信号714被直接提供给第一电平渐变器722A，并且延迟单元720将输入信号714延迟了第一时间并且将延迟了第一时间的输入信号714提供给第一电平渐变器722B。
在后续时间，距离708B大于距离710A。对于后续时间，输入信号714被直接提供给后续电平渐变器724B，并且延迟单元720将输入信号714延迟了后续时间，并且将延迟了后续时间的输入信号714提供给后续电平渐变器724A。
加法器726A使第一电平渐变器722A和后续电平渐变器724A的输出相加以创建左耳延迟716，并且加法器726B使第一电平渐变器722B和后续电平渐变器724B的输出相加以创建右耳延迟718。
因此，左交叉渐变器730A在输入信号714与延迟了后续时间的输入信号714之间进行交叉渐变，并且右交叉渐变器730B在延迟了第一时间输入信号714与输入信号714之间进行交叉渐变。
图8A示出了根据一些实施例的环境800，环境800包括用户802和在第一时间位于中间平面806的右侧的虚拟对象(蜜蜂)804A以及在后续时间位于中间平面806的左侧的虚拟对象(蜜蜂)804B。在第一时间，从虚拟蜜蜂808A到用户802的左耳的距离808A大于从虚拟蜜蜂804A到用户802的右耳的距离810A。因此，在第一时间，来自虚拟蜜蜂804A的声音应该比到达右耳花费更长的时间到达左耳。在后续时间，从虚拟蜜蜂804B到右耳的距离810B大于从虚拟蜜蜂804B到左耳的距离808B。因此，在后续时间，来自虚拟蜜蜂804B的声音应该比到达左耳花费更长的声音到达右耳。
图8B示出了根据一些实施例的与图8A的环境800对应的延迟模块812。延迟模块812可以用于实现示例系统100中所示的延迟模块105。延迟模块812接收输入信号814并输出左耳延迟816和右耳延迟818。延迟模块812包括延迟单元820和两个交叉渐变器：左交叉渐变器830A和右交叉渐变器830B。左交叉渐变器830A包括第一电平渐变器(Gf)822A、后续电平渐变器(Gs)824A和加法器826A。右交叉渐变器830B包括第一电平渐变器(Gf)822B、后续电平渐变器(Gs)824B和加法器826B。
在第一时间，距离808A大于距离810A。对于第一时间，输入信号814被直接提供给第一电平渐变器822B，并且延迟单元820将输入信号814延迟第一时间并且将延迟了第一时间的输入信号814提供给第一电平渐变器822A。
在后续时间，距离810B大于距离808B。对于后续时间，输入信号814被直接提供给后续电平渐变器824A，并且延迟单元820将输入信号814延迟后续时间，并且将延迟了后续时间的输入信号814提供给后续电平渐变器824B。
加法器826A将第一电平渐变器822A和后续电平渐变器824A的输出相加以创建左耳延迟816，以及加法器826B将第一电平渐变器822B和后续电平渐变器824B的输出相加以创建右耳延迟818。
因此，左交叉渐变器830A在延迟了第一时间的输入信号814与输入信号814之间进行交叉渐变，以及右交叉渐变器830B在输入信号814与延迟了后续时间的输入信号814之间进行交叉渐变。
图9A示出了根据一些实施例的环境900，环境900包括用户902和在第一时间位于中间平面906的很右侧的虚拟对象(蜜蜂)904A以及在后续时间位于中间平面906的不那么右侧(例如，更靠近中间平面906)的虚拟对象(蜜蜂)904B。在第一时间，从虚拟蜜蜂904A到用户902的左耳的距离908A大于从虚拟蜜蜂904A到用户902的右耳的距离910A。因此，在第一时间，来自虚拟蜜蜂904A的声音应该比到达右耳花费更长的时间到达左耳。在后续时间，从虚拟蜜蜂904B到左耳的距离908B大于从虚拟蜜蜂904B到右耳的距离910B。因此，在后续时间，来自虚拟蜜蜂904B的声音应该比到达右耳花费更长的声音到达左耳。比较距离908A和908B，由于距离908A大于距离908B，因此在第一时间来自虚拟蜜蜂904A的声音应该比在后续时间来自虚拟蜜蜂904B的声音花费更长的时间到达左耳。比较距离910A和910B，在第一时间来自虚拟蜜蜂904A的声音应该与在后续时间来自虚拟蜜蜂904B的声音花费相同的时间到达右耳。
图9B示出了根据一些实施例的与图9A的环境900对应的延迟模块912。延迟模块912可以用于实现示例系统100中所示的延迟模块105。延迟模块912接收输入信号914并输出左耳延迟916和右耳延迟918。延迟模块912包括延迟单元920和左交叉渐变器930。左交叉渐变器930包括第一电平渐变器(Gf)922、后续电平渐变器(Gs)924和加法器926。
在第一时间，距离908A大于距离910A。对于第一时间，输入信号914被直接提供给右耳延迟918，并且延迟单元920将输入信号914延迟了第一时间并将延迟了第一时间的输入信号914提供给第一电平渐变器922。
在后续时间，距离908B大于距离910B，并且距离908B小于距离908A。对于后续时间，输入信号914被直接提供给右耳延迟918，并且延迟单元920将输入信号914延迟了后续时间并将延迟了后续时间的输入信号914提供给后续电平渐变器924。
由于距离908A大于距离908B，因此延迟了第一时间的输入信号914可以比延迟了后续时间的输入信号914更延迟。
加法器926将第一电平渐变器922和后续电平渐变器924的输出相加以创建左耳延迟916。
因此，左交叉渐变器930在延迟了第一时间的输入信号914与延迟了后续时间的输入信号914之间进行交叉渐变。
图10A示出了根据一些实施例的环境1000，环境1000包括用户1002和在第一时间位于中间平面1006的右侧的虚拟对象(蜜蜂)1004A以及在后续时间位于中间平面1006的更右侧(例如，更远离中间平面1006)的虚拟对象(蜜蜂)1004B。在第一时间，从虚拟蜜蜂1004A到用户1002的左耳的距离1008A大于从虚拟蜜蜂1004A到用户1002的右耳的距离1010A。因此，在第一时间，来自虚拟蜜蜂1004A的声音应该比到达右耳朵花费更长的时间到达左耳。在后续时间，从虚拟蜜蜂1004B到左耳的距离1008B大于从虚拟蜜蜂1004B到右耳的距离1010B。因此，在后续时间，来自虚拟蜜蜂1004B的声音应该比到达右耳花费更长的时间到达左耳。比较距离1008A和1008B，由于距离1008B大于距离1008A，因此在后续时间来自虚拟蜜蜂1004B的声音应该比在第一时间来自虚拟蜜蜂1004A的声音花费更长的时间到达左耳。比较距离1010A和1010B，在第一时间来自虚拟蜜蜂1004A的声音应该与在后续时间来自虚拟蜜蜂1004B的声音花费相同的时间到达右耳。
图10B示出了根据一些实施例的与图10A的环境1000对应的延迟模块1012。延迟模块1012可以被用于实现示例系统100中示出的延迟模块105。延迟模块1012接收输入信号1014并且输出左耳延迟1016和右耳延迟1018。延迟模块1012包括延迟单元1020和左交叉渐变器1030。左交叉渐变器1030包括第一电平渐变器(Gf)1022、后续电平渐变器(Gs)1024和加法器1026。
在第一时间，距离1008A大于距离1010A。对于第一时间，输入信号1014被直接提供到右耳延迟1018，并且延迟单元1020将输入信号1014延迟了第一时间并将延迟了第一时间的输入信号1014提供给第一电平渐变器1022。
在后续时间，距离1008B大于距离1010B，并且距离1008B大于距离1008A。对于后续时间，输入信号1014被直接提供给右耳延迟1018，并且延迟单元1020将输入信号1014延迟了后续时间并将延迟了后续时间的输入信号1014提供给后续电平渐变器1024。
由于距离1008A小于距离1008B，因此延迟了第一时间的输入信号1014可以比延迟了后续时间的输入信号1014更少延迟。
加法器1026将第一电平渐变器1022和后续电平渐变器1024的输出相加以创建左耳延迟1016。
因此，左交叉渐变器1030在延迟了第一时间的输入信号1014与延迟了后续时间的输入信号1014之间进行交叉渐变。
图11A示出了根据一些实施例的环境1100，环境1100包括用户1102和在第一时间位于中间平面1106的很右侧的虚拟对象(蜜蜂)1104A以及在后续时间位于中间平面1106的不那么右侧(例如，更靠近中间平面1106)的虚拟对象(蜜蜂)1104B。在第一时间，从虚拟蜜蜂1104A到用户1102的右耳的距离1110A大于从虚拟蜜蜂1104A到用户1102的左耳的距离1108A。因此，在第一时间，来自虚拟蜜蜂1104A的时间应该比到达左耳花费更长的时间到达右耳。在后续时间，从虚拟蜜蜂1104B到右耳的距离1110B大于从虚拟蜜蜂1104B到左耳的距离1108B。因此，在后续时间，来自虚拟蜜蜂1104B的时间应该比到达左耳花费更长的时间到达右耳。比较距离1110A和1110B，由于距离1110A大于距离1110B，因此在第一时间来自虚拟蜜蜂1104A的声音应该比在后续时间来自虚拟蜜蜂1104B的声音花费更长的时间到达右耳。比较距离1108A和1108B，在第一时间来自虚拟蜜蜂1104A的声音应该与在后续时间来自虚拟蜜蜂1104B的声音花费相同的时间到达左耳。
图11B示出了根据一些实施例的与图11A的环境1100对应的延迟模块1112。延迟模块1112可以用于实现示例系统100中示出的延迟模块105。延迟模块1112接收输入信号1114并输出左耳延迟1116和右耳延迟1118。延迟模块1112包括延迟单元1120和右交叉渐变器1130。右交叉渐变器1130包括第一电平渐变器(Gf)1122、后续电平渐变器(Gs)1124和加法器1126。
在第一时间，距离1110A大于距离1108A。对于第一时间，输入信号1114被直接提供给左耳延迟1116，并且延迟单元1120将输入信号1114延迟了第一时间并将延迟了第一时间的输入信号1114提供给第一电平渐变器1122。
在后续时间，距离1110B大于距离1108A，并且距离1110B小于距离1110A。对于后续时间，输入信号1114被直接提供给左耳延迟1116，并且延迟单元1120将输入信号1114延迟了后续时间并将延迟了后续时间的输入信号1114提供给后续电平渐变器1124。
由于距离1110A大于距离1110B，因此延迟了第一时间的输入信号1114可以比延迟了后续时间的输入信号1114更延迟。
加法器1126将第一电平渐变器1122和后续电平渐变器1124的输出相加以创建左耳延迟1116。
因此，右交叉渐变器1130在延迟了第一时间的输入信号1114与延迟了后续时间的输入信号1114之间进行交叉渐变。
图12A示出了根据一些实施例的环境1200，环境1200包括用户1202和在第一时间位于中间平面1206的左侧的虚拟对象(蜜蜂)1204A以及在后续时间位于中间平面1206的更左侧(例如，更远离中间平面1206)的虚拟对象(蜜蜂)1204B。在第一时间，从虚拟蜜蜂1204A到用户1202的右耳的距离1210A大于从虚拟蜜蜂1204A到用户1202的左耳的距离1208A。因此，在第一时间，来自虚拟蜜蜂1204A的声音应该比到达左耳花费更长的时间到达右耳。在后续时间，从虚拟蜜蜂1204B到右耳的距离1210B大于从虚拟蜜蜂1204B到左耳的距离1208A。因此，在后续时间，来自虚拟蜜蜂1204B的时间应该比到达左耳花费更长的时间到达右耳。比较距离1210A和1210B，由于距离1210B大于距离1210A，因此在后续时间来自虚拟蜜蜂1204B的声音应该比在第一时间来自虚拟蜜蜂1204A的声音花费更长的时间到达右耳。比较距离1208A和1208B，在第一时间来自虚拟蜜蜂1204A的声音应该与在后续时间来自虚拟蜜蜂1204B的声音花费相同的时间到达左耳。
图12B示出了根据一些实施例的与图12A的环境1200对应的延迟模块1212。延迟模块1212可以用于实现示例系统100中所示的延迟模块105。延迟模块1212接收输入信号1214并输出左耳延迟1216和右耳延迟1218。延迟模块1212包括延迟单元1220和右交叉渐变器1230。右交叉渐变器1230包括第一电平渐变器(Gf)1222、后续电平渐变器(Gs)1224和加法器1226。
在第一时间，距离1210A大于距离1208A。对于第一时间，输入信号1214被直接提供给左耳延迟1216，并且延迟单元1220将输入信号1214延迟了第一时间并将延迟了第一时间的输入信号1214提供给第一电平渐变器1222。
在后续时间，距离1210B大于距离1208B，并且距离1210B大于距离1210A。对于后续时间，输入信号1214被直接提供给左耳延迟1216，并且延迟单元1220将输入信号1214延迟了后续时间并将延迟了后续时间的输入信号1214提供给后续电平渐变器1224。
由于距离1210A小于距离1210B，因此延迟了第一时间的输入信号1214可以比延迟了后续时间的输入信号1214更少延迟。
加法器1226将第一电平渐变器1222和后续电平渐变器1224的输出相加以创建右耳延迟1216。
因此，左交叉渐变器1230在延迟了第一时间的输入信号1214与延迟了后续时间的输入信号1214之间进行交叉渐变。
图13A示出了根据一些实施例的环境1300，环境1300包括用户1302和在第一时间位于中间平面1306的右侧的虚拟对象(蜜蜂)1304A以及在后续时间位于中间平面1306上的虚拟对象(蜜蜂)1304B。在第一时间，从虚拟蜜蜂1304A到用户1302的左耳的距离1308A大于从虚拟蜜蜂1304A到用户1302的右耳的距离1310A。因此，在第一时间，来自虚拟蜜蜂1304A的声音应该比到达右耳花费更长的时间到达左耳。在后续时间，从虚拟蜜蜂1304B到左耳的距离1308B与从虚拟蜜蜂1304B到右耳的距离1310B相同。因此，在后续时间，来自虚拟蜜蜂1304B的声音应该与到达右耳花费相同的时间到达左耳。比较距离1308A和1308B，由于距离1308A大于距离1308B，因此在第一时间来自虚拟蜜蜂1304A的声音应该比在后续时间来自虚拟蜜蜂1304B的声音花费更长的时间到达左耳。比较距离1310A和1310B，在第一时间来自虚拟蜜蜂1304A的声音应该与在后续时间来自虚拟蜜蜂1304B的声音花费相同的时间到达左耳。
图13B示出了根据一些实施例的与图13A的环境1300对应的延迟模块1312。延迟模块1312可以用于实现示例系统100中所示的延迟模块105。延迟模块1312接收输入信号1314并输出左耳延迟1316和右耳延迟1318。延迟模块1312包括延迟单元1320和左交叉渐变器1330。左交叉渐变器1330包括第一电平渐变器(Gf)1322、后续电平渐变器(Gs)1324和加法器1326。
在第一时间，距离1308A大于距离1310A。对于第一时间，输入信号1314被直接提供给右耳延迟1318，并且延迟单元1320将输入信号1314延迟了第一时间并将延迟了第一时间的输入信号1314提供给第一电平渐变器1322。
在后续时间，距离1308B与距离1310B相同，并且距离1308B小于距离1308A。对于后续时间，输入信号1314被直接提供给右耳延迟1318，并且输入信号1314被直接提供给后续电平渐变器1324。
加法器1326将第一电平渐变器1322和后续电平渐变器1324的输出相加以创建左耳延迟1316。
因此，左交叉渐变器1330在延迟了第一时间的输入信号1314与输入信号1314之间进行交叉渐变。
图14A示出了根据一些实施例的环境1400，环境1400包括用户1402和在第一时间位于中间平面1406上的虚拟对象(蜜蜂)1404A以及在后续时间位于中间平面1406的右侧的虚拟对象(蜜蜂)1404B。在第一时间，从虚拟蜜蜂1404A到用户1402的左耳的距离1408A与从虚拟蜜蜂1404A到用户1402的右耳的距离1410A相同。因此，在第一时间，来自虚拟蜜蜂1404A的声音应该花费相同的时间到达左耳和右耳。在后续时间，从虚拟蜜蜂1404B到左耳的距离1408B大于从虚拟蜜蜂1404A到右耳的距离1410A。因此，在后续时间，来自虚拟蜜蜂1404B的声音应该比到达右耳花费更长的时间到达左耳。比较距离1408A和1408B，因为距离1408B大于距离1408A，所以在后续时间来自虚拟蜜蜂1404B的声音应该比在第一时间来自虚拟蜜蜂1404A的声音花费更长的时间到达左耳。比较距离1410A和1410B，在第一时间来自虚拟蜜蜂1404A的声音应该与在后续时间来自虚拟蜜蜂1404B的声音花费相同的时间到达右耳。
图14B示出了根据一些实施例的与图14A的环境1400对应的延迟模块1412。延迟模块1412可以用于实现示例系统100中所示的延迟模块105。延迟模块1412接收输入信号1414并输出左耳延迟1416和右耳延迟1418。延迟模块1412包括延迟单元1420和左交叉渐变器1430。左交叉渐变器1430包括第一电平渐变器(Gf)1422、后续电平渐变器(Gs)1424和加法器1426。
在第一时间，距离1408A与距离1410A相同。对于第一时间，输入信号1414被直接提供给右耳延迟1418，并且输入信号1414被直接提供给第一电平渐变器1422。
在后续时间，距离1408B大于距离1410B。对于后续时间，输入信号1414被直接提供给右耳延迟1418，并且延迟单元1420将输入信号1414延迟了后续时间并将延迟了后续时间的输入信号1414提供给后续电平渐变器1424。
加法器1426将第一电平渐变器1422和后续电平渐变器1424的输出相加以创建左耳延迟1416。
因此，左交叉渐变器1430在输入信号1414与延迟了后续时间的输入信号1414之间进行交叉渐变。
图15A示出了根据一些实施例的环境1500，环境1500包括用户1502和在第一时间位于中间平面1506的左侧的虚拟对象(蜜蜂)1504A以及在后续时间位于中间平面1506上的虚拟对象(蜜蜂)1504B。在第一时间，从虚拟蜜蜂1504A到用户1502的右耳的距离1510A大于从虚拟蜜蜂1504A到用户1502的左耳的距离1508A。因此，在第一时间，来自虚拟蜜蜂1504A的声音应该比到达左耳花费更长的时间到达右耳。在后续时间，从虚拟蜜蜂1504B到左耳的距离1508B与从虚拟蜜蜂1504B到右耳的距离1510B相同。因此，在后续时间，来自虚拟蜜蜂1504B的声音应该花费相同的时间到达左耳和右耳。比较距离1510A和1510，由于距离1510A大于距离1510B，因此在第一时间来自虚拟蜜蜂1504A的声音应该比在后续时间来自虚拟蜜蜂1504B的声音花费更长的时间到达右耳。比较距离1508A和1508B，在第一时间来自虚拟蜜蜂1504A的声音应该与在后续时间来自虚拟蜜蜂1504B的声音花费相同的时间到达左耳。
图15B示出了根据一些实施例的与图15A的环境1500对应的延迟模块1512。延迟模块1512可以用于实现示例系统100中所示的延迟模块105。延迟模块1512接收输入信号1514并且输出左耳延迟1516和右耳延迟1518。延迟模块1512包括延迟单元1520和右交叉渐变器1530。右交叉渐变器1530包括第一电平渐变器(Gf)1522、后续电平渐变器(Gs)1524和加法器1526。
在第一时间，距离1510A大于距离1508A。对于第一时间，输入信号1514被直接提供给左耳延迟1516，并且延迟单元1520将输入信号1514延迟了第一时间并将延迟了第一时间的输入信号1514提供给第一电平渐变器1522。
在后续时间，距离1508B与距离1510B相同，并且距离1510B小于距离1510A。对于后续时间，输入信号1514被直接提供给左耳延迟1516，并且输入信号1514被直接提供给后续电平渐变器1524。
加法器1526将第一电平渐变器1522和后续电平渐变器1524的输出相加以创建右耳延迟1518。
因此，右交叉渐变器1530在延迟了第一时间的输入信号1514与输入信号1514之间进行交叉渐变。
图16A示出了根据一些实施例的环境1600，环境1600包括用户1602和在第一时间位于中间平面1606上的虚拟对象(蜜蜂)1604A以及在后续时间位于中间平面1606的左侧的虚拟对象(蜜蜂)1604B。在第一时间，从虚拟蜜蜂1604A到用户1602的左耳的距离1608A与从虚拟蜜蜂1604A到用户1602的右耳的距离1610A相同。因此，在第一时间，来自虚拟蜜蜂1604A的声音应该花费相同的时间到达左耳和右耳。在后续时间，从虚拟蜜蜂1604B到右耳的距离1610B大于从虚拟蜜蜂1604A到左耳的距离1608B。因此，在后续时间，来自虚拟蜜蜂1604B的声音应该比到达左耳花费更长的时间到达右耳。比较距离1610A和1610B，由于距离1610B大于距离1610A，因此在后续时间来自虚拟蜜蜂1604B的声音应该比在第一时间来自虚拟蜜蜂1604A的声音花费更长的时间到达右耳。比较距离1608A和1608B，在第一时间来自虚拟蜜蜂1604A的声音应该与在后续时间来自虚拟蜜蜂1604B的声音花费相同的时间到达左耳。
图16B示出了根据一些实施例的与图16A的环境1600对应的延迟模块1612。延迟模块1612可以用于实现示例系统100中所示的延迟模块105。延迟模块1612接收输入信号1614并且输出左耳延迟1616和右耳延迟1618。延迟模块1612包括延迟单元1620和右交叉渐变器1630。右交叉渐变器1330包括第一电平渐变器(Gf)1622、后续电平渐变器(Gs)1624和加法器1626。
在第一时间，距离1608A与距离1610A相同。对于第一时间，输入信号1614被直接提供给左耳延迟1616，并且输入信号1614被直接提供给第一电平渐变器1622。
在后续时间，距离1610B大于距离1608B。对于后续时间，输入信号1614被直接提供给左耳延迟1616，并且延迟单元1620将输入信号1614延迟了后续时间，并且将延迟了后续时间的输入信号1614提供给后续电平渐变器1624。
加法器1626将第一电平渐变器1622和后续电平渐变器1624的输出相加以创建右耳延迟1618。
因此，右交叉渐变器1630在输入信号1614与延迟了后续时间的输入信号1614之间进行交叉渐变。
图17示出了示例延迟模块1705，在一些实施例中，该示例延迟模块1705可以用于实现示例系统100中示出的延迟模块105。在一些实施例中，例如，如图17所示，延迟模块1705可以包括一个或多个滤波器(例如，公共滤波器FC 1756、第一滤波器F1 1752和第二滤波器F2 1754)。第一滤波器F1 1752和第二滤波器F2 1754可用于对声音的一种或多种效应进行建模，例如，当声源处于近场时。例如，第一滤波器F1 1752和第二滤波器F2 1754可用于在声源移动得靠近或远离扬声器/耳朵位置时对声音的一种或多种效应进行建模。公共滤波器FC 1756可用于对可能影响到达两个耳朵的信号的一种或多种效应进行建模，该一种或多种效应诸如声源被对象遮挡、空气吸收等。第一滤波器F1 1752可应用第一效应，第二滤波器F2 1754可应用第二效应，以及公共滤波器FC 1756可应用第三效应。
在所示示例中，输入信号1702被输入到延迟模块1705；例如，输入信号1702可以被应用于公共滤波器FC 1756的输入。公共滤波器FC 1756将一个或多个滤波器应用于输入信号1702并且输出公共滤波后的信号。公共滤波后的信号被输入到第一滤波器F1 1752和延迟单元1716两者。第一滤波器F1 1752将一个或多个滤波器应用于公共滤波后的信号，并且输出被称为第一耳朵延迟1722的第一滤波后的信号。延迟单元1716向公共滤波后的信号应用延迟并且输出延迟的公共滤波后的信号。第二滤波器F2 1754将一个或多个滤波器应用于延迟的公共滤波后的信号，并且输出被称为第二耳朵延迟1724的第二滤波信号。在一些实施例中，第一耳朵延迟1722可以对应于左耳，以及第二耳朵延迟1724可以对应于右耳。在一些实施例中，第一耳朵延迟1722可以对应于右耳以及第二耳朵延迟1724可以对应于左耳。
在一些实施例中，可能不需要图17中所示的所有三个滤波器——公共滤波器FC1756、第一滤波器F1 1752和第二滤波器F2 1754。在一个示例中，由于被输入到第一滤波器F1 1752的信号和被输入到第二滤波器F21754的信号都具有公共滤波器FC 1756对其应用的效应，因此公共滤波器FC 1756设置可以被应用于/添加到第一滤波器F1 1752和第二滤波器F21754中的每一个，并且公共滤波器FC 1756可以被移除，从而将滤波器的总数从三个减少到两个。
延迟模块1705可以类似于图2B的延迟模块205，其中图2B的第一耳朵延迟226对应于图17的第二耳朵延迟1724，以及图2B的第二耳朵延迟228对应于图17的第一耳朵延迟1722。在该实施例中，第一耳朵延迟1722没有延迟以及第二耳朵延迟1724具有延迟。这可以是例如当声源比第二耳朵更靠近第一耳朵时，第一耳朵接收第一耳朵延迟1722以及第二耳朵接收第二耳朵延迟1724的情况。本领域普通技术人员将理解，尽管以下描述主要涉及图2B的变型，但是原理也可以应用于图2A和2C的变型。
图18A-18E示出了根据一些实施例的延迟模块1805的变型。图18A-18E中所示的延迟模块1805的任何变型可用于实现示例系统100中所示的延迟模块105。图18A示出了没有滤波器的延迟模块1805。例如，当声源处于远场时，延迟模块1805可能不需要滤波器。图18B示出了仅具有第一滤波器F1 1852的延迟模块1805。例如，当声源更靠近第一耳朵并且仅第一耳朵被对象阻挡时，延迟模块1805可能仅需要第一滤波器F1 1852。图18C示出了仅具有第二滤波器F2 1854的延迟模块1805。例如，当声源远离第二耳朵并且仅第二耳朵被对象阻挡时，延迟模块1805可能仅需要第二滤波器F2 1854。图18D示出了具有第一滤波器F1 1852和第二滤波器F2 1854的延迟模块1805，其中第一滤波器F1 1852和第二滤波器F21854是不同的。例如，当声源更靠近第一耳朵并且每个耳朵被不同大小的对象阻挡时，延迟模块1805可能需要第一滤波器F1 1852和第二滤波器F2 1854。图18E示出了仅具有公共滤波器FC1856的延迟模块1805。例如，当源处于远场并且两个耳朵均被等同地阻挡或存在空气吸收时，延迟模块1805可能仅需要公共滤波器CF 1856。
在一些实施例中，由于声音景观中的改变(例如，阻挡对象的移动或声源相对于阻挡对象的移动)，图18A-18E中所示出的延迟模块中的任一者可以转变到图18A-18E中所示出的其它延迟模块中的任一者。
从图18A中所示的延迟模块1805(其不包括滤波器)到图18B-18E中所示的延迟模块1805(每个延迟模块包括一个或多个滤波器)中的任一者的转变可以包括在适当/期望的时间简单地引入一个或多个滤波器。类似地，从图18B-18E中所示的延迟模块1805到图18A中所示的延迟模块1805的转变可以包括在适当/期望的时间简单地移除一个或多个滤波器。
从图18B中所示的延迟模块1805(包括第一滤波器F1 1852)到图18C中所示的延迟模块1805(包括第二滤波器F2 1854)的转变可以包括移除第一滤波器F1 1852并且在适当/期望的时间添加第二滤波器F2 1854。类似地，从图18C中示出的延迟模块1805(包括第二滤波器F2 1854)到图18B中所示的延迟模块1805(包括第一滤波器F1 1852)的转变可以包括移除第二滤波器F2 1854并且在适当/期望的时间添加第一滤波器F11852。
从图18B中所示的延迟模块1805(包括第一滤波器F1 1852)到图18D中所示的延迟模块1805(包括第一滤波器F1 1852和第二滤波器F21854)的转变可以包括在适当/期望的时间添加第二滤波器F2 1854。类似地，从图18D中所示的延迟模块1805(包括第一滤波器F11852和第二滤波器F2 1854)到图18B中所示的延迟模块1805(包括第一滤波器F1 1852)的转变可以包括在适当/期望的时间移除第二滤波器F2 1854。
从图18B中所示的延迟模块1805(包括第一滤波器F1 1852)到图18E中所示的延迟模块1805(包括公共滤波器FC 1856)的转变可以包括添加公共滤波器1856、将第一滤波器F1 1852的状态复制到公共滤波器FC 1856、以及在适当/期望的时间移除第一滤波器F11852。类似地，从图18E中所示的延迟模块1805(包括公共滤波器FC 1856)到图18B中所示的延迟模块1805(包括第一滤波器F1 1852)的转变可以包括添加第一滤波器F1 1852、将公共滤波器FC 1856的状态复制到第一滤波器F11852、以及在适当/期望的时间移除公共滤波器FC 1856。
从图18C所示的延迟模块1805(包括第二滤波器F2 1854)到图18D所示的延迟模块1805(包括第一滤波器F1 1852和第二滤波器F2 1854)的转变可以包括在适当/期望的时间添加第一滤波器F1 1852。类似地，从图18D中所示的延迟模块1805(包括第一滤波器F11852和第二滤波器F2 1854)到图18C中所示的延迟模块1805(包括第二滤波器F2 1854)的转变可以包括在适当/期望的时间移除第一滤波器F1 1852。
从图18C中所示的延迟模块1805(包括第二滤波器F2 1854)到图18E中所示的延迟模块1805(包括公共滤波器FC 1856)的转变可以包括执行诸如图19中的示例所示的过程。在示例过程的阶段1902，添加公共滤波器FC 1856，并且将第二滤波器F2 1854状态复制到公共滤波器FC1856。这可以在时间T1发生。在1904处，系统等待延迟时间。延迟时间是延迟单元1816延迟信号的时间量。在1906处，移除第二滤波器F2 1854。这可以在时间T2发生。
延迟单元1816包括先进先出(first-in-first-out)缓冲器。在时间T1之前，延迟单元1816缓冲器被填充有输入信号1802。第二滤波器F2 1854对延迟单元1816的输出进行滤波，延迟单元1816的输出仅包括来自时间T1之前的输入信号1802。在时间T1与时间T2之间，公共滤波器FC 1856对输入信号1802进行滤波，并且延迟单元1816缓冲器被填充有来自T1之前的输入信号1802和来自时间T1与时间T2之间的滤波后的输入信号。第二滤波器F21854对延迟单元1816的输出进行滤波，延迟单元1816的输出仅包括来自时间T1之前的输入信号1802。在时间T2，移除第二滤波器1854，并且延迟单元1816仅被填充有在时间T1开始的滤波后的输入信号。
在一些实施例中，从图18C中所示的延迟模块1805(包括第二滤波器F2 1854)到图18E中所示的延迟模块1805(包括公共滤波器FC 1856)的转变可包括用第二滤波器F2 1854(或者与具有与第二滤波器F2 1854相同的设置的另一滤波器一起)处理延迟单元1816中的所有样本、将处理后的样本写入到延迟单元1816中、添加公共滤波器FC 1856滤波器、将第二滤波器F2 1854的状态复制到公共滤波器FC 1856、以及移除第二滤波器F2 1854。在一些实施例中，所有前述步骤可在时间T1处发生。也就是，所有前述步骤可以同时发生(或大约同时发生)。在一些实施例中，延迟单元1816包括先进先出缓冲器。在这些实施例中，在处理延迟单元1816中的所有样本时，处理可以从缓冲器的末端(end)进行到开始(即，从最旧的样本到最新的样本)。
从图18E中所示的延迟模块1805(包括公共滤波器FC 1856)到图18C中所示的延迟模块1805(包括第二滤波器F2 1854)的转变可以包括执行诸如图20中的示例所示的过程。在2002处，公共滤波器FC 1856的状态被保存。这可以在时间T1发生。在2004处，系统等待延迟时间。延迟时间是延迟单元1816延迟信号的时间量。在2006处，添加第二滤波器F2 1854、将所保存的公共滤波器FC 1856状态复制到第二滤波器F2 1854、以及移除公共滤波器FC1856。这可以在时间T2发生。
延迟单元1816包括先进先出缓冲器。在时间T1之前，公共滤波器FC 1856对输入信号1802进行滤波，并且延迟单元1816缓冲器被填充有滤波后的输入信号。在时间T1与时间T2之间，公共滤波器FC 1856继续对输入信号1802进行滤波，并且延迟单元1816缓冲器继续被填充有滤波后的输入信号。在时间T2，添加第二滤波器F2 1854、将所保存的公共滤波器FC 1856状态复制到第二滤波器F2 1854、以及移除公共滤波器FC1856。
从图18D中所示的延迟模块1805(包括第一滤波器F1 1852和第二滤波器F2 1854)到图18E中所示的延迟模块1805(包括公共滤波器FC1856)的转变可以包括执行图21中的示例所示的过程。在2102处，添加公共滤波器FC 1856、将第一滤波器F1 1852的状态复制到公共滤波器FC1856、以及移除第一滤波器F1 1852。这可以在时间T1发生。在2104处，系统等待延迟时间。延迟时间是延迟单元1816延迟信号的时间量。在2106处，移除第二滤波器F21854。这可以在时间T2发生。
延迟单元1816包括先进先出缓冲器。在时间T1之前，延迟单元1816缓冲器被填充有输入信号1802。第二滤波器F2 1854对延迟单元1816的输出进行滤波，延迟单元1816的输出仅包括来自时间T1之前的输入信号1802。在时间T1与时间T2之间，公共滤波器FC 1856对输入信号1802进行滤波，并且延迟单元1816缓冲器被填充有来自T1之前的输入信号1802和来自时间T1与时间T2之间的滤波后的输入信号。第二滤波器F21854对延迟单元1816的输出进行滤波，延迟单元1816的输出仅包括来自时间T1之前的输入信号1802。在时间T2，移除第二滤波器1854，并且延迟单元1816仅被填充有在时间T1处开始的滤波后的输入信号。
从图18E中所示的延迟模块1805(包括公共滤波器FC 1856)到图18E中所示的延迟模块1805(包括第一滤波器F1 1852和第二滤波器F21854)的转变可以包括执行由图22中的示例所示的过程。在2202处，保存公共滤波器FC 1856的状态。这可以在时间T1发生。在2204处，系统等待延迟时间。延迟时间是延迟单元1816延迟信号的时间量。在2206处，添加第一滤波器F1 1852、将所保存的公共滤波器FC 1856状态复制到第一滤波器F1 1852、添加第二滤波器F2 1854、将所保存的公共滤波器FC1856状态复制到第二滤波器F2 1854、以及移除公共滤波器FC 1856。这可以在时间T2发生。
延迟单元1816包括先进先出缓冲器。在时间T1之前，公共滤波器FC 1856对输入信号1802进行滤波，并且延迟单元1816缓冲器被填充有滤波后的输入信号。在时间T1与时间T2之间，公共滤波器FC 1856继续对输入信号1802进行滤波，并且延迟单元1816缓冲器继续被填充有滤波后的输入信号。在时间T2，添加第一滤波器F1 1852、将所保存的公共滤波器FC 1856状态复制到第一滤波器1852、添加第二滤波器F2 1854、将所保存的公共滤波器FC1856状态复制到第二滤波器F2 1854、以及移除公共滤波器FC 1856。
在此描述了本公开的各种示例性实施例。在非限制性意义上参考这些示例。提供这些示例以说明本公开的更广泛的应用方面。可以在不脱离本公开的精神和范围的情况下，可以对所描述的公开进行各种改变并可替换等同物。此外，可以进行许多修改以使特定情况、材料、物质的组成、过程、一个或多个过程动作或一个或多个步骤适应于本公开的一个或多个目的、精神或范围。此外，如本领域技术人员将理解的，在不脱离本公开的范围或精神的情况下，在此所描述和示出的各个变型中的每一个具有分离的组件和特征，其可以容易地与其他若干实施例中的任一特征分离或组合。所有这些修改旨在处于与本公开相关联的权利要求的范围内。
本公开包括可以使用主题装置执行的方法。该方法可以包括提供这种合适的装置的动作。这种提供可以由终端用户执行。换句话说，“提供”动作仅仅需要终端用户获得、访问、接近、定位、设置、激活、开启或以其他方式提供在该方法中的必要装置。在此所述的方法可以按逻辑上可能的所述事件的任何顺序以及按照所记载的事件顺序进行。
以上已经阐述了本公开的示例性方面以及关于材料选择和制造的细节。关于本公开的其他细节，可以结合上述参考的专利和出版物以及本领域技术人员通常所知或理解的来理解这些。关于根据本公开的基础方法的方面在通常或逻辑上利用的附加动作方面同样可以成立。
另外，虽然已经参考可选地并入各种特征的若干示例描述了本公开，但是本公开不限于针对本公开的每个变型所构想的描述或指示的公开。在不脱离本公开的实际精神和范围的情况下，可以对所描述的本公开进行各种改变，并且可以替代等同物(为了简洁起见，不论在此是否包括)。此外，在提供了值的范围的情况下，应当理解，在该范围的上限和下限之间的每个中间值以及在该所述范围内的任何其他所述或中间值都包含在本公开内。
另外，可构想的是所描述的变形的任何可选特征可独立地或与在此所描述的特征中的任何一个或多个相结合来陈述和要求权利。引用单数项包括可能存在相同项的复数。更具体地，如在此和关联权利要求书所使用的，单数形式“一”、“一个”、“所述”和“该”包括复数对象，除非另有明确说明。换句话说，在上述描述以及与本公开关联的权利要求中，允许使用冠词的“至少一个”目标项。进一步应注意，可以起草这种权利要求以排除任何可选要素。因此，结合权利要求要素或使用“负面”限制，本声明旨在作为使用“单独地”、“仅”等排他性术语的先行基础。
在不使用这种排他性术语的情况下，与本公开相关联的权利要求中的术语“包括”应允许包括任何附加元素，不考虑在这种权利要求中是否列举了给定数量的要素或添加特征可以被认为是改变在权利要求中所述的元素的性质。除了在此具体定义之外，应在保持权利要求有效性的同时给定在此使用的所有技术和科学术语尽可能广泛的通常理解含义。
本公开的广度不限于提供的实施例和/或主题说明书，而是仅由与本公开相关联的权利要求语言的范围限定。

Claims (39)

1.一种向可穿戴头部装置的用户呈现音频信号的方法，所述方法包括：
接收第一输入音频信号，所述第一输入音频信号对应于经由所述可穿戴头部装置被呈现给所述用户的虚拟环境中的第一源位置，其中，所述第一源位置对应于所述虚拟环境中的虚拟对象在第一时间的第一位置；
处理所述第一输入音频信号以生成左输出音频信号和右输出音频信号，其中处理所述第一输入音频信号包括：
将延迟过程应用于所述第一输入音频信号以生成左音频信号和右音频信号；
调整所述左音频信号的增益；
调整所述右音频信号的增益；
将第一头相关传递函数HRTF应用于所述左音频信号以生成所述左输出音频信号；以及
将第二HRTF应用于所述右音频信号以生成所述右输出音频信号；
经由与所述可穿戴头部装置相关联的左扬声器向所述用户的左耳呈现所述左输出音频信号；
经由与所述可穿戴头部装置相关联的右扬声器向所述用户的右耳呈现所述右输出音频信号；
确定与所述虚拟环境中的所述虚拟对象在第二时间的第二位置对应的第二源位置，其中：
所述虚拟对象在所述第一时间处于所述虚拟环境中的所述第一位置，以及所述虚拟对象在所述第二时间处于所述虚拟环境中的所述第二位置，以及
所述虚拟环境中的所述第一位置和所述虚拟环境中的所述第二位置为所述虚拟环境中的相对于所述用户的位置的不同位置；
确定与第一耳朵对应的第一耳朵延迟，其包括：确定与所述第一时间对应的先前第一耳朵延迟和与所述第二时间对应的后续第一耳朵延迟，以及在所述先前第一耳朵延迟与所述后续第一耳朵延迟之间进行交叉渐变以生成所述第一耳朵延迟；以及
确定与第二耳朵对应的第二耳朵延迟，其包括：确定与所述第一时间对应的先前第二耳朵延迟和与所述第二时间对应的后续第二耳朵延迟，以及在所述先前第二耳朵延迟与所述后续第二耳朵延迟之间进行交叉渐变以生成所述第二耳朵延迟，
其中，将所述延迟过程应用于所述第一输入音频信号包括：将耳间时间延迟ITD应用于所述第一输入音频信号，所述ITD基于所述第一源位置、所述第一耳朵延迟和所述第二耳朵延迟来确定。
2.根据权利要求1所述的方法，其中，所述第一耳朵延迟为零。
3.根据权利要求1所述的方法，其中，应用所述延迟过程包括将滤波器应用于所述第一输入音频信号。
4.根据权利要求1所述的方法，还包括将滤波器应用于所述左音频信号。
5.根据权利要求1所述的方法，还包括将滤波器应用于所述右音频信号。
6.根据权利要求1所述的方法，其中，应用所述延迟过程包括：从在所述第一时间的第一延迟模块转变到在所述第二时间的第二延迟模块，所述第二延迟模块与所述第一延迟模块不同。
7.根据权利要求6所述的方法，其中，所述第一延迟模块与将第一一个或多个滤波器应用于所述第一输入音频信号、所述左音频信号和所述右音频信号中的第一一个或多个相关联，以及所述第二延迟模块与将第二一个或多个滤波器应用于所述第一输入音频信号、所述左音频信号和所述右音频信号中的第二一个或多个相关联。
8.根据权利要求1所述的方法，其中，所述第一耳朵对应于所述用户的左耳，以及所述第二耳朵对应于所述用户的右耳。
9.根据权利要求1所述的方法，其中，所述第一耳朵对应于所述用户的右耳，以及所述第二耳朵对应于所述用户的左耳。
10.根据权利要求1所述的方法，其中，所述第一源位置距所述第一耳朵比距所述第二耳朵更近，以及所述第二源位置距所述第二耳朵比距所述第一耳朵更近。
11.根据权利要求1所述的方法，其中，所述第二源位置距所述第一耳朵比距所述第二耳朵更近，以及所述第一源位置距所述第二耳朵比距所述第一耳朵更近。
12.根据权利要求1所述的方法，其中，所述第一源位置比所述第二源位置更靠近所述第一耳朵，所述第一源位置距所述第一耳朵比距所述第二耳朵更近，以及所述第二源位置距所述第一耳朵比距所述第二耳朵更近。
13.根据权利要求1所述的方法，其中，所述第二源位置比所述第一源位置更靠近所述第一耳朵，所述第一源位置距所述第一耳朵比距所述第二耳朵更近，以及所述第二源位置距所述第一耳朵比距所述第二耳朵更近。
14.一种用于向可穿戴头部装置的用户呈现音频信号的系统，包括：
可穿戴头部装置；
与所述可穿戴头部装置相关联的左扬声器；
与所述可穿戴头部装置相关联的右扬声器；
一个或多个处理器，其被配置为执行一种方法，所述方法包括：
接收第一输入音频信号，所述第一输入音频信号对应于经由所述可穿戴头部装置被呈现给用户的虚拟环境中的第一源位置，其中，所述第一源位置对应于所述虚拟环境中的虚拟对象在第一时间的第一位置；
处理所述第一输入音频信号以生成左输出音频信号和右输出音频信号，其中处理所述第一输入音频信号包括：
将延迟过程应用于所述第一输入音频信号以生成左音频信号和右音频信号；
调整所述左音频信号的增益；
调整所述右音频信号的增益；
将第一头相关传递函数HRTF应用于所述左音频信号以生成所述左输出音频信号；以及
将第二HRTF应用于所述右音频信号以生成所述右输出音频信号；
经由与所述左扬声器向所述用户的左耳呈现所述左输出音频信号；
经由与所述右扬声器向所述用户的右耳呈现所述右输出音频信号；
确定与所述虚拟环境中的所述虚拟对象在第二时间的第二位置对应的第二源位置，其中：
所述虚拟对象在所述第一时间处于所述虚拟环境中的所述第一位置，以及所述虚拟对象在所述第二时间处于所述虚拟环境中的所述第二位置，以及
所述虚拟环境中的所述第一位置和所述虚拟环境中的所述第二位置为所述虚拟环境中的相对于所述用户的位置的不同位置；
确定与第一耳朵对应的第一耳朵延迟，其包括：确定与所述第一时间对应的先前第一耳朵延迟和与所述第二时间对应的后续第一耳朵延迟，以及在所述先前第一耳朵延迟与所述后续第一耳朵延迟之间进行交叉渐变以生成所述第一耳朵延迟；以及
确定与第二耳朵对应的第二耳朵延迟，其包括：确定与所述第一时间对应的先前第二耳朵延迟和与所述第二时间对应的后续第二耳朵延迟，以及在所述先前第二耳朵延迟与所述后续第二耳朵延迟之间进行交叉渐变以生成所述第二耳朵延迟，
其中，将所述延迟过程应用于所述第一输入音频信号包括：将耳间时间延迟ITD应用于所述第一输入音频信号，所述ITD基于所述第一源位置、所述第一耳朵延迟和所述第二耳朵延迟来确定。
15.根据权利要求14所述的系统，其中，所述第一耳朵延迟为零。
16.根据权利要求14所述的系统，其中，应用所述延迟过程包括将滤波器应用于所述第一输入音频信号。
17.根据权利要求14所述的系统，所述方法还包括将滤波器应用于所述左音频信号。
18.根据权利要求14所述的系统，所述方法还包括将滤波器应用于所述右音频信号。
19.根据权利要求14所述的系统，其中，应用所述延迟过程包括：从在所述第一时间的第一延迟模块转变到在所述第二时间的第二延迟模块，所述第二延迟模块与所述第一延迟模块不同。
20.根据权利要求19所述的系统，其中，所述第一延迟模块与将第一一个或多个滤波器应用于所述第一输入音频信号、所述左音频信号和所述右音频信号中的第一一个或多个相关联，以及所述第二延迟模块与将第二一个或多个滤波器应用于所述第一输入音频信号、所述左音频信号和所述右音频信号中的第二一个或多个相关联。
21.根据权利要求14所述的系统，其中，所述第一耳朵对应于所述用户的左耳，以及所述第二耳朵对应于所述用户的右耳。
22.根据权利要求14所述的系统，其中，所述第一耳朵对应于所述用户的右耳，以及所述第二耳朵对应于所述用户的左耳。
23.根据权利要求14所述的系统，其中，所述第一源位置距所述第一耳朵比距所述第二耳朵更近，以及所述第二源位置距所述第二耳朵比距所述第一耳朵更近。
24.根据权利要求14所述的系统，其中，所述第二源位置距所述第一耳朵比距所述第二耳朵更近，以及所述第一源位置距所述第二耳朵比距所述第一耳朵更近。
25.根据权利要求14所述的系统，其中，所述第一源位置比所述第二源位置更靠近所述第一耳朵，所述第一源位置距所述第一耳朵比距所述第二耳朵更近，以及所述第二源位置距所述第一耳朵比距所述第二耳朵更近。
26.根据权利要求14所述的系统，其中，所述第二源位置比所述第一源位置更靠近所述第一耳朵，所述第一源位置距所述第一耳朵比距所述第二耳朵更近，以及所述第二源位置距所述第一耳朵比距所述第二耳朵更近。
27.一种包含指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行一种向可穿戴头部装置的用户呈现音频信号的方法，所述方法包括：
接收第一输入音频信号，所述第一输入音频信号对应于经由所述可穿戴头部装置被呈现给所述用户的虚拟环境中的第一源位置，其中，所述第一源位置对应于所述虚拟环境中的虚拟对象在第一时间的第一位置；
处理所述第一输入音频信号以生成左输出音频信号和右输出音频信号，其中处理所述第一输入音频信号包括：
将延迟过程应用于所述第一输入音频信号以生成左音频信号和右音频信号；
调整所述左音频信号的增益；
调整所述右音频信号的增益；
将第一头相关传递函数HRTF应用于所述左音频信号以生成所述左输出音频信号；以及
将第二HRTF应用于所述右音频信号以生成所述右输出音频信号；
经由与所述可穿戴头部装置相关联的左扬声器向所述用户的左耳呈现所述左输出音频信号；
经由与所述可穿戴头部装置相关联的右扬声器向所述用户的右耳呈现所述右输出音频信号；
确定与所述虚拟环境中的所述虚拟对象在第二时间的第二位置对应的第二源位置，其中：
所述虚拟对象在所述第一时间处于所述虚拟环境中的所述第一位置，以及所述虚拟对象在所述第二时间处于所述虚拟环境中的所述第二位置，以及
所述虚拟环境中的所述第一位置和所述虚拟环境中的所述第二位置为所述虚拟环境中的相对于所述用户的位置的不同位置；
确定与第一耳朵对应的第一耳朵延迟，其包括：确定与所述第一时间对应的先前第一耳朵延迟和与所述第二时间对应的后续第一耳朵延迟，以及在所述先前第一耳朵延迟与所述后续第一耳朵延迟之间进行交叉渐变以生成所述第一耳朵延迟；以及
确定与第二耳朵对应的第二耳朵延迟，其包括：确定与所述第一时间对应的先前第二耳朵延迟和与所述第二时间对应的后续第二耳朵延迟，以及在所述先前第二耳朵延迟与所述后续第二耳朵延迟之间进行交叉渐变以生成所述第二耳朵延迟，
其中，将所述延迟过程应用于所述第一输入音频信号包括：将耳间时间延迟ITD应用于所述第一输入音频信号，所述ITD基于所述第一源位置、所述第一耳朵延迟和所述第二耳朵延迟来确定。
28.根据权利要求27所述的非暂时性计算机可读介质，其中，所述第一耳朵延迟为零。
29.根据权利要求27所述的非暂时性计算机可读介质，其中，应用所述延迟过程包括将滤波器应用于所述第一输入音频信号。
30.根据权利要求27所述的非暂时性计算机可读介质，所述方法还包括将滤波器应用于所述左音频信号。
31.根据权利要求27所述的非暂时性计算机可读介质，所述方法还包括将滤波器应用于所述右音频信号。
32.根据权利要求27所述的非暂时性计算机可读介质，其中，应用所述延迟过程包括：从在所述第一时间的第一延迟模块转变到在所述第二时间的第二延迟模块，所述第二延迟模块与所述第一延迟模块不同。
33.根据权利要求32所述的非暂时性计算机可读介质，其中，所述第一延迟模块与将第一一个或多个滤波器应用于所述第一输入音频信号、所述左音频信号和所述右音频信号中的第一一个或多个相关联，以及所述第二延迟模块与将第二一个或多个滤波器应用于所述第一输入音频信号、所述左音频信号和所述右音频信号中的第二一个或多个相关联。
34.根据权利要求27所述的非暂时性计算机可读介质，其中，所述第一耳朵对应于所述用户的左耳，以及所述第二耳朵对应于所述用户的右耳。
35.根据权利要求27所述的非暂时性计算机可读介质，其中，所述第一耳朵对应于所述用户的右耳，以及所述第二耳朵对应于所述用户的左耳。
36.根据权利要求27所述的非暂时性计算机可读介质，其中，所述第一源位置距所述第一耳朵比距所述第二耳朵更近，以及所述第二源位置距所述第二耳朵比距所述第一耳朵更近。
37.根据权利要求27所述的非暂时性计算机可读介质，其中，所述第二源位置距所述第一耳朵比距所述第二耳朵更近，以及所述第一源位置距所述第二耳朵比距所述第一耳朵更近。
38.根据权利要求27所述的非暂时性计算机可读介质，其中，所述第一源位置比所述第二源位置更靠近所述第一耳朵，所述第一源位置距所述第一耳朵比距所述第二耳朵更近，以及所述第二源位置距所述第一耳朵比距所述第二耳朵更近。
39.根据权利要求27所述的非暂时性计算机可读介质，其中，所述第二源位置比所述第一源位置更靠近所述第一耳朵，所述第一源位置距所述第一耳朵比距所述第二耳朵更近，以及所述第二源位置距所述第一耳朵比距所述第二耳朵更近。
CN201980080146.2A 2018-10-05 2019-10-04 用于双耳音频渲染的耳间时间差交叉渐变器 Active CN113170273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310251649.XA CN116249053B (zh) 2018-10-05 2019-10-04 用于双耳音频渲染的耳间时间差交叉渐变器

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862742254P 2018-10-05 2018-10-05
US201862742191P 2018-10-05 2018-10-05
US62/742,191 2018-10-05
US62/742,254 2018-10-05
US201962812546P 2019-03-01 2019-03-01
US62/812,546 2019-03-01
PCT/US2019/054895 WO2020073025A1 (en) 2018-10-05 2019-10-04 Interaural time difference crossfader for binaural audio rendering

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310251649.XA Division CN116249053B (zh) 2018-10-05 2019-10-04 用于双耳音频渲染的耳间时间差交叉渐变器

Publications (2)

Publication Number Publication Date
CN113170273A CN113170273A (zh) 2021-07-23
CN113170273B true CN113170273B (zh) 2023-03-28

Family

ID=70051408

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201980080266.2A Active CN113170253B (zh) 2018-10-05 2019-10-04 用于音频空间化的加重
CN202310251649.XA Active CN116249053B (zh) 2018-10-05 2019-10-04 用于双耳音频渲染的耳间时间差交叉渐变器
CN201980080146.2A Active CN113170273B (zh) 2018-10-05 2019-10-04 用于双耳音频渲染的耳间时间差交叉渐变器
CN202410285568.6A Pending CN118075651A (zh) 2018-10-05 2019-10-04 用于音频空间化的加重

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201980080266.2A Active CN113170253B (zh) 2018-10-05 2019-10-04 用于音频空间化的加重
CN202310251649.XA Active CN116249053B (zh) 2018-10-05 2019-10-04 用于双耳音频渲染的耳间时间差交叉渐变器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410285568.6A Pending CN118075651A (zh) 2018-10-05 2019-10-04 用于音频空间化的加重

Country Status (5)

Country Link
US (7) US11197118B2 (zh)
EP (2) EP3861768A4 (zh)
JP (6) JP2022504233A (zh)
CN (4) CN113170253B (zh)
WO (2) WO2020073025A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170253B (zh) 2018-10-05 2024-03-19 奇跃公司 用于音频空间化的加重
US11589162B2 (en) * 2018-11-21 2023-02-21 Google Llc Optimal crosstalk cancellation filter sets generated by using an obstructed field model and methods of use
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7174229B1 (en) * 1998-11-13 2007-02-06 Agere Systems Inc. Method and apparatus for processing interaural time delay in 3D digital audio
CN104919820A (zh) * 2013-01-17 2015-09-16 皇家飞利浦有限公司 双耳音频处理
CN107094277A (zh) * 2016-02-18 2017-08-25 谷歌公司 用于在虚拟扬声器阵列上渲染音频的信号处理方法和系统
WO2017223110A1 (en) * 2016-06-21 2017-12-28 Dolby Laboratories Licensing Corporation Headtracking for pre-rendered binaural audio

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU572556B2 (en) * 1983-10-07 1988-05-12 Dolby Laboratories Licensing Corporation A/d encoder and decoder
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
US5491839A (en) * 1991-08-21 1996-02-13 L. S. Research, Inc. System for short range transmission of a plurality of signals simultaneously over the air using high frequency carriers
JPH06133389A (ja) * 1992-10-20 1994-05-13 Fujitsu Ten Ltd デジタルオーディオシステム
KR950007310B1 (ko) * 1993-03-29 1995-07-07 삼성전자주식회사 디지탈 비선형 프리-엠퍼시스/디-엠퍼시스
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
JP3255348B2 (ja) * 1996-11-27 2002-02-12 株式会社河合楽器製作所 遅延量制御装置及び音像制御装置
JPH10136497A (ja) * 1996-10-24 1998-05-22 Roland Corp 音像定位装置
US6449368B1 (en) 1997-03-14 2002-09-10 Dolby Laboratories Licensing Corporation Multidirectional audio decoding
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6491391B1 (en) 1999-07-02 2002-12-10 E-Vision Llc System, apparatus, and method for reducing birefringence
CA2316473A1 (en) 1999-07-28 2001-01-28 Steve Mann Covert headworn information display or data display or viewfinder
JP4499358B2 (ja) * 2001-02-14 2010-07-07 ソニー株式会社 音像定位信号処理装置
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
CA2362895A1 (en) 2001-06-26 2002-12-26 Steve Mann Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license
DE10132872B4 (de) 2001-07-06 2018-10-11 Volkswagen Ag Kopfmontiertes optisches Durchsichtssystem
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
JP4817658B2 (ja) * 2002-06-05 2011-11-16 アーク・インターナショナル・ピーエルシー 音響仮想現実エンジンおよび配信された音声改善のための新技術
CA2388766A1 (en) 2002-06-17 2003-12-17 Steve Mann Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames
JP3959317B2 (ja) * 2002-08-06 2007-08-15 日本放送協会 ディジタル音声処理装置
US7113610B1 (en) * 2002-09-10 2006-09-26 Microsoft Corporation Virtual sound source positioning
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7500747B2 (en) 2003-10-09 2009-03-10 Ipventure, Inc. Eyeglasses with electrical components
US7949141B2 (en) * 2003-11-12 2011-05-24 Dolby Laboratories Licensing Corporation Processing audio signals with head related transfer function filters and a reverberator
EP1755441B1 (en) 2004-04-01 2015-11-04 Eyefluence, Inc. Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
FR2903562A1 (fr) * 2006-07-07 2008-01-11 France Telecom Spatialisation binaurale de donnees sonores encodees en compression.
WO2009046460A2 (en) * 2007-10-04 2009-04-09 Creative Technology Ltd Phase-amplitude 3-d stereo encoder and decoder
US8428269B1 (en) * 2009-05-20 2013-04-23 The United States Of America As Represented By The Secretary Of The Air Force Head related transfer function (HRTF) enhancement for improved vertical-polar localization in spatial audio systems
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
WO2012094335A1 (en) * 2011-01-04 2012-07-12 Srs Labs, Inc. Immersive audio rendering system
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US9274338B2 (en) 2012-03-21 2016-03-01 Microsoft Technology Licensing, Llc Increasing field of view of reflective waveguide
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US20140218281A1 (en) 2012-12-06 2014-08-07 Eyefluence, Inc. Systems and methods for eye gaze determination
US9720505B2 (en) 2013-01-03 2017-08-01 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
EP3067781B1 (en) * 2013-11-05 2023-03-08 Sony Group Corporation Information processing device, method of processing information, and program
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
US9883309B2 (en) * 2014-09-25 2018-01-30 Dolby Laboratories Licensing Corporation Insertion of sound objects into a downmixed audio signal
EP3018918A1 (en) * 2014-11-07 2016-05-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating output signals based on an audio source signal, sound reproduction system and loudspeaker signal
WO2016077514A1 (en) * 2014-11-14 2016-05-19 Dolby Laboratories Licensing Corporation Ear centered head related transfer function system and method
US9860666B2 (en) * 2015-06-18 2018-01-02 Nokia Technologies Oy Binaural audio reproduction
CN107850244B (zh) 2015-08-03 2019-09-03 崔熙文 管连接用顶端接合环
JP7039494B2 (ja) * 2016-06-17 2022-03-22 ディーティーエス・インコーポレイテッド 近／遠距離レンダリングを用いた距離パニング
US10747301B2 (en) * 2017-03-28 2020-08-18 Magic Leap, Inc. Augmented reality system with spatialized audio tied to user manipulated virtual object
CN113170253B (zh) 2018-10-05 2024-03-19 奇跃公司 用于音频空间化的加重

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7174229B1 (en) * 1998-11-13 2007-02-06 Agere Systems Inc. Method and apparatus for processing interaural time delay in 3D digital audio
CN104919820A (zh) * 2013-01-17 2015-09-16 皇家飞利浦有限公司 双耳音频处理
CN107094277A (zh) * 2016-02-18 2017-08-25 谷歌公司 用于在虚拟扬声器阵列上渲染音频的信号处理方法和系统
WO2017223110A1 (en) * 2016-06-21 2017-12-28 Dolby Laboratories Licensing Corporation Headtracking for pre-rendered binaural audio

Also Published As

Publication number Publication date
US20220132264A1 (en) 2022-04-28
US11696087B2 (en) 2023-07-04
US11863965B2 (en) 2024-01-02
JP7554244B2 (ja) 2024-09-19
CN118075651A (zh) 2024-05-24
US11595776B2 (en) 2023-02-28
US11197118B2 (en) 2021-12-07
US20230179944A1 (en) 2023-06-08
CN113170253A (zh) 2021-07-23
JP2024054345A (ja) 2024-04-16
CN113170253B (zh) 2024-03-19
US20200112816A1 (en) 2020-04-09
US11463837B2 (en) 2022-10-04
EP3861763A1 (en) 2021-08-11
EP3861768A1 (en) 2021-08-11
US10887720B2 (en) 2021-01-05
JP7545960B2 (ja) 2024-09-05
CN116249053A (zh) 2023-06-09
WO2020073025A1 (en) 2020-04-09
JP2022504203A (ja) 2022-01-13
JP2022504233A (ja) 2022-01-13
JP7477734B2 (ja) 2024-05-01
US20240089691A1 (en) 2024-03-14
JP7405928B2 (ja) 2023-12-26
EP3861768A4 (en) 2021-12-08
EP3861763A4 (en) 2021-12-01
CN116249053B (zh) 2024-07-19
US20200112817A1 (en) 2020-04-09
JP2022177305A (ja) 2022-11-30
CN113170273A (zh) 2021-07-23
JP2024056891A (ja) 2024-04-23
US20210160648A1 (en) 2021-05-27
JP2022177304A (ja) 2022-11-30
US20220417698A1 (en) 2022-12-29
WO2020073024A1 (en) 2020-04-09

Similar Documents

Publication Publication Date Title
US11778400B2 (en) Methods and systems for audio signal filtering
JP7554244B2 (ja) 両耳オーディオレンダリングのための両耳間時間差クロスフェーダ
CN113170272B (zh) 近场音频渲染
CN112470218A (zh) 低频信道间相干性控制

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant