CN112954582A - 用于预渲染的双耳音频的头部跟踪 - Google Patents

用于预渲染的双耳音频的头部跟踪 Download PDF

Info

Publication number
CN112954582A
CN112954582A CN202110184787.1A CN202110184787A CN112954582A CN 112954582 A CN112954582 A CN 112954582A CN 202110184787 A CN202110184787 A CN 202110184787A CN 112954582 A CN112954582 A CN 112954582A
Authority
CN
China
Prior art keywords
signal
binaural
head tracking
generate
tracking data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110184787.1A
Other languages
English (en)
Inventor
C·P·布朗
J·兰多
M·F·戴维斯
A·J·泽费尔特
D·M·库珀
D·J·布里巴尔特
R·威尔逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN112954582A publication Critical patent/CN112954582A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

本申请涉及用于预渲染的双耳音频的头部跟踪。本申请提供一种使用头部跟踪信息修改双耳信号的系统及方法。所述系统根据所述头部跟踪信息计算延迟、第一滤波器响应及第二滤波器响应且将这些应用到所述双耳信号的左分量及右分量。所述系统还可将头部跟踪应用到参数双耳信号。以此方式，可将头部跟踪应用到预渲染的双耳音频。

Description

用于预渲染的双耳音频的头部跟踪
分案申请的相关信息
本案是分案申请。该分案的母案是申请日为2017年6月20日、申请号为201780038378.2、发明名称为“用于预渲染的双耳音频的头部跟踪”的发明专利申请案。
相关申请案的交叉参考
本申请案主张来自以下申请案的优先权：2016年6月21日申请的第62/352,685号美国申请案、2016年6月21日申请的第16175495.7号欧洲专利申请案，及2016年10月7日申请的第62/405,677号美国专利申请案，所述申请案的全文特此以引用的方式并入。
背景技术
本发明涉及双耳音频，且特定来说，涉及预渲染的双耳音频信号根据监听者头部移动的调整。
除非本文另有指示，否则此章节中描述的方法并非是本申请案中的权利要求书的现有书技术且并非由于其包含于此章节中而被承认为现有技术。
双耳音频通常是指以考虑监听者耳朵的自然耳间距及其头部的头影的方式记录或回放的音频。监听者因此察觉到声音起源于一或多个空间位置。双耳音频可通过使用放置在虚设头部的两个耳朵位置处的两个麦克风记录。双耳音频可使用耳机(headphone)回放。双耳音频可从通过使用头部相关传递函数(HRTF)或双耳房间脉冲响应(BRIR)以非双耳方式记录的音频渲染。双耳音频通常包含左信号(将由左耳机输出)及右信号(将右耳机输出)。双耳音频不同于立体声之处在于，立体声音频可涉及喇叭之间的喇叭串扰。
头部跟踪(head tracking)(或头部跟踪(headtracking))通常是指跟踪用户头部的定向以调整到系统的输入或系统的输出。针对音频，头部跟踪是指根据监听者的头部定向改变音频信号。
双耳音频及头部跟踪可如下组合。第一，传感器生成对应于监听者头部的定向的头部跟踪数据。第二，音频系统使用头部跟踪数据以从基于声道或基于对象的音频生成双耳音频信号。第三，音频系统将双耳音频信号发送到监听者的耳机以供回放。过程接着继续，其中将头部跟踪数据用于生成双耳音频信号。
发明内容
与基于声道或基于对象的音频对比，预渲染的双耳音频不考虑监听者头部的定向。代替地，预渲染的双耳音频根据渲染使用默认定向。因此，需要将头部跟踪应用到预渲染的双耳音频。
根据实施例，一种方法使用头部跟踪信息修改双耳信号。所述方法包含由耳麦(headset)接收双耳音频信号，其中所述双耳音频信号包含第一信号及第二信号。所述方法进一步包含由传感器生成头部跟踪数据，且其中所述头部跟踪数据与所述耳麦的定向有关。所述方法进一步包含由处理器基于所述头部跟踪数据计算延迟，基于所述头部跟踪数据计算第一滤波器响应，且基于所述头部跟踪数据计算第二滤波器响应。所述方法进一步包含基于所述头部跟踪数据将所述延迟应用到所述第一信号及所述第二信号中的一者以生成经延迟信号，其中所述第一信号及所述第二信号中的另一者是未经延迟信号。所述方法进一步包含将所述第一滤波器响应应用到所述经延迟信号以生成经修改经延迟信号。所述方法进一步包含将所述第二滤波器响应应用到所述未经延迟信号以生成经修改未经延迟信号。所述方法进一步包含由所述耳麦的第一扬声器根据所述头部跟踪数据输出所述经修改经延迟信号。所述方法进一步包含由所述耳麦的第二扬声器根据所述头部跟踪数据输出所述经修改未经延迟信号。
所述头部跟踪数据可对应于方位定向，其中所述方位定向是向左定向及向右定向中的一者。
当所述第一信号是左信号且所述第二信号是右信号时，所述经延迟信号可对应于所述左信号，所述未经延迟信号可为所述右信号，所述第一扬声器可为左扬声器，且所述第二扬声器可为右扬声器。替代地，所述经延迟信号可对应于所述右信号，所述未经延迟信号可为所述左信号，所述第一扬声器可为右扬声器，且所述第二扬声器可为左扬声器。
所述传感器及所述处理器可为所述耳麦的组件。所述传感器可为加速度计、陀螺仪、磁力仪、红外传感器、相机及射频链路中的一者。
所述方法可进一步包含在应用所述延迟之前，在应用所述第一滤波器响应之前，及在应用所述第二滤波器响应之前，基于所述头部跟踪数据混合所述第一信号与所述第二信号。
当所述头部跟踪数据是与所述耳麦的当前定向有关的当前头部跟踪数据时，所述延迟是当前延迟，所述第一滤波器响应是当前第一滤波器响应，所述第二滤波器响应是当前第二滤波器响应，所述经延迟信号是当前经延迟信号，且所述未经延迟信号是当前未经延迟信号，所述方法可进一步包含存储前一头部跟踪数据，其中所述前一头部跟踪数据对应于前一时间时的所述当前头部跟踪数据。所述方法可进一步包含由所述处理器基于所述前一头部跟踪数据计算前一延迟，基于所述前一头部跟踪数据计算前一第一滤波器响应，且基于所述前一头部跟踪数据计算前一第二滤波器响应。所述方法可进一步包含基于所述前一头部跟踪数据将所述前一延迟应用到所述第一信号及所述第二信号中的一者以生成前一经延迟信号，其中所述第一信号及所述第二信号中的另一者是前一未经延迟信号。所述方法可进一步包含将所述前一第一滤波器响应应用到所述前一经延迟信号以生成经修改前一经延迟信号。所述方法可进一步包含将所述前一第二滤波器响应应用到所述前一未经延迟信号以生成经修改前一未经延迟信号。所述方法可进一步包含交叉淡入淡出所述经修改经延迟信号及所述经修改前一经延迟信号，其中所述第一扬声器输出已经交叉淡入淡出的所述经修改经延迟信号及所述经修改前一经延迟信号。所述方法可进一步包含交叉淡入淡出所述经修改未经延迟信号及所述经修改前一未经延迟信号，其中所述第二扬声器输出已经交叉淡入淡出的所述经修改未经延迟信号及所述经修改前一未经延迟信号。
所述头部跟踪数据可对应于仰角定向，其中所述仰角定向是向上定向及向下定向中的一者。
所述头部跟踪数据可对应于方位定向及仰角定向。
所述方法可进一步包含由所述处理器基于所述头部跟踪数据计算仰角滤波器。所述方法可进一步包含在输出所述经修改经延迟信号之前将所述仰角滤波器应用到所述经修改经延迟信号。所述方法可进一步包含在输出所述经修改未经延迟信号之前将所述仰角滤波器应用到所述经修改未经延迟信号。
计算所述仰角滤波器可包含基于所述头部跟踪数据存取多个广义耳廓相关脉冲响应。计算所述仰角滤波器可进一步包含确定所述多个广义耳廓相关脉冲响应中的第一选定者的当前仰角定向与所述多个广义耳廓相关脉冲响应中的第二选定者的前一仰角定向之间的比率。
根据实施例，一种设备使用头部跟踪信息修改双耳信号。所述设备包含处理器、存储器、传感器、第一扬声器、第二扬声器及耳麦。所述耳麦适应于将所述第一扬声器定位在监听者的第一耳朵附近且将所述第二扬声器定位在所述监听者的第二耳朵附近。所述处理器经配置以控制所述设备以执行包含以下操作的处理：由所述耳麦接收双耳音频信号，其中所述双耳音频信号包含第一信号及第二信号。所述处理进一步包含由所述传感器生成头部跟踪数据，其中所述头部跟踪数据与所述耳麦的定向有关。所述处理进一步包含由所述处理器基于所述头部跟踪数据计算延迟，基于所述头部跟踪数据计算第一滤波器响应，且基于所述头部跟踪数据计算第二滤波器响应。所述处理进一步包含基于所述头部跟踪数据将所述延迟应用到所述第一信号及所述第二信号中的一者以生成经延迟信号，其中所述第一信号及所述第二信号中的另一者是未经延迟信号。所述处理进一步包含将所述第一滤波器响应应用到所述经延迟信号以生成经修改经延迟信号。所述处理进一步包含将所述第二滤波器响应应用到所述未经延迟信号以生成经修改未经延迟信号。所述处理进一步包含由所述耳麦的所述第一扬声器根据所述头部跟踪数据输出所述经修改经延迟信号。所述处理进一步包含由所述耳麦的所述第二扬声器根据所述头部跟踪数据输出所述经修改未经延迟信号。所述处理器可进一步经配置以执行上文描述的其它方法步骤中的一或多者。
根据实施例，一种非暂时性计算机可读媒体存储用于控制装置以使用头部跟踪信息修改双耳信号的计算机程序。所述装置包含处理器、存储器、传感器、第一扬声器、第二扬声器及耳麦。所述计算机程序在由所述处理器执行时可执行上文描述的方法步骤中的一或多者。
根据实施例，一种方法使用头部跟踪信息修改双耳信号。所述方法包含由耳麦接收双耳音频信号。所述方法进一步包含将所述双耳音频信号上混成四声道双耳信号，其中所述四声道双耳信号包含前双耳信号及后双耳信号。所述方法进一步包含由传感器生成头部跟踪数据，其中所述头部跟踪数据与所述耳麦的定向有关。所述方法进一步包含将所述头部跟踪数据应用到所述前双耳信号以生成经修改前双耳信号。所述方法进一步包含将所述头部跟踪数据的逆应用到所述后双耳信号以生成经修改后双耳信号。所述方法进一步包含组合所述经修改前双耳信号与所述经修改后双耳信号以生成经组合双耳信号。所述方法进一步包含由所述耳麦的至少两个扬声器输出所述经组合双耳信号。
根据实施例，一种方法使用头部跟踪信息修改参数双耳信号。所述方法包含由传感器生成头部跟踪数据，其中所述头部跟踪数据与耳麦的定向有关。所述方法进一步包含接收经编码立体声信号，其中所述经编码立体声信号包含立体声信号及呈现变换信息，且其中所述呈现变换信息使所述立体声信号与双耳信号有关。所述方法进一步包含解码所述经编码立体声信号以生成所述立体声信号及所述呈现变换信息。所述方法进一步包含使用所述呈现变换信息对所述立体声信号执行呈现变换以生成所述双耳信号及声学环境模拟输入信息。所述方法进一步包含对所述声学环境模拟输入信息执行声学环境模拟以生成声学环境模拟输出信息。所述方法进一步包含组合所述双耳信号与所述声学环境模拟输出信息以生成经组合信号。所述方法进一步包含使用所述头部跟踪数据修改所述经组合信号以生成输出双耳信号。所述方法进一步包含由所述耳麦的至少两个扬声器输出所述输出双耳信号。
根据实施例，一种方法使用头部跟踪信息修改参数双耳信号。所述方法包含由传感器生成头部跟踪数据，其中所述头部跟踪数据与耳麦的定向有关。所述方法进一步包含接收经编码立体声信号，其中所述经编码立体声信号包含立体声信号及呈现变换信息，且其中所述呈现变换信息使所述立体声信号与双耳信号有关。所述方法进一步包含解码所述经编码立体声信号以生成所述立体声信号及所述呈现变换信息。所述方法进一步包含使用所述呈现变换信息对所述立体声信号执行呈现变换以生成所述双耳信号及声学环境模拟输入信息。所述方法进一步包含对所述声学环境模拟输入信息执行声学环境模拟以生成声学环境模拟输出信息。所述方法进一步包含使用所述头部跟踪数据修改所述双耳信号以生成输出双耳信号。所述方法进一步包含组合所述输出双耳信号与所述声学环境模拟输出信息以生成经组合信号。所述方法进一步包含由所述耳麦的至少两个扬声器输出所述经组合信号。
根据实施例，一种方法使用头部跟踪信息修改参数双耳信号。所述方法包含由传感器生成头部跟踪数据，其中所述头部跟踪数据与耳麦的定向有关。所述方法进一步包含接收经编码立体声信号，其中所述经编码立体声信号包含立体声信号及呈现变换信息，且其中所述呈现变换信息使所述立体声信号与双耳信号有关。所述方法进一步包含解码所述经编码立体声信号以生成所述立体声信号及所述呈现变换信息。所述方法进一步包含使用所述呈现变换信息及所述头部跟踪数据对所述立体声信号执行呈现变换以生成头部跟踪双耳信号，其中所述头部跟踪双耳信号对应于已经矩阵化的所述双耳信号。所述方法进一步包含使用所述呈现变换信息对所述立体声信号执行呈现变换以生成声学环境模拟输入信息。所述方法进一步包含对所述声学环境模拟输入信息执行声学环境模拟以生成声学环境模拟输出信息。所述方法进一步包含组合所述头部跟踪双耳信号与所述声学环境模拟输出信息以生成经组合信号。所述方法进一步包含由所述耳麦的至少两个扬声器输出所述经组合信号。
根据实施例，一种方法使用头部跟踪信息修改参数双耳信号。所述方法包含由传感器生成头部跟踪数据，其中所述头部跟踪数据与耳麦的定向有关。所述方法进一步包含接收经编码立体声信号，其中所述经编码立体声信号包含立体声信号及呈现变换信息，其中所述呈现变换信息使所述立体声信号与双耳信号有关。所述方法进一步包含解码所述经编码立体声信号以生成所述立体声信号及所述呈现变换信息。所述方法进一步包含使用所述呈现变换信息对所述立体声信号执行呈现变换以生成所述双耳信号。所述方法进一步包含使用所述头部跟踪数据修改所述双耳信号以生成输出双耳信号。所述方法进一步包含由所述耳麦的至少两个扬声器输出所述输出双耳信号。
根据实施例，一种设备使用头部跟踪信息修改参数双耳信号。所述设备包含处理器、存储器、传感器、至少两个扬声器及耳麦。所述耳麦适应于将所述至少两个扬声器定位在监听者的耳朵附近。所述处理器经配置以控制所述设备以执行包含以下操作的处理：由所述传感器生成头部跟踪数据，其中所述头部跟踪数据与所述耳麦的定向有关。所述处理进一步包含接收经编码立体声信号，其中所述经编码立体声信号包含立体声信号及呈现变换信息，且其中所述呈现变换信息使所述立体声信号与双耳信号有关。所述处理进一步包含解码所述经编码立体声信号以生成所述立体声信号及所述呈现变换信息。所述处理进一步包含使用所述呈现变换信息对所述立体声信号执行呈现变换以生成所述双耳信号。所述处理进一步包含使用所述头部跟踪数据修改所述双耳信号以生成输出双耳信号。所述处理进一步包含由所述耳麦的所述至少两个扬声器输出所述输出双耳信号。所述处理器可进一步经配置以执行上文描述的其它方法步骤中的一或多者。
以下详细描述及附图提供对各种实施方案的性质及优点的进一步理解。
附图说明
图1是监听环境100的样式化俯视图。
图2A到2B是监听环境200的样式化俯视图。
图3A到3B是监听环境300的样式化俯视图。
图4是将头部跟踪应用到预渲染的双耳信号的耳麦400的样式化后视图。
图5是电子器件500(参见图4)的框图。
图6是使用头部跟踪信息修改预渲染的双耳音频信号的系统600的框图。
图7展示系统600向左转的配置。
图8展示系统600向右转的配置。
图9是用于使用头部跟踪以修改预渲染的双耳音频信号的系统900的框图。
图10展示表1中实施的函数的图形表示。
图11A到11B是使用头部跟踪信息修改双耳信号的方法1100的流程图。
图12是用于使用头部跟踪以修改预渲染的双耳音频信号的系统1200的框图。
图13是用于使用4声道模式而使用头部跟踪以修改预渲染的双耳音频信号的系统1300的框图。
图14是无需使用仰角处理实施后头部跟踪系统1330(参见图13)的系统1400的框图。
图15是使用仰角处理实施后头部跟踪系统1330(参见图13)的系统1500的框图。
图16是使用头部跟踪信息修改双耳信号的方法1600的流程图。
图17是提供参数双耳系统的概览的参数双耳系统1700的框图。
图18是将头部跟踪添加到立体声参数双耳解码器1750(参见图17)的参数双耳系统1800的框图。
图19是将头部跟踪添加到解码器1750(参见图17)的参数双耳系统1900的框图。
图20是将头部跟踪添加到解码器1750(参见图17)的参数双耳系统2000的框图。
图21是使用头部跟踪信息修改双耳音频信号的参数双耳系统2100的框图。
图22是使用头部跟踪信息修改双耳音频信号的参数双耳系统2200的框图。
图23是使用头部跟踪信息修改立体声输入信号(例如，1716)的参数双耳系统2300的框图。
图24是使用头部跟踪信息修改立体声输入信号(例如，1716)的参数双耳系统2400的框图。
图25是使用头部跟踪信息修改立体声输入信号(例如，1716)的参数双耳系统2500的框图。
图26是使用头部跟踪信息修改参数双耳信号的方法2600的流程图。
图27是使用头部跟踪信息修改参数双耳信号的方法2700的流程图。
图28是使用头部跟踪信息修改参数双耳信号的方法2800的流程图。
图29是使用头部跟踪信息修改参数双耳信号的方法2900的流程图。
具体实施方式
本文描述用于结合预渲染的双耳音频使用头部跟踪的技术。在以下描述中，出于解释目的，陈述众多实例及特定细节以便提供对本发明的透彻理解。然而，对所属领域的技术人员很明显的是，由权利要求书所定义的本发明可单独或与下文描述的其它特征组合包含这些实例中的部分或全部特征，且可进一步包含本文描述的特征及概念的修改及等效物。
在以下描述中，详细描述各种方法、过程及程序。尽管以动名词形式描述特定步骤，但此类用语也指示呈那个形式的状态。举例来说，“将数据存储于存储器中”可指示至少以下各者：数据当前变得存储于存储器中(例如，存储器先前并不存储数据)；数据当前存在于存储器中(例如，数据先前被存储于存储器中)；等等。当从上下文不清楚时将具体指出此类情况。尽管可以特定顺序描述特定步骤，但此类顺序主要是为了方便及清楚起见。特定步骤可重复不止一次，可在其它步骤之前或之后发生(即使以另一顺序另外描述了那些步骤)，且可与其它步骤并行地发生。仅当第一步骤必须在第二步骤开始之前完成时，才需要第二步骤跟随第一步骤。当从上下文不清楚时将具体指出此类情况。
在此文档中，使用术语“及”、“或”及“及/或”。此类术语应被理解为具有包含意义。举例来说，“A及B”可意味着至少以下各者：“A及B两者”、“至少A及B两者”。举另一实例，“A或B”可意味着至少以下各者：“至少A”、“至少B”、“A及B两者”、“至少A及B两者”。举另一实例，“A及/或B”可意味着至少以下各者：“A及B”、“A或B”。当希望是异或时，将具体注释此情形(例如，“A或B中的任一者”、“A及B中的至多一者”)。
本文档使用术语“音频”、“音频信号”及“音频数据”。一般来说，这些术语可互换地使用。当希望特异性时，术语“音频”用于是指由麦克风捕获的输入或由喇叭生成的输出。术语“音频数据”用于是指表示例如由模/数转换器(ADC)所处理、存储器中所存储或经由数据信号所传送的音频的数据。术语“音频信号”用于是指以模拟或数字电子形式传输的音频。
本文档使用术语“耳机”及“耳麦”。一般来说，这些术语可互换地使用。当希望特异性时，术语“耳机”用于是指扬声器，且术语“耳麦”用于是指扬声器及例如头带、外壳等等的额外组件两者。术语“耳麦”还可用于是指具有显示器或屏幕的装置，例如头戴式显示器。
无头部跟踪
图1是监听环境100的样式化俯视图。监听环境100包含佩戴耳机104的监听者102。耳机104接收预渲染的双耳音频信号，且生成监听者102察觉为起源于监听者102正前方的位置106处的声音。在此俯视图中，从监听者102的视角来看，位置106成0(零)度。(注意，双耳信号被预渲染且不考虑头部跟踪或耳麦104的定向的其它变化。)
预渲染的双耳音频信号包含提供到耳机104的左扬声器的左信号，及提供到耳机104的右扬声器的右信号。通过改变左信号及右信号的参数，可改变监听者对声音的位置的察觉。举例来说，可察觉到声音是在监听者102的左侧、右侧、后方、更近、更远等等。除了在水平面中察觉到的声音的位置之外，还可察觉到声音是定位在三维空间中，例如监听者102上方或下方。
图2A到2B是监听环境200的样式化俯视图。图2A展示监听者102向左转30度(也称为+30度)，且图2B展示监听者向右转30度(也称为-30度)。监听者102接收与图1中相同的预渲染的双耳信号(例如，无头部跟踪)。在图2A中，监听者102将预渲染的双耳音频信号的声音察觉为起源于位置206a处(例如，从监听者102的视角来看，处于零度，如在图1中)，其在监听环境200中是+30度，这是因为双耳音频信号被预渲染且不考虑头部跟踪。类似地，在图2B中，监听者102将预渲染的双耳音频信号的声音察觉为起源于位置206b处(例如，从监听者102的视角来看，处于零度，如在图1中)，其在监听环境200中是-30度，这是因为双耳音频信号被预渲染且不考虑头部跟踪。
类似于图1，在图2A到2B中，监听者对声音的位置的察觉可通过改变双耳音频信号的参数来改变。且因为图2A到2B同样不使用头部跟踪，所以用户察觉到声音相对于耳麦104的固定定向的位置(在此情况中，零度)，而无论耳麦104的定向可能如何改变。举例来说，如果监听者的头部开始成向左30度角，如图2A中所展示，接着向右摇摄到-30度角，如图2B中所展示，那么监听者的察觉是声音开始在位置206a处，跟踪与监听者头部的摇摄对应的弧208，且在位置206b处结束。即，监听者的察觉是声音总是起源于相对于耳麦104的定向的零度处。
头部跟踪
头部跟踪可用于响应于监听者的头部移动执行实时双耳音频处理。使用例如加速度计、陀螺仪及磁力仪的一或多个传感器连同传感器融合算法，可用表示监听者头部的当前旋转的稳定的横偏、俯仰及横摇值驱动双耳处理算法。典型的双耳处理使用头部相关传递函数(HRTF)，其是方位及仰角的函数。通过反转当前头部旋转参数，头部跟踪双耳处理可察觉到与监听者的头部旋转在物理上一致的声音源。
在双耳音频被预渲染的使用情况中，通常太晚而不能应用头部跟踪。预渲染的双耳通常经渲染用于面向正“前”的头部，如图1中所展示。当监听者移动她的头部时，声音位置也移动，如图2A到2B中所展示。如果声音位置保持固定，如其在自然(真实世界)监听中那样，那么更令人信服。
本发明描述一种用于调整预渲染的双耳信号使得头部跟踪仍是可能的的系统及方法。过程是从允许调整预渲染的双耳提示使得促进头部跟踪的头部的模型导出。
通常，当头部跟踪用于双耳渲染时，耳机能够跟踪头部旋转，且进入的音频立即被渲染，且基于头部旋转不断地调整。在预渲染的双耳的情况中，仍可跟踪头部运动，且使用来自双重定位理论(Duplex Theory of Localization)的概念以调整头部运动。这些概念包含耳间时间延迟(ITD)及耳间声级差(ILD)。
图3A到3B是监听环境300的样式化俯视图。类似于图2A到2B，图3A展示监听者102向左转30度(也称为+30度)，且图3B展示监听者102向右转30度(也称为-30度)。监听者102接收与图1中相同的预渲染的双耳信号。然而，与图2A到2B对比，预渲染的音频信号是用头部跟踪信息来调整。因此，在图3A中，监听者102将预渲染的双耳音频信号的声音察觉为起源于位置306处，处于零度，尽管监听者的头部转到了+30度。类似地，在图3B中，监听者102将预渲染的双耳音频信号的声音察觉为起源于位置306处，处于零度，尽管监听者的头部转到了-30度。
实例如下。假设察觉到声音是在正前方，如在图1中。如果监听者102将她的头部移动到左侧(如在图2A中)或移动到右侧(如在图2B中)，那么图像也移动。系统的功能是将图像推回到原始正面位置(零度)，如在图3A到3B中。对于图3A，此可通过将适当延迟添加到左耳使得声音首先到达右耳、接着稍后到达左耳来实现；且对于图3B，此可通过将适当延迟添加到右耳使得声音首先到达左耳、接着稍后到达右耳来实现。此类似于ITD的概念。类似地，对于图3A，系统可过滤到左耳的声音以便使高频率衰减，也过滤到右耳的声音以提高高频率；且对于图3B，系统可过滤到右耳的声音以便使高频率衰减，也过滤到左耳的声音以提高高频率。再次，此类似于ILD的概念，但其中滤波器单独地应用到左耳及右耳而无串扰。
另外章节描述一种将头部跟踪应用到预渲染的双耳音频信号的系统及方法。
图4是将头部跟踪应用到预渲染的双耳信号(例如，以实现图3A到3B中展示的内容)的耳麦400的样式化后视图。耳麦400包含左扬声器402、右扬声器404、头带406及电子器件500。耳麦400接收包含左信号及右信号的预渲染的双耳音频信号410。左扬声器402输出左信号，且右扬声器404输出右信号。头带406连接左扬声器402与右扬声器404且将耳麦400定位在监听者的头部上。电子器件500执行头部跟踪且根据头部跟踪执行双耳音频信号410的调整，如下文进一步详细描述。
双耳音频信号410可经由有线连接来接收。替代地，双耳音频信号410可被无线地接收(例如，经由例如BluetoothTM信号的IEEE 802.15.1标准信号、例如Wi-FiTM信号的IEEE802.11标准信号等等)。
替代地，电子器件500可位于另一位置中，例如，位于另一装置(例如，计算机，未展示)中；或电子器件500可位于耳麦400的另一部件上，例如，位于右扬声器404中、位于头带406上等等。
图5是电子器件500(参见图4)的框图。电子器件500包含经由总线514连接的处理器502、存储器504、输入接口506、输出接口508、输入接口510及传感器512。电子器件500的各种组件可使用可编程逻辑装置或芯片上系统来实施。
处理器502通常控制电子器件500的操作。处理器502还将头部跟踪应用到预渲染的双耳音频信号，如下文进一步详细描述。作为处理器502的操作的部分，处理器502可执行一或多个计算机程序。
存储器504通常存储由电子器件500操作的数据。举例来说，存储器504可存储由处理器502执行的一或多个计算机程序。作为将预渲染的双耳音频信号处理成左信号及右信号的部分，存储器可存储由电子器件500接收时的预渲染的双耳音频信号(例如，作为数据样本)、待发送到左扬声器及右扬声器(参见图4中的402及404)的左信号及右信号，或中间数据。存储器504可包含易失性及非易失性组件(例如，随机存取存储器、只读存储器、可编程只读存储器等等)。
输入接口506通常接收音频信号(例如，预渲染的双耳音频信号的左分量L及右分量R)。输出接口508通常将左音频信号L'及右音频信号R'输出到左扬声器及右扬声器(例如，图4中的402及404)。输入接口510通常接收由传感器512生成的头部跟踪数据。
传感器512通常生成头部跟踪数据620。头部跟踪数据620与传感器512的定向有关(或更一般来说，与包含传感器512的图4的电子器件500或耳麦400的定向有关)。传感器512可为加速度计、陀螺仪、磁力仪、红外传感器、相机、射频链路，或允许头部跟踪的任何其它类型的传感器。传感器512可为多轴传感器。传感器512可为生成头部跟踪数据620的若干传感器中的一者(例如，一个传感器生成方位数据，另一传感器生成仰角数据等等)。
替代地，传感器512可为除了图4的电子器件500或耳麦400之外的装置的组件。举例来说，传感器512可位于将预渲染的双耳音频信号提供到电子器件500的源装置中。在此情况中，源装置例如经由其提供预渲染的双耳音频信号的同一连接将头部跟踪数据提供到电子器件500。
图6是使用头部跟踪信息修改预渲染的双耳音频信号的系统600的框图。将系统600展示为功能块，以便绘示头部跟踪系统的操作。系统600可由电子器件500(参见图5)实施。系统600包含计算块602、延迟块604、延迟块606、滤波器块608及滤波器块610。系统600接收头部跟踪数据620、输入左信号L 622及输入右信号R 624作为输入。系统600生成输出左信号L'632及输出右信号R'634作为输出。
一般来说，计算块602基于头部跟踪数据620生成延迟及滤波器参数，将延迟提供到延迟块604及606，且将滤波器参数提供到滤波器块608及610。滤波器系数可根据布朗-杜达(Brown-Duda)模型来计算，且延迟值可根据伍兹沃思(Woodsworth)近似来计算。延迟及滤波器参数可被如下计算。
延迟D对应于上文所论述的ITD。延迟D可使用方程式1来计算：
Figure BDA0002942637150000121
在方程式1中，θ是方位角(例如，在水平面中，头部左转或右转，如图3A到3B中所展示)，
Figure BDA0002942637150000122
是仰角(例如，头部从水平面向上转或向下转)，r是头部半径，且c是音速。方程式1的角是以弧度(而非度)来表达，其中0弧度(0度)是正前(例如，如图1中所展示)，+π/2(+90度)是正左，且-π/2(-90度)是正右。头部半径r可为固定值，例如根据耳麦的大小。可使用常见的固定值0.0875米。替代地，可例如根据监听者头部上耳麦的头带的弯曲检测头部半径r。音速c可为固定值，例如对应于海平面处的音速(每秒340.29米)。
针对
Figure BDA0002942637150000127
(例如，水平面)，方程式1可简化成方程式2：
D＝(r/c)·(θ+sinθ) 0≤θ≤π/2 (2)
滤波器模型可被如下导出。在连续域中，滤波器采用方程式3到5的形式：
Figure BDA0002942637150000123
α(θ)＝1+cos(θ) (4)
Figure BDA0002942637150000124
双线性变换可用于转换成离散域，如方程式6中所展示：
Figure BDA0002942637150000125
现在，如方程式7中那样从方程式5重新定义β：
Figure BDA0002942637150000126
在方程式6到7中，fs是预渲染的双耳音频信号的取样速率。举例来说，44.1kHz是数字音频信号的常见取样速率。
接着，方程式8遵循：
Figure BDA0002942637150000131
对于两个耳朵(朝向察觉到的声音位置转的“近”耳，及远离察觉到的声音位置转的“远”耳)，产生方程式9到10：
Figure BDA0002942637150000132
Figure BDA0002942637150000133
在方程式9到10中，Hipsi是“近”耳的滤波器的传递函数(称为同侧滤波器)，Hcontra是“远”耳的滤波器的传递函数(称为对侧滤波器)，下标i与同侧分量相关联，且下标c与对侧分量相关联。
方程式9到10的分量是如方程式11到18中所给出：
ao＝ai0＝aco＝β+2 (11)
a1＝ai1＝ac1＝β-2 (12)
bi0＝β+2αi(θ) (13)
bi1＝β-2αi(θ) (14)
bc0＝β+2αc(θ) (15)
bc1＝β-2αc(θ) (16)
αi(θ)＝1+cos(θ-90°)＝1+sin(θ) (17)
αc(θ)＝1+cos(θ+90°)＝1-sin(θ) (18)
基于头部角，将延迟及滤波器应用到图6的系统600，如图7到8中所展示。图7展示系统600向左转(例如，如图3A中所展示)的配置，且图8展示系统600向右转(例如，如图3B中所展示)的配置。
在图7中，头部跟踪数据620指示向左转(例如，如图3A中所展示)，使得输入左信号622延迟且被对侧过滤，且输入右信号624被同侧过滤。这是由计算块602实现，计算块602将延迟块604配置有延迟D及未将延迟块606配置有延迟，将滤波器608配置为对侧滤波器Hcontra，且将滤波器610配置为同侧滤波器Hipsi。信号742可称为经延迟信号或左经延迟信号。信号744可称为未经延迟信号或右未经延迟信号。输出左信号632可称为经修改经延迟信号或左经修改经延迟信号。输出右信号634可称为经修改未经延迟信号或右经修改未经延迟信号。
在图8中，头部跟踪数据620指示向右转(例如，如图3B中所展示)，使得输入左信号622被同侧过滤，且输出右信号624延迟且被对侧过滤。这是由计算块602来实现，计算块602未将延迟块604配置有延迟及将延迟块606配置有延迟D，将滤波器608配置为同侧滤波器Hipsi，且将滤波器610配置为对侧滤波器Hcontra。信号842可称为未经延迟信号或左未经延迟信号。信号844可称为经延迟信号或右经延迟信号。输出左信号632可称为经修改未经延迟信号或左经修改未经延迟信号。输出右信号634可称为经修改经延迟信号或右经修改经延迟信号。
图9是用于使用头部跟踪以修改预渲染的双耳音频信号的系统900的框图。系统900可由电子器件500(参见图5)实施，且可实施于耳麦400(参见图4)中。系统900类似于系统600(参见图6)，外加交叉淡入淡出(以改进监听者随着头部在两个定向之间移动的察觉)及其它细节。系统900接收左输入信号622及右输入信号624(参见图6)，左输入信号622及右输入信号624是预渲染的双耳音频信号(例如，图4中的410)的左信号分量及右信号分量。系统900接收头部跟踪数据620，且生成左输出信号632及右输出信号634(参见图6)。在图9中，用实线展示信号路径，且用虚线展示控制路径。系统900包含头部角预处理器902、当前定向处理器910、前一定向处理器920、延迟930、左交叉淡入淡出942，及右交叉淡入淡出944。
系统900操作左输入信号622及右输入信号624的样本块。接着，在每块基础上应用延迟及声道滤波器。在实施例中可使用256个样本的块大小。块的大小可按需调整。
头部角处理器(预处理器)902通常执行来自头部跟踪传感器(例如，图5中的512)的头部跟踪数据620的处理。此处理包含将头部跟踪数据620转换成方程式1到18中使用的虚拟头部角，确定哪一声道是同侧声道及哪一声道是对侧声道(基于头部跟踪数据620)，及确定哪一声道将延迟(基于头部跟踪数据620)。举一实例，当头部跟踪数据620指示向左定向(例如，如在图3A中)时，左输入信号622是对侧声道且延迟，且右输入信号624是同侧声道(例如，如在图7中)。当头部跟踪数据620指示向右定向时(例如，如在图3B中)，左输入信号622是同侧声道，且右输入信号624是对侧声道且延迟(例如，如在图8中)。
头部角θ的范围在-180与+180度之间，且虚拟头部角的范围在0与90度之间，因此头部角处理器902可如下计算虚拟头部角θ。如果头部角的绝对值小于或等于90度，那么虚拟头部角是头部角的绝对值；否则虚拟头部角是180减头部角的绝对值。
将左声道或右声道指定为同侧及对侧的决策是头部角θ的函数。如果头部角等于或大于零(例如，向左定向)，那么左输入是对侧输入且右输入是同侧输入。如果头部角小于零(例如，向右定向)，那么左输入是同侧输入且右输入是对侧输入。
延迟相对地应用于左双耳声道与右双耳声道之间。对侧声道相对于同侧声道总是延迟。因此，如果头部角大于零(例如，向左看)，那么左声道相对于右声道延迟。如果头部角小于零(例如，向右看)，那么右声道相对于左声道延迟。如果头部角是零，那么不执行ITD校正。在一些实施例中，两个声道都可延迟，其中相对延迟量取决于头部跟踪数据。在这些实施例中，标记“经延迟”及“未经延迟”可被解释为“经较多延迟”及“经较少延迟”。
当前定向处理器910通常基于由头部角处理器902所处理的头部跟踪数据620计算当前头部定向的延迟(方程式2)及滤波器响应(方程式9到10)。当前定向处理器910包含存储器911、处理器912、声道混合器913a及913b、延迟914a及914b，以及滤波器915a及915b。存储器911存储当前头部定向。处理器912计算声道混合器913a及913b、延迟914a及914b以及滤波器915a及915b的参数。
声道混合器913a及913b基于头部角θ选择性地混合左输入信号622与右输入信号624的部分，且反之亦然。此混合过程处置θ＞90及θ＜90的情况的声道反转，这允许系统计算方程式以跨越完整的360度头部角平稳地工作。声道混合器913a及913b实施动态矩阵混合器，其中系数是θ的函数。表1中定义2×2混合矩阵系数M：
M(0,0) 左输入到左输出增益 sqrt(1-(sin(θ/2)^2))
M(0,1) 左输入到右输出增益 sin(θ/2)
M(1,0) 右输入到左输出增益 sin(θ/2)
M(1,1) 右输入到右输出增益 sqrt(1-(sin(θ/2)^2))
表1
图10展示θ在-180到+180的范围内在表1中实施的函数的图形表示。线1002对应于M(0,1)及M(1,0)的函数，且线1004对应于M(0,0)及M(1,1)的函数。
延迟914a及914b通常应用由处理器912计算的延迟(参见方程式2)。举例来说，当头部跟踪数据620指示向左定向(例如，如在图3A中)时，延迟914a延迟左输入信号622，且延迟914b不延迟右输入信号624(例如，如在图7中)。当头部跟踪数据620指示向右定向(例如，如在图3B中)时，延迟914a不延迟左输入信号622，且延迟914b延迟右输入信号624(例如，如在图8中)。
滤波器915a及915b通常应用由处理器912计算的滤波器(参见方程式9到10)。举例来说，当头部跟踪数据620指示向左定向(例如，如在图3A中)时，滤波器915a经配置为Hcontra，且滤波器915b经配置为Hipsi(例如，如在图7中)。当头部跟踪数据620指示向右定向(例如，如在图3B中)时，滤波器915a经配置为Hipsi，且滤波器915b经配置为Hcontra(例如，如在图8中)。滤波器915a及915b可经实施为无限脉冲响应(IIR)滤波器。
前一定向处理器920通常基于由头部角处理器902所处理的头部跟踪数据620计算前一头部定向的延迟(方程式2)及滤波器响应(方程式9到10)。前一定向处理器920包含存储器921、处理器922、声道混合器923a及923b、延迟924a及924b，以及滤波器925a及925b。存储器921存储前一头部定向。剩余组件以与当前定向处理器910的类似组件类似的方式操作，但操作前一头部角(而非当前头部角)。
延迟930按块大小(例如，256个样本)延迟，接着将当前头部定向(来自存储器911)存储于存储器921中作为前一头部定向。如上文所论述，系统900操作预渲染的双耳音频信号的样本块。当头部角θ改变时，系统900计算方程式两次：一次是由前一定向处理器920计算前一头部角，且一次是由当前定向处理器910计算当前头部角。当前定向处理器910输出当前左中间输出952a及当前右中间输出954a。前一定向处理器920输出前一左中间输出952b及前一右中间输出954b。
左交叉淡入淡出942及右交叉淡入淡出944通常对来自当前定向处理器910及前一定向处理器920的中间输出执行交叉淡入淡出。左交叉淡入淡出942执行当前左中间输出952a及前一左中间输出952b的交叉淡入淡出以生成输出左信号632。右交叉淡入淡出944执行当前右中间输出954a及前一右中间输出954b的交叉淡入淡出以生成输出右信号634。左交叉淡入淡出942及右交叉淡入淡出944可用线性交叉淡入淡出器来实施。
一般来说，左交叉淡入淡出942及右交叉淡入淡出944使系统900能够在头部角改变时避免音频中的点击数。在替代实施例中，左交叉淡入淡出942及右交叉淡入淡出944可用电路取代以限制延迟及滤波器系数的变化的转换速率。
图11A到11B是使用头部跟踪信息修改双耳信号的方法1100的流程图。方法1100可由系统900(参见图9)、系统600(参见图6或图7或图8)等等执行。方法1100可经实施为由系统的存储器存储或由系统的处理器(例如图5的处理器502)执行的计算机程序。
在1102处，接收双耳音频信号。双耳音频信号包含左信号及右信号。耳麦可接收双耳音频信号。举例来说，耳麦400(参见图4)接收包含输入左信号622及输入右信号624(参见图6)的预渲染的双耳音频信号410。
在1104处，生成头部跟踪数据。传感器可生成头部跟踪数据。头部跟踪数据与耳麦的定向有关。举例来说，传感器512(参见图5)可生成头部跟踪数据。
在1106处，基于头部跟踪数据计算延迟，基于头部跟踪数据计算第一滤波器响应，且基于头部跟踪数据计算第二滤波器响应。处理器可计算延迟、第一滤波器响应及第二滤波器响应。举例来说，处理器502(参见图5)可使用方程式2计算延迟，使用方程式9计算滤波器响应Hipsi，且使用方程式10计算滤波器响应Hcontra。
在1108处，基于头部跟踪数据将延迟应用到第一信号及第二信号中的一者以生成经延迟信号。第一信号及第二信号中的另一者是未经延迟信号。举例来说，在图7中，计算块602使用延迟块604以将延迟D应用到输入左信号622以生成左经延迟信号742；输入右信号624未延迟(右未经延迟信号744)。举另一实例，在图8中，计算块602使用延迟块606以将延迟D应用到右输入信号624以生成右经延迟信号844；输入左信号622未延迟(左未经延迟信号842)。
在1110处，将第一滤波器响应应用到经延迟信号以生成经修改经延迟信号。举例来说，在图7中，计算块602使用滤波器608以将Hcontra滤波器响应应用到左经延迟信号742以生成输出左信号632。举另一实例，在图8中，计算块602使用滤波器610以将Hcontra滤波器响应应用到右经延迟信号844以生成输出右信号634。
在1112处，将第二滤波器响应应用到未经延迟信号以生成经修改未经延迟信号。举例来说，在图7中，计算块602使用滤波器610以将Hipsi滤波器响应应用到右未经延迟信号744以生成输出左信号634。举另一实例，在图8中，计算块602使用滤波器608以将Hipsi滤波器响应应用到左未经延迟信号842以生成输出左信号632。
在1114处，由耳麦的第一扬声器根据头部跟踪数据输出经修改经延迟信号。举例来说，当输入左信号622延迟(参见图7及信号742)时，左扬声器402(参见图4)输出输出左信号632。举另一实例，当输入右信号624延迟(参见图8及信号844)时，右扬声器404(参见图4)输出输出右信号634。
在1116处，由耳麦的第二扬声器根据头部跟踪数据输出经修改未经延迟信号。举例来说，当输入右信号624未延迟(参见图7及信号744)时，右扬声器404(参见图4)输出输出右信号634。举另一实例，当输入左信号622未延迟(参见图8及信号842)时，左扬声器402(参见图4)输出输出左信号632。
为便于描述，步骤1102到1116的实例已参考图6到8的系统600予以描述，但其同样适用于图9的系统900。举例来说，由处理器502(参见图5)所实施的当前定向处理器910(参见图9)可计算及应用延迟及滤波器(步骤1106到1112)。然而，以下步骤1118到1130更适用于图9的系统900，且与交叉淡入淡出方面有关。
在步骤1118到1130(参见图11B)中，(步骤1102到1116的)头部跟踪数据是与耳麦的当前定向有关的当前头部跟踪数据，(步骤1102到1116的)延迟是当前延迟，(步骤1102到1116的)第一滤波器响应是当前第一滤波器响应，(步骤1102到1116的)第二滤波器响应是当前第二滤波器响应，(步骤1102到1116的)经延迟信号是当前经延迟信号，且(步骤1102到1116的)未经延迟信号是当前未经延迟信号。举例来说，当前定向处理器910(参见图9)可基于当前头部跟踪数据计算及应用延迟及滤波器。
在1118处，存储前一头部跟踪数据。前一头部跟踪数据对应于前一时间时的当前头部跟踪数据。举例来说，存储器921(参见图9)可存储对应于前一时间(例如，按块大小延迟了延迟930)时的当前头部定向(存储于存储器911中)的前一头部定向。
在1120处，基于前一头部跟踪数据计算前一延迟，基于前一头部跟踪数据计算前一第一滤波器响应，且基于前一头部跟踪数据计算前一第二滤波器响应。举例来说，由处理器502(参见图5)所实施的前一定向处理器920(参见图9)可使用方程式2计算前一延迟，使用方程式9计算前一滤波器响应Hipsi，且使用方程式10计算前一滤波器响应Hcontra。
在1122处，基于前一头部跟踪数据将前一延迟应用到第一信号及第二信号中的一者以生成前一经延迟信号。第一信号及第二信号中的另一者是前一未经延迟信号。举例来说，前一定向处理器920(参见图9)可使用延迟924a及924b中的相应者将前一延迟应用到输入左信号622或输入右信号624中任一者(如由声道混合器923a及923b所混合)。
在1124处，将前一第一滤波器响应应用到前一经延迟信号以生成经修改前一经延迟信号。举例来说，前一定向处理器920(参见图9)将前一滤波器响应Hcontra应用到前一经延迟信号；前一经延迟信号取决于输入左信号622或输入右信号624中的哪一者延迟而从延迟924a及924b中的相应者输出(参见1120)。
在1126处，将前一第二滤波器响应应用到前一未经延迟信号以生成经修改前一未经延迟信号。举例来说，前一定向处理器920(参见图9)将前一滤波器响应Hipsi应用到前一未经延迟信号；前一未经延迟信号取决于输入左信号622或输入右信号624中的哪一者未延迟而从延迟924a及924b中的另一者输出(参见1120)。
在1128处，交叉淡入淡出经修改经延迟信号及经修改前一经延迟信号。第一扬声器输出已经交叉淡入淡出的经修改经延迟信号及经修改前一经延迟信号(而非仅仅输出经修改经延迟信号，如在1114中)。举例来说，当输入左信号622延迟时，左交叉淡入淡出942(参见图9)可交叉淡入淡出当前左中间输出952a及前一左中间输出952b以生成输出左信号632以供左扬声器402(参见图4)输出。举另一实例，当输入右信号624延迟时，右交叉淡入淡出944(参见图9)可交叉淡入淡出当前右中间输出954a及前一右中间输出954b以生成输出右信号634以供右扬声器404(参见图4)输出。
在1130处，交叉淡入淡出经修改未经延迟信号及经修改前一未经延迟信号。第二扬声器输出已经交叉淡入淡出的经修改未经延迟信号及经修改前一未经延迟信号(而非仅仅输出经修改未经延迟信号，如在1114中)。举例来说，当输入左信号622未延迟时，左交叉淡入淡出942(参见图9)可交叉淡入淡出当前左中间输出952a及前一左中间输出952b以生成输出左信号632以供左扬声器402(参见图4)输出。举另一实例，当输入右信号624未延迟时，右交叉淡入淡出944(参见图9)可交叉淡入淡出当前右中间输出954a及前一右中间输出954b以生成输出右信号634以供右扬声器404(参见图4)输出。
方法1100可包含额外步骤或子步骤，例如以实施上文关于图1到10所论述的特征中的其它特征。
图12是用于使用头部跟踪以修改预渲染的双耳音频信号的系统1200的框图。系统1200可由电子器件500(参见图5)实施，且可实施于耳麦400(参见图4)中。系统1200类似于系统900(参见图9)，外加四个滤波器1216a、1216b、1226a及1226b。系统1200中的组件(预处理器1202、存储器1211及1221、当前定向处理器1210及前一定向处理器1220、处理器1212及1222、声道混合器1213a、1213b、1223a及1223b、延迟1214a、1214b、1224a及1224b、滤波器1215a、1215b、1225a及1225b，以及交叉淡入淡出1242及1244)在其它方面类似于具有与系统900(参见图9)中类似的命名及参考数字的组件。一般来说，系统1200将仰角处理添加到系统900，以便随着监听者头部的定向在仰角上改变(例如，从水平面向上或向下)而调整双耳音频信号。监听者头部的仰角还可称为倾斜或俯仰。
耳廓(外耳)负责与仰角有关的方向提示。为模拟仰角效果，滤波器1216a、1216b、1226a及1226b结合看正前方时的平均耳廓响应对头部在仰角上倾斜时的响应的比率。滤波器1216a、1216b、1226a及1226b实施基于相对于监听者头部的仰角动态变化的滤波器响应。如果监听者看正前方，那么比率是1:1且滤波并不是一直进行。这给出在默认方向上(正前方)指向头部时不会给声音上色的益处。随着监听者的头部移动远离正前方，比率发生较大变化。
类似于图9的处理器912及922，处理器1212及1222计算滤波器1216a、1216b、1226a及1226b的参数。一般来说，滤波器1216a、1216b、1226a及1226b使系统1200能够在与水平面成+90度(例如，正上方)与-45度(向下一半)的仰角之间操作。
为模拟仰角的头部跟踪效果，滤波器1216a、1216b、1226a及1226b用于模仿向前看(或正前方)与向上或向下看之间的差异。这些是通过首先对多个受试者进行加权平均(其中移除了人体测量的异常值)以获得多个方向的广义耳廓相关脉冲响应(PRIR)来导出。举例来说，可获得正前方(例如，0度仰角)、以45度向上看(例如，-45度仰角)及向正下方看(例如，+90度仰角)的广义PRIR。根据各种实施例，可获得每一度的广义PRIR(例如，从+90到-45度的135个PRIR)，或可获得每五度的广义PRIR(例如，从+90到-45度的28个PRIR)，或可获得每十度的广义PRIR(例如，从+90到-45度的14个PRIR)等等。这些广义PRIR可存储于系统1200的存储器中(例如，存储于由电子器件500所实施的存储器504中)。系统1200可按需内插于所存储的广义PRIR之间以适应除了所存储的广义PRIR的仰角之外的仰角。(因为本地化的恰可察觉的距离(JDN)是约一度，所以可避免对小于一度的分辨率的内插。)
假设
Figure BDA0002942637150000201
是频域中的广义耳廓相关传递函数，其中θ是方位角且
Figure BDA0002942637150000203
是仰角。向前PRIR对监听者的当前定向的PRIR的比率由方程式19给出：
Figure BDA0002942637150000202
在方程式19中，
Figure BDA0002942637150000204
表示任何给定频率f下的两个PRIR的比率，且0度是向前看或向正前方看时的仰角。
针对任何给定“看”角计算这些比率，且随着监听者向上及向下移动她的头部而将这些比率应用到左声道及右声道两者。如果监听者看正前方，那么比率是1:1且净滤波并不是一直进行。这给出在默认方向上(向前或正前方)指向头部时不会给声音上色的益处。随着监听者的头部移动远离正前方，比率发生较大变化。净效果是默认方向耳廓提示被移除且“看”角耳廓提示被插入。
系统1200可实施类似于方法1100(参见图11A到11B)的方法，外加存取、计算及应用滤波器1216a、1216b、1226a及1226b的参数的步骤。滤波器1216a、1216b、1226a及1226b可为有限脉冲响应(FIR)滤波器。替代地，滤波器1216a、1216b、1226a及1226b可为IIR滤波器。
四声道音频
头部跟踪还可与四声道音频一起使用，如下文参考图13到16进一步详细描述。
图13是用于使用4声道模式而使用头部跟踪以修改预渲染的双耳音频信号的系统1300的框图。系统1300可由电子器件500(参见图5)实施，且可实施于耳麦400(参见图4)中。系统1300包含上混器1310、前头部跟踪(HT)系统1320、后头部跟踪系统1330及重混器1340。系统1300接收输入双耳信号1350(其包含左声道及右声道)且生成输出双耳信号1360(其包含左声道及右声道)。如下文更完整所描述，系统1300通常将输入双耳信号1350上混成单独的前双耳信号及后双耳信号，且使用头部跟踪数据620处理前双耳信号且使用头部跟踪数据620的逆处理后双耳信号。举例来说，将向左转5度处理为前面(+5度)及后面(-5度)。
上混器1310通常接收输入双耳信号1350，且将其上混以生成包含前双耳信号1312(其包含左声道及右声道)及后双耳信号1314(其包含左声道及右声道)的4声道双耳信号。一般来说，前双耳信号1312包含直流分量(例如，不包含混响分量)，且后双耳信号1314包含扩散分量(例如，混响分量)。上混器1310可以各种方式生成前双耳信号1312及后双耳信号1314，所述方式包含使用元数据及使用信号模型。
关于元数据，输入双耳信号1350可为预渲染的信号(例如，类似于图4的双耳音频信号410，包含左输入622及右输入624)，外加进一步将输入双耳信号1350分类成前分量(或直流分量)及后分量(或扩散分量)的元数据。接着，上混器1310使用元数据以使用前分量生成前双耳信号1312且使用后分量生成后双耳信号1314。
关于信号模型，上混器1310可使用允许输入LT及RT与每一输入信号中的扩散信号之间的单个转向(例如，直接)信号的信号模型生成4声道双耳信号。输入LT及RT的信号模型分别由方程式20到25表示。为简单起见，已省略时间、频率及复杂的信号符号。
LT＝GLs+dL (20)
RT＝GRs+dR (21)
从方程式20，LT由增益GL乘以转向信号s加扩散信号dL构造。RT如方程式21中所展示那样类似地构造。进一步假设转向信号的幂是方程式22中所展示的S2。s、dL与dR之间的互相关全都是零，如方程式23中所展示，且左扩散信号(dL)中的幂等于右扩散信号(dR)中的幂，其等于D2，如方程式24中所展示。在这些假设下，输入信号LT与RT之间的协方差矩阵由方程式25给出。
E{ss}＝S2 (22)
E{sdL}＝E{sdR}＝E{dLdR}＝0 (23)
E{dLdL}＝E{dRdR}＝D2 (24)
Figure BDA0002942637150000211
为了从LT与RT分出转向信号，使用最小二乘法计算2×2信号相依分离矩阵，如方程式26中所展示。最小二乘方程式的解由方程式27给出。分离的转向信号s(例如，前双耳信号1312)因此由方程式28估计。接着，扩散信号dL及dR可根据方程式20到21计算以给出经组合扩散信号d(例如，后双耳信号1314)。
Figure BDA0002942637150000221
Figure BDA0002942637150000222
Figure BDA0002942637150000223
处理带b中的时间块m的信号相依分离矩阵W相对于信号统计估计X、Y及T的导数由方程式29给出。
Figure BDA0002942637150000224
关于假设的信号模型的3个经测量信号统计(X、Y及T)由方程式30到32给出。将方程式30、31、32代入方程式29的结果是由方程式33给出的最小二乘解的估计。
Figure BDA0002942637150000225
Figure BDA0002942637150000226
Figure BDA0002942637150000227
Figure BDA0002942637150000228
前头部跟踪系统1320通常接收前双耳信号1312且使用头部跟踪数据620生成经修改前双耳信号1322。前头部跟踪系统1320可取决于是否将执行仰角处理由系统900(参见图9)或系统1200(参见图12)实施。前双耳信号1312被提供为左输入622及右输入624(参见图9或图12)，且左输出632及右输出634(参见图9或图12)变为经修改前双耳信号1322。
后头部跟踪系统1330通常接收后双耳信号1314且使用头部跟踪数据620的逆生成经修改后双耳信号1324。在图14或图15中展示后头部跟踪系统1330的细节(取决于是否将执行仰角处理)。
重混器1340通常组合经修改前双耳信号1322与经修改后双耳信号1324以生成输出双耳信号1360。举例来说，输出双耳信号1360包含左声道及右声道，其中左声道是经修改前双耳信号1322及经修改后双耳信号1324的相应左声道的组合，且右声道是其相应右声道的组合。接着，输出双耳信号1360可由扬声器(例如，由图4的耳麦400)输出。
图14是无需使用仰角处理实施后头部跟踪系统1330(参见图13)的系统1400的框图。系统1400类似于系统900(参见图9，其中类似元件具有类似标记)，加入了反相器1402。反相器1402在由预处理器902处理头部跟踪数据620之前将其反转。举例来说，当头部跟踪数据620指示向左转5度(+5度)时，反相器1402将头部跟踪数据620反转到(-5度)。后双耳信号1314(参见图13)被提供为左输入622及右输入624，且左输出632及右输出634变为经修改后双耳信号1324(参见图13)。
图15是使用仰角处理实施后头部跟踪系统1330(参见图13)的系统1500的框图。系统1500类似于系统1200(参见图12，其中类似元件具有类似标记)，加入了反相器1502。反相器1502在由预处理器902处理头部跟踪数据620之前将其反转。举例来说，当头部跟踪数据620指示向左转5度(+5度)时，反相器1502将头部跟踪数据620反转到(-5度)。后双耳信号1314(参见图13)被提供为左输入622及右输入624，且左输出632及右输出634变为经修改后双耳信号1324(参见图13)。
图16是使用头部跟踪信息修改双耳信号的方法1600的流程图。方法1600可由系统1300(参见图13)执行。方法1600可经实施为由系统的存储器(例如，图5的存储器504)存储或由系统的处理器(例如，图5的处理器502)执行的计算机程序。
在1602处，接收双耳音频信号。耳麦可接收双耳音频信号。举例来说，耳麦400(参见图4)接收预渲染的双耳音频信号410(参见图6)。
在1604处，将双耳音频信号上混成四声道双耳信号。四声道双耳信号包含前双耳信号及后双耳信号。举例来说，上混器1310(参见图13)将输入双耳信号1350上混成前双耳信号1312及后双耳信号1314。双耳音频信号可使用元数据或使用信号模型来上混。
在1606处，生成头部跟踪数据。头部跟踪数据与耳麦的定向有关。传感器可生成头部跟踪数据。举例来说，传感器512(参见图5)可生成头部跟踪数据。传感器可为耳麦(例如，图4的耳麦400)的组件。
在1608处，将头部跟踪数据应用到前双耳信号以生成经修改前双耳信号。举例来说，前头部跟踪系统1320(参见图13)可使用头部跟踪数据620以从前双耳信号1312生成经修改前双耳信号1322。
在1610处，将头部跟踪数据的逆应用到后双耳信号以生成经修改后双耳信号。举例来说，后头部跟踪系统1330(参见图13)可使用头部跟踪数据620的逆以从后双耳信号1314生成经修改后双耳信号1324。
在1612处，组合经修改前双耳信号与经修改后双耳信号以生成经组合双耳信号。举例来说，重混器1340(参见图13)可组合经修改前双耳信号1322与经修改后双耳信号1324以生成输出双耳信号1360。
在1614处，输出经组合双耳信号。举例来说，扬声器402及扬声器404(参见图4)可输出输出双耳信号1360。
方法1600可包含另外步骤或子步骤，例如以实施上文关于图13到15所论述的特征中的其它特征。
参数双耳
还可在使用参数双耳呈现解码双耳音频时使用头部跟踪，如下文参考图17到29进一步详细描述。参数双耳呈现可借助于将喇叭呈现变换成双耳(耳机)呈现的呈现变换参数从喇叭呈现来获得。参数双耳呈现的一般原理描述于第PCT/US2016/048497号国际申请案及第62/287,531号美国临时申请案中。为了完整性，参数双耳呈现的操作原理在下文予以解释且在续作中将称为‘参数双耳’。
图17是提供参数双耳系统的概览的参数双耳系统1700的框图。系统1700可实施DolbyTM AC-4编码。系统1700可由一或多个计算机系统(例如，其包含图5的电子器件500)实施。系统1700包含编码器1710、解码器1750、合成块1780及耳麦1790。
编码器1710通常使用头部相关传递函数(HRTF)1714变换音频内容1712以生成经编码信号1716。音频内容1712可为基于声道或基于对象的。编码器1710包含分析块1720、扬声器渲染器1722、消声双耳渲染器1724、声学环境模拟输入矩阵1726、呈现变换参数估计块1728及编码器块1730。
分析块1720通过对音频内容1712执行时间到频率分析生成经分析信号1732。分析块1720还可执行成帧。分析块1720可实施混合复合正交镜滤波器(HCQMF)。
扬声器渲染器1722从经分析信号1732生成喇叭信号1734(LoRo，其中“L”及“R”指示左分量及右分量)。扬声器渲染器1722可执行矩阵化或卷积。
消声双耳渲染器1724使用HRTF 1714从经分析信号1732生成消声双耳信号1736(LaRa)。一般来说，消声双耳渲染器1724卷积经分析信号1732的输入声道或对象与HRTF1714，以便模拟从对象位置到两个耳朵的声学路径。如果基于对象的音频被提供为输入，那么HRTF可基于与一或多个基于对象的音频输入相关联的位置元数据依据时间而改变。
声学环境模拟输入矩阵1726从经分析信号1732生成声学环境模拟输入信息1738(ASin)。声学环境模拟输入信息1738生成希望作为人工声学环境模拟算法的输入的信号。
呈现变换参数估计块1728生成呈现变换参数1740(W)，其使消声双耳信号LaRa1736及声学环境模拟输入信息ASin 1738与喇叭信号LoRo 1734有关。呈现变换参数1740还可称为呈现变换信息或参数。
编码器块1730使用喇叭信号LoRo 1734及呈现变换参数W 1740生成经编码信号1716。
解码器1750通常将经编码信号1716解码为经解码信号1756。解码器1750包含解码器块1760、呈现变换块1762、声学环境模拟器1764及混合器1766。
解码器块1760解码经编码信号1716以生成呈现变换参数W 1740及喇叭信号LoRo1734。呈现变换块1762使用呈现变换参数W 1740变换喇叭信号LoRo 1734，以便生成消声双耳信号LaRa 1736及声学环境模拟输入信息ASin 1738。呈现变换过程可包含矩阵化操作、卷积操作或两者。声学环境模拟器1764使用声学环境模拟输入信息ASin 1738执行声学环境模拟以生成模拟人工声学环境的声学环境模拟输出信息ASout 1768。存在许多现有算法及方法以模拟声学环境，其包含与房间脉冲响应的卷积，或例如反馈延迟网络(FDN)的算法合成混响算法。混合器1766混合消声双耳信号LaRa 1736与声学环境模拟输出信息ASout1768以生成经解码信号1756。
合成块1780对经解码信号1756执行频率到时间合成(例如，HCQMF合成)以生成双耳信号1782。耳麦1790包含输出双耳信号1782的相应左分量及右分量的左扬声器及右扬声器。
如上文所论述，系统1700使用(例如)HCQMF、离散傅里叶变换(DFT)、经修改离散余弦变换(MDCT)等等操作于变换域(频域)或滤波器组域中。
以此方式，解码器1750借助于呈现变换块1762生成消声双耳信号(LaRa 1736)且将其与“在监听时渲染的”声学环境模拟输出信号(ASout 1768)混合。接着，此混合(经解码信号1756)经由耳机1790呈现给监听者。
头部跟踪可根据各种选项添加到解码器1750，如参考图18到29所描述。
图18是将头部跟踪添加到立体声参数双耳解码器1750(参见图17)的参数双耳系统1800的框图。系统1800可由电子器件或由包含电子器件(例如，图5的电子器件500)的计算机系统实施。系统1800可连接到耳麦(例如，图4的耳麦400)或可为耳麦的组件。各种各样的元件使用与先前图中相同的标记(例如，图6的头部跟踪数据620、图17的喇叭信号LoRo1734等等)。系统1800包含呈现变换块1810、头部跟踪处理器1820、声学环境模拟器1830及混合器1840。系统1800操作各种信号，包含左消声(经HRTF处理的)信号1842(La)、右消声(经HRTF处理的)信号1844(Ra)、头部跟踪左消声(经HRTF处理的)信号1852(LaTr)、头部跟踪右消声(经HRTF处理的)信号1854(RaTr)、头部跟踪声学环境模拟输出信息1856(ASoutTr)、头部跟踪左双耳信号1862(LbTr)，及头部跟踪右双耳信号1864(RbTr)。
呈现变换块1810接收喇叭信号LoRo 1734及呈现变换参数W 1740，且生成左消声信号La 1842、右消声信号Ra 1844及声学环境模拟输入信息ASin 1738。呈现变换块1810可以类似于呈现变换块1762(参见图17)的方式实施信号矩阵化及卷积。左消声信号La 1842及右消声信号Ra 1844共同形成消声双耳信号LaRa 1736(参见图17)。
头部跟踪处理器1820使用头部跟踪数据620处理左消声信号La 1842及右消声信号Ra 1844以生成头部跟踪左消声信号LaTr 1852及头部跟踪右消声信号RaTr 1854。
声学环境模拟器1830使用头部跟踪数据620处理声学环境模拟输入信息ASin1738以生成头部跟踪声学环境模拟输出信息ASoutTr 1856。
混合器1840混合头部跟踪左消声信号LaTr 1852、头部跟踪右消声信号RaTr 1854与头部跟踪声学环境模拟输出信息ASoutTr 1856以生成头部跟踪左双耳信号LbTr 1862及头部跟踪右双耳信号RbTr 1864。
耳麦400(参见图4)经由相应左扬声器及右扬声器输出头部跟踪左双耳信号LbTr1862及头部跟踪右双耳信号RbTr 1864。
图19是将头部跟踪添加到解码器1750(参见图17)的参数双耳系统1900的框图。系统1900可由电子器件或由包含电子器件(例如，图5的电子器件500)的计算机系统实施。各种各样的元件使用与先前图中相同的标记(例如，图6的头部跟踪数据620、图17的声学环境模拟器1764、图18的头部跟踪处理器1820等等)。系统1900包含呈现变换块1810(参见图18)、头部跟踪处理器1820(参见图18)、声学环境模拟器1764(参见图17)、头部跟踪处理器1920及混合器1840(参见图18)。呈现变换块1810、头部跟踪处理器1820、声学环境模拟器1764、混合器1840及耳麦400如上文关于图17到18所描述那样操作。
头部跟踪处理器1920使用头部跟踪数据620处理声学环境模拟输出信息ASout1768以生成头部跟踪声学环境模拟输出信息ASoutTr 1856。
与图18相比，注意，系统1800将头部跟踪应用到声学环境模拟输入信息ASin1738，而系统1900将头部跟踪应用到声学环境模拟输出信息ASout 1768。替代地，系统1800可仅将头部跟踪应用到消声双耳信号La 1842及Ra 1844，且不应用到声学环境信号(例如，可省略声学环境模拟器1830，且混合器1840可操作声学环境模拟输入信息ASin 1738，而非头部跟踪声学环境模拟输出信息ASoutTr 1856)。
图20是将头部跟踪添加到解码器1750(参见图17)的参数双耳系统2000的框图。系统2000可由电子器件或由包含电子器件(例如，图5的电子器件500)的计算机系统实施。各种各样的元件使用与先前图中相同的标记(例如，图6的头部跟踪数据620、图17的声学环境模拟器1764等等)。系统2000包含呈现变换块1810(参见图18)、声学环境模拟器1764(参见图17)、混合器2040及头部跟踪处理器2050。呈现变换块1810、声学环境模拟器1764及耳麦400如上文关于图17到18所描述那样操作。
混合器2040混合左消声信号La 1842、右消声信号Ra 1844与声学环境模拟输出信息ASout 1768以生成左双耳信号2042(Lb)及右双耳信号2044(Rb)。
头部跟踪处理器2050将头部跟踪数据620应用到左双耳信号Lb 2042及右双耳信号Rb 2044以生成头部跟踪左双耳信号LbTr 1862及头部跟踪右双耳信号RbTr 1864。
与图18到19相比，注意，系统1800及1900在混合之前应用头部跟踪，而系统2000在混合之后应用头部跟踪。
图21是使用头部跟踪信息修改双耳音频信号的参数双耳系统2100的框图。将系统2100展示为功能块，以便绘示头部跟踪系统的操作。系统2100可由电子器件500(参见图5)实施。系统2100类似于系统600(参见图6)，其中类似组件被类似地命名，但具有不同数字；此外，系统2100添加额外组件以在变换域(频域)中操作。系统2100包含计算块2110、左分析块2120、左延迟块2122、左滤波器块2124、左合成块2126、右分析块2130、右延迟块2132、右滤波器块2134及右合成块2136。系统2100接收头部跟踪数据620、输入左信号L 2140及输入右信号R 2150作为输入。系统2100生成输出左信号L'2142及输出右信号R'2152作为输出。
一般来说，计算块2110基于头部跟踪数据620生成延迟及滤波器参数，将左延迟D(L)2111提供到左延迟块2122，将右延迟D(R)2112提供到右延迟块2132，将左滤波器参数H(L)2113提供到左滤波器块2124，且将右滤波器参数H(R)2114提供到右滤波器块2134。
如上文关于图17所论述，参数双耳方法可实施于变换域(频域)(例如，(混合)QMF域、HCQMF域等等)中，而上文(例如，图6到9、12等等)描述的系统中的其它者使用延迟、滤波及交叉淡入淡出操作于时域中。为集成这些特征，左分析块2120执行输入左信号L 2140的时间到频率分析，且将经分析信号提供到左延迟块2122；右分析块2130执行输入右信号R2150的时间到频率分析，且将经分析信号提供到右延迟块2132；左合成块2126对左滤波器2124的输出执行频率到时间合成以生成输出左信号L'2142；且右合成块2136对右滤波器2134的输出执行频率到时间合成以生成输出右信号R'2152。因而，计算块2110生成左延迟D(L)2111、右延迟D(R)2112、左滤波器参数H(L)2113及右滤波器参数H(R)2114的变换域表示(而非时域表示)。滤波器系数及延迟值可以其它方式如上文关于图6所论述那样被计算。
图22是使用头部跟踪信息修改双耳音频信号的参数双耳系统2200的框图。将系统2200展示为功能块，以便绘示头部跟踪系统的操作。系统2200可由电子器件500(参见图5)实施。系统2200类似于系统2100(参见图21)，其中类似块具有类似命名或数字。与系统2100相比，系统2200包含计算块2210及矩阵化块2220。
在频域表示中，延迟可近似于每一频带的相移，且滤波器可近似于每一频带中的标量。接着，计算块2210及矩阵化块2220实施这些近似。具体来说，计算块2210生成每一频带的输入矩阵2212。输入矩阵MHead 2212可为2×2复值输入输出矩阵。矩阵化块2220将每一频带的输入矩阵2212应用到输入左信号L 2140及输入右信号R 2150(在由相应左分析块2120及右分析块2130处理之后)，以生成到相应左合成块2126及右合成块2136的输入。矩阵的量值及相位参数可通过取样图21中给出的延迟及滤波器操作的相位及量值来获得(例如，在HCQMF域中，在HCQMF带的中心频率处)。
更具体来说，如果延迟D(L)2111及D(R)2112(参见图21)是以秒给出，滤波器H(L)2113及H(R)2114是以离散时间表示(例如，例如Z变换的离散时间变换)H(L,z)及H(R,z)给出，且给定HCQMF带的中心频率是由f给出，那么由矩阵化块2220实施的矩阵操作的一个实现是通过代入z＝exp(2πjf)来给出：
Figure BDA0002942637150000281
其中
m11(f)＝exp(–2πjfD(L))H(L,z＝exp(2πjf)) (35)
m22(f)＝exp(–2πjfD(R))H(R,z＝exp(2πjf)) (36)
如果头部跟踪数据随着时间而改变，那么计算块2210可重新计算每一频带的新矩阵，且随后将矩阵(由矩阵化块2220实施)改变成在每一带中新获得的矩阵。为了改进质量，计算块2210可在生成新矩阵的输入矩阵2212时使用内插，以确保从一组矩阵系数到另一组矩阵系数的平稳转变。计算块2210可独立地将内插应用到矩阵的实部及虚部，或可操作矩阵系数的量值及相位。
系统2200不一定包含声道混合，这是因为在左信号与右信号之间不存在交叉项(也参见图21的系统2100)。然而，声道混合可通过添加用于声道混合的2×2矩阵Mmix被添加到系统2200。接着，矩阵化块2220实施方程式37的2×2复值经组合矩阵表达式：
Figure BDA0002942637150000291
图23是使用头部跟踪信息修改立体声输入信号(例如，1716)的参数双耳系统2300的框图。系统2300通常将头部跟踪添加到解码器块1750(参见图17)，且针对类似组件及信号使用类似命名及标记。系统2300类似于系统2000，这在于，头部跟踪在混合之后被应用。系统2300可由电子器件或由包含电子器件(例如，图5的电子器件500)的计算机系统实施。系统2300可连接到耳麦(例如，图4的耳麦400)或可为耳麦的组件。系统2300包含解码器块1760、呈现变换块1762、声学环境模拟器1764及混合器1766，其(与经标记信号一起)如上文在图17中所描述那样操作。系统2300还包含预处理器2302、计算块2304、矩阵化块2306及合成块2308。
关于之前提及的组件：简略地，解码器块1760生成喇叭呈现(喇叭信号LoRo 1734)及参数数据(呈现变换参数W 1740)的频域表示。矩阵化块1762使用呈现变换参数W 1740以借助于每频带矩阵化操作将喇叭信号LoRo 1734变换成消声双耳呈现(消声双耳信号LaRa1736)及声学环境模拟输入信息ASin 1738。声学环境模拟器1764使用声学环境模拟输入信息ASin 1738执行声学环境模拟以生成声学环境模拟输出信息ASout 1768。混合器1766混合消声双耳信号LaRa 1736与声学环境模拟输出信息ASout 1768以生成经解码信号1756。混合器1766可类似于混合器2040(参见图20)，其中消声双耳信号LaRa 1736对应于左消声信号La 1842与右消声信号Ra 1844的组合，且经解码信号1756对应于左双耳信号Lb 2042及右双耳信号Rb 2044。
预处理器2302通常执行来自头部跟踪传感器(例如，图5中的512)的头部跟踪数据620的处理以生成经预处理头部跟踪数据。预处理器2302可实施类似于头部角处理器902(参见图9)或预处理器1202(参见图12)的处理的处理，如上文详细描述。预处理器2302将经预处理头部跟踪数据提供到计算块2304。
计算块2304通常操作来自预处理器2302的经预处理头部跟踪数据以生成用于矩阵化块2306的输入矩阵。计算块2304可类似于计算块2210(参见图22)，其将每一频带的输入矩阵2212提供到矩阵化块2306。计算块2304可实施上文关于计算块2210所论述的方程式。
矩阵化块2306通常将来自计算块2304的输入矩阵应用到经解码信号1756的每一频带以生成到合成块2308的输入。矩阵化块2306可类似于矩阵化块2220(参见图22)，且可将每一频带的输入矩阵2212应用到经解码信号1756(其包含图20的左双耳信号Lb 2042及右双耳信号Rb 2044)。
合成块2308通常对经解码信号1756执行频率到时间合成(例如，HCQMF合成)以生成双耳信号2320。合成块2308可经实施为类似于左合成块2126及右合成块2136(参见图21)的两个合成块，以生成输出左信号L'2142及输出右信号R'2152作为双耳信号2320。耳麦400输出双耳信号2320(例如，经由相应左扬声器及右扬声器)。
图24是使用头部跟踪信息修改立体声输入信号(例如，1716)的参数双耳系统2400的框图。系统2400通常将头部跟踪添加到解码器块1750(参见图17)，且针对类似组件及信号使用类似命名及标记。系统2400类似于系统2300(参见图23)，但在混合之前应用头部跟踪。在这点上，系统2400类似于系统1800(参见图18)或系统1900(参见图19)。系统2400可由电子器件或由包含电子器件(例如，图5的电子器件500)的计算机系统实施。系统2400可连接到耳麦(例如，图4的耳麦400)或可为耳麦的组件。系统2400包含解码器块1760、呈现变换块1762及合成块2308，其如上文关于系统2300(参见图23)所描述那样操作。系统2400还包含预处理器2402、计算块2404、矩阵化块2406、声学环境模拟器2408及混合器2410。
关于之前提及的组件：简略地，解码器块1760生成喇叭呈现(喇叭信号LoRo 1734)及呈现变换参数数据(呈现变换参数W 1740)的频域表示。呈现变换块1762使用呈现变换参数W 1740以借助于每频带矩阵化操作将喇叭信号LoRo 1734变换成消声双耳呈现(消声双耳信号LaRa 1736)及声学环境模拟输入信息ASin 1738。
预处理器2402通常执行来自头部跟踪传感器(例如，图5中的512)的头部跟踪数据620的处理以生成经预处理头部跟踪数据。预处理器2302可实施类似于头部角处理器902(参见图9)或预处理器1202(参见图12)的处理的处理，如上文详细描述。预处理器2402将经预处理头部跟踪数据2420提供到计算块2404。作为选项(由虚线展示)，预处理器2402可将经预处理头部跟踪数据2422提供到声学环境模拟器2408。
计算块2404通常操作来自预处理器2302的经预处理头部跟踪数据2420以生成用于矩阵化块2406的输入矩阵。计算块2404可类似于计算块2210(参见图22)，其将每一频带的输入矩阵2212提供到矩阵化块2406。计算块2404可实施上文关于计算块2210所论述的方程式。
矩阵化块2406通常将来自计算块2404的输入矩阵应用到消声双耳信号LaRa 1736的每一频带以生成用于混合器2410的头部跟踪消声双耳信号2416。(比较矩阵化块2406与头部跟踪处理器1820(参见图18)，其中头部跟踪消声双耳信号2416对应于头部跟踪左消声信号LaTr 1852及头部跟踪右消声信号RaTr 1854。)与矩阵化块2306(参见图23)相比，注意，矩阵化块2406在混合块2410之前操作，而矩阵化块2306在混合块1766之后操作。以此方式，矩阵化块2306操作(间接)声学环境模拟输出信息ASout 1768，而矩阵化块2406并不是这样。
声学环境模拟器2408通常使用声学环境模拟输入信息ASin 1738执行声学环境模拟以生成声学环境模拟输出信息ASout 1768。声学环境模拟器2408可类似于声学环境模拟器1764(参见图17)。作为选项(由虚线展示)，声学环境模拟器2408可从预处理器接收经预处理头部跟踪信息2422，且可根据经预处理头部跟踪信息2422修改声学环境模拟输出信息ASout 1768。在此选项中，接着，声学环境模拟输出信息ASout 1768可基于头部跟踪信息620而改变。此类改变的一个实例是选择将要应用的脉冲响应。声学环境模拟算法可将一系列双耳脉冲响应存储到存储器中。取决于所提供的头部跟踪信息，声学环境模拟输入可与一对或另一对脉冲响应卷积以生成声学环境模拟输出信号。另外或替代地，声学环境模拟算法可模拟早期反射模式。取决于头部跟踪信息620，早期反射模拟的位置或方向可变化。
混合器2410通常混合声学环境模拟输出信息ASout 1768与头部跟踪消声双耳信号2416以生成到合成块2308的经组合头部跟踪信号。混合器2410可类似于混合器1766(参见图17)，但操作头部跟踪消声双耳信号2416，而非消声双耳信号LaRa 1736。
合成块2308以类似于上文关于图23所论述的方式的方式操作，且耳麦400输出双耳信号2320(例如，经由相应左扬声器及右扬声器)。
图25是使用头部跟踪信息修改立体声输入信号(例如，1716)的参数双耳系统2500的框图。系统2500通常将头部跟踪添加到解码器块1750(参见图17)，且针对类似组件及信号使用类似命名及标记。系统2500类似于系统2400(参见图24)，但具有单个呈现变换块。系统2500可由电子器件或由包含电子器件(例如，图5的电子器件500)的计算机系统实施。系统2500可连接到耳麦(例如，图4的耳麦400)或可为耳麦的组件。系统2500包含解码器块1760、预处理器2402、计算块2404、声学环境模拟器2408(包含接收经预处理头部跟踪信息2422的选项)、混合器2410及合成块2308，其如上文关于系统2400(参见图24)所描述那样操作。系统2500还包含呈现变换块2562。
呈现变换块2562将呈现变换块1762及矩阵化块2406(参见图24)的操作组合于单个矩阵中。呈现变换块2562以类似于呈现变换块1762的方式生成声学环境模拟输入信息ASin 1738。然而，呈现变换块2562使用来自计算块2404的输入矩阵以便将头部跟踪信息应用到喇叭信号LoRo 1734，以生成头部跟踪消声双耳信号2416。待应用于呈现变换块2562中的矩阵是从如下的矩阵乘法得出。假设将LoRo 1734转换成La 1842及Ra 1844(共同为LaRa1736)的呈现变换过程由2×2输入输出矩阵Mtrans表示。此外，假设将LaRa 1756转换成头部跟踪LaRa的头部跟踪矩阵2306由2×2输入输出矩阵Mhead表示。在此情况中，接着，待由呈现变换块2562应用的经组合矩阵Mcombined由下式给出：
Mcombined＝MheadMtrans (38)
如果不支持头部跟踪，或当未检测到头部相对于参考位置或定向的位置变化时，那么头部跟踪矩阵Mhead将等于单位矩阵。在上文实例中，不考虑声学环境模拟输入信号。
合成块2308以类似于上文关于图24所论述的方式的方式操作，且耳麦400输出双耳信号2320(例如，经由相应左扬声器及右扬声器)。
图26是使用头部跟踪信息修改参数双耳信号的方法2600的流程图。方法2600可由系统2300(参见图23)执行。方法2600可经实施为由系统的存储器(例如，图5的存储器504)存储或由系统的处理器(例如，图5的处理器502)执行的计算机程序。
在2602处，生成头部跟踪数据。头部跟踪数据与耳麦的定向有关。传感器可生成头部跟踪数据。举例来说，耳麦400(参见图4及图23)可包含生成头部跟踪数据620的传感器512(参见图5)。
在2604处，接收经编码立体声信号。经编码立体声信号可对应于参数双耳信号。经编码立体声信号包含立体声信号及呈现变换信息。呈现变换信息使立体声信号与双耳信号有关。举例来说，系统2300(参见图23)接收经编码信号1716作为经编码立体声信号。经编码信号1716包含喇叭信号LoRo 1734及呈现变换参数W 1740(参见到图17中的编码器块1730的输入)。呈现变换参数W 1740使喇叭信号LoRo 1734与消声双耳信号LaRa 1736有关(注意，图17的呈现变换参数估计块1728使用呈现变换参数W 1740及声学环境模拟输入信息ASin 1738以使喇叭信号LoRo 1734与消声双耳信号LaRa 1736有关)。
在2606处，解码经编码立体声信号以生成立体声信号及呈现变换信息。举例来说，解码器块1760(参见图23)解码经编码信号1716以生成喇叭信号LoRo 1734及呈现变换参数W 1740。
在2608处，使用呈现变换信息对立体声信号执行呈现变换以生成双耳信号及声学环境模拟输入信息。举例来说，呈现变换块1762(参见图23)使用呈现变换参数W 1740对喇叭信号LoRo 1734执行呈现变换以生成消声双耳信号LaRa 1736及声学环境模拟输入信息ASin 1738。
在2610处，对声学环境模拟输入信息执行声学环境模拟以生成声学环境模拟输出信息。举例来说，声学环境模拟器1764(参见图23)对声学环境模拟输入信息ASin 1738执行声学环境模拟以生成声学环境模拟输出信息ASout 1768。
在2612处，组合双耳信号与声学环境模拟输出信息以生成经组合信号。举例来说，混合器1766(参见图23)组合消声双耳信号LaRa 1736与声学环境模拟输出信息ASout 1768以生成经解码信号1756。
在2614处，使用头部跟踪数据修改经组合信号以生成输出双耳信号。举例来说，矩阵化块2306(参见图23)使用由计算块2304根据头部跟踪数据620(经由预处理器2302)计算的输入矩阵2212修改经解码信号1756，以生成(用合成块2308)双耳信号2320。
在2616处，输出输出双耳信号。输出双耳信号可由至少两个扬声器输出。举例来说，耳麦400(参见图23)可输出双耳信号2320。
方法2600可包含另外步骤或子步骤，例如以实施上文关于图17到23所论述的特征中的其它特征。举例来说，步骤2614可包含以下子步骤：计算矩阵参数(例如，由计算块2304)、执行矩阵化(例如，由矩阵化块2306)，及执行频率到时间合成(例如，由合成块2308)。
图27是使用头部跟踪信息修改参数双耳信号的方法2700的流程图。方法2700可由系统2400(参见图24)执行。注意，与方法2600(参见图26)相比，方法2700在组合之前应用头部跟踪矩阵化，而方法2600在2614处应用头部跟踪之前在2612处执行组合。方法2700可经实施为由系统的存储器(例如，图5的存储器504)存储或由系统的处理器(例如，图5的处理器502)执行的计算机程序。
在2702处，生成头部跟踪数据。头部跟踪数据与耳麦的定向有关。传感器可生成头部跟踪数据。举例来说，耳麦400(参见图4及图24)可包含生成头部跟踪数据620的传感器512(参见图5)。
在2704处，接收经编码立体声信号。经编码立体声信号可对应于参数双耳信号。经编码立体声信号包含立体声信号及呈现变换信息。呈现变换信息使立体声信号与双耳信号有关。举例来说，系统2400(参见图24)接收经编码信号1716作为经编码立体声信号。经编码信号1716包含喇叭信号LoRo 1734及呈现变换参数W 1740(参见到图17中的编码器块1730的输入)。呈现变换参数W 1740使喇叭信号LoRo 1734与消声双耳信号LaRa 1736有关(注意，图17的呈现变换参数估计块1728使用呈现变换参数W 1740及声学环境模拟输入信息ASin 1738以使喇叭信号LoRo 1734与消声双耳信号LaRa 1736有关)。
在2706处，解码经编码立体声信号以生成立体声信号及呈现变换信息。举例来说，解码器块1760(参见图24)解码经编码信号1716以生成喇叭信号LoRo 1734及呈现变换参数W 1740。
在2708处，使用呈现变换信息对立体声信号执行呈现变换以生成双耳信号及声学环境模拟输入信息。举例来说，呈现变换块1762(参见图24)使用呈现变换参数W 1740对喇叭信号LoRo 1734执行呈现变换以生成消声双耳信号LaRa 1736及声学环境模拟输入信息ASin 1738。
在2710处，对声学环境模拟输入信息执行声学环境模拟以生成声学环境模拟输出信息。举例来说，声学环境模拟器2408(参见图24)对声学环境模拟输入信息ASin 1738执行声学环境模拟以生成声学环境模拟输出信息ASout 1768。
任选地，根据头部跟踪数据修改声学环境模拟输出信息ASout 1768。举例来说，预处理器2402(参见图24)预处理头部跟踪数据620以生成经预处理头部跟踪信息2422，声学环境模拟器2408使用经预处理头部跟踪信息2422以修改声学环境模拟输出信息ASout1768。
在2712处，使用头部跟踪数据修改双耳信号以生成输出双耳信号。举例来说，矩阵化块2406(参见图24)使用由计算块2404根据头部跟踪数据620(经由预处理器2402)计算的输入矩阵2212修改消声双耳信号LaRa 1736，以生成头部跟踪消声双耳信号2416。
在2714处，组合输出双耳信号与声学环境模拟输出信息以生成经组合信号。举例来说，混合器2410(参见图24)组合头部跟踪消声双耳信号2416与声学环境模拟输出信息ASout 1768以生成(用合成块2308)双耳信号2320。
在2716处，输出经组合信号。经组合信号可由至少两个扬声器输出。举例来说，耳麦400(参见图24)可输出双耳信号2320。
方法2700可包含另外步骤或子步骤，例如以实施上文关于图17到22及24所论述的特征中的其它特征。举例来说，步骤2712可包含以下子步骤：基于头部跟踪数据计算输入矩阵(例如，由计算块2404)，及使用输入矩阵矩阵化双耳信号(例如，由矩阵化块2406)以生成输出双耳信号。
图28是使用头部跟踪信息修改参数双耳信号的方法2800的流程图。方法2800可由系统2500(参见图25)执行。注意，与方法2700(参见图25)相比，方法2800将头部跟踪应用于第一矩阵中，而方法2700将头部跟踪应用于第二矩阵中(参见2712)。方法2800可经实施为由系统的存储器(例如，图5的存储器504)存储或由系统的处理器(例如，图5的处理器502)执行的计算机程序。
在2802处，生成头部跟踪数据。头部跟踪数据与耳麦的定向有关。传感器可生成头部跟踪数据。举例来说，耳麦400(参见图4及图25)可包含生成头部跟踪数据620的传感器512(参见图5)。
在2804处，接收经编码立体声信号。经编码立体声信号可对应于参数双耳信号。经编码立体声信号包含立体声信号及呈现变换信息。呈现变换信息使立体声信号与双耳信号有关。举例来说，系统2500(参见图25)接收经编码信号1716作为经编码立体声信号。经编码信号1716包含喇叭信号LoRo 1734及呈现变换参数W 1740(参见到图17中的编码器块1730的输入)。呈现变换参数W 1740使喇叭信号LoRo 1734与消声双耳信号LaRa 1736有关(注意，图17的呈现变换参数估计块1728使用呈现变换参数W 1740及声学环境模拟输入信息ASin 1738以使喇叭信号LoRo 1734与消声双耳信号LaRa 1736有关)。
在2806处，解码经编码立体声信号以生成立体声信号及呈现变换信息。举例来说，解码器块1760(参见图25)解码经编码信号1716以生成喇叭信号LoRo 1734及呈现变换参数W 1740。
在2808处，使用呈现变换信息及头部跟踪数据对立体声信号执行呈现变换以生成头部跟踪双耳信号。头部跟踪双耳信号对应于已被矩阵化的双耳信号。举例来说，呈现变换块2562(参见图25)使用呈现变换参数W 1740将输入矩阵2212(其是基于头部跟踪数据620)应用到喇叭信号LoRo 1734以生成头部跟踪消声双耳信号2416。
在2810处，使用呈现变换信息对立体声信号执行呈现变换以生成声学环境模拟输入信息。举例来说，呈现变换块2562(参见图25)使用呈现变换参数W 1740对喇叭信号LoRo1734执行呈现变换以生成声学环境模拟输入信息ASin 1738。
在2812处，对声学环境模拟输入信息执行声学环境模拟以生成声学环境模拟输出信息。举例来说，声学环境模拟器2408(参见图25)对声学环境模拟输入信息ASin 1738执行声学环境模拟以生成声学环境模拟输出信息ASout 1768。
任选地，根据头部跟踪数据修改声学环境模拟输出信息ASout 1768。举例来说，预处理器2402(参见图25)预处理头部跟踪数据620以生成经预处理头部跟踪信息2422，声学环境模拟器2408使用经预处理头部跟踪信息2422以修改声学环境模拟输出信息ASout1768。
在2814处，组合头部跟踪双耳信号与声学环境模拟输出信息以生成经组合信号。举例来说，混合器2410(参见图25)组合头部跟踪消声双耳信号2416与声学环境模拟输出信息ASout 1768以生成(用合成块2308)双耳信号2320。
在2816处，输出经组合信号。经组合信号可由至少两个扬声器输出。举例来说，耳麦400(参见图25)可输出双耳信号2320。
方法2800可包含另外步骤或子步骤，例如以实施上文关于图17到22及25所论述的特征中的其它特征。举例来说，步骤2808可包含以下子步骤：基于头部跟踪数据计算输入矩阵(例如，由计算块2404)，及使用输入矩阵矩阵化立体声信号(例如，由呈现变换块2562)以生成头部跟踪双耳信号。
图29是使用头部跟踪信息修改参数双耳信号的方法2900的流程图。方法2900可由系统2300(参见图23)执行，修改如下：省略声学环境模拟器1764及混合器1766，且矩阵化块2306操作消声双耳信号LaRa 1736(而非操作经解码信号1756)。方法2900可经实施为由系统的存储器(例如，图5的存储器504)存储或由系统的处理器(例如，图5的处理器502)执行的计算机程序。
在2902处，生成头部跟踪数据。头部跟踪数据与耳麦的定向有关。传感器可生成头部跟踪数据。举例来说，耳麦400(参见图4及图23)可包含生成头部跟踪数据620的传感器512(参见图5)。
在2904处，接收经编码立体声信号。经编码立体声信号可对应于参数双耳信号。经编码立体声信号包含立体声信号及呈现变换信息。呈现变换信息使立体声信号与双耳信号有关。举例来说，系统2300(参见图23，且如上文所论述那样修改)接收经编码信号1716作为经编码立体声信号。经编码信号1716包含喇叭信号LoRo 1734及呈现变换参数W 1740(参见到图17中的编码器块1730的输入)。呈现变换参数W 1740使喇叭信号LoRo 1734与消声双耳信号LaRa 1736有关(注意，图17的呈现变换参数估计块1728使用呈现变换参数W 1740及声学环境模拟输入信息ASin 1738以使喇叭信号LoRo 1734与消声双耳信号LaRa 1736有关)。
在2906处，解码经编码立体声信号以生成立体声信号及呈现变换信息。举例来说，解码器块1760(参见图23，且如上文所论述那样修改)解码经编码信号1716以生成喇叭信号LoRo 1734及呈现变换参数W 1740。
在2908处，使用呈现变换信息对立体声信号执行呈现变换以生成双耳信号。举例来说，呈现变换块1762(参见图23，且如上文所论述那样修改)使用呈现变换参数W 1740对喇叭信号LoRo 1734执行呈现变换以生成消声双耳信号LaRa 1736。
在2910处，使用头部跟踪数据修改双耳信号以生成输出双耳信号。举例来说，矩阵化块2306(参见图23，且如上文所论述那样修改)使用由计算块2304根据头部跟踪数据620(经由预处理器2302)计算的输入矩阵2212修改消声双耳信号LaRa 1736，以生成(用合成块2308)双耳信号2320。
在2912处，输出输出双耳信号。输出双耳信号可由至少两个扬声器输出。举例来说，耳麦400(参见图23，且如上文所论述那样修改)可输出双耳信号2320。
注意，与方法2600(参见图26)相比，方法2900不执行声学环境模拟，而方法2600执行声学环境模拟(注释2610)。因此，与图23的未经修改系统2300相比，方法2900可用较少组件来实施(例如，通过如上文所论述那样修改的系统2300)。
实施方案细节
实施例可实施于硬件、存储于计算机可读媒体上的可执行模块或两者的组合(例如，可编程逻辑阵列)中。除非另有指定，否则由实施例执行的步骤无需固有地与任何特定计算机或其它设备有关，尽管在某些实施例中其可能有关。特定来说，各种通用机器可结合根据本文的教示写入的程序而使用，或可能更便于构造更专门的设备(例如，集成电路)以执行所需方法步骤。因此，实施例可实施于在各自包括至少一个处理器、至少一个数据存储系统(包含易失性及非易失性存储器及/或存储元件)、至少一个输入装置或端口及至少一个输出装置或端口的一或多个可编程计算机系统上执行的一或多个计算机程序中。程序代码被应用到输入数据以执行本文描述的功能且生成输出信息。输出信息以已知方式被应用到一或多个输出装置。
每一此类计算机程序优选地被存储在或下载到可由通用或专用可编程计算机读取的存储媒体或装置(例如，固态存储器或媒体，或磁性或光学媒体)上，以用于在存储媒体或装置由计算机系统读取时配置及操作计算机以执行本文描述的程序。还可认为本发明系统可经实施为非暂时性计算机可读存储媒体，其经配置有计算机程序，其中如此配置的存储媒体致使计算机系统以特定及预定义方式操作以执行本文描述的功能。(在软件本身及无形或暂时性信号是不能取得专利的主题的程度上排除软件本身及无形或暂时性信号。)
上文描述说明了本发明的各种实施例以及可如何实施本发明的方面的实例。上文实例及实施例不应被认为是唯一实施例，且经呈现以说明由所附权利要求书所界定的本发明的可行性及优点。基于上文揭示内容及所附权利要求书，其它布置、实施例、实施方案及等效物对所属领域的技术人员来说将是明显的，且可被运用而不会背离由权利要求书所界定的本发明的精神及范围。

Claims (11)

1.一种使用头部跟踪信息修改双耳信号的方法，所述方法包括：
由耳麦接收(1602)双耳音频信号；
将所述双耳音频信号上混(1604)成四声道双耳信号，其中所述四声道双耳信号包含前双耳信号及后双耳信号；
由传感器生成(1606)头部跟踪数据，其中所述头部跟踪数据与所述耳麦的定向有关；
将所述头部跟踪数据应用(1608)到所述前双耳信号以生成经修改前双耳信号；
将所述头部跟踪数据的逆应用(1610)到所述后双耳信号以生成经修改后双耳信号；
组合(1612)所述经修改前双耳信号与所述经修改后双耳信号以生成经组合双耳信号；及
由所述耳麦的至少两个扬声器输出(1614)所述经组合双耳信号。
2.根据权利要求1所述的方法，其中上混所述双耳音频信号包括使用元数据将所述双耳音频信号上混成四声道双耳信号。
3.根据权利要求1所述的方法，其中上混所述双耳音频信号包括使用信号模型将所述双耳音频信号上混成四声道双耳信号。
4.根据权利要求1所述的方法，其中上混所述双耳音频信号包括使用信号模型将所述双耳音频信号上混成四声道双耳信号，其中所述信号模型将所述双耳音频信号建模为单个直达信号、左扩散信号及右扩散信号。
5.根据权利要求1到4中任一权利要求所述的方法，其中所述前双耳信号包含第一信号及第二信号，其中将所述头部跟踪数据应用到所述前双耳信号以生成经修改前双耳信号包括：
由处理器基于所述头部跟踪数据来计算延迟，基于所述头部跟踪数据来计算第一滤波器响应，且基于所述头部跟踪数据来计算第二滤波器响应；
基于所述头部跟踪数据将所述延迟应用到所述第一信号及所述第二信号中的一者以生成经延迟信号，其中所述第一信号及所述第二信号中的另一者是未经延迟信号；
将所述第一滤波器响应应用到所述经延迟信号以生成经修改经延迟信号；及
将所述第二滤波器响应应用到所述未经延迟信号以生成经修改未经延迟信号，其中所述经修改前双耳信号包含所述经修改经延迟信号及所述经修改未经延迟信号。
6.根据权利要求1到5中任一权利要求所述的方法，其中所述后双耳信号包含第一信号及第二信号，其中将所述头部跟踪数据的所述逆应用到所述后双耳信号以生成经修改后双耳信号包括：
反转所述头部跟踪数据以生成所述头部跟踪数据的所述逆；
由处理器基于所述头部跟踪数据的所述逆来计算延迟，基于所述头部跟踪数据的所述逆来计算第一滤波器响应，且基于所述头部跟踪数据的所述逆来计算第二滤波器响应；
基于所述头部跟踪数据的所述逆将所述延迟应用到所述第一信号及所述第二信号中的一者以生成经延迟信号，其中所述第一信号及所述第二信号中的另一者是未经延迟信号；
将所述第一滤波器响应应用到所述经延迟信号以生成经修改经延迟信号；及
将所述第二滤波器响应应用到所述未经延迟信号以生成经修改未经延迟信号，其中所述经修改后双耳信号包含所述经修改经延迟信号及所述经修改未经延迟信号。
7.根据在先任一从属于权利要求2的权利要求所述的方法，其中所述双耳音频信号是预渲染信号且所述元数据将所述双耳音频信号分类为前分量和后分量，其中所述上混使用所述元数据以生成使用所述前分量的所述前双耳信号，以及其中所述上混使用所述元数据以生成使用所述后分量的所述后双耳信号。
8.一种系统(1300)，其包括：
上混器(1310)，其经配置以接收双耳音频信号(1350)及将所述双耳音频信号上混成四声道双耳信号，其中所述四声道双耳信号包含前双耳信号(1312)及后双耳信号(1314)；
前头部跟踪系统(1320)，其经配置以接收由传感器生成的头部跟踪数据(620)，其中所述头部跟踪数据(620)与所述传感器的定向有关，其中所述前头部跟踪系统进一步经配置以接收所述前双耳信号(1312)及使用所述头部跟踪数据(620)生成经修改前双耳信号(1322)；
后头部跟踪系统(1330)，其经配置以接收所述头部跟踪数据(620)和所述后双耳信号(1314)及使用所述头部跟踪数据(620)的逆生成经修改后双耳信号(1324)；
重混器(1340)，其经配置以组合所述经修改前双耳信号(1322)与所述经修改后双耳信号(1324)以生成经组合双耳信号(1360)；以及
至少两个扬声器，其经配置以输出所述经组合双耳信号(1360)。
9.一种包括权利要求8所述的系统的耳麦(400)。
10.一种非暂时性计算机可读媒体，其经配置以存储计算机程序并致使计算机系统执行权利要求1-7中的任一项所述的方法。
11.一种包括指令的计算机程序，当所述指令由计算机执行时致使所述计算机执行权利要求1-7所述的方法。
CN202110184787.1A 2016-06-21 2017-06-20 用于预渲染的双耳音频的头部跟踪 Pending CN112954582A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662352685P 2016-06-21 2016-06-21
US62/352,685 2016-06-21
EP16175495 2016-06-21
EP16175495.7 2016-06-21
US201662405677P 2016-10-07 2016-10-07
US62/405,677 2016-10-07
CN201780038378.2A CN109417677B (zh) 2016-06-21 2017-06-20 用于预渲染的双耳音频的头部跟踪

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780038378.2A Division CN109417677B (zh) 2016-06-21 2017-06-20 用于预渲染的双耳音频的头部跟踪

Publications (1)

Publication Number Publication Date
CN112954582A true CN112954582A (zh) 2021-06-11

Family

ID=59227961

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110184787.1A Pending CN112954582A (zh) 2016-06-21 2017-06-20 用于预渲染的双耳音频的头部跟踪
CN201780038378.2A Active CN109417677B (zh) 2016-06-21 2017-06-20 用于预渲染的双耳音频的头部跟踪

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780038378.2A Active CN109417677B (zh) 2016-06-21 2017-06-20 用于预渲染的双耳音频的头部跟踪

Country Status (3)

Country Link
US (2) US10932082B2 (zh)
EP (2) EP3852394A1 (zh)
CN (2) CN112954582A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115604642A (zh) * 2022-12-12 2023-01-13 杭州兆华电子股份有限公司（Cn） 一种空间音效的测试方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116170723A (zh) 2018-07-23 2023-05-26 杜比实验室特许公司 通过多个近场换能器渲染双耳音频
GB2601805A (en) * 2020-12-11 2022-06-15 Nokia Technologies Oy Apparatus, Methods and Computer Programs for Providing Spatial Audio
US11856370B2 (en) 2021-08-27 2023-12-26 Gn Hearing A/S System for audio rendering comprising a binaural hearing device and an external device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0762803A2 (en) * 1995-08-31 1997-03-12 Sony Corporation Headphone device
US20080031462A1 (en) * 2006-08-07 2008-02-07 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
CN104919820A (zh) * 2013-01-17 2015-09-16 皇家飞利浦有限公司 双耳音频处理

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4060696A (en) 1975-06-20 1977-11-29 Victor Company Of Japan, Limited Binaural four-channel stereophony
JP2964514B2 (ja) 1990-01-19 1999-10-18 ソニー株式会社 音響信号再生装置
GB9606814D0 (en) 1996-03-30 1996-06-05 Central Research Lab Ltd Apparatus for processing stereophonic signals
GB9610394D0 (en) 1996-05-17 1996-07-24 Central Research Lab Ltd Audio reproduction systems
AUPO099696A0 (en) * 1996-07-12 1996-08-08 Lake Dsp Pty Limited Methods and apparatus for processing spatialised audio
US6243476B1 (en) 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
JPH11275696A (ja) * 1998-01-22 1999-10-08 Sony Corp ヘッドホン、ヘッドホンアダプタおよびヘッドホン装置
AUPP271598A0 (en) 1998-03-31 1998-04-23 Lake Dsp Pty Limited Headtracked processing for headtracked playback of audio signals
US6442277B1 (en) 1998-12-22 2002-08-27 Texas Instruments Incorporated Method and apparatus for loudspeaker presentation for positional 3D sound
GB2374507B (en) * 2001-01-29 2004-12-29 Hewlett Packard Co Audio user interface with audio cursor
JP4867121B2 (ja) * 2001-09-28 2012-02-01 ソニー株式会社 音声信号処理方法および音声再生システム
US7333622B2 (en) 2002-10-18 2008-02-19 The Regents Of The University Of California Dynamic binaural sound capture and reproduction
US20080056517A1 (en) 2002-10-18 2008-03-06 The Regents Of The University Of California Dynamic binaural sound capture and reproduction in focued or frontal applications
GB0419346D0 (en) * 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
KR101118214B1 (ko) 2004-09-21 2012-03-16 삼성전자주식회사 청취 위치를 고려한 2채널 가상 음향 재생 방법 및 장치
JP2007006432A (ja) 2005-05-23 2007-01-11 Victor Co Of Japan Ltd バイノーラル再生装置
WO2007110087A1 (de) 2006-03-24 2007-10-04 Institut für Rundfunktechnik GmbH Anordnung zum wiedergeben von binauralen signalen (kunstkopfsignalen) durch mehrere lautsprecher
ITTO20060233A1 (it) 2006-03-29 2007-09-30 Studio Tec Sviluppo Richerche Dispositivo idraulico di controllo di un flusso, includente un deviatore ed una cartuccia di miscelazione a monocomando
US20090052703A1 (en) 2006-04-04 2009-02-26 Aalborg Universitet System and Method Tracking the Position of a Listener and Transmitting Binaural Audio Data to the Listener
US7876903B2 (en) * 2006-07-07 2011-01-25 Harris Corporation Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system
US7876904B2 (en) 2006-07-08 2011-01-25 Nokia Corporation Dynamic decoding of binaural audio signals
US8229143B2 (en) 2007-05-07 2012-07-24 Sunil Bharitkar Stereo expansion with binaural modeling
US20080298610A1 (en) 2007-05-30 2008-12-04 Nokia Corporation Parameter Space Re-Panning for Spatial Audio
GB2467668B (en) 2007-10-03 2011-12-07 Creative Tech Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
AU2008351907A1 (en) 2008-02-25 2009-09-03 Inventive Medical Limited Medical training method and apparatus
AU2013263871B2 (en) 2008-07-31 2015-07-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Signal generation for binaural signals
US20100074460A1 (en) 2008-09-25 2010-03-25 Lucent Technologies Inc. Self-steering directional hearing aid and method of operation thereof
US8000485B2 (en) 2009-06-01 2011-08-16 Dts, Inc. Virtual audio processing for loudspeaker or headphone playback
US8571192B2 (en) 2009-06-30 2013-10-29 Alcatel Lucent Method and apparatus for improved matching of auditory space to visual space in video teleconferencing applications using window-based displays
ES2571044T3 (es) 2010-01-07 2016-05-23 Deutsche Telekom Ag Procedimiento y dispositivo para la generación de señales de audio binaurales ajustables individualmente
JP2013529004A (ja) 2010-04-26 2013-07-11 ケンブリッジ メカトロニクス リミテッド 位置追跡を備えるスピーカ
US9107021B2 (en) 2010-04-30 2015-08-11 Microsoft Technology Licensing, Llc Audio spatialization using reflective room model
EP2389016B1 (en) 2010-05-18 2013-07-10 Harman Becker Automotive Systems GmbH Individualization of sound signals
JP5720158B2 (ja) 2010-09-22 2015-05-20 ヤマハ株式会社 バイノーラル録音された音信号の再生方法および再生装置
US9578440B2 (en) 2010-11-15 2017-02-21 The Regents Of The University Of California Method for controlling a speaker array to provide spatialized, localized, and binaural virtual surround sound
JP5809805B2 (ja) 2011-01-14 2015-11-11 株式会社エー・アール・アイ バイノーラル音声再生システム、バイノーラル音声再生方法
US9641951B2 (en) 2011-08-10 2017-05-02 The Johns Hopkins University System and method for fast binaural rendering of complex acoustic scenes
WO2013181172A1 (en) 2012-05-29 2013-12-05 Creative Technology Ltd Stereo widening over arbitrarily-configured loudspeakers
CN104604255B (zh) 2012-08-31 2016-11-09 杜比实验室特许公司 基于对象的音频的虚拟渲染
US9237398B1 (en) 2012-12-11 2016-01-12 Dysonics Corporation Motion tracked binaural sound conversion of legacy recordings
TWI635753B (zh) 2013-01-07 2018-09-11 美商杜比實驗室特許公司 使用向上發聲驅動器之用於反射聲音呈現的虛擬高度濾波器
US11395086B2 (en) 2013-03-15 2022-07-19 Jawbone Innovations, Llc Listening optimization for cross-talk cancelled audio
US9384741B2 (en) 2013-05-29 2016-07-05 Qualcomm Incorporated Binauralization of rotated higher order ambisonics
CN109068263B (zh) 2013-10-31 2021-08-24 杜比实验室特许公司 使用元数据处理的耳机的双耳呈现
US9560445B2 (en) 2014-01-18 2017-01-31 Microsoft Technology Licensing, Llc Enhanced spatial impression for home audio
US20150382130A1 (en) * 2014-06-27 2015-12-31 Patrick Connor Camera based adjustments to 3d soundscapes
CN107996028A (zh) * 2015-03-10 2018-05-04 Ossic公司 校准听音装置
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US10251012B2 (en) * 2016-06-07 2019-04-02 Philip Raymond Schaefer System and method for realistic rotation of stereo or binaural audio

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0762803A2 (en) * 1995-08-31 1997-03-12 Sony Corporation Headphone device
US20080031462A1 (en) * 2006-08-07 2008-02-07 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
CN104919820A (zh) * 2013-01-17 2015-09-16 皇家飞利浦有限公司 双耳音频处理

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JULIA JAKKA: "Binaural to Multichannel Audio Upmix", 《HELSINKI UNIVERSITY OF TECHNOLGY DEPARTMENT OF TECHNICALPHYSICS-DISSERTATION》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115604642A (zh) * 2022-12-12 2023-01-13 杭州兆华电子股份有限公司（Cn） 一种空间音效的测试方法
CN115604642B (zh) * 2022-12-12 2023-03-31 杭州兆华电子股份有限公司 一种空间音效的测试方法

Also Published As

Publication number Publication date
EP3473022B1 (en) 2021-03-17
CN109417677A (zh) 2019-03-01
EP3852394A1 (en) 2021-07-21
CN109417677B (zh) 2021-03-05
US20210168553A1 (en) 2021-06-03
US20190327575A1 (en) 2019-10-24
US11553296B2 (en) 2023-01-10
EP3473022A1 (en) 2019-04-24
US10932082B2 (en) 2021-02-23

Similar Documents

Publication Publication Date Title
WO2017223110A1 (en) Headtracking for pre-rendered binaural audio
CN107018460B (zh) 具有头部跟踪的双耳头戴式耳机呈现
CN111149155B (zh) 使用多点声场描述生成经增强的声场描述的装置及方法
CN108476366B (zh) 用于参数化双耳输出系统和方法的头部跟踪
US20210168553A1 (en) Headtracking for Pre-Rendered Binaural Audio
KR101827036B1 (ko) 몰입형 오디오 렌더링 시스템
EP2502228B1 (en) An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal
US8520873B2 (en) Audio spatialization and environment simulation
KR101627647B1 (ko) 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
KR101540911B1 (ko) 헤드폰 재생 방법, 헤드폰 재생 시스템, 컴퓨터 프로그램 제품
EP3219115A1 (en) 3d immersive spatial audio systems and methods
JP2008522483A (ja) 多重チャンネルオーディオ入力信号を２チャンネル出力で再生するための装置及び方法と、これを行うためのプログラムが記録された記録媒体
CA3219512A1 (en) Audio encoding and decoding using presentation transform parameters
CN111183479A (zh) 使用多层描述生成经增强的声场描述或经修改的声场描述的概念
US11750994B2 (en) Method for generating binaural signals from stereo signals using upmixing binauralization, and apparatus therefor
TWI517140B (zh) 用於降轉混音一多聲道音訊信號之方法與裝置
CN114270878A (zh) 声场相关渲染
US20240056760A1 (en) Binaural signal post-processing
US20230091218A1 (en) Headtracking for Pre-Rendered Binaural Audio
Deppisch et al. Browser Application for Virtual Audio Walkthrough.
JP6964703B2 (ja) パラメトリック・バイノーラル出力システムおよび方法のための頭部追跡
CN116615919A (zh) 双耳信号的后处理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40055234

Country of ref document: HK