CN110651487A - 分布式音频虚拟化系统 - Google Patents

分布式音频虚拟化系统 Download PDF

Info

Publication number
CN110651487A
CN110651487A CN201780090501.5A CN201780090501A CN110651487A CN 110651487 A CN110651487 A CN 110651487A CN 201780090501 A CN201780090501 A CN 201780090501A CN 110651487 A CN110651487 A CN 110651487A
Authority
CN
China
Prior art keywords
audio
virtualization
signals
virtualized
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780090501.5A
Other languages
English (en)
Other versions
CN110651487B (zh
Inventor
D·诺
J-M·卓特
T·莫哈迈德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DTS Licensing Ltd
Original Assignee
DTS Licensing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DTS Licensing Ltd filed Critical DTS Licensing Ltd
Publication of CN110651487A publication Critical patent/CN110651487A/zh
Application granted granted Critical
Publication of CN110651487B publication Critical patent/CN110651487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Multimedia (AREA)

Abstract

一种音频信号处理系统，能够被配置为使用至少一对扬声器或耳机在三维声场中提供虚拟化的音频信息。该系统能够包括：音频输入端，被配置为接收包括至少N个离散音频信号的音频节目信息，第一虚拟化处理器电路，被配置为通过对N个音频信号中的M个音频信号进行滤波来生成中间虚拟化的音频信息，以及第二虚拟化处理器电路，被配置为通过对N个音频信号中的K个音频信号进行不同的滤波来生成进一步虚拟化的音频信息，其中K、M和N为整数。该系统能够包括音频信号组合电路，以将中间虚拟化的音频信息与N个音频信号中除所述M个音频信号以外的至少一个音频信号进行组合，以渲染少于N个音频信号以传输到第二虚拟化处理器电路。

Description

分布式音频虚拟化系统
优先权要求
本专利申请要求于2017年3月8日提交的美国临时专利申请No.62/468,677和于2017年12月15日提交的美国专利申请序列No.15/844,096的优先权权益，这两个申请通过引用整体并入本文。
背景技术
音频在消费电子产品中提供内容丰富的多媒体体验方面发挥着重要作用。消费电子设备的可扩展性和移动性以及无线连接性的增长为用户提供了对内容的即时访问。各种音频再现系统可以用于通过耳机或扬声器回放。在一些示例中，音频节目内容可以包括多于一对立体声音频信号，诸如包括环绕声或其它多声道配置。
常规的音频再现系统可以从各种音频或音频/视频源(诸如CD播放器、TV调谐器、手持媒体播放器等)接收数字或模拟音频源信号信息。音频再现系统可以包括专用于广播音频和/或视频信号的选择、处理和路由的家庭影院接收器或汽车音频系统。音频输出信号可以被处理并输出，以通过扬声器系统回放。这样的输出信号可以是发送到耳机或一对前置扬声器的双声道信号，或者是用于环绕声回放的多声道信号。对于环绕声回放，音频再现系统可以包括多声道解码器。
音频再现系统还可以包括处理装备，诸如用于连接模拟音频源的模数转换器或者数字音频输入接口。音频再现系统可以包括用于处理音频信号的数字信号处理器，以及用于将经处理的输出信号转换成发送到换能器的电信号的数模转换器和信号放大器。可以按照由各种应用确定的各种配置来布置扬声器。扬声器例如可以是独立单元，或者可以结合在设备中，诸如在消费电子产品(诸如电视机、膝上型计算机、手持式立体声设备等)的情况下。由于技术和物理限制，在此类设备中可能会损害或限制音频回播。这样的限制在具有物理限制的电子设备中尤其明显，其中扬声器之间的距离窄，诸如在膝上型电脑和其它紧凑型移动设备中。为了解决这样的音频约束，使用各种音频处理方法来通过一对耳机或一对扬声器再现双声道或多声道音频信号。这些方法包括引人注目的空间增强效果，以改善听众的体验。
已经提出了各种技术来实现基于头部相关传递函数(HRTF)的音频信号处理，诸如用于使用耳机或扬声器进行三维音频再现。在一些示例中，这些技术用于再现相对于听众位于水平面内或相对于听众位于较高位置的虚拟扬声器。为了减少在基于扬声器的系统中远离“甜点位置”的听众位置的水平定位伪像，可以应用各种滤波器将该影响限制到较低的频率。
发明内容
音频信号处理可以跨多个处理器电路或软件模块分布，诸如在可缩放系统中或由于系统限制。例如，TV音频系统解决方案可以包括组合的数字音频解码器和虚拟化器后处理模块，以使总体计算预算不超过单个集成电路(IC)或片上系统(SOC)的容量。为了适应这种限制，解码器和虚拟化器模块可以在分离的级联硬件或软件模块中实现。
在示例中，内部I/O数据总线(诸如在TV音频系统架构中)可以被限制到6或8个声道(例如，对应于5.1或7.1环绕声系统)。但是，可以期望或要求将更多的解码器输出音频信号发送到虚拟化器输入端，以提供引人入胜的沉浸式音频体验。因此，本发明人已经认识到要解决的问题包括跨多个处理器电路和/或设备分布音频信号处理，以使得能够通过扬声器或在一些示例中通过耳机对多声道音频信号进行多维音频再现。在示例中，问题可以包括使用具有声道计数限制的传统(legacy)硬件架构来分布或处理多维音频信息。
上述问题的解决方案包括使用扬声器或耳机进行多维音频再现的各种方法，诸如可以用于在条形扬声器、家庭影院系统、TV、膝上型计算机、移动或可穿戴设备或其它系统或设备上回放沉浸式音频内容。本文描述的方法和系统可以使得能够跨两个或更多个处理器电路或模块分布虚拟化后处理，同时减少中间发送的音频声道计数。
在示例中，解决方案可以包括或使用一种用于提供虚拟化音频信息的方法，该方法包括：接收包括至少N个离散音频信号的音频节目信息；以及使用第一虚拟化处理器电路使用接收到的所述音频节目信息的至少一部分来生成中间虚拟化的音频信息。中间虚拟化的音频信息的生成可以包括：将第一虚拟化滤波器应用于所述N个音频信号中的M个音频信号以提供第一虚拟化滤波器输出；以及使用第一虚拟化滤波器输出来提供中间虚拟化的音频信息，其中中间虚拟化的音频信息包括J个离散音频信号。该示例还可以包括将中间虚拟化的音频信息发送到第二虚拟化处理器电路，其中第二虚拟化处理器电路被配置为通过将不同的第二虚拟化滤波器应用于所述J个音频信号中的一个或多个音频信号来生成进一步虚拟化的音频信息，并且N、M和J是整数。该示例还可以包括基于J个音频信号来渲染K个输出信号。在示例中，M小于N，而K小于J。在示例中，第一虚拟化滤波器不同于第二虚拟化滤波器。例如，第一虚拟化滤波器可以与第一平面(例如，垂直平面)中的虚拟化对应，并且第二虚拟化滤波器可以与不同的第二平面(例如，水平平面)中的虚拟化对应。在示例中，该解决方案包括或使用去相关处理。例如，中间虚拟化的音频信息的生成可以包括在应用第一虚拟化滤波器之前对M个音频信号中的至少一个进行去相关或执行去相关处理。
本概述旨在提供本专利申请的主题的概述。并不旨在提供本发明的排他性或详尽的解释。包括详细描述以提供关于本专利申请的更多信息。
附图说明
在不一定按比例绘制的附图中，相同的标号可以在不同的视图中描述相似的部件。具有不同字母后缀的相同标号可以表示相似部件的不同实例。附图通过示例而非限制的方式总体上图示了本文档中讨论的各种实施例。
图1总体上图示了音频信号虚拟化处理的示例。
图2总体上图示了四声道三维音频再现系统的示例。
图3总体上图示了多阶段虚拟化处理的示例，
图4总体上图示了包括由第一和第二双声道虚拟化器模块进行的独立虚拟化处理的示例。
图5总体上图示了包括使用第一和第二双声道虚拟化器模块的虚拟化处理的示例。
图6总体上图示了示出多个音频信号的虚拟化处理的框图的示例。
图7总体上图示了包括分布式音频虚拟化系统的示例。
图8总体上图示了被配置为对各种音频信号执行分布式虚拟化处理的第一系统的示例。
图9总体上图示了被配置为对各种音频信号执行分布式虚拟化处理的第二系统的示例。
图10是图示可被配置为执行本文讨论的任何一种或多种方法的机器的部件的框图。
具体实施方式
在下面包括虚拟环境渲染和音频信号处理(诸如用于经由耳机或其它扬声器进行再现)的示例的描述中，参考构成详细描述的一部分的附图。附图通过说明的方式示出了可以在其中实践本文公开的发明的具体实施例。这些实施例在本文中也被称为“示例”。这样的示例可以包括除了所示出或描述的那些元件之外的元件。但是，本发明人还设想仅提供所示出或描述的那些元件的示例。本发明人或者关于特定示例(或其一个或多个方面)或者关于本文所示出或描述的其它示例(或其一个或多个方面)设想使用所示出或描述的那些元件(或其一个或多个方面)的任意组合或置换的示例。
如本文所使用的，短语“音频信号”是表示物理声音的信号。本文描述的音频处理系统和方法可以包括被配置为使用各种滤波器来使用或处理音频信号的硬件电路系统和/或软件。在一些示例中，系统和方法可以使用来自多个音频声道的信号或与多个音频声道对应的信号。在示例中，音频信号可以包括数字信号，该数字信号包括与多个音频声道对应的信息。
各种音频处理系统和方法可以用于在各种扬声器配置上再现双声道或多声道音频信号。例如，可以通过耳机、通过一对书架式扬声器或者通过环绕声或沉浸式音频系统来再现音频信号，诸如使用相对于听众位于各个位置的扬声器。一些示例可以包括或使用引人注目的空间增强效果以增强收听体验，诸如在物理扬声器的数量或朝向受到限制的时候。
在通过引用整体并入本文的授予Walsh等人的标题为“Virtual AudioProcessing for Loudspeaker or Headphone Playback”的美国专利No.8,000,485中，音频信号可以利用虚拟化器处理器电路进行处理，以创建虚拟化的信号和经修改的立体声图像。作为'485专利中技术的补充或替代，本发明人已经认识到，虚拟化处理可以被用于使用最少数量的扬声器来递送包括各种朝向空间的部件的准确声场表示。
在示例中，相对虚拟化滤波器(诸如可以从头部相关传递函数中得出的)可以应用于渲染被听众感知为包括在听众之上或之下的各种指定海拔或升高的声音信息的虚拟音频信息，以进一步增强聆听众的体验。在示例中，使用在水平面中提供的扬声器来再现这样的虚拟音频信息，并且虚拟音频信息被感知为源自相对于水平面升高的扬声器或其它源，诸如即使在没有物理或真实扬声器存在于感知到的始发位置的情况下。在示例中，虚拟音频信息提供从水平面中的音频信息延伸并可选地包括水平面中的音频信息的声音提升的印象或听觉错觉。类似地，可以应用虚拟化滤波器，以将由听众感知到的虚拟音频信息渲染为包括在水平面内或水平面之间的各个位置处的声音信息，诸如在声场中与扬声器的物理位置不对应的位置处。
图1总体上图示了音频信号虚拟化处理的示例100。在示例100中，将指定为LI和RI的输入信号对提供给双声道虚拟化器模块110。双声道虚拟化器模块110可以包括第一处理器电路，该第一处理器电路被配置为处理输入信号对并提供被指定为LO和RO的输出信号对。在示例中，输出信号对被配置为使用立体声扬声器对或耳机进行回放。
在示例中，诸如当输入和输出信号对表示相对于听众的解剖学正中平面对称地定位的扬声器的信息时，可以使用经耳混洗器(transaural shuffler)拓扑来实现虚拟化器模块110。在这个示例中，可以如等式(1)和(2)中所示的那样指定和差虚拟化滤波器，并且可以由双声道虚拟化器模块110中的第一处理器电路应用。
H1，SUM＝{H1i+H1c}{H0i+H0c}-1； (1)
H1，DIFF＝{Hli-Hlc}{H0i-H0c}-1 (2)
在等式(1)和(2)的示例中，为简化起见，省略了对频率的依赖，并使用以下符号：
H0i：用于左侧或右侧物理扬声器位置的同侧HRTF(例如，被配置用于输出信号对LO、RO的再现)；
H0c：用于左侧或右侧物理扬声器位置的对侧HRTF(例如，被配置用于输出信号对LO、RO的再现)；
H1i：用于左侧或右侧虚拟扬声器位置的同侧HRTF(例如，被配置用于输出信号对L1、R1的再现)；以及
H1c：用于左侧或右侧虚拟扬声器位置的对侧HRTF(例如，被配置用于输出信号对L1、R1的再现)。
在耳机再现的情况下，H0c基本上为零并且H0i与耳机到耳朵的传递函数对应。
图2总体上图示了四声道三维音频再现系统的示例200。示例200可以包括或使用虚拟化处理以将虚拟化的音频信号信息提供给听众202以进行再现。在示例200中，虚拟化处理器电路201接收输入信号L1、R1、L2和R2，并将虚拟化处理应用于输入信号，并且渲染或提供比输入信号更少数量的输出信号。双耳和经耳3D音频虚拟化算法可以用于处理各种输入信号，包括基于和差“混洗器”的各个拓扑，这些拓扑充分利用诸如声道布局的左右对称性、头部相关传递函数(HRTF)的最小相位模型和频谱均衡方法之类的特性，以及数字IIR滤波器近似。在示例中，虚拟化处理器电路201从诸如环绕声解码器电路之类的音频解码器电路接收多个输入信号L1、R1、L2和R2，并使用一对扬声器来渲染基本相同的信息。
在图2中，三维音频再现系统或处理器电路201提供表示为LO和RO的输出信号。基于虚拟化处理，当使用一对扬声器(诸如在图2的示例中与L和R对应的扬声器)再现LO和RO信号时，音频信息被听众202感知为包括来自关于扬声器环境分布的多个来源的信息。例如，当使用图中被指定为L和R的扬声器来再现LO和RO信号时，听众202可以将音频信号信息感知为来自左前或右前方扬声器L1和R1、来自左后或右后方扬声器L2和R2，或者来自扬声器之间某个中间位置或幻像源。
图3总体上图示了多阶段虚拟化处理的示例300。在示例中，来自图2的三维音频再现系统或处理器电路201可以使用图3的示例300中的虚拟化处理来实现或应用。图3的示例包括第一双声道虚拟化器模块310和第二双声道虚拟化器模块320。第一双声道虚拟化器模块310被配置为接收指定为L1和R1的第一输入信号对，第二双声道虚拟化器模块320被配置为接收指定为L2和R2的第二输入信号对。在示例中，L1和R1表示前立体声对，而L2和R2表示后立体声对(例如，参见图2)。在其它示例中，L1、R1、L2和R2可以表示其它音频信息(诸如用于侧面、后方或升高的声音信号)，诸如被配置或设计用于使用特定扬声器布置进行再现。在示例中，第一双声道虚拟化器模块310被配置为应用或使用和差虚拟化滤波器，诸如等式(1)中所示的。
第二双声道虚拟化器模块320可以包括第二处理器电路，该第二处理器电路被配置为接收第二输入信号对L2和R2并生成中间虚拟化的音频信息，作为被指定为L2,O和R2,O的输出信号。在示例中，第二双声道虚拟化器模块320被配置为应用或使用和差虚拟化滤波器，诸如等式(2)中所示的，以生成中间虚拟化的输出信号L2,O和R2,O。在示例中，第二双声道虚拟化器模块320因此被配置为提供或生成部分虚拟化的信号或多个部分虚拟化的信号。这一个或多个信号被认为是部分虚拟化的，因为第二双声道虚拟化器模块320可以被配置为以受限的方式提供虚拟化处理。例如，第二双声道虚拟化器模块320可以被配置用于水平平面虚拟化处理，而垂直平面虚拟化处理可以在其它地方或使用不同的设备来执行。在再现给听众之前，可以将部分虚拟化的信号与一个或多个其它虚拟化或非虚拟化的信号组合。在示例中，第二双声道虚拟化器模块320可以应用或使用等式3和4中描述的函数来提供中间虚拟化的输出信号。
H2/1，SUM＝{H2i+H2c}{H1i+H1c}-1； (3)
H2/I，DIFF＝{H2i-H2c}{H1i-H1c}-1 (4)
在等式(3)和(4)的示例中，为简化起见，省略了对频率的依赖，并使用以下符号：
H2i：用于左侧或右侧虚拟扬声器位置(L2，R2)的同侧HRTF；
H2c：用于左侧或右侧虚拟扬声器位置(L2，R2)的对侧HRTF。
在图3的示例中，中间虚拟化的输出信号L2,O和R2,O在虚拟化指定为L1和R1的第一输入信号对之前与指定为L1和R1的第一输入信号对组合。然后使用第一双声道虚拟化器模块310进一步处理或虚拟化组合的信号。第一和第二双声道虚拟化器模块310和320可以被配置为应用不同的虚拟化处理，诸如为了实现不同的虚拟化效果。例如，第一双声道虚拟化器模块310可以被配置为提供水平平面虚拟化处理，并且第二双声道虚拟化器模块320可以被配置为提供垂直平面虚拟化处理。可以使用不同的模块类似地使用或应用其它类型的虚拟化处理。
本发明人已经认识到，根据图3的示例，由模块310和320进行虚拟化处理并组合中间信号的结果基本上等同于两个模块独立进行的虚拟化处理。例如，图4总体上图示了示例400，该示例400包括由第一和第二双声道虚拟化器模块410和420进行的独立虚拟化处理。在图4的示例中，第一双声道虚拟化器模块410接收指定为L1和R1的输入信号对，并生成指定为L1,O和R1,O的部分虚拟化的输出信号对，并且第二双声道虚拟化器模块420接收指定为L2和R2的输入信号对并生成指定为L3,O和R3,O的部分虚拟化的输出信号对。图4的示例400还包括求和模块430，该求和模块430包括被配置为对部分虚拟化的输出信号对L1,O和R1,O以及L3,O和R3,O求和以提供虚拟化的输出信号LO和RO的电路。
在图4的示例中，第一双声道虚拟化器模块410被配置为应用如等式(1)和(2)所示的，并且类似于上面在图1的双声道虚拟化器模块110的示例中所描述的和差虚拟化滤波器。第二双声道虚拟化器模块420被配置为应用如等式(5)和(6)所示的和差虚拟化滤波器。
H2，SUM＝{H2i+H2c}{H0i+H0c}-1； (5)
H2，DIFF＝{H2i-H2c}{H0i-H0c}-1 (6)
通过将等式(1)和(2)与等式(3)和(4)进行比较，可以观察到，图3和4的四声道成对虚拟化器示例基本相同。
图5总体上图示了示例500，其包括由第一和第二双声道虚拟化器模块510和520进行的虚拟化处理。在图5的示例中，第二双声道虚拟化器模块520接收指定为L2和R2的输入信号对，并生成指定为L4,O和R4,O的部分虚拟化的输出信号对。图5的示例500还包括求和模块530，该求和模块530包括被配置为将部分虚拟化的输出信号对L4,O和R4,O与输入信号对L1和R1求和并将求和的信号提供给第一双声道虚拟化器模块510的电路。第一双声道虚拟化器模块510接收求和的信号对并生成虚拟化的输出信号LO和RO。
在图5的示例中，第一双声道虚拟化器模块510被配置为应用如等式(1)和(2)所示的，并且类似于上面在图1的双声道虚拟化器模块110的示例中所描述的和差虚拟化滤波器。第二双声道虚拟化器模块520被配置为应用如等式(7)所示的和差虚拟化滤波器。
H2/1＝H2i/H1i＝H2c/H1c (7)
因此图5的示例总体上图示了图3的四声道虚拟化器的简化版本，其中，当传递函数H2/1，SUM和H2/1，DIFF近似相等时，即，当同侧与对侧HRTF比率大致相等时，第二双声道虚拟化器模块520将相同的滤波器应用于两个输入信号。
本文所述的任何一个或多个虚拟化处理示例可以包括或使用去相关处理。例如，来自图1、3、4和/或5的多个虚拟化器模块中的任何一个可以包括或使用被配置为去相关一个或多个音频输入信号的去相关器电路。在示例中，去相关器电路在虚拟化器模块的至少一个输入端之前，使得虚拟化器模块处理彼此去相关的信号对。下面提供关于去相关处理的进一步的示例和讨论。
图6总体上图示了示出多个音频信号的虚拟化处理的框图的示例600。示例600包括使用数据总线电路602耦合到第二音频信号处理设备620的第一音频信号处理设备610。
第一音频信号处理设备610可以包括解码器电路611。在示例中，解码器电路611接收包括数字或模拟信号信息的多声道输入信号601。在示例中，多声道输入信号601包括数字位流，该数字位流包括关于多个音频信号的信息。在示例中，多声道输入信号601包括用于环绕声或沉浸式音频节目的音频信号。在示例中，沉浸式音频节目可以包括九个或更多个声道，诸如以DTS:X 11.1ch格式。在示例中，沉浸式音频节目包括八个声道，包括左前和右前置声道(L1和R1)、中央声道(C)、低频声道(Lfe)、左后和右后声道(L2和R2)，以及左和右升高(elevation)声道(L3和R3)。可以类似地使用更多或更少的声道或信号。
解码器电路611可以被配置为解码多声道输入信号601并提供解码器输出612。解码器输出612可以包括多个离散的信息声道。例如，当多声道输入信号601包括关于11.1沉浸式音频节目的信息时，解码器输出612可以包括用于十二个离散音频声道的音频信号。在示例中，总线电路602至少包括十二个声道，并且使用相应的声道将所有音频信号从第一音频信号处理设备610发送到第二音频信号处理设备620。第二音频信号处理设备620可以包括虚拟化处理器电路621，该虚拟化处理器电路621被配置为从总线电路602接收一个或多个信号。虚拟化处理器电路621可以诸如使用一个或多个HRTF或其它滤波器来处理接收到的信号，以生成包括虚拟化的音频信号信息的音频输出信号603。在示例中，音频输出信号603包括立体声输出音频信号对(例如，LO和RO)，其被配置为在收听环境中使用一对扬声器或使用耳机进行再现。在示例中，第一或第二音频信号处理设备610或620可以应用一个或多个滤波器或功能以容纳与收听环境有关的伪像，以进一步增强听众的体验或对音频输出信号603中虚拟化的分量的感知。
在一些音频信号处理设备中，特别是在消费者级别，总线电路602可以被限制到指定或预定数量的离散声道。例如，一些设备可以被配置为容纳最多但不大于六个声道(例如，对应于5.1环绕声系统)。当音频节目信息包括例如多于例如六个声道的信息时，如果使用总线电路602发送节目信息，那么音频节目的至少一部分可能丢失。在一些示例中，丢失的信息对于整个节目或听众的体验可能是至关重要的。本发明人已经认识到可以使用分布式虚拟化处理来解决这个声道计数问题。
图7总体上图示了包括分布式音频虚拟化系统的示例700。示例700可以用于诸如使用物理扬声器或耳机来提供多声道沉浸式音频渲染。示例700包括使用第二数据总线电路702耦合到第二音频信号处理设备720的第一音频信号处理设备710。在示例中，第二数据总线电路702包括与图6的示例中的数据总线电路602所提供的带宽相同的带宽。即，第二数据总线电路702可以包括比携带关于多声道输入信号601的所有信息所需的带宽低的带宽。
在图7的示例中，第一音频信号处理设备710可以包括解码器电路611和第一虚拟化处理器电路711。在示例中，解码器电路611接收多声道输入信号601，诸如可以包括数字或模拟信号信息。如上面在图6的示例中类似地解释的，多声道输入信号601包括数字位流，该数字位流包括关于多个音频信号的信息，并且在示例中可以包括用于沉浸式音频节目的音频信号。
解码器电路611可以被配置为解码多声道输入信号601并提供解码器输出612。解码器输出612可以包括多个离散的信息声道。例如，当多声道输入信号601包括有关沉浸式音频节目(例如，11.1格式)的信息时，解码器输出612可以包括用于例如十二个离散音频声道的音频信号。在示例中，总线电路702包括少于十二个声道，因此不能将每个音频信号从第一音频信号处理设备710发送到第二音频信号处理设备720。
在示例中，解码器输出612可以由第一音频信号处理设备710诸如使用第一虚拟化处理器电路711进行部分虚拟化。例如，第一虚拟化处理器电路711可以包括或使用图3的示例300、图4的示例400或图5的示例500，以接收多个输入信号，将第一虚拟化处理应用于接收到的输入信号的至少一部分以渲染或提供中间虚拟化的音频信息，并然后将中间虚拟化的音频信息与一个或多个其它输入信号组合。
现在参考作为代表性和非限制性示例的图7和5，多声道输入信号601(参见图7)可以包括指定为L1、R1、L2和R2的输入信号对(参见图5)。第一虚拟化处理器电路711可以至少接收指定为L2和R2的输入信号对，并且可以对该信号对执行第一虚拟化处理。在示例中，第一虚拟化处理器电路711将第一HRTF滤波器应用于L2和R2信号中的一个或多个，以渲染或生成指定为L4,O和R4,O的部分虚拟化的输出信号对。第一虚拟化处理器电路或指定的求和模块可以接收部分虚拟化的输出信号对L4,O和R4,O，并将部分虚拟化的输出信号对L4,O和R4,O与另外的输入信号对L1和R1求和。在将信号求和之后，由第一音频信号处理设备710向第二数据总线电路702提供少于四个音频信号声道。因此，在多声道输入信号60包括四个音频信号的示例中，第二数据总线电路702可以用于将部分虚拟化的信息从第一音频信号处理设备710发送到另一个设备，诸如不会有信息丢失。
在图7的示例中，第二数据总线电路702将部分虚拟化的信息提供给第二音频信号处理设备720。第二音频信号处理设备720可以使用第二虚拟化处理器电路721进一步处理接收到的信号，并且生成另外的虚拟化的输出信号(例如，在图5的示例中的输出信号LO和RO)。
第二虚拟化处理器电路721可以被配置为从第二数据总线电路702接收一个或多个信号。第二虚拟化处理器电路721可以诸如使用一个或多个HRTF或其它滤波器来处理接收到的信号，以生成包括虚拟化的音频信号信息的音频输出信号703。在示例中，音频输出信号703包括立体声输出音频信号对(例如，图5的示例中的LO和RO)，其被配置用于在收听环境中使用一对扬声器或使用耳机进行再现。在示例中，第一或第二音频信号处理设备710或720可以应用一个或多个滤波器或功能以容纳与收听环境有关的伪像，以进一步增强听众的体验或对音频输出信号703中虚拟化的分量的感知。
换句话说，图7的示例总体上图示了第一音频信号处理设备710，其包括第一虚拟化处理器电路711，该第一虚拟化处理器电路711被配置为处理或“虚拟化”来自多声道输入信号601中的一个或多个声道的信息，以提供一个或多个对应的中间虚拟化的信号。然后，可以将中间虚拟化的信号与多声道输入信号601中的一个或多个其它声道组合，以提供部分虚拟化的音频节目，该音频节目包括比多声道输入信号601中所包括的声道数量少的声道。即，第一虚拟化处理器电路711可以接收包括第一数量的声道的音频节目，然后应用虚拟化处理并渲染比最初对于音频节目接收到的数量更少的声道，诸如不会丢失由其它声道提供的信息或保真度。可以使用第二数据总线电路702来发送部分虚拟化的音频节目而不丢失信息，并且可以使用另一个虚拟化处理器(例如，使用第二音频信号处理设备710和/或第二虚拟化处理器电路721)来进一步处理或进一步虚拟化所发送的信息，诸如在输出到声音再现系统(诸如物理扬声器或耳机)之前。
在示例中，一种用于使用图7的系统提供虚拟化的音频信息的方法包括：接收至少包括N个离散音频信号的音频节目信息，诸如与声道输入信号601对应。该方法可以包括诸如使用第一虚拟化处理器电路711使用接收到的音频节目信息的至少一部分来生成中间虚拟化的音频信息。例如，生成中间虚拟化的音频信息可以包括将第一虚拟化滤波器(例如，基于HRTF)应用于N个音频信号中的M个，以提供第一虚拟化滤波器输出，并使用第一虚拟化滤波器输出来提供中间虚拟化的音频信息。在示例中，中间虚拟化的音频信息包括J个离散音频信号，并且J小于N。在示例中，M小于或等于N。该方法还可以包括使用第二数据总线电路702将中间虚拟化的音频信息发送到第二虚拟化处理器电路721，并且第二数据总线电路702可以具有少于N个声道。在示例中，第二虚拟化处理器电路721可以被配置为通过将不同的第二虚拟化滤波器应用于J个音频信号中的一个或多个来生成进一步的虚拟化的音频信息。例如，第一虚拟化处理器电路711可以被配置为将水平平面虚拟化至少应用于L2和R2信号，以渲染或提供虚拟化信号L4,O和R4,O，诸如可以与其它输入信号L1和R1组合并使用第二数据总线电路702发送。第二虚拟化处理器电路721可以被配置为将其它虚拟化处理(例如，垂直平面虚拟化)应用于从第二数据总线电路702接收的组合的信号，以提供虚拟化的输出信号以经由扬声器或耳机再现。
图8总体上图示了被配置为对各种音频信号执行分布式虚拟化处理的第一系统的示例800。示例800包括使用第三数据总线电路803耦合到第二音频处理模块821的第一音频处理模块811。第一音频处理模块811被配置为接收各种成对的输入信号801、应用第一虚拟化处理并且通过在第一虚拟化处理之后组合一个或多个信号或声道来减少总音频信号或声道计数。第一音频处理模块811使用第三数据总线电路803将数量减少的信号或声道提供给第二音频处理模块821。第二音频处理模块821应用第二虚拟化处理并且在图8的示例中渲染成对的输出信号804。在示例中，多个成对的输入信号801包括可以接收沉浸式音频节目信息的各种声道，包括信号声道L1和R1(例如，对应于前置立体声对)、L2和R2(例如，对应于后置立体声对)、L3和R3(例如，对应于高度(height)或升高的立体声对)、中央声道C以及低频声道Lfe。成对的输出信号804可以包括指定为LO和RO的立体声输出信号对。可以类似地使用其它声道类型或名称。
在示例800中，第一音频处理模块811包括由第一处理器电路812进行的第一阶段虚拟化处理，该第一处理器电路812接收输入信号L3和R3，诸如与高度音频信号对应。第一处理器电路812包括去相关器电路，该去相关器电路被配置为对输入信号L3和R3中的至少一个应用去相关处理，诸如以便增强空间化处理并减少经处理的信号中音频伪像的出现。在去相关器电路之后，诸如使用双声道虚拟化器模块对去相关的输入信号进行处理或虚拟化(参见例如图5的示例的第二双声道虚拟化器模块520和等式(7))。在第一处理器电路812之后，来自第一处理器电路812的输出信号可以与输入信号801中的一个或多个其它信号组合。例如，如图8所示，可以诸如使用求和电路813将来自第一处理器电路812的输出信号与L1和R1信号进行组合或求和，以渲染信号L1,3和R1,3。可以使用第一音频处理模块811处理输入信号801中的一个或多个其它信号，但是，为了本说明性示例的简洁和简单，省略了对这种其它处理的讨论。在将部分虚拟化的L3和R3信号与输入信号L3和R1组合以提供信号L1,3和R1,3的情况下，第一音频处理模块811因此可以向第三数据总线电路803提供六个输出信号(例如，在图8的示例中指定为L1,3、R1,3、L2、R2，C和Lfe)。
第三数据总线电路803可以将六个信号发送到第二音频处理模块821。在该示例中，第二音频处理模块821包括多个第二阶段虚拟化处理电路，包括第二处理器电路822、第三处理器电路823和第四处理器电路824。在该图示中，第二至第四处理器电路822-824被示为离散处理器，但是可以使用一个或多个物理处理电路来组合或执行针对一个或多个电路的处理操作。第二处理器电路822被配置为接收信号L1,3和R1,3，第三处理器电路823被配置为接收信号L2和R2，并且第四处理器电路824被配置为接收信号C和Lfe。第二至第四处理器电路822-824的输出被提供给第二求和电路825，该第二求和电路825被配置为对来自各种处理器电路的输出信号求和，以渲染成对的输出信号804，指定为LO和RO。
在图8的示例中，第二处理器电路822接收输入信号L1,3和R1,3，诸如与来自第一处理器电路812的虚拟化的高度音频信号与由第一音频处理模块811接收到的L1和R2信号的组合对应。第二处理器电路822包括去相关器电路，该去相关器电路被配置为对输入信号L1,3和R1,3中的至少一个应用去相关处理，诸如以便增强空间化处理并减少经处理的信号中音频伪像的出现。在去相关器电路之后，诸如使用双声道虚拟化器模块对去相关的信号进行处理或虚拟化(参见例如图4的示例的第一双声道虚拟化器模块410和等式(1和2))。
第四处理器电路824可以可选地包括去相关器电路(未示出)，该去相关器电路被配置为对输入信号L2和R2中的至少一个应用去相关处理，诸如以便增强空间化处理并减少经处理的信号中音频伪像的出现。诸如使用双声道虚拟化器模块对输入信号L2和R2进行处理或虚拟化(参见例如图4的示例的第二双声道虚拟化器模块420和等式(5和6))。在图8的示例中，第三处理器电路823被配置为诸如可选地使用全通滤波器和/或去相关处理来接收和处理C和Lfe信号。
因此，图8的示例图示了使用成对虚拟化处理(诸如在图1和3-5中示出的)的用于双声道输出的(诸如通过前置扬声器对(参见例如图2))成对多声道虚拟化器。在这个示例中，使用包括去相关器的第一级虚拟化器来处理高度声道对(L3，R3)。这种虚拟化器拓扑，包括使用由第一处理器电路812实现的指定的虚拟高度滤波器，在计算上可以是有利的，因为它使得能够与前输入信号对共享水平平面虚拟化处理。此外，所示的拓扑允许诸如独立于水平平面或其它虚拟化处理来优化或调谐虚拟高度效果的有效性或程度。
图9总体上图示了第二系统的示例900，该第二系统被配置为对各种音频信号执行分布式虚拟化处理。示例900包括使用第三数据总线电路803耦合到第四音频处理模块921的第三音频处理模块911。图9的示例包括或使用与上述图8的示例800中相同的一些电路系统和处理。
例如，第三音频处理模块911被配置为接收各种成对的输入信号801、应用虚拟化处理并且通过在虚拟化处理之后组合一个或多个信号或声道来减少总音频信号或声道计数。第三音频处理模块911使用六声道第三数据总线电路803将数量减少的信号或声道提供给第四音频处理模块921。第四音频处理模块921应用其它虚拟化处理并在图9的示例中渲染成对的输出信号904。在示例中，当各种模块和处理器被配置为提供基本上相同的虚拟化处理，但是以不同的次序并且通过对不同的基本信号或信号组合进行操作时，来自图8和9的示例的成对的输出信号804和904可以基本相同。
在示例900中，第三音频处理模块911包括由第四处理器电路824进行的第一阶段虚拟化处理。即，第四处理器电路824接收输入信号L2和R2，诸如与后方立体声音频信号对应。在第四处理器电路824之后，来自第四处理器电路824的输出信号可以与输入信号801中的一个或多个其它信号组合。例如，如图9所示，可以诸如使用第一求和电路913将来自第四处理器电路824的输出信号与L1和R1信号进行组合或求和，以渲染信号L1,2和R1,2。可以使用第三音频处理模块911来处理输入信号801中的一个或多个其它信号，但是，为了本说明性示例的简洁和简单，省略了对这种其它处理的讨论。在将部分虚拟化的L2和R2信号与输入信号L1和R1组合以提供信号L1,2和R1,2的情况下，第四音频处理模块911因此可以向第三数据总线电路803提供六个输出信号(例如，在图9的示例中指定为L1,2、R1,2、L2、R2，C和Lfe)。
第三数据总线电路803可以将六个信号发送到第四音频处理模块921。在这个示例中，第四音频处理模块921包括多个第二阶段虚拟化处理电路，包括第一处理器电路812、第二处理器电路822和第三处理器电路823。在该图示中，第一、第二和第三处理器电路812、822和823被示为离散处理器，但是可以使用第四音频处理模块921中的一个或多个物理处理电路来组合或执行针对一个或多个电路的处理操作。第二处理器电路822被配置为接收信号L1,2和R1,2。第一处理器电路823被配置为接收信号L1和R3，并且第三处理器电路824被配置为接收信号C和Lfe。来自第一处理器电路812的虚拟化的输出被提供给第二求和电路924，在第二求和电路924中，该输出与来自第三数据总线电路803的接收到的信号L1,2和R1,2求和，并然后被提供给第二处理器电路822。在这个示例中，第二处理器电路822将虚拟化处理应用于L2、R2以及L3和R3的组合，这些信号之后的信号已经接受由第一和第四处理器电路812和824进行的其它虚拟化处理。在第四音频处理模块921中进行处理之后，第一、第二和第三处理器电路812、822和823的输出被提供给第三求和电路925，第三求和电路925被配置为对来自各种处理器电路的输出信号求和，以渲染成对的输出信号904，指定为LO和RO。
因此，图8和9图示了用于双声道输出的(诸如通过前置扬声器对(参见例如图2))成对的多声道虚拟化处理系统的示例。示例包括成对的虚拟化处理，诸如图1和3-5中所示的。在图8的示例中，使用包括去相关器的第一阶段虚拟化器来处理高度声道对(L3，R3)。这种虚拟化器拓扑，包括使用由第一处理器电路812实现的指定虚拟高度滤波器，在计算上可以是是有利的，因为它使得能够与前输入信号对共享水平平面虚拟化处理。此外，所示的拓扑允许诸如独立于水平平面或其它虚拟化处理来优化或调谐虚拟高度效果的有效性或程度。在图9的示例中，后方立体声声道对(L2，R2)使用第一阶段虚拟化器进行处理。这种虚拟化器拓扑，包括使用由第四处理器电路824实现的指定的虚拟水平面滤波器，在计算上可以是是有利的，因为它使得能够与前输入信号对共享高度或其他虚拟化处理。类似于图8的示例，图9所示的拓扑优化了在多个不同平面中进行虚拟化处理的调谐灵活性。例如，当将图9的示例应用于渲染针对耳机音频的双声道输出时，这种虚拟化器拓扑通过耳机为各个听众提供虚拟前方和虚拟后方效果的独立的调谐，诸如可以有助于最小化前-后混淆的发生、虚假的升高误差，并最大化感知到的外在化。
本文讨论的一些模块或处理器被配置为诸如在虚拟化处理之前应用或使用信号去相关处理。去相关是一种减少两个或更多个音频信号或声道之间的相关性的音频处理技术。在一些示例中，去相关可以被用于修改听众对音频信号的感知的空间图像。使用去相关处理来调整或修改空间图像或感知的其它示例可以包括减少一对音频声道之间的感知到的“幻像”源效果，加宽一对音频声道之间的感知到的距离，改善当通过耳机将其再现时音频信号的感知到的外在化，和/或在再现的声场中增加感知到的扩散。
例如，通过在虚拟化之前对左/右信号对应用去相关处理，在左右输入声道之间平移的源信号将在基本位于以听众位置为中心并且连接虚拟扬声器的预期(due)位置的最短弧线上的虚拟位置处被听众听到。本发明人已经认识到，这样的去相关处理可以有效地避免各种虚拟定位伪像，诸如头内定位、前-后混淆和升高误差。
在示例中，除其它以外，去相关处理尤其可以使用全通滤波器来执行。滤波器可以应用于输入信号中的至少一个，并且在示例中可以通过嵌套的全通滤波器来实现。可以通过选择滤波器的不同部件的不同设置或值来提供声道间去相关。可以类似地使用用于去相关滤波器的各种其它设计。
在示例中，用于减小两个(或更多个)音频信号之间的相关性的方法包括使每个音频信号的相位随机化。例如，相应的全通滤波器(诸如各自基于频域中的不同随机相位计算)可以用于对每个音频信号进行滤波。在一些示例中，去相关可以将音色变化或其它非预期的伪像引入可以分开进行解决的音频信号中。
各种系统和机器可以被配置为执行本文描述的信号处理任务中的一个或多个。例如，虚拟化处理模块或虚拟化处理器电路、去相关电路、虚拟化或空间化滤波器或其它模块或处理中的任何一个或多个都可以使用通用机器或使用专用的专用机器来实现，这些机器诸如使用从有形的、非暂态的处理器可读介质中检索到的指令来执行各种处理任务。
图10是图示根据一些示例实施例的能够从机器可读介质(例如，机器可读存储介质)读取指令1016并执行本文讨论的方法中的任何一个或多个的机器1000的部件的框图。具体而言，图10以计算机系统的示例形式示出了机器1000的示意图，在该机器1000内，可以执行使得机器1000执行本文讨论的方法中的任何一个或多个的指令1016(例如，软件、程序、应用、小应用、app或其它可执行代码)。例如，指令1016可以实现图5-7和图11-17等的模块或电路或部件。指令1016可以将通用的、未编程的机器1000变换成被编程为以所描述的方式(例如，作为音频处理器电路)执行所描述和示出的功能的特定机器。在替代实施例中，机器1000作为独立设备操作，或者可以耦合(例如，联网)到其它机器。在联网部署中，机器1000可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力操作，或者在对等(或分布式)网络环境中作为对等机器操作。
机器1000可以包括但不限于服务器计算机、客户端计算机、个人计算机(PC)、平板计算机、膝上型计算机、上网本、机顶盒(STB)、个人数字助理(PDA)、娱乐媒体系统或系统部件、蜂窝电话、智能电话、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能器具)、其它智能设备、web器具、网络路由器、网络交换机、网桥、耳机驱动器，或能够顺序地或以其它方式执行指定要由机器1000采取的动作的指令1016的任何机器。另外，虽然仅示出了单个机器1000，但是术语“机器”也应被认为包括机器1000的集合，其单独地或共同地执行指令1016以执行本文讨论的方法中的任何一个或多个。
机器1000可以包括或使用处理器1010(诸如包括音频处理器电路)、非暂态存储器/存储装置1030以及I/O部件1050，它们可以被配置为彼此通信，诸如经由总线1002。在示例实施例中，处理器1010(例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC、射频集成电路(RFIC)、另一个处理器或其任意合适的组合)可以包括例如可以执行指令1016的电路，诸如处理器1012和处理器1014。术语“处理器”旨在包括多核处理器1012、1014，其可以包括可以同时执行指令1016的两个或更多个独立处理器1012、1014(有时称为“核”)。虽然图10示出了多个处理器1010，但是机器1000可以包括具有单个核的单个处理器1012、1014、具有多个核的单个处理器1012、1014(例如，多核处理器1012、1014)、具有单个核的多个处理器1012、1014、具有多个核的多个处理器1012、1014或其任意组合，其中任何一个或多个处理器可以包括被配置为对音频信号应用高度滤波器以渲染经处理的或虚拟化的音频信号的电路。
存储器/存储装置1030可以包括存储器1032(诸如主存储器电路或其它存储器存储电路)，以及存储单元1036，两者都可以诸如经由总线1002被处理器1010访问。存储单元1036和存储器1032存储实施本文描述的方法或功能中的任何一个或多个的指令1016。在指令1016由机器1000执行期间，指令1016还可以全部或部分地驻留在存储器1032内、存储单元1036内、处理器1010中的至少一个内(例如，处理器1012、1014的高速缓存存储器内)或其任意合适的组合。因而，存储器1032、存储单元1036和处理器1010的存储器是机器可读介质的示例。
如本文所使用的，“机器可读介质”是指能够临时或永久地存储指令1016和数据的设备，并且可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存、光学介质、磁性介质、高速缓存存储器、其它类型的存储装置(例如、可擦可编程只读存储器(EEPROM))和/或其任意合适的组合。术语“机器可读介质”应当被认为包括能够存储指令1016的单个介质或多个介质(例如，集中式或分布式数据库或者相关联的高速缓存和服务器)。术语“机器可读介质”也应被认为包括能够存储由机器(例如，机器1000)执行的指令(例如，指令1016)的任何介质或多种介质的组合，使得指令1016在由机器1000的一个或多个处理器(例如，处理器1010)执行时使机器1000执行本文所述的方法中的任何一个或多个。因而，“机器可读介质”是指单个存储装置或设备，以及包括多个存储装置或设备的“基于云的”存储系统或存储网络。术语“机器可读介质”不包括信号本身。
I/O部件1050可以包括各种部件，以接收输入、提供输出、产生输出、发送信息、交换信息、捕获测量等等。包括在特定机器1000中的具体I/O部件1050将取决于机器1000的类型。例如，诸如移动电话之类的便携式机器将可能包括触摸输入设备或其它这样的输入机制，而无头服务器机器可能将不包括这种触摸输入设备。将认识到的是，I/O部件1050可以包括在图10中未示出的许多其它部件。I/O部件1050仅出于简化以下讨论的目的而按功能分组，并且该分组绝不是限制性的。在各种示例实施例中，I/O部件1050可以包括输出部件1052和输入部件1054。输出部件1052可以包括视觉部件(例如，显示器，诸如等离子显示面板(PDP)、发光二极管(LED)显示器、液晶显示器(LCD)、投影仪或阴极射线管(CRT)之类)、声学部件(例如，扬声器)、触觉部件(例如，振动马达、阻力机制)、其它信号发生器等等。输入部件1054可以包括字母数字输入部件(例如，键盘、被配置为接收字母数字输入的触摸屏、光电键盘或其它字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其它指向工具)、触感输入部件(例如，物理按钮、提供触摸或触摸手势的位置和/或力的触摸屏，或其它触感输入部件)、音频输入部件(例如，麦克风)等。
在进一步的示例实施例中，I/O部件1050可以包括各种各样的其它部件当中的生物特征部件1056、运动部件1058、环境部件1060或位置部件1062。例如，生物特征部件1056可以包括检测表达(例如，手表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、汗水或脑电波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等的部件，诸如例如可以影响特定于听众或特定于环境的冲激响应或HRTF的包含、使用或选择。在示例中，生物特征部件1056可以包括一个或多个传感器，这些传感器被配置为感测或提供关于环境中检测到的听众110的位置的信息。运动部件1058可以包括加速度传感器部件(例如，加速度计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)等等，诸如可以用于跟踪听众110的位置的改变。环境部件1060可以包括例如照明传感器部件(例如，光度计)、温度传感器部件(例如，检测环境温度的一个或多个温度计)、湿度传感器部件、压力传感器部件(例如，气压计)、声学传感器部件(例如，检测混响衰减时间的一个或多个麦克风，诸如针对一个或多个频率或频带)、接近传感器或房间音量检测部件(例如，检测附近物体的红外传感器)、气体传感器(例如，气体检测传感器，以安全地检测有害气体的浓度或测量大气中的污染物)，或其它可以提供与周围物理环境对应的指示、测量或信号的部件。位置部件1062可以包括位置传感器部件(例如，全球定位系统(GPS)接收器部件)、海拔传感器部件(例如，检测可以从中导出海拔的气压的海拔计或气压计)、朝向传感器部件(例如，磁力计)等。
可以使用多种技术来实现通信。I/O部件1050可以包括通信部件1064，其可操作以分别经由耦合(coupling)1082和耦合1072将机器1000耦合到网络1080或设备1070。例如，通信部件1064可以包括网络接口部件或其它合适的设备以与网络1080接口。在另外的示例中，通信部件1064可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、
Figure BDA0002263329440000241
部件(例如，低能量)、
Figure BDA0002263329440000243
部件以及经由其它方式提供通信的其它通信部件。设备1070可以是另一个机器或各种各样的外围设备(例如，经由USB耦合的外围设备)中的任何一个。
而且，通信部件1064可以检测标识符或包括可操作以检测标识符的部件。例如，通信部件1064可以包括射频识别(RFID)标签阅读器部件、NFC智能标签检测部件、光学阅读器部件(例如，用于检测一维条形码(诸如通用产品代码(UPC)条形码)、多维条形码(诸如快速响应(QR)码、Aztec码、DataMatrix、Dataglyph、MaxiCode、PDF49、Ultra Code、UCC RSS-2D条形码和其它光学条形码)的光学传感器)，或声学检测部件(例如，用于识别标记的音频信号的麦克风)。此外，可以经由通信部件1064导出各种信息，诸如经由因特网协议(IP)地理位置定位的位置、经由
Figure BDA0002263329440000244
信号三角测量的位置、经由检测可以指示特定位置的NFC信标信号的位置，等等。这样的标识符可以用于确定关于参考或本地冲激响应、参考或本地环境特性或特定于听众的特性中的一个或多个的信息。
在各种示例实施例中，网络1080的一个或多个部分可以是自组织网络、内联网、外联网、虚拟专用网(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网、因特网的一部分、公共交换电话网(PSTN)的一部分、普通旧电话服务(POTS)网络、蜂窝电话网络、无线网络、
Figure BDA0002263329440000251
网络、另一种类型的网络或者此类网络中的两个或更多个的组合。例如，网络1080或网络1080的一部分可以包括无线或蜂窝网络，并且耦合1082可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或另一种类型的蜂窝或无线耦合。在这个示例中，耦合1082可以实现多种类型的数据传输技术中的任何一种，诸如单载波无线传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线业务(GPRS)技术、GSM演进的增强数据速率(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准制定组织定义的其它标准、其它远程协议或其它数据传输技术。在示例中，这样的无线通信协议或网络可以被配置为将耳机音频信号从集中式处理器或机器发送到听众正在使用的耳机设备。
指令1016可以经由网络接口设备(例如，通信部件1064中包括的网络接口部件)使用传输介质并且使用多种众所周知的传输协议中的任何一种(例如，超文本传输协议(HTTP))通过网络1080被发送或接收。类似地，指令1016可以使用传输介质经由耦合器1072(例如，对等耦合器)被发送或接收到设备1070。术语“传输介质”应被认为包括能够存储、编码或携带由机器1000执行的指令1016的任何无形介质，并且包括数字或模拟通信信号或其它无形介质以促进这种软件的通信。
对于相关领域的技术人员而言，本文讨论的概念和示例的许多变化将是清楚的。例如，取决于实施例，本文描述的任何方法、处理或算法的某些动作、事件或功能可以以不同的顺序执行，可以被添加、合并或省略(使得并非所有描述的动作或事件是实践各种方法、处理或算法所必需的)。而且，在一些实施例中，动作或事件可以被同时执行，诸如通过多线程处理、中断处理、或多个处理器或处理器核或在其它并行架构上，而不是顺序地执行。此外，可以由可以一起工作的不同机器和计算系统执行不同的任务或处理。
结合本文公开的实施例描述的各种说明性逻辑块、模块、方法和算法处理以及序列可以被实现为电子硬件、计算机软件或二者的组合。为了说明硬件和软件的这种可互换性，在一些情况下，一般按照其功能来描述各种部件、块、模块和处理动作。将这种功能性实现为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。因此，可以针对特定应用以各种方式来实现所描述的功能，但是这种实现决定不应当被解释为造成背离本文档的范围。本文所述的沉浸式空间音频处理和再现系统以及方法和技术的实施例可以在多种类型的通用或专用计算系统环境或配置内操作，诸如以上在图10的讨论中所描述的。
本发明的各个方面可以独立使用或一起使用。例如，方面1可以包括或使用主题(诸如用于执行动作的装置、系统、设备、方法、部件，或包括指令的设备可读介质，这些指令在由设备执行时可以使设备执行动作)，诸如可以包括或使用一种用于提供虚拟化的音频信息的方法，所述方法包括接收包括至少N个离散音频信号的音频节目信息，以及使用第一虚拟化处理器电路使用接收到的所述音频节目信息的至少一部分来生成中间虚拟化的音频信息。在方面1中，除其它事项之外，所述生成可以包括将第一虚拟化滤波器应用于所述N个音频信号中的M个音频信号以提供第一虚拟化滤波器输出，以及使用第一虚拟化滤波器输出来提供中间虚拟化的音频信息，其中中间虚拟化的音频信息包括J个离散音频信号。方面1还可以包括
将中间虚拟化的音频信息发送到第二虚拟化处理器电路，其中第二虚拟化处理器电路被配置为通过将不同的第二虚拟化滤波器应用于所述J个音频信号中的一个或多个音频信号来生成进一步虚拟化的音频信息。在示例中，N、M和J是整数。
方面2可以包括或使用方面1的主题，或者可以可选地与方面1的主题组合，可选地包括基于所述进一步虚拟化的音频信息渲染K个输出信号，其中所述K个输出信号被配置用于使用耳机进行再现。
方面3可以包括或使用方面1的主题，或者可以可选地与方面1的主题组合，可选地包括基于所述进一步虚拟化的音频信息渲染K个输出信号，其中所述K个输出信号被配置用于使用一对扬声器进行再现。
方面4可以包括或使用方面1至3的一个或任意组合的主题，或者可以可选地与方面1至3的一个或任意组合的主题组合，可选地包括所述音频节目信息包括至少一个高度音频信号，所述高度音频信号包括被配置用于使用至少一个升高的扬声器来进行再现的音频信息，以及其中应用第一虚拟化滤波器包括将高度虚拟化滤波器应用于所述至少一个高度音频信号。
方面5可以包括或使用方面4的主题，或者可以可选地与方面4的主题组合，可选地包括使用第二虚拟化处理器电路生成所述进一步虚拟化的音频信息，包括将除高度虚拟化滤波器以外的虚拟化滤波器应用于所述J个音频信号中的一个或多个音频信号。
方面6可以包括或使用方面1至5的一个或任意组合的主题，或者可以可选地与方面1至5的一个或任意组合的主题组合，可选地包括所述音频节目信息包括环绕声音频信号，所述环绕声音频信号包括用于使用多个相应扬声器进行再现的音频信息，以及其中应用第一虚拟化滤波器包括将水平平面虚拟化滤波器应用于所述环绕声信号中的一个或多个环绕声信号，以及其中将所述不同的第二虚拟化滤波器应用于所述J个音频信号中的一个或多个音频信号包括应用除水平平面虚拟化滤波器以外的其它虚拟化滤波器。
方面7可以包括或使用方面1至5的一个或任意组合的主题，或者可以可选地与方面1至5的一个或任意组合的主题组合，可选地包括所述音频节目信息至少包括左前和右前音频信号，所述左前和右前音频信号包括被配置用于使用相应的左前和右前扬声器进行再现的音频信息，以及其中应用第一虚拟化滤波器包括至少对左前和右前音频信号应用水平平面虚拟化滤波器。
方面8可以包括或使用方面1至7的一个或任意组合的主题，或者可以可选地与方面1至7的一个或任意组合的主题组合，可选地包括M小于N。
方面9可以包括或使用方面8的主题，或者可以可选地与方面8的主题组合，可选地包括使用第一虚拟化滤波器输出来提供中间虚拟化的音频信息包括将第一虚拟化滤波器输出与所述N个音频信号中除所述M个音频信号以外的一个或多个音频信号组合。
方面10可以包括或使用方面1至9的一个或任意组合的主题，或者可以可选地与方面1至9的一个或任意组合的主题组合，以可选地包括M等于N。
方面11可以包括或使用方面1至10的一个或任意组合的主题，或者可以可选地与方面1至10的一个或任意组合的主题组合，以可选地包括J小于N。
方面12可以包括或使用方面1至11的一个或任意组合的主题，或者可以可选地与方面1至11的一个或任意组合的主题组合，可选地包括在第二虚拟化处理器电路处接收中间虚拟化的音频信息，以及使用第二虚拟化处理器电路通过将所述不同的第二虚拟化滤波器应用于所述J个音频信号中的一个或多个音频信号来生成所述进一步虚拟化的音频信息。
方面13可以包括或使用方面12的主题，或者可以可选地与方面12的主题组合，可选地包括生成所述进一步虚拟化的音频信息包括渲染K个输出信号以使用至少K个扬声器进行回放，其中K是小于J的整数。
方面14可以包括或使用方面13的主题，或者可以可选地与方面13的主题组合，可选地包括渲染K个输出信号包括渲染被配置用于使用耳机或扬声器进行再现的一对输出信号。
方面15可以包括或使用方面13的主题，或者可以可选地与方面13的主题组合，可选地包括所述至少K个扬声器布置在第一空间平面中，并且其中生成所述进一步虚拟化的音频信息包括渲染输出信号，当使用所述K个扬声器进行再现时，该输出信号被配置为被听众感知为包括在除第一空间平面以外的空间平面中的可听信息。
方面16可以包括或使用方面13的主题，或者可以可选地与方面13的主题组合，可选地包括生成所述进一步虚拟化的音频信息包括生成信息，使得当使用所述至少K个扬声器再现所述进一步虚拟化的音频信息时，所述进一步虚拟化的音频信息被听众感知为源自相对于扬声器平面的升高或降低的源。
方面17可以包括或使用方面1至16的一个或任意组合的主题，或者可以可选地与方面1至16的一个或任意组合的主题组合，可选地包括发送中间虚拟化的音频信息包括使用包括少于N个声道的数据总线。
方面18可以包括或使用方面1至17的一个或任意组合的主题，或者可以可选地与方面1至17的一个或任意组合的主题组合，可选地包括生成中间虚拟化的音频信息包括在应用第一虚拟化滤波器之前将所述M个音频信号中的至少两个音频信号去相关。
方面19可以包括方面1至18的一个或任意组合的主题，或者可以可选地与方面1至18的一个或任意组合的主题组合，以包括或使用主题(诸如用于执行动作的装置、方法、部件，或包括指令的机器可读介质，这些指令在由机器执行时可以使机器执行动作)，诸如可以包括或使用一种系统，所述系统包括用于接收多个音频输入信号的装置，用于将第一虚拟化处理应用于所述多个音频输入信号中的一个或多个音频输入信号以生成中间虚拟化的信号的装置，用于将中间虚拟化的信号与所述多个音频输入信号中的至少另一个音频输入信号组合以提供部分虚拟化的信号的装置，以及用于将第二虚拟化处理应用于部分虚拟化的音频信号以生成虚拟化的音频输出信号的装置。
方面20可以包括或使用方面19的主题，或者可以可选地与方面19的主题组合，可选地包括用于将部分虚拟化的信号从第一设备发送到远程第二设备的装置，所述远程第二设备包括用于应用第二虚拟化处理的装置，其中所述多个音频输入信号包括至少N个离散信号，以及其中用于发送部分虚拟化的信号的装置包括用于发送少于N个信号的装置。
方面21可以包括或使用方面19或20的一个或任意组合的主题，或者可以可选地与方面19或20的一个或任意组合的主题组合，可选地包括用于应用第一虚拟化处理的装置包括用于应用水平平面虚拟化和垂直平面虚拟化之一的装置，并且其中用于应用第二虚拟化处理的装置包括用于应用水平平面虚拟化和垂直平面虚拟化中的另一个的装置。
方面22可以包括或使用方面19至21的一个或任意组合的主题，或者可以可选地与方面19至21的一个或任意组合的主题组合，可选地包括用于应用第一虚拟化处理的装置包括用于将第一头部相关传递函数应用于所述多个音频输入信号中的至少一个音频输入信号的装置。
方面23可以包括或使用方面19至22的一个或任意组合的主题，或者可以可选地与方面19至22的一个或任意组合的主题组合，可选地包括用于对所述多个音频输入信号中的至少两个音频输入信号进行去相关以提供多个去相关的信号的装置，并且其中用于应用第一虚拟化处理的装置包括用于将第一虚拟化处理应用于去相关的信号中的第一去相关的信号的装置。
方面24可以包括或使用方面19至23的一个或任意组合的主题，或者可以可选地与方面19至23的一个或任意组合的主题组合，可选地包括用于应用第二虚拟化处理的装置还包括用于生成代表所述多个音频输入信号的虚拟化的音频输出信号的立体声对的装置。
方面25可以包括或使用方面19至24的一个或任意组合的主题，或者可以可选地与方面19至24的一个或任意组合的主题组合，可选地包括用于接收多个音频输入信号的装置包括用于接收N个离散音频输入信号的装置，其中用于将中间虚拟化的信号与所述多个音频输入信号中的至少另一个音频输入信号组合的装置包括提供多个部分虚拟化的信号的装置，以及其中部分虚拟化的信号的数量小于N。
方面26可以包括方面1至25的一个或任意组合的主题，或者可以可选地与方面1至25的一个或任意组合的主题组合，以包括或使用主题(诸如用于执行动作的装置、方法、部件，或包括指令的机器可读介质，这些指令在由机器执行时可以使机器执行动作)，诸如可以包括或使用被配置为使用至少一对扬声器或耳机在三维声场中提供虚拟化的音频信息的音频信号处理系统，其中虚拟化的音频信息被听众感知为包括在听众的第一解剖平面以外的平面中的可听信息，所述系统包括：音频输入端，被配置为接收包括至少N个离散音频信号的音频节目信息，第一虚拟化处理器电路，被配置为通过将第一虚拟化滤波器应用于所述N个音频信号中的M个音频信号来生成中间虚拟化的音频信息，以及第二虚拟化处理器电路，被配置为通过将不同的第二虚拟化滤波器应用于所述N个音频信号中的K个音频信号来生成进一步虚拟化的音频信息，其中K、M和N是整数。
方面27可以包括或使用方面26的主题，或者可以可选地与方面26的主题组合，可选地包括音频信号组合电路，所述音频信号组合电路被配置为将中间虚拟化的音频信息与所述N个音频信号中除所述M个音频信号以外的至少一个音频信号进行组合，以提供包括少于N个音频信号的部分虚拟化的音频节目信息，其中第二虚拟化处理器电路被配置为使用部分虚拟化的音频节目信息来生成进一步虚拟化的音频信息。
方面28可以包括或使用方面26或27的一个或任意组合的主题，或者可以可选地与方面26或27的一个或任意组合的主题组合，可选地包括数据总线电路，所述数据总线电路包括少于N个声道，其中所述数据总线电路耦合到第一虚拟化处理器电路和第二虚拟化处理器电路，并且所述数据总线电路被配置为将部分虚拟化的音频节目信息从第一虚拟化处理器电路发送到第二虚拟化处理器电路。
方面29可以包括或使用方面26至28的一个或任意组合的主题，或者可以可选地与方面26至28的一个或任意组合的主题组合，以可选地包括音频解码器电路，所述音频解码器电路被配置为接收环绕声源信号并基于接收到的环绕声源信号将所述音频节目信息提供给音频输入端。
方面30可以包括或使用方面26至29的一个或任意组合的主题，或者可以可选地与方面26至29的一个或任意组合的主题组合，可选地包括接收到的音频节目信息包括至少一个高度音频信号，所述高度音频信号包括被配置为使用至少一个升高的扬声器进行再现的音频信息，其中第一虚拟化处理器电路被配置用于将第一虚拟化滤波器作为高度虚拟化滤波器应用于所述至少一个高度音频信号。
方面31可以包括或使用方面30的主题，或者可以可选地与方面30的主题组合，可选地包括第二虚拟化滤波器是除高度虚拟化滤波器以外的虚拟化滤波器。
方面32可以包括或使用方面26至31的一个或任意组合的主题，或者可以可选地与方面26至31的一个或任意组合的主题组合，可选地包括去相关电路，所述去相关电路被配置为将去相关滤波器应用于所述N个离散音频信号中的一个或多个离散音频信号，以将对应的一个或多个去相关信号提供给第一虚拟化处理器电路和/或第二虚拟化处理器电路。
方面33可以包括或使用方面26至32的一个或任意组合的主题，或者可以可选地与方面26至32的一个或任意组合的主题组合，可选地包括第一虚拟化处理器电路和/或第二虚拟化处理器电路包括头部相关传递函数推导电路，所述头部相关传递函数推导电路被配置为基于与听众对应的同侧和对侧头部相关传递函数信息来推导第一虚拟化滤波器。
方面34可以包括或使用方面26至33的一个或任意组合的主题，或者可以可选地与的面26至33的一个或任意组合的主题组合，可选地包括第二虚拟化处理器电路被配置为生成进一步虚拟化的音频信息作为被配置用于使用耳机或扬声器进行再现的立体声信号对。
这些非限制性方面中的每一个可以独立存在，或者可以与本文提供的一个或多个其它方面或示例以各种置换或组合的方式组合。
在本文件中，如在专利文件中常用的，术语“一”或“一个”包括一个或多于一个，独立于“至少一个”或“一个或多个”的任何其它情况或用法。在本文件中，除非另有说明，否则术语“或”用于表示非排他性的或，使得“A或B”包括“A但不包括B”、“B但不包括A”和“A和B”。在本文件中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的普通英语等效词。
除非另外特别说明或在所使用的上下文中以其它方式理解，否则本文中所使用的条件语言，诸如“能够”、“可能”、“可以”、“例如”等一般旨在传达某些实施例包括而某些实施例不包括某些特征、元素和/或状态。因此，这样的条件语言一般不旨在暗示特征、元素和/或状态以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或没有作者输入或提示的情况下决定这些特征、元素和/或状态是否要在任何特定实施例中被包括或将被执行的逻辑。
虽然上面的详细描述已经示出、描述并指出了应用于各种实施例的新颖特征，但是将理解的是，在不脱离本公开的前提下，可以对所示设备或算法的形式和细节进行各种省略、替换和改变。如将认识到的，本文描述的本发明的某些实施例可以以不提供本文阐述的所有特征和优点的形式来实施，因为一些特征可以与其它特征分开使用或实践。
而且，虽然已经用特定于结构特征或方法或动作的语言描述了主题，但是应该理解的是，所附权利要求书中定义的主题不必限于上述特定特征或动作。更确切地说，上述具体特征和动作被公开为实现权利要求的示例形式。

Claims (34)

1.一种用于提供虚拟化的音频信息的方法，所述方法包括：
接收包括至少N个离散音频信号的音频节目信息；
使用第一虚拟化处理器电路使用接收到的所述音频节目信息的至少一部分来生成中间虚拟化的音频信息，所述生成包括：
将第一虚拟化滤波器应用于所述N个音频信号中的M个音频信号以提供第一虚拟化滤波器输出；以及
使用第一虚拟化滤波器输出来提供中间虚拟化的音频信息，其中中间虚拟化的音频信息包括J个离散音频信号；以及
将中间虚拟化的音频信息发送到第二虚拟化处理器电路，其中第二虚拟化处理器电路被配置为通过将不同的第二虚拟化滤波器应用于所述J个音频信号中的一个或多个音频信号来生成进一步虚拟化的音频信息；
其中N、M和J是整数。
2.如权利要求1所述的方法，还包括基于所述进一步虚拟化的音频信息渲染K个输出信号，其中所述K个输出信号被配置用于使用耳机进行再现。
3.如权利要求1所述的方法，还包括基于所述进一步虚拟化的音频信息渲染K个输出信号，其中所述K个输出信号被配置用于使用一对扬声器进行再现。
4.如权利要求1所述的方法，其中所述音频节目信息包括至少一个高度音频信号，所述高度音频信号包括被配置用于使用至少一个升高的扬声器来进行再现的音频信息，以及
其中应用第一虚拟化滤波器包括将高度虚拟化滤波器应用于所述至少一个高度音频信号。
5.如权利要求4所述的方法，还包括使用第二虚拟化处理器电路生成所述进一步虚拟化的音频信息，包括将除高度虚拟化滤波器以外的虚拟化滤波器应用于所述J个音频信号中的一个或多个音频信号。
6.如权利要求1所述的方法，其中所述音频节目信息包括环绕声音频信号，所述环绕声音频信号包括用于使用多个相应扬声器进行再现的音频信息，以及
其中应用第一虚拟化滤波器包括将水平平面虚拟化滤波器应用于所述环绕声信号中的一个或多个环绕声信号；以及
其中将所述不同的第二虚拟化滤波器应用于所述J个音频信号中的一个或多个音频信号包括应用除水平平面虚拟化滤波器以外的其它虚拟化滤波器。
7.如权利要求1所述的方法，其中所述音频节目信息至少包括左前和右前音频信号，所述左前和右前音频信号包括被配置用于使用相应的左前和右前扬声器进行再现的音频信息，以及
其中应用第一虚拟化滤波器包括至少对左前和右前音频信号应用水平平面虚拟化滤波器。
8.如权利要求1所述的方法，其中M小于N。
9.如权利要求8所述的方法，其中使用第一虚拟化滤波器输出来提供中间虚拟化的音频信息包括将第一虚拟化滤波器输出与所述N个音频信号中除所述M个音频信号以外的一个或多个音频信号组合。
10.如权利要求1所述的方法，其中M等于N。
11.如权利要求1所述的方法，其中J小于N。
12.如权利要求1所述的方法，还包括：
在第二虚拟化处理器电路处接收中间虚拟化的音频信息；以及
使用第二虚拟化处理器电路通过将所述不同的第二虚拟化滤波器应用于所述J个音频信号中的一个或多个音频信号来生成所述进一步虚拟化的音频信息。
13.如权利要求12所述的方法，其中生成所述进一步虚拟化的音频信息包括渲染K个输出信号以使用至少K个扬声器进行回放，其中K是小于J的整数。
14.如权利要求13所述的方法，其中渲染K个输出信号包括渲染被配置用于使用耳机或扬声器进行再现的一对输出信号。
15.如权利要求13所述的方法，其中所述至少K个扬声器布置在第一空间平面中，并且其中生成所述进一步虚拟化的音频信息包括渲染输出信号，当使用所述K个扬声器进行再现时，该输出信号被配置为被听众感知为包括在除第一空间平面以外的空间平面中的可听信息。
16.如权利要求13所述的方法，其中生成所述进一步虚拟化的音频信息包括生成信息，使得当使用所述至少K个扬声器再现所述进一步虚拟化的音频信息时，所述进一步虚拟化的音频信息被听众感知为源自相对于扬声器平面的升高或降低的源。
17.如权利要求1所述的方法，其中发送中间虚拟化的音频信息包括使用包括少于N个声道的数据总线。
18.如权利要求1所述的方法，其中生成中间虚拟化的音频信息包括在应用第一虚拟化滤波器之前将所述M个音频信号中的至少两个音频信号去相关。
19.一种系统，包括：
用于接收多个音频输入信号的装置；
用于将第一虚拟化处理应用于所述多个音频输入信号中的一个或多个音频输入信号以生成中间虚拟化的信号的装置；
用于将中间虚拟化的信号与所述多个音频输入信号中的至少另一个音频输入信号组合以提供部分虚拟化的信号的装置；以及
用于将第二虚拟化处理应用于部分虚拟化的音频信号以生成虚拟化的音频输出信号的装置。
20.如权利要求19所述的系统，还包括用于将部分虚拟化的信号从第一设备发送到远程第二设备的装置，所述远程第二设备包括用于应用第二虚拟化处理的装置，
其中所述多个音频输入信号包括至少N个离散信号；以及
其中用于发送部分虚拟化的信号的装置包括用于发送少于N个信号的装置。
21.如权利要求19所述的系统，其中用于应用第一虚拟化处理的装置包括用于应用水平平面虚拟化和垂直平面虚拟化之一的装置，并且其中用于应用第二虚拟化处理的装置包括用于应用水平平面虚拟化和垂直平面虚拟化中的另一个的装置。
22.如权利要求19所述的系统，其中用于应用第一虚拟化处理的装置包括用于将第一头部相关传递函数应用于所述多个音频输入信号中的至少一个音频输入信号的装置。
23.如权利要求19所述的系统，还包括用于对所述多个音频输入信号中的至少两个音频输入信号进行去相关以提供多个去相关的信号的装置，并且其中用于应用第一虚拟化处理的装置包括用于将第一虚拟化处理应用于去相关的信号中的第一去相关的信号的装置。
24.如权利要求19所述的系统，其中用于应用第二虚拟化处理的装置还包括用于生成代表所述多个音频输入信号的虚拟化的音频输出信号的立体声对的装置。
25.如权利要求19所述的系统，其中用于接收多个音频输入信号的装置包括用于接收N个离散音频输入信号的装置；
其中用于将中间虚拟化的信号与所述多个音频输入信号中的至少另一个音频输入信号组合的装置包括提供多个部分虚拟化的信号的装置；以及
其中部分虚拟化的信号的数量小于N。
26.一种音频信号处理系统，被配置为使用至少一对扬声器或耳机在三维声场中提供虚拟化的音频信息，其中虚拟化的音频信息被听众感知为包括在听众的第一解剖平面以外的平面中的可听信息，所述系统包括：
音频输入端，被配置为接收包括至少N个离散音频信号的音频节目信息；
第一虚拟化处理器电路，被配置为通过将第一虚拟化滤波器应用于所述N个音频信号中的M个音频信号来生成中间虚拟化的音频信息；以及
第二虚拟化处理器电路，被配置为通过将不同的第二虚拟化滤波器应用于所述N个音频信号中的K个音频信号来生成进一步虚拟化的音频信息；
其中K、M和N是整数。
27.如权利要求26所述的系统，还包括音频信号组合电路，所述音频信号组合电路被配置为将中间虚拟化的音频信息与所述N个音频信号中除所述M个音频信号以外的至少一个音频信号进行组合，以提供包括少于N个音频信号的部分虚拟化的音频节目信息；
其中第二虚拟化处理器电路被配置为使用部分虚拟化的音频节目信息来生成进一步虚拟化的音频信息。
28.如权利要求27所述的系统，还包括数据总线电路，所述数据总线电路包括少于N个声道，其中所述数据总线电路耦合到第一虚拟化处理器电路和第二虚拟化处理器电路，并且所述数据总线电路被配置为将部分虚拟化的音频节目信息从第一虚拟化处理器电路发送到第二虚拟化处理器电路。
29.如权利要求26所述的系统，还包括音频解码器电路，所述音频解码器电路被配置为接收环绕声源信号并基于接收到的环绕声源信号将所述音频节目信息提供给音频输入端。
30.如权利要求26所述的系统，其中接收到的所述音频节目信息包括至少一个高度音频信号，所述高度音频信号包括被配置用于使用至少一个升高的扬声器进行再现的音频信息；以及
其中第一虚拟化处理器电路被配置为将第一虚拟化滤波器作为高度虚拟化滤波器应用于所述至少一个高度音频信号。
31.如权利要求30所述的系统，其中第二虚拟化滤波器是除高度虚拟化滤波器以外的虚拟化滤波器。
32.如权利要求26所述的系统，还包括去相关电路，所述去相关电路被配置为将去相关滤波器应用于所述N个离散音频信号中的一个或多个离散音频信号，以将对应的一个或多个去相关信号提供给第一虚拟化处理器电路和/或第二虚拟化处理器电路。
33.如权利要求26所述的系统，其中第一虚拟化处理器电路和/或第二虚拟化处理器电路包括头部相关传递函数推导电路，所述头部相关传递函数推导电路被配置为基于与听众对应的同侧和对侧头部相关传递函数信息来推导第一虚拟化滤波器。
34.如权利要求26所述的系统，其中第二虚拟化处理器电路被配置为生成进一步虚拟化的音频信息作为被配置用于使用耳机或扬声器进行再现的立体声信号对。
CN201780090501.5A 2017-03-08 2017-12-18 分布式音频虚拟化系统 Active CN110651487B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762468677P 2017-03-08 2017-03-08
US62/468,677 2017-03-08
US15/844,096 2017-12-15
US15/844,096 US10979844B2 (en) 2017-03-08 2017-12-15 Distributed audio virtualization systems
PCT/US2017/067026 WO2018164750A1 (en) 2017-03-08 2017-12-18 Distributed audio virtualization systems

Publications (2)

Publication Number Publication Date
CN110651487A true CN110651487A (zh) 2020-01-03
CN110651487B CN110651487B (zh) 2022-03-22

Family

ID=63445671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780090501.5A Active CN110651487B (zh) 2017-03-08 2017-12-18 分布式音频虚拟化系统

Country Status (6)

Country Link
US (1) US10979844B2 (zh)
EP (1) EP3593545A4 (zh)
JP (1) JP7206211B2 (zh)
KR (1) KR102510726B1 (zh)
CN (1) CN110651487B (zh)
WO (1) WO2018164750A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019994A (zh) * 2020-08-12 2020-12-01 武汉理工大学 一种基于虚拟扬声器构建车内扩散声场环境的方法及装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3453190A4 (en) 2016-05-06 2020-01-15 DTS, Inc. SYSTEMS FOR IMMERSIVE AUDIO PLAYBACK
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
US10397724B2 (en) * 2017-03-27 2019-08-27 Samsung Electronics Co., Ltd. Modifying an apparent elevation of a sound source utilizing second-order filter sections
GB2569214B (en) * 2017-10-13 2021-11-24 Dolby Laboratories Licensing Corp Systems and methods for providing an immersive listening experience in a limited area using a rear sound bar
WO2020201107A1 (en) * 2019-03-29 2020-10-08 Sony Corporation Apparatus, method, sound system
US10735885B1 (en) * 2019-10-11 2020-08-04 Bose Corporation Managing image audio sources in a virtual acoustic environment
JP7345373B2 (ja) 2019-11-29 2023-09-15 川崎重工業株式会社 保持装置、制御方法、制御装置及びロボットシステム
US11246001B2 (en) * 2020-04-23 2022-02-08 Thx Ltd. Acoustic crosstalk cancellation and virtual speakers techniques
WO2023122550A1 (en) * 2021-12-20 2023-06-29 Dolby Laboratories Licensing Corporation A method of processing audio for playback of immersive audio

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100303246A1 (en) * 2009-06-01 2010-12-02 Dts, Inc. Virtual audio processing for loudspeaker or headphone playback
WO2013149867A1 (en) * 2012-04-02 2013-10-10 Sonicemotion Ag Method for high quality efficient 3d sound reproduction
US20140270185A1 (en) * 2013-03-13 2014-09-18 Dts Llc System and methods for processing stereo audio content
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
CN104604257A (zh) * 2012-08-31 2015-05-06 杜比实验室特许公司 用于在各种收听环境中渲染并且回放基于对象的音频的系统
EP2930957A1 (en) * 2014-04-07 2015-10-14 Harman Becker Automotive Systems GmbH Sound wave field generation
US20150350802A1 (en) * 2012-12-04 2015-12-03 Samsung Electronics Co., Ltd. Audio providing apparatus and audio providing method
US20160044434A1 (en) * 2013-03-29 2016-02-11 Samsung Electronics Co., Ltd. Audio apparatus and audio providing method thereof
CN105376691A (zh) * 2014-08-29 2016-03-02 杜比实验室特许公司 感知方向的环绕声播放
CN105992119A (zh) * 2015-02-12 2016-10-05 杜比实验室特许公司 用于耳机虚拟化的混响生成
EP3125240A1 (en) * 2014-03-24 2017-02-01 Samsung Electronics Co., Ltd. Method and apparatus for rendering acoustic signal, and computer-readable recording medium
CN102272840B (zh) * 2009-01-07 2017-02-08 创新科技有限公司 分布式空间音频解码器

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4817149A (en) 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
US5943427A (en) 1995-04-21 1999-08-24 Creative Technology Ltd. Method and apparatus for three dimensional audio spatialization
US5809150A (en) 1995-06-28 1998-09-15 Eberbach; Steven J. Surround sound loudspeaker system
US5742689A (en) 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
US6421446B1 (en) 1996-09-25 2002-07-16 Qsound Labs, Inc. Apparatus for creating 3D audio imaging over headphones using binaural synthesis including elevation
JP3266020B2 (ja) 1996-12-12 2002-03-18 ヤマハ株式会社 音像定位方法及び装置
US6078669A (en) 1997-07-14 2000-06-20 Euphonics, Incorporated Audio spatial localization apparatus and methods
AUPP271598A0 (en) 1998-03-31 1998-04-23 Lake Dsp Pty Limited Headtracked processing for headtracked playback of audio signals
GB2343347B (en) 1998-06-20 2002-12-31 Central Research Lab Ltd A method of synthesising an audio signal
US6956954B1 (en) 1998-10-19 2005-10-18 Onkyo Corporation Surround-sound processing system
US6175631B1 (en) 1999-07-09 2001-01-16 Stephen A. Davis Method and apparatus for decorrelating audio signals
AU2002244269A1 (en) 2001-03-07 2002-09-24 Harman International Industries, Inc. Sound direction system
US7415123B2 (en) 2001-09-26 2008-08-19 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for producing spatialized audio signals
US6961439B2 (en) 2001-09-26 2005-11-01 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for producing spatialized audio signals
US20070160216A1 (en) 2003-12-15 2007-07-12 France Telecom Acoustic synthesis and spatialization method
US8638946B1 (en) 2004-03-16 2014-01-28 Genaudio, Inc. Method and apparatus for creating spatialized sound
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
GB2414369B (en) 2004-05-21 2007-08-01 Hewlett Packard Development Co Processing audio data
JP4629388B2 (ja) 2004-08-27 2011-02-09 ソニー株式会社 音響生成方法、音響生成装置、音響再生方法及び音響再生装置
CA2578797A1 (en) 2004-09-03 2006-03-16 Parker Tsuhako Method and apparatus for producing a phantom three-dimensional sound space with recorded sound
DE102005043641A1 (de) 2005-05-04 2006-11-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Generierung und Bearbeitung von Toneffekten in räumlichen Tonwiedergabesystemen mittels einer graphischen Benutzerschnittstelle
US7702116B2 (en) 2005-08-22 2010-04-20 Stone Christopher L Microphone bleed simulator
JP4927848B2 (ja) 2005-09-13 2012-05-09 エスアールエス・ラブス・インコーポレーテッド オーディオ処理のためのシステムおよび方法
BRPI0707969B1 (pt) 2006-02-21 2020-01-21 Koninklijke Philips Electonics N V codificador de áudio, decodificador de áudio, método de codificação de áudio, receptor para receber um sinal de áudio, transmissor, método para transmitir um fluxo de dados de saída de áudio, e produto de programa de computador
US7606377B2 (en) 2006-05-12 2009-10-20 Cirrus Logic, Inc. Method and system for surround sound beam-forming using vertically displaced drivers
US8712061B2 (en) 2006-05-17 2014-04-29 Creative Technology Ltd Phase-amplitude 3-D stereo encoder and decoder
US8374365B2 (en) 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
US20080004729A1 (en) 2006-06-30 2008-01-03 Nokia Corporation Direct encoding into a directional audio coding format
KR101368859B1 (ko) 2006-12-27 2014-02-27 삼성전자주식회사 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치
US8270616B2 (en) 2007-02-02 2012-09-18 Logitech Europe S.A. Virtual surround for headphones and earbuds headphone externalization system
JP5285626B2 (ja) 2007-03-01 2013-09-11 ジェリー・マハバブ 音声空間化及び環境シミュレーション
WO2008120933A1 (en) 2007-03-30 2008-10-09 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
US20080273708A1 (en) 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
US8126172B2 (en) 2007-12-06 2012-02-28 Harman International Industries, Incorporated Spatial processing stereo system
WO2009111798A2 (en) 2008-03-07 2009-09-11 Sennheiser Electronic Gmbh & Co. Kg Methods and devices for reproducing surround audio signals
US8023660B2 (en) 2008-09-11 2011-09-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for providing a set of spatial cues on the basis of a microphone signal and apparatus for providing a two-channel audio signal and a set of spatial cues
JP5611970B2 (ja) 2008-11-21 2014-10-22 アウロ テクノロジーズ オーディオ信号を変換するためのコンバータ及び方法
UA101542C2 (ru) 2008-12-15 2013-04-10 Долби Лабораторис Лайсензин Корпорейшн Виртуализатор окружающего звука с динамическим сжатием диапазона и способ
US9173032B2 (en) 2009-05-20 2015-10-27 The United States Of America As Represented By The Secretary Of The Air Force Methods of using head related transfer function (HRTF) enhancement for improved vertical-polar localization in spatial audio systems
US20100303245A1 (en) 2009-05-29 2010-12-02 Stmicroelectronics, Inc. Diffusing acoustical crosstalk
US8442244B1 (en) 2009-08-22 2013-05-14 Marshall Long, Jr. Surround sound system
US9372251B2 (en) 2009-10-05 2016-06-21 Harman International Industries, Incorporated System for spatial extraction of audio signals
US8976972B2 (en) 2009-10-12 2015-03-10 Orange Processing of sound data encoded in a sub-band domain
KR101673232B1 (ko) 2010-03-11 2016-11-07 삼성전자주식회사 수직 방향 가상 채널을 생성하는 장치 및 그 방법
KR20120004909A (ko) 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
CN103329571B (zh) 2011-01-04 2016-08-10 Dts有限责任公司 沉浸式音频呈现系统
RU2595912C2 (ru) 2011-05-26 2016-08-27 Конинклейке Филипс Н.В. Аудиосистема и способ для нее
JP5640911B2 (ja) 2011-06-30 2014-12-17 ヤマハ株式会社 スピーカアレイ装置
EP2560161A1 (en) * 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing
US9179237B2 (en) 2011-12-16 2015-11-03 Bose Corporation Virtual audio system tuning
EP2802161A4 (en) 2012-01-05 2015-12-23 Samsung Electronics Co Ltd METHOD AND DEVICE FOR LOCATING MULTICANALTONE SIGNALS
US20130308800A1 (en) 2012-05-18 2013-11-21 Todd Bacon 3-D Audio Data Manipulation System and Method
WO2013192111A1 (en) 2012-06-19 2013-12-27 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
US9479886B2 (en) 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
EP2939443B1 (en) 2012-12-27 2018-02-14 DTS, Inc. System and method for variable decorrelation of audio signals
TWI635753B (zh) 2013-01-07 2018-09-11 美商杜比實驗室特許公司 使用向上發聲驅動器之用於反射聲音呈現的虛擬高度濾波器
JP2014168228A (ja) 2013-01-30 2014-09-11 Yamaha Corp 放音装置
CN104010265A (zh) 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法
MX2015014065A (es) 2013-04-05 2016-11-25 Thomson Licensing Metodo para manejar campo reverberante para audio inmersivo.
WO2014175591A1 (ko) 2013-04-27 2014-10-30 인텔렉추얼디스커버리 주식회사 오디오 신호처리 방법
EP2830332A3 (en) 2013-07-22 2015-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method, signal processing unit, and computer program for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration
EP2830049A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
EP2928216A1 (en) 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
KR102529121B1 (ko) 2014-03-28 2023-05-04 삼성전자주식회사 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR102302672B1 (ko) * 2014-04-11 2021-09-15 삼성전자주식회사 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
HUE056176T2 (hu) 2015-02-12 2022-02-28 Dolby Laboratories Licensing Corp Fejhallgató virtualizálás
WO2017097324A1 (en) 2015-12-07 2017-06-15 Huawei Technologies Co., Ltd. An audio signal processing apparatus and method
EP3453190A4 (en) 2016-05-06 2020-01-15 DTS, Inc. SYSTEMS FOR IMMERSIVE AUDIO PLAYBACK
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102272840B (zh) * 2009-01-07 2017-02-08 创新科技有限公司 分布式空间音频解码器
US20100303246A1 (en) * 2009-06-01 2010-12-02 Dts, Inc. Virtual audio processing for loudspeaker or headphone playback
WO2013149867A1 (en) * 2012-04-02 2013-10-10 Sonicemotion Ag Method for high quality efficient 3d sound reproduction
US20150131824A1 (en) * 2012-04-02 2015-05-14 Sonicemotion Ag Method for high quality efficient 3d sound reproduction
CN104604257A (zh) * 2012-08-31 2015-05-06 杜比实验室特许公司 用于在各种收听环境中渲染并且回放基于对象的音频的系统
CN104604257B (zh) * 2012-08-31 2016-05-25 杜比实验室特许公司 用于在各种收听环境中渲染并且回放基于对象的音频的系统
US20150350802A1 (en) * 2012-12-04 2015-12-03 Samsung Electronics Co., Ltd. Audio providing apparatus and audio providing method
US20140270185A1 (en) * 2013-03-13 2014-09-18 Dts Llc System and methods for processing stereo audio content
US20160044434A1 (en) * 2013-03-29 2016-02-11 Samsung Electronics Co., Ltd. Audio apparatus and audio providing method thereof
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
EP3125240A1 (en) * 2014-03-24 2017-02-01 Samsung Electronics Co., Ltd. Method and apparatus for rendering acoustic signal, and computer-readable recording medium
EP2930957A1 (en) * 2014-04-07 2015-10-14 Harman Becker Automotive Systems GmbH Sound wave field generation
CN105376691A (zh) * 2014-08-29 2016-03-02 杜比实验室特许公司 感知方向的环绕声播放
CN105992119A (zh) * 2015-02-12 2016-10-05 杜比实验室特许公司 用于耳机虚拟化的混响生成

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019994A (zh) * 2020-08-12 2020-12-01 武汉理工大学 一种基于虚拟扬声器构建车内扩散声场环境的方法及装置

Also Published As

Publication number Publication date
US20180262858A1 (en) 2018-09-13
KR102510726B1 (ko) 2023-03-15
WO2018164750A1 (en) 2018-09-13
CN110651487B (zh) 2022-03-22
JP2020510341A (ja) 2020-04-02
US10979844B2 (en) 2021-04-13
JP7206211B2 (ja) 2023-01-17
EP3593545A4 (en) 2020-12-09
KR20190134655A (ko) 2019-12-04
EP3593545A1 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
CN110651487B (zh) 分布式音频虚拟化系统
US11304020B2 (en) Immersive audio reproduction systems
CN111615834B (zh) 用于虚拟化的音频的甜蜜点适配的方法、系统和装置
US20190349705A9 (en) Graphical user interface to adapt virtualizer sweet spot
WO2022021898A1 (zh) 音频处理方法、装置、系统以及存储介质
KR102656969B1 (ko) 불일치 오디오 비주얼 캡쳐 시스템
CN114424587A (zh) 控制音频数据的呈现
CN114008707A (zh) 适配音频流以进行渲染
US11937069B2 (en) Audio system, audio reproduction apparatus, server apparatus, audio reproduction method, and audio reproduction program
WO2020247033A1 (en) Hybrid spatial audio decoder
KR20220027891A (ko) 앰비소닉스를 위한 전방향성 인코딩 및 디코딩
KR20200054084A (ko) 사운드 생성 방법 및 이를 수행하는 장치들

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40016530

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant