CN105637901A - 空间音频处理系统和方法 - Google Patents

空间音频处理系统和方法 Download PDF

Info

Publication number
CN105637901A
CN105637901A CN201480055214.7A CN201480055214A CN105637901A CN 105637901 A CN105637901 A CN 105637901A CN 201480055214 A CN201480055214 A CN 201480055214A CN 105637901 A CN105637901 A CN 105637901A
Authority
CN
China
Prior art keywords
series
audio
plane
listener
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480055214.7A
Other languages
English (en)
Other versions
CN105637901B (zh
Inventor
D·S·麦克格拉斯
N·C·马里埃特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN105637901A publication Critical patent/CN105637901A/zh
Application granted granted Critical
Publication of CN105637901B publication Critical patent/CN105637901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

空间音频处理系统和方法包括步骤：将一系列虚拟扬声器分成围绕期望的收听者的一系列水平面；渲染音频源到中间空间格式以供在布置在围绕收听者的一系列平面中的每一个中的一系列虚拟扬声器之上回放，该渲染包括：空间化的虚拟音频源到水平面中的每一个水平面的初始平移以便产生平面渲染的音频发射；每个平面渲染的音频发射到每个平面内的一系列虚拟扬声器位置的后续的平移，其中该后续的平移使用一系列平移曲线，这一系列平移曲线被空间平滑成能包括小于音频源的奈奎斯特采样率的空间频率分量。

Description

空间音频处理系统和方法
相关申请的交叉引用
本申请要求2013年10月7日提交的美国临时专利申请No.61/887,905和2014年4月28日提交的美国临时专利申请No.61/985,244的优先权权益，上述每个临时专利申请全部通过引用被并入于此。
技术领域
本发明涉及音频信号处理的领域，并且具体地公开了空间音频渲染(render)和分发的有效形式。
背景技术
在整个说明书中背景技术的任何讨论决不应该被认为是认可这种技术是广泛知道的或形成该领域中的公知常识的一部分。
音频和视觉的体验正变得越来越复杂。具体地，围绕收听者的音频材料的空间化已经发展具有增大水平的复杂度。从历史的单声道、立体声和其它音频系统，技术近来已经看到在制作系统中引入围绕收听者的音频源的几乎全空间化。
图1示意性地示出了一般的视听呈现的创建和回放的简化结构1。初始，内容创建系统被提供给创作者视听呈现2。创作通常包括围绕收听者的多个音频源的空间化和同步。总呈现然后被初始‘渲染’3到包含用于回放给收听者/观看者的音频和视觉信息的一个或更多个文件形式4中。
渲染的文件然后被分发用于在各种媒体渲染环境中回放。遗憾的是，回放环境的基础设施会高度不同。渲染的文件然后通过对应的渲染引擎5被渲染，用于在特殊环境中回放，渲染引擎5输出扬声器和显示器信号，用于通过一系列扬声器6和视觉显示元件7回放，从而重新创建围绕观看者的预期的视听体验。
一种特别的音频空间化系统是DolbyAtmosTM系统，其允许视听体验的音频内容创作者定位围绕收听者的音频源的过剩。通过信号处理单元和音频发射源的音频材料的渲染引擎的后续的渲染允许在围绕收听者的位置中在空间化音频源中重现内容创作者的意图。
收听环境中的围绕收听者放置的实际音频发射源(或扬声器)可以是可变的和依位置而定的。例如，电影院可以包括在不同的相对位置中围绕收听者放置的扬声器的过剩。在家庭环境中，扬声器布置可以是基本上不同的。理想地，创作的内容能够被渲染到可变扬声器阵列使得再现原始内容创作者的意图。
一系列音频源到(诸如DolbyAtmos系统提供的)扬声器阵列的渲染很可能显著地使任何渲染系统的计算资源负重担。
因此一般需要在传递的点处提供简化的音频渲染系统。
发明内容
根据本发明的第一方面，提供有一种渲染围绕期望的收听者的至少一个空间化的虚拟音频源到围绕收听者的一系列中间虚拟扬声器声道(虚拟扬声器)的方法，该方法包括如下的步骤：渲染音频源到中间空间格式以供在布置在围绕收听者的一系列平面中的一系列虚拟扬声器之上回放，其中到每个平面内的虚拟扬声器的渲染使用一系列平移(pan)曲线，这一系列平移曲线空间平滑到满足奈奎斯特采样定理的程度。
一系列平面可至少包括基本上围绕收听者的水平面和空间上在收听者上方的天花板平面。每个平面内的虚拟扬声器可围绕收听者以等距的角间隔布置。虚拟扬声器可与期望的收听者距离相等地布置。
根据本发明的又一方面，提供有一种渲染围绕期望的收听者放置的至少一个空间化的虚拟音频源到围绕期望的收听者的一系列虚拟扬声器的方法，该方法包括如下的步骤：(a)将一系列虚拟扬声器分成围绕期望的收听者的一系列水平面；(b)渲染音频源到中间空间格式以供在布置在围绕收听者的一系列平面中的每一个中的一系列虚拟扬声器之上回放，该渲染包括：(i)空间化的虚拟音频源到水平面中的每一个水平面的初始平移以便产生平面渲染的音频发射；(ii)每个平面渲染的音频发射到每个平面内的一系列虚拟扬声器位置的后续的平移，其中该后续的平移使用一系列平移曲线，这一系列平移曲线被空间平滑成包括小于音频源的奈奎斯特采样率的空间频率分量。
初始平移可包括一系列水平面之间的分立的平移。
根据本发明的又一方面，提供有一种回放中间空间格式信号的方法，信号被分成限定多个收听平面的第一系列声道，每个收听平面包括围绕平面间隔的一系列虚拟音频源，该方法包括如下步骤：将每个平面内的扬声器音频源的位置重新映射以便映射扬声器的期望输出布置。
根据本发明的又一方面，提供有一种回放编码的音频比特流的方法，所述比特流包括用于在围绕收听者在一系列平面中布置的一系列虚拟扬声器之上回放的中间空间格式的编码，其中每个平面内的虚拟扬声器具有使用一系列平移曲线形成的虚拟扬声器比特流，这一系列平移曲线已经空间平滑到满足奈奎斯特采样定理的程度，该方法包括如下步骤：(a)将比特流解码成第一系列声道，其中每个声道限定多个收听平面；并且在每个平面内，限定一系列对应虚拟扬声器信号；(b)利用虚拟扬声器信号的加权和混合虚拟扬声器信号以便产生一组重新映射的扬声器信号，这一组重新映射的扬声器信号对应于一系列实际扬声器的输出位置；以及(c)输出实际扬声器信号到对应的一系列实际扬声器。
附图说明
现在将通过仅示例的方式参考附图描述本发明的实施例，在附图中：
图1示意性地示出了视听体验的创作和回放的过程；
图2示意性地示出了音频对象平移器，其利用对象位置和扬声器位置；
图3示意性地示出了空间平移器的操作，编码器给定关于扬声器高度的信息；
图4示出了构成示例堆叠环格式平移空间的4个层；
图5示出了沿逆时钟方向的顺序布置的标称扬声器的4个环；
图6示出了扬声器的弧，音频对象平移到角度φ；
图7示出了用于对象的平移曲线，该对象具有穿过扬声器A、B和C的轨迹；
图8示出了用于可重新利用的扬声器阵列的平移曲线；
图9示出了用于将堆叠环格式作为分离的环解码的解码器；
图10示出了用于解码其中不存在顶点扬声器的堆叠环格式的解码器；
图11示出了用于解码其中顶点扬声器或天花板扬声器不可用的堆叠环格式的解码器。
具体实施方式
所描述的实施例提供将音频对象重新映射到虚拟扬声器阵列的方法。
现在转到图2，示出了音频对象平移器20。音频对象平移器20将空间化的音频对象平移到音频环境中的围绕收听者放置的一系列扬声器。以单个对象为例，对象数据信息是输入21，其是在预定时变位置XYZi(t)处的单声道的对象(例如对象i)，其被平移到N个输出扬声器，由此平移增益根据扬声器位置(x1,y1,z1),...,(xN,yN,zN)和对象位置XYZi(t)被确定。这些增益值可以随时间连续地改变，这是因为对象位置也可以是时变的。因此音频对象平移器要求相当大的计算资源来执行其功能。
所描述的实施例提供中间空间格式结构，其减少对象平移所需的计算资源而同时仍然保留多个扬声器环境之上的回放能力。
在图3中示出了所描述的实施例的操作方面30。实施例使用中间空间格式，其将平移操作分成两个部分31、32。第一部分(被称为空间平移器31)是时变的并且利用对象位置33。第二部分(扬声器解码器32)利用固定矩阵解码并且基于定制的扬声器位置34被配置。在这两个处理块之间，音频对象场景被表示为K声道中间空间格式(ISF)35。多个音频对象(1<＝i<＝Ni)可以通过各个空间平移器处理，空间平移器的输出被加总在一起来形成ISF信号35，使得一个K声道ISF信号集合可以包含Ni个对象的叠加。
空间平移器31不被给予关于回放扬声器的位置的详细信息。然而，假设是由被限制在多个水平或层的一系列的‘虚拟扬声器’的位置以及在每个水平或层内的近似分布构成的。
虽然空间平移器不被给予关于回放扬声器的位置的详细信息，但是经常会存在一些合理的假设，这些假设可以关于可能的扬声器数量和可能的那些扬声器的分布被做出。
结果得到的回放体验的质量(即它如何密切地匹配图2的音频对象平移器)可以或者通过增加ISF中的声道的数量K或者通过收集更多的关于最可能的回放扬声器布置的知识而改善。特别地，在一实施例中，扬声器仰角被分成多个平面。
期望的合成声场可以被认为是从围绕收听者的任意的方向发出的一系列声音事件。声音事件的位置可以被认为被限定在收听者在中心处的球体的表面上。声场格式(诸如高阶立体混响声)以使得允许声场进一步渲染在(几乎是)任意的扬声器阵列之上的方式被限定。然而，预计的典型的回放系统很可能在扬声器的仰角被固定在3个平面(耳朵高度平面、天花板平面和地板平面)中的意义上被约束。因此，理想球面声场的概念可以被修改，其中声场由位于围绕收听者的球形的表面上的各种高度处的环中的声音对象构成。
例如，在图4中示出了环的一个这种布置40，具有顶点环41、上层环42、中间层环43和下环44。如果必要的话，出于完整的目的，还可以包括在球形的底部处的附加环(Nadir，其也是点，严格来说不是环)。此外，在其它实施例中可以存在额外的或更少数量的环。
图5示出了以堆叠环格式具有四个环51-54的一种形式的扬声器布置50。该布置被表示为：BH9.5.0.1，其中四个数字表示分别在中间、上、下和顶点环中的扬声器声道的数量。多声道束中的声道的总数将等于这四个数字的和(因此BH9.5.0.1格式包含15个声道)。
利用全部四个环的另一示例格式是BH15.9.5.1。对于这个格式，声道命名和顺序将如下：[M1,M2,...M15,U1,U2...U9,L1,L2,...L5,Z1]，其中声道被布置在环中(按M、U、L、Z顺序)，并且在每个环内它们按基本升序简单地编号。因此，每个环可以被认为被围绕环均匀地展开的一组标称扬声器声道填充。因此，每个环中的声道对应于特定的解码角度，从将对应于0o方位角(正前方)的声道1开始并且沿逆时钟方向的顺序计数(因此声道2将是中心的左边，从收听者的观点)。因此，声道n的方位角为：(n-1)/Nx360°(其中N是该环中的声道的数量，并且n在从1到N的范围中)。
输出虚拟扬声器信号可以被称为“标称扬声器信号”，这是因为它们看起来像指定被解码到特别的扬声器布置的信号，但是它们也可以在扬声器解码器中重新利用到可替代的扬声器布局。
本领域技术人员将理解，在可替代的实施例中，一层中的虚拟扬声器声道可以通过可逆的矩阵运算变换成多个‘替代的’音频声道，使得原始的虚拟扬声器声道可以通过逆矩阵映射而从‘替代的’声道恢复。在本领域中已知一个这种‘替代的’声道格式为B格式(更具体地，水平B格式)。在本说明书中，对于多组虚拟扬声器的期望的特性的许多提及会相同地应用于B格式信号。
因此中间扬声器格式可以通过下面的特征表征：
1)使用2个或更多个环来编码空间音频场景，其中不同的环表示声场的不同的空间分离的分量；其中根据可重新利用的平移曲线，音频对象在环内平移，并且使用不可重新利用的平移曲线(下面定义这些术语)在环之间平移音频对象；
2)其中基于它们的纵轴分离“不同空间分离的分量”(即作为垂直堆叠的环)。
3)提供以中间虚拟扬声器声道的形式的在每个环内的声场元素的发送，或以空间频率分量(诸如B格式信号)的形式的在每个环内的声场元素的发送；
5)通过将表示环的片段的预计算的子矩阵缝合在一起，对于每个环产生解码矩阵；
6)故意是‘稀疏’的预计算的子矩阵，以避免LF构建问题；
7)如果在第一环中不存在扬声器，则将声音从一个环重新定向到另一环；
实施例依赖‘可重新利用的’和‘不可重新利用的’扬声器平移的方面。回放阵列中的每个扬声器的位置可以根据如下表示：(x,y,z)坐标(这是每个扬声器相对于接近阵列的中心的候选收听位置的位置)。此外，(x,y,z)向量可以转换为单位向量，以便将每个扬声器位置有效地投影到单位球体的表面上：
扬声器位置:
扬声器单位向量:
参考图6，考虑其中音频对象62被顺序地平移通过多个扬声器(例如63，64)(其中收听者61意图体验移动通过依次穿过每个扬声器的轨迹的音频对象62的错觉)的情形，不失一般性，可以假设这些扬声器的单位向量沿着水平面中的环布置，使得音频对象的位置可以被定义为其方位角φ的函数。在图6的布置中，音频对象62角度φ穿过扬声器A、B和C(其中这些扬声器分别以方位角φA、φB和φC定位)。
音频对象平移器(诸如图2中示出的)将使用作为角度φ的函数的扬声器增益典型地平移音频对象到每个扬声器。图7示出了可以由音频对象平移器使用的典型的平移曲线，例如71。图7所示出的平移曲线具有这样的特性：当音频对象被平移到与物理扬声器位置重合的位置时，重合的扬声器被用来排除全部其它扬声器，并且当音频对象被平移到位于两个扬声器位置之间的角度φ时，只有这两个扬声器是有效的，因此提供扬声器阵列之上的音频信号的‘扩展’的最小量。图7所示出的平移曲线的这些特性暗示平移曲线表现出高水平的‘分立性’。在该上下文中，‘分立性’指的是约束在一个扬声器和其最近邻之间的区域中的平移曲线能量的部分。因此，对于扬声器B：
分立性:
因此，dB≤1。当dB＝1时，对于扬声器B的平移曲线仅在φA和φC(分别为扬声器A和C的角位置)之间的区域中被全部约束(空间地)到非零。
相反，在图8中示出可替代的一组平移曲线80。这些平移曲线不表现出上面描述的‘分立性’特性(即dB≤1)，但是它们表现出一个重要的特性：平移曲线是空间地平滑的，使得它们被约束在空间频率中，从而满足奈奎斯特采样定理。
例如，每个平移曲线(诸如图8中的81)可以被认为通过具有F项(在该示例中F＝9)的傅里叶级数来形成：
gainA(φ)＝c0+c1*cos(φ)+s1*sin(φ)+c2*cos(2*φ)+s2*sin(2*φ)+c3*cos(3*φ)+s3*sin(3*φ)+c4*cos(4*φ)+s4*sin(4*φ)
这可以由N个信号形式的对于环的音频表示。如果虚拟扬声器的数量N大于或等于频率分量的数量F，那么满足奈奎斯特采样定理，这是因为一组N个扬声器将形成环周围的音频的完整的空间采样。
空间带受限的任何平移曲线不能在其空间支撑中是紧凑的。换句话说，这些平移曲线将伸展开宽的角度范围，如可以在图8中的曲线例如81的‘阻带波纹’例如82中看到的。这个术语借用滤波器设计理论，其中术语‘阻带波纹’指的是在其中增益预期掉至零的滤波操作的区域中(不期望的)非零的增益。在这种情况下，术语‘阻带波纹’指的是在其中图7的‘理想’曲线掉至零的角度区域72中图8的平移曲线中发生的(不期望的)非零的增益82。通过满足奈奎斯特采样准则，这些平移曲线(例如81)遭受更少‘分立’(换句话说，它们比图7的‘理想’曲线伸展开更多)。
然而，由于使用这些曲线存在一个重要的好处。通过适当地‘奈奎斯特采样’，这些平移曲线可以移到可替代扬声器位置。这意味着已经对于(均匀地间隔排列在圆圈中的)N个扬声器的特别布置产生的一组扬声器信号可以(通过N×N矩阵)被再混合到在不同角度位置处的可替代的一组N个扬声器(即扬声器阵列可以被旋转到新的一组角度的扬声器位置，并且可以将原始的N个扬声器信号重新利用到该新的一组N个扬声器)。
通常，这个‘可重新利用性’特性允许通过S×N矩阵将N个扬声器信号重新映射到S个扬声器，假设对于其中S>N的情况，新的扬声器馈送不会再像原始的N个声道那样‘分立’。
这把我们引到下面的定义：可重新利用的平移曲线：被奈奎斯特采样，从而允许在后续处理阶段处目标针对可替代扬声器布置的平移曲线；不可重新利用的平移曲线：针对分立性优化的但是不能毫不损失分立性地可重新利用到可替代扬声器布局的平移曲线。中 间虚拟扬声器声道(虚拟扬声器)：根据可重新利用的平移曲线产生的扬声器信号。
所描述的实施例利用如下系统，其中已知扬声器布局，则不可重新利用的平移曲线能够被用来提供更好(更分立)的终端用户收听体验，否则使用可重新利用的平移曲线。
所描述的实施例提供堆叠环中间空间格式，其通过下面的步骤根据其(时变的)(x，y，z)位置表示每个对象：
1、对象i位于(xi，yi，zi)处，并且这个位置被假定位于立方体内(因此|xi|≤1，|yi|≤1并且|zi|≤1)，或位于单位球体内(xi 2+yi 2+zi 2<＝1)。
2、垂直位置(zi)被用来根据不可重新利用的平移曲线将用于对象i的音频信号平移到多个(R)空间区域中的每一个。
3、每个空间区域(即，区域r:1≤r≤R)(按照图4，其表示位于空间的环形区域内的音频分量)以Nr个标称扬声器信号的形式表示，使用作为对象i的方位角度(φi)的函数的可重新利用的平移曲线产生。对于零尺寸环(按照图4，顶点环)的特殊情况，上面步骤3被简化，因为该环将至多包含一个声道。
这些步骤可以被执行作为空间化的音频信号到中间空间格式的初步渲染。
解码堆叠环中间空间格式
对于堆叠环ISF格式的解码处理可以操作作为矩阵混合器，因此每个扬声器馈送由ISF信号的加权和组成。例如，BH9.5.0.0格式经由下面的矩阵混合器被解码到N个扬声器：
在实践中，可以将扬声器约束到位于若干平面中的一个中。例如，如果第一NM个扬声器位于中间(耳朵水平)平面，并且其它N-NM个扬声器位于天花板平面周围，矩阵变得更稀疏。下面矩阵示出其中堆叠环格式由仅2个环构成，并且全部扬声器位于对应于那两个环的2个水平面中的情况：
图9示出其中顶点环也存在于堆叠环ISF格式(BH9.5.0.1)中并且顶点扬声器被包括在回放扬声器阵列中的解码器结构的示例。顶点数据经过91直接到输出扬声器。顶点位置可以被认为是仅由一个扬声器位置构成的特殊种类的‘扬声器平面’。天花板和中间水平扬声器被分别进给到矩阵混合解码器92、93。
图9中示出的处理元件是线性矩阵混合器，其中在该示例中矩阵的名字被定义为：DU,5,NU是NU×5的矩阵，其将来自ISF信号的上环的5个声道解码到NU个输出扬声器。
如果缺少顶点扬声器，则ISF信号的Z1声道必须被‘解码’到其它(非顶点)天花板扬声器。在图10中示出了这种布置100，其中顶点信号被解码101成Nu个输出信号102，该输出信号102被增加103到来自天花板解码器104的输出。
在图11中示出的另一个例子中，如果回放扬声器阵列不包含天花板上的扬声器，则所有声道可以被混合112到中间层扬声器中。
可以看出，所描述的实施例允许音频渲染处理分离成两个不同分量。最初，空间化的音频输入源可以被渲染成具有一系列预定扬声器平面的中间空间化格式，其中每个平面具有虚拟扬声器布局。随后，可以利用用于输出扬声器阵列的定制可变形式的分离的解码单元对中间空间化格式进行解码。解码单元可以被并入DSP类型环境中并且与全空间化的音频源解码器相比具有减少的计算需求，同时仍然维持空间化的音频源的感知。
中间空间格式一般在方位角中可重新利用并且在仰角中不可重新利用。
中间空间格式还具有另一优点，在于它适合于用在回声抵消系统中。在动态的音频对象的全空间化(例如图2)的情况下，存在回声抵消系统不能对音频源进行操作的困难。然而，中间空间格式提供空间音频源的虚拟化的扬声器渲染。虚拟化的扬声器渲染产生以线性时间不变方式解码到回放扬声器的虚拟扬声器信号。因而，然后信号可以被进给到回声抵消器作为一系列的虚拟扬声器输出并且回声抵消器可以基于虚拟扬声器输出进行回声抵消操作。
解释
在整个本说明书中提及“一个实施例”、“一些实施例”或者“实施例”意指，与实施例结合描述的特定的特征、结构或者特性被包括在本发明的至少一个实施例内。因此，在整个本说明书中的各个地方中的短语“在一个实施例中”、“在一些实施例中”或者“在实施例中”的出现不一定都指的是同一个实施例，但是可能指的是同一个实施例。此外，如本领域技术人员根据本公开会清楚的，可以在一个或更多个实施例中以任何合适的方式结合特定的特征、结构或者特性。
除非另有规定，如本文中使用的，用于描述共同的对象的顺序形容词“第一”、“第二”、“第三”等的使用仅仅指示正在提及相似的对象的不同的例子，并且不意图暗示如此描述的对象必须时间地、空间地、分等级地或者以任何其它方式具有给出的序列。
在下面的权利要求以及本申请中的说明中，术语“包括”、“由...组成”或者“其包括”中的任一个是开放术语，其意指至少包括随后的元件/特征，但不排除其它。因此，在权利要求中使用时，术语“包括”不应该被解释为限制其后列出的部件或者元件或者步骤。例如，表述“装置包括A和B”的范围不应该被限于仅由元件A和B组成的装置。如本文中使用的术语“包含”或者“其包含”或者“包含……的”中的任一个也是开放术语，其也意指至少包含该术语之后的元件/特征，但不排除其它。因此，“包含”和“包括”同义并且意指“包括”。
如在此使用的，在提供示例而不是表示质量的意义上使用术语“示例性”。也就是说，“示例性实施例”是作为示例提供的实施例，而不是必然是示例性的质量的实施例。
应当明白，在本发明的示例实施例的上述描述中，出于使本公开简单化并且帮助理解各个有独创性的方面中的一个或更多个的目的，本发明的各个特征有时被集合在一起在单个实施例、图或者其说明中。然而，公开的此方法不被解释为反映所要求保护的发明需要比每个权利要求中明确叙述的特征更多的特征的意图。相反，如下面的权利要求反映的，有独创性的方面依赖于小于单个在前公开的实施例的所有特征。因此，具体实施方式之后的权利要求由此被明确地并入本具体实施方式中，每个权利要求自身保持为单独的本发明的实施例。
此外，虽然在本申请中描述的一些实施例包括包含在其它实施例内的一些特征但不包括其它特征，但是不同的实施例的特征的组合意图在本发明范围内，并且形成不同的实施例，如本领域技术人员会理解的。例如，在下面权利要求中，能以任何组合来使用任何要求保护的实施例。
此外，在本申请中描述一些实施例作为能由计算机系统的处理器或者由实现功能的其它部件实现的方法或者方法的要素的组合。因此，具有用于实现这种方法或者方法的要素的必需的指令的处理器形成用于实现方法或者方法的要素的部件。此外，在本申请中描述的设备实施例的元件是用于实现由出于实现本发明的目的的元件执行的功能的部件的示例。
在本申请中提供的说明中，陈述了多个的具体细节。然而，应当理解本发明的实施例可以在没有这些具体细节的情况下被实践。在其它例子中，为了不模糊对该说明的理解，没有详细示出公知的方法、结构和技术。
类似地，要注意，在权利要求中使用时，术语“耦接”不应该被解释为限制为仅仅直接连接。可以使用术语“耦接”和“连接”及其派生词。应当理解这些术语不意图作为彼此同义词。因此，表述“装置A耦接到装置B”的范围不应该限于其中装置A的输出直接连接到装置B的输入的装置或者系统。这意指在A的输出和B的输入之间存在可以是包含其它装置或者部件的路径的路径。“耦接”可以意指两个或更多个元件直接物理或者电接触，或者两个或更多个元件不彼此直接接触但仍然合作或者彼此相互作用。
因此，虽然已经描述了被认为是本发明的优选实施例的实施例，但是本领域技术人员将认识到在不脱离本发明的精神的情况下可以对其进行其它和进一步修改，并且意图要求保护如落入本发明的范围内的所有这样的改变和修改。例如，上面给出的任何公式仅仅代表可以使用的过程。可以在框图中添加或者从框图中删除功能，并且可以在功能块之间交换操作。可以在本发明范围内对描述的方法添加或者删除步骤。

Claims (15)

1.一种将围绕期望的收听者放置的至少一个空间化的虚拟音频源渲染到围绕所述期望的收听者的一系列虚拟扬声器的方法，该方法包括如下的步骤：
(a)将一系列虚拟扬声器分成围绕期望的收听者的一系列水平面；
(b)将音频源渲染到中间空间格式以供在布置在围绕收听者的一系列平面中的每一个中的一系列虚拟扬声器之上回放，该渲染包括：
(i)空间化的虚拟音频源到水平面中的每一个水平面的初始平移以便产生平面渲染的音频发射；
(ii)每个平面渲染的音频发射到每个平面内的一系列期望扬声器位置的后续的平移，其中该后续的平移使用一系列平移曲线，这一系列平移曲线是根据小于或等于虚拟扬声器的数量的一组空间频率分量构造的。
2.根据权利要求1所述的方法，其中初始平移包括所述一系列水平面之间的分立的平移。
3.根据权利要求1-2中的任一个所述的方法，其中音频源包括至少一个音频对象和描述至少一个音频对象的位置的元数据。
4.根据权利要求1-3中的任一个所述的方法，其中音频源包括多个音频对象并且这多个音频对象被加总在一起以便产生中间空间格式。
5.根据权利要求1-4中的任一个所述的方法，其中中间空间格式包含K个声道并且这K个声道中的至少一个声道表示音频对象的叠加。
6.根据权利要求1-5中的任一个所述的方法，其中一系列水平面表示其中高度扬声器很可能被定位的分立的水平面。
7.根据权利要求1-6中的任一个所述的方法，其中一系列水平面包括至少两个平面，其中所述至少两个平面中的至少一个基本上围绕收听者并且所述至少两个平面中的另一个是空间上在收听者上方的天花板平面。
8.根据权利要求1-7中的任一个所述的方法，其中一系列水平面基本上彼此平行。
9.一种将围绕期望的收听者的至少一个空间化的虚拟音频源渲染到围绕所述期望的收听者的一系列虚拟扬声器的方法，该方法包括如下的步骤：
将音频源渲染到中间空间格式以供在布置在围绕收听者的一系列平面中的一系列虚拟扬声器之上回放，其中到每个平面内的虚拟扬声器的渲染使用一系列平移曲线，这一系列平移曲线被空间平滑到满足奈奎斯特采样定理的程度。
10.根据权利要求9所述的方法，其中一系列平面至少包括基本上围绕收听者的水平面和空间上在收听者上方的天花板平面。
11.根据权利要求9-10中的任一个所述的方法，其中每个平面内的扬声器围绕收听者以等距的角间隔布置。
12.根据权利要求9-11中的任一个所述的方法，其中期望的扬声器与期望的收听者距离相等地布置。
13.一种回放编码的音频比特流的方法，所述比特流包括供在围绕收听者的一系列平面中布置的一系列虚拟扬声器之上回放的中间空间格式的编码，其中每个平面内的虚拟扬声器具有使用一系列平移曲线形成的虚拟扬声器比特流，这一系列平移曲线已经被空间平滑到满足奈奎斯特采样定理的程度，该方法包括如下步骤：
(a)将比特流解码成第一系列声道，其中每个声道限定多个收听平面；并且在每个平面内，限定一系列对应虚拟扬声器信号；
(b)利用虚拟扬声器信号的加权和混合虚拟扬声器信号以便产生一组重新映射的扬声器信号，这一组重新映射的扬声器信号对应于一系列实际扬声器的输出位置；以及
(c)输出实际扬声器信号到对应的一系列实际扬声器。
14.根据权利要求13所述的方法，其中所述步骤(a)还包括以下步骤：
将至少一个相邻平面的虚拟扬声器信号合并到单个平面的虚拟扬声器信号中。
15.一种非暂时性的计算机可读介质，包含在由处理器运行时执行权利要求1-14的方法中的任一个的步骤的指令。
CN201480055214.7A 2013-10-07 2014-10-02 空间音频处理系统和方法 Active CN105637901B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361887905P 2013-10-07 2013-10-07
US61/887,905 2013-10-07
US201461985244P 2014-04-28 2014-04-28
US61/985,244 2014-04-28
PCT/US2014/058907 WO2015054033A2 (en) 2013-10-07 2014-10-02 Spatial audio processing system and method

Publications (2)

Publication Number Publication Date
CN105637901A true CN105637901A (zh) 2016-06-01
CN105637901B CN105637901B (zh) 2018-01-23

Family

ID=51845505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480055214.7A Active CN105637901B (zh) 2013-10-07 2014-10-02 空间音频处理系统和方法

Country Status (6)

Country Link
US (1) US9807538B2 (zh)
EP (1) EP3056025B1 (zh)
JP (1) JP6412931B2 (zh)
CN (1) CN105637901B (zh)
HK (1) HK1222755A1 (zh)
WO (1) WO2015054033A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109511051A (zh) * 2017-09-15 2019-03-22 宏达国际电子股份有限公司 声音再现方法及声音再现装置
CN109691141A (zh) * 2016-09-14 2019-04-26 奇跃公司 具有空间化音频的虚拟现实、增强现实和混合现实系统
CN110771181A (zh) * 2017-05-15 2020-02-07 杜比实验室特许公司 用于将空间音频格式转换为扬声器信号的方法、系统和设备
CN113923583A (zh) * 2017-01-27 2022-01-11 奥罗技术公司 用于平移音频对象的处理方法和系统
CN114208209A (zh) * 2019-07-30 2022-03-18 杜比实验室特许公司 适应性空间音频回放
WO2022110722A1 (zh) * 2020-11-30 2022-06-02 华为技术有限公司 一种音频编解码方法和装置
CN114827884A (zh) * 2022-03-30 2022-07-29 华南理工大学 空间环绕声的水平面扬声器布置重放方法、系统及介质
WO2022184097A1 (zh) * 2021-03-05 2022-09-09 华为技术有限公司 虚拟扬声器集合确定方法和装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2943670C (en) * 2014-03-24 2021-02-02 Samsung Electronics Co., Ltd. Method and apparatus for rendering acoustic signal, and computer-readable recording medium
KR20160122029A (ko) * 2015-04-13 2016-10-21 삼성전자주식회사 스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
US10334387B2 (en) 2015-06-25 2019-06-25 Dolby Laboratories Licensing Corporation Audio panning transformation system and method
US9949052B2 (en) 2016-03-22 2018-04-17 Dolby Laboratories Licensing Corporation Adaptive panner of audio objects
US10861467B2 (en) 2017-03-01 2020-12-08 Dolby Laboratories Licensing Corporation Audio processing in adaptive intermediate spatial format
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
US10524078B2 (en) * 2017-11-29 2019-12-31 Boomcloud 360, Inc. Crosstalk cancellation b-chain
JP6959134B2 (ja) * 2017-12-28 2021-11-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ エリア再生方法、エリア再生プログラム及びエリア再生システム
EP3740950B8 (en) 2018-01-18 2022-05-18 Dolby Laboratories Licensing Corporation Methods and devices for coding soundfield representation signals
EP3518556A1 (en) * 2018-01-24 2019-07-31 L-Acoustics UK Limited Method and system for applying time-based effects in a multi-channel audio reproduction system
US11246001B2 (en) 2020-04-23 2022-02-08 Thx Ltd. Acoustic crosstalk cancellation and virtual speakers techniques

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020172370A1 (en) * 2001-05-15 2002-11-21 Akitaka Ito Surround sound field reproduction system and surround sound field reproduction method
CN1826838A (zh) * 2003-06-24 2006-08-30 弗兰霍菲尔运输应用研究公司 用于驱动扬声器阵列的波场合成装置和方法
CN101669167A (zh) * 2007-03-21 2010-03-10 弗劳恩霍夫应用研究促进协会 用于在多声道音频格式之间进行转换的方法和设备
CN101874414A (zh) * 2007-10-30 2010-10-27 索尼克埃莫申股份公司 改善最佳收听区域内的声场渲染精度的方法和设备
CN102326417A (zh) * 2008-12-30 2012-01-18 庞培法布拉大学巴塞隆纳媒体基金会 三维声场编码及优化重建的方法及装置
CN102440003A (zh) * 2008-10-20 2012-05-02 吉诺迪奥公司 音频空间化和环境仿真
CN102726066A (zh) * 2010-02-02 2012-10-10 皇家飞利浦电子股份有限公司 空间声音再现
WO2013006330A2 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and tools for enhanced 3d audio authoring and rendering
WO2013068402A1 (en) * 2011-11-10 2013-05-16 Sonicemotion Ag Method for practical implementations of sound field reproduction based on surface integrals in three dimensions
WO2013108200A1 (en) * 2012-01-19 2013-07-25 Koninklijke Philips N.V. Spatial audio rendering and encoding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2847376B1 (fr) 2002-11-19 2005-02-04 France Telecom Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede
AU2007207861B2 (en) * 2006-01-19 2011-06-09 Blackmagic Design Pty Ltd Three-dimensional acoustic panning device
JP5010185B2 (ja) * 2006-06-08 2012-08-29 日本放送協会 ３次元音響パンニング装置
EP2070390B1 (en) * 2006-09-25 2011-01-12 Dolby Laboratories Licensing Corporation Improved spatial resolution of the sound field for multi-channel audio playback systems by deriving signals with high order angular terms
DE102006053919A1 (de) * 2006-10-11 2008-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer Anzahl von Lautsprechersignalen für ein Lautsprecher-Array, das einen Wiedergaberaum definiert
CN101960866B (zh) * 2007-03-01 2013-09-25 杰里·马哈布比 音频空间化及环境模拟
JP2010252220A (ja) * 2009-04-20 2010-11-04 Nippon Hoso Kyokai <Nhk> ３次元音響パンニング装置およびそのプログラム
EP2309781A3 (en) 2009-09-23 2013-12-18 Iosono GmbH Apparatus and method for calculating filter coefficients for a predefined loudspeaker arrangement
EP2497279B1 (en) 2009-11-04 2018-11-21 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for calculating driving coefficients for loudspeakers of a loudspeaker arrangement based on an audio signal associated with a virtual source
ES2922639T3 (es) 2010-08-27 2022-09-19 Sennheiser Electronic Gmbh & Co Kg Método y dispositivo para la reproducción mejorada de campo sonoro de señales de entrada de audio codificadas espacialmente
WO2013149867A1 (en) 2012-04-02 2013-10-10 Sonicemotion Ag Method for high quality efficient 3d sound reproduction
US9736609B2 (en) * 2013-02-07 2017-08-15 Qualcomm Incorporated Determining renderers for spherical harmonic coefficients
RS1332U (en) 2013-04-24 2013-08-30 Tomislav Stanojević FULL SOUND ENVIRONMENT SYSTEM WITH FLOOR SPEAKERS

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020172370A1 (en) * 2001-05-15 2002-11-21 Akitaka Ito Surround sound field reproduction system and surround sound field reproduction method
CN1826838A (zh) * 2003-06-24 2006-08-30 弗兰霍菲尔运输应用研究公司 用于驱动扬声器阵列的波场合成装置和方法
CN101669167A (zh) * 2007-03-21 2010-03-10 弗劳恩霍夫应用研究促进协会 用于在多声道音频格式之间进行转换的方法和设备
CN101874414A (zh) * 2007-10-30 2010-10-27 索尼克埃莫申股份公司 改善最佳收听区域内的声场渲染精度的方法和设备
CN102440003A (zh) * 2008-10-20 2012-05-02 吉诺迪奥公司 音频空间化和环境仿真
CN102326417A (zh) * 2008-12-30 2012-01-18 庞培法布拉大学巴塞隆纳媒体基金会 三维声场编码及优化重建的方法及装置
CN102726066A (zh) * 2010-02-02 2012-10-10 皇家飞利浦电子股份有限公司 空间声音再现
WO2013006330A2 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and tools for enhanced 3d audio authoring and rendering
WO2013068402A1 (en) * 2011-11-10 2013-05-16 Sonicemotion Ag Method for practical implementations of sound field reproduction based on surface integrals in three dimensions
WO2013108200A1 (en) * 2012-01-19 2013-07-25 Koninklijke Philips N.V. Spatial audio rendering and encoding

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114885274A (zh) * 2016-09-14 2022-08-09 奇跃公司 空间化音频系统以及渲染空间化音频的方法
CN109691141A (zh) * 2016-09-14 2019-04-26 奇跃公司 具有空间化音频的虚拟现实、增强现实和混合现实系统
CN109691141B (zh) * 2016-09-14 2022-04-29 奇跃公司 空间化音频系统以及渲染空间化音频的方法
CN114885274B (zh) * 2016-09-14 2023-05-16 奇跃公司 空间化音频系统以及渲染空间化音频的方法
CN113923583A (zh) * 2017-01-27 2022-01-11 奥罗技术公司 用于平移音频对象的处理方法和系统
CN110771181A (zh) * 2017-05-15 2020-02-07 杜比实验室特许公司 用于将空间音频格式转换为扬声器信号的方法、系统和设备
CN110771181B (zh) * 2017-05-15 2021-09-28 杜比实验室特许公司 用于将空间音频格式转换为扬声器信号的方法、系统和设备
US11277705B2 (en) 2017-05-15 2022-03-15 Dolby Laboratories Licensing Corporation Methods, systems and apparatus for conversion of spatial audio format(s) to speaker signals
CN109511051A (zh) * 2017-09-15 2019-03-22 宏达国际电子股份有限公司 声音再现方法及声音再现装置
CN114208209A (zh) * 2019-07-30 2022-03-18 杜比实验室特许公司 适应性空间音频回放
CN114208209B (zh) * 2019-07-30 2023-10-31 杜比实验室特许公司 音频处理系统、方法和介质
WO2022110722A1 (zh) * 2020-11-30 2022-06-02 华为技术有限公司 一种音频编解码方法和装置
WO2022184097A1 (zh) * 2021-03-05 2022-09-09 华为技术有限公司 虚拟扬声器集合确定方法和装置
CN114827884A (zh) * 2022-03-30 2022-07-29 华南理工大学 空间环绕声的水平面扬声器布置重放方法、系统及介质

Also Published As

Publication number Publication date
CN105637901B (zh) 2018-01-23
US9807538B2 (en) 2017-10-31
WO2015054033A2 (en) 2015-04-16
EP3056025B1 (en) 2018-04-25
HK1222755A1 (zh) 2017-07-07
EP3056025A2 (en) 2016-08-17
JP2016536857A (ja) 2016-11-24
WO2015054033A3 (en) 2015-06-04
JP6412931B2 (ja) 2018-10-24
US20160255454A1 (en) 2016-09-01

Similar Documents

Publication Publication Date Title
CN105637901A (zh) 空间音频处理系统和方法
US11190893B2 (en) Methods and systems for rendering audio based on priority
JP6804495B2 (ja) 空間的に拡散したまたは大きなオーディオ・オブジェクトの処理
US11722833B2 (en) Systems and methods for spatial audio rendering
JP5897778B1 (ja) 見かけのサイズをもつオーディオ・オブジェクトの任意のラウドスピーカー・レイアウトへのレンダリング
EP3123747B1 (en) Apparatus and method for audio rendering employing a geometric distance definition
CN107533843A (zh) 用于捕获、编码、分布和解码沉浸式音频的系统和方法
CN106961645B (zh) 音频再生装置以及方法
JP2016518067A (ja) 没入型オーディオの残響音場を管理する方法
CN104541524A (zh) 一种用于处理音频信号的方法和设备
CN107980225A (zh) 使用驱动信号驱动扬声器阵列的装置和方法
Jot et al. Beyond surround sound-creation, coding and reproduction of 3-D audio soundtracks
CN106105270A (zh) 用于处理音频信号的系统和方法
CN102883246A (zh) 一种三维多声道音频系统扬声器组精简布设方法
Jot et al. Binaural simulation of complex acoustic scenes for interactive audio
CN110782865B (zh) 一种三维声音创作交互式系统
Melchior et al. Spatial audio authoring for Ambisonics reproduction
Olaiz et al. 3D Audio with CLAM and Blender’s Game Engine
Series Audio Definition Model renderer for advanced sound systems
Morrell et al. Two-Dimensional Hybrid Spatial Audio Systems with User Variable Controls of Sound Source Attributes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1222755

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant