CN108777837B - 用于音频信号解码的方法和装置 - Google Patents
用于音频信号解码的方法和装置 Download PDFInfo
- Publication number
- CN108777837B CN108777837B CN201810453106.5A CN201810453106A CN108777837B CN 108777837 B CN108777837 B CN 108777837B CN 201810453106 A CN201810453106 A CN 201810453106A CN 108777837 B CN108777837 B CN 108777837B
- Authority
- CN
- China
- Prior art keywords
- positions
- decoding
- matrix
- speaker
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000005236 sound signal Effects 0.000 title claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims abstract description 146
- 238000009877 rendering Methods 0.000 claims description 36
- 238000013461 design Methods 0.000 description 13
- 238000010606 normalization Methods 0.000 description 9
- 230000001419 dependent effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000002238 attenuated effect Effects 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000004134 energy conservation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 102000002274 Matrix Metalloproteinases Human genes 0.000 description 1
- 108010000684 Matrix Metalloproteinases Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/308—Electronic adaptation dependent on speaker or headphone connection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/07—Synergistic effects of band splitting and sub-band processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Stereophonic System (AREA)
Abstract
Description
本申请是申请号为201480056122.0、申请日为2014年10月20日、发明名称为“使用2D设置对高保真度立体声响复制音频声场表示进行解码以便音频回放的方法和装置”的发明专利申请的分案申请。
技术领域
本发明涉及对音频声场表示进行解码,特别是对经高保真度立体声响复制(Ambisonics)格式化的音频表示,进行解码以便使用2D或近2D设置进行音频回放的方法和装置。
背景技术
准确定位是任何空间音频再现系统的关键目标。这样的再现系统非常适用于会议系统、比赛或者受益于3D声音的其他虚拟环境。3D中的声音场景能够被合成或捕获为自然声场。诸如例如高保真度立体声响复制这样的声场信号携带所期望的声场的表示。需要解码处理以从声场表示获得个体扬声器信号。对经高保真度立体声响复制格式化的信号进行解码也被称为“呈现”。为了合成音频场景,需要涉及空间扬声器布置的平移功能(panningfunction)以便获得给定声源的空间定位。为了记录自然声场,需要麦克风阵列以捕获空间信息。高保真度立体声响复制方法是非常适合于实现这一点的工具。基于声场的球谐函数分解,经高保真度立体声响复制格式化的信号携带所期望的声场的表示。虽然基本的高保真度立体声响复制格式或B格式使用零阶和一阶的球谐函数,但是所谓高阶高保真度立体声响复制(Higher Order Ambisonics,HOA)还使用至少二阶的球谐函数。扬声器的空间布置被称为扬声器设置。对于解码处理,需要解码矩阵(也被称为呈现矩阵),其特定于给定的扬声器设置并且使用已知的扬声器位置来生成。
常用的扬声器设置是使用两个扬声器的立体声设置、使用五个扬声器的标准环绕设置以及使用多于五个扬声器的环绕设置的扩展。然而,这些熟知的设置受限于二维(2D),例如没有再现高度信息。用于能够再现高度信息的已知扬声器设置的呈现在声音定位和着色方面具有缺点:或者空间垂直平移以非常不均匀的响度被感知,或者扬声器信号具有强的旁瓣,这对于偏离中心的收听位置特别不利。因此,在将HOA声场描述呈现给扬声器时,所谓的能量保持(energy-preserving)的呈现设计是优选的。这意味着信号声源的呈现导致恒定能量的扬声器信号,而与源的方向无关。换句话说,扬声器呈现器保持由高保真度立体声响复制表示携带的输入能量。来自发明人的国际专利公开WO2014/012945A1[1]描述针对3D扬声器设置具有良好的能量保持和定位性质的HOA呈现器设计。然而,虽然该方法对覆盖所有方向的3D扬声器设置工作得非常好,但是对于2D扬声器设置(像例如5.1环绕这样的),一些源方向衰减。这特别适用于没有放置扬声器的方向,例如来自顶部。
在F.Zotter和M.Frank的“All-Round Ambisonic Panning and Decoding”[2]中,如果在由扬声器建立的凸包中存在漏洞,则添加“想象的”扬声器。然而,对于在真实扬声器上的回放,省略针对该想象的扬声器所得到的信号。这样,来自该方向(亦即,未安置真实扬声器的方向)的源信号仍然将衰减。而且,那篇论文仅示出想象扬声器的使用以便与VBAP(矢量基幅度平移)一起使用。
发明内容
因此,仍然存在的问题是针对2D(2维)扬声器设置设计能量保持的高保真度立体声响复制呈现器,其中,来自没有放置扬声器的方向的声源较少地衰减或者根本不衰减。2D扬声器设置可以被分类为扬声器的仰角在所定义的小范围内(例如,<10°)使得它们接近于水平面的设置。
本说明书描述用于针对规则的或者不规则的空间扬声器分布对经高保真度立体声响复制格式化的音频声场表示进行呈现/解码的解决方案,其中,呈现/解码提供高度改良的定位和着色性质并且是能量保持的,并且其中,甚至来自没有扬声器可用的方向的声音也被呈现。有利地,来自没有扬声器可用的方向的声音以与在扬声器在相应的方向上可用的情况下应具有的能量和感知响度基本上相同的能量和感知响度来呈现。当然,这些声源的精确定位是不可能的,因为没有扬声器在其方向上可用。
具体地,至少一些所描述的实施例提供用于获得对HOA格式的声场数据进行解码的解码矩阵的新方式。因为至少该HOA格式描述不直接与扬声器位置相关的声场,并且将要获得的扬声器信号未必是以基于信道的音频格式,所以HOA信号的解码总是与呈现音频信号紧密相关。原则上,这也适用于其他音频声场格式。因此,本公开涉及对声场相关的音频格式进行解码和呈现。术语解码矩阵和呈现矩阵被用作同义词。
为了获得具有良好的能量保持性质的用于给定设置的解码矩阵,在没有扬声器可用的位置处添加一个或多个虚拟扬声器。例如,为了获得用于2D设置的改进的解码矩阵,在顶部和底部(对应于仰角角度+90°和-90°,并且2D扬声器以近似0°仰角来放置)添加两个虚拟扬声器。对于该虚拟3D扬声器设置,设计满足能量保持性质的解码矩阵。最后,将来自用于虚拟扬声器的解码矩阵的加权因子与对2D设置的真实扬声器的恒定增益混合。
根据一个实施例,通过以下来生成用于将高保真度立体声响复制格式的音频信号呈现或解码到扬声器的给定集合的解码矩阵(或呈现矩阵):通过使用常规方法并且使用修改的扬声器位置来生成第一初步解码矩阵,其中,修改的扬声器位置包括扬声器的给定集合的扬声器位置以及至少一个添加的虚拟扬声器位置;以及对第一初步解码矩阵进行向下混合(downmix),其中,与至少一个添加的虚拟扬声器有关的系数被移除并且被分给与扬声器的给定集合的扬声器有关的系数。在一个实施例中,接着是对解码矩阵进行归一化的随后步骤。得到的解码矩阵适合于将高保真度立体声响复制信号呈现或解码到扬声器的给定集合,其中,甚至来自不存在扬声器的位置的声音也以正确的信号能量被再现。这是由于改进的解码矩阵的结构。优选地,第一初步解码矩阵是能量保持的。
在一个实施例中,解码矩阵具有L行和O3D列。行数对应于2D扬声器设置中的扬声器的数量,列数对应于根据O3D=(N+1)2而取决于HOA阶数N的高保真度立体声响复制系数O3D的数量。2D扬声器设置的解码矩阵的系数的每个是至少第一中间系数和第二中间系数的和。第一中间系数通过能量保持的3D矩阵设计方法针对2D扬声器设置的当前扬声器位置来获得,其中,能量保持的3D矩阵设计方法使用至少一个虚拟扬声器位置。第二中间系数通过乘以加权因子g的根据所述能量保持的3D矩阵设计方法针对所述至少一个虚拟扬声器位置而获得的系数来获得。在一个实施例中,加权因子g根据来计算,其中,L是2D扬声器设置中的扬声器的数量。
在一个实施例中,本发明涉及计算机可读存储介质,其上存储有可执行指令以使计算机执行包括上面或在权利要求书中公开的方法的步骤的方法。
在权利要求9中公开利用该方法的装置。
在从属权利要求、下面的描述和附图中公开有利的实施例。
附图说明
参照附图来描述本发明的示例性实施例,附图中:
图1示出根据一个实施例的方法的流程图;
图2示出经向下混合的HOA解码矩阵的示例性结构;
图3示出获得和修改扬声器位置的流程图;
图4示出根据一个实施例的装置的框图;
图5示出由常规解码矩阵产生的能量分布;
图6示出由根据实施例的解码矩阵产生的能量分布;以及
图7示出对于不同频带单独优化的解码矩阵的使用。
具体实施方式
图1示出根据一个实施例对音频信号,特别是声场信号,进行解码的方法的流程图。声场信号的解码一般需要音频信号将被呈现到的扬声器的位置。L个扬声器的这样的扬声器位置是处理的输入i10。注意,当提及位置时,实际上,在这里是指空间方向,亦即,扬声器的位置由它们的倾斜角θl和方位角φl来定义,倾斜角θl和方位角φl被组合成矢量然后,虚拟扬声器的至少一个位置被添加10。在一个实施例中,作为对该处理的输入i10的所有扬声器位置基本上在相同的平面中,使得它们构成2D设置,并且所添加的至少一个虚拟扬声器在该平面之外。在一个特别有利的实施例中,作为对该处理的输入i10的所有扬声器位置基本上在相同的平面中,并且在步骤10中添加两个虚拟扬声器的位置。两个虚拟扬声器的有利位置在下面描述。在一个实施例中,根据下面的等式(6)来执行该添加。添加步骤10在q10处导致扬声器角度的修改的集合Lvirt是虚拟扬声器的数量。在3D解码矩阵设计步骤11中使用扬声器角度的修改的集合。HOA阶数N(一般是声场信号的系数的阶数)也需要提供i11给步骤11。
3D解码矩阵设计步骤11执行用于生成3D解码矩阵的任何已知方法。优选地,3D解码矩阵适合于能量保持类型的解码/呈现。例如,能够使用在PCT/EP2013/065034中描述的方法。3D解码矩阵设计步骤11导致适合于对L’=L+Lvirt个扬声器信号进行呈现的解码矩阵或呈现矩阵D’,其中Lvirt是在“虚拟扬声器位置添加”步骤10中添加的虚拟扬声器位置的数量。
因为仅L个扬声器是在物理上可用的,由3D解码矩阵设计步骤11产生的解码矩阵D’需要适合于在向下混合步骤12中的L个扬声器。该步骤执行解码矩阵D’的向下混合,其中,与虚拟扬声器有关的系数被加权并且被分给与存在的扬声器有关的系数。优选地,任何特定HOA阶的系数(亦即,解码矩阵D’的列)被加权并且被添加到相同HOA阶的系数(亦即,解码矩阵D’的相同列)。一个示例是根据下面的等式(8)的向下混合。向下混合步骤12导致具有L行,亦即具有比解码矩阵D’更少的行,但是具有与解码矩阵D’相同的列数的经向下混合的3D解码矩阵换句话说,解码矩阵D’的维度是(L+Lvirt)×O3D,而经向下混合的3D解码矩阵的维度是L×O3D。
图2示出来自HOA解码矩阵D’的经向下混合的HOA解码矩阵的示例性结构。HOA解码矩阵D’具有L+2行,这意味着已经将两个虚拟扬声器位置添加到L个可用的扬声器位置;并且具有O3D列,其中O3D=(N+1)2并且N是HOA阶数。在向下混合步骤12中,HOA解码矩阵D’的行L+1和行L+2的系数被加权并且被分给它们各自的列的系数,并且行L+1和行L+2被移除。例如,行L+1和行L+2中的每个的第一系数d’L+1,1和d’L+2,1被加权并且添加到每个剩余行的第一系数,诸如d’1,1。经向下混合的HOA解码矩阵的得到的系数是d’1,1、d’L+1,1、d’L+2,1和加权因子g的函数。以相同的方式,例如,经向下混合的HOA解码矩阵的得到的系数是d’2,1、d’L+1,1、d’L+2,1和加权因子g的函数,而经向下混合的HOA解码矩阵的得到的系数是d’1,2、d’L+1,2、d’L+2,2和加权因子g的函数。
通常,经向下混合的HOA解码矩阵将在归一化步骤13中被归一化。然而,该步骤13是可选的,因为未经归一化的解码矩阵也可以用于对声场信号进行解码。在一个实施例中,根据下面的等式(9)对经向下混合的HOA解码矩阵进行归一化。归一化步骤13导致经归一化的经向下混合的HOA解码矩阵D,其具有与经向下混合的HOA解码矩阵相同的维度L×O3D。
然后,能够在声场解码步骤14中使用经归一化的经向下混合的HOA解码矩阵D,其中,输入声场信号i14被解码成L个扬声器信号q14。通常,直至扬声器设置被修改为止,不需要修改经归一化的经向下混合的HOA解码矩阵D。因此,在一个实施例中,将经归一化的经向下混合的HOA解码矩阵D存储在解码矩阵储存器中。
图3示出在实施例中如何获得和修改扬声器位置的细节。该实施例包括以下步骤:确定101L个扬声器的位置和声场信号的系数的阶数N;根据所述位置来确定102L个扬声器基本上在2D平面中;以及生成103虚拟扬声器的至少一个虚拟位置
根据一个实施例,针对已知位置处的L个扬声器对经编码的音频信号进行解码的方法包括以下步骤:确定101L个扬声器的位置和声场信号的系数的阶数N;根据所述位置来确定102L个扬声器基本上在2D平面中;生成103虚拟扬声器的至少一个虚拟位置生成11 3D解码矩阵D’,其中,使用L个扬声器的所确定的位置和至少一个虚拟位置并且3D解码矩阵D’具有关于所确定的扬声器位置和虚拟扬声器位置的系数;对3D解码矩阵D’进行向下混合12,其中,关于虚拟扬声器位置的系数被加权并且被分给与所确定的扬声器位置有关的系数,并且其中,获得具有关于所确定的扬声器位置的系数的规模缩减的3D解码矩阵以及使用规模缩减的3D解码矩阵对经编码的音频信号i14进行解码14,其中获得多个经解码的扬声器信号q14。
在一个实施例中,经编码的音频信号是例如HOA格式的声场信号。
在一个实施例中,该方法具有对规模缩减的3D解码矩阵进行归一化的另外的步骤,其中获得经归一化的规模缩减的3D解码矩阵D,并且对经编码的音频信号i14进行解码14的步骤使用经归一化的规模缩减的3D解码矩阵D。在一个实施例中,该方法具有将规模缩减的3D解码矩阵或者经归一化的规模缩减的3D解码矩阵D存储在解码矩阵储存器中的步骤。
根据一个实施例,通过以下来生成用于将声场信号呈现或解码到扬声器的给定集合的解码矩阵:通过使用常规方法并且使用修改的扬声器位置来生成第一初步解码矩阵,其中,修改的扬声器位置包括扬声器的给定集合的扬声器位置以及至少一个添加的虚拟扬声器位置;以及对第一初步解码矩阵进行向下混合,其中,与至少一个添加的虚拟扬声器有关的系数被移除并且被分给与扬声器的给定集合的扬声器有关的系数。在一个实施例中,接着是对解码矩阵进行归一化的随后步骤。得到的解码矩阵适合于将高保真度立体声响复制信号呈现或解码到扬声器的给定集合,其中,甚至来自不存在扬声器的位置的声音也以正确的信号能量被再现。这是由于改进的解码矩阵的结构。优选地,第一初步解码矩阵是能量保持的。
图4a)示出根据一个实施例的装置的框图。针对已知位置处的L个扬声器对声场格式的经编码的音频信号进行解码的装置400包括:添加器单元410,用于将至少一个虚拟扬声器的至少一个位置添加到L个扬声器的位置;解码矩阵生成器单元411,用于生成3D解码矩阵D’,其中,使用L个扬声器的位置和至少一个虚拟位置并且3D解码矩阵D’具有关于所确定的扬声器位置和虚拟扬声器位置的系数;矩阵向下混合单元412,用于对3D解码矩阵D’进行向下混合,其中,关于虚拟扬声器位置的系数被加权并且被分给与所确定的扬声器位置有关的系数,并且其中,获得具有关于所确定的扬声器位置的系数的规模缩减的3D解码矩阵以及解码单元414,用于使用规模缩减的3D解码矩阵对经编码的音频信号进行解码,其中获得多个经解码的扬声器信号。
在图4b)中示出的一个实施例中,该装置还包括:第一确定单元4101,用于确定L个扬声器的位置(ΩL)以及声场信号的系数的阶数N;第二确定单元4102,用于根据所述位置来确定L个扬声器基本上在2D平面中;以及虚拟扬声器位置生成单元4103,用于生成虚拟扬声器的至少一个虚拟位置
在一个实施例中,该装置还包括:多个带通滤波器715b,用于将经编码的音频信号分离成多个频带,其中,生成711b多个单独的3D解码矩阵Db’,针对每个频带一个,并且分别对每个3D解码矩阵Db’进行向下混合712b以及可选地进行归一化,并且其中,解码单元714b分别对每个频带进行解码。在该实施例中,该装置还包括多个加法器单元716b,针对每个扬声器一个。每个加法器单元将与相应的扬声器有关的频带加起来。
添加器单元410、解码矩阵生成器单元411、矩阵向下混合单元412、归一化单元413、解码单元414、第一确定单元4101、第二确定单元4102和虚拟扬声器位置生成单元4103中的每个能够由一个或多个处理器实现,并且这些单元中的每个可以与这些单元中的任何其他单元或者其他单元共享相同的处理器。
图7示出针对输入信号的不同频带分别使用优化的解码矩阵的实施例。在该实施例中,解码方法包括使用带通滤波器将经编码的音频信号分离成多个频带的步骤。生成711b多个单独的3D解码矩阵Db’,针对每个频带一个,并且分别对每个3D解码矩阵Db’进行向下混合712b以及可选地进行归一化。经编码的音频信号的解码714b对每个频带分别执行。这具有如下优点:能够考虑人类感知中的频率相关的差异,并且能够导致针对不同频带的不同解码矩阵。在一个实施例中,仅一个或多个(但不是所有)解码矩阵如上所述地通过添加虚拟扬声器位置、然后将它们的系数加权并且分给关于存在的扬声器位置的系数来生成。在另外的实施例中,每个解码矩阵如上所述地通过添加虚拟扬声器位置、然后将它们的系数加权并且分给关于存在的扬声器位置的系数来生成。最后,在与频带拆分相逆的操作中,与相同扬声器有关的所有频带在针对每个扬声器一个的频带加法器单元716b中加起来。
添加器单元410、解码矩阵生成器单元711b、矩阵向下混合单元712b、归一化单元713b、解码单元714b、频带加法器单元716b和带通滤波器单元715b中的每个能够由一个或多个处理器来实现,并且这些单元中的每个可以与这些单元中的任何其他单元或者其他单元共享相同的处理器。
本公开的一个方面是获得用于针对2D设置的具有良好的能量保持性质的解码矩阵。在一个实施例中,在顶部和底部(仰角+90°和-90°,并且2D扬声器以近似0°仰角来放置)添加两个虚拟扬声器。对于该虚拟3D扬声器设置,设计满足能量保持性质的呈现矩阵。最后,将来自用于虚拟扬声器的解码矩阵的加权因子与对2D设置的真实扬声器的恒定增益混合。
下面,描述高保真度立体声响复制(具体地,HOA)呈现。
高保真度立体声响复制呈现是根据高保真度立体声响复制声场描述来计算扬声器信号的处理。有时,它也被称为高保真度立体声响复制解码。考虑阶数为N的3D高保真度立体声响复制声场表示,其中,系数的数量是
O3D=(N+1)2 (1)
w(t)=Db(t) (2)
HOA域中的信号能量由下式给出
E=bHb (3)
其中H表示(共轭复数)被转置。扬声器信号的相应能量由下式计算
原则上,提出针对改进的2D呈现的如下扩展:对于2D扬声器设置的呈现矩阵的设计,添加一个或多个虚拟扬声器。将2D设置理解为扬声器的仰角角度在所定义的小范围内使得它们接近于水平面的设置。这可以由下式表示
在一个实施例中,通常选择阈值θthres2d以与5°到10°的范围内的值相对应。
因此,用于呈现设计的扬声器的新的数量是L′=L+2。根据这些修改的扬声器位置,使用能量保持的方法来设计呈现矩阵例如,能够使用在[1]中描述的设计方法。现在,根据D′得出关于原始扬声器设置的最终呈现矩阵。一种想法是将在矩阵D′中所定义的虚拟扬声器的加权因子混合到真实的扬声器。使用固定增益因子,将该固定增益因子选择为:
图5和图6示出5.0环绕扬声器设置的能量分布。在两个图中,能量值被示为灰度,并且圆圈指示扬声器位置。使用所公开的方法,特别地,顶部(以及底部,未在这里示出)的衰减明显减小。
图5示出由常规解码矩阵产生的能量分布。围绕z=0平面的小圆圈代表扬声器位置。可以看到,[-3.9,…,2.1]dB的能量范围被覆盖,这导致6dB的能量差。另外,来自单位球的顶部(以及在底部上,不可见)的信号以非常低的能量被再现,亦即听不到,因为在这里没有扬声器可用。
图6示出由根据一个或多个实施例的解码矩阵产生的能量分布,其中与在图5中相同数量的扬声器位于与在图5中相同的位置。至少提供如下优点:第一,[-1.6,…,0.8]dB的较小的能量范围被覆盖,这导致仅2.4dB的较小的能量差;第二,来自单位球的所有方向的信号使用它们正确的能量再现,即使在这里没有扬声器可用。因为这些信号通过可用的扬声器再现,所以它们的定位是不正确的,但是信号可以正确的响度被听到。在该示例中,来自顶部的和在底部上(不可见)的信号由于使用改进的解码矩阵进行解码而变得可听到。
在实施例中,针对已知位置处的L个扬声器对高保真度立体声响复制格式的经编码的音频信号进行解码的方法包括以下步骤:将至少一个虚拟扬声器的至少一个位置添加到L个扬声器的位置;生成3D解码矩阵D’,其中,使用L个扬声器的位置和至少一个虚拟位置并且3D解码矩阵D’具有关于所确定的扬声器位置和虚拟扬声器位置的系数;对3D解码矩阵D’进行向下混合,其中,关于虚拟扬声器位置的系数被加权并且被分给与所确定的扬声器位置有关的系数,并且其中获得具有关于所确定的扬声器位置的系数的规模缩减的3D解码矩阵以及使用规模缩减的3D解码矩阵对经编码的音频信号进行解码,其中获得多个经解码的扬声器信号。
在另外的实施例中,针对已知位置处的L个扬声器对高保真度立体声响复制格式的经编码的音频信号进行解码的装置包括:添加器单元410,用于将至少一个虚拟扬声器的至少一个位置添加到L个扬声器的位置;解码矩阵生成器单元411,用于生成3D解码矩阵D’,其中,使用L个扬声器的位置和至少一个虚拟位置并且3D解码矩阵D’具有关于所确定的扬声器位置和虚拟扬声器位置的系数;矩阵向下混合单元412,用于对3D解码矩阵D’进行向下混合,其中,关于虚拟扬声器位置的系数被加权并且被分给与所确定的扬声器位置有关的系数,并且其中获得具有关于所确定的扬声器位置的系数的规模缩减的3D解码矩阵以及解码单元414,用于使用规模缩减的3D解码矩阵对经编码的音频信号进行解码,其中获得多个经解码的扬声器信号。
在又一个实施例中,针对已知位置处的L个扬声器对高保真度立体声响复制格式的经编码的音频信号进行解码的装置包括至少一个处理器和至少一个存储器,存储器存储有指令,当指令在处理器上执行时,实现:添加器单元410,用于将至少一个虚拟扬声器的至少一个位置添加到L个扬声器的位置;解码矩阵生成器单元411,用于生成3D解码矩阵D’,其中,使用L个扬声器的位置和至少一个虚拟位置并且3D解码矩阵D’具有关于所确定的扬声器位置和虚拟扬声器位置的系数;矩阵向下混合单元412,用于对3D解码矩阵D’进行向下混合,其中,关于虚拟扬声器位置的系数被加权并且被分给与所确定的扬声器位置有关的系数,并且其中获得具有关于所确定的扬声器位置的系数的规模缩减的3D解码矩阵以及解码单元414,用于使用规模缩减的3D解码矩阵对经编码的音频信号进行解码,其中获得多个经解码的扬声器信号。
在又一个实施例中,计算机可读存储介质在其上存储有可执行指令,以使计算机执行针对已知位置处的L个扬声器对高保真度立体声响复制格式的经编码的音频信号进行解码的方法,其中该方法包括以下步骤:将至少一个虚拟扬声器的至少一个位置添加到L个扬声器的位置;生成3D解码矩阵D’,其中,使用L个扬声器的位置和至少一个虚拟位置并且3D解码矩阵D’具有关于所确定的扬声器位置和虚拟扬声器位置的系数;对3D解码矩阵D’进行向下混合,其中,关于虚拟扬声器位置的系数被加权并且被分给与所确定的扬声器位置有关的系数,并且其中获得具有关于所确定的扬声器位置的系数的规模缩减的3D解码矩阵以及使用规模缩减的3D解码矩阵对经编码的音频信号进行解码,其中获得多个经解码的扬声器信号。计算机可读存储介质的另外的实施例能够包括在上面描述的任何特征,具体地,能够包括在引用权利要求1的从属权利要求中公开的特征。
应当理解,本发明已经仅仅通过示例来描述,并且能够进行细节的修改而不脱离本发明的范围。例如,虽然仅关于HOA进行了描述,但是本发明也可以适用于其他声场音频格式。
在描述和(在适当的情况下)权利要求书和附图中公开的每个特征可以独立地或者以任何适当的组合来提供。在适当的情况下,特征可以以硬件、软件或者二者的组合来实现。在权利要求书中出现的标号仅作为例示,对权利要求书的范围将不具有限制作用。
在上面引用了以下参考文献:
[1]第WO2014/012945A1号国际专利公开(PD120032)
[2]F.Zotter和M.Frank,“All-Round Ambisonic Panning and Decoding”,J.Audio Eng.Soc.,2012年,卷60,页807-820
Claims (4)
3.一种计算机可读存储介质,其上存储有可执行指令,所述可执行指令在执行时使得计算机执行根据权利要求1所述的方法。
4.一种用于针对2D扬声器设置对高保真度立体声响复制格式的音频信号进行呈现的设备,包括
至少一个处理器;以及
至少一个存储器,所述存储器上存储有指令,所述指令在执行时使得所述至少一个处理器执行根据权利要求1所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13290255.2 | 2013-10-23 | ||
EP20130290255 EP2866475A1 (en) | 2013-10-23 | 2013-10-23 | Method for and apparatus for decoding an audio soundfield representation for audio playback using 2D setups |
CN201480056122.0A CN105637902B (zh) | 2013-10-23 | 2014-10-20 | 使用2d设置对高保真度立体声响复制音频声场表示进行解码以便音频回放的方法和装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480056122.0A Division CN105637902B (zh) | 2013-10-23 | 2014-10-20 | 使用2d设置对高保真度立体声响复制音频声场表示进行解码以便音频回放的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108777837A CN108777837A (zh) | 2018-11-09 |
CN108777837B true CN108777837B (zh) | 2021-08-24 |
Family
ID=49626882
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810453100.8A Active CN108632737B (zh) | 2013-10-23 | 2014-10-20 | 用于音频信号解码和呈现的方法和装置 |
CN201810453094.6A Active CN108777836B (zh) | 2013-10-23 | 2014-10-20 | 用于音频信号解码的解码矩阵的确定方法和装置 |
CN201810453121.XA Active CN108337624B (zh) | 2013-10-23 | 2014-10-20 | 用于音频信号呈现的方法和装置 |
CN201810453106.5A Active CN108777837B (zh) | 2013-10-23 | 2014-10-20 | 用于音频信号解码的方法和装置 |
CN201810453098.4A Active CN108632736B (zh) | 2013-10-23 | 2014-10-20 | 用于音频信号呈现的方法和装置 |
CN201480056122.0A Active CN105637902B (zh) | 2013-10-23 | 2014-10-20 | 使用2d设置对高保真度立体声响复制音频声场表示进行解码以便音频回放的方法和装置 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810453100.8A Active CN108632737B (zh) | 2013-10-23 | 2014-10-20 | 用于音频信号解码和呈现的方法和装置 |
CN201810453094.6A Active CN108777836B (zh) | 2013-10-23 | 2014-10-20 | 用于音频信号解码的解码矩阵的确定方法和装置 |
CN201810453121.XA Active CN108337624B (zh) | 2013-10-23 | 2014-10-20 | 用于音频信号呈现的方法和装置 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810453098.4A Active CN108632736B (zh) | 2013-10-23 | 2014-10-20 | 用于音频信号呈现的方法和装置 |
CN201480056122.0A Active CN105637902B (zh) | 2013-10-23 | 2014-10-20 | 使用2d设置对高保真度立体声响复制音频声场表示进行解码以便音频回放的方法和装置 |
Country Status (16)
Country | Link |
---|---|
US (8) | US9813834B2 (zh) |
EP (5) | EP2866475A1 (zh) |
JP (6) | JP6463749B2 (zh) |
KR (4) | KR102629324B1 (zh) |
CN (6) | CN108632737B (zh) |
AU (6) | AU2014339080B2 (zh) |
BR (2) | BR112016009209B1 (zh) |
CA (5) | CA3147196C (zh) |
ES (1) | ES2637922T3 (zh) |
HK (4) | HK1221105A1 (zh) |
MX (5) | MX359846B (zh) |
MY (2) | MY191340A (zh) |
RU (2) | RU2679230C2 (zh) |
TW (5) | TWI651973B (zh) |
WO (1) | WO2015059081A1 (zh) |
ZA (5) | ZA201801738B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9288603B2 (en) | 2012-07-15 | 2016-03-15 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for backward-compatible audio coding |
US9473870B2 (en) | 2012-07-16 | 2016-10-18 | Qualcomm Incorporated | Loudspeaker position compensation with 3D-audio hierarchical coding |
US9516446B2 (en) | 2012-07-20 | 2016-12-06 | Qualcomm Incorporated | Scalable downmix design for object-based surround codec with cluster analysis by synthesis |
US9761229B2 (en) | 2012-07-20 | 2017-09-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for audio object clustering |
US9736609B2 (en) | 2013-02-07 | 2017-08-15 | Qualcomm Incorporated | Determining renderers for spherical harmonic coefficients |
EP2866475A1 (en) * | 2013-10-23 | 2015-04-29 | Thomson Licensing | Method for and apparatus for decoding an audio soundfield representation for audio playback using 2D setups |
US9838819B2 (en) * | 2014-07-02 | 2017-12-05 | Qualcomm Incorporated | Reducing correlation between higher order ambisonic (HOA) background channels |
EP3375208B1 (en) * | 2015-11-13 | 2019-11-06 | Dolby International AB | Method and apparatus for generating from a multi-channel 2d audio input signal a 3d sound representation signal |
US20170372697A1 (en) * | 2016-06-22 | 2017-12-28 | Elwha Llc | Systems and methods for rule-based user control of audio rendering |
FR3060830A1 (fr) * | 2016-12-21 | 2018-06-22 | Orange | Traitement en sous-bandes d'un contenu ambisonique reel pour un decodage perfectionne |
US10405126B2 (en) | 2017-06-30 | 2019-09-03 | Qualcomm Incorporated | Mixed-order ambisonics (MOA) audio data for computer-mediated reality systems |
SG11202000285QA (en) | 2017-07-14 | 2020-02-27 | Fraunhofer Ges Forschung | Concept for generating an enhanced sound-field description or a modified sound field description using a multi-layer description |
AU2018298874C1 (en) | 2017-07-14 | 2023-10-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for generating an enhanced sound field description or a modified sound field description using a multi-point sound field description |
US10015618B1 (en) * | 2017-08-01 | 2018-07-03 | Google Llc | Incoherent idempotent ambisonics rendering |
CN114582357A (zh) * | 2020-11-30 | 2022-06-03 | 华为技术有限公司 | 一种音频编解码方法和装置 |
US11743670B2 (en) | 2020-12-18 | 2023-08-29 | Qualcomm Incorporated | Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications |
CN118800248A (zh) * | 2023-04-13 | 2024-10-18 | 华为技术有限公司 | 场景音频解码方法及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108632737A (zh) * | 2013-10-23 | 2018-10-09 | 杜比国际公司 | 用于音频信号解码和呈现的方法和装置 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5594800A (en) * | 1991-02-15 | 1997-01-14 | Trifield Productions Limited | Sound reproduction system having a matrix converter |
GB9204485D0 (en) * | 1992-03-02 | 1992-04-15 | Trifield Productions Ltd | Surround sound apparatus |
US6798889B1 (en) * | 1999-11-12 | 2004-09-28 | Creative Technology Ltd. | Method and apparatus for multi-channel sound system calibration |
FR2847376B1 (fr) | 2002-11-19 | 2005-02-04 | France Telecom | Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede |
ATE433182T1 (de) * | 2005-07-14 | 2009-06-15 | Koninkl Philips Electronics Nv | Audiokodierung und audiodekodierung |
KR100619082B1 (ko) * | 2005-07-20 | 2006-09-05 | 삼성전자주식회사 | 와이드 모노 사운드 재생 방법 및 시스템 |
US8111830B2 (en) * | 2005-12-19 | 2012-02-07 | Samsung Electronics Co., Ltd. | Method and apparatus to provide active audio matrix decoding based on the positions of speakers and a listener |
KR20070099456A (ko) * | 2006-04-03 | 2007-10-09 | 엘지전자 주식회사 | 미디어 신호 처리 방법 및 장치 |
US8379868B2 (en) * | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
JP5270557B2 (ja) | 2006-10-16 | 2013-08-21 | ドルビー・インターナショナル・アクチボラゲット | 多チャネルダウンミックスされたオブジェクト符号化における強化された符号化及びパラメータ表現 |
FR2916078A1 (fr) * | 2007-05-10 | 2008-11-14 | France Telecom | Procede de codage et decodage audio, codeur audio, decodeur audio et programmes d'ordinateur associes |
WO2009046223A2 (en) * | 2007-10-03 | 2009-04-09 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
WO2009128078A1 (en) * | 2008-04-17 | 2009-10-22 | Waves Audio Ltd. | Nonlinear filter for separation of center sounds in stereophonic audio |
EP2124351B1 (en) * | 2008-05-20 | 2010-12-15 | NTT DoCoMo, Inc. | A spatial sub-channel selection and pre-coding apparatus |
EP2175670A1 (en) * | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
EP2211563B1 (en) * | 2009-01-21 | 2011-08-24 | Siemens Medical Instruments Pte. Ltd. | Method and apparatus for blind source separation improving interference estimation in binaural Wiener filtering |
KR20110041062A (ko) * | 2009-10-15 | 2011-04-21 | 삼성전자주식회사 | 가상 스피커 장치 및 가상 스피커 처리 방법 |
KR101795015B1 (ko) * | 2010-03-26 | 2017-11-07 | 돌비 인터네셔널 에이비 | 오디오 재생을 위한 오디오 사운드필드 표현을 디코딩하는 방법 및 장치 |
JP2011211312A (ja) * | 2010-03-29 | 2011-10-20 | Panasonic Corp | 音像定位処理装置及び音像定位処理方法 |
JP5652658B2 (ja) * | 2010-04-13 | 2015-01-14 | ソニー株式会社 | 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム |
US9271081B2 (en) * | 2010-08-27 | 2016-02-23 | Sonicemotion Ag | Method and device for enhanced sound field reproduction of spatially encoded audio input signals |
EP2450880A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Data structure for Higher Order Ambisonics audio data |
EP2469741A1 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
EP2541547A1 (en) * | 2011-06-30 | 2013-01-02 | Thomson Licensing | Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation |
EP2592845A1 (en) * | 2011-11-11 | 2013-05-15 | Thomson Licensing | Method and Apparatus for processing signals of a spherical microphone array on a rigid sphere used for generating an Ambisonics representation of the sound field |
EP2645748A1 (en) * | 2012-03-28 | 2013-10-02 | Thomson Licensing | Method and apparatus for decoding stereo loudspeaker signals from a higher-order Ambisonics audio signal |
US20150131824A1 (en) * | 2012-04-02 | 2015-05-14 | Sonicemotion Ag | Method for high quality efficient 3d sound reproduction |
KR102681514B1 (ko) | 2012-07-16 | 2024-07-05 | 돌비 인터네셔널 에이비 | 오디오 재생을 위한 오디오 음장 표현을 렌더링하는 방법 및 장치 |
CN102932730B (zh) * | 2012-11-08 | 2014-09-17 | 武汉大学 | 一种正四面体结构的扬声器组声场效果增强方法及系统 |
-
2013
- 2013-10-23 EP EP20130290255 patent/EP2866475A1/en not_active Withdrawn
-
2014
- 2014-10-17 TW TW103135906A patent/TWI651973B/zh active
- 2014-10-17 TW TW109102609A patent/TWI797417B/zh active
- 2014-10-17 TW TW107141933A patent/TWI686794B/zh active
- 2014-10-17 TW TW112133717A patent/TWI841483B/zh active
- 2014-10-17 TW TW112107889A patent/TWI817909B/zh active
- 2014-10-20 CA CA3147196A patent/CA3147196C/en active Active
- 2014-10-20 RU RU2016119533A patent/RU2679230C2/ru active
- 2014-10-20 EP EP17180213.5A patent/EP3300391B1/en active Active
- 2014-10-20 EP EP20186663.9A patent/EP3742763B1/en active Active
- 2014-10-20 CA CA3168427A patent/CA3168427A1/en active Pending
- 2014-10-20 RU RU2019100542A patent/RU2766560C2/ru active
- 2014-10-20 CN CN201810453100.8A patent/CN108632737B/zh active Active
- 2014-10-20 BR BR112016009209-0A patent/BR112016009209B1/pt active IP Right Grant
- 2014-10-20 CA CA3147189A patent/CA3147189C/en active Active
- 2014-10-20 BR BR122017020302-9A patent/BR122017020302B1/pt active IP Right Grant
- 2014-10-20 US US15/030,066 patent/US9813834B2/en active Active
- 2014-10-20 CN CN201810453094.6A patent/CN108777836B/zh active Active
- 2014-10-20 CN CN201810453121.XA patent/CN108337624B/zh active Active
- 2014-10-20 MX MX2016005191A patent/MX359846B/es active IP Right Grant
- 2014-10-20 JP JP2016525578A patent/JP6463749B2/ja active Active
- 2014-10-20 ES ES14786876.4T patent/ES2637922T3/es active Active
- 2014-10-20 MY MYPI2019006201A patent/MY191340A/en unknown
- 2014-10-20 CN CN201810453106.5A patent/CN108777837B/zh active Active
- 2014-10-20 KR KR1020237001978A patent/KR102629324B1/ko active IP Right Grant
- 2014-10-20 CA CA2924700A patent/CA2924700C/en active Active
- 2014-10-20 KR KR1020167010383A patent/KR102235398B1/ko active IP Right Grant
- 2014-10-20 EP EP23160070.1A patent/EP4213508A1/en active Pending
- 2014-10-20 KR KR1020247002360A patent/KR20240017091A/ko active Application Filing
- 2014-10-20 CA CA3221605A patent/CA3221605A1/en active Pending
- 2014-10-20 KR KR1020217009256A patent/KR102491042B1/ko active IP Right Grant
- 2014-10-20 CN CN201810453098.4A patent/CN108632736B/zh active Active
- 2014-10-20 WO PCT/EP2014/072411 patent/WO2015059081A1/en active Application Filing
- 2014-10-20 EP EP14786876.4A patent/EP3061270B1/en active Active
- 2014-10-20 MY MYPI2016700638A patent/MY179460A/en unknown
- 2014-10-20 CN CN201480056122.0A patent/CN105637902B/zh active Active
- 2014-10-20 AU AU2014339080A patent/AU2014339080B2/en active Active
-
2016
- 2016-04-21 MX MX2018012489A patent/MX2018012489A/es unknown
- 2016-04-21 MX MX2022011448A patent/MX2022011448A/es unknown
- 2016-04-21 MX MX2022011449A patent/MX2022011449A/es unknown
- 2016-04-21 MX MX2022011447A patent/MX2022011447A/es unknown
- 2016-07-29 HK HK16109099.3A patent/HK1221105A1/zh unknown
- 2016-07-29 HK HK18116206.6A patent/HK1257203A1/zh unknown
- 2016-07-29 HK HK18114756.5A patent/HK1255621A1/zh unknown
-
2017
- 2017-09-28 US US15/718,471 patent/US10158959B2/en active Active
-
2018
- 2018-03-14 ZA ZA2018/01738A patent/ZA201801738B/en unknown
- 2018-09-26 HK HK18112339.5A patent/HK1252979A1/zh unknown
- 2018-11-13 US US16/189,732 patent/US10694308B2/en active Active
- 2018-11-23 AU AU2018267665A patent/AU2018267665B2/en active Active
-
2019
- 2019-01-04 JP JP2019000177A patent/JP6660493B2/ja active Active
- 2019-02-27 ZA ZA2019/01243A patent/ZA201901243B/en unknown
-
2020
- 2020-02-07 JP JP2020019638A patent/JP6950014B2/ja active Active
- 2020-06-16 US US16/903,238 patent/US10986455B2/en active Active
- 2020-08-14 ZA ZA2020/05036A patent/ZA202005036B/en unknown
-
2021
- 2021-02-12 AU AU2021200911A patent/AU2021200911B2/en active Active
- 2021-04-15 US US17/231,291 patent/US11451918B2/en active Active
- 2021-09-22 JP JP2021153984A patent/JP7254137B2/ja active Active
- 2021-09-28 ZA ZA2021/07269A patent/ZA202107269B/en unknown
-
2022
- 2022-08-23 US US17/893,753 patent/US11750996B2/en active Active
- 2022-08-23 US US17/893,729 patent/US11770667B2/en active Active
- 2022-09-27 ZA ZA2022/10670A patent/ZA202210670B/en unknown
- 2022-12-20 AU AU2022291444A patent/AU2022291444B2/en active Active
- 2022-12-20 AU AU2022291445A patent/AU2022291445A1/en active Pending
- 2022-12-20 AU AU2022291443A patent/AU2022291443A1/en active Pending
-
2023
- 2023-03-28 JP JP2023051470A patent/JP7529371B2/ja active Active
- 2023-08-28 US US18/457,030 patent/US20240056755A1/en active Pending
-
2024
- 2024-07-23 JP JP2024117375A patent/JP2024138553A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108632737A (zh) * | 2013-10-23 | 2018-10-09 | 杜比国际公司 | 用于音频信号解码和呈现的方法和装置 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108777837B (zh) | 用于音频信号解码的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1261653 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |