CN109087654B - 对高阶高保真立体声信号应用动态范围压缩的方法和设备 - Google Patents

对高阶高保真立体声信号应用动态范围压缩的方法和设备 Download PDF

Info

Publication number
CN109087654B
CN109087654B CN201811253717.1A CN201811253717A CN109087654B CN 109087654 B CN109087654 B CN 109087654B CN 201811253717 A CN201811253717 A CN 201811253717A CN 109087654 B CN109087654 B CN 109087654B
Authority
CN
China
Prior art keywords
hoa
drc
gain
signal
hoa signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811253717.1A
Other languages
English (en)
Other versions
CN109087654A (zh
Inventor
J·贝姆
F·凯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP14305559.8A external-priority patent/EP2934025A1/en
Application filed by Dolby International AB filed Critical Dolby International AB
Priority to CN201811253717.1A priority Critical patent/CN109087654B/zh
Publication of CN109087654A publication Critical patent/CN109087654A/zh
Application granted granted Critical
Publication of CN109087654B publication Critical patent/CN109087654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Nuclear Medicine (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及对高阶高保真立体声信号应用动态范围压缩的方法和设备。动态范围压缩(DRC)不能被简单地应用到基于高阶高保真立体声(HOA)的信号。用于对HOA信号执行DRC的方法包括将该HOA信号变换到空间域，分析该变换的HOA信号，及从所述分析的结果获得可用于动态压缩的增益因子。该增益因子可以与HOA信号一起被发送。当应用DRC时，HOA信号被变换到空间域，该增益因子被提取并在空间域中与变换的HOA信号相乘，其中经增益补偿的变换的HOA信号被获得。该经增益补偿的变换的HOA信号被变换回HOA域，其中经增益补偿的HOA信号被获得。

Description

对高阶高保真立体声信号应用动态范围压缩的方法和设备
本申请是申请号为201580015764.0、申请日为2015年3月24日、发明名称为“对高阶高保真立体声信号应用动态范围压缩的方法和设备”的发明专利申请的分案申请。
技术领域
本发明涉及对高保真立体声信号、特别是高阶高保真立体声(HOA)信号执行动态范围压缩(DRC)的方法和设备。
背景技术
动态范围压缩(DRC)的目的是减小音频信号的动态范围。时变增益因子被应用到音频信号。通常，这个增益因子依赖于用于控制该增益的信号的振幅包络。映射通常是非线性的。大的振幅被映射到较小的振幅，同时微弱的声音经常被放大。场景是噪声环境、深夜收听、小扬声器或移动耳机收听。
流传输或广播音频的一般理念是在发送之前生成DRC增益，并在接收和解码之后应用这些增益。使用DRC的原理(即，DRC通常怎样应用到音频信号)在图1a)中示出。信号水平(通常是信号包络)被检测到，且相关的时变增益gDRC被计算。该增益用于改变音频信号的振幅。图1b)示出了使用DRC来编码/解码的原理，其中增益因子与编码的音频信号一起被发送。在解码侧，增益被应用到解码的音频信号，用以减小它的动态范围。
对于3D音频，不同的增益可以被应用到代表不同空间位置的扩音器通道。然后，这些位置需要在发出侧被知晓，以能够生成匹配的增益集合。这通常只对理想的条件是可能的，而在实际情况下扬声器的数目和它们的放置以许多方式变化。与受规定的影响相比，这更多地受到实际考虑的影响。高阶高保真立体声(HOA)是允许灵活渲染的音频格式。HOA信号包含不直接代表声音水平的系数通道。因此，DRC不能被简单地应用到基于HOA的信号。
发明内容
本发明至少解决DRC可以怎样应用到HOA信号的问题。HOA信号被分析以获得一个或多个增益系数。在一个实施例中，至少两个增益系数被获得，且HOA信号的分析包括到空间域的变换(iDSHT)。一个或多个增益系数与原始的HOA信号一起被发送。特殊的指示标志(indication)可以被发送以指示出是否所有的增益系数均相等。这是在所谓的简化模式中的情况，但是在非简化模式中，至少两个不同的增益系数被使用。在解码器处，该一个或多个增益可以(但不一定)被应用到HOA信号。用户可选择是否应用该一个或多个增益。简化模式的优点是它需要少得多的计算，因为只有一个增益因子被使用，且因为增益因子可以在HOA域被直接应用到HOA信号的系数通道，所以，变换到空间域以及随后变换回到HOA域可以被略过。在简化模式中，通过仅对HOA信号的第零阶系数通道的分析获得增益因子。
根据本发明的一个实施例，对HOA信号执行DRC的方法包括将该HOA信号变换到空间域(通过逆DSHT)，分析该变换的HOA信号，并从所述分析的结果获得可用于动态范围压缩的增益因子。在另外的步骤中，获得的增益因子与变换的HOA信号相乘(在空间域)，其中，增益压缩的变换的HOA信号被获得。最后，增益压缩的变换的HOA信号被变换回到HOA域(通过DSHT)，即系数域，其中，增益压缩的HOA信号被获得。另外，根据本发明的一个实施例，在简化模式中对HOA信号执行DRC的方法包括分析HOA信号和从所述分析的结果获得可以用于动态范围压缩的增益因子。在另外的步骤中，根据指示标志的评估，获得的增益因子与HOA信号的系数通道相乘(在HOA域)，其中，增益压缩的HOA信号被获得。同样根据指示标志的评估，可以确定，HOA信号的变换可以被略过。指示简化模式(即，只有一个增益因子被使用)的指示标志可以被隐含地设置，例如，如果由于硬件或其他限制只有简化模式可以被使用，或指示简化模式的指示标志可以被显式地设置，例如根据用户选择简化或者非简化模式。
另外，根据本发明的一个实施例，将DRC增益因子应用到HOA信号的方法包括接收HOA信号、指示标志和增益因子，确定该指示标志指示非简化模式，将HOA信号变换到空间域(使用逆DSHT)，其中，变换的HOA信号被获得，将增益因子乘以变换的HOA信号，其中，动态范围压缩的、变换的HOA信号被获得，以及将动态范围压缩的、变换的HOA信号变换回HOA域(即系数域)(使用DSHT)，其中，动态范围压缩的HOA信号被获得。增益因子可以与HOA信号一起被接收，或分开接收。
另外，根据本发明的一个实施例，将DRC增益因子应用到HOA信号的方法包括接收HOA信号、指示标志和增益因子，确定该指示标志指示简化模式，及根据所述的确定，将增益因子乘以HOA信号，其中，动态范围压缩的HOA信号被获得。该增益因子可以与HOA信号一起被接收，或分开接收。
一种用于将DRC增益因子应用到HOA信号的设备在权利要求11中公开。
在一个实施例中，本发明提供了具有可执行指令的计算机可读介质，该可执行指令使计算机执行将DRC增益因子应用到HOA信号的方法，该方法包括上述步骤。
在一个实施例中，本发明提供了具有可执行指令的计算机可读介质，该可执行指令使计算机执行对HOA信号执行DRC的方法，该方法包括上述步骤。
本发明的有利的实施例在从属权利要求、下面的描述和图中公开。
附图说明
参考附图描述本发明的示例实施例，在附图中示出：
图1应用到音频的DRC的一般原理。
图2根据本发明的将DRC应用到基于HOA的信号的一般方法。
图3对于N＝1到N＝6的球形扬声器网格。
图4用于HOA的DRC增益的创建。
图5将DRC应用到HOA信号。
图6在解码器侧的动态范围压缩处理。
图7与渲染步骤组合的QMF域的HOA的DRC，以及
图8在单一DRC增益组的简单情况下、与渲染步骤组合的QMF域中的HOA的DRC。
具体实施方式
本发明描述DRC可以怎样应用到HOA。传统上这并不容易，因为HOA是声场描述。图2描绘了该方法的原理。在编码或发送侧，如图2a)中所示，HOA信号被分析，DRC增益g根据HOA信号的分析被计算，且DRC增益被编码并与HOA内容的编码的表示一起发送。这可以是复用的比特流或两个或更多个分开的比特流。
在解码或接收侧，如图2b)中所示，增益g从这样的(一个或多个)比特流被提取。在解码器中对该(一个或多个)比特流解码后，增益g如下面所述地被应用到HOA信号。通过这样做，增益被应用到HOA信号，即通常，动态范围减小的HOA信号被获得。最后，动态范围调节的HOA信号在HOA渲染器中被渲染。
在下面，解释了所使用的假设和定义。
假设是HOA渲染器是能量保存的，即N3D归一化球谐(N3D normalized SphericalHarmonics)被使用，且在HOA表示内被编码的单向信号的能量在渲染之后被保留。例如在WO2015/007889A(PD130040)中描述了怎样实现此能量保存的HOA渲染。
使用的术语的定义如下。
Figure BDA0001842276050000051
表示τ个HOA采样的块，B＝[b(1)，b(2)，..，b(t)，..，b(τ)]，其中矢量
Figure BDA0001842276050000052
该矢量含有在ACN阶次中的高保真立体声系数(矢量索引o＝n2+n+m+1，其中系数阶索引是n和系数度(degree)索引是m)。N表示HOA截断阶次。在b中高阶系数的数目是(N+1)2。一个数据块的采样索引是t。τ可以从通常的一个采样到64个采样或更多。第零阶信号
Figure BDA0001842276050000053
是B的第一行。
Figure BDA0001842276050000054
表示能量保存渲染矩阵，该能量保存渲染矩阵将HOA采样的块渲染到空间域中的L个扩音器通道的块：W＝DB，其中
Figure BDA0001842276050000062
这是在图2b)中的HOA渲染器的假设的过程(HOA渲染)。
Figure BDA0001842276050000063
表示与LL＝(N+1)2个通道相关的渲染矩阵，该LL＝(N+1)2个通道被以非常规则的方式放置在球上，这样，所有相邻的位置共享相同的距离。DL是良态的(well-conditioned)且它的逆
Figure BDA0001842276050000064
存在。因而，这两者定义了一对变换矩阵(DSHT-离散球谐变换)：
WL＝DLB，
Figure BDA0001842276050000061
g是LL＝(N+1)2个增益DRC值的矢量。增益值被假设为应用到τ个采样的块并被假设为从块到块是平滑的。为了发送，共享相同值的增益值可以被组合成增益组。如果只有单个增益组被使用，那么这意味着单个DRC增益值(这里由g1指示)被应用到所有的扬声器通道τ个采样。
对于每个HOA截断阶N，定义了理想的LL＝(N+1)2个虚拟扬声器网格和相关的渲染矩阵DL。虚拟扬声器位置对围绕虚拟收听者的空间区域进行采样。对于N＝1到6的网格在图3中示出，其中与扬声器相关的区域是阴影单元(cell)。一个采样位置总是与中央扬声器位置相关(方位角＝0，倾角＝π/2；注意，方位角从与收听位置相关的正面方向被测量)。当DRC增益被创建时，采样位置、DL、
Figure BDA0001842276050000065
在编码器侧是已知的。在解码器侧，需要知道DL和
Figure BDA0001842276050000066
以应用该增益值。
用于HOA的DRC增益的创建如下操作。
HOA信号通过WL＝DLB被转换到空间域。多达LL＝(N+1)2个DRC增益gl通过分析这些信号被创建。如果该内容是HOA与音频对象(AO)的组合，那么诸如例如对话轨道的AO信号可以被用于侧链接(side chaining)。这在图4b)中示出。当创建与不同的空间区域相关的不同的DRC增益值时，需要注意使得这些增益不影响在解码器侧的空间图像稳定性。为了避免这点，在最简单的情况(所谓的简化模式)下，单一的增益可以被分配给所有L个通道。这可以通过分析所有的空间信号W、或通过分析第零阶HOA系数采样块
Figure BDA0001842276050000071
来实现，而不需要到空间域的变换(图4a)。后者与分析W的下混信号相同。另外的细节在下面给出。
在图4中，示出用于HOA的DRC增益的创建。图4a)描绘了单一增益g1(对于单一增益组)可以怎样从第零阶HOA分量
Figure BDA0001842276050000072
(可选地，具有来自AO的侧链接)得出。第零阶HOA分量
Figure BDA0001842276050000073
在DRC分析功能块41s中被分析，且单一的增益g1被得出。单一的增益g1在DRC增益编码器42s中被分别编码。编码的增益随后与HOA信号B一起在编码器43中被编码，该编码器43输出编码的比特流。可选地，另外的信号44可以包括在编码中。图4b)描绘了两个或更多个DRC增益怎样通过将HOA表示变换40到空间域而被创建。变换的HOA信号WL随后在DRC分析功能块41中被分析，且增益值g被提取并在DRC增益编码器42中被编码。而且这里，编码的增益与HOA信号B一起在编码器43中被编码，且可选地，另外的信号44可以包括在编码中。作为示例，来自后面的声音(例如背景声音)可能比源自正面和侧面方向的声音受到更多的衰减。这将导致g中的(N+1)2个增益值，对于这个示例，该(N+1)2个增益值可以在两个增益组内被发送。可选的，这里还可使用音频对象波形以及它们的方向信息的侧链接。侧链接意味着一个信号的DRC增益从另一个信号获得。这减小了HOA信号的功率。与AO前景声音共享相同的空间源区域的在HOA混合中的分散声音可以比空间上遥远的声音受到更强的衰减增益。
该增益值被发送到接收器或解码器侧。
与τ个采样的块相关的从1到LL＝(N+1)2个增益值的可变数目被发送。增益值可以被分配到通道组以用于发送。在一个实施例中，所有相等的增益被组合到一个通道组中以最小化发送数据。如果单一的增益被发送，那么它与所有的LL个通道相关。通道组增益值
Figure BDA0001842276050000081
和它们的数目被发送。通道组的使用被发信号通知，使得接收器或解码器可以正确地应用该增益值。
该增益值被应用如下。
接收器/解码器可以确定发送的编码的增益值的数目，对相关的信息进行解码51，并将增益分配52-55到LL＝(N+1)2个通道。如果只有一个增益值(一个通道组)被发送，它可以被直接应用52到HOA信号(BDRC＝g1B)，如图5a)中所示。这具有优点，因为解码简单得多且需要少得多的处理。原因是，不需要矩阵操作；相反，增益值可以被直接应用52，例如与HOA系数相乘。另外的细节请见下面。
如果两个或更多个增益被发送，那么通道组增益被分配到L个通道增益g＝[g1，...，gL]中的每个。
对于虚拟规则扩音器网格，被应用了DRC增益的扩音器信号由下式计算
Figure BDA0001842276050000082
然后，得到的修正的HOA表示由下式计算
Figure BDA0001842276050000083
这可以被简化，如图5b)所示。通过应用增益并将结果变换回HOA域，而不是通过将HOA信号变换到空间域，增益矢量由下式被变换53到HOA域：
Figure BDA0001842276050000091
其中
Figure BDA0001842276050000092
在增益分配功能块54中增益矩阵被直接应用到HOA系数：BDRC＝GB。
这就(N+1)2＜τ所需的计算操作而言更高效。即，这个解决方案相对于传统解决方案有优点，因为解码简单得多且需要少得多的处理。原因是不需要矩阵操作；相反，增益值可以被直接应用，例如在增益分配功能块54中与HOA系数相乘。
在一个实施例中，应用增益矩阵的甚至更高效的方式是在渲染器矩阵修正功能块57中通过
Figure BDA0001842276050000093
操纵渲染器矩阵，在一个步骤中应用DRC并渲染HOA信号：
Figure BDA0001842276050000094
这在图5c)中示出。如果L＜τ，那么这是有利的。
总之，图5示出了对于HOA信号应用DRC的各种实施例。在图5a)中，单个通道组增益被发送和解码51，并直接应用到HOA系数52上。然后，HOA系数使用正规渲染矩阵(normalrendering matrix)被渲染56。
在图5b)中，多于一个的通道组增益被发送和解码51。解码导致(N+1)2个增益值的增益矢量g。增益矩阵G被创建并应用54到HOA采样的块。这些随后通过使用正规渲染矩阵被渲染56。
在图5c)中，将解码的增益矩阵/增益值直接应用到渲染器的矩阵上，而不是将它直接应用到HOA信号。这在渲染器矩阵修正功能块57中被执行，并且在DRC块大小τ大于输出通道的数目L的情况下在计算上是有利的。在这种情况下，HOA采样通过使用修正的渲染矩阵被渲染57。
在下面描述了用于DRC的、理想的DSHT(离散球谐变换)矩阵的计算。这种DSHT矩阵被特别地对于在DRC中的使用被优化，且与用于其他目的例如数据率压缩的DSHT矩阵不同。
下面得出了对于与理想的球形布局相关的理想渲染和编码矩阵DL和
Figure BDA0001842276050000101
的需求。最后，这些需求如下：
(1)渲染矩阵DL必须是可逆的，即
Figure BDA0001842276050000102
需要存在；
(2)在空间域中的振幅之和在空间域到HOA域的变换之后应该被反映为第零阶HOA系数，且在随后到空间域的变换之后应该被保存(振幅需求)；及
(3)当变换到HOA域和变换回空间域时，空间信号的能量应该被保存(能量保存需求)。
即使对于理想的渲染布局，需求2和3也似乎是彼此矛盾的。当使用简单的方法得出DSHT变换矩阵，例如从现有技术中已知的方法时，只有需求(2)和(3)中的一个或另一个可以被无误差地满足。无误差地满足需求(2)和(3)中的一个导致另一个需求中的误差超过3dB。这通常导致可听到的声学伪像。克服这个问题的方法在下面描述。
首先，选择理想的球形布局，其中L＝(N+1)2。(虚拟)扬声器位置的L个方向由Ω1给出，且相关的模式矩阵被表示为
Figure BDA0001842276050000103
每个
Figure BDA0001842276050000104
都是含有方向Ω1的球谐的模式矢量。与球形布局位置相关的L个积分增益(quadrature gain)被集合在矢量
Figure BDA0001842276050000105
中。这些积分增益对在这样的位置周围的球形区域进行估计，且全部增益总计为与半径为1的球的表面相关的4π。
第一原型(prototype)渲染矩阵
Figure BDA0001842276050000114
由下式得出
Figure BDA0001842276050000111
注意，由于后面的归一化步骤(见下面)，除以L可以被省略。
第二，执行紧凑奇异值分解：
Figure BDA0001842276050000115
且第二原型矩阵由下式得出
Figure BDA0001842276050000112
第三，原型矩阵被归一化：
Figure BDA0001842276050000113
其中k表示矩阵范数种类。两个矩阵范数种类显示出同样好的性能。应该使用k＝1范数或者Frobenius范数。这个矩阵满足需求3(能量保存)。
第四，在最后的步骤中满足需求2的振幅误差被代入：
行矢量e由
Figure BDA0001842276050000116
计算，其中[1，0，0，..，0]是有(N+1)2个元素的、除第一个元素的值为1之外其余全为零元素的行矢量。
Figure BDA0001842276050000117
表示
Figure BDA0001842276050000118
的行矢量的和。现在，通过代入振幅误差得出渲染矩阵DL：
Figure BDA0001842276050000119
其中矢量e被加到
Figure BDA00018422760500001110
的每一行。这个矩阵满足需求2和需求3。
Figure BDA00018422760500001111
的第一行元素全部变为1。
在下面，解释了对DRC的详细需求。
首先，在空间域中应用的、值为g1的LL个相同的增益等于将增益g1应用到HOA系数：
Figure BDA0001842276050000121
这导致需求：
Figure BDA0001842276050000122
意味着L＝(N+1)2且
Figure BDA0001842276050000123
需要存在(平凡(trivial))。
第二，分析空间域中的和信号等于分析第零阶HOA分量。DRC分析器使用信号的能量和它的振幅。因而和信号与振幅和能量相关。
HOA的信号模型：B＝ΨeXs，
Figure BDA0001842276050000124
是S个方向信号的矩阵；
Figure BDA0001842276050000125
是与方向Ω1,..,Ωs相关的N3D模式矩阵。模式矢量
Figure BDA0001842276050000126
是从球谐组合而来的。在N3D表示中，第零阶分量
Figure BDA0001842276050000127
与方向独立。
第零阶分量HOA信号需要变成方向信号的和
Figure BDA0001842276050000128
以反映求和信号的正确振幅。1S是从值为1的S个元素组合而来的矢量。
方向信号的能量在这个混合中被保存，因为
Figure BDA0001842276050000129
如果信号Xs不相关，那么这将简化成
Figure BDA00018422760500001210
在空间域中振幅的和由
Figure BDA00018422760500001211
给出，其中HOA平移(panning)矩阵ML＝DLΨe。
因为
Figure BDA00018422760500001212
所以这变成
Figure BDA00018422760500001213
后者的需求可以与有时在像VBAP的平移中使用的幅度需求的和来比较。根据经验可以看出，这可以对于
Figure BDA00018422760500001214
的、非常对称的球形扬声器设置以良好近似来实现，因为我们发现：
Figure BDA0001842276050000133
该振幅需求可以随后以必要的精确度被达到。
这也确保了对和信号的能量需求可以被满足：
在空间域中能量和由
Figure BDA0001842276050000134
给出，如果存在所需要的理想对称扬声器设置，那么该式将变成良好近似
Figure BDA0001842276050000131
这导致了需求：
Figure BDA0001842276050000135
且另外，由信号模型我们也可以得出结论，
Figure BDA0001842276050000136
的顶行需要是[1，1，1，1，..]，即带有“1”元素的、长度为L的矢量，以使得重新编码的零阶信号保持振幅和能量。
第三，能量保存是前提：在转换到HOA并独立于信号的方向Ωs空间渲染到扩音器之后，信号
Figure BDA0001842276050000137
的能量应该被保存。这导致
Figure BDA0001842276050000138
这可以通过从旋转矩阵和对角增益矩阵建模DL来实现：DL＝UVTdiag(a)(为了清楚，对方向(Ωs)的依赖性被移除)：
Figure BDA0001842276050000132
对于球谐
Figure BDA0001842276050000139
与
Figure BDA00018422760500001310
相关的所有增益
Figure BDA00018422760500001311
将满足该等式。如果所有增益被选择为相等，这导致
Figure BDA00018422760500001312
需求VVT＝1对于L≥(N+1)2可以被实现，而对于L＜(N+1)2只是被近似。
这导致需求：
Figure BDA00018422760500001313
其中
Figure BDA00018422760500001314
作为示例，在下面描述了理想球面位置(HOA阶次N＝1到N＝3)的情况(表1-表3)。在下面还描述了对于另外的HOA阶次(N＝4到N＝6)的理想球面位置(表4-表6)。所有下述的位置从在下文的参考文献[1]中发表的修正位置得出。得出这些位置和相关的积分/容积增益的方法在下文的参考文献[2]中发表。在这些表格中，方位角从与收听位置相关的正面方向逆时针测量，且倾角从位于收听位置上方的、倾角为0的Z轴测量。
N＝1位置
Figure BDA0001842276050000141
a)
DL:
Figure BDA0001842276050000142
b)
表1.a)HOA阶次N＝1的虚拟扩音器的球面位置，和b)产生的用于空间变换(DSHT)的渲染矩阵
N＝2位置
Figure BDA0001842276050000143
Figure BDA0001842276050000151
a)
DL:
Figure BDA0001842276050000152
b)
表2.a)HOA阶次N＝2的虚拟扩音器的球面位置，和b)产生的用于空间变换(DSHT)的渲染矩阵
N＝3位置
Figure BDA0001842276050000161
表3.a)HOA阶次N＝3的虚拟扩音器的球面位置。
DL:
Figure BDA0001842276050000162
Figure BDA0001842276050000171
b)
表3.b)产生的用于空间变换(DSHT)的渲染矩阵。
术语数值积分经常简写为积分，并且是数值求积(numerical integration)的同义词，特别是当应用到1维求积时。在本文中，多于1维的数值求积被称为容积。
如上所述，将DRC增益应用到HOA信号的典型应用场景在图5中示出。对于混合的内容应用，例如HOA加上音频对象，DRC增益应用可以用灵活渲染的至少两种方式实现。
图6示出了在解码器侧的示例性的动态范围压缩(DRC)处理。在图6a)中，DRC在渲染和混合之前被应用。在图6b)中，DRC被应用到扩音器信号，即在渲染和混合之后。
在图6a)中，DRC增益被分别应用到音频对象和HOA：DRC增益在音频对象DRC功能块610中被应用到音频对象，且DRC增益在HOA DRC功能块615中被应用到HOA。这里功能块HOADRC功能块615的实现与在图5中的DRC功能块的实现匹配。在图6b)中，单一的增益被应用到渲染的HOA和渲染的音频对象信号的混合信号的所有通道。这里，空间增强和衰减均不可能。相关的DRC增益不能通过分析渲染的混合的和信号来创建，因为在广播或内容创建站点处创建时，消费者站点的扬声器布局并不是已知的。DRC增益可以通过分析
Figure BDA0001842276050000183
得出，其中ym是S个音频对象xs的单声道下混和第零阶HOA信号bw的混合：
Figure BDA0001842276050000181
在下面，描述了公开的解决方案的另外的细节。
用于HOA内容的DRC
DRC在渲染之前被应用到HOA，或可以与渲染组合。用于HOA的DRC可以在时域中或QMF滤波器组域中被应用。
对于时域中的DRC，DRC解码器根据HOA信号c的HOA系数通道的数目来提供(N+1)2个增益值
Figure BDA0001842276050000184
N是HOA阶。
DRC增益根据下式被应用到HOA信号：
Figure BDA0001842276050000182
其中c是HOA系数的一个时间采样的矢量
Figure BDA0001842276050000191
且
Figure BDA0001842276050000192
和它的逆
Figure BDA0001842276050000193
是与为了DRC目的而优化的离散球谐变换(DSHT)相关的矩阵。
在一个实施例中，对于将计算量降低每采样(N+1)4个操作，包括渲染步骤并由
Figure BDA0001842276050000194
直接计算扩音器信号可以是有利的，其中D是渲染矩阵且
Figure BDA0001842276050000195
可以被预先计算。
如果所有的增益
Figure BDA0001842276050000196
具有相同的gdrc值，如在简化模式中，那么单一的增益组已被用于发送编码器DRC增益。这种情况可以由DRC解码器标记，因为在这种情况下，不需要在空间滤波器中的计算，所以该计算简化为：
cdrc＝gdrcc
上面描述了怎样获得和应用DRC增益值。在下面，描述了用于DRC的DSHT矩阵的计算。
在下面，DL被重命名为DDSHT。确定空间滤波器DDSHT和它的逆
Figure BDA0001842276050000197
的矩阵被如下计算：
球面位置集合
Figure BDA0001842276050000198
(其中Ωl＝[θl，φl]T)和相关的积分(容积)增益
Figure BDA0001842276050000199
被选择，由来自表1-表4的HOA阶N次索引。与这些位置相关的模式矩阵ΨDSHT被如上所述地计算。即，模式矩阵ΨDSHT根据
Figure BDA00018422760500001910
包括模式矢量，其中每个
Figure BDA00018422760500001911
是含有预定的方向Ωl的球谐的模式矢量，Ωl＝[θl，φl]T。根据表1-表6(对于1<N<6示例地)，该预定的方向依赖于HOA阶次N。第一原型矩阵由
Figure BDA00018422760500001912
计算(由于随后的归一化，除以(N+1)2可以被略过)。紧凑奇异值分解被执行
Figure BDA0001842276050000201
且新的原型矩阵由
Figure BDA0001842276050000202
计算。这个矩阵由
Figure BDA0001842276050000203
归一化。行矢量e由
Figure BDA0001842276050000204
计算，其中[1，0，0，..，0]是有(N+1)2个元素的、除第一个元素值为1外其余全为零元素的行矢量。
Figure BDA0001842276050000205
表示
Figure BDA0001842276050000206
的行的和。现在，优化的DSHT矩阵DDSHT由下式得出：
Figure BDA0001842276050000207
已经发现，如果使用-e代替e，那么本发明提供略差、但是仍然可用的结果。
对于在QMF滤波器组域中的DRC，以下适用。
DRC解码器为(N+1)2个空间通道的每个时间频率片段(tile)n，m提供增益值gch(n，m)。用于时间片n和频带m的增益被布置在
Figure BDA0001842276050000208
中。
多频带DRC在QMF滤波器组域中被应用。处理步骤在图7中示出。重构的HOA信号通过(逆DSHT)被变换到空间域中：WDSHT＝DDSHTC，其中
Figure BDA0001842276050000209
是τ个HOA采样的块，且
Figure BDA00018422760500002010
是与QMF滤波器组的输入时间颗粒度匹配的空间采样的块。然后QMF分析滤波器组被应用。令
Figure BDA00018422760500002011
表示每时间频率片段(n，m)的空间通道的矢量。随后DRC增益被应用：
Figure BDA00018422760500002012
为了最小化计算复杂度，DSHT和到扩音器通道的渲染被组合：
Figure BDA00018422760500002013
其中D表示HOA渲染矩阵。QMF信号随后可以被馈送到混合器用于进一步处理。
图7示出了与渲染步骤组合的、QMF域中的HOA的DRC。
如果只有用于DRC的单一的增益组被使用，那么这应该由DRC解码器标记，还是因为计算简化是可能的。在这种情况下，矢量g(n，m)中的增益全部共享相同的gDRC(n，m)值。可以将QMF滤波器组直接应用到HOA信号，且可以在滤波器组域乘以增益gDRC(n，m)。
图8示出了与渲染步骤组合的、QMF域(正交镜像滤波器的滤波器域)中的HOA的DRC，其中对于单一的DRC增益组的简单情况计算简化。
如鉴于上述内容已经清楚的，在一个实施例中，本发明涉及将动态范围压缩增益因子应用到HOA信号的方法，该方法包括以下步骤：接收HOA信号和一个或多个增益因子，将HOA信号变换40到空间域，其中iDSHT与从虚拟扩音器的球面位置和积分增益q获得的变换矩阵一起使用，并且其中，变换的HOA信号被获得，将该增益因子与变换的HOA信号相乘，其中，动态范围压缩的变换的HOA信号被获得；及将该动态范围压缩的变换的HOA信号变换回HOA域，该HOA域为系数域并且使用离散球谐变换(DSHT)，其中，动态范围压缩的HOA信号被获得。
此外，变换矩阵根据
Figure BDA0001842276050000212
来计算，其中
Figure BDA0001842276050000211
是
Figure BDA0001842276050000213
的归一化形式，U，V根据
Figure BDA0001842276050000214
获得，ΨDSHT是与虚拟扩音器的使用的球面位置相关的球谐的转置模式矩阵，且eT是
Figure BDA0001842276050000215
的转置形式。。
另外，在一个实施例中，本发明涉及将DRC增益因子应用到HOA信号的设备，该设备包括处理器或一个或多个处理元件，该处理器或一个或多个处理元件适于接收HOA信号和一个或多个增益因子，将HOA信号变换40到空间域，其中iDSHT与从积分增益q和虚拟扩音器的球面位置获得的变换矩阵一起使用，并且其中，变换的HOA信号被获得，将增益因子与变换的HOA信号相乘，其中动态范围压缩的变换的HOA信号被获得；以及将动态范围压缩的变换的HOA信号变换回HOA域，所述HOA域为系数域并使用离散球谐变换(DSHT)，其中，动态范围压缩的HOA信号被获得。
此外，根据
Figure BDA0001842276050000221
计算变换矩阵，其中
Figure BDA0001842276050000222
是
Figure BDA0001842276050000223
的归一化形式，U，V根据
Figure BDA0001842276050000224
获得，ΨDSHT是与使用的虚拟扩音器的球面位置相关的球谐的转置模式矩阵，且eT是
Figure BDA0001842276050000225
的转置形式。
另外，在一个实施例中，本发明涉及具有计算机可执行指令的计算机可读存储介质，该计算机可执行指令在计算机上运行时使计算机执行用于将动态范围压缩增益因子应用到高阶高保真立体声(HOA)信号的方法，该方法包括接收HOA信号和一个或多个增益因子，将HOA信号变换40到空间域，其中iDSHT与从积分增益q和虚拟扩音器的球面位置获得的变换矩阵一起使用，并且其中，变换的HOA信号被获得，将增益因子与变换的HOA信号相乘，其中动态范围压缩的变换的HOA信号被获得；以及将动态范围压缩的变换的HOA信号变换回HOA域，所述HOA域为系数域并使用离散球谐变换(DSHT)，其中，动态范围压缩的HOA信号被获得。
其中，根据
Figure BDA0001842276050000231
计算变换矩阵，其中
Figure BDA0001842276050000232
是
Figure BDA0001842276050000233
的归一化形式，U，V根据
Figure BDA0001842276050000234
获得，ΨDSHT是与使用的虚拟扩音器的球面位置相关的球谐的转置模式矩阵，且eT是
Figure BDA0001842276050000235
的转置形式。
另外，在一个实施例中，本发明涉及对HOA信号执行DRC的方法，该方法包括以下步骤：设置或确定模式，该模式是简化模式或者是非简化模式，在非简化模式中，将HOA信号变换到空间域，其中使用了逆DSHT，在非简化模式中，分析变换的HOA信号，而在简化模式中，分析HOA信号，从所述分析的结果获得可用于动态范围压缩的一个或多个增益因子，其中在简化模式中只有一个增益因子被获得，而在非简化模式中两个或更多个不同的增益因子被获得，在简化模式中，将获得的增益因子乘以HOA信号，其中增益压缩的HOA信号被获得，在非简化模式中，将获得的增益因子乘以变换的HOA信号，其中，增益压缩的变换的HOA信号被获得，并将该增益压缩的变换的HOA信号变换回HOA域，其中增益压缩的HOA信号被获得。
在一个实施例中，该方法还包括以下步骤：接收指示简化模式或者非简化模式的指示标志；如果所述指示标志指示非简化模式，则选择非简化模式，而如果所述指示标志指示简化模式，则选择简化模式；其中，将HOA信号变换到空间域的步骤和将动态范围压缩的变换的HOA信号变换回HOA域的步骤只在非简化模式中执行，及其中，在简化模式中，只有一个增益因子与HOA信号形成。
在一个实施例中，该方法还包括以下步骤，在简化模式中分析HOA信号，而在非简化模式中分析变换的HOA信号；从所述分析的结果获得能够用于动态范围压缩的一个或多个增益因子，其中在非简化模式中，两个或更多个不同的增益因子被获得，而在简化模式中，只有一个增益因子被获得；其中，在简化模式中，通过所述的将获得的增益因子乘以HOA信号来获得增益压缩的HOA信号，及其中，在非简化模式中，通过将获得的两个或更多个增益因子乘以变换的HOA信号来获得所述增益压缩的变换的HOA信号，并且其中，在非简化模式中，所述的将HOA信号变换到空间域使用了逆DSHT。
在一个实施例中，HOA信号被分成频率子带，且(一个或多个)增益因子被获得并被分别应用到每个频率子带，其中对于每个子带有单独的增益。在一个实施例中，以下步骤被分别应用到每个频率子带：分析HOA信号(或变换的HOA信号)，获得一个或多个增益因子，将获得的(一个或多个)增益因子乘以HOA信号(或变换的HOA信号)，并将增益压缩的变换的HOA信号变换回HOA域，其中对于每个子带有单独的增益。应该注意，将HOA信号分成频率子带和将HOA信号变换到空间域的顺序可以互换，和/或对子带进行合成和将增益压缩的变换的HOA信号变换回HOA域的顺序可以互换，它们彼此独立。
在一个实施例中，该方法还包括，在乘以增益因子的步骤之前、将变换的HOA信号与获得的增益因子和这些增益因子的数目一起发送的步骤。
在一个实施例中，变换矩阵根据模式矩阵ΨDSHT和对应的积分增益来计算，其中模式矩阵ΨDSHT根据
Figure BDA0001842276050000241
包括模式矢量，每个
Figure BDA0001842276050000251
是含有预定义的方向Ωl的球谐的模式矢量，Ωl＝[θl，φl]T，该预定义的方向依赖于HOA阶次N。
在一个实施例中，该HOA信号B被变换到空间域以获得变换的HOA信号WDSHT，且变换的HOA信号WDSHT根据WDSHT＝diag(g)DLB被逐采样地乘以增益值diag(g)，并且该方法包括另外的根据
Figure BDA0001842276050000252
将变换的HOA信号变换到不同的第二空间域的步骤，其中
Figure BDA0001842276050000253
在初始化阶段根据
Figure BDA0001842276050000254
被预先计算，且其中D是将HOA信号变换到不同的第二空间域的渲染矩阵。
在一个实施例中，至少如果(N+1)2＜τ，其中N是HOA阶次且τ是DRC块大小，那么该方法还包括以下步骤：根据
Figure BDA0001842276050000255
将增益矢量变换53到HOA域，其中G是增益矩阵且DL是定义所述的DSHT的DSHT矩阵；及根据BDRC＝GB将增益矩阵G应用到HOA信号B的HOA系数，其中，DRC压缩的HOA信号BDRC被获得。
在一个实施例中，至少如果L＜τ，其中L是输出通道的数目且τ是DRC块大小，那么该方法还包括以下步骤：根据
Figure BDA0001842276050000256
将增益矩阵G应用到渲染器矩阵D，其中，动态范围压缩的渲染器矩阵
Figure BDA0001842276050000257
被获得；以及使用动态范围压缩的渲染器矩阵来渲染HOA信号。
在一个实施例中，本发明涉及将DRC增益因子应用到HOA信号的方法，该方法包括以下步骤：将HOA信号与指示标志和一个或多个增益因子一起接收，该指示标志指示简化模式或者非简化模式，其中如果指示标志指示简化模式，则只有一个增益因子被接收，根据所述的指示标志选择简化模式或者非简化模式，在简化模式中，将增益因子乘以HOA信号，其中动态范围压缩的HOA信号被获得，而在非简化模式中，将HOA信号变换到空间域，其中变换的HOA信号被获得，将该增益因子乘以变换的HOA信号，其中动态范围压缩的变换的HOA信号被获得，及将该动态范围压缩的变换的HOA信号变换回HOA域，其中动态范围压缩的HOA信号被获得。
另外，本发明的一个实施例中涉及对HOA信号执行DRC的设备，该设备包括处理器或一个或多个处理元件，该处理器或一个或多个处理元件适于：设置或确定模式，该模式是简化模式或者是非简化模式，在非简化模式中，将HOA信号变换到空间域，其中使用了逆DSHT，在非简化模式中，分析变换的HOA信号，而在简化模式中，分析HOA信号，从所述分析的结果获得可用于动态范围压缩的一个或多个增益因子，其中在简化模式中只有一个增益因子被获得，而在非简化模式中两个或更多个不同的增益因子被获得，在简化模式中，将获得的增益因子乘以HOA信号，其中增益压缩的HOA信号被获得，在非简化模式中，将获得的增益因子乘以变换的HOA信号，其中，增益压缩的变换的HOA信号被获得，并将该增益压缩的变换的HOA信号变换回HOA域，其中增益压缩的HOA信号被获得。
在一个实施例中，只对于非简化模式，对HOA信号执行DRC的设备包括适于以下操作的处理器或一个或多个处理元件：将HOA信号变换到空间域，分析该变换的HOA信号，从所述分析的结果获得可用于动态范围压缩的增益因子，将获得的因子乘以变换的HOA信号，其中增益压缩的变换的HOA信号被获得，并且将该增益压缩的变换的HOA信号变换回HOA域，其中增益压缩的HOA信号被获得。在一个实施例中，该设备还包括在乘以获得的一个或多个增益因子之前，将HOA信号与获得的一个或多个增益因子一起发送的发送单元。
这里还应该注意，将HOA信号分成频率子带和将HOA信号变换到空间域的顺序可以互换，且将子带进行合成和将增益压缩的变换的HOA信号变换回HOA域的顺序可以互换，它们彼此独立。
另外，在一个实施例中，本发明涉及将DRC增益因子应用到HOA信号的设备，该设备包括处理器或一个或多个处理元件，该处理器或一个或多个处理元件适于：将HOA信号与指示标志和一个或多个增益因子一起接收，该指示标志指示简化模式或者非简化模式，其中如果指示标志指示简化模式，则只有一个增益因子被接收，根据所述的指示标志将所述设备设定为简化模式或者非简化模式，在简化模式中，将增益因子乘以HOA信号，其中动态范围压缩的HOA信号被获得，而在非简化模式中，将HOA信号变换到空间域，其中变换的HOA信号被获得，将该增益因子乘以变换的HOA信号，其中动态范围压缩的变换的HOA信号被获得，及将该动态范围压缩的变换的HOA信号变换回HOA域，其中动态范围压缩的HOA信号被获得。
在一个实施例中，该设备还包括在乘以获得的增益因子之前，将HOA信号与获得的增益因子一起发送的发送单元。在一个实施例中，HOA信号被分成频率子带，且以下处理被分别应用到每个频率子带：分析变换的HOA信号，获得增益因子，将获得的增益因子乘以变换的HOA信号，并将增益压缩的变换的HOA信号变换回HOA域，其中对于每个子带有单独的增益。
在将DRC增益因子应用到HOA信号的设备的一个实施例中，HOA信号被分成多个频率子带，且以下处理被分别应用到每个频率子带：获得一个或多个增益因子，将获得的增益因子乘以HOA信号或变换的HOA信号，并且在非简化模式中将增益压缩的变换的HOA信号变换回HOA域，其中对于每个子带有单独的增益。
另外，在只有非简化模式被使用的一个实施例中，本发明涉及将DRC增益因子应用到HOA信号的设备，该设备包括适于以下操作的处理器或一个或多个处理元件：将HOA信号与增益因子一起接收，将HOA信号变换到空间域(使用iDSHT)，其中变换的HOA信号被获得，将增益因子乘以变换的HOA信号，其中动态范围压缩的变换的HOA信号被获得，并且将该动态范围压缩的变换的HOA信号变换回HOA域(即，系数域)(使用DSHT)，其中动态范围压缩的HOA信号被获得。
下面的表格表4-表6列出了用于阶次N的HOA的虚拟扩音器的球面位置，其中N＝4,5或6。
虽然已经示出，描述并指出了应用到其优选实施例的、本发明的基本的新颖特征，但是应当理解，本领域的技术人员可以在描述的装置和方法中，在公开的设备的形式和细节中，及在它们的操作中进行各种省略和替代及改变，而不会背离本发明的精神。清楚地意图是以基本上相同的方式执行基本上相同的功能以实现相同的结果的这些元件的所有组合均在本发明的范围之内。从一个描述的实施例到另一个实施例中的元件替代也完全是可预期并可想到的。
应该理解，本发明已经仅仅通过举例说明被描述，并且在不背离本发明的范围的情况下可以进行细节的修改。在说明书和(合适的)权利要求书和附图中公开的每个特征可以被独立地提供或以任何合适的组合被提供。特征可以合适地在硬件，软件或该两者的组合中实现。
参考文献：
[1]“Integration nodes for the sphere”,
Figure BDA0001842276050000281
Fliege 2010,online accessed2010-10-05http://-www.mathematik.uni-dortmund.de/lsx/research/projects/fliege/nodes/nodes.html
[2]“A two-stage approach for computing cubature formulae for thesphere”,
Figure BDA0001842276050000282
Fliege and Ulrike Maier,Technical report,Fachbereich Mathematik,
Figure BDA0001842276050000283
Dortmund,1999
N＝4位置
Figure BDA0001842276050000291
表4：HOA阶次N＝4的虚拟扩音器的球面位置
N＝5位置
Figure BDA0001842276050000292
Figure BDA0001842276050000301
表5：HOA阶次N＝5的虚拟扩音器的球面位置
N＝6位置
Figure BDA0001842276050000302
Figure BDA0001842276050000311
表6：HOA阶次N＝6的虚拟扩音器的球面位置。

Claims (10)

1.一种用于在时域中将动态范围压缩DRC应用于高阶高保真立体声HOA信号的方法，该方法包括
接收HOA信号，以及一个或多个DRC增益
Figure FDA0004111049030000011
其中N是HOA信号的HOA阶次；
基于下式将所述一个或多个DRC增益gdrc应用于HOA信号：
Figure FDA0004111049030000012
其中，其中c是HOA系数的一个时间采样的矢量
Figure FDA0004111049030000013
且
Figure FDA0004111049030000014
和它的逆
Figure FDA0004111049030000015
是与为了DRC目的而优化的离散球谐变换DSHT相关的矩阵。
2.根据权利要求1所述的方法，还包括基于
Figure FDA0004111049030000016
将信号渲染至扬声器，其中D是渲染矩阵。
3.根据权利要求2所述的方法，其中，
Figure FDA0004111049030000017
被预先计算。
4.根据权利要求1所述的方法，还包括：
接收指示简化模式的标记，其中，基于简化模式激活的确定，所述一个或多个DRC增益
Figure FDA0004111049030000018
都具有相同值，并且其中，基于cdrc＝gdrcc将所述一个或多个DRC增益gdrc应用于HOA信号。
5.一种用于在时域中将动态范围压缩DRC应用于高阶高保真立体声HOA信号的设备，所述设备包括：
接收器，用于接收HOA信号以及一个或多个DRC增益
Figure FDA0004111049030000021
其中N是HOA信号的HOA阶次；
处理器，用于基于下式将所述一个或多个DRC增益gdrc应用于HOA信号：
Figure FDA0004111049030000022
其中，其中c是HOA系数的一个时间采样的矢量
Figure FDA0004111049030000023
且
Figure FDA0004111049030000024
和它的逆
Figure FDA0004111049030000025
是与为了DRC目的而优化的离散球谐变换DSHT相关的矩阵。
6.根据权利要求5所述的设备，其中，处理器进一步配置用于基于
Figure FDA0004111049030000026
将信号渲染至扬声器，其中D是渲染矩阵。
7.根据权利要求6所述的设备，其中，
Figure FDA0004111049030000027
被预先计算。
8.根据权利要求5所述的设备，其中，处理器进一步配置用于：
接收指示简化模式的标记，其中，基于简化模式激活的确定，所述一个或多个DRC增益
Figure FDA0004111049030000028
都具有相同值，并且其中，基于cdrc＝gdrcc将所述一个或多个DRC增益gdrc应用于HOA信号。
9.一种用于在时域中将动态范围压缩DRC应用于高阶高保真立体声HOA信号的设备，包括：
一个或多个处理器，以及
一个或多个存储介质，存储指令，所述指令在被所述一个或多个处理器执行时使得执行根据权利要求1-4中任一项所述的方法。
10.一种计算机可读存储介质，存储指令，所述指令在被一个或多个处理器执行时使得执行根据权利要求1-4中任一项所述的方法。
CN201811253717.1A 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备 Active CN109087654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811253717.1A CN109087654B (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
EP14305423 2014-03-24
EP14305423.7 2014-03-24
EP14305559.8 2014-04-15
EP14305559.8A EP2934025A1 (en) 2014-04-15 2014-04-15 Method and device for applying dynamic range compression to a higher order ambisonics signal
PCT/EP2015/056206 WO2015144674A1 (en) 2014-03-24 2015-03-24 Method and device for applying dynamic range compression to a higher order ambisonics signal
CN201811253717.1A CN109087654B (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN201580015764.0A CN106165451B (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580015764.0A Division CN106165451B (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备

Publications (2)

Publication Number Publication Date
CN109087654A CN109087654A (zh) 2018-12-25
CN109087654B true CN109087654B (zh) 2023-04-21

Family

ID=52727138

Family Applications (8)

Application Number Title Priority Date Filing Date
CN201811253717.1A Active CN109087654B (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN201811253730.7A Active CN109036441B (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN202311083699.8A Pending CN117133298A (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN202311083155.1A Pending CN117153172A (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN201811253713.3A Active CN109285553B (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN201811253721.8A Active CN108962266B (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN201811253716.7A Active CN109087653B (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN201580015764.0A Active CN106165451B (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备

Family Applications After (7)

Application Number Title Priority Date Filing Date
CN201811253730.7A Active CN109036441B (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN202311083699.8A Pending CN117133298A (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN202311083155.1A Pending CN117153172A (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN201811253713.3A Active CN109285553B (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN201811253721.8A Active CN108962266B (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN201811253716.7A Active CN109087653B (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备
CN201580015764.0A Active CN106165451B (zh) 2014-03-24 2015-03-24 对高阶高保真立体声信号应用动态范围压缩的方法和设备

Country Status (13)

Country Link
US (7) US9936321B2 (zh)
EP (3) EP3123746B1 (zh)
JP (6) JP6246948B2 (zh)
KR (5) KR102201027B1 (zh)
CN (8) CN109087654B (zh)
AU (5) AU2015238448B2 (zh)
BR (5) BR122020020730B1 (zh)
CA (3) CA2946916C (zh)
HK (2) HK1258770A1 (zh)
RU (2) RU2658888C2 (zh)
TW (7) TWI695371B (zh)
UA (1) UA119765C2 (zh)
WO (1) WO2015144674A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607624B2 (en) * 2013-03-29 2017-03-28 Apple Inc. Metadata driven dynamic range control
US9934788B2 (en) * 2016-08-01 2018-04-03 Bose Corporation Reducing codec noise in acoustic devices
TWI594231B (zh) * 2016-12-23 2017-08-01 瑞軒科技股份有限公司 分頻壓縮電路，音訊處理方法以及音訊處理系統
US10972859B2 (en) * 2017-04-13 2021-04-06 Sony Corporation Signal processing apparatus and method as well as program
US10999693B2 (en) * 2018-06-25 2021-05-04 Qualcomm Incorporated Rendering different portions of audio data using different renderers

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005027094A1 (fr) * 2003-09-17 2005-03-24 Beijing E-World Technology Co.,Ltd. Procede et dispositif de quantification de vecteur multi-resolution multiple pour codage et decodage audio
EP1629437A2 (en) * 2003-05-20 2006-03-01 AMT Advanced Multimedia Technology AB Hybrid digital video compression
WO2007021121A1 (en) * 2005-08-16 2007-02-22 Samsung Electronics Co., Ltd. Communication method and apparatus using forward differential drc in a multi-frequency mobile communication system
JP2011055204A (ja) * 2009-09-01 2011-03-17 National Institute Of Advanced Industrial Science & Technology 動画像の圧縮方法及び圧縮装置
CN102265513A (zh) * 2008-12-24 2011-11-30 杜比实验室特许公司 频域中的音频信号响度确定和修改
CN102682780A (zh) * 2008-09-30 2012-09-19 杜比国际公司 音频元数据的编码变换
EP2688066A1 (en) * 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction
WO2014013070A1 (en) * 2012-07-19 2014-01-23 Thomson Licensing Method and device for improving the rendering of multi-channel audio signals

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2012A (en) * 1841-03-18 Machine foe
DE3640752A1 (de) 1986-11-28 1988-06-09 Akzo Gmbh Anionische polyurethane
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6311155B1 (en) * 2000-02-04 2001-10-30 Hearing Enhancement Company Llc Use of voice-to-remaining audio (VRA) in consumer applications
US6670115B1 (en) * 1999-11-24 2003-12-30 Biotronic Technologies, Inc. Devices and methods for detecting analytes using electrosensor having capture reagent
US6959275B2 (en) * 2000-05-30 2005-10-25 D.S.P.C. Technologies Ltd. System and method for enhancing the intelligibility of received speech in a noise environment
US20040010329A1 (en) * 2002-07-09 2004-01-15 Silicon Integrated Systems Corp. Method for reducing buffer requirements in a digital audio decoder
US6975773B1 (en) * 2002-07-30 2005-12-13 Qualcomm, Incorporated Parameter selection in data compression and decompression
CN1677493A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
WO2005096273A1 (fr) * 2004-04-01 2005-10-13 Beijing Media Works Co., Ltd Ameliorations apportees a un procede et un dispositif de codage/decodage audio
CN1677490A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
CN1677491A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
US7565018B2 (en) * 2005-08-12 2009-07-21 Microsoft Corporation Adaptive coding and decoding of wide-range coefficients
US20070177654A1 (en) * 2006-01-31 2007-08-02 Vladimir Levitine Detecting signal carriers of multiple types of signals in radio frequency input for amplification
JP4981123B2 (ja) * 2006-04-04 2012-07-18 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号の知覚音量及び／又は知覚スペクトルバランスの計算と調整
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
EP2070390B1 (en) * 2006-09-25 2011-01-12 Dolby Laboratories Licensing Corporation Improved spatial resolution of the sound field for multi-channel audio playback systems by deriving signals with high order angular terms
MX2011011399A (es) * 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
EP4293665A3 (en) * 2008-10-29 2024-01-10 Dolby International AB Signal clipping protection using pre-existing audio gain metadata
US8817991B2 (en) * 2008-12-15 2014-08-26 Orange Advanced encoding of multi-channel digital audio signals
GB2473266A (en) * 2009-09-07 2011-03-09 Nokia Corp An improved filter bank
TWI447709B (zh) * 2010-02-11 2014-08-01 Dolby Lab Licensing Corp 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法
MX2012011532A (es) * 2010-04-09 2012-11-16 Dolby Int Ab Codificacion a estereo para prediccion de complejos basados en mdct.
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2469741A1 (en) * 2010-12-21 2012-06-27 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
US20120307889A1 (en) * 2011-06-01 2012-12-06 Sharp Laboratories Of America, Inc. Video decoder with dynamic range adjustments
EP2541547A1 (en) * 2011-06-30 2013-01-02 Thomson Licensing Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation
KR102003191B1 (ko) * 2011-07-01 2019-07-24 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법
US8996296B2 (en) * 2011-12-15 2015-03-31 Qualcomm Incorporated Navigational soundscaping
EP2665208A1 (en) 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
US20130315402A1 (en) * 2012-05-24 2013-11-28 Qualcomm Incorporated Three-dimensional sound compression and over-the-air transmission during a call
US9332373B2 (en) 2012-05-31 2016-05-03 Dts, Inc. Audio depth dynamic range enhancement
CN104584588B (zh) * 2012-07-16 2017-03-29 杜比国际公司 用于渲染音频声场表示以供音频回放的方法和设备
EP2690621A1 (en) * 2012-07-26 2014-01-29 Thomson Licensing Method and Apparatus for downmixing MPEG SAOC-like encoded audio signals at receiver side in a manner different from the manner of downmixing at encoder side
TWI673707B (zh) 2013-07-19 2019-10-01 瑞典商杜比國際公司 將以L<sub>1</sub>個頻道為基礎之輸入聲音訊號產生至L<sub>2</sub>個揚聲器頻道之方法及裝置，以及得到一能量保留混音矩陣之方法及裝置，用以將以輸入頻道為基礎之聲音訊號混音以用於L<sub>1</sub>個聲音頻道至L<sub>2</sub>個揚聲器頻道
US9984693B2 (en) * 2014-10-10 2018-05-29 Qualcomm Incorporated Signaling channels for scalable coding of higher order ambisonic audio data
US11019449B2 (en) * 2018-10-06 2021-05-25 Qualcomm Incorporated Six degrees of freedom and three degrees of freedom backward compatibility
TWD224673S (zh) 2021-06-18 2023-04-11 大陸商台達電子企業管理（上海）有限公司 雙輸入電源供應器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1629437A2 (en) * 2003-05-20 2006-03-01 AMT Advanced Multimedia Technology AB Hybrid digital video compression
WO2005027094A1 (fr) * 2003-09-17 2005-03-24 Beijing E-World Technology Co.,Ltd. Procede et dispositif de quantification de vecteur multi-resolution multiple pour codage et decodage audio
WO2007021121A1 (en) * 2005-08-16 2007-02-22 Samsung Electronics Co., Ltd. Communication method and apparatus using forward differential drc in a multi-frequency mobile communication system
CN102682780A (zh) * 2008-09-30 2012-09-19 杜比国际公司 音频元数据的编码变换
CN102265513A (zh) * 2008-12-24 2011-11-30 杜比实验室特许公司 频域中的音频信号响度确定和修改
JP2011055204A (ja) * 2009-09-01 2011-03-17 National Institute Of Advanced Industrial Science & Technology 動画像の圧縮方法及び圧縮装置
EP2688066A1 (en) * 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction
WO2014013070A1 (en) * 2012-07-19 2014-01-23 Thomson Licensing Method and device for improving the rendering of multi-channel audio signals

Also Published As

Publication number Publication date
KR20160138054A (ko) 2016-12-02
EP3451706B1 (en) 2023-11-01
RU2016141386A3 (zh) 2018-04-26
BR122020020719B1 (pt) 2023-02-07
US10893372B2 (en) 2021-01-12
BR122020014764B1 (pt) 2022-10-11
CN106165451A (zh) 2016-11-23
TW202022852A (zh) 2020-06-16
KR102596944B1 (ko) 2023-11-02
EP4273857A3 (en) 2024-01-17
CA2946916A1 (en) 2015-10-01
CN109087654A (zh) 2018-12-25
BR122020020730B1 (pt) 2022-10-11
TWI718979B (zh) 2021-02-11
CN109285553A (zh) 2019-01-29
US10638244B2 (en) 2020-04-28
UA119765C2 (uk) 2019-08-12
WO2015144674A1 (en) 2015-10-01
CN109036441A (zh) 2018-12-18
US20190052990A1 (en) 2019-02-14
CA3153913C (en) 2024-04-02
US20210314719A1 (en) 2021-10-07
CN109087653A (zh) 2018-12-25
TWI662543B (zh) 2019-06-11
CA3155815A1 (en) 2015-10-01
RU2018118336A (ru) 2018-11-01
US20200359150A1 (en) 2020-11-12
TWI711034B (zh) 2020-11-21
US20200068330A1 (en) 2020-02-27
AU2015238448A1 (en) 2016-11-03
CN106165451B (zh) 2018-11-30
CA3153913A1 (en) 2015-10-01
JP2019176508A (ja) 2019-10-10
CN117153172A (zh) 2023-12-01
AU2021204754A1 (en) 2021-08-05
KR102201027B1 (ko) 2021-01-11
JP6545235B2 (ja) 2019-07-17
TWI833562B (zh) 2024-02-21
CN109087653B (zh) 2023-09-15
JP7101219B2 (ja) 2022-07-14
JP2021002841A (ja) 2021-01-07
BR122018005665B1 (pt) 2022-09-06
RU2018118336A3 (zh) 2021-09-13
EP3123746B1 (en) 2018-05-23
TW202301318A (zh) 2023-01-01
KR20210005320A (ko) 2021-01-13
EP4273857A2 (en) 2023-11-08
US10362424B2 (en) 2019-07-23
RU2760232C2 (ru) 2021-11-23
US11838738B2 (en) 2023-12-05
TWI794032B (zh) 2023-02-21
TWI695371B (zh) 2020-06-01
US20170171682A1 (en) 2017-06-15
HK1258770A1 (zh) 2019-11-22
KR20230156153A (ko) 2023-11-13
US20190320280A1 (en) 2019-10-17
KR20230003642A (ko) 2023-01-06
AU2019205998A1 (en) 2019-08-01
CN108962266A (zh) 2018-12-07
KR102005298B1 (ko) 2019-07-30
US20240098436A1 (en) 2024-03-21
CA2946916C (en) 2022-09-06
JP2023144032A (ja) 2023-10-06
EP3123746A1 (en) 2017-02-01
AU2019205998B2 (en) 2021-04-08
US10567899B2 (en) 2020-02-18
TW202322103A (zh) 2023-06-01
JP2018078570A (ja) 2018-05-17
JP6762405B2 (ja) 2020-09-30
CN117133298A (zh) 2023-11-28
AU2023201911B2 (en) 2024-09-05
AU2023201911A1 (en) 2023-05-04
AU2021204754B2 (en) 2023-01-05
TWI760084B (zh) 2022-04-01
JP7333855B2 (ja) 2023-08-25
TW201942897A (zh) 2019-11-01
RU2016141386A (ru) 2018-04-26
BR112016022008B1 (pt) 2022-08-02
JP6246948B2 (ja) 2017-12-13
EP3451706A1 (en) 2019-03-06
BR112016022008A2 (zh) 2017-08-15
CN108962266B (zh) 2023-08-11
AU2024216344A1 (en) 2024-09-12
CN109036441B (zh) 2023-06-06
US9936321B2 (en) 2018-04-03
AU2015238448B2 (en) 2019-04-18
TW201539431A (zh) 2015-10-16
JP2017513367A (ja) 2017-05-25
KR102479741B1 (ko) 2022-12-22
HK1259306A1 (zh) 2019-11-29
TW202145196A (zh) 2021-12-01
RU2658888C2 (ru) 2018-06-25
TW202044234A (zh) 2020-12-01
KR20190090076A (ko) 2019-07-31
JP2022126881A (ja) 2022-08-30
CN109285553B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
JP7333855B2 (ja) 高次アンビソニックス信号にダイナミックレンジ圧縮を適用するための方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1259306

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TG01 Patent term adjustment
TG01 Patent term adjustment