CN105518775B - 使用自适应相位校准的多声道降混的梳型滤波器的伪迹消除 - Google Patents
使用自适应相位校准的多声道降混的梳型滤波器的伪迹消除 Download PDFInfo
- Publication number
- CN105518775B CN105518775B CN201480041810.XA CN201480041810A CN105518775B CN 105518775 B CN105518775 B CN 105518775B CN 201480041810 A CN201480041810 A CN 201480041810A CN 105518775 B CN105518775 B CN 105518775B
- Authority
- CN
- China
- Prior art keywords
- audio signal
- decoder
- matrix
- input
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003044 adaptive effect Effects 0.000 title description 10
- 230000005236 sound signal Effects 0.000 claims abstract description 225
- 238000012545 processing Methods 0.000 claims abstract description 107
- 239000011159 matrix material Substances 0.000 claims description 233
- 238000000034 method Methods 0.000 claims description 74
- 238000013507 mapping Methods 0.000 claims description 49
- 238000004590 computer program Methods 0.000 claims description 11
- 230000003595 spectral effect Effects 0.000 claims description 5
- 238000012886 linear function Methods 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 37
- 230000008569 process Effects 0.000 description 15
- 239000013598 vector Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000001427 coherent effect Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000010363 phase shift Effects 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000767593 Eulemur hybrids Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- ODKSFYDXXFIFQN-UHFFFAOYSA-M argininate Chemical compound [O-]C(=O)C(N)CCCNC(N)=N ODKSFYDXXFIFQN-UHFFFAOYSA-M 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000008080 stochastic effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Quality & Reliability (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Stereophonic System (AREA)
Abstract
一种音频信号处理解码器，包含至少一个频带(36)，且所述音频信号处理解码器用于处理在至少一个频带(36)内具有多个输入声道(38)的输入音频信号(37)，其中所述解码器(2)被配置用于分析所述输入音频信号(37)，识别所述输入声道(38)之间的声道间依赖性；被配置用于根据所述识别的声道间依赖性(39)以校准所述输入声道(38)的相位，其中所述输入声道(38)的相位互相之间被校准得越多，其声道间依赖性(39)越高；以及被配置用于将所述校准的输入音频信号降混至输出音频信号(40)，所述输出音频信号(40)具有数目比所述输入声道(38)的数目少的输出声道(41)。
Description
技术领域
本发明涉及音频信号处理，特别地，涉及一种使用自适应相位校准的多声道降混的梳型滤波器的伪迹消除。
背景技术
至今为止，一些多声道声音格式被采用，从典型的电影声轨5.1环绕音效至更广泛的3D环绕音效格式。在某些情况下，声音内容必须通过数目较少的扬声器进行传递。
此外，在近期的低比特率音频解码方法中，如在J.Breebaart,S.van de Par,A.Kohlrausch,and E.Schuijers,“Parametric coding of stereoaudio,”EURASIPJournal on Applied Signal Processing,vol.2005,pp.1305–1322,2005以及在J.Herre,K.
J.Breebaart,C.Faller,S.Disch,H.Purnhagen,J.Koppens,J.Hilpert,J.
W.Oomen,K.Linzmeier,and K.S.Chong,“MPEG Surround-The ISO/MPEG standardfor efficient and compatible multichannel audio coding,”J.Audio Eng.Soc,vol.56,no.11,pp.932–955,2008所描述，较高数量的声道被以一组降混信号和空间辅助边信息的形式被传送，使得原始声道配置的多声道信号被还原。这些使用的案例促进了降混方法的发展，很好地保留了声音品质。
最简单的降混方法是使用静态降混矩阵的声道总和。然而，若输入声道包含连贯的声音但在时间上未经过校准，所述降混信号可能达到感知的光谱偏差，例如梳型滤波器的特征。
在J.Breebaart和C.Faller,“Spatial audio processing:MPEG Surround andother applications”.Wiley-Interscience,2008中，描述了一种校准两个输入信号的相位校准方法，其根据在频带所估计的声道间相位差异参数(ICPD)来调整输入声道的相位。此方案提供了如论文里提及的方法的类似基本功能，但却无法应用于多于两个内部相关声道的降混。
在WO 2012/006770,PCT/CN2010/075107(Huawei,Faller,Lang,Xu)中，描述了一种二对一声道(立体声至单声道)情况的相位校准处理。此处理并未直接应用在多声道的音频。
在Wu et al,“Parametric Stereo Coding Scheme with a new Downmix Methodand whole Band Inter Channel Time/Phase Differences”,Proceedings of theICASSP,2013中，提出一种针对降混立体声的使用全频带内部声道相位差异的方法。单声道信号的相位被配置在左声道以及所有相位差异间的相位差异。同时，此方法仅适用于立体声至单声道的降混。多于两个的内部依赖声道在此方法中无法被降混。
发明内容
本发明的目的在于提供对音频信号处理的改进的概念。本发明的目的通过权利要求1所述的编码器、权利要求12所述的解码器、权利要求13所述的系统、权利要求14所述的方法以及权利要求15所述的计算机程序来实现。
提出一种音频信号处理解码器，包含至少一个频带，且所述音频信号处理解码器用于处理在至少一个频带内具有多个输入声道的输入音频信号。所述解码器被配置用于根据所述输入声道之间的声道间依赖性校准所述输入声道的相位，其中所述输入声道的相位互相之间被校准得越多，其声道间依赖性越高。另外，所述解码器用于将所述校准的输入音频信号降混至输出音频信号，所述输出音频信号具有数目比所述输入声道的数目少的输出声道。
所述解码器的基本工作原理为在特定频带的相位中，所述输入音频信号的互依赖(相干)输入声道彼此相互吸引，而所述输入音频信号的相互独立(非相干)的那些输入声道是不受影响的。本文所提出解码器的目的在于改进相对于临界信号抵消条件的后均衡方法的降混品质，同时在非临界条件下提供相同的表现。
另外，所述解码器的至少一些函数可以被传送至所述外部装置，例如编码器，所述外部装置提供所述输入音频信号。这可以提供与信号交互的可能性，在现有技术中解码器可能会产生伪迹。另外，有可能在不改变解码器的情形下更新降混处理规则，并确保高级的降混品质。所述解码器的函数的传送将在下文中详细地进行描述。
在一些实施例中，为了识别在输入音频声道间的声道间依赖性，所述解码器用来分析在频带中的输入音频信号。在这种情况下，当输入音频信号的分析是由解码器本身完成时，提供输入音频信号的编码器可以是标准的编码器。
在一些实施例中，所述解码器可从提供所述输入音频信号的外部装置，例如编码器接收输入声道间的所述声道间依赖性。这个版本允许在解码器里有弹性渲染设置，但在编码器和解码器之间需要更多额外的数据传输，通常在比特流包含所述解码器的输入信号。
在一些实施例中，所述解码器用于根据所述输入音频信号的确定能量，归一化所述输出音频信号的能量，其中所述解码器用于确定所述输入音频信号的所述信号能量。
在一些实施例中，所述解码器用于根据所述输入音频信号的确定能量，归一化所述输出音频信号的所述能量，其中所述解码器用于从提供所述输入音频信号的外部装置，例如编码器接收所述输入音频信号的所述确定能量。
通过确定所述输入音频信号的所述信号能量以及归一化所述输出音频信号的所述能量，可确保所述输出音频信号的所述能量与其他频带相比具有相当的水平。举例而言，所述归一化可用以下方式完成：每个频带的音频输出信号的能量与频带的输入音频信号的能量乘以相对应的降混增益的平方的总和相同。
在各种实施例中，所述解码器可以包含根据降混矩阵用于降混输入音频信号的降混器，其中所述解码器用于计算所述降混矩阵，使得根据识别的声道间依赖性以校准输入声道的相位。矩阵操作是有效解决多维问题的一种数学工具。因此，降混矩阵的使用提供了一种降混所述输入音频信号至输出音频信号的灵活且简单的方法，其中输出音频信号具有的输出声道的数目少于输入音频信号的输入声道的数目。
在一些实施例中，所述解码器包含降混器，所述降混器用于根据降混矩阵降混输入音频信号，其中所述解码器用于接收所述降混矩阵，降混矩阵被计算使得根据来自于提供所述输入音频信号的外部装置，例如编码器的所述识别的声道间依赖性校准输入声道的相位。在此，解码器里的输出音频信号的处理复杂度可大幅地降低。
在一些特定实施例中，所述解码器可用于计算所述降混矩阵，使得根据所述输入音频信号的所述确定能量，所述输出音频信号的所述能量被归一化。在此情况下，所述输出音频信号的所述能量的归一化被集成至降混处理，使得信号处理变得简单。
在一些实施例中，所述解码器可用于接收计算的所述降混矩阵M，使得根据来自于提供所述输入音频信号的外部装置，例如编码器的所述输入音频信号的所述确定能量，所述输出音频信号的所述能量被归一化。
所述能量均衡步骤可以被包含在编码处理或解码器中进行，因为它是一种简单且明确地被定义的处理步骤。
在一些实施例中，所述解码器可用于使用窗口函数分析所述输入音频信号的时间间隔，其中所述声道间依赖性对于每一个时间帧被确定。
在一些实施例中，所述解码器可用于接收使用窗口函数的所述输入音频信号的时间间隔的分析，其中从提供所述输入音频信号的外部装置，例如编码器，所述声道间依赖性对于每一个时间帧被确定。
虽然其他选择也可行，所述处理仍可以以重叠逐帧的方式在两种情况下完成，例如使用递归窗口来评估相关参数。原则上，可选择任何窗口函数。
在一些实施例中，所述解码器用于计算协方差值矩阵，其中所述协方差值表示一对输入音频声道的所述声道间依赖性。计算协方差值矩阵是一种用于获取所述频带的短时间随机特性的简单方法，此短时间随机特性可用于确定所述输入音频信号的所述输入声道的相干性。
在一些实施例中，所述解码器用于从提供所述输入音频信号的外部装置，例如编码器接收协方差值矩阵，其中所述协方差值表示一对输入音频声道的所述声道间依赖性。在此情况下，所述协方差矩阵的计算可以被传递至所述编码器。然后，所述协方差矩阵的所述协方差值必须在所述编码器与所述解码器间的所述比特流中被传送。这个版本允许在接收器处有弹性渲染设置，但需要所述输出音频信号中的额外的数据。
在一些优选的实施例中，可建立归一化协方差值矩阵，其中所述归一化协方差值矩阵以协方差值矩阵为基础。通过此特征，可简化更进一步的处理。
在一些实施例中，所述解码器可用于通过应用映射函数至所述协方差值矩阵或至从所述协方差值矩阵所得到的矩阵而建立吸引力值矩阵。
在一些实施例中，对于所有的协方差值或者从所述协方差值得到的数值，所述映射函数的所述梯度可以大于或等于0。
在一些优选实施例中，对于0到1之间的输入数值，所述映射函数可以达到0到1之间的数值。
在一些实施例中，所述解码器可用于接收吸引力值矩阵A，所述吸引力值矩阵A通过应用映射函数至所述协方差值矩阵或至从所述协方差值矩阵所得到的矩阵而建立。通过应用非线性函数至所协方差值矩阵或者所述协方差值矩阵所得到的矩阵，例如归一化协方差矩阵，所述相位校准在两种情况下都可以被调整。
相位吸引力值矩阵以相位吸引力系数的形式提供控制数据，其用于确定在声道对之间的相位吸引力。根据量测协方差值矩阵，得到每一时间频率片的相位调整，使得具有低协方差值的声道不互相影响且具有高协方差值的声道彼此进行相位搜索。
在一些实施例中，所述映射函数为非线性函数。
在一些实施例中，对于小于第一映射阈值的协方差值或是从所述协方差值得到的数值，所述映射函数等于0，和/或对于协方差值或是从所述协方差值得到的数值大于第二映射阈值，所述映射函数等于1。通过此特征，所述映射函数由三个区间组成。对于小于所述第一映射阈值的所有协方差值或是从协方差值得到的数值，所述相位吸引力系数被计算成0，因此，相位调整并未被执行。对于高于所述第一映射阈值但小于所述第二映射阈值的所有协方差值或是从所述协方差值得到的数值，所述相位吸引力系数被计算成0到1之间的数值，因此，部分相位调整被执行。对于高于所述第二映射阈值的所有协方差值或是从所述协方差值得到的数值，所述相位吸引力系数被计算成1，因此，完整的相位调整被执行。
通过以下映射函数来举例说明：
f(c′i，j)＝ai，j＝max(0,min(1,3c′i，j-1))
另一个优选的实施例如下：
在一些实施例中，所述映射函数通过形成S形曲线的函数来展现。
在特定的实施例中，所述解码器用于计算相位校准系数矩阵，其中此相位校准系数矩阵以所述协方差值矩阵和原型降混矩阵为基础。
在一些实施例中，所述解码器用于从提供所述输入音频信号的外部装置，例如编码器接收相位校准系数矩阵，其中此相位校准系数矩阵以来自的所述协方差值矩阵以及原型降混矩阵为基础。
所述相位校准系数矩阵描述相位校准的个数，此相位校准是校准所述输入音频信号的不为零的吸引力声道所需的。
所述原型降混矩阵定义了哪些输入声道被混合到哪些输出声道。所述降混矩阵的系数可为比例因子，其用于降混输入声道至输出声道。
其亦有可能将所述相位校准系数矩阵的完整计算转移到所述编码器。然后，所述相位校准系数矩阵必须在此输入音频信号内传送，但是其元素往往为零且仅能以积极的方式来量化。当此相位校准系数矩阵紧密依赖于所述原型降混矩阵时，此相位校准系数矩阵在所述编码端即为被认为是公知的。这限制了可能的输出声道配置。
在一些实施例中，所述降混矩阵的降混系数的所述相位和/或幅值被规划成随时间而平滑，使得在相邻时间帧间由于信号抵消所产生的时间伪迹得以避免。此处"随时间而平滑"指的是随着时间的推移没有突然的变化出现在降混系数中。特别地，降混系数可以按照连续或准连续的函数而随时间变化。
在一些实施例中，所述降混矩阵的降混系数的所述相位和/或幅值被规划成随频率而平滑，使得在相邻频带间由于信号抵消产生的频谱伪迹得以避免。此处"随频率而平滑"指的是随着频率的推移没有突然的变化出现在降混系数中。特别地，降混系数可以按照连续或准连续的函数而随频率变化。
在一些实施例中，所述解码器用于计算或接收归一化相位校准系数矩阵，其中所述归一化相位校准系数矩阵以所述相位校准系数矩阵为基础。通过此特征，可以简化更进一步的处理。
在一些优选实施例中，所述解码器用于根据所述相位校准系数矩阵以建立正则化相位校准系数矩阵。
在一些实施例中，所述解码器用于接收来自于提供所述输入音频信号的外部装置，例如编码器的以所述相位校准系数矩阵为基础的正则化相位校准系数矩阵。
所提出的降混方法提供了在相反相位信号的临界条件中的有效正则化，其中所述相位校准处理可以突然改变其极性。
所述额外的正则化步骤被定义为减少由于突然改变相位调整系数所造成的在相邻帧间的过渡区域中的抵消。在相邻时间频率片之间的突然相位改变的正则化以及避免为本文提出的降混的优点。它减少了当相邻时间频率片间的相位跳跃或是在相邻频带间的凹槽出现时所产生的不需要的伪迹。
正则化的相位校准降混矩阵可以通过应用相位正则化系数θi,j至归一化的相位校准矩阵而取得。
此正则化系数可以在每一个时间频率片的处理循环中被计算。所述正则化可以递归地在时间及频率方向被应用。考虑到在相邻时间槽及频带间的相位差异，它们由产生加权矩阵的所述吸引力值来进行加权。从此矩阵可得到如下面更详细讨论的正则化系数。
在一些优选实施例中，所述降混矩阵以所述正则化相位校准系数矩阵为基础。以此方式，可确保降混矩阵的所述降混系数随着时间和频率而平滑。
此外，一种音频信号处理编码器包含至少一个频带，且此音频信号处理解码器用于处理在至少一个频带中具有多个输入声道的输入音频信号，其中此编码器用于
根据所述输入声道间的声道间依赖性校准所述输入声道的相位，其中所述输入声道的所述相位互相校准得越多，其声道间依赖性越高；以及
降混所述校准输入音频信号至输出音频信号，所述输出音频信号具有数目比所述输入声道数目少的输出声道。
所述音频信号处理编码器可被配置成类似于在本申请中所讨论的音频信号处理解码器。
此外，一种音频信号处理编码器包含至少一个频带，所述音频信号处理编码器用于输出比特流，其中所述比特流包含在此频带中的编码音频信号，其中所述编码音频信号在所述至少一个频带具有多个编码声道，其中所述编码器
用于确定在所述输入音频信号的所述编码声道间的声道间依赖性，以及在所述比特流内输出所述声道间依赖性；和/或
用于确定所述编码音频信号的所述能量及在所述比特流内输出此编码音频信号的所述确定能量；和/或
用于计算降混器的降混矩阵M，所述降混器用于根据降混矩阵降混所述输入音频信号，使得所述编码声道的所述相位根据所述识别声道间依赖性以进行校准，优选地，使得所述降混器的输出音频信号的能量根据所述编码音频信号的所述确定能量被归一化，以及用于在所述比特流内传送所述降混矩阵M，其中特别是降混矩阵的降混系数被配置成随时间而平滑，使得在相邻时间帧间由于信号抵消所产生的时间伪迹得以避免，和/或其中特别是降混矩阵的降混系数被配置为随频率而平滑，使得在相邻频带间由于信号抵消产生的频谱伪迹得以避免；和/或
用于使用窗口函数分析所述编码音频信号的时间间隔，其中所述声道间依赖性是针对每一时间帧而确定，以及用于对于每一时间帧输出所述声道间依赖性至所述比特流；和/或
用于计算协方差值矩阵，其中此协方差值表示一对编码音频声道的所述声道间依赖性，以及用于在所述比特流内输出此协方差值矩阵；和/或
用于通过应用映射函数至所述协方差值矩阵或从所述协方差值矩阵所得到的矩阵而建立吸引力值矩阵，且用于在所述比特流内输出所述吸引力值矩阵，其中，对于所有的协方差值或者从所述协方差值得到的数值，所述映射函数的所述梯度优选地为大于或等于0，以及所述映射函数对于在0到1之间的输入数值，优选地可达到0到1之间的数值，特别是非线性函数，特别是映射函数，对于小于第一映射阈值的协方差值，映射函数等于0，和/或对于小于第二映射阈值的协方差值，映射函数等于0，和/或所述映射函数通过形成S形曲线的函数表示；和/或
用于计算相位校准系数矩阵，其中所述相位校准系数矩阵以所述协方差值矩阵以及原型降混矩阵为基础，和/或
用于根据所述相位校准系数矩阵V来建立正则化相位校准系数矩阵以及用于在所述比特流内输出所述正则化相位校准系数矩阵。
所述编码器的所述比特流可以被传送至上述解码器并进行解码。有关进一步详情，可参阅有关解码器的说明。
本发明还提供了一种系统，其包含了本发明所提出的音频信号处理解码器以及音频信号处理编码器。
此外，本发明还提供了一种处理输入音频信号的方法，且所述输入音频信号在频带中具有多个输入声道，所述方法包含以下步骤：分析在所述频带中的所述输入音频信号，其中在所述输入音频声道之间的声道间依赖性已被识别；根据所述已识别的声道间依赖性校准所述输入声道的所述相位，其中所述输入声道的所述相位互相校准得越多，其声道间依赖性越高；以及降混所述校准的输入音频信号至输出音频信号，此输出音频信号在所述频带上具有数目比所述输入声道的数目少的输出声道。
此外，本发明还提供了一种计算机程序，当于计算机或信号处理器上执行时实现上述方法。
附图说明
在下文中，本发明的实施例将参考附图进行更详细地描述，其中：
图1示出提出的自适应相位校准降混的框图；
图2示出提出方法的工作原理；
图3描述了计算降混矩阵M的处理步骤；
图4示出可被用于归一化协方差矩阵C′以计算吸引力值矩阵A的公式；
图5示出三维音频编码器的概念性综述的示意框图。
图6示出三维音频解码器的概念性综述的示意框图。
图7示出格式转换器的概念性综述的示意框图。
图8示出具有随时间变化的两个声道的初始信号处理示例。
图9示出具有随频率变化的两个声道的初始信号处理示例。
图10示出77频带合成滤波器组。
具体实施方式
在描述本发明的实施例之前，提供更多现有技术的编码器及解码器系统的相关背景。
图5是三维音频编码器1的概念性综述的示意框图，而图6是三维音频解码器2的概念性综述的示意框图。
三维编解码系统1及2可以根据MPEG-D联合语音及音频编码(USAC)编码器3，以用于声道信号4及对象信号5的编码，并根据MPEG-D联合语音及音频编码(USAC)解码器6，以用于解码编码器3的输出音频信号7。
所述比特流7可包含参照编码器1的频带的已编码的音频信号37，其中已编码的音频信号37具有多个已编码的声道38。此已编码的音频信号37可以被送入解码器2的频带36(见图1)作为输入音频信号37。
为了增加对大量的对象5的编码效率，改进了空间音频对象编码(SAOC)技术。三种类型的渲染器8，9及10将对象11及12渲染至声道13、将声道13渲染至耳机或将声道渲染至不同的扬声器设置。
当使用空间音频对象编码中的对象信号进行明确地传送或参数化编码时，相对应的对象元数据(OAM)14信息被压缩且被多路复用至三维音频比特流7。
在编码之前，预先渲染器/混合器15可以被选择性地使用于将声道对象输入场景4及5转换成声道场景4及16，其功能相同于下面所描述的对象渲染器/混合器15。
对象5的预先渲染在编码器3的输入能确保确定性信号熵，所述编码器3基本上独立于多个同步激活对象信号5。通过对象信号5的预先渲染，不需传送任何对象元数据14。
离散对象信号5被渲染至供编码器3使用的声道布局。对于每个声道16，对象5的权重从相关联的对象元数据14取得。
所述核心编解码器可以根据MPEG-D USAC技术，应用于扬声器声道信号4、离散对象信号5、对象降混信号14及已预先渲染的信号16。所述核心编解码器通过根据输入声道及对象分配的几何信息和语义信息产生声道及对象映射信息，而处理多个信号4、5及14的编码。所述映射信息描述输入声道4及对象5如何被映射至USAC声道元件，亦即被映射至双声道元件(CPE)、单声道元件(SCE)、低频率增强(LFE)，以及相对应的信息被传输至解码器6。
所有额外的负载，例如SAOC数据17或对象元数据14可以经过拓展元件被传输，并且可以在编码器3的速率控制中被考虑。
对象5的编码可以使用不同的方法，此方法取决于应用于渲染器的速率/失真需求及交互作用的需求。下列对象编码变型是可能的：
-预先渲染的对象16：在编码之前，对象信号5被预先渲染及混合至声道信号4，例如在编码前，预先渲染及混合至22.2声道信号4。随后的编码链可见22.2声道信号4。
-离散对象波形：对象5作为单声道波形且被供应至编码器3。除了声道信号4以外，所述编码器3使用单声道元件(SCE)以传输对象5。已解码的对象18被渲染及混合于接收器端。已压缩的对象元数据信息19及20被并排地传输至接收器/渲染器21。
-参数化对象波形17：使用SAOC参数22及23来描述对象属性及对象属性彼此之间的关系。所述对象信号17的降混使用USAC来编码。参数化信息22被并排地传输。降混声道17所选择的数目取决于对象5的数目及整体的数据速率。压缩的对象元数据信息23传输至SAOC渲染器24。
针对对象信号5的SAOC编码器25及解码器24基于MPEG SAOC技术。此系统根据较少数量的传输声道7及额外的参数化数据22及23能够重新创建、修正及渲染多个音频对象5，额外的参数化数据22及23为例如对象位准差异(OLD)、对象间的相关性(IOC)及降混增益值(DMG)。额外的参数化数据22及23使数据速率明显低于所有对象5个别传输所需要的数据速率，这使得编码十分有效率。
所述SAOC编码器25将所述对象/声道信号5作为输入以成为单声道的波形，并且输出(被填充至立体声比特流7的)参数化信息22及(被使用单声道元件编码并且被传输的)SAOC传输声道17。所述SAOC解码器24从已解码的SAOC传输声道26及参数化信息23重建对象/声道信号5，并且根据再现布局、已解压缩的对象元数据信息20以及可选的用户的交互信息，产生所述输出音频场景27。
对于每个对象5，此相关联的对象元数据14具体定义在三维空间中的对象的几何位置及体积，对象元数据编码器28通过在时间及空间内的对象属性的量化，可以有效率地编码所述对象元数据14。被压缩的对象元数据(cOAM)19被传输至接收器作为边信息20，所述边信息20可以使用OAM解码器29进行解码。
对象渲染器21根据给予的再现格式，利用已压缩的对象元数据20来产生对象波形12。每个对象5根据其对象元数据19及20被渲染至特定的输出声道12。块21的输出从部分结果的总和所产生。如果基于声道的内容11、30及离散/参数化的对象12、27被解码，在由混合器8输出产生波形13之前(或在反馈产生的波形至后处理器模块9及10，如双耳渲染器9或扬声器渲染器模块10，之前)，基于声道的内容11及30及已渲染的对象波形12、27将被混合。
此双耳渲染器模块9产生多声道音频材料13的双耳降混，使得每个输入声道13由虚拟声源所表示。此处理被逐帧应用于正交镜像滤波器(QMF)域。所述双耳化是基于所述量测的双耳室内脉冲响应。
图7中更详细示出的扬声器渲染器10在传输的声道配置13及所期望的再现格式31之间转换。在下文中将所述扬声器渲染器称为“格式转换器”10。所述格式转换器10执行转换以降低输出声道31的数目，即所述格式转换器通过降混器32产生降混。所述DMX配置器33自动化产生最优的降混矩阵，应用于给予的输入格式13及输出格式31的结合，并且在降混过程32中使用所述降混矩阵，其中混合器输出布局34及再现布局35被使用。所述格式转换器10允许标准扬声器配置以及非标准扬声器位置的随机配置。
图1显示了具有至少一个频带36的音频信号处理装置，且被用于处理在至少一个频带36中具有多个输入声道38的输入音频信号37，其中所述装置：
用于分析所述输入音频信号37，其中在输入声道38之间的声道间依赖性被识别；以及
用于根据已识别的声道间依赖性39来校准输入声道38的相位，其中输入声道38的相位互相校准得越多，其声道间依赖性39则越高；
用于降混已校准的输入音频信号至输出音频信号40，所述输出音频信号40的输出声道41的数量少于输入声道38的数量。
此音频信号处理装置可以为编码器1或解码器，例如本发明适用于编码器1以及解码器。
本发明所提出的降混方法，例如图1的框图所示，通过以下原则进行设计：
1.此相位调整根据测量的信号协方差矩阵C从每个时频片中得到，使得具有低ci,j的声道彼此之间不会互相影响，且具有高ci,j的声道相对于彼此被相位锁定；
2.此相位调整随时间及频率的改变被正则化，用于避免由于在相邻的时频片的重叠区的相位调整差异而产生的信号抵消伪迹；
3.降混矩阵增益被调整，以保存降混能量。
编码器1的基本工作原理为，当这些输入音频信号37的彼此独立(不相干的)输入声道38保持不受影响时，输入音频信号的互相依赖(相干的)输入声道38依据特定频带36的相位互相吸引。当提供在非临界条件的相同性能时，提出编码器1的目的是为了改进相对应于在临界信号抵消条件的后均衡方法的降混品质。
因为声道间依赖性39通常无法事先得知，故提出一种降混的自适应方法。
重现信号频谱的直接方法为，应用自适应均衡器42以衰減或放大频带36内的信号。然而，如果频率凹槽比施加的频率转换解析度更急剧，可以合理地预计此类方法无法稳健地重现信号41。在降混之前，此问题由预先处理输入信号37的相位被解决，以避免在第一位置的此类频率凹槽。
下面讨论根据本发明实施例的方法，用于将在频带36中，即在所谓的时间-频率片中的两个或更多个的声道38自适应地降混成数量更少的声道41。此方法包含下列特征：
-在频带36中分析信号能量及声道间依赖性39(由协方差矩阵C包含的)；
-在降混之前，调整频带相位输入声道信号38，使得在降混时的信号抵消影响被降低和/或相干信号总和被增加；
-调整相位，使得当互相依赖的声道(也有潜在的相位偏移量)较少或没有全部都相对于彼此被相位校准时，具有高互依赖性(但潜在着相位偏移)的声道对或群组被相对于彼此校准得更多；
-相位调整系数
被(任选地)配置成随时间而平滑，用于避免由于在相邻时间帧之间的信号抵消而产生的时间伪迹；
-相位调整系数
被(任选地)配置成随频率而平滑，用于避免由于在相邻频带之间的信号抵消而产生的频谱伪迹；
-频带降混声道信号41的能量被归一化，例如使得每个频带降混信号41的能量相等于频带输入信号38能量的总和乘以相对应的降混增益。
此外，所提出的降混方法提供相反相位信号的临界条件的有效的正则化，在此相反相位信号在相位校准处理时可能会突然地切换其极性。
接着，提供降混器的数学描述，其为上述内容的具体实现。对于本领域的技术人员，可以预见另一种具有根据上述描述的特征的具体实现。
如图2所示的方法，其基本原理为，当这些信号SI1为非相干且保持不受影响时，相互相关的信号SC1、SC2及SC3依据频带36的相位彼此互相吸引。所述方法的目的在于简单改进在临界信号抵消条件的后均衡方法的降混品质，同时提供与非临界条件相同的性能。
此方法根据频带信号37及静态原型降混矩阵Q的短时间随机特性而设计，用于制定频带36自适应相位校准及能量平衡降混矩阵M。特别地，此方法只用于互相地实施相位校准至相互依存的声道SC1，SC2，及SC3。
图1显示了一般的操作过程。此处理使用重叠逐帧方式执行，尽管其它选择也可以轻易得到，例如使用递归窗口以估计相关的参数。
对于每个音频输入信号帧43，相位校准降混矩阵M包含相位校准矩阵系数，其根据输入信号帧43的随机数据和原型降混矩阵Q被定义，且原型降混矩阵Q被定义哪个输入声道38被降混至哪个输出声道41。信号帧43在窗口化步骤44所产生。此随机数据被包含于输入信号37的复值协方差矩阵C，复值协方差矩阵C在估计步骤45中从信号帧43被估计(或使用递归窗口)。从此复值协方差矩阵C，相位校准矩阵
在步骤46中的相位校准降混系数的配置所得到。
将输入声道的数量定为Nx且降混声道的数量Ny＜Nx。原型降混矩阵Q及相位校准降混矩阵M通常为稀疏矩阵且维度为Ny×Nx。此相位校准降混矩阵M通常作为时间及频率的函数而变化。
相位校准降混解决方案降低了频道间的信号抵消，但若相位调整系数突然地被改变，可能在相邻时间频率片之间的过渡区内引入抵消。当相邻的相反相位输入信号被降混时，可能会出现突然随时间改变的相位，但至少在振幅或相位有微小的变化。在这种情况下，相位校准的极性可以快速地切换，即使信号本身是相当稳定的信号。此效应可能会发生，例如当音调信号组件与频道间时间差异一致，且其反过来可以为基础，例如从间隔开的麦克风录音技术的使用或来自以延迟为基础的音频效果。
在频率轴，可能会发生在片之间突然的相位移动，例如当两个相干但不同地延迟宽带信号被降混时。对于较高的频带相位差异较大，以及包在特定频带边界可能会在过渡区域造成凹槽。
优选地，在
之的相位调整系数将被在另一步骤被正则化，用于避免由于突然的相移而产生的处理伪迹，此相位调整系数随时间变化或随频率变化，或者是随时间及频率两者变化。以这种方式可获得正则化矩阵
如果正则化47被省略，在此可能会由于在相邻的时间帧和/或相邻的频带的重叠区的相位调整差异，而产生信号抵消伪迹。
接着，能量正则化48自适应地确保在降混信号40的能量的动态水平。在重叠步骤49，处理后的信号帧43被重叠叠加至输出数据流40。请注意，在设计该时间频率处理结构时，将得到很多变异。可能获得与具有不同次序的信号处理块相似的处理。另外，一些块可以被结合成单一处理步骤。此外，当达到相似的处理特性时，用于窗口化44或块处理的方法可以使用各种方式被重新制定。
图3描述了相位校准降混的不同步骤。在三个整体处理步骤获得降混矩阵M后，所述降混矩阵M被用于将初始的多声道输入音频信号37降混成不同的声道数量。
计算矩阵M的各子步骤的详细描述如下。
根据本发明的实施例，降混方法可在64频带QMF域实现。可使用64频带复合调变均匀QMF滤波器组。
计算来自时频域内的输入音频信号x((等同于输入音频信号38)，复值协方差矩阵C被计算作为矩阵C＝E{x xH}，其中E{·}为期望运算子且xH为x的共轭转置。在实际执行时，期望运算子由随多个时间和/或频率样本变化的平均运算子所取代。
接着，在协方差正则化步骤50，矩阵C的绝对值被正则化，以使此矩阵C包含0及1之间的数值(元素被称为c′i,j且矩阵被称为C′))。这些数值表示在不同声道对之间相关的声音能量的部分，但可能有相位偏移。换言之，当不相干信号产生数值0时，同相、反相及倒相信号每个将产生归一化数值1。
在吸引力值计算步骤51，它们被转换成控制数据(吸引力值矩阵A))，此控制数据通过映射函数f(c′i,j)来表示在声道对之间的相位吸引力，此函数f(c′i,j)被应用到绝对正则化归一化协方差矩阵M′之的所有输入。在此，公式
f(c′i,j)＝ai,j＝max(0,min(1,3c′i,j-1))
可被使用(参见图4中产生的映射函数)。
在此实施例中，等对于小于第一映射阈值54的归一化的协方差值c′i,j，映射函数f(c′i,j)等于0，和/或对于大于第二映射阈值55的归一化的协方差值c′i,j其中，映射函数f(c′i,j)等于1。通过这些特征，映射函数由三个区间所组成。对于所有小于第一映射阈值54的归一化协方差值c′i,j，相位吸引力系数ai,j被计算为零，因此相位调整没有被执行。对于所有大于第一映射阈值54但小于第二映射阈值55的归一化协方差值c′i,j，相位吸引力系数ai,j被计算为介于0到1之间的数值，因此部分相位调整被执行。对于所有高于第二映射阈值55的归一化协方差值c′i,j，相位吸引力系数ai,j被估计为1且完整相位调整被执行。
从所述吸引力值，计算相位校准系数vi,j。其描述了需要被用于校准信号x的非零吸引力声道的相位校准的数量。
其中
为在对角线具有元素
的对角矩阵。此结果为相位校准系数矩阵V。
在相位校准系数矩阵归一化步骤52，系数vi,j接着被归一化至降混矩阵Q的量级，以产生归一化相位校准的降混矩阵
所述降混矩阵
具有元素
此降混的优点在于具有低吸引力的声道38彼此不会互相影响，因为相位调整从测量的信号协方差矩阵C所得出。具有高吸引力的声道38相对于彼此相位锁定。所述相位校正的强度取决于相干的特性。
如果相位调整系数突然地改变，则相位校准降混的方案降低声道间的信号抵消，但可会产生相邻的时频片之间的过渡区中的抵消。当相邻的相反相位输入信号被降混时，可能会发生突然随时间改变的相位，但至少在幅值或相位有微小的变化。在此情况，相位校准的极性可以快速地切换。
由于突然改变相位调整系数vi,j，额外的正则化步骤47被定义为降低在相邻帧之间的过渡区内的消除。所述正则化以及在音频帧之间的突然相位改变的避免为此提供的降混的优势。它减少了当相邻音频帧间的相位跳跃或是在相邻频带间的凹槽出现所产生的伪迹。
正则化可以通过各种不同的方式进行执行，用于避免在相邻的时频片之间有大的相位移动。在一个实施例中，简单的正则化方法被被使用且被详细地描述于下文中。在此方法中，处理循环可以被用于按照时间顺序从最低到最高频率片执行每个片，并且相位正则化可以相对于在时间及频率的先前片被递归地应用。
图8和图9显示了下文所述的设计步骤的实际效果。图8示出了具有随时间变化的具有两声道38的初始信号37。在两声道38之间有缓慢增加的声道间相位差(IPD)56。从+π到-π的突然的相位移动产生第一声道38的非正则化相位调整57的突然的变化以及第二声道38的非正则化相位调整58的突然的变化。
然而，第一声道38的正则化相位调整59以及第二声道38的正则化相位调整60没有显示出任何突然的变化。
图9示出了具有两个声道38的原始信号37的例子。此外，所述信号37的一个声道38的原始频谱61被显示。校准的降混频谱(被动降混频谱)62示出了梳型滤波器的效果。所述梳型滤波器的效果在未校准的降混频谱63被降低。然而，所述梳型滤波器效果在正则化后的降混频谱64中并不明显。
正则化相位校准降混矩阵
可通过应用相位正则化系数θi,j至矩阵
而得到。
在处理循环中随着每个时频帧变化计算正则化系数。正则化47在时间及频率的方向被递归地施加。在相邻的时槽及频带之间的相位差被考虑在内，且所述相位差由吸引力值加权以产生加权的矩阵MdA。从所述矩阵可以得到正则化系数：
连续的相位偏移通过实施正则化来避免在0到
之间朝向零逐渐减弱，此相位偏移依赖于相关的信号能量：
其中
正则化的相位校准降混矩阵
的输入为：
最后，能量归一化的相位校准降混向量在用于每个声道j的能量归一化步骤53中被定义，形成所述最终相位校准降混矩阵的列：
计算完矩阵M后，计算所述输出音频材料。QMF域输出声道为QMF输入声道的加权总和。复值加权被纳入自适应相位校准处理，为矩阵M的元素：
y＝M·x
一些处理步骤可能被转移至编码器1。所述处理步骤将大幅地降低在解码器2内的降混7的处理复杂度。这也提供了与输入音频信号37交互的可能性，标准版本的降混器将产生伪迹。在没有改变解码器2下，此处理步骤可以更新所述降混处理规则以及提高降混品质。
在部分的相位校准降混能被转移至编码器1时具有多种可能性。有可能转移相位校准系数vi,j的完整计算至编码器1。相位校准系数vi,j接着需要被转移至比特流7，但相位校准系数vi,j时常为零且以积极方法作量化。当相位校准系数vi,j紧密依赖于原型降混矩阵Q时，此矩阵Q在编码器端必须被得知。这将限制可能的输出声道配置。所述均衡器或能量归一化步骤可能被包括于编码处理或者还被执行于解码器2，因为所述归一化步骤为简单且清楚地被定义的处理步骤。
另外一种可能性为转移协方差矩阵C的计算至编码器1。然后，协方差矩阵C之的元素必须被转移至比特流7。此版本允许在接收器2中灵活选择渲染方案，但需要更多在比特流7中的额外数据。
在下文中，描述了本发明的一个优选的实施例。
在下文中，音频信号37被送入格式转换器42且被称为输入信号。音频信号40为格式转换处理的结果且被称为输出信号。请注意格式转换器的音频输入信号37为核心解码器6的音频输出信号。
向量及矩阵由粗体字符号表示。向量元素或矩阵元素由斜体的变量所表示，此变量通过指数指出在向量/矩阵内的向量/矩阵元素的列/行来补充说明，例如[y1…yA…yN]＝y代表向量及其元素。相似地，Ma,b代表在矩阵M的第a列及第b行内的元素。
下列变量将被使用：
Nin在输入声道配置内的声道数量
Nout在输出声道配置内的声道数量
MDMX降混矩阵，包含实值非负降混系数(降混增益)，MDMX的维度为(Nout×Nin)
GEQ由每个处理的频带的增益值所组成的矩阵，其确定均衡滤波器的频率响应
IEQ发信号指示哪些均衡滤波器应用至输入声道(如果有)的向量
L在时间域音频样本内的被测量的帧长度
ν时间域样本指数
n QMF时槽指数(＝子频带样本指数)
Ln在QMF槽内被测量的帧长度
F帧指数(帧数量)
K混合QMF频带的数量，K＝77
k QMF频带指数(1..64)或混合QMF频带指数(1..K)
A,B声道指数(声道配置的声道数量)
eps数值常数，eps＝10-35
在发生由核心解码器6传送的音频样本的处理之前，执行格式转换器42的初始化。
所述初始化以下列数据作为输入参数
·待处理的音频数据的采样速率
·参数format_in：其信号化格式转换器待处理的音频数据的声道配置
·参数format_out：信号化期望输出格式的声道配置
·可选的：从标准扬声器方案信号化扬声器位置的偏移(随机设置功能)的参数。输出
·输入扬声器配置的声道数量，Nin，
·输出扬声器配置的声道数量，Nout，
·降混矩阵MDMX及均衡的滤波器参数(IEQ,GEQ)，其被应用至格式转换器42的音频信号处理。
·微调增益及延迟值(Tg，A和Td,A)：用于补偿不同的扬声器距离。
格式转换器42的音频处理块从核心解码器6得到对于Nin声道38的时域音频样本37，并且产生由Nout声道41所组成的降混的时域音频输出信号40。
此处理以下列数据作为输入：
·被核心解码器6解码的音频数据，
·被格式转换器42的初始化返回的降混矩阵MDMX，
·被格式转换器42的初始化返回的均衡滤波器参数(IEQ,GEQ)。
所述处理返回Nout声道的时域输出信号40，其应用于format_out声道配置且在格式转换器42的初始化期间被信号化。
格式转换器42可以操作于输入音频信号的长度L＝2048时域样本的连续且非重叠的帧上，并且输出长度L的每个已处理的输入帧的L样本的一帧。
更进一步，T/F转换(混合QMF分析)可以被执行。作为第一处理步骤，转换器转换Nin声道时域输入信号
的L＝2048样本至混合QMF Nin声道信号表现，且此声道信号表现由Ln＝32QMF时槽(槽指数n)以及K＝77频带(频带指数k)所组成。QMF分析根据ISO/IEC 23003-2：2010的第7.14.2.2小节，首先执行：
接着进行混合分析
将执行混合滤波，如ISO/IEC 14496-3:2009的8.6.4.3描述。然而，低频分离定义(ISO/IEC 14496-3:2009的表格8.36)可以由下面的表格取代：
77频带混合滤波器组的低频分离的概述
更进一步，在下面的表格中，原型滤波器定义必须由系数取代：
分离77频带混合滤波器组的低QMF子频带的滤波器的原型滤波器系数
| n | g<sup>0</sup>[n],Q<sup>0</sup>＝8 | g<sup>1,2</sup>[n],Q<sup>1,2</sup>＝4 |
| 0 | 0.00746082949812 | -0.00305151927305 |
| 1 | 0.02270420949825 | -0.00794862316203 |
| 2 | 0.04546865930473 | 0.0 |
| 3 | 0.07266113929591 | 0.04318924038756 |
| 4 | 0.09885108575264 | 0.12542448210445 |
| 5 | 0.11793710567217 | 0.21227807049160 |
| 6 | 0.125 | 0.25 |
| 7 | 0.11793710567217 | 0.21227807049160 |
| 8 | 0.09885108575264 | 0.12542448210445 |
| 9 | 0.07266113929591 | 0.04318924038756 |
| 10 | 0.04546865930473 | 0.0 |
| 11 | 0.02270420949825 | -0.00794862316203 |
| 12 | 0.00746082949812 | -0.00305151927305 |
更进一步，与ISO/IEC 14496-3:2009的8.6.4.3相反，没有子频带被结合，即通过将最低的3个QMF子频带分离成(8,4,4)子频带，形成77频带混合滤波器组。参照图10，所述77混合QMF频带没有被重新排序，但遵循混合滤波器组的传送次序。
现在，可使用静态均衡器增益。转换器42应用零相位增益至输入声道38，且所述输入声道通过IEQ及GEQ变量进行信号化。
IEQ为长度为Nin的向量，则对于所述Nin输入声道的每个声道A发信号
·是没有均衡的滤波器必须被应用至特定的输入声道：IEQ,A＝0，
·或是与具有指数IEQ,A>0的均衡滤波器对应的GEQ的增益必须被应用。
如果对于输入声道A，IEQ,A>0，声道A的输入信号通过从GEQ矩阵的行获得的零相位增益的乘法而滤波，所述GEQ矩阵被IEQ,A信号化：
对于每个混合QMF频带k及独立的k，请注意以下所有处理的步骤直到转换回到时
域信号，被个别地执行。频带参数k因此在下文的方程式中被省略，例如对于每个频带k，
更进一步，输入数据及信号自适应输入数据窗口化的更新被执行。让F为单调性地增加的帧指数用于表示输入数据的当前帧，例如对于帧F，
在格式转换器42的初始化后，输入数据的第一帧从F＝0开始。长度为2*Ln的分析帧从输入混合QMF频谱被公式化为
分析帧根据以下公式乘以分析窗口wF,n
其中，wF,n为信号自适应窗口，其被计算且应用于每个帧F，如下公式：
现在，可执行协方差分析。所述协方差分析被执行于窗口化输入数据上，所述期望
预算子E(·)被执行作为自动/交叉项的总和且随着窗口化输入数据帧F的2Ln QMF时槽改
变。对于每个处理的帧F，下一个处理步骤被独立地执行。指数F因此被省略直到被明确需
要，例如对于帧F，
请注意，在具有Nin个输入声道的情况下，
代表具有Nin个元素的列向量。因此，协方差值矩阵按照下式形成：
在此(·)T代表转置以及(·)*代表变量的复共轭，且Cy为在每个帧F被计算一次的Nin×Nin的矩阵。
从协方差矩阵Cy得出声道A及B之间的声道间相干系数
其中，在符号Cy,a,b内的两个指数代表在Cy内的第a列及第b行的矩阵元素。
更进一步，相位校准矩阵可以被公式化。ICCA,B数值被映射至吸引力测量矩阵T，所述吸引力测量矩阵T具有元素
并且中间的相位校准混合矩阵Mint(等价于在先前实施例的归一化相位校准系数矩阵
)被公式化。以吸引力值矩阵：
PA,B＝TA,B·Cy,A,B和
V＝MDMXP，
矩阵元素被得出如下：
Mint,A,B＝MDMX,A,B·exp(j arg(VA,B))，
其中exp(·)代表指数函数，
为虚数单位，且arg(·)为返回的复变量的自变量。
为避免突然的相位移动，所述中间的相位校准混合矩阵Mint被修正而产生Mmod：首先，对于每个帧F，加权的矩阵DF被定义作为具有元素
的对角矩阵。所述混合矩阵的随着时间改变(亦即随着帧改变)的相位通过比较当前加权的中间混合矩阵以及前一帧的加权产生的混合矩阵Mmod来测量：
所述中间的混合矩阵的测量的相位改变被处理，用于取得相位修正参数，且此相位修正参数被应用于所述中间的混合矩阵Mint，产生Mmod(等价于正则化的相位校准系数矩阵
)：
能量换算被应用于混合矩阵，用于取得最后的相位校准混合矩阵MPA。其中
其中(·)H代表共轭转置运算子，且
Slim,B＝min(Smax,max(Smin,SB))
其中，限制被定义为Smax＝100.4及Smin＝10-0.5，最终的相位校准混合矩阵元素如下
MPA,B,A＝Slim,B·Mmod,B,A。
在进一步的步骤，输出数据可以被计算出来。当前帧F的输出信号通过应用相同的复值降混矩阵
至窗口化的输入数据向量
的所有的2Ln时槽n来计算
重叠叠加步骤被应用于新计算出的输出信号帧
以达成最终的频域输出信号，包含对于帧F的每个声道的Ln样本，
现在，可执行F/T转换(混合QMF合成)。请注意上述所描述的处理步骤必须被独立地执行于每个混合QMF频带k。在下面的方程式，频带指数k被重新引入，即
混合QMF频域输出信号
被转换为每个输出声道B的长度L的时域样本的Nout声道的时域信号帧，以得到最终的时域输出信号
所述混合合成
可以被实现如ISO/IEC 14496-3:2009的图8.21的定义，即通过计算最低的三个QMF子频带的子频带的总和，以得出64频带QMF表现的三个最低QMF子频带。然而，显示于ISO/IEC 14496-3:2009的图8.21的处理必须可被适用于(8,4,4)低频带分离，代替所显示出的(6,2,2)低频带分离。
随后的QMF合成
可如ISO/IEC 23003-2:2010中第7.14.2.2小节的定义来执行。
如果输出扬声器位置的半径不同(即，如果对于所有输出声道A，trimA不同)，在初始化中得到的补偿参数被应用于输出信号。输出声道A的信号将被Td,A时域样本延迟且信号也将被乘以线性增益Tg,A。
关于解码器及编码器以及所描述的实施例的方法，在下文中被提到。
虽然已经在装置的上下文中描述了一些方面，但显然，这些方面还表示对应的方法的描述，其中块或装置对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面还表示对应装置的对应块或项目或特征的描述。
根据某些实施要求，本发明的实施例可以以硬件或软件实施。可使用具有存储于其上的电子可读控制信号的数字存储介质，例如软盘、DVD、CD、ROM、PROM、EPROM、EEPROM或闪存，执行实施方案，电子可读控制信号与(或能够与)可编程计算机系统协作，从而执行各个方法。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，所述电子可读控制信号能够与可编程计算机系统协作，从而执行本文中描述的方法之一。
一般地，本发明的实施例可被实施为具有程序代码的计算机程序产品，所述程序代码可操作用于当计算机程序产品在计算机上执行时执行所述方法之一。所述程序代码可以，例如，存储于机器可读载体上。
其他实施例包括存储于机器可读载体或非临时性存储介质上的用于执行本文中描述的方法之一的计算机程序。
换言之，本发明的方法的实施例因此为具有程序代码的计算机程序，该程序代码用于当计算机程序在计算机上运行时执行本文中描述的方法之一。
本发明的进一步实施例因此为数据载体(或数字存储介质，或计算机可读介质)，其包括记录于其上的用于执行本文中描述的方法之一的计算机程序。
本发明的进一步实施例因此为数据流或信号序列，其表示用于执行本文中描述的方法之一的计算机程序。所述数据流或信号序列可以是，例如被配置为通过数据通信连接，例如，通过因特网，进行传送。
进一步实施例包括处理装置，例如，计算机或可编程逻辑装置，其被配置为或适于执行本文中描述的方法之一。
进一步实施例包括一种计算机，其具有安装于其上用于执行本文中描述的方法之一的计算机程序。
在一些实施例中，可使用可编程逻辑设备(例如，现场可编程门阵列)执行本文中描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可与微处理器协作以执行本文中描述的方法之一。通常，所述方法优选地被硬件装置执行。
虽然本发明已描述数个实施例，但对其进行变更、置换及等同均落入本发明的范围之内。还有应当注意的是，有很多替换本发明的实施方法及组成的方式。因此，下文所附的权利项应当被理解为包含所有此类的变更、置换及等同，这些均未脱离本发明的精神及范畴。
Claims (28)
1.一种音频信号处理解码器，包含至少一个频带(36)，且所述音频信号处理解码器用于处理在至少一个频带(36)内具有多个输入声道(38)的输入音频信号(37)，其中所述解码器(2)被配置用于
根据所述输入声道(38)之间的声道间依赖性(39)校准所述输入声道(38)的相位，其中所述输入声道(38)的相位互相之间被校准得越多，其声道间依赖性(39)越高；以及
将具有相位校准的输入声道(38)的输入音频信号降混至输出音频信号(40)，所述输出音频信号(40)具有数目比所述输入声道(38)的数目少的输出声道(41)。
2.如权利要求1所述的解码器，其中为了识别所述输入声道(38)之间的所述声道间依赖性(39)或为了接收来自提供所述输入音频信号(37)的外部装置的输入声道(38)之间的所述声道间依赖性(39)，所述解码器(2)被配置用于分析在所述频带(36)内的所述输入音频信号(37)，所述外部装置包括编码器(1)。
3.如权利要求1所述的解码器，其中所述解码器(2)被配置用于根据所述输入音频信号(37)的已经确定的能量，归一化所述输出音频信号(40)的所述能量，其中所述解码器(2)被配置用于确定所述输入音频信号(37)的信号能量或用于接收来自于提供所述输入音频信号(37)的外部装置的所述输入音频信号(37)的已经确定的能量，所述外部装置包括编码器(1)。
4.如权利要求1所述的解码器，其中所述解码器(2)包含降混器(42)，所述降混器(42)用于根据降混矩阵降混所述输入音频信号(37)，其中所述解码器(2)被配置用于计算所述降混矩阵，使得根据识别的声道间依赖性(39)校准所述输入声道(38)的所述相位，或所述解码器(2)被配置用于接收计算得到的所述降混矩阵，使得根据来自于提供所述输入音频信号(37)的外部装置的所述识别的声道间依赖性(39)校准所述输入声道(38)的所述相位，所述外部装置包括编码器(1)。
5.如权利要求4所述的解码器，其中所述解码器(2)被配置用于计算所述降混矩阵，使得根据所述输入音频信号(37)的已经确定的能量归一化所述输出音频信号(40)的能量，或被配置用于接收所述降混矩阵，所述降混矩阵被计算使得根据来自于提供所述输入音频信号(37)的外部装置的所述输入音频信号(37)的所述已经确定的能量归一化所述输出音频信号(40)的能量，所述外部装置包括编码器(1)。
6.如权利要求1所述的解码器，其中所述解码器(2)被配置用于使用窗口函数分析所述输入音频信号(37)的时间间隔(43)，其中所述声道间依赖性(39)对于每一个时间间隔(43)都被确定，或其中所述解码器(2)被配置用于使用窗口函数从提供所述输入音频信号(37)的外部装置接收所述输入音频信号(37)的时间间隔(43)的分析，其中所述声道间依赖性(39)对于每一个时间间隔(43)都被确定，所述外部装置包括编码器(1)。
7.如权利要求1所述的解码器，其中所述解码器(2)用于计算协方差值矩阵，其中所述协方差值表示一对输入声道(38)的声道间依赖性(39)，或其中所述解码器(2)用于从提供所述输入音频信号(37)的外部装置接收协方差值矩阵，其中所述协方差值表示一对输入声道(38)的声道间依赖性(39)，所述外部装置包括编码器(1)。
8.如权利要求7所述的解码器，其中所述解码器(2)用于通过应用映射函数至所述协方差值矩阵或从所述协方差值矩阵所得到的矩阵而建立吸引力值矩阵，或用于接收吸引力值矩阵，所述吸引力值矩阵是通过应用映射函数至所述协方差值矩阵或从所述协方差值矩阵所得到的矩阵而建立的，其中对于所有的协方差值或从所述协方差值所得到的数值，所述映射函数的梯度大于或等于0，且其中对于0至1之间的输入数值，所述映射函数达到0至1之间的数值。
9.如权利要求8所述的解码器，其中所述映射函数为非线性函数。
10.如权利要求8所述的解码器，其中对于小于第一映射阈值的所述协方差值或从所述协方差值得到的数值，所述映射函数等于0；和/或其中对于大于第二映射阈值的所述协方差值或从所述协方差值所得到的数值，所述映射函数等于1。
11.如权利要求8所述的解码器，其中所述映射函数由形成S形曲线的函数表示。
12.如权利要求7所述的解码器，其中所述解码器(2)用于计算相位校准系数矩阵，其中所述相位校准系数矩阵以所述协方差值矩阵及原型降混矩阵为基础或用于接收来自提供所述输入音频信号(37)的外部装置的相位校准系数矩阵，其中所述相位校准系数矩阵是以所述协方差值矩阵及原型降混矩阵为基础，所述外部装置包括编码器(1)。
13.如权利要求12所述的解码器，其中降混矩阵的降混系数的所述相位和/或振幅被配置为随着时间而平滑，使得在相邻时间间隔(43)之间由于信号抵消所产生的时间伪迹得以避免。
14.如权利要求12所述的解码器，其中降混矩阵的降混系数的所述相位和/或振幅被配置为随着频率而平滑，使得在相邻频带(36)之间由于信号抵消所产生的频谱伪迹得以避免。
15.如权利要求12所述的解码器，其中所述解码器(2)用于建立以所述相位校准系数矩阵为基础的正则化相位校准系数矩阵，或用于接收来自提供所述输入音频信号(37)的外部装置的以所述相位校准系数矩阵为基础的正则化相位校准系数矩阵，所述外部装置包括编码器(1)。
16.如权利要求13或14所述的解码器，其中所述解码器(2)用于建立以所述相位校准系数矩阵为基础的正则化相位校准系数矩阵，或用于接收来自提供所述输入音频信号(37)的外部装置的以所述相位校准系数矩阵为基础的正则化相位校准系数矩阵，所述外部装置包括编码器(1)，所述降混矩阵以所述正则化相位校准系数矩阵为基础。
17.一种音频信号处理编码器，包含至少一个频带(36)，被用于处理在所述至少一个频带(36)内具有多个输入声道(38)的输入音频信号(37)，其中所述编码器(1)
用于根据所述输入声道(38)间的声道间依赖性(39)校准所述输入声道(38)的相位，其中所述输入声道(38)的所述相位互相校准得越多，其声道间依赖性(39)越高；以及
用于降混具有相位校准的输入声道(38)的输入音频信号至输出音频信号(40)，所述输出音频信号(40)具有数目比所述输入声道(38)的数目少的输出声道(41)。
18.一种音频信号处理系统，包含
音频信号处理编码器(1)，所述音频信号处理编码器(1)包含至少一个频带(36) 并被配置用于输出比特流(7)，其中所述比特流(7)包含在所述频带(36)中的编码音频信号，其中所述编码音频信号在所述至少一个频带(36)具有多个编码声道，以及
如权利要求1所述的音频信号处理解码器(2)，所述音频信号处理解码器(2)被配置用于处理作为在所述至少一个频带(36)具有多个输入声道(38)的输入音频信号(37)的所述编码音频信号；
其中所述编码器(1)被配置为：
确定所述输入音频信号(37)的所述输入声道(38)之间的声道间依赖性(39)，以及
在所述比特流(7)内输出所述声道间依赖性(39)；
其中所述解码器(2)被配置为：
从所述编码器(1)接收所述输入声道(38)之间的所述声道间依赖性(39)。
19.一种音频信号处理系统，包括：
音频信号处理编码器(1)，所述音频信号处理编码器(1)包含至少一个频带(36)并被配置用于输出比特流(7)，其中所述比特流(7)包含在所述频带(36)中的编码音频信号，其中所述编码音频信号在所述至少一个频带(36)具有多个编码声道，以及
如权利要求1所述的音频信号处理解码器(2)，所述音频信号处理解码器(2)被配置用于处理作为在所述至少一个频带(36)具有多个输入声道(38)的输入音频信号(37)的所述编码音频信号；
其中所述编码器(1)被配置为：
确定所述编码音频信号的能量，以及
在所述比特流(7)内输出所述编码音频信号的被确定的能量；
其中所述解码器(2)被配置为：
根据所述输入音频信号(37)的被确定的能量，归一化输出音频信号(40)的能量，其中所述解码器(2)被配置为从所述编码器(1)接收作为输入音频信号(37)的被确定的能量的所述编码音频信号的被确定的能量。
20.一种音频信号处理系统，包括：
音频信号处理编码器(1)，所述音频信号处理编码器(1)包含至少一个频带(36)并被配置用于输出比特流(7)，其中所述比特流(7)包含在所述频带(36)中的编码音频信号，其中所述编码音频信号在所述至少一个频带(36)具有多个编码声道，以及
如权利要求1所述的音频信号处理解码器(2)，所述音频信号处理解码器(2)被配置为用于处理作为在所述至少一个频带(36)具有多个输入声道(38)的输入音频信号(37)的所述编码音频信号；其中所述解码器包括用于根据降混矩阵降混所述输入音频信号的降混器；
其中所述编码器(1)被配置为：
计算降混器(42)的降混矩阵，所述降混器(42)用于根据所述降混矩阵降混所述编码音频信号使得所述编码声道的相位根据识别的声道间依赖性(39)进行校准，以及
在所述比特流(7)输出所述降混矩阵；以及
所述解码器(2)被配置为：
从所述编码器(1)接收被计算使得所述输入声道(38)的相位根据识别的声道间依赖性(39)进行校准的降混矩阵。
21.根据权利要求20所述的音频信号处理系统，
其中所述编码器(1)被配置为：
计算所述降混器(42)的所述降混矩阵，所述降混器(42)用于根据所述降混矩阵降混所述编码音频信号使得所述编码声道的所述相位根据识别的声道间依赖性(39)进行校准，使得降混器(42)的输出音频信号的能量根据所述编码音频信号的被确定的能量被归一化；以及
其中所述解码器(2)被配置为：
从所述编码器接收被计算使得所述输出音频信号的能量根据所述输入音频信号(37)的被确定的能量被归一化的降混矩阵。
22.一种音频信号处理系统，包括：
音频信号处理编码器(1)，所述音频信号处理编码器(1)包含至少一个频带(36)并被配置用于输出比特流(7)，其中所述比特流(7)包含在所述频带(36)中的编码音频信号，其中所述编码音频信号在所述至少一个频带(36)具有多个编码声道，以及
如权利要求1所述的音频信号处理解码器(2)，所述音频信号处理解码器(2)被配置用于处理作为在所述至少一个频带(36)具有多个输入声道(38)的输入音频信号(37)的所述编码音频信号；
其中所述编码器(1)被配置为：
使用窗口函数分析所述编码音频信号的时间间隔(43)，其中声道间依赖性(39)对于每一个时间间隔(43)被确定，以及
在所述比特流(7)内对于每一个时间间隔(43)输出所述声道间依赖性(39)，以及
其中所述解码器(2)被配置为：
从所述编码器(1)接收使用窗口函数对输入音频信号(37)的时间间隔(43)的分析，其中声道间依赖性(39)对于每一个时间间隔(43)被确定。
23.一种音频信号处理系统，包括：
音频信号处理编码器(1)，所述音频信号处理编码器(1)包含至少一个频带(36)并被配置用于输出比特流(7)，其中所述比特流(7)包含在所述频带(36)中的编码音频信号，其中所述编码音频信号在所述至少一个频带(36)具有多个编码声道，以及
如权利要求1所述的音频信号处理解码器(2)，所述音频信号处理解码器(2)被配置用于处理作为在所述至少一个频带(36)具有多个输入声道(38)的输入音频信号(37)的所述编码音频信号；
其中所述编码器(1)被配置为：
计算协方差值矩阵，其中协方差值表示一对编码信道的声道间依赖性(39)；以及
在所述比特流(7)内输出所述协方差值矩阵；以及
其中所述解码器(2)被配置为：
从所述编码器(1)接收所述协方差值矩阵，其中协方差值表示一对编码信道(38)的声道间依赖性(39)。
24.一种音频信号处理系统，包括：
音频信号处理编码器(1)，所述音频信号处理编码器(1)包含至少一个频带(36)并被配置用于输出比特流(7)，其中所述比特流(7)包含在所述频带(36)中的编码音频信号，其中所述编码音频信号在所述至少一个频带(36)具有多个编码声道，以及
如权利要求1所述的音频信号处理解码器(2)，所述音频信号处理解码器(2)被配置用于处理作为在所述至少一个频带(36)具有多个输入声道(38)的输入音频信号(37)的所述编码音频信号；
其中，所述编码器(1)被配置为：
通过应用映射函数至协方差值矩阵或从所述协方差值矩阵所得到的矩阵而建立吸引力值矩阵，以及
在所述比特流(7)内输出所述吸引力值矩阵；以及
其中所述解码器(2)被配置为：
从所述编码器(1)接收通过应用映射函数至协方差值矩阵或从所述协方差值矩阵所得到的矩阵而建立的吸引力值矩阵。
25.一种音频信号处理系统，包括：
音频信号处理编码器(1)，所述音频信号处理编码器(1)包含至少一个频带(36)并被配置用于输出比特流(7)，其中所述比特流(7)包含在所述频带(36)中的编码音频信号，其中所述编码音频信号在所述至少一个频带(36)具有多个编码声道，以及
如权利要求1所述的音频信号处理解码器(2)，所述音频信号处理解码器(2)被配置用于处理作为在所述至少一个频带(36)具有多个输入声道(38)的输入音频信号(37)的所述编码音频信号；
其中所述编码器(1)用于：
计算相位校准系数矩阵，其中所述相位校准系数矩阵以协方差值矩阵和原型降混矩阵为基础，以及
输出所述相位校准系数矩阵；以及
所述解码器(2)被配置为：
从所述编码器(1)接收所述相位校准系数矩阵，其中所述相位校准系数矩阵以协方差值矩阵和原型降混矩阵为基础。
26.一种音频信号处理系统，包括：
音频信号处理编码器(1)，所述音频信号处理编码器(1)包含至少一个频带(36)并配置用于输出比特流(7)，其中所述比特流(7)包含在所述频带(36)中的编码音频信号，其中所述编码音频信号在所述至少一个频带(36)具有多个编码声道，以及
如权利要求1所述的音频信号处理解码器(2)，所述音频信号处理解码器(2)被配置用于处理作为在所述至少一个频带(36)具有多个输入声道(38)的输入音频信号(37)的所述编码音频信号；
其中所述编码器(1)被配置为：
建立以相位校准系数矩阵V为基础的正则化相位校准系数矩阵；以及
在所述比特流(7)内输出所述正则化相位校准系数矩阵；以及
其中所述解码器(2)被配置为：
从所述编码器(1)接收以所述相位校准系数矩阵为基础的所述正则化相位校准系数矩阵。
27.一种处理输入音频信号(37)的方法，所述输入音频信号在频带(36)具有多个输入声道(38)，所述方法包含以下步骤：
分析在所述频带(36)内的所述输入音频信号(37)，其中在所述输入声道(38)的声道间依赖性(39)已被识别；
根据所述已识别的声道间依赖性(39)校准所述输入声道(38)的相位，其中所述输入声道(38)的所述相位互相校准得越多，其声道间依赖性(39)越高；
降混具有相位校准的输入声道(38)的输入音频信号至输出音频信号(40)，所述输出音频信号(40)在所述频带(36)内具有数目比所述输入声道(38)的数目少的输出声道(41)。
28.一种数据载体，包括记录于其上的用于执行如权利要求27所述的方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010573675.0A CN111862997A (zh) | 2013-07-22 | 2014-07-18 | 使用自适应相位校准的多声道降混的梳型滤波器的伪迹消除 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP13177358 | 2013-07-22 | ||
| EP13177358.2 | 2013-07-22 | ||
| EP13189287.9 | 2013-10-18 | ||
| EP13189287.9A EP2838086A1 (en) | 2013-07-22 | 2013-10-18 | In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment |
| PCT/EP2014/065537 WO2015011057A1 (en) | 2013-07-22 | 2014-07-18 | In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010573675.0A Division CN111862997A (zh) | 2013-07-22 | 2014-07-18 | 使用自适应相位校准的多声道降混的梳型滤波器的伪迹消除 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105518775A CN105518775A (zh) | 2016-04-20 |
| CN105518775B true CN105518775B (zh) | 2020-07-17 |
Family
ID=48874132
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010573675.0A Pending CN111862997A (zh) | 2013-07-22 | 2014-07-18 | 使用自适应相位校准的多声道降混的梳型滤波器的伪迹消除 |
| CN201480041810.XA Active CN105518775B (zh) | 2013-07-22 | 2014-07-18 | 使用自适应相位校准的多声道降混的梳型滤波器的伪迹消除 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010573675.0A Pending CN111862997A (zh) | 2013-07-22 | 2014-07-18 | 使用自适应相位校准的多声道降混的梳型滤波器的伪迹消除 |
Country Status (18)
| Country | Link |
|---|---|
| US (2) | US10360918B2 (zh) |
| EP (2) | EP2838086A1 (zh) |
| JP (1) | JP6279077B2 (zh) |
| KR (2) | KR101943601B1 (zh) |
| CN (2) | CN111862997A (zh) |
| AR (1) | AR097001A1 (zh) |
| AU (1) | AU2014295167B2 (zh) |
| BR (1) | BR112016001003B1 (zh) |
| CA (1) | CA2918874C (zh) |
| ES (1) | ES2687952T3 (zh) |
| MX (1) | MX359163B (zh) |
| PL (1) | PL3025336T3 (zh) |
| PT (1) | PT3025336T (zh) |
| RU (1) | RU2678161C2 (zh) |
| SG (1) | SG11201600393VA (zh) |
| TW (1) | TWI560702B (zh) |
| WO (1) | WO2015011057A1 (zh) |
| ZA (1) | ZA201601112B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108806706B (zh) * | 2013-01-15 | 2022-11-15 | 韩国电子通信研究院 | 处理信道信号的编码/解码装置及方法 |
| WO2014112793A1 (ko) | 2013-01-15 | 2014-07-24 | 한국전자통신연구원 | 채널 신호를 처리하는 부호화/복호화 장치 및 방법 |
| EP2838086A1 (en) * | 2013-07-22 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment |
| EP2830051A3 (en) | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals |
| KR102160254B1 (ko) | 2014-01-10 | 2020-09-25 | 삼성전자주식회사 | 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치 |
| JP6921832B2 (ja) * | 2016-02-03 | 2021-08-18 | ドルビー・インターナショナル・アーベー | オーディオ符号化における効率的なフォーマット変換 |
| US10217467B2 (en) * | 2016-06-20 | 2019-02-26 | Qualcomm Incorporated | Encoding and decoding of interchannel phase differences between audio signals |
| CN112492502B (zh) * | 2016-07-15 | 2022-07-19 | 搜诺思公司 | 联网麦克风设备及其方法以及媒体回放系统 |
| CN107731238B (zh) * | 2016-08-10 | 2021-07-16 | 华为技术有限公司 | 多声道信号的编码方法和编码器 |
| CN107895580B (zh) * | 2016-09-30 | 2021-06-01 | 华为技术有限公司 | 一种音频信号的重建方法和装置 |
| US10362423B2 (en) * | 2016-10-13 | 2019-07-23 | Qualcomm Incorporated | Parametric audio decoding |
| PT3539127T (pt) | 2016-11-08 | 2020-12-04 | Fraunhofer Ges Forschung | Dispositivo de downmix e método para executar o downmix de pelo menos dois canais e codificador multicanal e descodificador multicanal |
| MX2019005147A (es) | 2016-11-08 | 2019-06-24 | Fraunhofer Ges Forschung | Aparato y metodo para codificar o decodificar una se?al multicanal usando una ganancia lateral y una ganancia residual. |
| CN109427338B (zh) * | 2017-08-23 | 2021-03-30 | 华为技术有限公司 | 立体声信号的编码方法和编码装置 |
| EP3550561A1 (en) | 2018-04-06 | 2019-10-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value |
| CN110660400B (zh) * | 2018-06-29 | 2022-07-12 | 华为技术有限公司 | 立体声信号的编码、解码方法、编码装置和解码装置 |
| BR112022000806A2 (pt) | 2019-08-01 | 2022-03-08 | Dolby Laboratories Licensing Corp | Sistemas e métodos para atenuação de covariância |
| AU2020372899A1 (en) * | 2019-10-30 | 2022-04-21 | Dolby Laboratories Licensing Corporation | Bitrate distribution in immersive voice and audio services |
| CN113518227B (zh) * | 2020-04-09 | 2023-02-10 | 于江鸿 | 数据处理的方法和系统 |
| GB2626953A (en) * | 2023-02-08 | 2024-08-14 | Nokia Technologies Oy | Audio rendering of spatial audio |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040042504A1 (en) * | 2002-09-03 | 2004-03-04 | Khoury John Michael | Aligning data bits in frequency synchronous data channels |
| US20090299756A1 (en) * | 2004-03-01 | 2009-12-03 | Dolby Laboratories Licensing Corporation | Ratio of speech to non-speech audio such as for elderly or hearing-impaired listeners |
| CA2992097C (en) | 2004-03-01 | 2018-09-11 | Dolby Laboratories Licensing Corporation | Reconstructing audio signals with multiple decorrelation techniques and differentially coded parameters |
| CN1942929A (zh) * | 2004-04-05 | 2007-04-04 | 皇家飞利浦电子股份有限公司 | 多信道编码器 |
| JP2006050241A (ja) * | 2004-08-04 | 2006-02-16 | Matsushita Electric Ind Co Ltd | 復号化装置 |
| US7830921B2 (en) | 2005-07-11 | 2010-11-09 | Lg Electronics Inc. | Apparatus and method of encoding and decoding audio signal |
| TW200742275A (en) * | 2006-03-21 | 2007-11-01 | Dolby Lab Licensing Corp | Low bit rate audio encoding and decoding in which multiple channels are represented by fewer channels and auxiliary information |
| KR101253278B1 (ko) | 2008-03-04 | 2013-04-11 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 복수의 입력 데이터 스트림을 믹싱하는 장치 및 방법 |
| ES2739667T3 (es) * | 2008-03-10 | 2020-02-03 | Fraunhofer Ges Forschung | Dispositivo y método para manipular una señal de audio que tiene un evento transitorio |
| ES2796493T3 (es) * | 2008-03-20 | 2020-11-27 | Fraunhofer Ges Forschung | Aparato y método para convertir una señal de audio en una representación parametrizada, aparato y método para modificar una representación parametrizada, aparato y método para sintetizar una representación parametrizada de una señal de audio |
| US8452587B2 (en) * | 2008-05-30 | 2013-05-28 | Panasonic Corporation | Encoder, decoder, and the methods therefor |
| CN101604983B (zh) * | 2008-06-12 | 2013-04-24 | 华为技术有限公司 | 编解码装置、系统及其方法 |
| WO2010042024A1 (en) * | 2008-10-10 | 2010-04-15 | Telefonaktiebolaget Lm Ericsson (Publ) | Energy conservative multi-channel audio coding |
| CA2748045C (en) * | 2009-01-05 | 2016-04-26 | Gordon Toll | Apparatus and method for defining a safety zone for a vehicle, a person or an animal |
| EP2214161A1 (en) * | 2009-01-28 | 2010-08-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for upmixing a downmix audio signal |
| WO2010097748A1 (en) * | 2009-02-27 | 2010-09-02 | Koninklijke Philips Electronics N.V. | Parametric stereo encoding and decoding |
| US8666752B2 (en) * | 2009-03-18 | 2014-03-04 | Samsung Electronics Co., Ltd. | Apparatus and method for encoding and decoding multi-channel signal |
| WO2010105695A1 (en) * | 2009-03-20 | 2010-09-23 | Nokia Corporation | Multi channel audio coding |
| CN101533641B (zh) * | 2009-04-20 | 2011-07-20 | 华为技术有限公司 | 对多声道信号的声道延迟参数进行修正的方法和装置 |
| WO2011039668A1 (en) * | 2009-09-29 | 2011-04-07 | Koninklijke Philips Electronics N.V. | Apparatus for mixing a digital audio |
| RU2576476C2 (ru) | 2009-09-29 | 2016-03-10 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф., | Декодер аудиосигнала, кодер аудиосигнала, способ формирования представления сигнала повышающего микширования, способ формирования представления сигнала понижающего микширования, компьютерная программа и бистрим, использующий значение общего параметра межобъектной корреляции |
| KR101641685B1 (ko) | 2010-03-29 | 2016-07-22 | 삼성전자주식회사 | 멀티채널 오디오의 다운믹스 방법 및 장치 |
| KR20110116079A (ko) * | 2010-04-17 | 2011-10-25 | 삼성전자주식회사 | 멀티 채널 신호의 부호화/복호화 장치 및 방법 |
| CN102986254B (zh) * | 2010-07-12 | 2015-06-17 | 华为技术有限公司 | 音频信号产生装置 |
| AU2010345325B2 (en) | 2010-07-14 | 2013-09-26 | Guangdong Shengyi Sci. Tech Co., Ltd. | Composite material, high-frequency circuit substrate made therefrom and making method thereof |
| BR112013004362B1 (pt) * | 2010-08-25 | 2020-12-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | aparelho para a geração de um sinal descorrelacionado utilizando informação de fase transmitida |
| US9311923B2 (en) * | 2011-05-19 | 2016-04-12 | Dolby Laboratories Licensing Corporation | Adaptive audio processing based on forensic detection of media processing history |
| EP2838086A1 (en) * | 2013-07-22 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment |
-
2013
- 2013-10-18 EP EP13189287.9A patent/EP2838086A1/en not_active Withdrawn
-
2014
- 2014-07-18 PT PT14748143T patent/PT3025336T/pt unknown
- 2014-07-18 MX MX2016000909A patent/MX359163B/es active IP Right Grant
- 2014-07-18 WO PCT/EP2014/065537 patent/WO2015011057A1/en active Application Filing
- 2014-07-18 KR KR1020187005780A patent/KR101943601B1/ko active IP Right Grant
- 2014-07-18 RU RU2016105741A patent/RU2678161C2/ru active
- 2014-07-18 CN CN202010573675.0A patent/CN111862997A/zh active Pending
- 2014-07-18 SG SG11201600393VA patent/SG11201600393VA/en unknown
- 2014-07-18 CA CA2918874A patent/CA2918874C/en active Active
- 2014-07-18 ES ES14748143.6T patent/ES2687952T3/es active Active
- 2014-07-18 BR BR112016001003-5A patent/BR112016001003B1/pt active IP Right Grant
- 2014-07-18 PL PL14748143T patent/PL3025336T3/pl unknown
- 2014-07-18 EP EP14748143.6A patent/EP3025336B1/en active Active
- 2014-07-18 CN CN201480041810.XA patent/CN105518775B/zh active Active
- 2014-07-18 JP JP2016528469A patent/JP6279077B2/ja active Active
- 2014-07-18 KR KR1020167004624A patent/KR101835239B1/ko active IP Right Grant
- 2014-07-18 AU AU2014295167A patent/AU2014295167B2/en active Active
- 2014-07-21 TW TW103124999A patent/TWI560702B/zh active
- 2014-07-21 AR ARP140102704A patent/AR097001A1/es active IP Right Grant
-
2016
- 2016-01-19 US US15/000,508 patent/US10360918B2/en active Active
- 2016-02-18 ZA ZA2016/01112A patent/ZA201601112B/en unknown
-
2019
- 2019-06-04 US US16/431,601 patent/US10937435B2/en active Active
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105518775B (zh) | 使用自适应相位校准的多声道降混的梳型滤波器的伪迹消除 | |
| JP5189979B2 (ja) | 聴覚事象の関数としての空間的オーディオコーディングパラメータの制御 | |
| CA2750272C (en) | Apparatus, method and computer program for upmixing a downmix audio signal | |
| CN105378832B (zh) | 解码器、编码器、解码方法、编码方法和存储介质 | |
| CA2887228C (en) | Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding | |
| CN110223701B (zh) | 用于从缩混信号产生音频输出信号的解码器和方法 | |
| CN107077861B (zh) | 音频编码器和解码器 | |
| TW202322102A (zh) | 音訊編碼器、降混訊號產生方法及非暫時性儲存單元 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |