CN105531761B - 音频解码系统和音频编码系统 - Google Patents
音频解码系统和音频编码系统 Download PDFInfo
- Publication number
- CN105531761B CN105531761B CN201480050422.8A CN201480050422A CN105531761B CN 105531761 B CN105531761 B CN 105531761B CN 201480050422 A CN201480050422 A CN 201480050422A CN 105531761 B CN105531761 B CN 105531761B
- Authority
- CN
- China
- Prior art keywords
- parameter
- hybrid
- group
- input signal
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
Abstract
用于处理双通道输入信号(X)的音频解码系统(100)包括参数混合级(110)。参数混合级接收双通道输入信号和一组混合参数(P1),并且输出双通道输出信号(Y1)。参数混合级包括基于输入信号输出去相关信号(D1)的去相关级(111)。参数混合级还包括混合矩阵(112),其接收输入信号和去相关信号,并且形成来自输入信号和去相关信号的通道的双通道线性组合。混合矩阵输出该线性组合作为双通道输出信号。能够由该组混合参数来控制该线性组合的系数,并且该组中的至少四个混合参数能够被独立地指定。在示例实施方式中,多个参数混合级被用来独立地重构被编码在输入信号中的附加通道。
Description
相关申请的交叉引用
本申请要求于2013年9月12日提交的美国临时专利申请No.61/1877,176的优先权,其全部内容通过引用合并至本文中。
技术领域
本文所公开的发明一般地涉及多通道音频编码,并且更确切地涉及用于参数多通道音频编码和解码的技术。
背景技术
已知参数立体声和多通道编码方法在收听质量方面是高效的并且可伸缩的,这使得它们在低比特率应用中特别有吸引力。参数编码方法通常提供出色的编码效率,但是在实现时有时可能涉及大量的计算或高结构复杂度(中间缓冲区等)。关于这种方法的示例,请参见EP1 410 687 Bl。
现有的立体声编码方法可以从它们的带宽效率、计算效率和/或鲁棒性的方面来改善。针对下混信号中的缺陷的鲁棒性在依赖于会使信号暂时失真的核心编码器的应用中尤其相关。然而,在一些现有技术系统中,下混信号中的误差可能传播并且倍增。意在用于大范围的装置(其中多功能便携式消费装置可能具有最有限的处理能力)的编码方法也应该在计算上高效以免(在瞬时处理容量方面以及电池放电周期上的总能量使用方面)要求给定装置中可用资源的不合理份额。有吸引力的编码方法还能够实现至少一个简单且高效的硬件实现。针对以下方面做出决定是可能涉及耗时的收听测试的重要任务:这样的编码方法如何消耗可用的计算资源、存储资源和带宽资源来使得这些资源最有效地对感知收听质量做出贡献。例如,当应用参数编码方法时,关于如何确定合适的参数值以及以哪种形式传输和/或存储这些参数值的选择可能对感知收听质量具有显著影响。
附图说明
现在将参考附图来描述示例实施方式,在附图中:
图1是根据第一示例实施方式的音频解码系统的一般化框图;
图2a至图2d示出了根据至少一些示例实施方式的混合参数值的不同形式的插值;
图3至图6分别是根据第二示例实施方式、第三示例实施方式、第四示例实施方式和第五示例实施方式的音频解码系统的一般化框图;以及
图7是根据示例实施方式的音频编码系统的一般化框图。
所有附图均为示意性的,并且一般仅示出必要部分以阐明本公开内容,而可以忽略或仅暗示其他部分。除非另外指出,否则相同的附图标记在不同的附图中指代相同的部分。
具体实施方式
I.综述
如本文中所使用的,“音频信号”可以是纯音频信号、视听信号或多媒体信号的音频部分、或者与元数据结合的这些信号中的任意信号。
根据第一方面,示例实施方式提出了用于处理双通道输入信号的音频解码系统、音频解码方法和计算机程序产品。所提出的音频解码系统、音频解码方法和计算机程序产品可以一般地具有相同或相应的特征和优点。
根据示例实施方式,提供了一种用于处理双通道输入信号的音频解码系统。该音频解码系统包括适于接收双通道输入信号以及接收第一组混合参数的第一参数混合级。第一参数混合级还适于输出第一双通道输出信号。第一参数混合级包括适于基于输入信号输出第一去相关信号的第一去相关级。第一参数混合级还包括第一混合矩阵,其适于接收输入信号和第一去相关信号,形成来自输入信号和第一去相关信号的通道的第一双通道线性组合,以及输出该线性组合作为第一双通道输出信号。第一线性组合的系数(即,系数中的至少一些)能够被第一组混合参数控制,并且第一组混合参数中的至少四个混合参数能够被独立地指定。
第一组混合参数中的至少四个混合参数能够被独立地指定是指:这至少四个混合参数中的任一个混合参数的接收值可以改变,而这至少四个混合参数中的其余混合参数的接收值可以保持不变。具体地,第一参数混合级被配置成接受和执行(在不同的场合下)仅一个(任意)混合参数的值不同的参数值组。第一双通道线性组合是通过将多个系数应用于第一去相关信号和输入信号的通道而形成的双通道信号。这些系数中的至少一些能够由第一组混合参数控制是指:可以通过改变混合参数中的一个或更多个来对于至少一些系数获得不同的值,以及该至少四个可独立指定的混合参数中的每个对于系数中的至少之一的控制有贡献(即,不同的参数可以对相同系数或者不同系数的控制有贡献)。混合参数对系数的控制有贡献可以是指:至少对于该混合参数的一些值(或者参数范围/空间中的几乎每处),该系数关于该混合参数的偏导数为非零。
接收至少四个可独立指定的混合参数并且使用这些参数基于双通道输入信号形成双通道来输出信号的效果是:这允许在对输入音频信号中的原始音频信号进行编码的编码器侧处具有更多的自由。事实上,可独立指定的混合参数可以携带关于编码器侧进行的编码和/或下混操作的信息,并且可以使得解码系统在具有适应编码器侧使用的具体编码和/或下混操作的出色能力的情况下能够根据双通道输入信号来重构原始音频信号的通道。
此外,可以在编码器侧处将具有多于两个通道的原始音频信号编码成解码系统的双通道输入信号,并且所接收的至少四个可独立指定的混合参数可以使得解码系统能够基于输入信号来重构原始音频信号的任意两个通道作为第一双通道输出信号。事实上,至少四个可独立指定的混合参数的一组值可以管理/控制原始音频信号的第一对通道的重构,而该至少四个可独立指定的混合参数的另一组值可以基于相同的输入信号来管理/控制同一解码系统中的原始音频信号的另一对通道的重构。例如,若干个功能相同的解码系统(或者解码系统内的混合级)可以并行操作以重构在输入信号中编码的原始音频信号的不同通道,解码系统(或者解码系统内的混合级)由不同的混合参数组控制。
由于解码系统接收多至四个可独立指定的混合参数,所以解码系统对原始音频信号的重构可能对接收的混合参数的值中的偏差(例如,传输误差、不准确或者其他无意识的偏差)较不敏感。这使得能够在不损害重构信号的感知质量的情况下使用所接收的混合参数的较粗糙且/或更加节省比特的量化。
根据示例实施方式,第一组混合参数中的参数可以是实值的,即,参数可以是实数。
根据示例实施方式,第一去相关级可以适于将第一去相关信号输出为单通道信号。使用单通道去相关信号的效果是:可以仅需要一个去相关器来提供单通道去相关信号,而该单通道去相关信号在解码系统中提供足够的可控性以获得感知上可接受的声音。
根据示例实施方式,第一去相关级可以包括预混矩阵和去相关器。预混矩阵可以适于形成来自输入信号的通道的中间线性组合。在本示例实施方式中,中间线性组合的系数能够仅由第一组混合参数控制,即,第一去相关级接收的其他参数或变量不对中间线性组合的系数的控制有贡献。去相关器可以适于接收中间线性组合,以及基于中间线性组合输出第一去相关信号。例如,中间线性组合的系数中的每个能够由第一组混合参数控制。
该至少四个可独立指定的混合参数中的一个或更多个(例如,两个)可以对中间线性组合的至少一些系数的控制有贡献。
根据示例实施方式,第一组混合参数确切地包括四个可独立指定的混合参数。换言之,第一组混合参数可以包括多于四个混合参数,但是在本示例实施方式中这些混合参数中确切的四个混合参数能够独立指定。具体地,对于上面描述的第一去相关级包括预混矩阵的示例实施方式,确切地包括四个可独立指定的混合参数的第一组混合参数暗示:对第一双通道线性组合中的系数进行控制的四个可独立指定的混合参数也控制预混矩阵的系数(对来自任何另外接收的参数或变量的系数的控制没有贡献)。
根据示例实施方式,去相关器可以包括适于接收中间线性组合的通道以及输出第一去相关信号的通道的至少一个无限脉冲响应格型滤波器。
根据示例实施方式,去相关器可以包括伪迹(artifact)衰减器,其被配置成检测中间线性组合中的声音结尾,以及响应于该声音结尾采取校正动作。当输入信号在具有活动音频内容的时间段之后变得静默时,人耳可能能够觉察到第一输出信号中的瞬变和/或其他伪迹。通过例如在输入信号中的这种静默时期的开始处衰减中间音频信号,去相关器可以减少第一去相关信号中以及第一输出信号中的瞬变和/或其他伪迹的影响。
根据示例实施方式,音频解码系统还可以包括第二参数混合级,其适于接收双通道输入信号以及接收独立于第一组混合参数的第二组混合参数。第二参数混合级可以适于输出第二双通道输出信号。第二参数混合级可以包括适于基于输入信号来输出第二去相关信号的第二去相关级。第二参数混合级还可以包括适于接收输入信号和第二去相关信号的第二混合矩阵。第二混合矩阵可以适于形成来自输入信号和第二去相关信号的通道的第二双通道线性组合,以及输出第二线性组合作为第二双通道输出信号。第二线性组合的至少一些系数可以是能够由第二组混合参数控制的,并且第二组中的至少四个混合参数能够被独立地指定。
第二组混合参数独立于第一组混合参数是指:第二组中的至少四个可独立指定的混合参数也相对于第一组中的混合参数能够被独立地指定。第二双通道线性组合的至少一些系数能够由第二组混合参数控制是指:可以通过改变第二组中的一个或更多个混合参数来针对至少一些系数获得不同的值,以及第二组的至少四个可独立指定的混合参数中的每个对这些系数中的至少之一的控制有贡献(即,不同的参数可以对同一系数或者不同的系数的控制有贡献)。
第一混合级和第二混合级可以并行地并且彼此独立地运行以基于同一输入信号分别产生第一双通道输出信号和第二双通道输出信号。分别由第一混合级和第二混合级接收的第一组混合参数和第二组混合参数的值可以甚至在第一混合级和第二混合级功能等同的示例实施方式中使第一混合级和第二混合级产生不同的输出信号。第二混合级可以能够操作以接收如下第一组参数:具有与由第一混合级接收的第一组混合参数的相应属性不同的属性,如量化格式、频带分辨率和/或更新频率(即,能够将新值指定给参数的频繁程度)。
根据示例实施方式,第二组混合参数中的参数可以是实值的,即,参数可以是实数。
根据示例实施方式,第一混合矩阵可以适于接收第一边信号,其包括与上至第一交叉频率的频率对应的频谱数据。第一混合矩阵可以能够操作以根据来自输入信号和第一去相关信号的通道以及第一边信号来形成第一双通道线性组合。在本示例实施方式中,第二混合矩阵可以适于接收第二边信号,其包括与上至第二交叉频率(等于或不同于第一交叉频率)的频率对应的频谱数据。第二混合矩阵可以能够操作以根据来自输入信号和第二去相关信号的通道以及第二边信号来形成第二双通道线性组合。
可以通过双通道输入信号来表示多通道音频信号,并且可以基于双通道输入信号以及第一组混合参数和第二组混合参数由解码系统重构该多通道音频信号的通道。如果对于人耳更敏感的相对较低的频率由使用输入信号以及来自一个或更多个边信号的附加信息的离散编码/解码来替换(或者补充)使用输入信号和混合参数的参数编码/解码,则可以改善重构通道的感知声音质量。对于第一交叉频率以下的频率,第一边信号可以用作边信号(或者差信号)以供与用作中间信号(或和信号)的输入信号的通道之一一起使用。对于第一交叉频率以下的频率,第一混合矩阵可以根据输入信号和第一去相关信号的通道以及第一边信号来形成第一双通道线性组合。对于第一交叉频率以下的频率,第一混合矩阵可以例如通过执行边/差信号(第一边信号)和中间/和信号(输入信号的第一通道)的离散解码来提供第一线性组合。类似地,对于第二交叉频率以下的频率,第二混合矩阵可以根据输入信号和第二去相关信号的通道以及第二边信号来形成第二双通道线性组合。对于第二交叉频率以下的频率,第二混合矩阵可以例如通过执行边/差信号(第二边信号)和中间/和信号(输入信号的第二通道)的离散解码来提供第二线性组合。关于第一边信号和第二边信号的使用的更多细节,参见下面参考图4进行的描述。
根据示例实施方式,音频解码系统还可以包括第三参数混合级,其适于接收双通道输入信号,以及接收独立于第一组混合参数和第二组混合参数的第三组混合参数。第三参数混合级可以适于输出第三输出信号,并且第三参数混合级可以适于在第三输出信号中提供至多一个具有独立音频内容的通道。第三参数混合级可以包括第三混合矩阵,其适于接收输入信号,形成来自输入信号的通道的第三线性组合,以及输出第三线性组合作为第三输出信号。第三线性组合的至少一些系数可以能够由第三组混合参数控制,并且第三组中的至少两个混合参数因此能够被独立地指定。
第三输出信号可以是单通道信号,或者可以是多通道信号(例如,与第一输出信号和第二输出信号类似的双通道信号),但是在该示例实施方式中,第三输出信号包括至多一个具有独立音频内容的通道。例如,第三输出信号包括具有音频内容的一个通道以及不具有独立音频内容的一个或更多个空/中性音频通道。
在一些示例实施方式中,第三混合级可以在以下方面在功能上类似于第一混合级:第三混合级可以包括基于输入信号输出第三去相关信号的第三去相关级,第三去相关信号被第三混合矩阵用来形成第三输出信号。
根据示例实施方式,第三组混合参数中的参数可以是实值的,即,参数可以是实数。
根据示例实施方式,解码系统可以包括第三参数混合级,其适于接收双通道输入信号,以及接收独立于第一组混合参数和第二组混合参数的第三组混合参数。第三参数混合级可以适于输出第三输出信号。第三参数混合级可以包括适于基于输入信号输出第三去相关信号的第三去相关级。第三参数混合级可以包括第三混合矩阵,其适于接收输入信号和第三去相关信号,形成来自输入信号和第三去相关信号的通道的第三双通道线性组合,以及输出第三线性组合作为第三双通道输出信号。第三线性组合的至少一些系数可以能够由第三组混合参数控制,并且(不同于先前的示例实施方式)第三组中的至少四个混合参数因此能够被独立地指定。
通过使用三个参数混合级,本示例实施方式的解码系统可以基于双通道输入信号和接收的混合参数提供多至六个具有独立内容的输出通道。
根据示例实施方式,音频解码系统可以包括适于接收混合参数的集合的控制器。控制器可以适于将作为接收的参数集合的子集的第一组混合参数、第二组混合参数和第三组混合参数分别提供给第一参数混合级、第二参数混合级和第三参数混合级。控制器可以适于经由第三组混合参数来控制第三混合级在第三输出信号中提供至多一个具有独立音频内容的通道。
本实施方式的第一参数混合级、第二参数混合级和第三参数混合级的功能可以相同,但是第三混合级可以由控制器控制以提供与第一参数混合级和第二参数混合级的输出不同类型的输出。可以例如控制第三参数混合级提供第三输出信号作为伴随有空(零/中性)通道的单通道音频信号。控制器可以例如是解复用器,其从比特流提取第一组混合参数、第二组混合参数和第三组混合参数,并且将第一组混合参数、第二组混合参数和第三组混合参数分别提供给第一混合级、第二混合级和第三混合级。
根据示例实施方式,音频解码系统还可以包括适于接收双通道输入信号以及扩展混合参数组的附加参数混合级,扩展混合参数组包括至少三个来自第一组混合参数的混合参数、至少三个来自第二组混合参数的参数以及独立于第一组混合参数、第二组混合参数和第三组混合参数的至少一个附加混合参数。该附加参数混合级可以适于输出具有至少五个通道的附加输出信号。解码系统还可以包括加法级,其适于将附加输出信号的通道分别加至第一输出信号的通道、第二输出信号的通道和第三输出信号的通道。附加参数级可以包括适于基于输入信号输出附加去相关信号的附加去相关级。附加参数级可以包括适于基于附加去相关信号和扩展混合参数组生成附加输出信号的上混矩阵。
使用附加去相关信号来形成对第一输出信号、第二输出信号和第三输出信号的附加贡献可以提高解码系统提供对输入音频信号所代表的多通道音频信号的更忠实的重构的能力。使用附加去相关信号来形成对第一输出信号、第二输出信号和第三输出信号的附加贡献可以例如在第一输出信号、第二输出信号和第三输出信号的通道的五通道回放期间增加回放声音的感知维度。
在一些示例实施方式中,来自扩展混合参数组的混合参数可以包括来自第一组混合参数的至少三个可独立指定的参数、以及来自第二组混合参数的至少三个可独立指定的参数,并且在先前讨论的意义上,扩展参数组中包括的这些可独立指定的混合参数中的每个可以对被上混矩阵用来形成附加输出信号的至少一个系数的控制有贡献。附加混合参数也可以对被上混矩阵用来形成附加输出信号的至少一个系数的控制有贡献。
根据示例实施方式,第一参数混合级可以适于接收与多个子频带相关联的第一组混合参数的值。第一参数混合级可以适于使用与对应子频带相关联的第一组混合参数的值(即,使用的值与对应子频带相关联)对输入信号和第一去相关信号的子频带表示进行操作。
类似地,在一些示例实施方式中,第二参数混合级、第三参数混合级和/或第四参数混合级(或整个解码系统)可以适于使用与对应子频带相关联的混合参数的值对输入信号的(和去相关信号的)子频带表示进行操作。在一些示例实施方式中,不同的子频带划分可以用于解码系统的不同的参数混合级中。
根据示例实施方式,第一参数混合级可以适于使用非均匀子频带划分。以较不敏感的频率范围的准确度为代价,对于人耳相对较不敏感的频率范围,可以通过使用相对较粗糙的子频带划分来允许所传输的参数的计算效率和/或带宽减小,并且对于人耳相对较敏感的频率范围,可以通过使用相对较精细的子频带划分来允许重构音频信号的提升的保真度。
根据示例实施方式,第一组混合参数中的至少一个可独立指定的参数可以控制第一去相关信号对第一线性组合的贡献。根据示例实施方式,第一组混合参数的两个可独立指定的参数可以以第一量化格式由第一参数混合级接收,并且可以控制两个输入信号通道对中间线性组合的相对贡献。另外,第一组混合参数的两个不同的可独立指定的参数可以以与第一量化格式不同的第二量化格式由第一参数混合级接收,并且可以控制中间线性组合和第一去相关信号对第一输出信号的相对贡献。在本实施方式中,第一去相关信号是中间线性组合的去相关版本。
在本实施方式中,存在不同类型并且/或者在第一参数混合级中具有质量上不同的角色的混合参数。针对不同参数类型使用不同量化格式可以提升编码效率,这是因为通过例如以下方式可以节省带宽和/或存储空间:对于小偏差可能引起对输出信号的体验音频质量相对较小影响的参数类型,使用较粗糙的量化尺度。也可以选择量化格式来匹配所测量或所经历的参数统计。
在一些示例实施方式中,至少一些参数混合级可以适于以不同的量化格式接收其相应组的混合参数,即,解码系统中的不同的参数混合级可以接收不同量化格式的混合参数。
根据示例实施方式,第一参数混合级可以适于接收具有第一时间分辨率的输入信号,以第一时间分辨率将输入信号划分成包括常数数量的样本的时间帧,即,包括相同数量的样本的时间帧。第一参数混合级可以能够进行操作以在时间帧期间接收第一组混合参数中的每个混合参数的一个值。第一参数混合级还能够进行操作以在时间帧期间接收第一组混合参数中的每个混合参数的两个值。
换言之,第一参数混合级可以例如根据时间帧中的这种值的可用性,或者响应于指示在时间帧中接收多少值的专用信号来在时间帧中接收第一组混合参数中的每个混合参数的一个或两个值。还参考下面参照图2a至图2d的描述。
时间帧可以例如是MDCT帧(改进型离散余弦变换)。典型的MDCT帧长是1536个样本。
根据示例实施方式,第一参数混合级可以能够进行操作以接收具有第一时间分辨率的第一组混合参数,并且采用时间插值来根据具有第一时间分辨率的第一组混合参数产生具有第二时间分辨率的一组一个或更多个混合参数。当处理输入信号时,第二时间分辨率可以例如被第一混合级使用。关于插值的更多细节,请参见下面参照图2a至图2d的描述。
混合参数的插值可以例如减少当快速变化的混合参数被用于解码系统中时会出现的第一输出信号中的噪声、不稳定性以及/或者其他不希望的效应。
在一些示例实施方式中,可以在解码系统的不同的参数混合级中使用不同的插值技术。
根据示例实施方式,第一参数混合级和第二参数混合级的功能可以相同。例如,两个相同的参数混合级可以用作第一参数混合级和第二参数混合级。虽然功能相同,但是可以由第一组混合参数和第二组混合参数来控制第一参数混合级和第二参数混合级以产生不同的第一输出信号和第二输出信号。
根据一些示例实施方式,第二去相关级和/或第三去相关级可以具有与第一去相关级相同的结构,即,它可以包括具有与第一混合级中相同的职责的预混矩阵和去相关器。
根据一些示例实施方式,可以使用与在第一混合级中用于获得第一去相关信号的去相关器相同类型的一个或更多个去相关器来获得第二去相关信号、第三去相关信号和/或第四去相关信号。在一些示例实施方式中,不同的设置可以用于不同的参数混合级的去相关器。
根据第二方面,示例实施方式提出了用于处理多通道输入信号的音频编码系统、音频编码方法和计算机程序产品。所提出的编码系统、编码方法和计算机程序产品可以一般性地具有相同或相应的特征和优点。
根据第一方面的解码系统的关于如上呈现的特征和设置的优点可以一般性地对于适于与解码系统协作的、根据第二方面的编码系统的对应的特征和设置有效。
根据示例实施方式,提供了用于处理多通道输入信号的音频编码系统。音频编码系统包括混合级,其适于接收多通道输入信号以及基于多通道输入信号输出双通道输出信号。编码系统还包括适于接收多通道输入信号和双通道输出信号的参数分析器。参数分析器包括第一参数分析级,其适于基于双通道输出信号并且基于多通道输入信号的两个通道来输出用于控制第一参数混合级的第一组混合参数,第一参数混合级用于根据双通道输出信号来重构多通道输入信号的两个通道。第一参数分析器还包括第二参数分析级,其适于基于双通道输出信号并且基于多通道输入信号的至少一个通道(不同于多通道输入信号的由第一参数分析级使用的两个通道的每个)输出用于控制第二参数混合级的第二组混合参数,第二参数混合级用于根据双通道输出信号来重构多通道输入信号的至少一个通道。在本示例实施方式的编码系统中,第二参数分析级被配置成独立于第一参数分析级工作,即,第二参数分析级被配置成不依赖从第一参数分析级接收的数据/信息来确定第二组混合参数。
作为处理完整的多通道信号的替选方案,双通道输出信号可以适合于与混合参数一起存储和/或传输。
由第二参数分析级独立于第一参数分析级地确定的第二组参数使得能够提高以下方面的自由:与用于确定第一组参数的技术/方法无关地选择用于确定第二组参数的技术/方法。此外,对于第一组混合参数和第二组混合参数,参数的属性如量化格式、频带分辨率和更新频率(即,能够将新值指定给参数的频繁程度)可以不同。
在选择技术/方法和/或参数属性上的自由可以允许较比特高效地使用混合参数,并且/或者可以允许提高基于双通道输出信号和混合参数重构的多通道输入信号的通道的感知声音质量。
例如,第一参数分析级可以使用特别适合于根据双通道输出信号重构多通道输入信号的两个通道的技术/方法和/或参数属性,而第二参数分析级可以使用特别适合于根据双通道输出信号重构多通道输入信号的至少一个通道的技术/方法和/或参数属性。具体地,可以基于双通道输出信号和多通道输入信号的接收的两个通道的音频内容使由第一参数分析级使用的技术/方法和/或参数属性适应(即,随着时间调整),并且/或者可以基于双通道输出信号和多通道输入信号的接收的至少一个通道的音频内容使由第二参数分析级使用的技术/方法和/或参数属性适应(即,随着时间调整)。也可以基于多通道输入信号的通道的已知的或期望的属性来选择相应的技术/方法。例如,在前通道中期望与环绕通道中不同的统计属性可以是合理的。
在一些示例实施方式中,第一参数分析级可以被配置成独立于第二参数分析级地工作,即,它可以被配置成不依赖从第二参数分析级接收的数据/信息来确定第一组混合参数。具体地,第一参数分析级和/或第二参数分析级可以被配置成在不依赖由不同参数分析级产生的中间结果的情况下接受输入数据的独立的流。
在一些示例实施方式中,第一组混合参数可以适合控制要在第一参数混合级中执行的至少一个双通道线性组合,第一参数混合级用于根据双通道输出信号来重构多通道输入信号的两个通道。类似地,第二组混合参数可以适合控制要在第二参数混合级中执行的至少一个双通道线性组合,第二参数混合级用于根据双通道输出信号来重构多通道输入信号的至少一个通道。
在一些示例实施方式中,第一组混合参数可以包括至少四个混合参数,并且第二组混合参数可以是多通道输入信号的该至少一个通道中的通道数量的至少两倍。通过输出要重构的多通道输入信号中的通道数量的至少两倍数量的混合参数,编码系统可以便于重构例如包括两个或更多个独立工作的参数混合级的解码系统中的多通道输入信号。具体地,每个这样的混合级可以在不与解码系统中的邻近并行混合级交互的情况下完成其任务。例如,邻近混合级不需要针对混合参数的值彼此轮询或者交换或分享中间信号。这允许高度的模块化和/或并行化。
根据示例实施方式,第一组混合参数和第二组混合参数的参数可以是实值的,即,参数可以是实数。
根据示例实施方式,参数分析器还可以适于基于多通道输入信号来输出附加混合参数,其用于控制附加去相关信号对第一参数混合级和第二参数混合级的输出通道的贡献。
可以当使用混合参数根据较低数量的通道重构较高数量的通道时使用去相关器。混合参数可以例如适于在使用去相关器的参数混合级中用于重构多通道输入信号的通道。通过提供用于控制附加去相关信号对第一参数混合级和第二参数混合级的输出通道的贡献的附加混合参数,编码系统使得能够或者至少便于在包括参数混合级的解码系统中更忠实地重构多通道音频信号。
应当注意,即使在互相不同的示例实施方式中叙述,本发明仍涉及特征的所有组合。
II.示例实施方式
图1是用于处理双通道输入信号X的音频解码系统100的一般化框图。音频解码系统100包括参数混合级110,其适于接收双通道输入信号X以及接收包括至少四个可独立指定的混合参数的混合参数组P1。换言之,混合参数组P1可以包括多于四个混合参数,但这些混合参数中的至少四个是互相独立的参数(即,相对于彼此独立)。参数混合级110适于基于双通道输入信号X和混合参数组P1来输出双通道输出信号Y1。参数混合级110包括去相关级111和混合矩阵112。去相关级111适于基于输入信号X来输出去相关信号D1。在图1中,通过单通道信号来举例说明去相关信号D1,但是在一些示例实施方式中,去相关信号D1可以包括多个通道。例如,去相关信号D1可以像输入信号X那样是双通道信号。
混合矩阵112适于接收输入信号X和去相关信号D1。混合矩阵112还适于形成来自输入信号X的通道与来自去相关信号D1的通道的双通道线性组合,以及输出该线性组合作为双通道输出信号Y1。混合矩阵112适于使用参数组P1来形成该线性组合,即,该线性组合的至少一些系数(例如,所有系数)能够由混合参数组P1控制。
在图1所示的结构的一些示例实现中,去相关级111可以使用参数组P1(或者使用参数组P1的子组)来形成去相关信号D1。例如,去相关级111可以包括适于形成输入信号X的两个通道的中间线性组合Z1的预混矩阵113,其中,该中间线性组合Z1的至少一些系数(例如,所有的系数)能够由混合参数组P1中的一个或更多个参数控制。在本示例中,去相关级111还可以包括去相关器114,去相关器114适于接收中间线性组合Z1以及基于中间线性组合Z1输出去相关信号D1。可以例如通过混响型效应来延迟、相移和/或处理去相关信号D1。本领域中已知若干去相关器设计。关于可以用作去相关器114的示例设计,参见例如专利文件EP1 410 687 Bl和EP1 616 461 Bl。在一些示例实施方式中,中间线性组合Z1可以是单通道信号,并且去相关器114可以输出单通道去相关信号D1。在其他实施方式中,中间线性组合Z1可以是多通道信号,并且去相关器114可以包括若干子去相关器,每个子去相关器基于中间线性组合Z1的相应通道来输出多通道去相关信号D1的一个通道。
具体地,去相关器114可以包括适于接收中间线性组合Z1的通道以及输出去相关信号D1的通道的一个或更多个无限脉冲响应格型滤波器。另外,去相关器114可以例如包括伪迹衰减器,其被配置成检测中间线性组合Z1中的声音结尾,以及响应于该声音结尾来采取校正动作。当输入信号X在具有活动音频内容的时间段之后变得静默时,人耳可能能够觉察到输出信号Y1中的瞬变和/或其他伪迹。通过例如在输入信号X中的这中静默时段的开始衰减中间音频信号Z1,去相关器114可以减少去相关信号D1中以及输出信号Y1中的瞬变和/或其他伪迹的影响。
中间线性组合Z1可以被表示为应用于输入信号X的矩阵A的结果。去相关信号D1可以被表示为:
D1=Dec(AX),
其中,Dec()表示由去相关器114执行的去相关。注意,在AX是多通道信号的情况下Dec()表示按元素的去相关。输出信号Y1可以被表示为应用于输入信号X和去相关信号D1的将矩阵B的结果,即被表示为:
在图1所示的结构的一些示例实现中,参数混合级110可以适于接收与多个子频带相关联的混合参数组P1的值,以及使用与对应子频带相关联的混合参数组P1的值对输入信号X和去相关信号D1的子频带表示进行操作。类似地,预混矩阵113可以适于对输入信号X的子频带表示进行操作。可以例如以变换格式(例如,使用正交镜像滤波QMF)接收输入信号X,以该变换格式将输入信号X表示在与变换相关联的子频带(例如,QMF子频带)中。所接收的混合参数的值可以与相对于输入信号X的变换子频带而言具有不同的频率分辨率的子频带相关联。在这种情况下,可以特别是通过将两个或更多个QMF子频带分组在一起并且对这两个或更多个QMF子频带应用混合参数的相同值来将所接收的混合参数的值映射至适当的变换子频带(例如,QMF子频带)。
参数混合级110可以例如使用非均匀的子频带划分。例如,子频带可以反映人类听觉系统的敏感度,对于人耳相对较敏感的、通常为较低频率和中间频率的频率范围,子频带划分较精细。
在一些示例实施方式中,参数混合级110可以适于接收具有第一时间分辨率的输入信号X,其中输入信号X被以第一时间分辨率划分成包括常数数量的样本的时间帧(即,每个帧中的样本数量相同)。在这种实施方式中,参数混合级110可以能够进行操作以在时间帧期间接收混合参数组P1中的每个混合参数的一个或更多个值(关于细节,请参见下面的图2a至图2d的描述)。可以例如由音频解码系统100以MDCT编码格式(改进型离散余弦变换)来接收输入信号X,并且时间帧可以是长度与MDCT变换的步幅对应的MDCT帧。
用索引k指代当前子频带并且用索引n表示当前样本(例如,QMF样本),去相关信号D1和输出信号Y1可以表示为:
D1(n,k)=Dec(A(n,k)X(n,k))以及
在混合(和预混)期间被用作系数的矩阵A(n,k)和矩阵B(n,k)的元素可以例如由用于对应的子频带和样本的混合参数组P1的值来控制。在一些示例实施方式中,矩阵A(n,k)和矩阵B(n,k)可以被分别获得为矩阵E和矩阵F的时间插值版本。将在下面的不同场景中描述矩阵E和矩阵F的示例。随后将结合图2a至图2d来描述用于根据矩阵E和矩阵F获得矩阵A(n,k)和矩阵B(n,k)的不同时间插值方案。
在第一场景中,输入信号X表示压缩格式的立体声音频信号。在输入信号X中,立体声音频信号的左通道和右通道被编码为输入信号X中的伴有空(或者零/中性)通道的单通道下混信号。假定本场景的下混信号被定位为输入信号X中的第一通道,则解码系统100可以在预混矩阵113和混合矩阵112中分别使用矩阵
E(1 0)以及中给出的值来重构立体声音频信号。可以将上面的矩阵E和矩阵F分别看作要在预混矩阵113和混合矩阵112中使用的更一般矩阵
E(γ1 γ2)以及的示例实现。通过参数组P1(α1,β1,γ1,γ2)即能够被独立地指定的确切的四个参数来参数化一般矩阵E和矩阵F。具体地,仅由参数组P1(α1,β1,γ1,γ2)来控制使用矩阵E在预混矩阵113中获得的中间线性组合Z1的系数,即,没有其他参数对预混矩阵113所使用的系数的控制有贡献。
在上面描述的第一场景中,混合参数组P1是(α1,β1,γ1,γ2),但是通过使用混合参数值γ1=1和γ2=0简化了矩阵E和矩阵F。
在图1所示的结构的实现中,混合参数组P1的实际值可以与输入信号X一起由解码系统100接收,例如与输入信号X一起编码在比特流中。可以例如在以下编码系统中确定混合参数组P1,在该编码系统中,可以基于立体声音频信号来产生输入信号X。参见例如结合图7描述的编码器。
混合参数组P1中的参数可以具有不同的作用,并且因此可以以不同的量化格式(例如,使用不同的量化尺度)被接收。在上面的场景中,参数α1和参数β1控制信号分量在两个输出信号通道之间的分配,而参数γ1和参数γ2控制输入信号X通道在输出信号Y1中的相对贡献。因此,与参数γ1和参数γ2相比,可以对于α1和β1预期不同的统计。因此,可以以与参数α1和参数β1不同的量化格式来接收参数γ1和参数γ2,而在一些示例实现中,可以以类似的量化格式来接收参数α1和参数β1。
在第二场景中,输入信号X是立体声音频信号的双通道表示,其中,对于交叉频率以下的频带,立体声音频信号的左(l)通道和右(r)通道被编码为输入信号X中的和信号(l+r)/2以及差信号(l-r)/2,并且对于交叉频率以上的频带,立体声音频信号的左(l)通道和右(r)通道被编码为输入信号X中的伴随空(或者零/中性)通道的单通道下混信号。在该第二场景中,解码系统100可以例如接收当前交叉频率的指示,并且对于交叉频率以上的频带,可以使用与第一场景中相同的矩阵,即E=(10)以及对于交叉频率以下的频带,可以使用混合级110的某种离散模式,其中矩阵E=(10)以及被用于重构立体声音频信号。尽管对于交叉频率以下的频带可能不需要去相关,但是针对交叉频率以下和以上的频带使用相同的矩阵E会是方便的。
现在将结合图2a至图2d来描述用于分别根据矩阵E和矩阵F获得矩阵A(n,k)和矩阵B(n,k)的不同的时间插值方案。应当注意,下面所描述的插值方案是从控制矩阵E和矩阵F的混合参数值的方面来描述的。也可以构思出以下示例实施方式,其中,直接对矩阵元素而不是针对控制矩阵元素的参数值来执行模拟插值方案(例如,线性插值)。
在图1所示的示例实施方式的一些实现中,参数混合级110可以适于接收具有第一时间分辨率的输入信号X,输入信号X被以第一时间分辨率划分成包括常数数量的样本(即,每个帧包括相同数量的样本)的时间帧211至213、221至223、231至233和241至243。如图2a所示,在一些示例实施方式中,参数混合级110可以能够进行操作以在时间帧212(或者图2b中的222)期间接收混合参数组P1中的每个混合参数的一个值214(或者图2b中的224)。如图2c所示,在一些示例实施方式中,参数混合级110可以能够进行操作以在时间帧232(或者图2d中的242)期间接收混合参数组P1中的每个混合参数的两个值234、235(或者图2d中的244、245)。在一些实施方式中,参数混合级110可以能够进行操作以例如根据两个值234、235是否可用或者根据指示要由参数混合级110接收的适当参数格式的某接收信号,来接收一些帧212中的一个值214以及一些帧232中的两个值234、235。为清楚起见,应当指出,每个参数值可以被接收/获得为值的向量,其中每个值与特定频带相关联。
在图1所示的示例实施方式的一些实现中,参数混合级110可以能够进行操作以接收具有第一时间分辨率(例如,每个时间帧一组或两组参数值)的混合参数组P1,以及使用时间插值以根据具有第一时间分辨率的混合参数组P1产生具有第二时间分辨率(例如,在每个时间帧中对于每个样本一组值)的一个或更多个混合参数的组。这在使用平滑插值的图2a和图2c中被示出。在图2a中,在时间帧212的结尾处接收混合参数P1的一组值214,并且在这些值214与来自先前帧211的对应值215之间(对于帧索引的部分值,即,对于时间帧中的样本)进行线性插值。在图2c中,接收混合参数P1中的两组值234、235,其中一组在时间帧232的中间处而另一组在时间帧232的结尾处。在来自先前帧231的最新一组值236与当前帧232中的第一组接收值334之间进行线性插值,然后在当前帧232的第一组接收值234和第二组接收值235之间进行线性插值。
在图2b和图2d中示出了作为图2a和图2c所描述的平滑插值的替选方案的陡峭插值。在图2b中,在帧222中的位置225处接收一组值224。使用先前帧221的最新的值226直至接收到新一组值224的位置225。在位置225处,丢弃旧值226并且使用新值224直至接收到新一组值。在图2d中,在当前帧242中的位置246和位置247处分别接收到两组值244、245。使用先前帧241的最新一组值248直至接收到第一组新值244的位置246。在位置246处,丢弃旧值248并且使用第一组新值244直至接收到第二组值245的位置247。
图3是根据第二示例实施方式的音频解码系统300的一般化框图。解码系统300包括第一参数混合级110,其类型与图1所示的解码系统100的参数混合级110的相同。解码系统300还包括第二参数混合级320,其功能与第一混合级110相同。第二参数混合级320适于接收输入信号X和第二组混合参数P2,第二参数混合级320被配置成独立于由第一参数混合级110接收的第一组混合参数P1来接收第二组混合参数P2的值。与第一混合级110类似,第二混合级320适于基于输入信号X和第二组混合参数P2来输出第二输出信号Y2。第二混合级320包括适于基于输入信号X输出第二去相关信号D2的第二去相关级321。第二混合级320还包括第二混合矩阵322,第二混合矩阵322适于:接收输入信号X和第二去相关信号D2;形成来自输入信号和第二去相关信号D2的通道的第二双通道线性组合;以及输出该第二线性组合作为第二双通道输出信号Y2。第二线性组合的至少一些系数(例如,所有系数)能够由第二组混合参数P2来控制,并且第二组P2中的至少4个混合参数能够彼此独立地被指定。
图3所示的第一参数混合级110和第二参数混合级320的功能等同。仅通过分别由第一参数混合级110和第二参数混合级320接收的第一组参数P1和第二组参数P2的值就能够区分第一参数混合级110与第二参数混合级320。此外,第一参数混合级110和第二参数混合级320并行地并且彼此独立地工作。
由于图3中的解码系统300包括两个混合级110和320,每个混合级提供其自己的双通道输出信号Y1和Y2,解码系统300可以基于双通道输入信号X以及参数组P1和P2来输出总共四个通道。与第一混合级110中的情况类似,第二去相关信号D2和第二输出信号Y2可以表示为:
D2(n,k)=Dec(A(n,k)X(n,k))以及
其中,用于根据矩阵E和矩阵F获得矩阵A(n,k)和矩阵B(n,k)的时间插值方案可以与结合图2a至图2d描述的那些方案类似。应当注意,尽管相应的矩阵可以具有类似的结构和/或参数化,但是不同的矩阵A(n,k)、B(n,k)、E和F通常可以分别用于第一混合级110和第二混合级320。
在图3所示的结构的示例场景中,要由解码系统300重构包括至少左通道l、左环绕通道ls、右通道r和右环绕通道rs的多通道音频信号。解码系统300接收作为多通道音频信号的下混表示的双通道输入信号X。第一混合级110接收第一组混合参数P1(α1,β1,γ1,γ2)并且使用在矩阵
E=(γ1,γ2)以及
中给出的系数根据输入信号X重构左l通道和左环绕ls通道。类似地,第二混合级320接收第二组混合参数P2(α2,β2,γ3,γ4),并且使用在矩阵
E=(γ3,γ4)以及
中给出的系数根据输入信号X重构右r通道和右环绕rs通道。以这种方式,解码系统300可以使用两组混合参数P1、P2根据双通道输入信号重构多通道音频信号的四个通道(l,ls,r,rs)。
混合参数组P1和P2的实际值可以与输入信号X一起由解码系统300接收,例如与输入信号一起编码在比特流中。这些混合参数组可以例如在编码系统中被确定,在该编码系统中,可以基于包括四个通道(c,l,ls,r,rs)的多通道音频信号产生输入音频信号。参见例如参考图7对编码系统的描述。
第一组混合参数P1中的参数可以具有不同的作用,并且因此可以以不同的量化格式(例如,使用不同的量化尺度)来接收。在上面的场景中,参数β1控制第一去相关信号D1对左通道l和左环绕通道ls的贡献,并且通常可以取0至1之间的值。参数α1控制移位(panning),即,左通道l与左环绕通道ls之间的平衡,并且可以例如取以0为中心的值。对于控制输出通道l和ls中输入信号X的通道之间平衡的参数γ1和参数γ2,可以预期相对于α1和β1而言不同的统计数据。因此,可以按照与参数α1和参数β1不同的量化格式来接收参数γ1和参数γ2,而在一些示例实现中,可以按照类似的量化格式来接收参数α1和参数β1。类似地,对于第二组混合参数P2,可以按照与参数α2和参数β2不同的量化格式来接收参数γ3和参数γ4,而在一些示例实现中,可以按照类似的量化格式来接收参数α2和参数β2。
也可以如下描述第一组混合参数P1中的参数的不同作用。两个可独立指定的参数γ1和γ2控制两个输入信号X通道对中间线性组合Z1(参见图1)的相对贡献,中间线性组合Z1在第一去相关级111的预混矩阵113中形成并且被去相关以形成第一去相关信号D1。这两个参数γ1和γ2可以以第一量化格式被第一混合级110接收。两个不同的可独立指定的参数α1和β1控制中间线性组合Z1和第一去相关信号D1对第一输出信号Y1的相对贡献。对于参数α1和参数β1,可以预期与γ1和γ2不同的统计,因此可以例如按照与第一量化格式不同的第二量化格式接收后两个参数α1和β1。图4是根据第三示例实施方式的音频解码系统400的一般化框图。解码系统400与图3所示的解码系统300类似,即,包括第一参数混合级110和第二参数混合级320。然而,在本示例实施方式中,第一混合矩阵112适于接收第一边信号xs1,第一边信号xs1包括与上至第一交叉频率的频率对应的频谱数据,并且第二混合矩阵322适于接收第二边信号xs2,第二边信号xs2包括与上至第二交叉频率(例如,等于第一交叉频率,或者不同于第一交叉频率)的频率对应的频谱数据。在本示例实施方式中,当形成要作为第一输出信号Y1和第二输出信号Y2输出的双通道线性组合时,边信号xs1和边信号xs2分别被第一混合矩阵112和第二混合矩阵322使用。这将在下面的示例场景中描述。
在示例场景中,要由解码系统400重构包括中心通道c、左通道l、左环绕通道ls、右通道r和右环绕通道rs的五通道音频信号。解码系统400接收表示左l通道和左环绕ls通道的左下混信号xl以及包括左l通道和左环绕ls通道的频谱数据的第一边信号xs1,其对应于上至第一交叉频率的频率。更确切地说,对于第一交叉频率以下的频率,左l通道和左环绕ls通道分别被编码为左下混信号xl和第一边信号xs1中的和信号(l+ls)/2以及差信号(l-ls)/2。对于第一交叉频率以上的频带,左通道l和左环绕通道ls仅由左下混信号xl(和混合参数)表示。
类似地,解码系统400接收表示右r通道和右环绕rs通道的右下混信号xr以及包括右r通道和右环绕rs通道的频谱数据的第二边信号xs2,其与上至第二交叉频率的频率对应。更确切地说,对于第二交叉频率以下的频率,右r通道和右环绕rs通道分别被编码为右下混信号xr和第二边信号xs2中的和信号(r+rs)/2以及差信号(r-rs)/2。对于第二交叉频率以上的频带,右通道r和右环绕通道rs仅由右下混信号xr(和混合参数)表示。
在本示例场景中,解码系统400也接收五通道音频信号的中心通道c,并且可以例如在不处理中心通道c的情况下将中心通道c与其他输出信号(即,第一输出信号Y1和第二输出信号Y2)一起输出。
第一混合级110要基于输入信号X和第一边信号xs1来重构左l通道和左环绕ls通道。它可以例如直接接收双通道输入信号X的左下混信号xl和右下混信号xr。然而,重构左l通道和左环绕ls通道不需要右下混信号xr,并且可以在输入信号被第一混合级110接收之前在预处理器430中用空通道或中性通道替换右下混信号xr。通过去除不需要的数据,可以例如在第一去相关级111中避免不必要的处理。
类似地,由于第二混合级320要基于输入信号X和第二边信号xs2来重构右r通道和右环绕rs通道,并且由于重构右r通道和右环绕rs通道不需要左下混信号xl,所以可以在输入信号被第二混合级320接收之前在预处理器440中用空通道或中性通道替换左下混信号xl。
换言之,设想以下解码系统400的示例实施方式,其中,第一混合级110接收左下混信号xl和第一边信号xs1,而第二混合级320接收右下混信号xr和第二边信号xs2。在这种示例实施方式中,第一混合级110的输入独立于第二混合级320的输入,并且第一混合级110对左l通道和左环绕ls通道的重构可以完全独立于第二混合级320对右r通道和右环绕rs通道的重构。
在图4所示的示例实施方式中,第一混合级110可以接收第一交叉频率的指示,并且对于该第一交叉频率以上的频带,可以使用在矩阵
E=(10)以及
中给出的系数来重构左l通道和左环绕ls通道作为第一输出信号Y1。这与第一组混合参数P1(α1,β1,γ1=1,γ2=0)对应。要回顾的是,第一去相关信号D1和第一输出信号Y1可以表示为
D1(n,k)=Dec(A(n,k)X(n,k))以及
其中矩阵A(n,k)和矩阵B(n,k)可以由矩阵E和矩阵F的时间插值版本形成。
对于第一交叉频率以下的频带,可以使用第一混合级110的某种离散模式,其中第一边信号xs1也被第一混合矩阵112用于形成要作为第一输出信号Y1输出的双通道线性组合。这可以表示为:
D1(n,k)=Dec(A(n,k)X(n,k))以及
其中,额外的行被添加至矩阵B(n,k)以在线性组合中包括第一边信号xs1。在该离散模式中,第一混合级110可以使用在矩阵
E(10)以及
中给出的系数来重构左l通道和左环绕ls通道以作为第一输出信号Y1,其中额外的列被添加至矩阵F以在线性组合中包括第一边信号xs1。虽然对于第一交叉频率以下的频带不需要去相关,但是对于第一交叉频率以下和以上的频带使用相同的矩阵E可能是方便的。
与第一混合矩阵110类似,第二混合矩阵320可以接收第二交叉频率的指示,并且对于第二交叉频率以上的频带,可以使用在矩阵
E=(10)以及
中给出的系数来重构右r通道和右环绕rs通道作为第二输出信号Y2。这与第二组P2混合参数(α2,β2,γ3=1,γ4=0)对应。对于第二交叉频率以下的频带,可以使用第二混合级320的某种离散模式,其中第二边信号xs2也由第二混合矩阵322用来形成要被输出为第二输出信号Y2的双通道线性组合。这可以表示为:
D2(n,k)=Dec(A(n,k)X(n,k))以及
其中,额外的行被添加至矩阵B(n,k)以在线性组合中包括第二边信号xs2。在该离散模式中,第二混合级320可以使用在矩阵
E=(10)以及
中给出的系数来重构右r通道和右环绕rs通道作为第二输出信号Y2,其中,额外的列被添加至矩阵F以在线性组合中包括第一边信号xs1。应当注意,上面的矩阵E适用于以下情况,其中由第二混合矩阵322接收右下混信号xr作为两个输入通道的第一通道。例如,可以在以下情况下交换矩阵E的前两列,其中由第二混合矩阵322接收右下混信号xr作为两个输入通道的第二通道。
在上面描述的方式中,解码系统400可以根据伴随第一边信号xs1和第二边信号xs2的三通道下混表示(xl,xr,c)来重构五通道信号(c,l,ls,r,rs)。混合参数组P1和混合参数组P2的实际值可以与输入信号X(和边信号)一起由解码系统400接收,例如与输入信号X(和边信号)一起编码在比特流中。第一组混合参数P1和第二组混合参数P2例如可以在编码系统中确定,在该编码系统中,可以基于五通道音频信号(c,l,ls,r,rs)来产生输入音频信号。参见例如参考图7对编码系统的描述。
图5是根据第四示例实施方式的音频解码系统500的一般化框图。与图3中的解码系统300类似,解码系统500包括第一参数混合级110和第二参数混合级320,但是图5中的解码系统500还包括第三参数混合级530。第三参数混合级530适于接收双通道输入信号X,以及接收独立于第一组混合参数P1和第二组混合参数P2的第三组混合参数P3。
在图5所示的示例实施方式的第一示例实现中,第三参数混合级530适于输出第三输出信号Y3,其中至多一个通道包括独立于第三输出信号Y3的任何其他通道的音频内容的音频内容。例如,与第一混合级110和第二混合级320的第一输出信号Y1和第二输出信号Y2类似,第三输出信号Y3可以是双通道信号,但是通道之一为空(或者零/中性)。在其他示例实施方式中,第三输出信号Y3可以确切地包括一个通道。
在图5所示的示例实施方式的第二示例实现中,解码系统500可以包括适于接收参数集合P的控制器540。控制器540可以适于将作为参数集合P的子集的第一组参数P1、第二组参数P2和第三组参数P3分别提供给第一参数混合级110、第二参数混合级320和第三参数混合级530。控制器540还可以适于经由第三组混合参数P3来控制第三参数混合级530在第三输出信号Y3中提供至多一个具有独立音频内容的通道。控制器540可以例如是解复用器,其从比特流(未示出)提取第一组混合参数P1、第二组混合参数P2和第三组混合参数P3,并且将第一组混合参数P1、第二组混合参数P2和第三组混合参数P3分别提供给第一混合级110、第二混合级320和第三混合级530。通过提供用于重构(伴随空/中性通道的)单个通道的参数,解复用器(或控制器540)可以按照如下方式控制第三参数混合级530:其在第三输出信号Y3中提供至多一个具有独立音频内容的通道。在一些示例实现中,解复用器(未示出)可以接收比特流(未示出),解复用器从该比特流提取输入信号X和混合参数组P1、P2和P3。解复用器可以将输入信号X和混合参数组P1、P2和P3提供给适当的混合级110、320和530,并且通过提供用于重构单个通道(可能伴有空/中性通道)的参数,解复用器(或控制器540)可以控制第三参数混合级530在第三输出信号Y3中提供至多一个具有独立音频内容的通道。用于重构单个通道的参数可以例如取以下值:该值使得要在第三混合级530中执行并且要作为第三输出信号Y3输出的线性组合的系数为零。
在图5所示的解码系统500中,第三参数混合级530包括第三混合矩阵532,其适于接收输入信号X以及形成来自输入信号X的通道的第三线性组合。第三参数混合级530适于输出该第三线性组合作为第三输出信号Y3。第三线性组合的至少一些系数(例如,所有系数)能够由第三组混合参数P3控制,并且第三组P3中的至少两个混合参数能够相对于彼此被独立地指定。
在图5所示的解码系统500的一些实现中,第三参数混合级530可以与第一参数混合级110和第二参数混合级320类似,即,它可以包括基于输入信号X输出第三去相关信号D3的第三去相关级531,并且第三去相关信号D3可以用于在第三混合矩阵532中形成的第三线性组合。
与第一混合级110和第二混合级320中的情况类似,第三去相关信号D3和第三输出信号Y3可以表示为:
D3(n,k)=Dec(A(n,k)X(n,k))以及
其中,用于根据矩阵E和矩阵F获得矩阵A(n,k)和矩阵B(n,k)的时间插值方案可以与参考图2a至图2d描述的那些方案类似。应当注意,虽然至少一些相应矩阵可以具有类似的结构和/或参数,但是不同的矩阵A(n,k)、B(n,k)、E和F通常可以分别用于第一混合级110、第二混合级320和第三混合级530。
在图5所示的结构的示例场景中,要由解码系统500重构包括中心通道c、左通道l、左环绕通道ls、右通道r和右环绕通道rs的五通道音频信号。解码系统500接收作为五通道音频信号的下混表示的双通道输入信号。第一混合级110接收第一组混合参数P1(α1,β1,γ1,γ2)并且使用矩阵
E=(γ1,γ2)以及
中给出的系数根据输入信号X重构左l通道和左环绕ls通道。类似地,第二混合级320接收第二组混合参数P2(α2,β2,γ3,γ4),并且使用矩阵
E=(γ3,γ4)以及
中给出的系数根据输入信号X重构右r通道和右环绕rs通道。第三混合级接收第三组混合参数P3(α3=1,β3=0,γ5,γ6),并且使用矩阵
E=(γ5,γ6)以及
中给出的系数根据输入信号X重构中心通道c。注意,这些参数值(α3=1,β3=0,γ5,γ6)使第三输出信号Y3的第二通道为零。在图5所示的解码系统500的示例实现中,可以由控制器540提供这些参数值,控制器540经由第三组混合参数P3来控制第三参数混合级530在第三输出信号Y3中提供至多一个具有独立音频内容的通道。
如上面的示例场景所概述的,解码系统500可以使用三个混合参数组P1、P2和P3根据双通道输入信号来重构五通道信号(c,l,ls,r,rs)。应当注意,由于β3=0,所以当形成第三输出信号Y3时没有使用第三去相关信号D3。因此,不需要第三去相关级531。因此,第三去相关级531可以整个省略,或者可以替代γ5和γ6使用零作为系数。
混合参数组P1、P2和P3的实际值可以与输入信号X一起由解码系统500接收,例如与输入信号一起编码在比特流中。混合参数组可以例如在编码系统中被确定,在编码系统中输入可以基于五通道信号(c,l,ls,r,rs)产生音频信号。参见例如参考图7对编码系统的描述。
图6是根据第五示例实施方式的音频解码系统600的一般化框图。解码系统600与图5中的解码系统500类似,但是它还包括适于接收双通道输入信号X和扩展混合参数组P4的附加参数混合级650,扩展混合参数组P4包括来自第一组混合参数P1的至少三个混合参数、来自第二组混合参数P2的至少三个参数以及独立于第一组混合参数P1、第二组混合参数P2和第三组混合参数P3的至少一个附加混合参数。上述附加参数混合级650适于输出具有至少五个通道的附加输出信号Y4,并且解码系统600包括适于将附加输出信号Y4的通道分别加至第一输出信号Y1的通道、第二输出信号Y2的通道和第三输出信号Y3的通道的加法级660。
附加参数级650包括适于基于输入信号X输出附加去相关信号D4的附加去相关级651。附加参数级650还包括适于基于附加去相关信号D4和扩展混合参数组P4来生成附加输出信号Y4的上混矩阵652。
在一些示例实施方式中,附加去相关级651的结构可以与图1所示的第一去相关级111的结构类似,即,它可以包括基于输入信号X和扩展参数组P4形成附加中间线性组合z4的附加预混矩阵653。附加去相关级651还可以包括基于附加中间线性组合z4形成附加去相关信号D4的附加去相关器654。
与先前描述的参数混合级110、320和530中的情况类似,附加去相关信号D4和附加输出信号Y4可以表示为:
D4(n,k)=Dec(A(n,k)X(n,k))以及
其中,用于根据矩阵E和矩阵F获得矩阵A(n,k)和矩阵B(n,k)的时间插值方案可以与参考图2a至图2d描述的那些方案类似。应当注意,虽然至少一些相应矩阵可以具有类似的结构和/或参数,但是不同的矩阵A(n,k)、B(n,k)、E和F通常可以分别用于不同的混合级110、320、530和650。
在示例场景中,与参考图5描述的场景类似,第一参数混合级110、第二参数混合级320和第三参数混合级530分别使用参数(α1,β1,γ1,γ1)、(α2,β2,γ3,γ4)和(α3,β3,γ5,γ6)来形成第一输出信号Y1、第二输出信号Y2和第三输出信号Y3,这些输出信号的通道适于产生五通道音频信号(c,l,ls,r,rs)的印象。然而,在本场景中,附加参数混合级650被用来形成分别要添加至第一输出信号Y1的两个通道、第二输出信号Y2的两个通道、以及输出信号Y3的唯一通道的对输出信号Y1、Y2和Y3的附加贡献Y4。以此方式,产生可以用来产生五通道音频信号(c,l,ls,r,rs)的印象的五个修改的输出通道。
在本场景中,附加参数混合级650接收扩展混合参数组P4(α1,α2,γ1,γ2,γ3,γ4,δ),并且分别在附加去相关级651和附加混合矩阵652中使用在矩阵
E(γ1+γ3,γ2+γ4)以及
中给出的系数来形成附加去相关信号D4和附加输出信号Y4。在选择矩阵E的情况下,至附加去相关级651的输入是至第一去相关级111和第二去相关级321的输入之和。具体地,在至附加去相关级651的输入中不存在来自估计中心通道的贡献,这可以减少中心通道至环绕通道的潜在泄漏。混合参数(α1,α2,γ1,γ2,γ3,γ4,δ)的实际值可以与输入信号X一起由解码系统600接收,例如与输入信号X一起编码在比特流中。混合参数组可以例如在以下编码系统中确定,在该编码系统中,可以基于五通道音频信号(c,l,ls,r,rs)产生输入音频信号。参见例如参考图7描述的编码系统。
应当注意,设想以下另外的场景,其中扩展参数组P4可以是(α1,α2,γ1,γ2,γ3,γ4,γ5,γ6,δ)或者(α1,α2,γ1,γ2,γ3,γ4,γ5,γ6,t,δ)。为了达到δ参数的更受限的范围,可以用以下形式来替代上面的矩阵E:
E=(γ1+γ3+tγ5,γ2+γ4+tγ6),
参数t的范围为从0至2。可替选地,可以使用固定矩阵如E=(1,1)或E=(1,-1)。
应当注意,还构思了解码系统的除图1、图3、图4、图5和图6所示的那些实施方式之外的其他实施方式。具体地,可以形成这些图中示出的类型的参数混合级的任意组合并且用于其他示例解码系统中例如以使用不同的混合参数组根据双通道输入信号重构六通道信号或七通道信号。
图7是根据示例实施方式的音频编码系统700的一般化框图。音频编码系统700包括混合级710,其适于接收多通道输入信号S以及基于多通道输入信号S输出双通道输出信号Y。音频编码系统700还包括适于接收多通道输入信号S和双通道输出信号Y的参数分析器720。参数分析器720包括第一参数分析级721,其适于基于多通道输入信号S的两个通道和双通道输出信号Y来输出第一组混合参数P1,第一组混合参数P1用于控制第一参数混合级,以用于根据双通道输出信号Y来重构多通道输入信号的两个通道。
参数分析器720还可以包括第二参数分析级722,其适于基于多通道输入信号S的两个通道(与由第一参数分析级721接收的两个通道不同)和双通道输出信号Y来输出第二组混合参数P2,第二组混合参数P2用于控制第二参数混合级,以用于根据双通道输出信号Y来重构多通道输入信号S的这两个通道。然后,第二参数分析级722被配置成独立于第一参数分析级721地工作。
对于上面描述的第二参数分析级722,可替选地或另外地,参数分析器720可以包括第三参数分析级723,其适于基于多通道输入信号S的一个通道和双通道输出信号Y来输出第三组混合参数P3,第三组混合参数P3用于控制第三参数混合级,以用于根据双通道输出信号Y来重构多通道输入信号S的一个通道。然后,第三参数分析级723被配置成独立于第一参数分析级721(并且独立于第二参数分析级722)地工作。
应当注意,可以根据多通道输入信号S中的可用通道数量来构思接收两个通道721和722的参数分析级以及接收一个通道723的参数分析级的任意组合。例如,构思以下组合:
三通道输入信号S、接收两个通道的一个参数分析级、以及接收一个通道的一个参数分析级;
四通道输入信号S、以及接收两个通道的两个参数分析级;
五通道输入信号S、接收两个通道的两个参数分析级、以及接收一个通道的一个参数分析级;
六通道输入信号S、以及接收两个通道的三个参数分析级;以及
七通道输入信号、接收两个通道的三个参数分析级、以及接收一个通道的一个参数分析级。
混合参数组P1、P2和P3中的每个混合参数组中的混合参数的数量可以是来自要使用相应组的混合参数来重构的输入音频信号S的通道的数量的至少两倍。
具体地,混合参数组适合于控制要在优选并行操作的相应的独立参数混合级中执行的双通道线性组合,以用于基于双通道输出信号Y来重构多通道输入信号S。
例如,混合参数P可以适合用于图1、图3、图4、图5和图6所示的解码系统100、300、400、500和600中的参数混合级110、320和530中的两个或更多个参数混合级中,其中,输出信号Y起输入信号X的作用。在示例场景中,多通道音频信号S可以是包括中心通道、左通道、左环绕通道、右通道和右环绕通道的五通道信号。在本示例场景中,混合级710可以将五个通道下混成双通道输出信号Y,双通道输出信号Y作为输入信号X由图5所示的解码系统500接收。参数分析器720可以确定用于基于输出信号Y重构五通道输入信号S的混合参数P。混合参数P可以包括分别适合用于图5所示的解码系统500中的第一参数混合级110、第二参数混合级320和第三参数混合级530的由第一参数分析级721确定的第一组混合参数P1(α1,β1,γ1,γ2)、由第二参数分析级722确定的第二组混合参数P2(α2,β2,γ3,γ4)以及由第三参数分析级723确定的第三组混合参数P3(α3,β3,γ5,γ6)。如参考图5所述,第一组参数P1可以适合用于重构左通道和左环绕通道,第二组参数P2可以适合用于重构右通道和右环绕通道,并且第三组参数P3可以适合用于重构中心通道。
可以通过相应的参数分析级721、722和723来确定参数组的值以使得能够进行对多通道音频信号S的相应通道的重构。由于参数分析级721、722和723彼此独立地工作,所以它们可以使用不同的技术/方法来确定它们相应参数组的值。此外,参数的属性如量化格式、频带分辨率和更新频率(即,能够将新值指定给参数的频繁程度)可以因参数组而异。
可以由对应的参数分析级来确定参数组。例如,第一参数分析级721可以接收输入音频信号S的左通道和左环绕通道以及双通道输出信号Y。
为了确定用于根据双通道输出信号Y重构左通道和左环绕通道的第一组混合参数P1的值,第一参数分析级可以使用第一组混合参数P1的不同测试值来根据输出信号Y重构多通道音频信号S的左通道和左环绕通道。然后,对测试重构进行评价以找出哪些值使得能够最忠实地重构。例如,重构通道的能量水平、波形和/或互相关性可以与多通道音频信号S的原始的左通道和左环绕通道比较以确定第一组参数P1的合适值。
在一些示例实施方式中,参数分析器720还可以适于基于多通道输入信号S输出附加混合参数。该附加参数可以适合用于图6所示的解码系统600的附加混合级650。该额外参数可以适于控制附加去相关信号D4(经由附加输出信号Y4)对第一参数混合级110、第二参数混合级320和第三参数混合级530的输出信号Y1、Y2和Y3的通道的贡献。
在结合图6描述的示例场景中,通过参数δ来举例说明至少一个附加参数。可以例如通过图7中的编码系统700的参数分析器720来确定由解码系统600用来重构五通道信号S的参数(α1,β1,γ1,γ2)、(α2,β2,γ3,γ4)、(α3,β3,γ5,γ6)和δ的值。
可以例如根据下面的步骤来确定参数的值。在第一步骤中可以在没有任何类型的能量补偿的情况下确定参数(α1,β1,γ1,γ2)、(α2,β2,γ3,γ4)和(α3,β3,γ5,γ6)的临时值,并且可以确定参数δ的值(控制来自附加去相关信号D4的贡献)以与原始的五通道信号S中的中心通道相比恢复重构的中心通道c中的正确能量。在第二步骤中,可以根据
来调整参数β1和参数β2的值(控制第一去相关信号D1和第二去相关信号D2的贡献),其中L是输出信号Y中的左下混通道(l+ls)中的能量,并且是估计的左下混(γ1×xl+γ2×xr)的能量。类似地,R是输出信号Y中的右下混通道(r+rs)中的能量,并且是估计的右下混(γ3×xl+γ4×xr)的能量。
III.等同、扩展、替选和其他
本领域技术人员在研究上面的描述后会明白本公开内容的另外的实施方式。尽管本说明书和附图公开了实施方式和示例,但本公开内容不限于这些具体示例。在不脱离本公开内容的由示例实施方式限定的范围的情况下,可以做出很多修改和变化。示例实施方式中出现的任何附图标记不应当被理解为限制示例实施方式的范围。
另外,技术人员在实践本公开内容时,通过学习附图、公开内容和示例实施方式,可以理解和实现所公开的实施方式的变型。在示例实施方式中,单词“包括”不排除其他元素或步骤,并且不定冠词“a”或“an”不排除复数。在互不相同的示例实施方式中叙述某些措施的这一事实不表示不能有利地使用这些测量的组合。
在上文中公开的系统和方法可以实现为软件、固件、硬件或者它们的组合。在硬件实现中,上面的描述中提及的功能单元之间的任务划分不一定与物理单元的划分对应;相反地,一个物理部件可以具有多种功能,并且一个任务可以由若干物理部件合作执行。某些部件或者所有部件可以实现为通过数字信号处理器或微处理器执行的软件,或者实现为硬件或专用集成电路。这种软件可以分布在可以包括计算机存储介质(或非瞬态介质)以及通信介质(或瞬态介质)的计算机可读介质中。如本领域的技术人员所熟知的,术语“计算机存储介质”包括在用于存储信息如计算机可读指令、数据结构、程序模块或者其他数据的任何方法或技术中实现的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或者其他存储技术,CD-ROM、数字多功能光盘(DVD)或者其他光盘存储,磁盒、磁带、磁盘存储器或者其他磁存储装置,或者能够用来存储所需信息且能够由计算机访问的任何其他介质。另外,技术人员熟知的是,通信介质通常包括经调制的数据信号如载波或者其他传输机构中的计算机可读指令、数据结构、程序模块或者其他数据,并且包括任何信息传递介质。
Claims (23)
1.一种用于处理双通道输入信号(X)的音频解码系统(100,300,400,500,600),所述音频解码系统包括适于接收所述双通道输入信号以及接收第一组混合参数(P1)的第一参数混合级(110),所述第一参数混合级适于输出第一双通道输出信号(Y1),其中,所述第一参数混合级包括:
第一去相关级(111),其适于基于所述输入信号输出第一去相关信号(D1);以及
第一混合矩阵(112),其适于接收所述输入信号和所述第一去相关信号,形成来自所述输入信号和所述第一去相关信号的通道的第一双通道线性组合,以及输出所述第一双通道线性组合作为所述第一双通道输出信号,
其中,所述第一双通道线性组合的系数能够由所述第一组混合参数控制,并且其中所述第一组混合参数包括至少四个混合参数,其中所述音频解码系统还包括第二参数混合级(320),所述第二参数混合级(320)适于接收所述双通道输入信号以及接收独立于所述第一组混合参数的第二组混合参数(P2),所述第二参数混合级适于输出第二双通道输出信号(Y2),
其中,所述第二参数混合级包括:
第二去相关级(321),其适于基于所述输入信号来输出第二去相关信号(D2);以及
第二混合矩阵(322),其适于接收所述输入信号和所述第二去相关信号,形成来自所述输入信号和所述第二去相关信号的通道的第二双通道线性组合,以及输出所述第二双通道线性组合作为所述第二双通道输出信号,
其中,所述第二双通道线性组合的系数能够由所述第二组混合参数控制,并且其中所述第二组混合参数包括至少四个混合参数。
2.根据权利要求1所述的音频解码系统,其中,所述第一去相关级适于将所述第一去相关信号输出为单通道信号。
3.根据前述权利要求中任一项所述的音频解码系统,其中,所述第一去相关级包括:
预混矩阵(113),其适于形成来自所述输入信号的通道的中间线性组合(Z1),其中,所述中间线性组合的系数能够仅由所述第一组混合参数控制;以及
去相关器(114),其适于接收所述中间线性组合以及基于所述中间线性组合输出所述第一去相关信号。
4.根据权利要求1或2所述的音频解码系统,其中,所述第一参数混合级被配置成以混合参数组的形式接受所述第一组混合参数,其中该混合参数组的不多于四个的混合参数能够被独立地指定。
5.根据权利要求3所述的音频解码系统,其中,所述去相关器包括:至少一个无限脉冲响应格型滤波器,其适于接收所述中间线性组合的通道以及输出所述第一去相关信号的通道。
6.根据权利要求3所述的音频解码系统,其中,所述去相关器包括:伪迹衰减器,被配置成检测所述中间线性组合中的声音结尾以及响应于所述声音结尾采取校正动作。
7.根据权利要求1或2所述的音频解码系统,其中,所述第一混合矩阵适于接收第一边信号(xs1),所述第一边信号(xs1)包括与上至第一交叉频率的频率相对应的频谱数据,所述第一混合矩阵能够进行操作以根据来自所述输入信号和所述第一去相关信号的通道以及所述第一边信号来形成所述第一双通道线性组合,并且其中所述第二混合矩阵适于接收第二边信号(xs2),所述第二边信号(xs2)包括与上至第二交叉频率的频率相对应的频谱数据,所述第二混合矩阵能够进行操作以根据来自所述输入信号和所述第二去相关信号的通道以及所述第二边信号来形成所述第二双通道线性组合。
8.根据权利要求1或2所述的音频解码系统,还包括第三参数混合级(530),所述第三参数混合级(530)适于接收所述双通道输入信号以及接收独立于所述第一组混合参数和所述第二组混合参数的第三组混合参数(P3),所述第三参数混合级适于输出第三输出信号(Y3),其中所述第三参数混合级适于在所述第三输出信号中提供至多一个具有独立音频内容的通道,其中,所述第三参数混合级包括:
第三混合矩阵(532),其适于接收所述输入信号,形成来自所述输入信号的通道的第三线性组合,以及输出所述第三线性组合作为所述第三输出信号,
其中,所述第三线性组合的系数能够由所述第三组混合参数控制,并且其中所述第三组混合参数包括至少两个混合参数。
9.根据权利要求1或2所述的音频解码系统,还包括第三参数混合级(530),所述第三参数混合级(530)适于接收所述双通道输入信号以及接收独立于所述第一组混合参数和所述第二组混合参数的第三组混合参数(P3),所述第三参数混合级适于输出第三输出信号(Y3),其中,所述第三参数混合级包括:
第三去相关级(531),其适于基于所述输入信号输出第三去相关信号(D3);以及
第三混合矩阵(532),其适于接收所述输入信号和所述第三去相关信号,形成来自所述输入信号和所述第三去相关信号的通道的第三双通道线性组合,以及输出所述第三双通道线性组合作为所述第三输出信号,
其中,所述第三双通道线性组合的系数能够由所述第三组混合参数控制,并且其中所述第三组混合参数包括至少四个混合参数。
10.根据权利要求9所述的音频解码系统,其中,所述音频解码系统包括适于接收混合参数集合(P)的控制器(540),所述控制器适于将作为所述参数集合的子集的所述第一组混合参数、所述第二组混合参数和所述第三组混合参数分别提供给所述第一参数混合级、所述第二参数混合级和所述第三参数混合级,并且其中所述控制器适于经由所述第三组混合参数来控制所述第三混合级以在所述第三输出信号中提供至多一个具有独立音频内容的通道。
11.根据权利要求8所述的音频解码系统,还包括:
附加参数混合级(650),其适于接收所述双通道输入信号和扩展混合参数组(P4),所述扩展混合参数组(P4)包括来自所述第一组混合参数的至少三个混合参数、来自所述第二组混合参数的至少三个混合参数以及独立于所述第一组混合参数、所述第二组混合参数和所述第三组混合参数的至少一个附加混合参数,所述附加参数混合级适于输出具有至少五个通道的附加输出信号(Y4);以及
加法级(660),其适于将所述附加输出信号的通道分别与所述第一双通道输出信号的通道、所述第二双通道输出信号的通道和所述第三输出信号的通道相加,
其中,所述附加参数混合级包括:
附加去相关级(651),其适于基于所述输入信号输出附加去相关信号(D4);以及
上混矩阵(652),其适于基于所述附加去相关信号和所述扩展混合参数组来生成所述附加输出信号。
12.根据权利要求1或2所述的音频解码系统,其中,所述第一参数混合级适于:
接收与多个子频带相关联的所述第一组混合参数的值;以及
使用与相应子频带相关联的所述第一组混合参数的值来对所述第一去相关信号和所述输入信号的子频带表示进行操作。
13.根据权利要求12所述的音频解码系统,其中,所述第一参数混合级适于采用非均匀的子频带划分。
14.根据权利要求1或2所述的音频解码系统,其中,所述第一组混合参数中的至少一个混合参数控制所述第一去相关信号对所述第一双通道线性组合的贡献。
15.根据权利要求1或2所述的音频解码系统,其中,所述第一组混合参数中的两个混合参数以第一量化格式被所述第一参数混合级接收,并且控制两个输入信号通道对中间线性组合的相对贡献,并且其中所述第一组混合参数中的两个不同的混合参数以与所述第一量化格式不同的第二量化格式被所述第一参数混合级接收,并且控制所述中间线性组合和所述第一去相关信号对所述第一双通道输出信号的相对贡献,其中所述第一去相关信号是所述中间线性组合的去相关版本。
16.根据权利要求1或2所述的音频解码系统,其中,所述第一参数混合级适于接收具有第一时间分辨率的所述输入信号,所述输入信号被以所述第一时间分辨率划分成包括常数数量的样本的时间帧(211至213,221至223,231至233,241至243),并且其中所述第一参数混合级能够进行操作以在时间帧(212,222)期间接收所述第一组混合参数中的每个混合参数的一个值(214,224),并且还能够进行操作以在时间帧(232,242)期间接收所述第一组混合参数中的每个混合参数的两个值(234,235,244,245)。
17.根据权利要求16所述的音频解码系统,其中,所述第一参数混合级能够进行操作以接收具有所述第一时间分辨率的所述第一组混合参数,以及使用时间插值来根据具有所述第一时间分辨率的所述第一组混合参数产生具有第二时间分辨率的一个或更多个混合参数的组。
18.根据权利要求中1或2所述的音频解码系统,其中,所述第一参数混合级的功能与所述第二参数混合级功能相同。
19.一种用于处理双通道输入信号(X)的音频解码方法,所述音频解码方法包括:
接收所述双通道输入信号;
接收包括至少四个混合参数的第一组混合参数(P1);
基于所述输入信号生成第一去相关信号(D1);
形成来自所述输入信号和所述第一去相关信号的通道的第一双通道线性组合;以及
输出所述第一双通道线性组合作为双通道输出信号(Y1),
其中,所述第一双通道线性组合的系数能够由所述第一组混合参数控制,
其中,所述方法还包括:
接收包括至少四个混合参数的第二组混合参数(P2),其中所述第二组混合参数独立于所述第一组混合参数;
基于所述输入信号生成第二去相关信号(D2);
形成来自所述输入信号和所述第二去相关信号的通道的第二双通道线性组合;以及
输出所述第二双通道线性组合作为第二双通道输出信号(Y2),
其中,所述第二双通道线性组合的系数能够由所述第二组混合参数控制。
20.一种用于处理多通道输入信号(S)的音频编码系统(700),所述音频编码系统包括:
混合级(710),其适于接收所述多通道输入信号以及基于所述多通道输入信号输出双通道输出信号(Y);以及
参数分析器(720),其适于接收所述多通道输入信号和所述双通道输出信号,所述参数分析器包括:
第一参数分析级(721),其适于基于所述多通道输入信号的第一对通道和所述双通道输出信号来输出第一组混合参数(P1),所述第一组混合参数用于控制第一参数混合级以根据所述双通道输出信号来重构所述多通道输入信号的所述第一对通道,以及
第二参数分析级(722,723),其适于基于所述多通道输入信号的第二对通道和所述双通道输出信号来输出第二组混合参数(P2),所述的第二组混合参数用于控制第二参数混合级以根据所述双通道输出信号来重构所述多通道输入信号的所述第二对通道,
其中,所述第二参数分析级被配置成独立于所述第一参数分析级地工作,其中,所述第一组混合参数包括至少四个混合参数,并且其中所述第二组混合参数包括至少四个混合参数。
21.根据权利要求20所述的音频编码系统,其中,所述参数分析器还适于基于所述多通道输入信号来输出附加混合参数,所述附加混合参数用于控制附加去相关信号对所述第一参数混合级的输出通道和所述第二参数混合级的输出通道的贡献。
22.一种用于处理多通道输入信号(S)的音频编码方法,所述音频编码方法包括:
接收所述多通道输入信号;
基于所述多通道输入信号输出双通道输出信号(Y);
接收所述双通道输出信号;
基于所述多通道输入信号的第一对通道和所述双通道输出信号来确定第一组混合参数(P1),所述第一组混合参数用于控制第一参数混合级以根据所述双通道输出信号来重构所述多通道输入信号的两个通道;
基于所述多通道输入信号的第二对通道和所述双通道输出信号并且独立于确定第一组混合参数的步骤地确定第二组混合参数(P2,P3),所述第二组混合参数用于控制第二参数混合级以根据所述双通道输出信号来重构所述多通道输入信号的所述第二对通道;以及
输出所述第一组混合参数和所述第二组混合参数,
其中,所述第一组混合参数包括至少四个混合参数,并且其中所述第二组混合参数包括至少四个混合参数。
23.一种计算机可读介质,其存储用于使计算机执行权利要求19或22所述的方法的步骤的指令。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361877176P | 2013-09-12 | 2013-09-12 | |
US61/877,176 | 2013-09-12 | ||
PCT/EP2014/069041 WO2015036350A1 (en) | 2013-09-12 | 2014-09-08 | Audio decoding system and audio encoding system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105531761A CN105531761A (zh) | 2016-04-27 |
CN105531761B true CN105531761B (zh) | 2019-04-30 |
Family
ID=51492342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480050422.8A Active CN105531761B (zh) | 2013-09-12 | 2014-09-08 | 音频解码系统和音频编码系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10170125B2 (zh) |
EP (1) | EP3044783B1 (zh) |
JP (1) | JP6212645B2 (zh) |
CN (1) | CN105531761B (zh) |
WO (1) | WO2015036350A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2980789A1 (en) * | 2014-07-30 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhancing an audio signal, sound enhancing system |
US9691408B2 (en) * | 2014-12-16 | 2017-06-27 | Psyx Research, Inc. | System and method for dynamic equalization of audio data |
US11234072B2 (en) | 2016-02-18 | 2022-01-25 | Dolby Laboratories Licensing Corporation | Processing of microphone signals for spatial playback |
CN110753297B (zh) * | 2019-09-27 | 2021-06-11 | 广州励丰文化科技股份有限公司 | 一种音频信号的混合处理方法及处理装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1938760A (zh) * | 2004-04-05 | 2007-03-28 | 皇家飞利浦电子股份有限公司 | 多通道编码器 |
CN1985303A (zh) * | 2004-07-09 | 2007-06-20 | 弗劳恩霍夫应用研究促进协会 | 产生多通道输出信号的装置和方法 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6697491B1 (en) | 1996-07-19 | 2004-02-24 | Harman International Industries, Incorporated | 5-2-5 matrix encoder and decoder system |
US6449371B1 (en) * | 1999-02-17 | 2002-09-10 | Creative Technology Ltd. | PC surround sound mixer |
US7266501B2 (en) * | 2000-03-02 | 2007-09-04 | Akiba Electronics Institute Llc | Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process |
US7660424B2 (en) | 2001-02-07 | 2010-02-09 | Dolby Laboratories Licensing Corporation | Audio channel spatial translation |
SE0202159D0 (sv) | 2001-07-10 | 2002-07-09 | Coding Technologies Sweden Ab | Efficientand scalable parametric stereo coding for low bitrate applications |
SE0301273D0 (sv) | 2003-04-30 | 2003-04-30 | Coding Technologies Sweden Ab | Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods |
CA2992125C (en) | 2004-03-01 | 2018-09-25 | Dolby Laboratories Licensing Corporation | Reconstructing audio signals with multiple decorrelation techniques and differentially coded parameters |
SE0400997D0 (sv) | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Efficient coding of multi-channel audio |
SE0400998D0 (sv) | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
SE0402652D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Methods for improved performance of prediction based multi- channel reconstruction |
SE0402649D0 (sv) | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Advanced methods of creating orthogonal signals |
US7751572B2 (en) | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
JP5587551B2 (ja) * | 2005-09-13 | 2014-09-10 | コーニンクレッカ フィリップス エヌ ヴェ | オーディオ符号化 |
WO2007043388A1 (ja) * | 2005-10-07 | 2007-04-19 | Matsushita Electric Industrial Co., Ltd. | 音響信号処理装置および音響信号処理方法 |
EP2437257B1 (en) | 2006-10-16 | 2018-01-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Saoc to mpeg surround transcoding |
RU2443075C2 (ru) | 2007-10-09 | 2012-02-20 | Конинклейке Филипс Электроникс Н.В. | Способ и устройство для генерации бинаурального аудиосигнала |
KR101244515B1 (ko) * | 2007-10-17 | 2013-03-18 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 업믹스를 이용한 오디오 코딩 |
JP5425067B2 (ja) * | 2008-06-27 | 2014-02-26 | パナソニック株式会社 | 音響信号復号装置および音響信号復号装置におけるバランス調整方法 |
US8666752B2 (en) | 2009-03-18 | 2014-03-04 | Samsung Electronics Co., Ltd. | Apparatus and method for encoding and decoding multi-channel signal |
PL2394268T3 (pl) * | 2009-04-08 | 2014-06-30 | Fraunhofer Ges Forschung | Urządzenie, sposób i program komputerowy do realizacji upmixu sygnału audio downmixu z użyciem wygładzania wartości faz |
US20120039477A1 (en) | 2009-04-21 | 2012-02-16 | Koninklijke Philips Electronics N.V. | Audio signal synthesizing |
US8705769B2 (en) * | 2009-05-20 | 2014-04-22 | Stmicroelectronics, Inc. | Two-to-three channel upmix for center channel derivation |
US9324337B2 (en) * | 2009-11-17 | 2016-04-26 | Dolby Laboratories Licensing Corporation | Method and system for dialog enhancement |
MY180970A (en) * | 2010-08-25 | 2020-12-14 | Fraunhofer Ges Forschung | Apparatus for generating a decorrelated signal using transmitted phase information |
US9343076B2 (en) * | 2011-02-16 | 2016-05-17 | Dolby Laboratories Licensing Corporation | Methods and systems for generating filter coefficients and configuring filters |
EP2817802B1 (en) | 2012-02-24 | 2016-12-07 | Dolby International AB | Audio processing |
CN110379434B (zh) | 2013-02-21 | 2023-07-04 | 杜比国际公司 | 用于参数化多声道编码的方法 |
RU2665214C1 (ru) * | 2013-04-05 | 2018-08-28 | Долби Интернэшнл Аб | Стереофонический кодер и декодер аудиосигналов |
US9148672B2 (en) * | 2013-05-08 | 2015-09-29 | Mediatek Inc. | Method and apparatus for residue transform |
US9431987B2 (en) * | 2013-06-04 | 2016-08-30 | Sony Interactive Entertainment America Llc | Sound synthesis with fixed partition size convolution of audio signals |
EP2830334A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals |
EP2830336A3 (en) | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Renderer controlled spatial upmix |
-
2014
- 2014-09-08 JP JP2016541901A patent/JP6212645B2/ja active Active
- 2014-09-08 EP EP14759218.2A patent/EP3044783B1/en active Active
- 2014-09-08 US US14/915,579 patent/US10170125B2/en active Active
- 2014-09-08 WO PCT/EP2014/069041 patent/WO2015036350A1/en active Application Filing
- 2014-09-08 CN CN201480050422.8A patent/CN105531761B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1938760A (zh) * | 2004-04-05 | 2007-03-28 | 皇家飞利浦电子股份有限公司 | 多通道编码器 |
CN1985303A (zh) * | 2004-07-09 | 2007-06-20 | 弗劳恩霍夫应用研究促进协会 | 产生多通道输出信号的装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
US10170125B2 (en) | 2019-01-01 |
JP6212645B2 (ja) | 2017-10-11 |
EP3044783A1 (en) | 2016-07-20 |
EP3044783B1 (en) | 2017-07-19 |
JP2016536646A (ja) | 2016-11-24 |
WO2015036350A1 (en) | 2015-03-19 |
US20160232900A1 (en) | 2016-08-11 |
CN105531761A (zh) | 2016-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2407226C2 (ru) | Генерация пространственных сигналов понижающего микширования из параметрических представлений мультиканальных сигналов | |
RU2327304C2 (ru) | Совместимое многоканальное кодирование/декодирование | |
KR101358700B1 (ko) | 오디오 인코딩 및 디코딩 | |
JP5185337B2 (ja) | レベル・パラメータを生成する装置と方法、及びマルチチャネル表示を生成する装置と方法 | |
KR101251426B1 (ko) | 디코딩 명령으로 오디오 신호를 인코딩하기 위한 장치 및방법 | |
KR101069268B1 (ko) | 오브젝트 기반의 오디오 신호의 부호화/복호화 장치 및 방법 | |
RU2367033C2 (ru) | Многоканальное иерархическое аудиокодирование с компактной дополнительной информацией | |
US20080052089A1 (en) | Acoustic Signal Encoding Device and Acoustic Signal Decoding Device | |
CN101543098B (zh) | 产生输出信号的去相关器和方法以及产生多声道输出信号的音频解码器 | |
CN105580391B (zh) | 渲染器控制的空间升混 | |
RU2595910C2 (ru) | Процессор аудиосигналов для обработки кодированных многоканальных аудиосигналов и способ для этого | |
JP6479786B2 (ja) | オーディオ信号のパラメトリック再構成 | |
CN105531761B (zh) | 音频解码系统和音频编码系统 | |
CN101297352B (zh) | 用于编码和解码音频信号的装置及其方法 | |
CN109509478A (zh) | 音频处理装置 | |
CN108600935A (zh) | 音频信号处理方法和设备 | |
CN109887517A (zh) | 对音频场景进行解码的方法、解码器及计算机可读介质 | |
RU2749349C1 (ru) | Кодер аудиосцены, декодер аудиосцены и соответствующие способы, использующие пространственный анализ с гибридным кодером/декодером | |
JP6686015B2 (ja) | オーディオ信号のパラメトリック混合 | |
CN107004421A (zh) | 多通道音频信号的参数编码和解码 | |
CN107771346A (zh) | 实现低复杂度格式转换的内部声道处理方法和装置 | |
CN105637581B (zh) | 用于音频信号的参数重建的去相关器结构 | |
CN101243488A (zh) | 用于编码和解码音频信号的装置及其方法 | |
JP2007104601A (ja) | マルチチャンネル符号化における頭部伝達関数をサポートするための装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |