CN101809654A - 供合成输出信号的装置和方法 - Google Patents

供合成输出信号的装置和方法 Download PDF

Info

Publication number
CN101809654A
CN101809654A CN200880013541A CN200880013541A CN101809654A CN 101809654 A CN101809654 A CN 101809654A CN 200880013541 A CN200880013541 A CN 200880013541A CN 200880013541 A CN200880013541 A CN 200880013541A CN 101809654 A CN101809654 A CN 101809654A
Authority
CN
China
Prior art keywords
signal
matrix
decorrelator
combiner
mixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880013541A
Other languages
English (en)
Other versions
CN101809654B (zh
Inventor
J·安德加尔德
L·维莱摩尔斯
H·普恩哈根
B·瑞许
C·法尔克
J·赫尔
J·席尔佩尔特
A·阿尔雷尔
L·泰伦特夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Dolby Sweden AB
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Dolby Sweden AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV, Dolby Sweden AB filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN101809654A publication Critical patent/CN101809654A/zh
Application granted granted Critical
Publication of CN101809654B publication Critical patent/CN101809654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Abstract

一种用于合成具有一第一音频通道及一第二音频信道的显现输出信号的装置包含一解相关器级(356)及一组合器(364),该解相关器级(356)基于降混信号产生一解相关信号,该组合器(364)基于参数音频对象信息(362)、降混信息(354)及目标显现信息(360)执行降混信号及解相关信号的加权组合。该组合器使用多信道降混解决针对若干个别音频对象的高质量立体音场景重制的矩阵及解相关最佳组合的问题。

Description

供合成输出信号的装置和方法
技术领域
本发明涉及合出显现输出信号,如以可用多通道降混(downmix)及附加控制数据为基础的立体音输出信号或具有更多音频信号的输出信号。明确地说,该多通道降混为多个音频对象信号降混。
背景技术
音频最近发展促进立体音(或单音)信号及对应控制数据为基础的音频信号多信道表示重建。这些参数环绕编码方法通常包含一参数化法。参数多通道音频译码器(如ISO/IEC 23003-1[1]、[2]中定义的MPEG环绕译码器),通过使用附加控制数据以K传输数据为基础重建M通道。该控制数据包含IID(信道间强度差)及ICC(通道间同调性)为基础的多信道信号参数化。这些参数通常在编码阶段被撷取,及描述功率比率及上混处理中所使用的通道配对间的共相关。使用该编码方案可以明显较传送所有M信道为低的数据速率使该编码非常有效率,同时确保与K信道装置及M信道装置两者兼容。
紧密相关编码系统为对应音频对象编码器[3]、[4],其中若干音频对象被控制数据引导于编码器处被降混且稍后被上混。上混处理也可被视为该降混中混合的对象分离。最终上混信号可被显现入一个或更多回放通道。更明确地,[3,4]呈现从一降混(被称为加总信号),有关来源对象的统计信息,叙明预期输出格式的数据综效音频的方法。使用若干降混信号例中,这些降混信号包含不同子组对象,并针对各降混通道个别执行上混。
立体音对象降混及对象显现立体音,或通过如MPEG环绕译码器产生适用于进一步处理的立体音信号例中,先前技术已知可通过结合处理该两信道及时间及频率相依矩阵变换方案来达成显著效能优点。音频对象编码之外,也针对部份转置一立体音频信号应用相关技术于WO2006/103584中的另一立体音频信号。也熟知针对一般音频对象编码系统,必须引进增添解相关处理至该显现,以感知重制预期参考情景。然而,先前技术并无叙明矩阵变换及解相关的联合最佳组合。先前技术方法简单组合导致多信道对象降混提供的功能无效率及无弹性使用,或最终对象译码器显现中的不良立体音影像质量。
参考文献:
2006年6月30日至7月2日于瑞典
Figure G2008800135410D00021
,第28届国际AES会议,音频环绕及更大范围的未来中,L.Villemoes,J.Herre,J.Breebaart,G.Hotho,S.Disch,H.Purnhagen及K.
Figure G2008800135410D00022
MPEG环绕:空间音频编码之即将来临ISO标准”。
2006年9月2日至4日于首尔,第29届国际AES会议,行动及手持装置的音频中,J.Breebaart,J.Herre,L.Villemoes,C.Jin,K.
Figure G2008800135410D00023
J.Plogsties及J.Koppens“多通道走向行动:MPEG环绕双耳显现”。
2006年5月20日至23日于法国巴黎,第120届国际AES会议发表会议文件6752,C.Faller“音频源的参数联合编码”。
2006年专利申请案PCT/EP2006/050904,C.Faller“音频源的参数联合编码”。
发明内容
本发明目的是提供一种合成显现输出信号的改良概念。
该目的通过如权利要求1所述的一种显现输出信号的合成装置,如权利要求27所述的一种显现输出信号合成方法,或如权利要求28所述的一种计算机程序来实现。
本发明提供一种合成具有两(立体音)音频信号或两个以上音频信号的显现输出信号。然而,许多音频对象例中,合成音频信号数量小于原始音频对象数量。然而,当音频对象数量小于(如2),或输出通道数量为2、3或甚至更大时,音频输出通道数量可大于该对象数量。合成显现输出信号不需完整音频对象译码操作为译码音频对象及该被合成音频对象接续目标显现即可实现。此外,以降混信息、目标显现信息,及如能量信息及相关信息说明音频对象的音频目标信息为基础的参数域中是可计算显现输出信号。因此,可降低对合成装置复杂性实施有重大贡献的解相关器数量小于输出通道数量,甚至实质小于音频对象数量。明确地说,可将仅具一单解相关器或两解相关器的合成器用于高质量音频合成器。再者,因为不指导完整音频对象译码及接续目标显现,所以可节省内存及计算资源。再者,各操作可引进潜在人为因素。因此,依据本发明的计算是较佳尽于参数域中达成,使参数中未给予而在例如时间域或次频带域中给予的、仅有音频信号为最少两对象降混信号。音频合成期间,当使用一单解相关器时,其以降混型式引进该解相关器中,而当使用各通道解相关器时,其以混合型式引进该解相关器中。时间域或滤波器组域或混合信道信号上的操作,仅为如加权加法或加权减法的加权组合,也就是线性操作。因此,可避免因完整音频对象译码操作引进的人为因素及接续目标显现操作。
较好的方案是,音频对象信息被视为如对象协方差型式的能量信息及相关信息。再者,该矩阵可用于各次频带及各时间区块使频率-时间映像存在,其中各映射分项包含一音频对象协方差矩阵,其可说明此次频带中的个别音频对象能量及对应次频带中的各对音频对象。自然地,该信息与次频带信号或音频信号的特定时间区块或时间帧或时间部分相关。
较好的方案是,将该音频合成至具有第一或左音频信道信号,或第二或右音频信道信号的显现立体音输出信号。因此,我们可近似应用音频对象编码,其中该对象显现为立体音尽可能接近参考立体音显现。
许多音频对象编码应用中,将该对象显现为立体音尽可能接近参考立体音显现是很重要的。达成立体音显现高质量(如近似参考立体音显现)对该立体音显现为该对象译码器最终输出例子,及立体音信号将被馈送至接续装置例子,如以立体音降混模式操作的MPEG环绕译码器的音频质量均很重要。
本发明提供一种矩阵变换及解相关联合最佳组合方法,其可促使音频对象译码器使用一个以上信道的对象降混开拓音频对象编码完整潜能。
本发明实施例包含以下特征:
一种音频对象译码器,可使用多通道降混,描述了该对象的控制数据、该降混的控制数据,及显现信息来显现多个个别音频对象,其包含:
一立体音处理器,包含一增强矩阵变换单元,可操作线性组合多信道降混信道为一干式混合信号及一解相关器输入信号,并随后将该解相关器输入信号馈送进入一解相关器单元,其输出信号线性组合为信道状的信号加上该干式混合信号,构成所述增强矩阵变换单元的立体音输出;或
一矩阵计算器,可以说明该对象的控制数据、该降混的控制数据及立体音显现信息,来计算该增强矩阵变换单元所使用的线性组合权重。
附图说明
现在将通过具体实施例,不限制本发明范围或精神,参考附图来说明本发明,其中:
图1说明包含编码及译码的音频对象译码操作;
图2a说明音频对象译码为立体音操作;
图2b说明音频对象译码操作;
图3a说明立体音处理器结构;
图3b说明显现输出合成信号装置;
图4a说明本发明第一特征,包含一干式信号混合矩阵C0,一解相关器混合矩阵Q及一解相关器上混矩阵P;
图4b说明无事先解相关器混合矩阵实施的本发明另一特征;
图4c说明无解相关器上混矩阵实施的本发明另一特征;
图4d说明具有附加增一补偿矩阵G实施的本发明另一特征;
图4e说明当使用一单解相关器时,该解相关器降混矩阵Q及该解相关器上混矩阵P实施;
图4f说明该干式混合矩阵C0实施;
图4g说明该干式信号混合结果及该解相关器或该解相关器上混操作结果实际组合详细图标;
图5说明具有许多解相关器的一多通道解相关器操作;
图6说明标示一特定识别辨识的若干音频对象,具有一对象音频文件,及一联合音频对象信息矩阵E的映像;
图7说明解释图6的对象共变异矩阵E;
图8说明降混矩阵D所控制的一降混矩阵及一音频对象编码器;
图9说明通常由使用者提供的一目标显现矩阵A及一特定目标显现方案;
图10说明可依据四个不同实施例执行决定第四a至d中的矩阵元素的事先计算步骤集合;
图11说明依据第一实施例的计算步骤集合;
图12说明依据第二实施例的计算步骤集合;
图13说明依据第三实施例的计算步骤集合;
图14说明依据第四实施例的计算步骤集合。
具体实施方式
下述实施例仅为本发明合成输出信号装置及方法原理的实施例。熟练技术人员应了解在此说明的安置及细节修改及变异。因此,预期仅受到公开的专利申请范围的限制,而不受在说明及解释的实施例所公开的特定细节的限制。
图1说明了包含一对象编码器101及一对象译码器102的音频对象译码操作。空间音频对象编码器101可依据编码器参数将N对象编码为包含K>1音频的一对象降混。应用降混权重矩阵D相关信息,通过该对象编码器及该降混功率及相关的操作数据做输出。矩阵D通常但不是一直必要随时间及频率而固定,因此呈现相当少量的信息。最后,该对象编码器可针对各对象撷取对象参数,当作知觉考虑定义的解下的时间及频率函数。空间对象译码器102是将该对象降混信道,降混信息及对象参数(该编码器所产生)视为输入,并产生具M音频通道的一输出呈现给使用者。N对象显现为M音频通道,是利用提供当作使用者输入该对象编码器的显现矩阵。
图2a说明预期输出为立体音音频实施例中的音频对象译码器102组成。该音频对象降混被馈送至立体音处理器201,其可执行通到立体音音频输出的信号处理。此处理视矩阵计算器202提供的矩阵信息而定。该矩阵信息由该对象参数、降混信息,及所提供可说明由显现矩阵将该N对象预期目标显现为立体音的对象显现信息导出。
图2b说明预期输出为一般多信道音频信号例中的音频对象译码器102组成。该音频对象降混被馈送入立体音处理器201,其可执行通到立体音音频输出的信号处理。此处理视矩阵计算器202提供的矩阵信息而定。该矩阵信息由该对象参数、降混信息,及显现缩减器204输出的缩减对象显现信息导出。该缩减对象显现信息是说明由显现矩阵将该N对象预期显现为立体音,且其是从说明N对象显现为被提供至音频对象译码器102的M音频信道的显现信息,对象参数及对象降混信息导出。附加处理器203可以该显现信息、降混信息及对象参数为基础,将立体音处理器201提供的立体音信号转置为最终多通道音频输出。以立体音降混模式操作的MPEG环绕译码器,通常为附加处理器203的主要组成。
图3a说明立体音处理器201的结构。给定输出自K通道音频译码器的比特流格式的被传输对象降混,此比特流首先被音频译码器301解码为K时间域音频信号。这些信号接着全部被T/F单元302转置为频率域。改变被提供至立体音处理器201的矩阵信息所定义的发明性增强矩阵变换的时间及频率,通过增强矩阵变换单元303执行于最终频率域信号X上。此单元输出该频率域中的立体音信号Y’,其通过F/T单元304转置为时间域。
图3b说明了合成于立体音显现操作实施例中具有一第一音频信道信号及一第二音频信道信号,或于较高通道显现例中具有两个以上输出信道信号的显现输出信号装置350。然而,针对如三个或更多的较高数量音频对象,输出信道数量较佳小于原始音频对象数量,其对降混信号352有贡献。明确地说,降混信号352具有至少一第一对象降混信号及一第二对象降混信号,其中该降混信号依据降混信息354表示多个音频对象信号降混。明确地说,当在两个解相关器或具有两个以上解相关器的例子中,产生具有一解相关单信道信号或一第一解相关信道信号及一第二解相关信道信号,在具有三个或更多解相关器的实施例中,具有两个以上解相关信道信号的一解相关信号时,如图3b说明的发明性音频合成器包含一解相关器级356。然而,因解相关器带来的实施复杂性,较小数量解相关器,因而较小数量解相关信道信号是较较高数量为佳。较好的是,解相关器数量小于包含于降混信号352中的音频对象数量,且较佳等于输出信号352中的信道信号数量,或小于显现输出信号350中的音频信道信号数量。然而,针对小数量音频对象(方程式2或3),解相关器数量等于或甚至大于音频对象数量。
如图3b显示,该解相关器级可接收降混信号352当作输入,并产生解相关信号358当做输出信号。除了降混信息354之外,还提供目标显现信息360及音频对象参数信息362。明确地说,该音频对象参数信息至少用于组合器364中,且可选择性用于稍后说明的解相关器级356中。音频对象参数信息362优选包含以如0及1之间数字,或以特定值范围定义的一特定数字的参数化型式说明该音频对象的能量及相关信息,其可标示稍后说明的两音频对象之间的能量,功率或相关测量。
组合器364配置执行降混信号352及解相关信号358的权重组合。再者,组合器364可从降混信息354及目标显现信息360操作计算加权组合的加权因子。该目标显现信息可标示虚拟重放设立中的音频对象虚拟位置,且可标示该音频对象特定放置,以决定特定对象是否被显现于第一输出信道或第二输出信道中,也就是立体音显现中的左输出信道或右输出信道。然而,当执行多信道显现时,目标显现信息可附加标示特定对象是否被放置更多或更少于左环绕或右环绕或中央通道等等中。任何显现方案均可实施,但因该目标显现信息优选为稍后讨论通常由使用者提供的目标显现矩阵型式而会彼此不同。
最后,组合器364使用标示较佳能量信息及说明音频对象的相关信息的音频对象参数信息362。一实施例中,该音频对象参数信息给定为时间/频率面中各“倾斜””的音频对象协方差矩阵。也就是说,针对各次频带及定义此次频代的各时间区块,完整对象协方差矩阵,也就是具有功率/能量信息及相关信息的矩阵被提供为音频对象参数信息362。
当比较图3b及图2a或2b时,可得知图1中的音频对象译码器102对应合成显现输出信号装置。
再者,立体音处理器201包含图3b的解相关器级356。另一方面,组合器364包含图2a中的矩阵计算器202。再者,当解相关器级356包含解相关器降混操作时,此矩阵计算器202部份被包含于解相关器级356而非组合器364中。
然而,因为软件中或专用数字信号处理器内,或甚至一般用途个人计算机内的本发明实施在本发明的范围中,所以在此任何特定功能的特定位置均非决定。因此,将特定功能归因于特定区块,为在硬件中实施本发明的一方式。然而,当所有区块电路图均被视为说明操作步骤特定流程的流程图时,可了解特定功能对特定区块的贡献大为可能,且可视实施或程序设计要求实现。
再者,当比较图3b及图3a时,可了解计算该加权组合的加权因子的组合器364功能性包含于矩阵计算器202中。也就是说,该矩阵信息构成应用至实施于组合器364中的增强矩阵单元303的加权因子集合,但其也可包含解相关器级356部份(关于稍后将讨论的矩阵Q)。因此,增强矩阵单元303可执行至少两对象降混信号的较佳次频带的组合操作,其中该矩阵信息包含在执行该组合操作之前,加权这至少两个降混信号或解相关信号的加权因子。
因此,讨论组合器364及解相关器级356优选实施例的详细结构。明确地说,图4a至图4d讨论解相关器级356及组合器364功能性的若干不同实施。图4e至图4g说明图4a至图4d中的项目特定实施。详细讨论图4a至图4d之前,讨论这些图标一般结构。各图标包含该解相关信号相关的一上分支,及该干式信号相关的一下分支。再者,各分支输出信号,也就是组合器454中组合线450处的信号及线452处的信号,最终获得显现输出信号350。通常,图4a系统说明三个矩阵处理单元401、402、404。401为干式信号混合单元。该至少两对象降混信号352被加权和/或彼此混合,从被输入加法器454的该干式信号分支获得对应该信号的两干式混合对象信号。然而,该干式信号分支可具有另一矩阵处理单元,也就是图4d下游连接干式信号混合单元401的增益补偿单元409。
再者,组合器单元364可或不可包含具有解相关器矩阵P的解相关器上混单元404。
自然地,虽然当然可对应实施,但矩阵变换单元404,401及409(图4d)及组合器单元454仅人工真实。然而,可替代是,可通过接收解相关信号358及降混信号352做为输入,及输出两个或三个或更多显现输出通道350的单“大”矩阵实施这些矩阵功能性。该“大矩阵”实施中,线450及452处的信号未必发生,虽然永远不会清楚产生中间结果450及452,但可以矩阵变换单元404、401及409及组合器单元454执行的不同次操作代表此矩阵应用结果观念说明该“大矩阵”的功能性。
再者,解相关器级356可包含或不包含事先解相关器混合单元402。图4b说明不提供此单元的情况。此于提供两降混信道信号的两解相关器而特定降混非必要时特别有用。自然地,我们可应用特定增益因子至两降混通道,或我们可于其视特定实施要求被输入解相关器级之前混合该两降混通道。然而,另一方面,特定矩阵P也可包含矩阵Q功能性。此意指虽然获得相同结果,但图4b中的矩阵P与图4a中的矩阵P不同。鉴于此,解相关器级356可不包含任何矩阵,而该组合器中可执行完整矩阵信息计算,该组合器中也可执行完整应用矩阵。然而,为了较佳说明这些算术背后的技术功能性,将针对图4a至图4d说明的特定及技术透明矩阵处理方案来继续说明本发明。
图4a说明发明性增强矩阵变换单元303的结构。包含至少两通道的输入X馈送入可依据干式混合矩阵C执行矩阵操作及输出立体音干式上混信号
Figure G2008800135410D00101
的干式信号混合单元401。该输入X也被馈送入可依据事先解相关器混合矩阵Q执行矩阵操作及输出将被馈送入解相关器单元403的Nd信道信号的事先解相关器单元402。最终Nd信道解相关信号Z随后被馈送入可依据解相关器上混矩阵P执行矩阵操作及输出解相关立体音信号的解相关器上混单元404。最后,通过简单通道状添加立体音干式上混信号
Figure G2008800135410D00102
与该解相关立体音信号混合,形成该增强矩阵变换单元的输出信号Y’。矩阵计算器202提供给立体音处理器201的矩阵信息说明所有三个混合矩阵(C,Q,P)。一先前技术系统仅包含较低干式信号分支。一对象降混信道中包含一立体音乐对象及其它对象降混信道中包含一单音对象的简单例中无法充分执行该系统。这是因为虽然已知包含解相关的参数立体音方法可达成较高许多感官音频质量,但是音乐显现为立体音完全视频率选择方案而定。包含解相关但以两独立单对象降混的完全不同先前技术系统用于此特定例较佳,但另一方面可达成与最初提及用于音乐被保存于真实立体音中,而声音以等权重混入两对象降混信道的向后兼容降混例的干式立体音系统相同质量。另一例考虑单独包含立体音乐对象的卡拉OK型目标显现。各降混信道单独处理接着最佳压缩声音对象,考虑如中间通道相关的被传输立体音音频对象信息为少。本发明关键特征促成不仅这些简单情况,也为对象降混及显现远为复杂组合的最高音频质量。
如上述,相对于图4a,图4b说明解相关器上混矩阵P中不需或“吸收”事先解相关器混合矩阵Q的情况。
图4c说明解相关器级356中提供及实施事先解相关器矩阵Q,及矩阵Q中不需或“吸收”解相关器上混矩阵P的情况。
再者,图4d说明呈现相同于图4a的矩阵,但提供将于图13讨论的第三实施例及图14讨论的第四实施例中特别有用的附加增益补偿矩阵G的情况。
解相关器级356包含单解相关器或两解相关器。图4e说明提供单解相关器403,且降混信号为两信道对象降混信号,输出信号为两信道音频输出信号的情况。此例中,解相关器降混矩阵Q具有一列及两栏,而解相关器上混矩阵具有一栏及两列。然而,当降混信号具有两个以上的通道时,Q的栏数等于该降混信号的信道数,而当合成显现输出信号具有两个以上的通道时,解相关器上混矩阵P具有等于显现输出信号的信道数的列数。
图4f说明标示为C0且具有两栏中的两列,二乘二(2×2)实施例中的干式信号混合单元401电路状实施。如加权因子的该电路状结构说明该矩阵元素。再者,图4f可见使用加法器组合加权信道。然而,当降混信道数量与显现输出信号信道数量不同时,干式混合矩阵C0不会是二次方程式矩阵,而会具有不同于栏数的列数。
图4g详细说明图4a中的加法级功能。明确地说,针对如左立体音信道信号及右立体音信道信号的两输出信道例,提供两不同加法器级454,其可组合图4g说明来自该解相关器信号相关的上分支及干式信号的下分支的输出信号。
有关增益补偿矩阵G409,该增益补偿矩阵的元素仅位于矩阵G对角上。图4f说明干式信号混合矩阵C0的二乘二例中,增益补偿左干式信号的一增益因子位于c11位置处,增益补偿右干式信号的一增益因子位于图4f的矩阵C0中的c22位置处。图4d中409说明的二乘二增益矩阵G中,c12及c21会等于0。
图5说明多通道解相关器403的先前技术操作。该工具是用于MPEG环绕例。Nd信号、信号1、信号2、...信号Nd分别被馈送入解相关器1、解相关器2、...、解相关器Nd。各解相关器通常包含目的为制造尽量不与输入相关的一输出,而维持该输入信号功率的一滤波器。再者,选择不同解相关器滤波器,使输出解相关器信号1、解相关器信号2、...解相关器信号Nd也尽量配对不相关。因为与音频对象译码器其它部件相较下,解相关器通常为高计算复杂性,有利地使该数量Nd保持尽量小。
本发明提供Nd等于1、2或更多,但优选小于音频对象数量的解。明确地说,解相关器数量等于显现输出信号的音频信道信号数量,或甚至小于显现输出信号350的音频信道信号数量。
下文中,将描述本发明数学说明。在此考虑的所有信号为来自离散时间信号的调变滤波组或窗口FFT(快速傅里叶转置)分析的次频带样本。应了解这些次频带必须通过对应合成滤波器组操作转置回到离散时间域。L样本信号区块是表示时间及频率区间中的信号,其为应用用于说明信号特质的时间-频率面部分。此设定中,给定音频对象可被表示为一矩阵中长度L的N列,
S = s 1 ( 0 ) s 1 ( 1 ) Λ s 1 ( L - 1 ) s 2 ( 0 ) s 2 ( 1 ) Λ s 2 ( L - 1 ) M M M s N ( 0 ) s N ( 1 ) Λ s N ( L - 1 ) - - - ( 1 )
图6说明描述若干N对象的音频对象映像实施例。图6解释例中,各对象具有一对象识别号、一对应对象音频文件,及重要地音频对象参数,其优选为音频对象能量及该音频对象的对象间相关有关信息。明确地说,该音频对象参数信息包含各次频带及各时间区块的对象协方差矩阵E。
图7说明该音频对象参数信息矩阵E。对角元素eii包含对应次频带及对应时间区块中的音频对象i的功率及能量信息。最后,表示特定音频对象i的次频带信号,被输入如可执行自我相关功能(acf)获得有或无若干正规化之值eii的功率或能量计算器。可替代是,该能量可被计算为特定长度以上的信号平方和(也就是向量乘积:ss*)。自我相关函数在某种涵义上可说明能量的频谱分布,但因为无论如何均优选使用频率选择的T/F转置的事实,所以可单独针对各次频带在没有自我相关函数下计算能量。因此,对象音频参数矩阵E标示特定时间区块中的特定次频带中的音频对象能量功率。
另一方面,非对角eij标示对应次频带及时间区块中的音频i,j之间的个别相关测量。从图7可明了,针对实值分项,矩阵E与主对角对称。通常,此矩阵为赫密特(hermitian)矩阵。例如,可通过个别音频对象的两次频带信号交叉相关来计算该相关测量元素eij,获得可或不可被正规化的交叉相关测量。可使用不使用交叉相关操作而借由决定两信号之间相关的其它方法计算的其它相关方式。针对实用原因,正规化所有矩阵E元素,使其具有0及1之间的值,其中1标示最大功率或最大相关,0标示最小功率(零功率),而-1标示最小相关(项为颠倒)。
大小K×N,其中K>1经由矩阵乘法决定具K列的矩阵型式的K信道降混信号。
X=DS.    (2)
图8说明具有降混矩阵元素dij的降混矩阵D例。该元素dij标示对象降混信号i是否包含一部分或全部对象j。例如,当d12等于零时,此意指对象降混信号1不包含对象2。另一方面,d23值等于1标示对象降混信号2完全包含对象3。
0及1之间的降混矩阵元素值可行。明确地说,0.5值标示降混信号包含一特定对象,但仅具有其能量一半。因此,当均等分配如对象数4的音频对象至两降混信号频道时,d24及d14值将等于0.5。此降混方式为较佳用于若干情况的能量保存降混操作。然而,可替代是,也可使用非能量保存降混,其中全部音频对象均被引进左降混频道及右降混频道,使此音频对象能量为该降混信号内的其它音频对象两倍。
给定图1的对象编码器101简图于图8下部分处。明确地说,对象编码器101包含两不同部件101a及101b。部件101a为较佳执行音频对象1、2、...、N的加权线性组合,而对象编码器101第二部件为一音频对象参数计算器101b,其可计算如各时间区块或次频带的矩阵E的音频对象参数信息,以提供音频能量及参数信息的相关信息,且可以低位速率传送,或可被储存消耗少量内存资源。
大小M×N的使用者控制对象显现矩阵A可通过
Y=AS.    (3)
决定具M列的矩阵型式的音频对象M信道目标显现。
因为着重于立体音显现,所以假设遍及以下导出M=2。给予初始显现矩阵给两个以上通道,及给予来自这些若干通道的降混准则进入两通道,则熟练技术人员明了可导出立体音显现的大小2×N的对应显现矩阵A。显现缩减器204可执行此缩减。为了简化,也假设K=2使对象降混也为一立体音信号。再者,立体音对象降混例为应用方案中最重要的特殊例。
图9详细解释目标显现矩阵A。使用者可视应用而定提供目标显现矩阵A。使用者可完全自由标示应针对重放设立以虚拟方式放置音频对象。音频对象概念强度,为降混信息及音频对象参数信息完全视该音频对象特定局部化而定。使用者可以目标显现信息型式提供此音频对象局部化。可将该目标显现信息实施为图9中的矩阵型式的目标显现矩阵A。明确地说,显现矩阵A具有M列及N栏,其中M等于显现输出信号中的信道数,而N等于音频对象数。M等于两较佳立体音显现方案,但若执行M通道显现,则矩阵A具有M列。
明确地说,矩阵元素aij标示一部分或全部目标j将于特定输出通道i中显现。图9下部分为一目标显现矩阵方案简单例,其中具有六音频对象AO1至AO6,其中仅头五个音频对象应于特定位置处显现,而第六个音频对象不应被显现。
至于音频对象AO1,使用者欲让此音频对象于重放方案左侧处显现。因此,此对象被放置于(虚拟)重放空间中的左扬声器位置处,其使显现矩阵A第一栏为(10)。至于第二音频对象,a22为1,而a12为0,意指该第二音频对象将于右侧显现。
音频对象3将于左扬声器及右扬声器之间中间处显现,使此音频对象50%位准或信号进入右信道,使目标显现矩阵A的对应第三栏为(0.5长度0.5)。
同样地,该目标显现矩阵可标示左扬声器及右扬声器之间放置。至于音频对象4,因为a24大于a14,所以该放置于右侧较多。同样地,如目标显现矩阵元素a15及a25标示,第五音频对象AO5于左扬声器处显现较多。另外,目标显现矩阵A一点都不显现特定音频对象。此通过具零元素的目标显现矩阵A第六栏举例说明。
因为着重于立体音显现,所以假设遍及以下导出M=2。给予初始显现矩阵给两个以上通道,及给予来自这些若干通道的降混准则进入两通道,则熟练技术人员明了可导出立体音显现的大小2×N的对应显现矩阵A。显现缩减器204可执行此缩减。为了简化,也假设K=2使对象降混也为一立体音信号。再者,立体音对象降混例为应用方案中最重要的特殊例。
给定显现矩阵A,矩阵X,降混矩阵D,不论对象降混音频信号损失编码效应的时机为何,音频对象译码器的任务产生原始音频对象的目标显现Y感官近似。图4为发明性增强矩阵变换单元303结构。403给定相互正交解相关器数量Nd,具有三个混合矩阵。
·大小2×2的C执行干式信号混合
·大小Nd×2的Q执行事先解相关器混合
·大小2×Nd的P执行解相关器上混
假设解相关器可保存功率,则解相关信号矩阵Z具有一对角Nd×Nd协方差矩阵Rz=ZZ,其对角质等于该事先解相关器混合对象降混的协方差矩阵值
QXXQ    (4)
在此及下文,星号标记复合共轭转置矩阵操作。也应了解可以期望值E{UV}取代普遍用于计算方便的型式UV*决定性协方差矩阵。再者,可假设所有解相关信号与对象降混信号无关。因此,发明性增强矩阵变换单元303组合输出的协方差R’
Y ′ = Y ^ + PZ = CX + PZ , - - - ( 5 )
可被重写为干式信号混合 Y ^ = CX 的协方差 R ^ = YY * 及最终解相关器输出协方差的加总。
R ′ = R ^ + PR Z P * . - - - ( 6 )
对象参数通常包含对象功率及选择对象间相关信息。可从这些参数达成N×N对象协方差SS的模型E。
SS=E    (7)
此例中,三个一组矩阵(D,E,A)说明音频对象译码器可用的数据,本发明传授的方法包含使用此数据联合最佳化组合输出(5)及其协方差(6)波形匹配至目标显现信号(4)。针对给定干式信号混合矩阵,手边问题为正确目标协方差R’=R,其可由以下估计
R=YY=ASSA=AEA    (8)
误差矩阵定义
ΔR = R - R ^ , - - - ( 9 )
与(6)比较通往设计要求
PRZP*=ΔR.    (10)
因为(10)左手侧为解相关器混合矩阵P任何选择的正准定义矩阵,所以(9)的误差矩阵必须也为正准定义矩阵。为了简化随后公式细节,让该干式信号混合及目标显现协方差被参数化为
R = L p p R , R ^ = L ^ p ^ p ^ R ^ . - - - ( 11 )
针对误差矩阵
ΔR = ΔL Δp Δp ΔR , R ^ = L - L ^ p - p ^ p - p ^ R - R ^ , - - - ( 12 )
需要求正准定义可以三个条件表示
ΔL≥0,ΔR≥0,ΔLΔR-(Δp)2≥0    (13)
接着讨论图10。图10说明较佳可执行图11至图14讨论的所有四个实施例的若干事先计算步骤集合。如图10中1000标示,一该事先计算步骤为计算目标显现信号协方差矩阵R。区块1000对应方程式(8)。
如区块1002标示,可使用方程式(15)计算干式混合矩阵。特别是,假设不加总解相关信号,则计算干式混合矩阵C0可通过使用降混信号获得目标显现信号最佳匹配。因此,干式混合矩阵确保混和矩阵输出信号波型在无任何附加解相关信号下能尽量匹配目标显现信号。此事先必备干式混合矩阵对于尽量保持输出通道中的一部分解相关信号很低特别有用。通常,解相关信号为已被解相关器大范围修改的信号。因此,此信号通常具有如色彩化,时间散开及不良瞬时响应的人为因素。因此,此实施例提供来自解相关处理较少信号通常产生较佳音频输出质量的优点。通过执行波型匹配,也就是加权及组合降混信号中的两信道或更多信道,使这些通道于干式混和操作尽量接近目标显现信号之后,仅需最少量的解相关信号。
假设参数音频对象信息362为音频对象损失较少表示,当使用目标显现信息360显现原始音频对象时,组合器364可操作计算加权因子使第一对象降混信号及第二对象降混信号的混合操作结果452被波型匹配为尽量对应可获得情况的目标显现结果。因此,甚至非量化E矩阵均不再确保信号精确重建。我们可以均方观念最小化该误差。因此,我们目标获得波型匹配,而重建功率及交互相关。
一旦以如上述方式计算出干式混合矩阵C0,则可计算干式混合信号的协方差矩阵
Figure G2008800135410D00181
。明确地说,较佳使用图10右侧的方程式,也就是C0DEDC0 。此计算公式确保,为了计算干式信号混合结果的协方差矩阵
Figure G2008800135410D00182
,仅需参数而不需次频带样本。然而,作为可替代方案,我们也可使用干式混合矩阵C0及降混信号来计算干式信号混合结果的协方差矩阵,但仅发生于参数域中的第一计算较简单。
计算步骤1000、1002及1004之后,可获得干式混合矩阵C0,目标显现信号的协方差矩阵R,及干式混合信号的协方差矩阵
Figure G2008800135410D00183
为了特定决定矩阵Q、P,接着说明四个不同实施例。另外,说明也决定增益补偿矩阵G值的图4d情况(如第三实施例及第四实施例)。熟练技术人员将了解,因为存在若干程度自由决定所需矩阵加权因子,所以存在计算这些矩阵值的其它实施例。
本发明第一实施例中,矩阵计算器202操作被设计如下。干式上混矩阵首先被导出以达成信号波型匹配的最小平方解
Y ^ = CX ≈ Y = AS , - - - ( 14 )
此脉络中,应注意 Y ^ 0 = C 0 · X = C 0 · D · S 有效。再者,以下方程序为真:
R ^ 0 = Y ^ 0 Y ^ 0 * = C 0 · D · S · ( C 0 · D · S · ) * = C 0 · D · ( S · S * ) · D * · C 0 * = C 0 · D · E · D * · C 0 *
此问题的解为
C≈C0=AED*(DED*)-1   (15)
其具有最小平方解附加熟知特性,其也可轻易从误差 ΔY = Y - Y ^ 0 = AS - C 0 X 与近似 Y ^ = C 0 X 正交的(13)得到验证。因此,交叉项消失于以下计算中,
R = YY * = ( Y ^ 0 + ΔY ) ( Y ^ 0 + ΔY ) *
= Y 0 Y 0 * + ( ΔY ) ( ΔY ) * - - - ( 16 )
= R ^ 0 + ( ΔY ) ( ΔY ) *
其遵循
ΔR=(ΔY)(ΔY)*    (17)
其为平凡地正准定义,使(10)得到解决。以符号表示该解为
P = T R Z - 1 / 2 - - - ( 18 )
在此,第二因子RZ -1/2仅通过操作于对角上的元素状定义,而矩阵T解出矩阵方程式TT=ΔR。有很大的自由选择此矩阵方程式解。本发明传授的方法是从ΔR的单数值分解开始。针对此对称矩阵,其缩减至一般特征向量分解
ΔR = U λ max 0 0 λ min U * ; U = u 1 u 2 u 2 - u 1 , - - - ( 19 )
其中特征向量U为单一、而其栏包含对应以递减大小分类λmax≥λmin≥0的特征向量的特征向量。通过设定(19)中λmin=0,及插入对应自然近似于(18),可获得本发明传授具一解相关器(Nd=1)
T ≈ u 1 λ max u 2 λ max - - - ( 20 )
从ΔR最小特征向量λmin添加遗失最小显著贡献,及添加第二栏至对应(19)的第一因子U及对角特征向量矩阵元素状平方根乘积(20),可获得Nd=2的完整解。详细写出此量至
T = u 1 λ max u 2 λ min u 2 λ max - u 1 λ min - - - ( 21 )
接着,图11总结依据第一实施例的矩阵P计算。步骤1101中,当考虑图4a时,使用图10的步骤1000及步骤1004的结果来计算该误差信号或上分支处的相关信号的协方差矩阵ΔR。接着,方程式(19)讨论执行此矩阵的特征向量分解。接着,稍后将讨论依据多个可用策略的一选择矩阵Q。以被选择矩阵Q为基础,使用被写至图11中的框1103右侧的方程式计算矩阵变换解相关信号的协方差矩阵Rz,也就是QDEDQ的矩阵乘法。接着,以步骤1103获得的Rz为基础计算解相关器上混矩阵P。可明白此矩阵不必执行实际上混,图4a中的区块P 404输出处是较输入处更多信道信号。此可于单解相关器例中达成,但于两解相关器例中,解相关器上混矩阵P接收两输入信道及输出两输出信道,且可当作图4f中说明的干式上混(upmixer)矩阵。
因此,该第一实施例独特处为计算C0及P。为了确保该输出的正确最终相关结构,我们需两解相关器。另一方面,优点是可仅使用一解相关器。方程式(20)标示此解。明确地说,实施具有较小特征值的解相关器。
本发明第二实施例中,矩阵计算器202操作设计如下。该解相关器混合矩阵被限制为以下型式
P = c 1 - 1 - - - ( 22 )
由于此限制,单相关信号共变异矩阵为纯量Rz=rz,而组合输出(6)的协方差(covariance)变成
R ′ = R ^ + P R Z P * = L ^ p ^ p ^ R ^ + α 1 - 1 - 1 1 , - - - ( 23 )
其中α=c2 rz。通常不可能目标协方差R’=R,但可调整该输出通道间的感官重要正规化相关为大范围情况中的目标者。在此,该目标相关由以下定义
ρ = p LR - - - ( 24 )
而组合输出(23)所达成的相关由以下给予
ρ ′ = p ^ - α ( L ^ + α ) ( R ^ + α ) - - - ( 25 )
方程式(24)及(25)产生以α表示的二次方程式
ρ 2 ( L ^ + α ) ( R ^ + α ) = ( p ^ - α ) 2 - - - ( 26 )
针对(26)具有正解α=α0>0的例子,本发明第二实施例传授使用混合矩阵(mix matrix)定义(22)中的常数 c = α 0 / r z (26)为正的两例中,将使用一产生较小范数c。无任何该解存在的例子中,因为c的复合解(complexsolutions)产生解相关信号中的可感官相位失真,所以解相关器贡献通过选择c=0而被设定为零。可以直接从信号
Figure G2008800135410D00211
或并入对象共变异矩阵结合降混及显现信息的两不同方法,计算
Figure G2008800135410D00212
R ^ = CDED * C * . 在此,第一方法将产生复合值
Figure G2008800135410D00214
因此,(26)右侧处,必须分别对
Figure G2008800135410D00215
实部(real)或量值。然而,可替代是,甚至可使用复合值
Figure G2008800135410D00216
该复合值标示也有用于特定实施例,具有特定相位项的一相关。
从(25)可看见的此实施例特征,与干式混合相较下,其仅降低该相关。也就是 ρ ′ ≤ ρ ^ = p ^ / L ^ R ^ .
总之,图12说明该第二实施例。其开始于步骤1101中的协方差矩阵ΔR计算,其与图11中的步骤1101相同。接着,实施方程式(22)。明确地说,矩阵P容貌事先设定,而仅开放计算对P的两元素均相同的加权因子c。明确地说,具有单栏的矩阵P标示此第二实施例中仅使用一单解相关器。再者,p元素符号可澄清该解相关信号被添加至如干式混合信号左信道的一信道,且从该干式混合信号右信道被扣除。因此,通过添加该解相关信号至一信道,且从另一信道扣除该解相关信号,可获得最大解相关。为了决定c值,执行步骤1203、1206、1103及1208。明确地说,步骤1203中计算方程式(24)中标示的目标相关列。当执行立体音显现时,此值为两音频信道信号之间的频道间交叉相关值。以步骤1203结果为基础,方程式(26)为基础的步骤1206中标示者可决定加权因子α。再者,选择矩阵Q的矩阵元素值,其于此例中仅计算如步骤1103中及图12中框1103右侧方程式标示的纯量值Rz。最后,如步骤1208标示计算因子c。方程式(26)为可提供两正解至α的二次方程式。此例中,如上述,该解产出为将使用的c较小范数。然而,当获得无该正解时,c被设定为0。
因此,第二实施例中,我们使用框1201中的矩阵P标示分配用于两通道的一解相关器特殊例来计算P。针对某些例,该解不存在,而我们仅关闭该解相关器。此实施例优点在于其绝不添加具正相关的合成信号。因为该信号可理解为局部化幻觉源,其为降低该显现输出信号音频质量的人为因素。
由于该导出不考虑功率问题,我们可能获得输出信号误匹配,其意指该输出信号或多或少具有该降混信号功率。此例中,我们可于较佳实施例中实施附加增益补偿以进一步增强音频质量。
本发明第三实施例中,矩阵计算器202操作被设计如下。起始点为增益补偿干式混合
Y ^ = g 1 0 0 g 2 Y ^ 0 - - - ( 27 )
例如,未补偿干式混合为具有(15)给予混合矩阵的最小平方近似 Y ^ 0 = C 0 X 结果。再者,C=GC0,其中G为具有分项g1及g2的一对角矩阵。此例中
R ^ = L ^ p ^ p ^ R ^ = g 1 0 0 g 2 · L ^ 0 p ^ 0 p ^ 0 R ^ 0 · g 1 0 0 g 2
= = g 1 2 L ^ 0 g 1 g 2 p ^ 0 g 1 g 2 p ^ 0 g 2 2 R ^ 0 - - - ( 28 )
而误差矩阵为
ΔR = ΔL Δp Δp ΔR = L - g 1 2 L ^ 0 p - g 1 g 2 p ^ 0 p - g 1 g 2 p ^ 0 R - g 2 2 R ^ 0 , - - - ( 29 )
接着,本发明第三实施例传授选择补偿增益(g1,g2),在(13)给予限制下最小化该误差功率的加权总和
w 1 ΔL + w 2 ΔR = w 1 ( L - g 1 2 L ^ 0 ) + w 2 ( R - g 2 2 R ^ 0 ) - - - ( 30 )
(30)中的加权选择例是(w1,w2)=(1,1)或(w1,w2)=(R,L)。接着,最终误差矩阵ΔR依据方程式(18)-(21)步骤当作对计算解相关器混合矩阵P的输入。此实施例具吸引力特征是误差信号
Figure G2008800135410D00228
类似干式上混,添加至最终输出的解相关信号量小于本发明第一实施例添加至该最终输出的量。
图13摘录的第三实施例中,假设一附加增益矩阵G如图4d标示。依据方程式(29)及(30)中所写的,使用以下方程式(30)正文中所标示的选择w1、w2,及方程式(13)中所标示误差矩阵限制为基础来计算增益因子g1及g2。执行这两步骤1301、1302之后,我们可使用步骤1303中所标示的g1、g2来计算误差信号协方差矩阵ΔR。应注意,步骤1303中所计算的此误差信号协方差矩阵,与图11及图12中所计算的协方差矩阵R不同。接着,相同步骤1102、1103、1104已如图11的第一实施例讨论般被执行。
第三实施例优点是该干式混合不仅波型匹配,另外也增益补偿。此有助于进一步降低解相关信号量,也降低添加该解相关信号产生的任何人为因素。因此,第三实施例尝试从增益补偿及解相关器加法最可能组合。再次,目的是完全重制包含信道功率的协方差结构,及如通过最小化方程式(30)使用尽量少合成信号。
接着讨论第四实施例。步骤1401中,实施单解相关器。因此,因为实际实施时,单解相关器最具有优点,所以创造不复杂的实施例。接续步骤1101中,如第一实施例的步骤1101叙述及讨论地计算协方差矩阵数据R。然而,可替代是,也可如波型匹配之外也具有增益补偿的图13步骤1303标示地计算该协方差矩阵数据R。接着,检查协方差矩阵ΔR非对角元素的Δp符号。当步骤1402决定此符号为负时,因为仅有一单解相关器,所以接着处理步骤1102、1103、1104,其中因rz为纯量值,所以步骤1103特别不复杂。
然而,当决定Δp符号为正时,如设定矩阵P元素为0而完全删除该解相关信号加号。可替代是,可缩减解相关信号添加为零以上的一值,但缩减至较该符号应为负的一值微小的一值。然而,优选地,矩阵P的矩阵元素不仅被设定为较小值,且如图14的区块1404中所标示被设定为零。然而,依据图4d,决定增益因子g1、g2以执行区块1406中标示的增益补偿。明确地说,计算该增益因子使方程式(29)右侧处的矩阵主对角元素变成零。此意指误差信号协方差矩阵于其主对角处具有零元素。因此,当因避免添加具有特定相关特性的解相关信号时可能产生幻觉源人为因素(phantom source artefacts)策略而缩减或完全关闭解相关信号时,该例达成增益补偿。
因此,第四实施例结合第一实施例若干特征并视单解相关器解而定,但包含可决定解相关信号质量,当如该误差信号(添加信号)的协方差矩阵ΔR中的值Δp的质量指针为正时,可缩减或完全消除该解相关信号。
因为以上第二级理论对所使用特定矩阵不敏感,所以应以感官考虑为基础选择该事先解相关器矩阵Q。此也指选择Q考虑与上述各实施例之间选择无关。
本发明传授第一较佳解,包含使用干式立体音混合的单音混合当作对所有解相关器的输入。以矩阵元素而言,此意指
qn,k=c1,k+c2,k,k=1,2;n=1,2,...,Nd   (31)
其中{qn,k}为Q的矩阵元素,而{cn,k}为C0的矩阵元素。
本发明传授的第二解,产生单独从降混矩阵D导出的事先解相关器矩阵Q。该导出以假设具有单位功率的所有对象均不相关为基础。形成从对象至其个别预测误差的上混矩阵给予该假设。接着,选择该事先解相关器权重平方,与跨越降混信道的总预测对象误差能量等比例。最后针对所有解相关器使用相同权重。详细说,首先通过形成N×N矩阵获得这些权重,
W=I-D(DD)-1D    (32)
接着导出通过设定(32)所有非对角值为零所定义的估计对象预测误差能量矩阵W0。通过t1,t2标示DW0D的对角值,其表示对各降混信道贡献的总对象误差能量,事先解相关器矩阵元素最后选择由以下给定
q n , k = t k t 1 + t 2 , k = 1,2 ; n = 1,2 , . . . , N d - - - ( 33 )
关于解相关器特定实施,可使用如反射器或任何其它解相关器的所有解相关器。然而,较佳实施例中,该解相关器应可保存功率。此意指解相关器输出信号功率应与解相关器输入信号功率相同。然而,如当计算矩阵P时,也可吸收非保存功率解相关器产生的偏移。
如上述,因为一信号可被视为局部化合成幻觉源,所以较佳实施例尝试避免以正相关添加合成信号。第二实施例中,这是因区块1201标示的矩阵P特定结构而明确被避免。再者,第四实施例中,因步骤1402中的检查步骤而避免此问题。决定解相关信号及明确地相关特性避免该幻觉源的其它方法可供熟练技术人员使用,且可用来关闭添加如若干实施例中的型式的该解相关信号,或可用来降低该解相关信号功率及增加干式信号功率,以具有一增益补偿输出信号。
虽然将所有矩阵E,D,A说明为复合矩阵,这些矩阵也可为实质。然而,本发明也有用于实际具有非零虚部的复合系数的复合矩阵D,A,E。
再者,其通常为与具有所有矩阵最高时间及频率解的矩阵E相较,具有远较低频谱及时间解的矩阵D及矩阵A的例子。明确地说,目标显现矩阵及降混矩阵不依靠频率而依靠时间而定。关于降混矩阵,此发生于明确最佳化降混操作。关于目标显现矩阵,此可为偶而改变其左及右之间位置的移动音频对象例。
下述实施例仅为本发明原理的例证。熟练技术人员应了解在此说明的装置及细节修改及变异。因此,预期仅受到迫切申请专利范围限制,而不受到在此实施例说明及解释呈现特定细节的限制。
视发明性方法特定实施要求而定,可以硬件或软件实施该发明性方法。可使用与可程序计算机系统合作执行该发明性方法的数字储存媒体,特别是具有储存其上的电子可读控制信号的磁盘,DVD或CD来执行该实施。通常,本发明为一种具有储存于机器可读载体的一程序代码的计算机程序产品,当该计算机程序产品运作于一计算机上时,可操作该程序代码执行该发明性方法。也就是说,该发明性方法为当该计算机程序运作于一计算机上时,具有可执行该发明性方法至少其中之一的一程序代码的计算机程序。

Claims (28)

1.一种用于合成具有一第一音频信道信号及一第二音频信道信号的输出信号(350)的装置,该装置包含;
一解相关器级(356),用于从一降混信号产生一解相关信号(358),该解相关信号(358)具有一解相关单信道信号或一解相关第一信道信号及一解相关第二信道信号,该降混信号具有一第一对象降混信号及一第二对象降混信号,该降混信号表示依一降混信息(354)的多个音频对象信号的降混;及
一组合器(364),用于执行该降混信号(352)及该解相关信号(358)的一加权组合,其中该组合器(364)是操作以从该降混信息(354)、从标示一虚拟重放设立中的该音频对象的虚拟位置的目标显现信息(360)、及说明该音频对象的参数音频对象信息(362)来计算该加权组合的加权因子(P,Q,C0,G)。
2.如权利要求1所述的装置,其中该组合器(364)是操作以计算该加权因子,使该第一对象降混信号及该第二对象降混信号的一混合操作结果(452)得以与一目标显现结果波型匹配。
3.如权利要求1所述的装置,其中该组合器(364)是操作以基于下列方程式计算用于混合该第一对象降混信号及该第二对象降混信号的一混合矩阵C0
C0=A E D*(D E D*)-1
其中C0为混合矩阵,其中A为表示该目标显现信息(360)的一目标显现矩阵,其中D为表示该降混信息(354)的一降混矩阵,其中*表示一复合共轭转置操作,而其中E为表示该参数音频对象信息(362)的一对象协方差矩阵。
4.如权利要求1所述的装置,其中该组合器(364)是操作以基于下列方程式计算该加权因子:
R=A E A*,
其中R为将该目标显现信息应用在该音频对象所获得的该显现输出信号(350)的一协方差矩阵,其中A为表示该目标显现信息(360)的一目标显现矩阵,而其中E为表示该参数音频对象信息(362)的一对象协方差矩阵。
5.如权利要求3所述的装置,其中该组合器(364)是操作以基于下列方程式计算该加权因子:
R0=C0 D E D* C0*,
其中R0为该降混信号(350)的降混操作(401)的结果的一协方差矩阵。
6.如权利要求1所述的装置,其中该组合器(364)是操作以下列方式计算该加权因子而使该加权组合为可表示:
通过计算干式信号混合矩阵C0,及将该干式信号混合矩阵C2应用(401)在该降混信号(352),
计算一解相关器后处理矩阵P,及将该解相关器后处理矩阵P应用在该解相关信号(358),及
组合(454)该应用操作(404,401)的结果以获得该显现输出信号(550)。
7.如权利要求1所述的装置,其中该解相关器级(356)是操作以在馈送一解相关器(403)之前执行一事先解相关器操作(402)以操纵该降混信号(352)。
8.如权利要求7所述的装置,其中该事先解相关器操作包含一混合操作,共享以基于标示该音频对象进入该降混信号的一分配的降混信息(354)来混合该第一对象降混信号及该第二对象降混信号。
9.如权利要求7所述的装置,其中该组合器(364)是操作以执行该第一及第二对象降混信号的干式混合操作(401),其中该事先解相关器操作(402)类似该干式混合操作(401)。
10.如权利要求9所述的装置,其中该组合器(364)是操作以使用该干式混合矩阵C0
其中使用与该干式混合矩阵C0相同的一事先解相关器矩阵Q来实施该事先解相关器操纵(402)。
11.如权利要求6所述的装置,其中该解相关器后处理矩阵P以执行被添加至一干式信号混合结果(452)的该解相关信号的一协方差矩阵特征值分解(1102)为基础。
12.如权利要求11所述的装置,其中该组合器(364)是操作以基于从该特征值分解(1102)特征值所获得的特征值所导出的一矩阵(T)与该解相关信号(358)的一协方差矩阵相乘(1104)来计算该加权因子。
13.如权利要求11所述的装置,其中该组合器(364)是操作以计算该加权因子,使得一单解相关器(403)被使用,该解相关器后处理矩阵P为具有一单栏及等于该显现输出信号中的该信道信号的数量的若干行,或其中两解相关器(403)被使用,而该解相关器后处理矩阵P具有两栏及等于该显现输出信号中的该信道信号的数量的若干行。
14.如权利要求11所述的装置,其中该组合器是操作以基于以下列方程式为基础所计算的该解相关信号的一协方差矩阵来计算该加权因子:
RZ=Q D E D* Q
其中RZ为该解相关信号(358)的协方差矩阵,Q为一事先解相关器混合矩阵,D为表示该降混信息(354)的一降混矩阵,E为表示该参数音频对象信息(362)的一音频对象协方差矩阵。
15.如权利要求6所述的装置,其中该组合器(364)可操作计算该加权因子,计算该解相关器后处理矩阵P,添加该解相关信号至具相对符号的干式混合操作的两最终通道(452)。
16.如权利要求15所述的装置,其中该组合器(364)是操作以计算该加权因子,使该显现输出信号的两信道间的一相关线索所决定的一加权因子(c)得以加权该解相关信号(358),该相关线索类似于基于一目标显现矩阵(A)的一虚拟目标显现操作所决定的一相关值(1203)。
17.如权利要求16所述的装置,其中解出二次方程式(26)以决定该加权因子(c),且其中,若此二次方程式不存在实数解,则减少或停止添加一解相关信号(1208)。
18.如权利要求6所述的装置,其中该组合器(364)是操作以计算该加权因子,使得通过加权一干式信号混合结果执行一增益补偿(409)而可呈现该加权组合,因而与该降混信号的能量相较之下,该干式信号混合结果内的能量误差得以缩减。
19.如权利要求1所述的装置,其中该组合器(364)是操作以决定添加一解相关信号是否会产生一人为因素(1402),以及
其中当决定一人为因素创造的情况时,该组合器(364)操作以停止或缩减添加该解相关信号,以及
降低(1406)因缩减或停止(1404)该解相关信号所产生的一功率误差。
20.如权利要求19所述的装置,其中该组合器(364)是操作以计算该加权因子,使得该干式混合操作(401)的一结果的功率(401)增加。
21.如权利要求19所述的装置,其中该组合器(364)是操作以计算一误差协方差矩阵日期R(1104),其表示该干式上混信号及由一虚拟目标显现方案使用该目标显现信息(360)所决定的一输出信号之间的该误差信号的一相关结构,及
其中该组合器(364)操作以决定该误差协方差矩阵日期R的一非对角元素的一符号(1402),而若该符号为正,则停止(1104)或缩减该添加。
22.如权利要求1所述的装置,进一步包含:
一时间/频率转置器(302),用于以包含多个次频带降混信号的一频谱表示转换该降混信号:
其中,针对每个次频带信号,使用一解相关器操作(403)及一组合器操作(364)产生多个显现输出次频带信号,及
一频率/时间转置器(304),用于将该显现输出信号的多个次频带信号转置为一时间域表示。
23.如权利要求1所述的装置,进一步包含一区块处理控制器,用于产生该降混信号的样本值区块,及用于控制该解相关器(356)及该组合器(364)以处理样本值区块。
24.如权利要求22所述的装置,其中为各区块及每个次频带信号提供该音频对象信息,且其中对于一时间区块,该目标显现信息及该对象降混信息在频率上是固定的。
25.如权利要求1所述的装置,其中该组合器(364)包含一增强矩阵单元(303),其线性操作的组合该第一对象降混信号及该第二对象降混信号为一干式降混信号(452),且其中该组合器(364)操作以将该解相关信号(358)线性组合为一信号,其在频道上添加该干式降混信号构成该增强矩阵单元(303)的一立体音输出,及
其中该组合器(364)包含一矩阵计算器(202),用于该降混信息(354)及该目标显现信息(360)的该参数音频对象信息(362)为基础,计算该增强矩阵单元(303)所使用的该线性组合的加权因子。
26.如权利要求1所述的装置,其中操作该组合器(364)计算该加权因子,使该显现输出信号中的该解相关信号(358)的一能量部分尽量小,以及通过线性组合该第一对象降混信号及该第二对象降混信号所获得的一干式混合信号(452)能量部分尽量大,使一干式混合信号单独以该目标显现信息(354)为基础重建一目标显现结果。
27.一种用于合成具有一第一音频信道信号及一第二音频信道信号的输出信号的方法,包含:
从一降混信号产生(356)一解相关信号(358),该具有一解相关单信道信号或一解相关第一信道信号及一解相关第二信道信号,该降混信号具有一第一对象降混信号及一第二对象降混信号,该降混信号表示依据一降混信息(354)多个音频对象信号的降混;及
基于从该降混信息(354)、从标示一虚拟重放设立中的该音频对象的虚拟位置的目标显现信息(360)、及说明该音频对象的参数音频对象信息(362)计算该加权组合的加权因子(P,Q,C0,G)来执行该降混信号(352)及该解相关信号(358)的一加权组合。
28.一种具有一程序代码的计算机程序,当于一处理器运作时,适于执行权利要求27所述的方法。
CN2008800135410A 2007-04-26 2008-04-23 供合成输出信号的装置和方法 Active CN101809654B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US91426707P 2007-04-26 2007-04-26
US60/914,267 2007-04-26
PCT/EP2008/003282 WO2008131903A1 (en) 2007-04-26 2008-04-23 Apparatus and method for synthesizing an output signal

Publications (2)

Publication Number Publication Date
CN101809654A true CN101809654A (zh) 2010-08-18
CN101809654B CN101809654B (zh) 2013-08-07

Family

ID=39683764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800135410A Active CN101809654B (zh) 2007-04-26 2008-04-23 供合成输出信号的装置和方法

Country Status (16)

Country Link
US (1) US8515759B2 (zh)
EP (1) EP2137725B1 (zh)
JP (1) JP5133401B2 (zh)
KR (2) KR101312470B1 (zh)
CN (1) CN101809654B (zh)
AU (1) AU2008243406B2 (zh)
BR (1) BRPI0809760B1 (zh)
CA (1) CA2684975C (zh)
ES (1) ES2452348T3 (zh)
HK (1) HK1142712A1 (zh)
MX (1) MX2009011405A (zh)
MY (1) MY148040A (zh)
PL (1) PL2137725T3 (zh)
RU (1) RU2439719C2 (zh)
TW (1) TWI372385B (zh)
WO (1) WO2008131903A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802112A (zh) * 2011-05-24 2012-11-28 鸿富锦精密工业(深圳)有限公司 具有音频文件格式转换功能的电子装置
CN104160442A (zh) * 2012-02-24 2014-11-19 杜比国际公司 音频处理
CN104756186A (zh) * 2012-08-03 2015-07-01 弗兰霍菲尔运输应用研究公司 用于使用多声道下混合/上混合情况的参数化概念的多实例空间音频对象编码的解码器及方法
CN104982042A (zh) * 2013-04-19 2015-10-14 韩国电子通信研究院 多信道音频信号处理装置及方法
CN105247611A (zh) * 2013-05-24 2016-01-13 杜比国际公司 对音频场景的编码
CN105580390A (zh) * 2013-07-22 2016-05-11 弗劳恩霍夫应用研究促进协会 使用解相关器输入信号的预混音的多声道解相关器、多声道音频解码器、多声道音频编码器、方法和计算机程序
CN105580391A (zh) * 2013-07-22 2016-05-11 弗朗霍夫应用科学研究促进协会 渲染器控制的空间升混
CN105593929A (zh) * 2013-07-22 2016-05-18 弗朗霍夫应用科学研究促进协会 实现3d音频内容的saoc降混合的装置及方法
CN106796792A (zh) * 2014-07-30 2017-05-31 弗劳恩霍夫应用研究促进协会 用于增强音频信号的装置和方法、声音增强系统
CN108806704A (zh) * 2013-04-19 2018-11-13 韩国电子通信研究院 多信道音频信号处理装置及方法
US10199045B2 (en) 2013-07-25 2019-02-05 Electronics And Telecommunications Research Institute Binaural rendering method and apparatus for decoding multi channel audio
US10249311B2 (en) 2013-07-22 2019-04-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for audio encoding and decoding for audio channels and audio objects
US10277998B2 (en) 2013-07-22 2019-04-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for low delay object metadata coding
US10431227B2 (en) 2013-07-22 2019-10-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
US10971163B2 (en) 2013-05-24 2021-04-06 Dolby International Ab Reconstruction of audio scenes from a downmix

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8793125B2 (en) * 2004-07-14 2014-07-29 Koninklijke Philips Electronics N.V. Method and device for decorrelation and upmixing of audio channels
KR100957342B1 (ko) * 2006-09-06 2010-05-12 삼성전자주식회사 통신 시스템에서 릴레이 시스템 및 방법
EP2095365A4 (en) * 2006-11-24 2009-11-18 Lg Electronics Inc METHOD FOR ENCODING AND DECODING AUDIO SIGNALS BASED ON OBJECTS AND APPARATUS THEREOF
EP2111616B1 (en) 2007-02-14 2011-09-28 LG Electronics Inc. Method and apparatus for encoding an audio signal
US8600532B2 (en) * 2007-12-09 2013-12-03 Lg Electronics Inc. Method and an apparatus for processing a signal
KR101461685B1 (ko) * 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
BR122020009727B1 (pt) 2008-05-23 2021-04-06 Koninklijke Philips N.V. Método
EP2146522A1 (en) * 2008-07-17 2010-01-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating audio output signals using object based metadata
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
WO2010087631A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
WO2010087627A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
EP2214162A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upmixer, method and computer program for upmixing a downmix audio signal
CN105225667B (zh) * 2009-03-17 2019-04-05 杜比国际公司 编码器系统、解码器系统、编码方法和解码方法
KR101206177B1 (ko) 2009-03-31 2012-11-28 한국전자통신연구원 오디오 신호 변환 장치 및 방법
GB2470059A (en) 2009-05-08 2010-11-10 Nokia Corp Multi-channel audio processing using an inter-channel prediction model to form an inter-channel parameter
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
EP2446435B1 (en) 2009-06-24 2013-06-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal decoder, method for decoding an audio signal and computer program using cascaded audio object processing stages
BR112012007138B1 (pt) 2009-09-29 2021-11-30 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Decodificador de sinal de áudio, codificador de sinal de áudio, método para prover uma representação de mescla ascendente de sinal, método para prover uma representação de mescla descendente de sinal e fluxo de bits usando um valor de parâmetro comum de correlação intra- objetos
PT2489037T (pt) * 2009-10-16 2022-01-07 Fraunhofer Ges Forschung Aparelho, método e programa de computador para fornecer parâmetros ajustados
CN102667923B (zh) 2009-10-20 2014-11-05 弗兰霍菲尔运输应用研究公司 音频编码器、音频解码器、用于将音频信息编码的方法、用于将音频信息解码的方法
US8948687B2 (en) * 2009-12-11 2015-02-03 Andrew Llc System and method for determining and controlling gain margin in an RF repeater
WO2011072729A1 (en) * 2009-12-16 2011-06-23 Nokia Corporation Multi-channel audio processing
KR101405976B1 (ko) * 2010-01-06 2014-06-12 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
CA2786944C (en) 2010-01-12 2016-03-15 Fraunhofer Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding and audio information, method for decoding an audio information and computer program using a hash table describing both significant state values and interval boundaries
TWI444989B (zh) 2010-01-22 2014-07-11 Dolby Lab Licensing Corp 針對改良多通道上混使用多通道解相關之技術
US10158958B2 (en) 2010-03-23 2018-12-18 Dolby Laboratories Licensing Corporation Techniques for localized perceptual audio
KR101490725B1 (ko) 2010-03-23 2015-02-06 돌비 레버러토리즈 라이쎈싱 코오포레이션 비디오 디스플레이 장치, 오디오-비디오 시스템, 음향 재생을 위한 방법 및 로컬라이즈된 지각적 오디오를 위한 음향 재생 시스템
RU2559899C2 (ru) 2010-04-09 2015-08-20 Долби Интернешнл Аб Стереофоническое кодирование на основе mdct с комплексным предсказанием
RU2587652C2 (ru) * 2010-11-10 2016-06-20 Конинклейке Филипс Электроникс Н.В. Способ и устройство для оценки структуры в сигнале
EP2560161A1 (en) * 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing
CA2849069C (en) * 2011-09-18 2017-08-22 Touchtunes Music Corporation Digital jukebox device with karaoke and/or photo booth features, and associated methods
WO2020051786A1 (en) 2018-09-12 2020-03-19 Shenzhen Voxtech Co., Ltd. Signal processing device having multiple acoustic-electric transducers
US11665482B2 (en) 2011-12-23 2023-05-30 Shenzhen Shokz Co., Ltd. Bone conduction speaker and compound vibration device thereof
KR101662680B1 (ko) * 2012-02-14 2016-10-05 후아웨이 테크놀러지 컴퍼니 리미티드 멀티-채널 오디오 신호의 적응적 다운-믹싱 및 업-믹싱을 수행하기 위한 방법 및 장치
US9190065B2 (en) 2012-07-15 2015-11-17 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
US9479886B2 (en) 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
PL2880654T3 (pl) * 2012-08-03 2018-03-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder i sposób realizacji uogólnionej parametrycznej koncepcji kodowania przestrzennych obiektów audio dla przypadków wielokanałowego downmixu/upmixu
US9489954B2 (en) * 2012-08-07 2016-11-08 Dolby Laboratories Licensing Corporation Encoding and rendering of object based audio indicative of game audio content
CN107454511B (zh) * 2012-08-31 2024-04-05 杜比实验室特许公司 用于使声音从观看屏幕或显示表面反射的扬声器
US9396732B2 (en) * 2012-10-18 2016-07-19 Google Inc. Hierarchical deccorelation of multichannel audio
AU2013355504C1 (en) * 2012-12-04 2016-12-15 Samsung Electronics Co., Ltd. Audio providing apparatus and audio providing method
CN109166587B (zh) 2013-01-15 2023-02-03 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
WO2014112793A1 (ko) 2013-01-15 2014-07-24 한국전자통신연구원 채널 신호를 처리하는 부호화/복호화 장치 및 방법
US10178489B2 (en) * 2013-02-08 2019-01-08 Qualcomm Incorporated Signaling audio rendering information in a bitstream
WO2014126688A1 (en) 2013-02-14 2014-08-21 Dolby Laboratories Licensing Corporation Methods for audio signal transient detection and decorrelation control
TWI618051B (zh) 2013-02-14 2018-03-11 杜比實驗室特許公司 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置
KR101729930B1 (ko) 2013-02-14 2017-04-25 돌비 레버러토리즈 라이쎈싱 코오포레이션 업믹스된 오디오 신호들의 채널간 코히어런스를 제어하기 위한 방법
TWI618050B (zh) 2013-02-14 2018-03-11 杜比實驗室特許公司 用於音訊處理系統中之訊號去相關的方法及設備
EP4300488A3 (en) 2013-04-05 2024-02-28 Dolby International AB Stereo audio encoder and decoder
US9818412B2 (en) 2013-05-24 2017-11-14 Dolby International Ab Methods for audio encoding and decoding, corresponding computer-readable media and corresponding audio encoder and decoder
EP3712889A1 (en) * 2013-05-24 2020-09-23 Dolby International AB Efficient coding of audio scenes comprising audio objects
KR101984356B1 (ko) * 2013-05-31 2019-12-02 노키아 테크놀로지스 오와이 오디오 장면 장치
KR102243395B1 (ko) * 2013-09-05 2021-04-22 한국전자통신연구원 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치
EP2854133A1 (en) * 2013-09-27 2015-04-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Generation of a downmix signal
KR102268836B1 (ko) * 2013-10-09 2021-06-25 소니그룹주식회사 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램
WO2015059153A1 (en) * 2013-10-21 2015-04-30 Dolby International Ab Parametric reconstruction of audio signals
SG11201602628TA (en) * 2013-10-21 2016-05-30 Dolby Int Ab Decorrelator structure for parametric reconstruction of audio signals
EP3074970B1 (en) * 2013-10-21 2018-02-21 Dolby International AB Audio encoder and decoder
EP2866227A1 (en) 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
US9888333B2 (en) * 2013-11-11 2018-02-06 Google Technology Holdings LLC Three-dimensional audio rendering techniques
EP2879408A1 (en) 2013-11-28 2015-06-03 Thomson Licensing Method and apparatus for higher order ambisonics encoding and decoding using singular value decomposition
US10674299B2 (en) 2014-04-11 2020-06-02 Samsung Electronics Co., Ltd. Method and apparatus for rendering sound signal, and computer-readable recording medium
KR102310240B1 (ko) * 2014-05-09 2021-10-08 한국전자통신연구원 사용자 및 스피커의 위치를 이용한 오디오 신호 변환 장치 및 그 방법
MX365637B (es) * 2014-06-26 2019-06-10 Samsung Electronics Co Ltd Metodo y dispositivo para representar una señal acustica y medio de grabacion legible por computadora.
US9774974B2 (en) * 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
EP3201918B1 (en) 2014-10-02 2018-12-12 Dolby International AB Decoding method and decoder for dialog enhancement
CN107004421B (zh) * 2014-10-31 2020-07-07 杜比国际公司 多通道音频信号的参数编码和解码
TWI587286B (zh) 2014-10-31 2017-06-11 杜比國際公司 音頻訊號之解碼和編碼的方法及系統、電腦程式產品、與電腦可讀取媒體
MX370034B (es) * 2015-02-02 2019-11-28 Fraunhofer Ges Forschung Aparato y método para procesar una señal de audio codificada.
CN105989845B (zh) 2015-02-25 2020-12-08 杜比实验室特许公司 视频内容协助的音频对象提取
CN108476366B (zh) 2015-11-17 2021-03-26 杜比实验室特许公司 用于参数化双耳输出系统和方法的头部跟踪
RU2722391C2 (ru) * 2015-11-17 2020-05-29 Долби Лэборетериз Лайсенсинг Корпорейшн Система и способ слежения за движением головы для получения параметрического бинаурального выходного сигнала
WO2018162472A1 (en) * 2017-03-06 2018-09-13 Dolby International Ab Integrated reconstruction and rendering of audio signals
CN113242508B (zh) * 2017-03-06 2022-12-06 杜比国际公司 基于音频数据流渲染音频输出的方法、解码器系统和介质
US11200882B2 (en) * 2017-07-03 2021-12-14 Nec Corporation Signal processing device, signal processing method, and storage medium for storing program
EP3588988B1 (en) * 2018-06-26 2021-02-17 Nokia Technologies Oy Selective presentation of ambient audio content for spatial audio presentation
RU183846U1 (ru) * 2018-07-17 2018-10-05 Федеральное государственное бюджетное образовательное учреждение высшего образования "МИРЭА - Российский технологический университет" Матричный сигнальный процессор для калмановской фильтрации
GB201909133D0 (en) * 2019-06-25 2019-08-07 Nokia Technologies Oy Spatial audio representation and rendering
WO2021181746A1 (ja) * 2020-03-09 2021-09-16 日本電信電話株式会社 音信号ダウンミックス方法、音信号符号化方法、音信号ダウンミックス装置、音信号符号化装置、プログラム及び記録媒体
JP7380837B2 (ja) 2020-03-09 2023-11-15 日本電信電話株式会社 音信号符号化方法、音信号復号方法、音信号符号化装置、音信号復号装置、プログラム及び記録媒体
WO2021181473A1 (ja) * 2020-03-09 2021-09-16 日本電信電話株式会社 音信号符号化方法、音信号復号方法、音信号符号化装置、音信号復号装置、プログラム及び記録媒体
CN115280411A (zh) 2020-03-09 2022-11-01 日本电信电话株式会社 声音信号缩混方法、声音信号编码方法、声音信号缩混装置、声音信号编码装置、程序及记录介质
GB2595475A (en) * 2020-05-27 2021-12-01 Nokia Technologies Oy Spatial audio representation and rendering
TW202316416A (zh) * 2020-10-13 2023-04-16 弗勞恩霍夫爾協會 在降混過程中使用方向資訊對多個音頻對象進行編碼的設備和方法、或使用優化共變異數合成進行解碼的設備和方法
WO2022097242A1 (ja) * 2020-11-05 2022-05-12 日本電信電話株式会社 音信号高域補償方法、音信号後処理方法、音信号復号方法、これらの装置、プログラム、および記録媒体
WO2022097240A1 (ja) * 2020-11-05 2022-05-12 日本電信電話株式会社 音信号高域補償方法、音信号後処理方法、音信号復号方法、これらの装置、プログラム、および記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2343347B (en) 1998-06-20 2002-12-31 Central Research Lab Ltd A method of synthesising an audio signal
KR100923297B1 (ko) * 2002-12-14 2009-10-23 삼성전자주식회사 스테레오 오디오 부호화 방법, 그 장치, 복호화 방법 및그 장치
CA2514682A1 (en) 2002-12-28 2004-07-15 Samsung Electronics Co., Ltd. Method and apparatus for mixing audio stream and information storage medium
KR101169596B1 (ko) 2003-04-17 2012-07-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 신호 합성
KR20050060789A (ko) * 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
EP1914722B1 (en) 2004-03-01 2009-04-29 Dolby Laboratories Licensing Corporation Multichannel audio decoding
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
SE0402649D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
EP1691348A1 (en) 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
TWI313857B (en) 2005-04-12 2009-08-21 Coding Tech Ab Apparatus for generating a parameter representation of a multi-channel signal and method for representing multi-channel audio signals
ATE421845T1 (de) * 2005-04-15 2009-02-15 Dolby Sweden Ab Zeitliche hüllkurvenformgebung von entkorrelierten signalen

Cited By (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102802112B (zh) * 2011-05-24 2014-08-13 鸿富锦精密工业(深圳)有限公司 具有音频文件格式转换功能的电子装置
CN102802112A (zh) * 2011-05-24 2012-11-28 鸿富锦精密工业(深圳)有限公司 具有音频文件格式转换功能的电子装置
CN104160442B (zh) * 2012-02-24 2016-10-12 杜比国际公司 音频处理
CN104160442A (zh) * 2012-02-24 2014-11-19 杜比国际公司 音频处理
CN104756186A (zh) * 2012-08-03 2015-07-01 弗兰霍菲尔运输应用研究公司 用于使用多声道下混合/上混合情况的参数化概念的多实例空间音频对象编码的解码器及方法
US10176812B2 (en) 2012-08-03 2019-01-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases
CN104756186B (zh) * 2012-08-03 2018-01-02 弗劳恩霍夫应用研究促进协会 用于使用多声道下混合/上混合情况的参数化概念的多实例空间音频对象编码的解码器及方法
CN104982042A (zh) * 2013-04-19 2015-10-14 韩国电子通信研究院 多信道音频信号处理装置及方法
CN108810793B (zh) * 2013-04-19 2020-12-15 韩国电子通信研究院 多信道音频信号处理装置及方法
US11405738B2 (en) 2013-04-19 2022-08-02 Electronics And Telecommunications Research Institute Apparatus and method for processing multi-channel audio signal
US10701503B2 (en) 2013-04-19 2020-06-30 Electronics And Telecommunications Research Institute Apparatus and method for processing multi-channel audio signal
CN108806704B (zh) * 2013-04-19 2023-06-06 韩国电子通信研究院 多信道音频信号处理装置及方法
US11871204B2 (en) 2013-04-19 2024-01-09 Electronics And Telecommunications Research Institute Apparatus and method for processing multi-channel audio signal
US10075795B2 (en) 2013-04-19 2018-09-11 Electronics And Telecommunications Research Institute Apparatus and method for processing multi-channel audio signal
CN108806704A (zh) * 2013-04-19 2018-11-13 韩国电子通信研究院 多信道音频信号处理装置及方法
CN108810793A (zh) * 2013-04-19 2018-11-13 韩国电子通信研究院 多信道音频信号处理装置及方法
US10468039B2 (en) 2013-05-24 2019-11-05 Dolby International Ab Decoding of audio scenes
US10468040B2 (en) 2013-05-24 2019-11-05 Dolby International Ab Decoding of audio scenes
US11894003B2 (en) 2013-05-24 2024-02-06 Dolby International Ab Reconstruction of audio scenes from a downmix
CN105247611B (zh) * 2013-05-24 2019-02-15 杜比国际公司 对音频场景的编码
CN105247611A (zh) * 2013-05-24 2016-01-13 杜比国际公司 对音频场景的编码
US11682403B2 (en) 2013-05-24 2023-06-20 Dolby International Ab Decoding of audio scenes
US11580995B2 (en) 2013-05-24 2023-02-14 Dolby International Ab Reconstruction of audio scenes from a downmix
US11315577B2 (en) 2013-05-24 2022-04-26 Dolby International Ab Decoding of audio scenes
US10347261B2 (en) 2013-05-24 2019-07-09 Dolby International Ab Decoding of audio scenes
US10971163B2 (en) 2013-05-24 2021-04-06 Dolby International Ab Reconstruction of audio scenes from a downmix
US10726853B2 (en) 2013-05-24 2020-07-28 Dolby International Ab Decoding of audio scenes
US10468041B2 (en) 2013-05-24 2019-11-05 Dolby International Ab Decoding of audio scenes
US11337019B2 (en) 2013-07-22 2022-05-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for low delay object metadata coding
US11227616B2 (en) 2013-07-22 2022-01-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for audio encoding and decoding for audio channels and audio objects
CN105580390B (zh) * 2013-07-22 2018-06-12 弗劳恩霍夫应用研究促进协会 使用解相关器输入信号的预混音的多声道解相关器、多声道音频解码器、多声道音频编码器、方法和计算机程序
US11984131B2 (en) 2013-07-22 2024-05-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for audio encoding and decoding for audio channels and audio objects
US10659900B2 (en) 2013-07-22 2020-05-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for low delay object metadata coding
US11910176B2 (en) 2013-07-22 2024-02-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for low delay object metadata coding
US10701504B2 (en) 2013-07-22 2020-06-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for realizing a SAOC downmix of 3D audio content
US10715943B2 (en) 2013-07-22 2020-07-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for efficient object metadata coding
US10431227B2 (en) 2013-07-22 2019-10-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
CN105593929A (zh) * 2013-07-22 2016-05-18 弗朗霍夫应用科学研究促进协会 实现3d音频内容的saoc降混合的装置及方法
US10249311B2 (en) 2013-07-22 2019-04-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for audio encoding and decoding for audio channels and audio objects
US11743668B2 (en) 2013-07-22 2023-08-29 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Renderer controlled spatial upmix
CN110234060A (zh) * 2013-07-22 2019-09-13 弗朗霍夫应用科学研究促进协会 渲染器控制的空间升混
CN112839296A (zh) * 2013-07-22 2021-05-25 弗朗霍夫应用科学研究促进协会 实现3d音频内容的saoc降混合的装置及方法
US11115770B2 (en) 2013-07-22 2021-09-07 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel decorrelator, multi-channel audio decoder, multi channel audio encoder, methods and computer program using a premix of decorrelator input signals
CN110234060B (zh) * 2013-07-22 2021-09-28 弗朗霍夫应用科学研究促进协会 渲染器控制的空间升混
US11184728B2 (en) 2013-07-22 2021-11-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Renderer controlled spatial upmix
US10448185B2 (en) 2013-07-22 2019-10-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
US11240619B2 (en) 2013-07-22 2022-02-01 Fraunhofer-Gesellschaft zur Foerderang der angewandten Forschung e.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
US11252523B2 (en) 2013-07-22 2022-02-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
US10341801B2 (en) 2013-07-22 2019-07-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Renderer controlled spatial upmix
US11330386B2 (en) 2013-07-22 2022-05-10 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for realizing a SAOC downmix of 3D audio content
US10085104B2 (en) 2013-07-22 2018-09-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Renderer controlled spatial upmix
US11381925B2 (en) 2013-07-22 2022-07-05 Fraunhofer-Gesellschaft zur Foerderang der angewandten Forschung e.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
CN105580391A (zh) * 2013-07-22 2016-05-11 弗朗霍夫应用科学研究促进协会 渲染器控制的空间升混
US11463831B2 (en) 2013-07-22 2022-10-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for efficient object metadata coding
US10277998B2 (en) 2013-07-22 2019-04-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for low delay object metadata coding
CN105580390A (zh) * 2013-07-22 2016-05-11 弗劳恩霍夫应用研究促进协会 使用解相关器输入信号的预混音的多声道解相关器、多声道音频解码器、多声道音频编码器、方法和计算机程序
CN105580391B (zh) * 2013-07-22 2019-04-12 弗朗霍夫应用科学研究促进协会 渲染器控制的空间升混
US11682402B2 (en) 2013-07-25 2023-06-20 Electronics And Telecommunications Research Institute Binaural rendering method and apparatus for decoding multi channel audio
US10950248B2 (en) 2013-07-25 2021-03-16 Electronics And Telecommunications Research Institute Binaural rendering method and apparatus for decoding multi channel audio
US10199045B2 (en) 2013-07-25 2019-02-05 Electronics And Telecommunications Research Institute Binaural rendering method and apparatus for decoding multi channel audio
US10614820B2 (en) 2013-07-25 2020-04-07 Electronics And Telecommunications Research Institute Binaural rendering method and apparatus for decoding multi channel audio
CN106796792B (zh) * 2014-07-30 2021-03-26 弗劳恩霍夫应用研究促进协会 用于增强音频信号的装置和方法、声音增强系统
CN106796792A (zh) * 2014-07-30 2017-05-31 弗劳恩霍夫应用研究促进协会 用于增强音频信号的装置和方法、声音增强系统

Also Published As

Publication number Publication date
MX2009011405A (es) 2009-11-05
HK1142712A1 (en) 2010-12-10
KR20120048045A (ko) 2012-05-14
CA2684975C (en) 2016-08-02
RU2009141391A (ru) 2011-06-10
RU2439719C2 (ru) 2012-01-10
EP2137725A1 (en) 2009-12-30
AU2008243406B2 (en) 2011-08-25
US20100094631A1 (en) 2010-04-15
JP2010525403A (ja) 2010-07-22
WO2008131903A1 (en) 2008-11-06
EP2137725B1 (en) 2014-01-08
KR101312470B1 (ko) 2013-09-27
US8515759B2 (en) 2013-08-20
AU2008243406A1 (en) 2008-11-06
BRPI0809760A2 (pt) 2014-10-07
TW200910328A (en) 2009-03-01
BRPI0809760B1 (pt) 2020-12-01
JP5133401B2 (ja) 2013-01-30
MY148040A (en) 2013-02-28
ES2452348T3 (es) 2014-04-01
CA2684975A1 (en) 2008-11-06
CN101809654B (zh) 2013-08-07
PL2137725T3 (pl) 2014-06-30
TWI372385B (en) 2012-09-11
KR101175592B1 (ko) 2012-08-22
KR20100003352A (ko) 2010-01-08

Similar Documents

Publication Publication Date Title
CN101809654B (zh) 供合成输出信号的装置和方法
CN102892070B (zh) 多声道下混对象编码的增强编码和参数表示
CN101044794B (zh) 用于双声道提示码编码方案和类似方案的散射声音整形的方法和设备
CN101044551B (zh) 用于双声道提示编码方案和类似方案的单通道整形
CN101553867B (zh) 用于处理音频信号的方法和装置
CN101930740B (zh) 使用解相关信号的多信道音频信号解码
CN101248483B (zh) 多声道音频信号的生成
CN101542596B (zh) 用于编码和解码基于对象的音频信号的方法和装置
CN106537502B (zh) 用于生成音频内容的方法和装置
Breebaart et al. Spatial audio object coding (SAOC)-the upcoming MPEG standard on parametric object based audio coding
CN103650538B (zh) 用于使用采用谱权重生成器的频域处理分解立体声录音的方法和装置
CN105578379A (zh) 用于产生具有至少两个输出通道的输出信号的装置和方法
CN110326310A (zh) 串扰消除的动态均衡
CN103069481A (zh) 音频信号合成器
RU2485605C2 (ru) Усовершенствованный метод кодирования и параметрического представления кодирования многоканального объекта после понижающего микширования

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Amsterdam

Applicant after: Dolby International AB

Co-applicant after: Fraunhofer Application and Research Promotion Association

Address before: Stockholm

Applicant before: Dolby Sweden AB

Co-applicant before: Fraunhofer Application and Research Promotion Association

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: DOLBY SWEDEN AB TO: DOLBY INTERNATIONAL CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant