CN112492501B - 使用呈现变换参数的音频编码和解码 - Google Patents

使用呈现变换参数的音频编码和解码 Download PDF

Info

Publication number
CN112492501B
CN112492501B CN202011586425.7A CN202011586425A CN112492501B CN 112492501 B CN112492501 B CN 112492501B CN 202011586425 A CN202011586425 A CN 202011586425A CN 112492501 B CN112492501 B CN 112492501B
Authority
CN
China
Prior art keywords
playback stream
presentation
stream presentation
rendered
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011586425.7A
Other languages
English (en)
Other versions
CN112492501A (zh
Inventor
D·J·布瑞巴特
D·M·库珀
L·J·萨缪森
J·科喷斯
R·J·威尔逊
H·普恩哈根
A·斯塔尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Dolby Laboratories Licensing Corp
Original Assignee
Dolby International AB
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB, Dolby Laboratories Licensing Corp filed Critical Dolby International AB
Publication of CN112492501A publication Critical patent/CN112492501A/zh
Application granted granted Critical
Publication of CN112492501B publication Critical patent/CN112492501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/07—Generation or adaptation of the Low Frequency Effect [LFE] channel, e.g. distribution or signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection

Abstract

本公开涉及使用呈现变换参数的音频编码和解码。一种用于对输入音频流进行编码的方法包括以下步骤：获得输入音频流的意图用于在第一音频再现系统上再现的第一回放流呈现；获得输入音频流的意图用于在第二音频再现系统上再现的第二回放流呈现；确定适合于将中间回放流呈现变换为第二回放流呈现的近似的变换参数的集合，其中，变换参数是通过最小化第二回放流呈现的近似和第二回放流呈现之间的差异的测度确定的；并且对第一回放流呈现和变换参数的集合进行编码以用于发送到解码器。

Description

使用呈现变换参数的音频编码和解码
本申请是申请号为201680062138.1、申请日为2016年8月24日、发明名称为“使用呈现变换参数的音频编码和解码”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求2015年8月25日提交的美国临时申请No.62/209,735和2015年10月9日提交的欧洲专利申请No.15189094.4的优先权，这两篇申请特此全文通过引用并入。
技术领域
本发明涉及信号处理领域，具体地，公开了一种用于高效地发送具有空间化分量(即，与不同空间位置相关联的音频分量)的音频信号的系统。
背景技术
整个说明书中背景技术的任何讨论决不应该被认为是承认这样的技术是众所周知的或者形成本领域中的公知常识的一部分。
音频的内容创建、编码、分发和再现传统上是以基于声道的格式执行的，也就是说，一个特定的目标回放系统是针对整个内容生态系统的内容预想的。这样的目标回放系统音频格式的示例是单声道、立体声、5.1、7.1等。
如果内容要在与预期的回放系统不同的回放系统上再现，则可以应用下混或上混处理。例如，5.1内容可以通过采用特定的下混方程来通过立体声回放系统再现。另一示例是立体声编码的内容通过7.1扬声器设置的回放，该回放可以包括所谓的上混处理，该上混处理可以由立体声信号中存在的信息引导或者可以不由立体声信号中存在的信息引导。能够上混的系统是杜比实验室公司的Dolby Pro Logic(Roger Dressler，“Dolby Pro Logic环绕解码器(Dolby Pro Logic Surround Decoder),Principles of Operation”，www.Dolby.com)。
替代的音频格式系统是比如由Dolby Atmos系统提供的音频对象格式，参见Robinson,C.Q.、Mehta,S.和Tsingos,N.(2012)“扩展电影音频的可能性的可扩展格式和工具(Scalable format and tools to extend the possibilities of cinema audio)”Motion Imaging Journal,SMPTE,121(8)，63-69。在这种类型的格式中，对象被定义为具有围绕收听者的特定位置，该位置可以是时变的。在这样的基于对象的格式中，内容是以对于特定回放或再现系统不变的方式表示的。因此，需要专用的渲染处理来将内容变换为适合于特定回放系统(比如扩音器设置或耳机)的呈现。
当立体声、多声道或基于对象的内容要通过耳机再现时，通常期望的是借助于头部相关脉冲响应(HRIR)或双耳(binaural)房间脉冲响应(BRIR)来模拟多声道扬声器设置(对于基于声道的内容)或虚拟声源的集合(对于基于对象的内容)，HRIR或BRIR分别模拟消声的(anechoic)或拟声的(echoic)(模拟的)环境中的从每个扩音器到耳鼓的声学路径。具体地说，音频信号可以被与HRIR或BRIR卷积以恢复耳间声强差(inter-aural leveldifference)(ILD)、耳间时间差(ITD)和频谱线索，ILD、ITD和频谱线索允许收听者确定每个单个的声道的位置。声学环境(混响)的模拟还帮助实现某个感知的距离。转到图1，示出了用于渲染两个对象或声道信号xi 10、11的处理流程的示意性概览，这两个对象或声道信号从内容储存器12被读出以用于由4个HRIR(例如14)处理。然后HRIR输出被针对每个声道信号求和15、16，以便产生用于经由耳机18向收听者回放的耳机输出。HRIR的基本原理例如在Wightman,F.L.和Kistler,D.J.(1989b).“Headphone simulation of free-fieldlistening.I.Stimulus synthesis”,J.Acoust.Soc.Am.85,858-867中被解释。所得的立体声耳机信号15、16常常被称为双耳信号、双耳呈现或(双耳)耳机呈现。而且，与意图在与扩音器呈现信号(一个或多个)中存在的声道匹配的扩音器设置上再现的扩音器呈现相反，这样的双耳呈现意图(或被专门设计为)通过耳机再现。这些不同的再现系统被称为形态(modality)，例如，一个回放形态包括耳机，而另一回放或再现形态包含一个或多个扩音器。不论回放形态如何，不同的呈现(立体声、双耳、5.1)可以从输入流(比如多声道的或基于对象的内容格式)被渲染(生成)。理想地，为了确保艺术意图被正确地传达给收听者，呈现是针对特定的回放形态被渲染或生成的。对于耳机回放，这暗示应用HRIR或BRIR来创建双耳呈现，而对于扩音器，普遍使用振幅平移技术。这样的渲染处理因此可以应用于基于声道的输入内容(5.1、7.1等)以及沉浸式的基于对象的内容(比如Dolby Atmos)。对于后者，通常在每一个输入对象上独立地使用振幅平移(对于扩音器呈现)或BRIR(对于耳机呈现)，接着把对于所得双耳信号的各个对象贡献进行求和。
产生意图用于在耳机上回放的双耳呈现的卷积处理可以被构造为使得根据输入声道或对象的(意图的、感知的)位置、对于每一个输入独立地恢复(消声)HRTF中存在的声源局部化线索，而拟声的被模拟环境则可以至少部分地被跨输入中的两个或更多个的共用算法共享。为了这个目的，一个或多个输入信号被混音或组合到一个或多个环境模拟算法输入信号中，这个/这些输入信号随后被处理以生成可以与消声HRTF卷积处理的输出组合的环境模拟输出信号。环境模拟算法可以模拟早期反射、后期混响或这两者，并且可以借助于已知技术(比如卷积、延迟、反馈-延迟网络、全通滤波器等)来实现。
HRIR/BRIR卷积方法伴随有几个缺点，这些缺点中的一个是耳机回放所需要的大量卷积处理。需要对每一个输入对象或声道单独地应用HRIR或BRIR卷积，因此复杂度通常随着声道或对象的数量线性地增长。因为耳机常常是与电池供电的便携式设备结合使用的，所以高计算复杂度是不期望的，因为它可能大幅缩短电池寿命。而且，随着基于对象的音频内容(其可以包括比如说多于100个的同时作用的对象)的引入，HRIR卷积的复杂度可以远高于传统的基于声道的内容。
减小解码器端计算负荷的一个解决方案是在处理链中的进一步的上游应用卷积处理。例如，在内容创建或编码级期间。在该特定情况(其被称为“双耳预渲染”)下，在预渲染级期间创建的所得的双耳信号或双耳呈现包含意图用于耳机回放的所有局部化线索，并且在再现设备处不需要进一步的处理。该方法的缺点是，所引入的存在于HRIR中的声源局部化线索(比如耳间时间差ITD、耳间声强差ILD、频谱线索和混响)在该特定双耳表示通过扩音器再现时使感知的质量劣化(degrade)，因为这些局部化线索然后将被有效地应用两次；一次在算法上通过预渲染步骤应用，一次在声学上，作为扩音器和收听者的耳朵之间的声学路径的结果而应用。
发明内容
本发明的一个目的以其优选形式来说是提供用于再现的音频信号的编码和解码的改进形式。
根据本发明的第一方面，提供了一种对具有一个或多个音频分量的输入音频流进行编码的方法，其中，每个音频分量与空间位置相关联，该方法包括以下步骤：获得输入音频流的第一回放流呈现，第一回放流呈现是意图用于在第一音频再现系统上再现的M1个信号的集合；获得输入音频流的第二回放流呈现，第二回放流呈现是意图用于在第二音频再现系统上再现的M2个信号的集合；确定适合于将中间回放流呈现变换为第二回放流呈现的近似的变换参数的集合，其中，中间回放流呈现是第一回放流呈现、第一回放流呈现的下混以及第一回放流呈现的上混中的一个，其中，变换参数是通过最小化第二回放流呈现的近似和第二回放流呈现之间的差异的测度而确定的；并且对第一回放流呈现和变换参数的集合进行编码以用于发送到解码器。
根据本发明的第二方面，提供了一种从数据流解码回放流呈现的方法，该方法包括以下步骤：接收第一回放流呈现并且进行解码，第一回放流呈现是意图用于在第一音频再现系统上再现的M1个信号的集合；接收适合于将中间回放流呈现变换为第二回放流呈现的近似的变换参数的集合并且进行解码，第二回放流呈现是意图用于在第二音频再现系统上再现的M2个信号的集合，其中，中间回放流呈现是第一回放流呈现、第一回放流呈现的下混以及第一回放流呈现的上混中的一个，其中，变换参数确保第二回放流呈现的近似和第二回放流呈现之间的差异的测度最小化；并且将变换参数应用于中间回放流呈现以产生第二回放流呈现的近似。
通过该解码方案，数据流将包含解码第一音频回放流呈现和第二音频回放流呈现这二者的足够信息。如果期望的输出音频再现系统对应于第一音频再现系统，则可以直接使用第一呈现。另一方面，如果确定期望的输出音频再现系统对应于第二音频再现系统，则可以使用变换参数来获得第二呈现。
在一些实施例中，第一音频再现系统可以包括固定空间位置处的一系列扬声器，并且第二音频再现系统可以包括与收听者的耳朵相邻的耳机的集合。第一或第二回放流呈现可以是拟声或消声双耳呈现。
变换参数优选为时变的且频率相关的。
变换参数优选地是通过最小化以下各项之间的差异的测度而确定的：变换参数应用于第一回放流呈现和第二回放呈现的结果。
根据本发明的另一方面，提供了一种用于将音频声道或音频对象编码为数据流的方法，该方法包括以下步骤：接收N个输入音频声道或对象；通过形成N个输入音频声道或对象的组合来计算M个信号的集合，其中，M≤N，M个信号的集合意图用于在第一音频回放系统上再现；计算时变变换参数W的集合，时变变换参数W将意图用于在第一音频再现系统上再现的M个信号的集合变换为第二音频再现系统上的近似再现，该近似再现近似通过在第二再现系统上再现N个输入音频声道或对象而产生的任何空间化效果；以及将M个信号和变换参数W组合到用于发送到解码器的数据流中。
在一些实施例中，变换参数形成M1×M2增益矩阵，该矩阵可以被直接应用于第一回放流呈现以形成第二回放流呈现的所述近似。在一些实施例中，M1等于M2，即，第一呈现和第二呈现这二者具有相同的声道数量。在特定情况下，第一呈现和第二呈现这二者是立体声呈现，即，M1＝M2＝2。
本领域技术人员将意识到，在编码器中编码的第一呈现流可以是多声道扩音器呈现，例如，环绕或沉浸式(3D)扩音器呈现，比如5.1、7.1、5.1.2、5.1.4、7.1.2或7.1.4呈现。在这样的情况下，为了避免或最小化计算复杂度的提高，根据本发明的实施例，确定变换参数的集合的步骤可以包括将第一回放流呈现下混为具有较少声道的中间呈现。
在特定示例中，中间呈现是两声道呈现。在这种情况下，变换参数因此适合于将中间两声道呈现变换为第二回放流呈现。第一回放流呈现可以是环绕或沉浸式扩音器呈现。
数据流可以进一步包括对话信号估计参数，该方法进一步包括：将对话信号估计参数应用于意图用于在第一音频再现系统上再现的信号以产生一个或多个估计的对话信号；从意图用于在第一音频再现系统上再现的信号减去一个或多个估计的对话信号以产生对话减少的中间信号；将对话减少的中间信号应用于声学环境模拟处理以产生一个或多个模拟的声学环境信号；并且将一个或多个模拟的声学环境信号与适合于在第二音频再现系统上再现的音频流组合。
数据流可以进一步包括声学环境模拟处理输入信号生成参数W(WF、WE)，该方法进一步包括：将声学环境模拟处理输入信号生成参数W(WF、WE)应用于意图用于在第一音频再现系统上再现的信号以产生一个或多个声学环境模拟处理输入信号；将一个或多个声学环境模拟处理输入信号应用于声学环境模拟处理以产生一个或多个模拟的声学环境信号；并且将一个或多个模拟的声学环境信号与适合于在第二音频再现系统上再现的音频流组合。
优选地，一个或多个模拟的声学环境信号可以包括以下中的一个或多个：早期反射信号和后期混响信号。声学环境模拟处理可以包括以下中的一个或多个：早期反射模拟处理和后期混响模拟处理。早期反射模拟处理可以包括通过延迟元件来对声学环境模拟处理输入信号中的一个或多个进行处理。在一些实施例中，后期混响模拟处理可以包括通过反馈延迟网络来对声学环境模拟处理输入信号中的一个或多个进行处理。
数据流优选地可以包括附加的声学环境模拟处理输入信号生成参数W(WF、WE)，该方法进一步包括以下步骤：将附加的声学环境模拟处理输入信号生成参数W(WF、WE)应用于意图用于在第一音频再现系统上再现的信号以产生一个或多个附加的声学环境模拟处理输入信号；将一个或多个附加的声学环境模拟处理输入信号应用于附加的声学环境模拟处理以产生一个或多个附加的模拟的声学环境信号；并且将一个或多个附加的模拟的声学环境信号与以下中的一个或多个组合：一个或多个模拟的声学环境信号以及适合于在第二音频再现系统上再现的音频流。
声学环境模拟处理可以响应于一个或多个参数而配置，其中，参数依赖于以下中的一个或多个：用户设置和数据流中包括的信息。
根据本发明的又一方面，提供了一种对具有一个或多个音频分量的输入音频流进行编码的编码器，其中，每个音频分量与空间位置相关联，该编码器包括：第一渲染单元，用于渲染输入音频流的第一回放流呈现，第一回放流呈现是意图用于在第一音频再现系统上再现的M1个信号的集合；第二渲染单元，用于渲染输入音频流的第二回放流呈现，第二回放流呈现是意图用于在第二音频再现系统上再现的M2个信号的集合；变换参数确定单元，用于确定适合于将中间回放流呈现变换为第二回放流呈现的近似的变换参数的集合，其中，中间回放流呈现是第一回放流呈现、第一回放流呈现的下混以及第一回放流呈现的上混中的一个，其中，变换参数是通过最小化第二回放流呈现的近似和第二回放流呈现之间的差异的测度确定的；以及编码单元，用于对第一回放流呈现和变换参数的集合进行编码以用于发送到解码器。
根据本发明的又一方面，提供了一种用于从数据流解码回放流呈现的解码器，该解码器包括：核心解码器单元，其被配置为：
接收第一回放流呈现并且进行解码，第一回放流呈现是意图用于在第一音频再现系统上再现的M1个信号的集合；并且
接收适合于将中间回放流呈现变换为第二回放流呈现的近似的变换参数的集合并且进行解码，第二回放流呈现是意图用于在第二音频再现系统上再现的M2个信号的集合，其中，中间回放流呈现是第一回放流呈现、第一回放流呈现的下混以及第一回放流呈现的上混中的一个，其中，变换参数确保第二回放流呈现的近似和第二回放流呈现之间的差异的测度最小化。
解码器进一步包括矩阵乘法器，该矩阵乘法器用于将变换参数应用于中间回放流呈现以产生第二回放流呈现的近似。
根据本发明的进一步的方面，提供了一种用于从数据流解码音频声道和/或音频对象系列的解码器，该数据流包括用于在第一音频再现系统上再现的M个信号的集合以及变换参数W，变换参数W适于对M个信号进行变换以用于在第二音频再现系统上再现，该解码器包括：核心解码器单元，用于从数据流分离M个信号和W个变换参数，其中，M个信号被分离到至少高频带和低频带中；矩阵乘法器，用于将W个变换参数应用于M个信号以产生频率分离的输出信号的集合；以及逆变换单元，适于将频率分离的输出信号的集合变换为适合于在第二音频再现系统上再现的时域输出信号系列。
在一些实施例中，解码器可以进一步包括：混响单元，适于在由逆变换单元进行变换之前将混响添加到频率分离的输出信号的集合。
在一些实施例中，第一音频再现系统可以包括扬声器的集合，第二音频再现系统可以包括耳机的集合，从第二回放流呈现是拟声或消声双耳呈现的意义上来说，变换参数W提供频率分离的输出信号的集合的双耳化。
根据本发明的进一步的方面，提供了一种用于对具有一个或多个音频分量的输入音频流进行编码的编码器，其中，每个音频分量与空间位置相关联，该系统包括：第一编码单元，用于针对第一回放形态对输入音频流进行编码，输出第一回放流呈现；变换参数确定单元，用于确定用于将第一回放流呈现映射到第二回放流呈现的变换参数系列；以及第二编码单元，用于将第一回放流呈现和变换参数编码到输出编码流中。
编码参数确定单元通过最小化期望的第二回放流呈现之间的误差测度的幅度并且将变换参数系列应用于第一回放流呈现来确定变换参数系列。系列可以是指具有时变的变换参数和/或频率相关的变换参数的性质。第二回放流呈现可以包括用于耳机回放的双耳化音频。
根据本发明的进一步的方面，提供了一种用于产生通过耳机呈现的音频信号的方法，该方法包括以下步骤：接收数据流，该数据流包括编码的消声双耳信号和声学环境模拟处理输入信号生成参数W(WF、WE)；对编码的消声双耳信号进行解码以产生解码的消声双耳信号；将声学环境模拟处理输入信号生成参数W(WF、WE)应用于解码的消声双耳信号以产生一个或多个声学环境模拟处理输入信号；将一个或多个声学环境模拟处理输入信号应用于声学环境模拟处理以产生一个或多个模拟的声学环境信号；并且将一个或多个模拟的声学环境信号与解码的消声双耳信号组合以产生用于通过耳机呈现的音频信号。
在一些实施例中，一个或多个模拟的声学环境信号优选地为以下中的一个或多个：早期反射信号和后期混响信号。声学环境模拟处理可以包括以下中的一个或多个：早期反射模拟处理和后期混响模拟处理。早期反射模拟处理可以包括通过延迟元件来对声学环境模拟处理输入信号中的一个或多个进行处理。后期混响模拟处理可以包括通过反馈延迟网络来对声学环境模拟处理输入信号中的一个或多个进行处理。
数据流优选地可以包括附加的声学环境模拟处理输入信号生成参数W(WF、WE)，并且该方法进一步包括以下步骤：将附加的声学环境模拟处理输入信号生成参数W(WF、WE)应用于解码的消声双耳信号以产生一个或多个附加的声学环境模拟处理输入信号；将一个或多个附加的声学环境模拟处理输入信号应用于附加的声学环境模拟处理以产生一个或多个附加的模拟的声学环境信号；并且将一个或多个附加的模拟的声学环境信号与以下中的一个或多个组合：一个或多个模拟的声学环境信号以及解码的消声双耳信号。
根据本发明的进一步的方面，提供了一种用于产生通过耳机呈现的音频信号的解码器，该解码器包括一个或多个处理器，一个或多个处理器被配置为：接收数据流，该数据流包括编码的消声双耳信号和声学环境模拟处理输入信号生成参数W(WF、WE)；对编码的消声双耳信号进行解码以产生解码的消声双耳信号；将声学环境模拟处理输入信号生成参数W(WF、WE)应用于解码的消声双耳信号以产生一个或多个声学环境模拟处理输入信号；将一个或多个声学环境模拟处理输入信号应用于声学环境模拟处理以产生一个或多个模拟的声学环境信号；以及将一个或多个模拟的声学环境信号与解码的消声双耳信号组合以产生用于通过耳机呈现的音频信号。
附图说明
现在将仅以举例的方式来参照附图描述本发明的实施例，其中：
图1示出用于两个源对象的HRIR卷积处理的示意性概览，其中，每个声道或对象被用一对HRIR/BRIR处理；
图2示意性地示出通过扩音器再现的双耳预渲染内容(现有技术)；
图3示意性地示出通过扩音器再现的双耳预渲染内容；
图4示意性地示出对扩音器呈现进行处理以用于耳机再现的系数w的产生；
图5示意性地示出用于从核心解码器输出重构消声信号和一个早期反射(具有附加体(bulk)延迟级)的系数W(WE)；
图6示意性地示出使用用于从核心解码器输出重构消声信号和FDN输入信号的系数W(WF)的处理；
图7示意性地示出对消声呈现进行处理以用于耳机和扩音器的系数w的产生和处理；
图8a-8b是根据本发明的进一步的实施例的编码器/解码器的示意性框图；
图9a是根据本发明的进一步的实施例的解码器的示意性框图；
图9b是图9a中的解码器的简化版本的示意性框图。
具体实施方式
实施例提供了一种用于基于声道和/或对象的音频的适合于扩音器和耳机(双耳)回放的低速率、低复杂度表示的方法。这通过以下步骤来实现：(1)创建并编码意图用于特定回放再现系统(例如，但不限于扩音器)的渲染；以及(2)添加附加元数据，该附加元数据允许该特定渲染被变换为适合用于另一再现系统(例如，耳机)的修改的渲染。特定渲染可以被称为第一音频回放流呈现，而修改的渲染可以被称为第二音频回放流呈现。第一呈现可以具有M1个声道的集合，而第二呈现可以具有M2个声道的集合。声道的数量可以是相等的(M1＝M2)或不同的。元数据可以是参数集合(可能是时变的和频变的(frequencyvarying))的形式。
在一个实现中，变换元数据提供用于将立体声扩音器渲染变换为双耳耳机渲染(可能包括早期反射和后期混响)的部件(means)。此外，对于基于对象的音频内容，可以基于每个对象来控制虚拟声学属性，特别是后期混响的(相对)水平和/或一个或多个早期反射的水平、频谱和时间特性。
实施例针对通过引导在一个或多个再现系统上的再现的元数据来保持艺术意图和改进再现质量和/或消除伪像。具体地说，实施例包括元数据，该元数据具有改进当再现系统布局不对应于内容创建期间预想的预期布局时的再现质量的对象、声道或混合信号表示。就这一点而论，作为元数据的结果的应用和/或效果将依赖于预期的和实际的再现系统。
通过扩音器再现的双耳预渲染内容
如背景章节中所描述的，由于HRIR或BRIR中内在地存在的频谱线索被应用两次的事实，双耳预渲染内容通过扩音器的再现可以导致不自然的音色；一次在预渲染期间，另一次在声学环境中的回放期间。此外，双耳预渲染内容的这样的再现也将内在地使方位局部化(localization)线索被应用两次，引起错误的空间成像和局部化误差。
图2示出这种形式的处理20。声道或对象21在编码25之前首先被与HRIR 23卷积22。就这一点而论，在编码之前，基于声道或对象的内容借助于HRIR或BRIR处理进行扩音器再现模拟。随后，处理的信号被编码25、被解码26并且被通过扩音器再现27，从而引入了前述伪像。
由两次应用从扬声器到耳鼓的声学路径造成的频谱伪像可以至少部分通过在解码或再现期间应用频率相关的增益或衰减来补偿。这些增益或衰减参数随后可以被编码并且被与内容包括在一起。对于耳机再现，这些参数可以被丢弃，而对于扩音器上的再现，编码的增益在再现之前被应用于信号。
图3中示出了合适的结果性处理流程30的一个形式。在该方案中，当回放意图用于扩音器时，在渲染被创建时预先计算31增益元数据。该元数据被用双耳处理的信号编码。在解码期间，元数据信息也被解码32。这然后被用来将增益应用33于解码的信号以减小伪像的显著性。另一方面，对于耳机回放，级31-33是不需要的(被丢弃)，并且解码的信息可以被直接应用于耳机再现。
实现示例
在一个实现中，为了计算增益元数据31，在时间和频率片(tile)中对具有离散时间索引n和输入索引i的输入信号xi[n]进行分析。每个输入信号xi[n]可以被分解为时间帧，并且每个帧进而可以被划分为构造时间/频率片的频带。频带可以例如借助于滤波器组(比如正交镜像滤波器(QMF)组)、离散傅立叶变换(DFT)、离散余弦变换(DCT)或任何其他部件来实现以将输入信号分为各种频带。这样的变换的结果是，用于输入的具有索引i和离散时间索引n的输入信号xi[n]对于时隙(或帧)k和子带b来说用子带信号xi[k，b]表示。时间/频率片(K、B)中的短时能量由以下方程给出：
Figure BDA0002867258750000131
其中，频率(b)和时间(k)索引的B、K集合对应于期望的时间/频率片。
分别用于左耳和右耳的双耳信号yl[n]、yr[n]的离散时域表示由以下方程给出：
Figure BDA0002867258750000132
Figure BDA0002867258750000133
其中，hl，i、hr，i分别是用于左耳和右耳的对应于输入索引i的HRIR或BRIR。换句话说，可以通过输入i上(across)的卷积和求和的组合来创建双耳信号对yl[n]、yr[n]。随后，可以使用与应用于信号xi[k，b]的处理相同的处理来将这些双耳信号转换到时间/频率片中。对于这些频域双耳信号，时间/频率片(K、B)中的短时能量因此可以被计算为：
Figure BDA0002867258750000134
现在可以基于在分子中的输入对象i上和分母中的双耳信号j上求和的每个时间/频率片中的能量守恒(preservation)来构造增益元数据w(K,B)：
Figure BDA0002867258750000135
元数据w(K,B)随后可以被量化、被编码并且被包括在音频编解码器位流中。解码器然后将把元数据w(K，B)应用于两个信号y1和yr(输入呈现)的帧K和频带B以产生输出呈现。共同的w(K，B)应用于y1和yr这二者的这样的使用确保输入呈现的立体声平衡得以保持。
除了借助于时域卷积创建双耳信号y1[n],、yr[n]的上述方法之外，双耳渲染处理也可以被应用于频域中。换句话说，不是首先在时域中计算双耳信号y1[n],、yr[n]，而是相反可以将输入信号xi[n]转换为频域表示，并且在频域中应用HRIR卷积处理来生成双耳信号的频域表示yj[k，b]，例如通过频域快速卷积方法。在该方法中，双耳信号的频域表示yj[k，b]是在不需要在时域中生成这些信号的情况下获得的，并且不需要滤波器组或变换被应用于时域双耳信号上。
通过耳机再现的立体声内容，包括消声双耳渲染
在该实现中，意图用于扩音器回放的立体声信号被用附加数据编码以增强该扩音器信号在耳机上的回放。给定输入对象或声道xi[n]的集合，扩音器信号zs[n]的集合通常是借助于表示对象i对扬声器s的增益的振幅平移增益gi，s生成的：
Figure BDA0002867258750000141
对于基于声道的内容，振幅平移增益gi，s通常是恒定的，而对于其中对象的预期位置由时变的对象元数据提供的基于对象的内容，增益因此将是时变的。
给定要被编码和解码的信号zs[n]，期望的是找到系数w的集合，以使得如果这些系数被应用于信号zs[n]，则如下构造的所得的修改的信号
Figure BDA0002867258750000146
Figure BDA0002867258750000145
Figure BDA0002867258750000144
根据以下方程紧密匹配原始输入信号xi[n]的双耳呈现：
Figure BDA0002867258750000151
Figure BDA0002867258750000152
可以通过最小化期望的和实际的双耳呈现之间的L2范数E来找到系数w：
Figure BDA0002867258750000153
w＝argmin(E)
可以通过闭合形式解、梯度下降法或最小化误差函数的任何其他合适的迭代方法来获得最小化误差E的解。作为这样的解的一个示例，可以用矩阵记号来撰写各种渲染步骤：
Y＝XH
Z＝XG
Figure BDA0002867258750000154
该矩阵记号基于包含N个采样的单声道帧，这些采样被表示为一个列：
Figure BDA0002867258750000155
以及作为多个声道i＝{1,…,I}的组合的矩阵，每个声道用该矩阵中的一个列矢量表示：
Figure BDA0002867258750000156
对于W的最小化E的解于是由以下方程给出：
W＝(G*X*XG+∈I)-1G*X*XH
其中，(*)是复共轭转置算子，I是单位矩阵，∈是正则化常数。该解与基于增益的方法的不同之处在于，信号
Figure BDA0002867258750000161
是通过矩阵生成的而不是通过被应用于信号Z的包括具有交叉项(cross-term)的选项的标量W生成的(例如，举例来说，
Figure BDA0002867258750000162
的第二信号是(部分地)从Z中的第一信号重构的)。
理想地，对于每个时间/频率片确定系数w以最小化每个时间/频率片中的误差E。
在上面的章节中，最小均方误差准则(L2范数)被采用以确定矩阵系数。不失一般性地，其他众所周知的计算矩阵系数的准则或方法可以被类似地用来代替或增补最小均方误差原理。例如，可以使用高阶误差项或者通过最小化L1范数(例如，最小绝对差准则)来计算矩阵系数。可以采用另外的各种方法，包括非负因式分解或优化技术、非参数化估计量(estimator)、最大似然估计量等。另外，可以使用迭代或梯度下降处理、插值法、启发法、动态编程、机器学习、模糊优化、模拟退火或闭合形式解来计算矩阵系数，并且可以使用综合分析(analysis-by-synthesis)技术。最后但同样重要的，可以以各种方式约束矩阵系数估计，例如通过限制值范围、正则化项、能量守恒要求的叠加等。
在实际情况下，HRIR或BRIRhl，i、hr，i将涉及频率相关的延迟和/或相移。因此，系数w可以是具有远不同于零的虚数分量的复值。
图4中示出了该实施例的处理的实现的一个形式40。音频内容41被混合复(complex)正交镜像滤波器(HCQMF)分析组42处理为子带信号。随后，HRIR 44被应用43于滤波器组输出以生成双耳信号Y。并行地，输入被针对扩音器回放进行渲染45，得到扩音器信号Z。另外，从扩音器信号和双耳信号Y和Z计算46系数(或权重)w，并且这些系数(或权重)w被包括在核心编码器位流48中。可以使用不同的核心编码器，比如例如如以下文献中公开的MPEG-1层1、2和3：Brandenburg,K.和Bosi,M.(1997).“MPEG音频概述：低位速率音频编码的当前和未来标准(Overview of MPEG audio:Current and future standards for lowbit-rate audio coding)”.Journal of the Audio Engineering Society,45(1/2),4-21；或Riedmiller,J.、Mehta,S.、Tsingos,N.和Boon,P.(2015).“沉浸式个性化音频：实现下一代音频体验的交换，分发和交付的实用系统(Immersive and Personalized Audio:APractical System for Enabling Interchange,Distribution,and Delivery of Next-Generation Audio Experiences)”.Motion Imaging Journal,SMPTE,124(5),1-23，这两篇特此通过引用并入。如果核心编码器不能使用子带信号作为输入，则可以首先使用混合复正交镜像滤波器(HCQMF)合成滤波器组47来将子带信号转换到时域。
在解码端，如果解码器被配置用于耳机回放，则在HCQMF合成51和再现52之前提取49系数并且将这些系数应用50于核心解码器信号。如果核心编码器不产生HCQMF域中的信号，则可能如图4中所指示的那样需要可选的HCQMF分析滤波器组54。总之，被核心编码器编码的信号意图用于扩音器回放，而扩音器到双耳系数是在编码器中确定的，并且被应用于解码器中。解码器可以进一步配备有用户超控功能性，以使得在耳机回放模式下，用户可以选择通过耳机回放常规的扩音器信号，而不是双耳处理的信号。在这种情况下，权重被解码器忽视。最后，当解码器被配置用于扩音器回放时，权重可以被忽视，并且核心解码器信号可以直接地或在上混或下混以匹配扩音器再现系统的布局之后通过扩音器再现系统回放。
将清楚的是，前面的段落中描述的方法不限于使用正交镜像滤波器组；因为其他滤波器组结构或变换可以被同样地使用，比如短时加窗离散傅立叶变换。
该方案与常规方法相比具有各种益处。这些可以包括：1)解码器复杂度仅略(marginally)高于用于普通立体声回放的复杂度，因为解码器中的加法仅包含受位流信息控制的简单的(时间和频率相关的)矩阵。2)该方法适合于基于声道的和基于对象的内容，并且不依赖于内容中存在的对象或声道的数量。3)HRTF变为编码器调谐参数，即，它们可以在任何时间不考虑解码器兼容性地被修改、被改进、被改变或被改动。就本领域中存在的解码器而言，HRTF仍然可以在无需修改解码器端处理级的情况下被优化或定制。4)位速率与多声道的或基于对象的内容所需的位速率相比非常低，因为只有几个扩音器信号(通常为一个或两个)需要与关于系数w的附加(低速率)数据一起从编码器传递到解码器。5)相同的位流可以在扩音器和耳机上忠实地再现。6)可以以可伸缩的方式构造位流；如果在特定的服务背景下，端点被保证仅使用扩音器，则可以在对于常规的扩音器呈现没有影响的情况下从位流除去变换系数w。7)在扩音器呈现上操作的先进的编解码器特征(比如响度管理、对话增强等)将继续按照预期工作(当回放通过扩音器时)。8)通过对系数w进行缩放，可以独立于扩音器回放的响度来处理用于双耳呈现的响度。9)使用耳机的收听者可以选择收听双耳或常规的立体声呈现，而不是被迫收听一个或另一个。
具有早期反射的扩展
通常期望的是将作为地板、墙壁或天花板的存在的结果的一个或多个早期反射包括在双耳渲染中以提高双耳呈现的现实性。如果反射具有镜面(specular)性质，则它本身可以被解释为双耳呈现，在该双耳呈现中，对应的HRIR包括由于从声源到耳鼓的声学路径长度增大而导致的较低的总体水平、延迟的增大以及表面吸收的效果。
这些性质可以用修改的布置(比如在图5中被示为60的布置)来捕获，该布置是图4的布置上的修改。在编码器64中，确定系数W以用于：(1)从扩音器呈现(系数WY)重构消声双耳呈现以及(2)从扩音器呈现(系数WE)重构反射的双耳呈现。在这种情况下，消声双耳呈现是通过双耳渲染HRIR He确定的，得到消声双耳信号对Y，而早期反射是通过HRIR He确定的，得到早期反射信号对E。为了允许从立体声混音参数化地重构早期反射，重要的是，从编码器中的HRIR He移除由于早期反射的路径长度较长而导致的延迟，并且将该特定延迟应用于解码器中。
解码器将通过把系数W(WY、WE)应用于扩音器信号来生成消声信号对和早期反射信号对。早期反射随后被延迟级68处理以模拟早期反射的较长的路径长度。块68的延迟参数可以被包括在编码器位流中，或者可以是用户定义的参数，或者可以根据模拟的声学环境制定，或者可以根据收听者所在的实际声学环境制定。
具有后期混响的扩展
为了将后期混响的模拟包括在双耳呈现中，可以采用后期混响算法，比如反馈-延迟网络(FDN)。FDN采取一个或多个对象和/或声道作为输入，并且产生(在双耳混响器的情况下)两个后期混响信号。在常规算法中，可以使用解码器输出(或其下混)作为FDN的输入。该方法具有显著的缺点。在许多使用情况下，可能期望的是基于每个对象来调整后期混响的量。例如，如果后期混响的量减小，则对话清晰度得到改进。
在替代实施例中，可以以与从立体声混音构造的消声或早期反射双耳呈现相同的方式来提供混响量的每一对象或每一声道控制。
如图6所示，可以对前面的布置做出各种修改来进一步适应后期混响。在编码器81中，计算82FDN输入信号F，该FDN输入信号F可以是输入的加权组合。这些权重可以依赖于内容，例如，作为在通过媒体智能算法的内容创建或自动分类期间手动标记的结果。FDN输入信号本身被权重估计单元83丢弃，但是允许从扩音器呈现来估计、重构或近似FDN输入信号的系数数据WF被包括85在位流中。在解码器86中，FDN输入信号被重构87，被FDN处理88，并且被包括89在用于收听者91的双耳输出信号中。
另外，FDN可以被重构为使得多个(两个或更多个)输入被允许以使得输入信号的空间质量在FDN输出处被保持。在这样的情况下，允许从扩音器呈现来估计每个FDN输入信号的系数数据被包括在位流中。
在这种情况下，可能期望的是控制关于FDN输入的对象和/或声道的空间定位。
在一些情况下，可以响应于出于单独的目的存在于数据流中的参数(例如，不是特定地意图被应用于基本信号来生成FDN输入信号的参数)来生成后期混响模拟(例如，FDN)输入信号。例如，在一个示例性对话增强系统中，通过将对话增强参数应用于基本信号来从基本信号的集合重构对话信号。然后增强(例如，放大)该对话信号并且将对话信号混音回基本信号中(从而，相对于基本信号的其余分量放大对话分量)。如上所述，常常期望的是构造FDN输入信号以使得它不包含对话分量。因此，在对话增强参数已经可用的系统中，可以通过首先从基本信号和对话增强参数重构对话信号、然后从基本信号减去(例如，取消)对话信号来重构期望的无对话的(或至少对话减少的)FDN输入信号。在这样的系统中，用于从基本信号重构FDN输入信号的专用参数可能不是需要的(因为可以改为使用对话增强参数)，因此可以被排除，导致所需参数数据速率减少而不损失功能。
组合早期反射和后期混响
尽管具有早期反射(一个或多个)和后期混响的消声呈现的扩展在前面的章节中是独立地表示的，但是组合也是可能的。例如，系统可以包括：1)从扩音器呈现确定消声呈现的系数WY；2)从扩音器呈现确定某个数量的早期反射的附加系数WE；3)从扩音器呈现确定一个或多个后期混响输入信号、允许基于每个对象来控制后期混响量的附加系数WF。
作为第一呈现的消声渲染
尽管扩音器呈现作为要被核心编码器编码的第一呈现的使用具有提供与不能解译或处理变换数据w的解码器的向后兼容性的优点，但是第一呈现不限于用于扩音器回放的呈现。图7示出了用于对音频内容105进行编码和解码以用于在耳机130或扩音器140上再现的方法100的示意性概览。编码器101获取输入音频内容105，并且通过HCQMF滤波器组106对这些信号进行处理。随后，由HRIR卷积元件109基于HRIR/HRTF数据库104来生成消声呈现Y。另外，由元件108产生扩音器呈现Z，元件108计算并应用扩音器平移矩阵G。此外，元件107产生FDN输入混音F。
消声信号Y可选地通过使用HCQMF合成滤波器组110被转换到时域，并且被核心编码器111编码。变换估计块114计算参数WF(112)以及参数WZ(113)，参数WF(112)允许从消声呈现Y重构FDN输入信号F，参数WZ(113)从消声呈现Y重构扩音器呈现Z。参数112和113这二者被包括在核心编码器位流中。可替代地或另外地，尽管图7中未示出，但是变换估计块可以计算参数WE，参数WE允许从消声呈现Y重构早期反射信号E。
解码器具有由解码器模式102和解码器模式103显现的两个操作模式，解码器模式102意图用于耳机收听130，解码器模式103意图用于扩音器回放14。在耳机回放的情况下，核心解码器115对消声呈现Y进行解码，并且对变换参数WF进行解码。随后，由矩阵化块116将变换参数WF应用于消声呈现Y以产生估计的FDN输入信号，该FDN输入信号随后被FDN 117处理以产生后期混响信号。由加法器150将该后期混响信号与消声呈现Y混音，接着到HCQMF合成滤波器组118以产生耳机呈现130。如果参数WE也存在，则解码器可以将这些参数应用于消声呈现Y以产生估计的早期反射信号，该早期反射信号随后通过延迟被处理，并且被与消声呈现Y混音。
在扩音器回放的情况下，解码器在模式103下操作，在该模式下，核心解码器115对消声呈现Y和参数WZ进行解码。随后，矩阵化级116将参数WZ应用到消声呈现Y上以产生扩音器呈现Z的估计或近似。最后，该信号被HCQMF合成滤波器组118转换到时域，并且被扩音器140产生。
最后，应注意到，图7的系统可以可选地在不确定和发送参数WZ的情况下被操作。在该操作模式下，不能从消声呈现Y生成扩音器呈现Z。然而，因为参数WE和/或WF被确定和发送，所以可以从消声呈现生成包括早期反射和/或后期混响分量的耳机呈现。
多声道扩音器呈现
本领域技术人员将意识到，编码器中编码的第一回放流呈现可以是多声道呈现，例如，环绕或沉浸式扩音器呈现，比如5.1、7.1、7.1.4等呈现。上面(例如，参照图4)讨论的本发明的实施例(其中第二回放流呈现是立体声呈现)将以类似的方式操作，但是矩阵的大小将被调整。例如，虽然2×2参数矩阵对于立体声到立体声变换是足够的，但是从五声道环绕呈现到立体声呈现的变换需要5×2矩阵，从5.1环绕呈现(五个全带宽声道和低频效果(LFE)声道)到立体声呈现的变换需要6×2矩阵。因此，呈现变换参数所需的辅助信息的量将随着扩音器呈现中的声道数量增加，并且解码处理的计算复杂度也将对应地提高。
为了避免或最小化当具有M1个声道的第一呈现被变换为具有M2个声道的第二呈现(其中M1>M2)时(例如，当环绕或沉浸式扩音器呈现被变换为双耳立体声呈现时)的这样的计算复杂度提高，可以有利的是在确定变换参数之前将第一呈现下混为中间呈现。例如，5.1环绕呈现可以被下混为2.0立体声扩音器呈现。
图8a示出了编码器200，在该编码器200中，音频内容201被渲染器202渲染为5.1环绕扩音器呈现S，该5.1环绕扩音器呈现S被核心编码器203编码。5.1呈现S还被下混模块204转换为中间2声道(立体声)下混呈现Z。例如，Z的左声道(ZL)可以根据以下方程被表达为环绕呈现S的左声道(SL)、左侧声道(SLS)、中央声道(SC)和低频效果声道(SLFE)的加权和：
ZL＝(SL+a*SC+b*SLS+c*SLFE)
其中，a、b和c是合适的常数，例如，a＝b＝sqrt(0.5)＝0.71，c＝0.5。
音频内容还被输入到双耳渲染器205，双耳渲染器205被配置为渲染消声双耳信号Y。参数计算块206接收消声信号Y和立体声下混信号Z，并且计算立体声到消声参数WY。与上面的图4相比，渲染器202是渲染器45的多声道变体，因为这两种情况下的输出被提供给核心编码器203/48。块205和206在原理上与块43和46是相同的。
此外，编码器还可以包括用于渲染FDN输入信号的块207(对应于图6中的块82)，计算块206于是可以被配置为还计算FDN参数WF的集合(对应于图6中的块83)。
图8b示出了解码器210，在该解码器210中，核心解码器211接收5.1环绕呈现S以及参数集合WY和WF并且进行解码。环绕呈现S借助于下混模块212被转换为2声道(立体声)下混信号Z，下混模块212以与其在编码器中的对应部分204相同的方式进行操作。第一矩阵化块213将参数WY应用于立体声呈现Z以提供重构的消声信号
Figure BDA0002867258750000231
第二矩阵化块214将参数WF应用于立体声呈现Z以提供重构的FDN输入信号。FDN输入信号在FDN 215中被用来提供后期混响信号，该后期混响信号被与重构的消声信号
Figure BDA0002867258750000232
相加216以提供双耳输出。注意到，块213-216中的处理类似于图6中的解码器86中的处理。
对于低目标速率，已知使用参数化方法来在2.1下混和耦合参数集合的帮助下传达5.1呈现，参见例如ETSI TS 103 190-1 V1.2.1(2015-06)。在这样的系统中，核心解码器有效地执行上混以便提供解码的5.1呈现。如果图8b中的实施例是在这样的解码器中实现的，则结果将是如图9a中描绘的解码器。注意到，图9a中的核心解码器311包括用于将2.1呈现上混为5.1呈现的上混模块312。5.1呈现然后被下混模块212下混为2.0呈现，正如图8b中那样。
然而，在该上下文下，当2.1呈现已经被包括在位流中时，上混到5.1不是需要的，并且可以被省略以便简化解码器。图9b中描绘了这样的简化解码器。这里，核心解码器411仅解码2.1呈现。该呈现被简化的下混模块412接收，该简化的下混模块412被配置为根据以下方程将2.1呈现转换为2.0呈现：
Lo＝a*L+b*LFE
Ro＝a*R+b*LFE
其中，L、R和LFE是解码的2.1呈现的左全带宽声道、右全带宽声道和低频效果声道，a和b是考虑由图9a中的模块312和212执行的上混和下混的效果的合适的常数。
图9a和9b中描述的处理采取2.1下混和对应的耦合参数。类似的方法可以在使用例如3.1下混和对应的耦合参数的系统中被采用。可替代地，图8a和图8b中的系统还可以携载如ETSI TS 103 190-1V1.2.1(2015-06)中所讨论的、允许将5.1呈现上混为基于对象的表示的附加辅助信息。
解释
整个说明书中所称的“一个实施例”、“一些实施例”或“实施例”意味着与实施例结合描述的特定的特征、结构或特性被包括在本发明的至少一个实施例中。因此，短语“在一个实施例中”、“在一些实施例中”或“在实施例中”在整个说明书中各个地方的出现不一定全都指的是同一个实施例，但是可以指同一个实施例。此外，在一个或多个实施例中，特定的特征、结构或特性可以以本领域的普通技术人员从本公开将清楚的任何合适的方式组合。
如本文所使用的，除非另有指定，否则序数形容词“第一”、“第二”、“第三”等描述共同对象的使用仅指示相似对象的不同实例正被提到，而非意图暗示如此描述的对象必须按时间上、空间上、排名上的给定顺序或任何其他方式的给定顺序。
在所附权利要求书和本文的描述中，术语“包括”、“它包括”或“其包括”中的任何一个是意指至少包括后面的元件/特征、但不排除其他元件/特征的开放性术语。因此，术语“包括”在被用于权利要求中时不应被解释为是限制其后列出的部件或元件或步骤。例如，表达“包括A和B的设备”的范围不应限于仅由元件A和B组成的设备。如本文所使用的术语“包含”、“它包含”或“其包含”中的任何一个也是也意指至少包括该术语后面的元件/特征、但不排除其他元件/特征的开放性术语。因此，包括与包含是同义的，并且意指包含。
如本文所使用的，术语“示例性”是以提供示例的意义使用的，与指示质量相反。也就是说，“示例性实施例”是作为示例提供的实施例，与一定是示例性质量的实施例相反。
应意识到，在上面对本发明的示例性实施例的描述中，为了使本公开精简并且帮助理解各种发明方面中的一个或多个的目的，本发明的各种特征在单个实施例、附图或其描述中有时被分组在一起。然而，本公开的方法不应被解释为反映要求保护的发明需要比每个权利要求中明确记载的特征多的特征的意图。相反，如所附权利要求所反映的，发明方面在于比单个前述公开实施例的所有特征少的特征。因此，接着具体实施方式的权利要求特此被明确地并入到该具体实施方式中，每个权利要求独自作为本发明的单独的实施例。
此外，正如本领域技术人员将理解的，虽然本文描述的一些实施例包括在其他实施例中所包含的一些特征而不包括在这些其他实施例中所包含的其他特征，但是不同实施例的特征的组合意指在本发明的范围内，并且形成不同的实施例。例如，在所附权利要求中，要求保护的实施例中的任何一个可以以任何组合来使用。
此外，实施例中的一些在本文中被描述为可以由计算机系统的处理器或实现功能的其他部件实现的方法或方法的元素组合。因此，具有用于实现这样的方法或方法的元素所需要的指令的处理器形成用于实现方法或方法的元素的部件。此外，装置实施例的本文所描述的元素是用于实现由用于实现本发明的目的的元素执行的功能的部件的示例。
在本文提供的描述中，阐述了许多特定细节。然而，理解的是，可以在没有这些特定细节的情况下实施本发明的实施例。在其他情况下，为了不模糊该描述的理解，没有详细示出众所周知的方法、结构和技术。
类似地，要注意的是，术语“耦合的”在被用在权利要求中时不应被解释为仅限于直接连接。术语“耦合的”和“连接的”、连同它们的派生词可以被使用。应理解，这些术语并非意图是彼此的同义词。因此，表达“耦合到设备B的设备A”的范围不应限于其中设备A的输出直接连接到设备B的输入的设备或系统。它意味着，在A的输出和B的输入之间存在路径，该路径可以是包括其他设备或部件的路径。“耦合的”可以意味着两个或更多个元件直接的物理或电接触，或者两个或更多个元件不彼此直接接触，但是仍彼此合作或交互。
因此，虽然已经描述了据信是本发明的优选实施例的内容，但是本领域技术人员将认识到，在不脱离本发明的范围的情况下，可以对本发明做出其他的和进一步的修改，并且意图要求保护落在本发明的范围内的所有这样的改变和修改。例如，上面给出的任何公式仅表示可以使用的规程。可以添加功能性，或者从框图删除功能性，并且可以在功能块之间交换操作。对于在本发明的范围内描述的方法，可以添加或删除步骤。

Claims (18)

1.一种对具有一个或多个音频分量的输入音频流进行编码的方法，其中，每个音频分量与空间位置相关联，所述方法包括以下步骤：
渲染所述输入音频流的第一回放流呈现，所述第一回放流呈现是意图用于在第一音频再现系统上再现的M1个信号的集合；
渲染所述输入音频流的第二回放流呈现，所述第二回放流呈现是意图用于在第二音频再现系统上再现的M2个信号的集合；
确定适合于将中间回放流呈现变换为第二回放流呈现的近似的变换参数的集合，其中所述变换参数的集合是在通过矩阵乘法应用于中间回放流呈现时生成第二回放流呈现的近似的矩阵的矩阵系数，并且其中所述中间回放流呈现是第一回放流呈现、第一回放流呈现的下混、以及第一回放流呈现的上混中的一个；
其中，所述变换参数是通过最小化第二回放流呈现与第二回放流呈现的近似之间的差异的测度而确定的；并且
对第一回放流呈现和变换参数的所述集合进行编码以用于发送到解码器。
2.根据权利要求1所述的方法，其中，所述第一回放流呈现和所述第二回放流呈现中的一个且仅一个是扩音器呈现。
3.根据权利要求2所述的方法，其中，所述第一回放流呈现和所述第二回放流呈现中的一个且仅一个是拟声或消声双耳呈现。
4.根据权利要求1所述的方法，其中，所述变换参数是时变的和/或频率相关的。
5.一种从数据流解码回放流呈现的方法，所述方法包括以下步骤：
接收第一渲染的回放流呈现并且对该第一渲染的回放流呈现进行解码，所述第一渲染的回放流呈现是意图用于在第一音频再现系统上再现的M1个信号的集合；
接收适合于将中间回放流呈现变换为第二渲染的回放流呈现的近似的变换参数的集合并且对该变换参数的集合进行解码，所述第二渲染的回放流呈现是意图用于在第二音频再现系统上再现的M2个信号的集合，其中所述变换参数的集合是在通过矩阵乘法应用于中间回放流呈现时生成第二回放流呈现的近似的矩阵的矩阵系数，并且其中所述中间回放流呈现是第一渲染的回放流呈现、第一渲染的回放流呈现的下混、以及第一渲染的回放流呈现的上混中的一个；
其中，变换参数确保第二渲染的回放流呈现的近似与第二渲染的回放流呈现之间的差异的测度最小化；并且
将所述变换参数应用于所述中间回放流呈现以产生第二渲染的回放流呈现的所述近似。
6.一种从数据流解码回放流呈现的方法，所述方法包括以下步骤：
接收第一渲染的回放流呈现并且对该第一渲染的回放流呈现进行解码，所述第一渲染的回放流呈现是消声双耳呈现；
接收适合于将消声双耳呈现变换为一个或多个声学环境模拟处理输入信号的变换参数的一个或多个集合，并且对变换参数的所述一个或多个集合进行解码；
将变换参数的所述一个或多个集合应用于第一渲染的回放流呈现以生成所述一个或多个声学环境模拟处理输入信号；
将所述一个或多个声学环境模拟处理输入信号应用于一个或多个声学环境模拟处理以产生一个或多个模拟的声学环境信号；并且
将所述一个或多个模拟的声学环境信号与第一渲染的回放流呈现进行组合。
7.一种从数据流解码回放流呈现的方法，所述方法包括以下步骤：
接收第一渲染的回放流呈现并且对该第一渲染的回放流呈现进行解码，所述第一渲染的回放流呈现是意图用于在第一音频再现系统上再现的M1个信号的集合；
接收适合于将中间回放流呈现变换为第二渲染的回放流呈现的近似的变换参数的集合并且对该变换参数的集合进行解码，所述第二渲染的回放流呈现是意图用于在第二音频再现系统上再现的M2个信号的集合，其中所述变换参数的集合是在通过矩阵乘法应用于中间回放流呈现时生成第二回放流呈现的近似的矩阵的矩阵系数，并且其中所述中间回放流呈现是第一渲染的回放流呈现、第一渲染的回放流呈现的下混、以及第一渲染的回放流呈现的上混中的一个；并且
将所述变换参数应用于所述中间回放流呈现以产生第二渲染的回放流呈现的所述近似，
其中，变换参数确保第二渲染的回放流呈现的近似与第二渲染的回放流呈现之间的差异的测度最小化，并且
其中，第二渲染的回放流呈现的近似是消声双耳呈现。
8.根据权利要求7所述的方法，进一步包括：
接收适合于将中间回放流呈现变换为一个或多个声学环境模拟处理输入信号的变换参数的一个或多个附加的集合，并且对变换参数的所述一个或多个附加的集合进行解码；
将变换参数的所述一个或多个附加的集合应用于中间回放流呈现以生成所述一个或多个声学环境模拟处理输入信号；
将所述一个或多个声学环境模拟处理输入信号应用于一个或多个声学环境模拟处理以产生一个或多个模拟的声学环境信号；并且
将所述一个或多个模拟的声学环境信号与第二渲染的回放流呈现的近似进行组合。
9.根据权利要求8所述的方法，其中，所述一个或多个模拟的声学环境信号包括以下中的一个或多个：早期反射信号和后期混响信号。
10.根据权利要求9所述的方法，其中，声学环境模拟处理包括以下中的一个或多个：早期反射模拟处理和后期混响模拟处理。
11.根据权利要求10所述的方法，其中，早期反射模拟处理包括通过延迟元件来对声学环境模拟处理输入信号中的一个或多个进行处理。
12.根据权利要求11所述的方法，其中，后期混响模拟处理包括通过反馈延迟网络来对声学环境模拟处理输入信号中的一个或多个进行处理。
13.一种对具有一个或多个音频分量的输入音频流进行编码的设备，包括：
一个或多个处理器；以及
存储器，存储有指令，所述指令在被执行时使所述一个或多个处理器执行根据权利要求1-4中任一项所述的方法的步骤。
14.一种从数据流解码回放流呈现的设备，包括：
一个或多个处理器；以及
存储器，存储有指令，所述指令在被执行时使所述一个或多个处理器执行根据权利要求5-12中任一项所述的方法的步骤。
15.一种存储介质，其上存储有计算机程序，所述计算机程序在计算机处理器上执行时使得所述计算机处理器执行根据权利要求1-12中任一项所述的方法。
16.一种包含计算机程序的编码器计算机程序产品，所述计算机程序在计算机处理器上执行时使得所述计算机处理器执行根据权利要求1-4中任一项所述的方法。
17.一种包含计算机程序的解码器计算机程序产品，所述计算机程序在计算机处理器上执行时使得所述计算机处理器执行根据权利要求5-12中任一项所述的方法。
18.一种包括用于执行根据权利要求1-12中任一项所述的方法的部件的装置。
CN202011586425.7A 2015-08-25 2016-08-24 使用呈现变换参数的音频编码和解码 Active CN112492501B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201562209735P 2015-08-25 2015-08-25
US62/209,735 2015-08-25
EP15189094 2015-10-09
EP15189094.4 2015-10-09
CN201680062138.1A CN108141685B (zh) 2015-08-25 2016-08-24 使用呈现变换参数的音频编码和解码
PCT/US2016/048497 WO2017035281A2 (en) 2015-08-25 2016-08-24 Audio encoding and decoding using presentation transform parameters

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680062138.1A Division CN108141685B (zh) 2015-08-25 2016-08-24 使用呈现变换参数的音频编码和解码

Publications (2)

Publication Number Publication Date
CN112492501A CN112492501A (zh) 2021-03-12
CN112492501B true CN112492501B (zh) 2022-10-14

Family

ID=54337115

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680062138.1A Active CN108141685B (zh) 2015-08-25 2016-08-24 使用呈现变换参数的音频编码和解码
CN202011586425.7A Active CN112492501B (zh) 2015-08-25 2016-08-24 使用呈现变换参数的音频编码和解码

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680062138.1A Active CN108141685B (zh) 2015-08-25 2016-08-24 使用呈现变换参数的音频编码和解码

Country Status (10)

Country Link
US (3) US10978079B2 (zh)
EP (2) EP4224887A1 (zh)
KR (2) KR102551796B1 (zh)
CN (2) CN108141685B (zh)
AU (3) AU2016311335B2 (zh)
CA (2) CA3219512A1 (zh)
EA (2) EA034936B1 (zh)
HK (2) HK1256382A1 (zh)
PH (1) PH12018500648A1 (zh)
WO (1) WO2017035281A2 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3219512A1 (en) 2015-08-25 2017-03-02 Dolby International Ab Audio encoding and decoding using presentation transform parameters
JP6797187B2 (ja) 2015-08-25 2020-12-09 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ・デコーダおよびデコード方法
WO2017087650A1 (en) 2015-11-17 2017-05-26 Dolby Laboratories Licensing Corporation Headtracking for parametric binaural output system and method
KR102640940B1 (ko) 2016-01-27 2024-02-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 음향 환경 시뮬레이션
JP7023848B2 (ja) 2016-01-29 2022-02-22 ドルビー ラボラトリーズ ライセンシング コーポレイション バイノーラル・ダイアログ向上
US10764709B2 (en) 2017-01-13 2020-09-01 Dolby Laboratories Licensing Corporation Methods, apparatus and systems for dynamic equalization for cross-talk cancellation
CN107493558B (zh) * 2017-09-07 2019-01-15 维沃移动通信有限公司 一种声音信号控制方法及移动终端
WO2019089322A1 (en) 2017-10-30 2019-05-09 Dolby Laboratories Licensing Corporation Virtual rendering of object based audio over an arbitrary set of loudspeakers
BR112020019890A2 (pt) 2018-04-11 2021-01-05 Dolby International Ab Métodos, aparelho e sistemas para sinal pré-renderizado para renderização de áudio
KR20210151831A (ko) 2019-04-15 2021-12-14 돌비 인터네셔널 에이비 오디오 코덱에서의 대화 향상
EP4035426A1 (en) 2019-09-23 2022-08-03 Dolby Laboratories Licensing Corporation Audio encoding/decoding with transform parameters

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101933344A (zh) * 2007-10-09 2010-12-29 荷兰皇家飞利浦电子公司 用于产生双声道音频信号的方法及装置
CN102792588A (zh) * 2010-03-10 2012-11-21 杜比国际公司 用于在单个回放模式中结合响度测量的系统
CN104471641A (zh) * 2012-07-19 2015-03-25 汤姆逊许可公司 用于改善对多声道音频信号的呈现的方法和设备
CN104620607A (zh) * 2012-09-13 2015-05-13 哈曼国际工业有限公司 多区域收听环境中的渐进音频平衡和渐变

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6442278B1 (en) * 1999-06-15 2002-08-27 Hearing Enhancement Company, Llc Voice-to-remaining audio (VRA) interactive center channel downmix
US8363865B1 (en) 2004-05-24 2013-01-29 Heather Bottum Multiple channel sound system using multi-speaker arrays
US20080281602A1 (en) * 2004-06-08 2008-11-13 Koninklijke Philips Electronics, N.V. Coding Reverberant Sound Signals
GB0419346D0 (en) * 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
JP5587551B2 (ja) 2005-09-13 2014-09-10 コーニンクレッカ フィリップス エヌ ヴェ オーディオ符号化
WO2007080211A1 (en) 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
WO2007091849A1 (en) * 2006-02-07 2007-08-16 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
JP2007221483A (ja) * 2006-02-16 2007-08-30 Sanyo Electric Co Ltd 音声ミキシング装置および音声ミキシング方法
EP1989920B1 (en) * 2006-02-21 2010-01-20 Koninklijke Philips Electronics N.V. Audio encoding and decoding
WO2007101958A2 (fr) 2006-03-09 2007-09-13 France Telecom Optimisation d'une spatialisation sonore binaurale a partir d'un encodage multicanal
ATE532350T1 (de) 2006-03-24 2011-11-15 Dolby Sweden Ab Erzeugung räumlicher heruntermischungen aus parametrischen darstellungen mehrkanaliger signale
US7876904B2 (en) 2006-07-08 2011-01-25 Nokia Corporation Dynamic decoding of binaural audio signals
EP2437257B1 (en) 2006-10-16 2018-01-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Saoc to mpeg surround transcoding
KR101012259B1 (ko) 2006-10-16 2011-02-08 돌비 스웨덴 에이비 멀티채널 다운믹스된 객체 코딩의 개선된 코딩 및 파라미터 표현
KR20080071804A (ko) * 2007-01-31 2008-08-05 삼성전자주식회사 오디오 신호 인코딩 장치 및 방법, 그리고 오디오 신호디코딩 장치 및 방법
WO2008100098A1 (en) 2007-02-14 2008-08-21 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
US20080273708A1 (en) * 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
CN101202043B (zh) * 2007-12-28 2011-06-15 清华大学 音频信号的编码方法和装置与解码方法和装置
US8885834B2 (en) 2008-03-07 2014-11-11 Sennheiser Electronic Gmbh & Co. Kg Methods and devices for reproducing surround audio signals
EP2146522A1 (en) 2008-07-17 2010-01-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating audio output signals using object based metadata
EP2175670A1 (en) 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
WO2010070016A1 (en) 2008-12-19 2010-06-24 Dolby Sweden Ab Method and apparatus for applying reverb to a multi-channel audio signal using spatial cue parameters
GB2470059A (en) 2009-05-08 2010-11-10 Nokia Corp Multi-channel audio processing using an inter-channel prediction model to form an inter-channel parameter
EP2461321B1 (en) * 2009-07-31 2018-05-16 Panasonic Intellectual Property Management Co., Ltd. Coding device and decoding device
WO2011061174A1 (en) 2009-11-20 2011-05-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for providing an upmix signal representation on the basis of the downmix signal representation, apparatus for providing a bitstream representing a multi-channel audio signal, methods, computer programs and bitstream representing a multi-channel audio signal using a linear combination parameter
EP2360681A1 (en) 2010-01-15 2011-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information
US8908874B2 (en) 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
JP5857071B2 (ja) 2011-01-05 2016-02-10 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． オーディオ・システムおよびその動作方法
CN105472525B (zh) 2011-07-01 2018-11-13 杜比实验室特许公司 音频回放系统监视
US9510124B2 (en) 2012-03-14 2016-11-29 Harman International Industries, Incorporated Parametric binaural headphone rendering
CN104604256B (zh) 2012-08-31 2017-09-15 杜比实验室特许公司 基于对象的音频的反射声渲染
JP6085029B2 (ja) 2012-08-31 2017-02-22 ドルビー ラボラトリーズ ライセンシング コーポレイション 種々の聴取環境におけるオブジェクトに基づくオーディオのレンダリング及び再生のためのシステム
US9460729B2 (en) 2012-09-21 2016-10-04 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
US9426599B2 (en) * 2012-11-30 2016-08-23 Dts, Inc. Method and apparatus for personalized audio virtualization
WO2014091375A1 (en) 2012-12-14 2014-06-19 Koninklijke Philips N.V. Reverberation processing in an audio signal
MX347551B (es) 2013-01-15 2017-05-02 Koninklijke Philips Nv Procesamiento de audio binaural.
RU2656717C2 (ru) 2013-01-17 2018-06-06 Конинклейке Филипс Н.В. Бинауральная аудиообработка
US9420393B2 (en) * 2013-05-29 2016-08-16 Qualcomm Incorporated Binaural rendering of spherical harmonic coefficients
EP2840811A1 (en) 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for processing an audio signal; signal processing unit, binaural renderer, audio encoder and audio decoder
EP2830043A3 (en) 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for Processing an Audio Signal in accordance with a Room Impulse Response, Signal Processing Unit, Audio Encoder, Audio Decoder, and Binaural Renderer
EP3767970B1 (en) * 2013-09-17 2022-09-28 Wilus Institute of Standards and Technology Inc. Method and apparatus for processing multimedia signals
EP3090573B1 (en) * 2014-04-29 2018-12-05 Dolby Laboratories Licensing Corporation Generating binaural audio in response to multi-channel audio using at least one feedback delay network
EP3175634B1 (en) * 2014-08-01 2021-01-06 Steven Jay Borne Audio device
US10149082B2 (en) 2015-02-12 2018-12-04 Dolby Laboratories Licensing Corporation Reverberation generation for headphone virtualization
CA3219512A1 (en) 2015-08-25 2017-03-02 Dolby International Ab Audio encoding and decoding using presentation transform parameters
WO2017087650A1 (en) 2015-11-17 2017-05-26 Dolby Laboratories Licensing Corporation Headtracking for parametric binaural output system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101933344A (zh) * 2007-10-09 2010-12-29 荷兰皇家飞利浦电子公司 用于产生双声道音频信号的方法及装置
CN102792588A (zh) * 2010-03-10 2012-11-21 杜比国际公司 用于在单个回放模式中结合响度测量的系统
CN104471641A (zh) * 2012-07-19 2015-03-25 汤姆逊许可公司 用于改善对多声道音频信号的呈现的方法和设备
CN104620607A (zh) * 2012-09-13 2015-05-13 哈曼国际工业有限公司 多区域收听环境中的渐进音频平衡和渐变

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"MULTI-CHANNEL GOES MOBILE: MPEG SURROUND BINAURAL RENDERING;Jeroen Breebaart;《AES 29th International Conference》;20061231;正文第1-5章，摘要 *
Jeroen Breebaart."MULTI-CHANNEL GOES MOBILE: MPEG SURROUND BINAURAL RENDERING.《AES 29th International Conference》.2006, *

Also Published As

Publication number Publication date
HK1256382A1 (zh) 2019-09-20
AU2021203143B2 (en) 2023-03-09
US11798567B2 (en) 2023-10-24
EA202090186A2 (ru) 2020-09-30
AU2016311335B2 (en) 2021-02-18
HK1257673A1 (zh) 2019-10-25
EA202090186A3 (ru) 2020-12-30
CN108141685B (zh) 2021-03-02
US20240105186A1 (en) 2024-03-28
US10978079B2 (en) 2021-04-13
AU2016311335A1 (en) 2018-04-12
PH12018500648A1 (en) 2018-10-01
AU2023203584A1 (en) 2023-07-06
EP4224887A1 (en) 2023-08-09
WO2017035281A3 (en) 2017-05-11
CA2999328A1 (en) 2017-03-02
EA034936B1 (ru) 2020-04-08
EP3342186B1 (en) 2023-03-29
EA201890576A1 (ru) 2018-07-31
CA2999328C (en) 2024-01-02
CN108141685A (zh) 2018-06-08
KR102551796B1 (ko) 2023-07-06
US20210295852A1 (en) 2021-09-23
WO2017035281A2 (en) 2017-03-02
KR20230105002A (ko) 2023-07-11
CA3219512A1 (en) 2017-03-02
US20200227052A1 (en) 2020-07-16
KR20180042397A (ko) 2018-04-25
EP3342186A2 (en) 2018-07-04
CN112492501A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112492501B (zh) 使用呈现变换参数的音频编码和解码
AU2014295309B2 (en) Apparatus, method, and computer program for mapping first and second input channels to at least one output channel
CN108353242B (zh) 音频解码器和解码方法
EP3569000B1 (en) Dynamic equalization for cross-talk cancellation
US11721348B2 (en) Acoustic environment simulation
EA042232B1 (ru) Кодирование и декодирование звука с использованием параметров преобразования представления

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant