CN102257562A - 用空间线索参数对多通道音频信号应用混响的方法和装置 - Google Patents
用空间线索参数对多通道音频信号应用混响的方法和装置 Download PDFInfo
- Publication number
- CN102257562A CN102257562A CN2009801511567A CN200980151156A CN102257562A CN 102257562 A CN102257562 A CN 102257562A CN 2009801511567 A CN2009801511567 A CN 2009801511567A CN 200980151156 A CN200980151156 A CN 200980151156A CN 102257562 A CN102257562 A CN 102257562A
- Authority
- CN
- China
- Prior art keywords
- reverberation
- parameter
- signal
- passage
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000005236 sound signal Effects 0.000 title description 12
- 230000004044 response Effects 0.000 claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims description 96
- 238000002156 mixing Methods 0.000 claims description 61
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 description 20
- 230000004048 modification Effects 0.000 description 20
- 238000012986 modification Methods 0.000 description 20
- 230000036962 time dependent Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 210000003454 tympanic membrane Anatomy 0.000 description 4
- 241001269238 Data Species 0.000 description 2
- 101100067989 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) cpc-2 gene Proteins 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 101100007538 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) cpc-1 gene Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/08—Arrangements for producing a reverberation or echo sound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Abstract
公开了一种用于将混响应用到指示X个单独的音频通道的M通道下混音频输入信号的方法和系统,其中X大于M。典型地,该方法包括步骤:响应指示下混输入信号的空间图像的空间线索参数,生成Y个离散混响通道信号,其中时刻t的每个混响通道信号是该时刻t的单独的音频通道的值的至少子集的线性组合,以及将混响单独应用到至少两个混响通道信号中的每个,从而生成Y个混响通道信号。优选地,被应用到至少一个通道信号的混响具有与被应用到至少一个另外的通道信号的混响不同的混响脉冲响应。t,是该时刻t的单独的音频通道的值的至少子集的线性组合,以及将混响单独应用到至少两个混响通道信号中的每个,从而生成Y个混响通道信号。优选地,被应用到至少一个通道信号的混响具有与被应用到至少一个另外的通道信号的混响不同的混响脉冲响应。
Description
技术领域
本发明涉及用于将混响应用到指示大量单独音频通道的多通道下混(downmix)音频信号的方法和系统。在一些实施例中,这是通过这样的方式完成的:响应于(指示输入信号的至少一个空间线索的)至少一个空间线索参数来上混(upmix)输入信号以及将混响应用到至少一些单独通道,从而针对应用了混响的单独通道中的每个应用不同的混响脉冲响应。可选地,在应用混响之后,下混单独通道以生成N-通道混响输出信号。在一些实施例中,输入信号是QMF(正交镜像滤波器)域MPEG环绕(MPS)编码信号,且响应于包括通道水平差(CLD)、通道预测系数(CPC)以及通道间互相关(ICC)中的至少一些的MPS空间线索参数在QMF域中执行上混和混响应用。
背景技术
在包括权利要求书的整个公开中,措辞“混响器”(或“混响器系统”)用来表示被配置为将混响应用到音频信号(例如应用至多通道音频信号中的全部或一些通道)的系统。
在包括权利要求书的整个公开中,广义地使用措辞“系统”来表示设备、系统或子系统。例如,可以将实施混响器的子系统称为混响器系统(或混响器),而也可以将包括这种混响器子系统的系统(例如,响应于Q+R个输入生成X+Y个输出信号的解码器系统,其中混响器子系统响应于Q个输入生成X个输出,而在解码器系统的另外的子系统中生成其它的输出)称为混响器系统(或混响器)。
在包括权利要求书的整个公开中,措辞由扬声器“再现”信号表示使扬声器响应于信号产生声音,包括通过执行任何需要的放大和/或其它信号处理。
在包括权利要求书的整个公开中,措辞值v1、v2、......、vn(例如,在时间t出现的x个单独音频通道信号的集合的子集的n个单元,n小于或等于X)的“线性组合”表示等于a1v1+a2v2+......+anvn的值,其中a1、a2、......、an是系数。一般来说,对系数的值没有限制(例如,每个系数可以是正数或负数或零)。本文使用的措辞都是广义上的,例如,用这些措辞来覆盖一个系数等于1而其它的系数等于零的情况(例如,线性组合a1v1+a2v2+......+anvn等于v1(或v2、......、或vn)的情况)。
在包括权利要求书的整个公开中,措辞多通道音频信号的“空间线索参数”表示任何指示音频信号的至少一个空间线索的参数,其中每个这种“空间线索”指示(或描述)多通道信号的空间图像。空间线索的示例是音频信号的通道对之间的水平(或强度)差(或比例)、这些通道对之间的相位差、以及这些通道对之间的相关性的度量。空间线索参数的示例有是作为常规MPEG环绕(“MPS”)比特流的部分且在MPEG环绕编码中采用的通道水平差(CLD)参数和通道预测系数(CPC)参数。
根据已知的MPEG环绕(“MPS”)标准,可以通过被下混为较少数量的通道(例如,M个通道,其中M通常等于2)并被压缩来将多通道的音频数据编码,且可以通过被解压并被处理(上混)来将这样的M-通道下混音频信号解码,以生成N个解码音频通道(例如M=2而N=5)。
典型的常规的MPS解码器能够进行操作以执行上混以响应于时域、2通道、下混音频输入信号(以及包括通道水平差和通道预测系数参数的MPS空间线索参数)生成N个解码音频通道(N大于2)。典型的常规的MPS解码器能够在双声道(binaural)模式下进行操作以响应于时域、2通道、下混音频输入信号和空间线索参数来生成双声道信号,并且能够在至少一个其它模式下进行操作以响应于时域、2通道、下混音频输入信号和空间线索参数来执行上混以生成5.0(其中标记“x.y”通道表示“x”全频率通道和“y”低音炮通道)、5.1、7.0或7.1解码音频通道。输入信号经历时域至频域变换以进入QMF(正交镜像滤波器)域,以生成QMF域频率分量的两个通道。这些频率分量在QMF域中经历解码,并且产生的频率分量然后典型地被转换回时域以生成解码器的音频输出。
图1是常规MPS解码器的单元的简单化框图,其中该MPS解码器被配置为响应于2通道下混音频信号(L’和R’)和MPS空间线索参数(包括通道水平差和通道预测系数参数)生成N个解码音频通道(N大于2,且N典型地等于5或7)。下混输入信号(L’和R’)指示“X”个单独的音频通道,X大于2。下混输入信号典型地指示五个单独的通道(例如,左前、右前、中置、左环绕以及右环绕通道)。
‘左’输入信号L’和‘右’输入信号R’中的每个是在时域至QMF域转换级(图1未示出)通过转换2通道、时域MPS编码信号(图1中未指示出)而生成的QMF域频率分量的序列。
在图1的解码器1中,响应于(与输入信号一起)被设置在图1的系统中的MPS空间线索参数将下混输入信号L’和R’解码为N个单独通道信号S1、S2、......、SN。输出QMF域频率分量S1、S2、......、SN的N个序列典型地通过QMF域至时域转换级(图1中未示出)被转换回时域,且可以在未经历后处理的情况下被设置为系统的输出。可选地,信号S1、S2、......、SN在后处理器5中(在QMF域中)经历后处理,以生成包括通道OUT1、OUT2、......、OUTN的N通道音频输出信号。输出QMF域频率分量OUT1、OUT2、......、OUTN的N个序列典型地通过QMF域至时域转换级(图1中未示出)被转换回时域,且被设置为系统的输出。
在双声道模式下工作的图1的常规MPS解码器响应于2通道下混音频信号(L’和R’)和MPS空间线索参数(包括通道水平差参数和通道预测系数参数)生成2通道双声道音频输出S1和S2,且可选地,也可生成2通道双声道音频输出OUT1和OUT2。当通过一对耳机再现时,2通道音频输出S1和S2在收听者的耳膜处被感受为来自包括收听者前方或后方的位置的各种位置中的任意位置(其由解码器1的系数确定)处的“X”个扬声器(X>2且X通常等于5或7)的声音。在双声道模式中,后处理器5能够将混响应用到解码器1的2通道输出(S1、S2)(这种情况下,后处理器5实施人工混响器)。图1的系统可以(以下述的方式)被实施使得后处理器5的2通道输出(OUT1和OUT2)是已经应用了混响的双声道音频输出,且当该双声道音频输出通过耳机被再现时,在收听者的耳膜处被感受为来自包括收听者的前方和后方的位置的各种位置中的任意位置处的“X”个扬声器(X>2且X通常等于5)的声音。
在图1的解码器的双声道模式工作过程中生成的信号S1和S2(或OUT1和OUT2)的再现能够让收听者感受到来自多于两个(例如五个)“环绕”源的声音。这些源中的至少一些源是虚拟的。通常,常规的是虚拟环绕系统使用头部相关传递函数(HRTF)生成音频信号(有时被称为虚拟环绕声音信号),当通过一对物理扬声器(例如,置于收听者前方的扬声器,或耳机)再现时,在收听者的耳膜处将该音频信号感受为来自各种位置(典型地包括收听者后方的位置)中的任意位置处的多于两个源的声音。
如所注明的,可以使用通过后处理器5实施的人工混响器来实施在双声道模式下工作的图1的MPS解码器以应用混响。该混响器可以被配置为响应于解码器1的二通道输出(S1、S2)来生成混响,以及将混响应用到信号S1和S2以生成混响二通道音频OUT1和OUT2。混响可以作为后处理立体至立体混响而被应用至解码器1的2通道信号S1、S2,使得相同混响脉冲响应被应用至由解码器1的双声道音频输出的两个下混音频通道之一确定的所有离散通道(例如,应用至由下混通道S1确定的左前和左环绕通道),且相同的混响脉冲响应被应用至由双声道音频的两个下混音频通道中的另外一个确定的所有离散通道(例如,应用至由下混通道S2确定的右前和右环绕通道)。
一种类型的常规混响器具有被称为基于反馈延迟网络(基于FDN)的结构。操作中,这种混响器通过向信号反馈一个延迟版本的信号来将混响应用至信号。相对于其它混响结构,该结构的优点在于高效地产生和向多个输入信号应用多个不相关的混响信号的能力。在商用杜比移动耳机虚拟机中采用了该特征,其中该虚拟机包括具有基于FDN的结构的混响器,且能够进行操作以将混响应用至五通道音频信号(具有左前、右前、中置、左环绕和右环绕通道)中的每个通道,并使用五个头部相关传递函数(“HRTF”)滤波器对的集合中的不同的滤波器对来对每个混响通道进行滤波。该虚拟机生成每个音频通道的唯一混响脉冲响应。
杜比移动耳机虚拟机也能够响应于双声道音频输入信号来操作,以生成二通道“混响”音频输出(已应用了混响的两通道虚拟环绕声音输出)。当通过一对耳机再现混响音频输出时,在收听者的耳膜处将该音频输出感知为来自左前、右前、中置、左后(环绕)、和右后(环绕)位置的5个扬声器的经HRTF滤波的混响声音。该虚拟机对下混二通道音频输入(未使用任何和音频输入一起接收的空间线索参数)进行上混,以生成五个上混音频通道,将混响应用至该上混通道,并下混五个混响通道信号以生成虚拟机的二通道混响输出。每个上混通道的混响在不同的HRTF滤波器对中滤波。
2008年3月20日公开的美国专利公开第2008/0071549A1号描述了另一中常规系统,用于在解码下混信号过程中将混响形式应用至下混音频输入信号以生成单独的通道信号。该参考文献描述了解码器,该解码器将时域下混音频输入转换到QMF域,在QMF域中将混响形式应用至下混信号M(t,f),调节混响的相位以针对每个上混通道生成混响参数,该混响参数根据下混信号而确定(例如,以生成根据下混信号M(t,f)确定的上混左通道的混响参数Lreverb(t,f)和上混右通道的混响参数Rreverb(t,f))。与空间线索参数(例如,指示下混信号的左分量和右分量之间的相关性以及通道间相位差参数IPDL和IPDR的ICC参数)一起接收下混信号。使用空间线索参数生成混响参数(例如,Lreverb(t,f)和Rreverb(t,f))。当ICC线索指示下混信号的左通道分量和右通道分量之间存在更多关联性时,根据下混信号M(t,f)生成较低幅度的混响,当ICC线索指示下混信号的左通道分量和右通道分量之间存在交少的关联性时,根据下混信号生成较大幅度的混响,并且显而易见的是响应于相关IPD线索指示的相位(在框206或208中)调节每个混响参数的相位。然而,在去相关信号(其与M(t,f)正交)被用来重建左右互相关的情况下,混响仅被用作参数立体声解码器中的去相关器(单声道至立体声合成),且该参考文献没有暗示根据上混的离散通道中的每个或单独的上混通道的值的线性组合中的每个来单独地确定(或生成)不同混响信号,用于应用至根据下混音频M(t,f)确定的上混的离散通道中的每个或应用至根据下混音频确定的这些线性组合的集合中的每个。
发明人已认识到希望的是根据上混的离散通道中的每个来单独地确定(和生成)的不同混响信号以用于根据下混音频确定的上混的离散通道中的每个,或针对(和根据)这些离散通道的值的线性组合的集合中的每个来确定和生成不同的混响信号。发明人也已认识到以这种单独确定混响信号以用于单独的上混通道(或这些通道的值的线性组合),可以将具有不同混响脉冲响应的混响应用至上混通道(或线性组合)。
到本发明为止,与下混音频一起接收的空间线索参数还没有用来根据下混音频(例如,当下混音频是MPS编码音频时在QMF域中)或根据其值的线性组合来生成离散上混通道,也没有用来根据每个这种上混通道(或线性组合)单独生成混响以应用至所述上混通道(或线性组合)。也没有重组已经以该方式生成的混响上混通道来根据输入下混音频生成混响下混音频。
发明内容
在一类实施例中,本发明是一种用于将混响应用至指示X个单独的音频通道的M通道下混音频输入信号的方法,其中X是大于M的数。在这些实施例中,该方法包括步骤:
(a)响应于指示(例如描述)下混输入信号的空间图像的空间线索参数,(例如在正交镜像滤波器或“QMF”域中)生成Y个离散混响通道信号,其中时刻t的每个混响通道信号是该时刻t的X个单独的音频通道的值的至少子集的线性组合;以及
(b)单独地将混响应用至(例如,在QMF域中)至少两个混响通道信号中的每个,由此生成Y个混响通道信号。优选地,被应用到至少一个混响通道信号的混响具有与被应用到至少一个另外的混响通道信号的混响不同的混响脉冲响应。在一些实施例中,X=Y,但是在另外的实施例中,X不等于Y。在一些实施例中,Y大于M,且在步骤(a)中响应于空间线索参数来上混输入信号,以生成Y个混响通道信号。在另外的实施例中,Y等于M或Y小于M。
例如,在M=2、X=5且Y=4的一种情形中,输入信号是指示五个单独的通道信号Lfront、Rfront、C、Lsur以及Rsur的值L(t)、R(t)的序列。这五个单独的通道信号中的每个是以下值的序列其中W是形式的MPEG环绕上混矩阵,而四个混响通道信号是(glfw11)L+(glfw12)R、(grfw21)L+(grfw22)R、(glsw11)L+(glsw12)R、以及(grsw21+w31)L+(grsw22+w32)R,其可以被表示为
在其中输入信号是M通道MPEG环绕(“MPS”)下混信号的一些实施例中,在QMF域中执行步骤(a)和(b),且与输入信号一起接收空间线索参数。例如,空间线索参数可以是或包含包括部分传统MPS比特流类型的通道水平差(CLD)参数和/或通道预测系数(CPC)参数。当输入信号是时域MPS下混信号时,本发明典型地包括将该时域信号转换到QMF域以生成QMF域频率分量的步骤,并在QMF域中对这些频率分量执行步骤(a)和(b)。
可选地,该方法也包括步骤:例如通过将混响通道信号编码为N通道下混MPS信号来生成N通道下混版本的Y混响通道信号(包括已经应用了混响的每个通道信号以及,如果存在的话,没有应用混响的每个通道信号)。
在本发明方法的典型实施例中,输入下混信号是指示五个单独的音频通道(左前、右前、中置、左环绕以及右环绕通道)的2通道下混MPEG环绕(“MPS”)信号,且由不同混响脉冲响应确定的混响被应用到这五个通道中的至少一些中的每个,导致环绕声音质量提高。
优选地,本发明方法也包括步骤:通过在头部相关传递函数(HRTF)滤波器中对混响通道信号进行过滤来将相应的HRTF应用至混响通道信号。应用HRTF来使收听者将根据本发明应用的混响感知为更加自然的声音。
本发明的其它方面是被配置为(例如被编程为)执行本发明的方法的任意实施例的混响器、包括这种混响器的虚拟机、包括这种混响器的解码器(例如MPS解码器)以及存储用于实施本发明的方法的任意实施例的代码的计算机可读介质(例如盘)。
附图说明
图1是常规MPEG环绕解码器系统的框图。
图2是能够根据本发明实施例而实施的多输入、多输出、基于FDN的混响器(100)的框图。
图3是包括图2的混响器100、常规MPS处理器102、时域至QMF域转换滤波器99以及QMF域至时域转换滤波器101的混响器系统的框图,其中时域至QMF域转换滤波器99用于将多通道输入转换为QMF域以用于混响器100和处理器102中的处理,QMF域至时域转换滤波器101用于将混响器100和处理器102的组合输出转换到时域。
具体实施方式
本发明的许多实施例是技术上可能的。根据本公开,如何实施它们对于本领域技术人员而言是显而易见的。将参照图2和图3详细描述本发明系统、方法和介质的实施例。
在一类实施例中,本发明是用于将混响应用至指示X个单独的音频通道的M通道下混音频输入信号的方法以及被配置为执行该方法的系统,其中X是大于M的数。在这些实施例中,方法包括步骤:
(a)响应于指示(例如描述)下混输入信号的空间图像的空间线索参数,(例如在正交镜像滤波器或“QMF”域中)生成Y个离散混响通道信号,其中时刻t的每个混响通道信号是该时刻t的X个单独的音频通道的值的至少子集的线性组合;以及
(b)单独地将混响应用至(例如,在QMF域中)至少两个混响通道信号中的每个,由此生成Y个混响通道信号。优选地,被应用到至少一个混响通道信号的混响具有与被应用到至少一个另外的混响通道信号的混响不同的混响脉冲响应。在一些实施例中,X=Y,但是在另外的实施例中,X不等于Y。在一些实施例中,Y大于M,且在步骤(a)中响应于空间线索参数来上混输入信号,以生成Y个混响通道信号。在另外的实施例中,Y等于M或Y小于M。
图2是能够以如下说明的方式来执行该方法的多输入、多输出、基于FDN的混响器100的框图。图2的混响器100包括:
前混矩阵30(矩阵“B”),其为4×M矩阵,其被耦合并且被配置为响应指示五个(X =5)单独的上混音频通道的包括通道IN1、IN2、......、和INM的M通道下混音频输入信号来接收和生成四个离散混响通道信号U1、U2、U3以及U4(分别对应于馈送分支1’、2’、3’、4’)。时刻t的每个混响通道信号是该时刻t的X个单独的上混音频通道的值的子集的线性组合。在M小于4的情况下,矩阵B上混输入信号以生成混响通道信号。在一个典型的实施例中,M等于2。矩阵30也被耦合以接收指示(例如描述)M通道下混输入信号的空间图像的空间线索参数,且被配置为响应于该空间线索参数生成四个(Y=4)离散上混通道信号,即离散混响通道信号U1、U2、U3以及U4;
加法单元40、41、42和43,其被耦合至设置了混响通道信号U1、U2、U3和U4的矩阵30的输出。单元40被配置为将增益单元g1的输出(即,应用来自增益单元g1的输出的反馈)加到混响通道信号U1。单元41被配置为将增益单元g2的输出加到混响通道信号U2。单元42被配置为将增益单元g3的输出加到混响通道信号U3。单元43被配置为将增益单元g4的输出加到混响通道信号U4;
散射矩阵32(矩阵“A”),其被耦合以接收加法单元40、41、42和43的输出。优选地,矩阵32为4×4酉矩阵,被配置为将每个加法单元40、41、42和43的经过滤的输出设置到延迟线中相应的一个,其中0≤k-1≤3,且优选地是满填充矩阵,以提供最大扩散。延迟线z-M1、z-M2、z-M3和z-M4分别被标记为图2中的延迟线50、51、52和53;
增益单元,gk,其中0≤k-1≤3,其将延迟线的输出应用至增益,从而提供控制应用至每个上混通道中的混响的衰减时间的阻尼因子。每个增益单元gk通常结合有低通滤波器。在一些实施例中,增益单元针对不同的QMF带应用不同的、预定的增益因子。混响通道信号R1、R2、R3和R4分别被设置在增益单元g1、g2、g3和g4的输出;以及
后混矩阵34(矩阵“C”),其为N×4矩阵,其被耦合并被配置为响应于设置在矩阵30的空间线索参数的至少子集(例如全部或一些),下混和/或上混(以及可选地执行其它滤波)设置在增益单元gk的输出处的混响通道信号R1、R2、R3和R4,从而生成包括通道S1、S2、......以及Sn的N通道QMF域下混混响音频输出信号。在图2的实施例的变型中,矩阵34是常数矩阵,其系数不响应于任何空间线索参数而随时间变化。
在图2的实施例的变型中,本发明的系统具有Y个混响通道(其中Y小于或等于4),前混矩阵30被配置为响应于下混M通道输入信号和空间线索参数生成Y个离散混响通道信号,由Y×Y矩阵替代散射矩阵32,且本发明的系统具有Y个延迟线
例如,在Y=M=2的一种情况下,下混输入信号指示五个上混通道(X=5):左前、右前、中前、左环绕以及右环绕通道。根据本发明,响应于指示下混输入信号的空间图像的空间线索参数,前混矩阵(图2的矩阵30的变型)(例如,在正交镜像滤波器或“QMF”域中)生成两个离散混响通道信号:一个是前通道的混合,另一个是环绕通道的混合。根据(且应用至)一个混响通道信号生成具有短衰减响应的混响,并且根据(且应用至)另一个混响通道信号生成具有长衰减响应的混响(例如,以模拟具有“活跃端/沉寂端(live end/dead end)”音响效果的房间)。
再次参照图2,后处理器36选择性地耦合至矩阵34的输出且能够进行操作以对矩阵34的下混混响输出S1、S2、......Sn执行后处理,以生成包括通道OUT1、OUT2、......和OUTN的N通道后处理音频输出信号。典型地,N=2,从而图2的系统输出双声道下混混响音频信号S1、S2和/或双声道后处理下混混响音频输出信号OUT、OUT2。
例如,图2的系统的一些实施方式的矩阵34的输出是双声道虚拟环绕声音信号,当通过耳机对其进行再现时,其被收听者感知为从左(“L”)、中(“C”)和右“R”前源(例如,置于收听者前方的左、中和右物理扬声器)和左环绕(“LS”)以及右环绕(“RS”)后源(例如,置于收听者后方的左和右物理扬声器)发出的声音。
在图2的系统的一些变型中,省略了后混矩阵34且本发明的混响器响应于M通道下混音频输入而输出Y通道混响音频(例如,上混混响音频)。在其它变型中,矩阵34是单位矩阵。在其它变型中,系统有Y个上混通道(其中Y是大于4的数)且矩阵34是N×Y矩阵(例如Y=7)。
在其中输入信号是M通道MPEG环绕(“MPS”)下混信号的图2的系统的实施方式中,被设置在矩阵30的输入的输入信号包括QMF域信号IN1(t,f)、IN2(t,f)、......、以及INM(t,f),并且图2的系统在QMF域中(例如在矩阵30中)执行处理以及对其应用混响。在这些实施方式中,被设置到矩阵30的空间线索参数典型地是包括部分常规MPS比特流的类型的通道水平差(CLD)参数和/或通道预测系数(CPC)参数和/或通道间互相关(ICC)参数。
为了响应于时域M通道MPS下混信号将这样的QMF域输入提供至矩阵30,本发明的方法将包括将该时域信号转换到QMF域以生成QMF域频率分量的预备步骤,且将在QMF域中对这些频率分量执行上述步骤(a)和(b)。
例如,因为图3的系统的输入是包括M通道I1(t)、I2(t)、......以及IM(t)的时域MPS下混音频信号,所以图3的系统包括用于将时域信号转换到QMF域的滤波器99。具体地,图3的系统包括混响器100(对应于且可能等同于图2的混响器100)、常规MPS处理器102、时域至QMF域转换滤波器99,时域至QMF域转换滤波器99被耦合且被配置为将每个时域输入通道I1(t)、I2(t)、......以及IM(t)转换到QMF域(即,转换为QMF域频率分量的序列)以用于混响器100中的处理和处理器102中的常规处理。图3的系统也包括QMF域至时域转换滤波器101,其被耦合且被配置为将混响器100和处理器102的N通道组合输出转换到时域。
具体地,滤波器99将时域信号I1(t)、I2(t)、......以及IM(t)分别转换为QMF域信号IN1(t,f)、IN2(t,f)、......以及INM(t,f),其被设置到混响器100和处理器102。将来自处理器102的N通道输出的每个(在加法器中)与混响器100的相应的混响通道输出(图2中表示的S1、S2、......或Sn,或在图3的混响器100也包括图2中所示的后处理器36的情况下图2中示出的OUT1、OUT2、......或OUTN中的一个)进行组合。图3的滤波器101将混响器100和处理器102的组合(混响)输出(QMF域频率分量S1’(t,f)、S2’(t,f)、......、SN’(t,f)的N个序列)转换为时域信号S1’(t)、S2’(t)、......、SN’(t)。
在本发明的典型的实施例中,输入下混信号是指示五个单独的音频通道(左前、右前、中置、左环绕以及右环绕通道)的2通道下混MPS信号,且由不同的混响脉冲响应确定的混响被应用至这五个通道中的每个,导致环绕声音质量提高。
如果前混矩阵30(Y×M矩阵B,Y=4而M=2时其为4×2矩阵)的系数是常数系数(不是响应于空间线索参数而确定的随时间变化的系数)且后混矩阵34(N×Y矩阵C,当Y=4而N=2时其为2×4矩阵)的系数是常数系数,图2的系统不会(例如,响应于QMF域MPS编码M通道下混信号IN1(t,f)、IN2(t,f)、......、INM(t,f))产生和对混响器应用单独的混响,该单独的混响具有由M通道下混MPS编码输入针对下混中的不同通道确定的单独的脉冲响应。考虑一个示例,其中M=2、Y=4、而N=2,并且图2的矩阵B和C(图2中也被标记为矩阵30和34)分别被具有如下常数系数的4×2和2×4矩阵代替:
在这个例子中,常数矩阵B和C的系数不会响应于指示下混输入音频的空间线索参数而随时间变化,且这样修改的图2的系统将在常规的立体声至立体声混响模式下工作。在这种常规混响模式中,具有相同混响脉冲响应的混响将会被应用至下混中的每个单独通道(即,下混中的左前通道内容会接收具有与下混中的右前通道内容相同的脉冲响应的混响)。
然而,通过根据本发明响应于可作为MPS比特流的部分而获得的通道水平差(CLD)参数、通道预测系数(CPC)和/或通道间互相关(ICC)参数(和/或响应其它空间线索参数)在QMF域中应用混响处理,图2的系统能够产生具有用于每个混响通道的单独的混响脉冲响应的混响并将其应用到由系统的下混输入确定的每个混响通道。在典型的应用中,根据本发明,与至少一个其它混响通道相比,将较少的混响应用到中置通道(为了更清晰的语音/对话),从而应用到这些混响通道中的每个通道的混响脉冲响应不同。在这种应用(和其它应用)中,应用至不同混响通道的混响的脉冲响应不是基于路由至矩阵30的不同通道,而是基于由前混矩阵30或后混矩阵34(和/或至少一个其它系统单元)应用至不同混响通道的简单不同的比例因子(scale factor)。
例如,在被配置为将混响应用到五个上混通道的QMF域MPS编码立体声下混的图2的系统的实施方式中,矩阵30是具有基于系数wij的当前值的随时间变化的系数的4×2矩阵,i的范围在1至3,而j的范围在1至2。
在该示例实施方式中,M=2,X=5以及Y=4,输入信号是指示五个单独的通道信号Lfront、Rfront、C、Lsur以及Rsur的值的序列的QMF域值对IN1(t,f)=L(t)和IN2(t,f)=R(t)的序列。五个单独的通道信号中的每个是值的序列,其中W是形式的MPEG环绕上混矩阵。
在该示例中,将响应于常规CPC参数CPC_1和CPC_2和常规ICC参数ICC_TTT(在下混输入信号的编码过程中的上混器假设的的二至三或“TTT”的通道间互相关参数)的当前值来更新系数wij:
w11=(CPC_1+2)/(3*ICC_TTT);
w12=(CPC_2-1)/(3*ICC_TTT);
w21=(CPC_1-1)/(3*ICC_TTT);
w22=(CPC_2+2)/(3*ICC_TTT);
w31=(1-CPC_1)/(3*ICC_TTT);以及
w32=(1-CPC_2)/(3*ICC_TTT) (等式1a)
同样使用左前/环绕通道(CLDlf_ls)和右前/环绕通道(CLDrf_rs)的常规CLD参数,矩阵30的随时间变化的系数将也基于如下的四个随时间变化的通道增益值,其中CLDlf_ls是左前/环绕CLD参数的当前值,而CLDrf_rs是右前/环绕CLD参数的当前值:
矩阵30的随时间变化的系数将是:
这样,在示例实施方式中,从矩阵30输出的四个混响通道信号是U1=(glfw11)L+(glfw12)R、U2=(grfw21)L+(grfw22)R,、U3=(glsw11)L+(glsw12)R、以及U4=(grsw21+w31)L+(grsw22+w32)R。这样,矩阵30(具有等式3中示出的系数)执行的矩阵乘法可以表示为:
该矩阵乘法相当于(通过以上定义的MPEG环绕上混矩阵W)上混至五个单独的通道信号,继而通过矩阵B0将这五个信号下混至四个混响通道信号。
在具有等式3所示的系数的矩阵30的实施方式的变型中,以以下系数实施矩阵30:
其中KLF、KRF、KC、KLS以及KRS是不同通道的固定的混响增益值,而glf、gls、grf、glf以及w11至w32分别如等式2和等式1a所示。典型地,这四个固定混响增益值基本上彼此相等,除了KC通常具有比其它稍低的值(比其它的值低几个分贝)以便将较小的混响应用至中置通道(例如,为了更干的发声(dryer sounding)的语音/对话)。
实施有等式4的系数的矩阵30相当于上面定义的MPEG环绕上混矩阵W和如下的下混矩阵B0的乘积:
在矩阵30以等式3(或等式4)的系数实施的情况下,矩阵34典型地将是常数矩阵。可替选地,矩阵34将具有随时间变化的系数,例如,在一个实施方式中,其系数将是C=BT,其中BT是矩阵30的转置。具有等式3所述的系数的矩阵30以及矩阵34(如果被实施为这样的矩阵的转置)会具有与等式1的常数混合矩阵B和C具有相同的一般形式,但是具有由等式2的可变增益值确定的可变系数和上述等式1a的可变系数值wij来代替常数单元。
实施带有等式3的可变系数的矩阵30会导致混响通道U1、U2、U3和U4分别为左前上混通道(图2的系统的馈送分支1’)、右前上混通道(图2的系统的馈送分支2’)、左环绕上混通道(图2的系统的馈送分支3’)以及组合的右环绕和中置上混通道(右环绕通道加中置通道)(图2的系统的馈送分支4’)。因此,分别应用至图2的系统的四个分支的混响会具有单独确定的脉冲响应。
可选地,以另一种方式响应于可用的空间线索参数来确定矩阵30的系数。例如,在一些实施例中,响应于可用的MPS空间线索参数来确定矩阵30的系数以导致矩阵30实施在除预测模式之外的模式(例如,具有或不具有中心减法的能量模式)中运行的TTT上混器。这可以通过使用MPEG标准(ISO/IEC23003-1:2007)中描述的相关情况的已知的上混公式,以在给出本说明书的情况下本领域技术人员明白的方式完成。
在一个实施方式中,其中图2的系统被配置为将混响应用至四个上混通道的QMF域MPS编码单通道(单声道)下混,矩阵30是具有随时间变化的系数的4×1矩阵:
其中系数是增益因子,并且这些增益因子从可作为常规MPS比特流的部分而获得的CLD参数CLDlf_ls、CLDrf_rs、CLDc_lr以及CLDl_r导出。
在图2的系统的变型以及本发明的混响器的其它实施例中,离散混响通道(例如,上混通道)是从下混输入信号提取的,并以许多不同方式中的任意一种方式路由至单独的混响延迟分支。在本发明的混响器的各种实施例中,采用其它空间线索参数来对下混的输入信号进行上混(例如,包括通过控制通道权重)。例如,在一些实施例中,用描述前后扩散的ICC参数(可作为常规MPS比特流的部分而获得)来确定前混矩阵的系数从而控制混响水平。
优选地,本发明方法还包括步骤:通过在头部相关传递函数(HRTF)滤波器中过滤混响通道信号,将相应的HRTF应用至混响通道信号。例如,图2的系统的矩阵34优选地被实施为将这些HRTF应用至混响通道R1、R2、R3和R4并且还在混响通道R1、R2、R3和R4上执行上述下混操作的HRTF滤波器。矩阵34的这种实施方式通常会执行和5×4矩阵接着2×5矩阵相同的滤波,其中5×4矩阵响应于从增益单元g1、g2、g3和g4输出的四个混响通道信号R1-R4来生成五个虚拟混响通道信号(左前、右前、中置、左环绕以及右环绕通道),而2×5矩阵将适当的HRTF应用至每个这种虚拟混响通道信号,并下混所产生的五个通道信号以生成2通道下混混响输出信号。然而典型的是,矩阵34会被实施为单个2×4矩阵,该单个2×4矩阵执行单独的5×4和2×5矩阵的上述功能。应用HRTF来使收听者将根据本发明应用的混响感知为更加自然的音响。HRTF滤波器通常会针对每个单独的QMF段执行与具有复数值项的矩阵的矩阵乘法。
在一些实施例中,用相应的HRTF如下地过滤由QMF域MPS编码下混的输入信号生成的混响通道信号。在这些实施例中,参数QMF域中的HRTF主要由左增益参数值和右增益参数值以及表征下混输入信号的通道间相位差(IPD)参数值构成。可选地,忽略IPD以降低复杂性。假设忽略IPD,HRTF是常数增益值(分别用于左通道和右通道中的每个的四个增益值):gHRTF_lf_L、gHRTF_rf_L、gHRTF_ls_L、gHRTF_rs_L、gHRTF_lf_R、gHRTF_rf_R、gHRTF_ls_R、gHRTF_rs_R。这样,通过实施具有如下系数:的后混矩阵34,可以将HRTF应用至图2的混响通道信号R1、R2、R3和R4。
在本发明的混响器(其可以被实施为,例如,图2的系统的变型)的优选的实施方式中,在至少一个混响通道中应用分数延迟,和/或生成混响并不同地将混响应用到至少一个混响通道中的音频数据的频率分量的不同频段。
本发明的混响器的这些优选实施方式是被配置为(在至少一个混响通道中)应用分数延迟以及整数采样延迟的图2的系统的变型。例如,在一个这种实施方式中,分数延迟单元在每个混响通道中与延迟线串联连接,其中该延迟线应用等于整数采样周期的整数延迟(例如,每个分数延迟单元被串联地置于图2的延迟线50、51、52和53之一之后或以其它方式设置)。分数延迟可以通过对应于采样周期f=T/T的一部分的每个QMF段中的相移(单位复数乘法)取近似,其中f是延迟分数,T是QMF段的期望延迟,而T是QMF段的采样周期。在QMF域中应用混响的情况下如何应用分数延迟是已知的(例如参见J.Engdegard等人,“SyntheticAmbience in Parametric Stereo Coding”,发表在116th Convention ofAudio engineering Society,德国柏林,2004年5月8-11日,12页,以及美国专利7,487,097,2009年2月3日发布,J.Engdegard等人)。
本发明的混响器的一些上述优选实施方式是配置为在至少一个混响通道中不同地将混响应用至音频数据的不同频段的图2的系统的变型,以降低混响器实施的复杂性。例如,在一些实施方式中,其中音频输入数据IN1-INM是QMF域MPS数据,而在QMF域中执行混响应用,将混响不同地应用至每个混响通道中的音频数据的四个频段:
0kHz-3kHz(或0kHz-2.4kHz):如在上述图2的实施例以等式4的系数实施矩阵30一样将混响应用至该波段。
3kHz-8kHz(或2.4kHz-8kHz):只能以实数值算法将混响应用至该波段。例如,这可以使用2007年3月22日公开的国际申请公开WO2007/031171A1号中描述的实数值算法技术来完成。该参考文献描述了64波段QMF滤波器组,其中,8个最低频段的复数值是所处理的音频数据,而该音频数据的上56个频段只有实数值被处理。这8个最低频段中的一个可以被用作复合QMF缓冲波段,以便只针对8个最低QMF频段中的7个执行复数值算法计算(以便如在上述图2的实施例使用等式4的系数实施的矩阵30一样将混响应用至该相对低的频率范围),并且针对其它56个QMF频段执行实数值算法计算,伴随复数值和实数值之间的交叉出现在大约等于2.4kHz的频率(7×44.1kHz)/(64×2)。在该示例实施例中,如上述图2的实施例,但是使用前混矩阵30的较简单的实施方式来仅执行实数值计算,将混响应用至相对高的频率范围。如在上述图2的实施例中,例如使用以等式4的系数实施的矩阵30,将混响应用至相对低的频率范围(2.4kHz以下);
8kHz-15kHz:通过简单的延迟技术将混响应用至该波段。例如,以与上述图2的实施例的方式相似的方式应用混响,但是只带有两个混响通道,其中每个混响通道带有延迟线和低通滤波器,省略了矩阵单元32和34,以前混矩阵30的简单的2×2实施(例如,将比应用至每个其它通道的混响较少的混响应用至中置通道),且没有从节点沿着混响通道至前混矩阵的输出的反馈。两个延迟分支可以简单地分别馈送到左输出和右输出,或可以被交换以便来自左前(Lf)和左环绕(Ls)通道的回声最终在右输出通道中,而来自右前(Rf)和右环绕(Rs)通道的回声最终在左输出通道中。2×2前混矩阵可以具有如下系数:
15-22.05kHz:在该波段中不应用混响。
在本文描述的实施例的变型中(例如,图2的实施例),本发明的系统将混响应用至指示X个单独的音频通道的M通道下混音频输入信号,X是大于M的数,包括通过响应于下混信号而不响应于空间线索参数来生成Y个离散混响通道信号。在这些变型中,系统响应于指示下混输入信号的空间图像的空间线索参数分别将混响应用到至少两个混响通道信号中的每个,从而生成Y个混响通道信号。例如,在一些这种变型中,前混矩阵的系数(例如,图2中矩阵30的变型)不响应空间线索参数而确定,但是散射矩阵(例如,图2的矩阵32的变型)、增益级(例如,包括图2的单元g1-gk的增益级的变型)以及后混矩阵(例如,图2的矩阵34的变型)中的至少一个以通过指示下混输入信号的空间图像的空间线索参数所确定的方式对混响通道信号运行,以将混响应用到至少两个混响通道信号中的每个。
在一些实施例中,本发明的混响器是或包括通用处理器,其耦合以接收或生成指示M通道下混音频输入信号的输入数据,且编程有软件(或固件),和/或以其它方式配置(例如,响应于控制数据)来对输入数据执行各种操作中的任意操作,包括本发明的方法的实施例。这种通用处理器通常会耦合至输入设备(例如,鼠标和/或键盘)、存储器和显示设备。例如,图3的系统可以在通用处理器中实施,具有输入I1(t)、I2(t)、......、IM(t),其为指示下混音频数据的M通道的输入数据,而输出S1(t)、S2(t)、.....、SN(t)是指示下混混响音频的N个通道的输出数据。会对该输出数据运行常规的数模转换器(DAC)以生成模拟的输出音频信号,用于通过扬声器(例如,一对耳机)再现。
虽然这里描述了本发明的具体实施例和本发明的应用,但是对本领域普通技术人员显而易见的是,在不偏离这里所描述和所要求保护的本发明的范围的情况下对这里所描述的实施例和应用进行的许多变型是可能的。应当理解,虽然示出和描述了本发明的一些形式,但是本发明不限于这些描述和所示的具体实施例或描述的具体方法。
Claims (33)
1.一种用于将混响应用到指示X个单独的音频通道的M通道下混音频输入信号的方法,其中X是大于M的数,所述方法包括步骤:
a)响应于指示所述下混输入信号的空间图像的空间线索参数,生成Y个离散混响通道信号,其中时刻t的每个所述混响通道信号是所述时刻t的所述X个单独的音频通道的值的至少子集的线性组合;以及
b)将混响单独应用到至少两个所述混响通道信号中的每个,从而生成Y个混响通道信号。
2.根据权利要求1所述的方法,其中,被应用到至少一个所述混响通道信号的混响具有与被应用到至少一个另外的所述混响通道信号的混响不同的混响脉冲响应。
3.根据权利要求1至2中任意一项所述的方法,其中,所述输入信号是M通道MPEG环绕下混信号,并且所述空间线索参数包括通道水平差参数、通道预测系数参数以及通道间互相关参数中的至少之一。
4.根据权利要求3所述的方法,其中,所述空间线索参数包括通道水平差参数、通道预测系数参数以及通道间互相关参数。
5.根据权利要求1至4中任意一项所述的方法,其中,所述输入信号是包括QMF域频率分量的M个序列的QMF域MPEG环绕下混信号,并且其中在所述QMF域中执行步骤a)和步骤b)中的每个。
6.根据权利要求5所述的方法,其中,所述空间线索参数包括通道水平差参数、通道预测系数参数以及通道间互相关参数中的至少一些。
7.根据权利要求5所述的方法,其中,所述空间线索参数包括通道水平差参数、通道预测系数参数以及通道间互相关参数。
8.根据权利要求1所述的方法,其中,所述输入信号是时域MPEG环绕下混信号,并且还包括步骤:
在步骤a)之前,将所述时域MPEG环绕下混信号转换到所述QMF域,从而生成QMF域频率分量的M个序列,并且其中在所述QMF域中执行步骤a)和步骤b)中的每个。
9.根据权利要求1至8中任意一项所述的方法,还包括步骤:下混所述Y个混响通道信号,从而生成N通道下混混响音频信号,其中N是小于Y的数。
10.根据权利要求9所述的方法,其中,响应于所述空间线索参数的至少子集来执行所述下混。
11.根据权利要求9所述的方法,其中,M=2,Y=4,且N=2。
12.根据权利要求1至10中任意一项所述的方法,其中,M=2且Y=4。
13.根据权利要求1所述的方法,还包括步骤:通过在头部相关传递函数滤波器中对所述混响通道信号进行滤波来将相应的头部相关传递函数应用到所述混响通道信号。
14.根据权利要求1至10中任意一项所述的方法,其中M=1。
15.根据权利要求1至14中任意一项所述的方法,其中Y大于M。
16.根据权利要求1至12中任意一项所述的方法,还包括步骤:下混所述混响通道信号并将相应的头部相关传递函数应用到所述混响通道信号。
17.一种被配置为将混响应用到指示X个单独的音频通道的M通道下混音频输入信号的混响器,其中X是大于M的数,所述混响器包括:
第一子系统,其被耦合以接收所述输入信号和指示所述输入信号的空间图像的空间线索参数,并且被配置为包括通过应用响应于所述空间线索参数而确定的系数来响应于所述输入信号生成Y个离散混响通道信号,使得时刻t的每个所述混响通道信号是所述时刻t的所述X个单独的音频通道的值的至少子集的线性组合;以及
混响应用子系统,其被耦合至所述第一子系统,并且被配置为将混响单独应用到至少两个所述混响通道信号中的每个,从而生成Y个混响通道信号的集合。
18.根据权利要求17所述的混响器,其中,所述混响应用子系统包括Y个分支,每个所述分支被配置为将混响单独应用到所述混响通道信号中的一个不同的混响通道信号。
19.根据权利要求17所述的混响器,其中,所述混响应用子系统是包括Y个分支的反馈延迟网络,每个所述分支被配置为将混响单独应用到所述混响通道信号中的一个不同的混响通道信号。
20.根据权利要求17至19中任意一项所述的混响器,其中,所述混响应用子系统被配置为应用所述混响,使得被应用到至少一个所述混响通道信号的所述混响具有与被应用到至少一个另外的所述混响通道信号的混响不同的混响脉冲响应。
21.根据权利要求17至20中任意一项所述的混响器,其中,所述输入信号是M通道MPEG环绕下混信号,而所述空间线索参数包括通道水平差参数、通道预测系数参数以及通道间互相关参数中的至少一些。
22.根据权利要求17至21中任意一项所述的混响器,其中,所述空间线索参数包括通道水平差参数、通道预测系数参数以及通道间互相关参数。
23.根据权利要求17至20中任意一项所述的混响器,其中,所述输入信号是包括QMF域频率分量的M个序列的QMF域MPEG环绕下混信号,而所述空间线索参数包括通道水平差参数、通道预测系数参数以及通道间互相关参数中的至少一些。
24.根据权利要求23所述的混响器,其中,所述空间线索参数包括通道水平差参数、通道预测系数参数以及通道间互相关参数。
25.根据权利要求17所述的混响器,其中,所述下混音频输入信号是QMF域频率分量的M个序列的集合,所述混响器还包括:
时域至QMF域转换滤波器,其被耦合以接收时域MPEG环绕下混信号,并且被配置为响应于所述时域MPEG环绕下混信号而产生QMF域频率分量的M个序列,并且其中所述上混子系统被耦合且被配置为在所述QMF域中上混所述QMF域频率分量的M个序列。
26.根据权利要求17至25中任意一项所述的混响器,还包括:
后混子系统,其被耦合并且被配置为下混所述混响通道信号,从而生成N通道下混混响音频信号,其中N是小于Y的数。
27.根据权利要求26所述的混响器,其中M=2、Y=4,且N=2。
28.根据权利要求17至26中任意一项所述的混响器,其中M=2且Y=4。
29.根据权利要求17至28中任意一项所述的混响器,还包括:
头部相关传递函数滤波器,其被耦合并且被配置为将至少一个头部相关传递函数应用到所述混响通道信号中的每个。
30.根据权利要求29所述的混响器,其中M=1。
31.根据权利要求17至30中任意一项所述的混响器,还包括:
后混子系统,其被耦合并被配置为下混所述混响通道信号并将至少一个头部相关传递函数应用到所述混响通道信号中的每个,从而生成N通道下混混响音频信号,其中N是小于Y的数。
32.根据权利要求17至31中任意一项所述的混响器,其中,所述混响应用子系统包括:
Y个延迟和增益单元的集合,其具有设置了所述混响通道信号的Y个输出并具有Y个输入;
Y个加法单元的集合,所加法单元的每个具有耦合至所述滤波器的不同输出的第一输入、被耦合以接收所述混响通道信号中的一个不同的混响通道信号的第二输入、以及输出;
散射矩阵,其具有矩阵输入和矩阵输出,所述矩阵输入被耦合至所述加法单元的所述输出,而所述矩阵输出被耦合至所述延迟和增益单元的所述输入,其中,所述散射矩阵被配置为将每个所述加法单元的经滤波的所述输出设置到所述延迟和增益单元中的相应的一个延迟和增益单元的所述输入。
33.根据权利要求32所述的混响器,还包括:
后混子系统,其被耦合至所述延迟和增益单元的所述输出,且被耦合以接收所述空间线索参数的至少子集,并且被配置为响应于所述空间线索参数的至少子集来下混所述混响通道信号,从而生成N通道下混混响音频信号,其中N是小于Y的数。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE0802629-6 | 2008-12-19 | ||
SE0802629 | 2008-12-19 | ||
US17285509P | 2009-04-27 | 2009-04-27 | |
US61/172,855 | 2009-04-27 | ||
PCT/EP2009/067350 WO2010070016A1 (en) | 2008-12-19 | 2009-12-16 | Method and apparatus for applying reverb to a multi-channel audio signal using spatial cue parameters |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102257562A true CN102257562A (zh) | 2011-11-23 |
CN102257562B CN102257562B (zh) | 2013-09-11 |
Family
ID=41796192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009801511567A Active CN102257562B (zh) | 2008-12-19 | 2009-12-16 | 用空间线索参数对多通道音频信号应用混响的方法和装置 |
Country Status (8)
Country | Link |
---|---|
US (1) | US8965000B2 (zh) |
EP (1) | EP2377123B1 (zh) |
JP (1) | JP5524237B2 (zh) |
KR (1) | KR101342425B1 (zh) |
CN (1) | CN102257562B (zh) |
BR (1) | BRPI0923174B1 (zh) |
RU (1) | RU2509442C2 (zh) |
WO (1) | WO2010070016A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105325013A (zh) * | 2013-05-29 | 2016-02-10 | 高通股份有限公司 | 具有立体声房间脉冲响应的滤波 |
CN105916095A (zh) * | 2016-05-31 | 2016-08-31 | 音曼(北京)科技有限公司 | 反馈延迟网络音色优化的方法 |
CN106415712A (zh) * | 2014-05-30 | 2017-02-15 | 高通股份有限公司 | 获得用于高阶立体混响音频渲染器的稀疏性信息 |
CN107231599A (zh) * | 2017-06-08 | 2017-10-03 | 北京奇艺世纪科技有限公司 | 一种3d声场构建方法和vr装置 |
CN107770717A (zh) * | 2014-01-03 | 2018-03-06 | 杜比实验室特许公司 | 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9536529B2 (en) * | 2010-01-06 | 2017-01-03 | Lg Electronics Inc. | Apparatus for processing an audio signal and method thereof |
CN103210668B (zh) * | 2010-09-06 | 2016-05-04 | 杜比国际公司 | 用于多通道音频再生的向上混合方法及系统 |
EP2541542A1 (en) | 2011-06-27 | 2013-01-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for determining a measure for a perceived level of reverberation, audio processor and method for processing a signal |
CN103890841B (zh) * | 2011-11-01 | 2017-10-17 | 皇家飞利浦有限公司 | 音频对象编码和解码 |
US9131313B1 (en) | 2012-02-07 | 2015-09-08 | Star Co. | System and method for audio reproduction |
US9602927B2 (en) * | 2012-02-13 | 2017-03-21 | Conexant Systems, Inc. | Speaker and room virtualization using headphones |
EP2637427A1 (en) | 2012-03-06 | 2013-09-11 | Thomson Licensing | Method and apparatus for playback of a higher-order ambisonics audio signal |
JP6013646B2 (ja) * | 2013-04-05 | 2016-10-25 | ドルビー・インターナショナル・アーベー | オーディオ処理システム |
CN104982042B (zh) | 2013-04-19 | 2018-06-08 | 韩国电子通信研究院 | 多信道音频信号处理装置及方法 |
CN108806704B (zh) | 2013-04-19 | 2023-06-06 | 韩国电子通信研究院 | 多信道音频信号处理装置及方法 |
US9319819B2 (en) * | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
TWI671734B (zh) | 2013-09-12 | 2019-09-11 | 瑞典商杜比國際公司 | 在包含三個音訊聲道的多聲道音訊系統中之解碼方法、編碼方法、解碼裝置及編碼裝置、包含用於執行解碼方法及編碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置及編碼裝置的音訊系統 |
US10580417B2 (en) * | 2013-10-22 | 2020-03-03 | Industry-Academic Cooperation Foundation, Yonsei University | Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain |
CN104768121A (zh) | 2014-01-03 | 2015-07-08 | 杜比实验室特许公司 | 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频 |
KR102302672B1 (ko) | 2014-04-11 | 2021-09-15 | 삼성전자주식회사 | 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
US20170142178A1 (en) * | 2014-07-18 | 2017-05-18 | Sony Semiconductor Solutions Corporation | Server device, information processing method for server device, and program |
WO2016148553A2 (ko) * | 2015-03-19 | 2016-09-22 | (주)소닉티어랩 | 3차원 사운드를 편집 및 제공하는 방법 및 장치 |
AU2016311335B2 (en) | 2015-08-25 | 2021-02-18 | Dolby International Ab | Audio encoding and decoding using presentation transform parameters |
CN108665902B (zh) * | 2017-03-31 | 2020-12-01 | 华为技术有限公司 | 多声道信号的编解码方法和编解码器 |
CN108694955B (zh) | 2017-04-12 | 2020-11-17 | 华为技术有限公司 | 多声道信号的编解码方法和编解码器 |
EP3518556A1 (en) | 2018-01-24 | 2019-07-31 | L-Acoustics UK Limited | Method and system for applying time-based effects in a multi-channel audio reproduction system |
US11544032B2 (en) * | 2019-01-24 | 2023-01-03 | Dolby Laboratories Licensing Corporation | Audio connection and transmission device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007096808A1 (en) * | 2006-02-21 | 2007-08-30 | Koninklijke Philips Electronics N.V. | Audio encoding and decoding |
US20070223749A1 (en) * | 2006-03-06 | 2007-09-27 | Samsung Electronics Co., Ltd. | Method, medium, and system synthesizing a stereo signal |
US20070280485A1 (en) * | 2006-06-02 | 2007-12-06 | Lars Villemoes | Binaural multi-channel decoder in the context of non-energy conserving upmix rules |
US20080037795A1 (en) * | 2006-08-09 | 2008-02-14 | Samsung Electronics Co., Ltd. | Method, medium, and system decoding compressed multi-channel signals into 2-channel binaural signals |
CN101263742A (zh) * | 2005-09-13 | 2008-09-10 | 皇家飞利浦电子股份有限公司 | 音频编码 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2038704C1 (ru) | 1993-08-12 | 1995-06-27 | Владимир Анатольевич Ефремов | Пространственная звуковоспроизводящая система |
JP4304401B2 (ja) * | 2000-06-07 | 2009-07-29 | ソニー株式会社 | マルチチャンネルオーディオ再生装置 |
SE0202159D0 (sv) | 2001-07-10 | 2002-07-09 | Coding Technologies Sweden Ab | Efficientand scalable parametric stereo coding for low bitrate applications |
AU2003209957A1 (en) * | 2002-04-10 | 2003-10-20 | Koninklijke Philips Electronics N.V. | Coding of stereo signals |
SE0301273D0 (sv) | 2003-04-30 | 2003-04-30 | Coding Technologies Sweden Ab | Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods |
US7949141B2 (en) * | 2003-11-12 | 2011-05-24 | Dolby Laboratories Licensing Corporation | Processing audio signals with head related transfer function filters and a reverberator |
WO2006003957A1 (ja) | 2004-06-30 | 2006-01-12 | Pioneer Corporation | 残響調整装置、残響調整方法、残響調整プログラムおよびそれを記録した記録媒体、並びに、音場補正システム |
CA2572805C (en) | 2004-07-02 | 2013-08-13 | Matsushita Electric Industrial Co., Ltd. | Audio signal decoding device and audio signal encoding device |
US8204261B2 (en) | 2004-10-20 | 2012-06-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Diffuse sound shaping for BCC schemes and the like |
US20070055510A1 (en) * | 2005-07-19 | 2007-03-08 | Johannes Hilpert | Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding |
JP4921470B2 (ja) * | 2005-09-13 | 2012-04-25 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 頭部伝達関数を表すパラメータを生成及び処理する方法及び装置 |
US7917561B2 (en) | 2005-09-16 | 2011-03-29 | Coding Technologies Ab | Partially complex modulated filter bank |
KR100754220B1 (ko) | 2006-03-07 | 2007-09-03 | 삼성전자주식회사 | Mpeg 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법 |
EP1994796A1 (en) | 2006-03-15 | 2008-11-26 | Dolby Laboratories Licensing Corporation | Binaural rendering using subband filters |
ATE532350T1 (de) | 2006-03-24 | 2011-11-15 | Dolby Sweden Ab | Erzeugung räumlicher heruntermischungen aus parametrischen darstellungen mehrkanaliger signale |
JP2007336080A (ja) * | 2006-06-13 | 2007-12-27 | Clarion Co Ltd | 音響補正装置 |
JP4850628B2 (ja) * | 2006-08-28 | 2012-01-11 | キヤノン株式会社 | 記録装置 |
US8670570B2 (en) | 2006-11-07 | 2014-03-11 | Stmicroelectronics Asia Pacific Pte., Ltd. | Environmental effects generator for digital audio signals |
US8363843B2 (en) * | 2007-03-01 | 2013-01-29 | Apple Inc. | Methods, modules, and computer-readable recording media for providing a multi-channel convolution reverb |
DE102007018032B4 (de) | 2007-04-17 | 2010-11-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Erzeugung dekorrelierter Signale |
JP2008301427A (ja) | 2007-06-04 | 2008-12-11 | Onkyo Corp | マルチチャンネル音声再生装置 |
-
2009
- 2009-12-16 CN CN2009801511567A patent/CN102257562B/zh active Active
- 2009-12-16 KR KR1020117016794A patent/KR101342425B1/ko active IP Right Grant
- 2009-12-16 BR BRPI0923174-9A patent/BRPI0923174B1/pt active IP Right Grant
- 2009-12-16 EP EP09801205.7A patent/EP2377123B1/en active Active
- 2009-12-16 JP JP2011541416A patent/JP5524237B2/ja active Active
- 2009-12-16 RU RU2011129154/08A patent/RU2509442C2/ru active
- 2009-12-16 US US13/132,321 patent/US8965000B2/en active Active
- 2009-12-16 WO PCT/EP2009/067350 patent/WO2010070016A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101263742A (zh) * | 2005-09-13 | 2008-09-10 | 皇家飞利浦电子股份有限公司 | 音频编码 |
WO2007096808A1 (en) * | 2006-02-21 | 2007-08-30 | Koninklijke Philips Electronics N.V. | Audio encoding and decoding |
US20070223749A1 (en) * | 2006-03-06 | 2007-09-27 | Samsung Electronics Co., Ltd. | Method, medium, and system synthesizing a stereo signal |
US20070280485A1 (en) * | 2006-06-02 | 2007-12-06 | Lars Villemoes | Binaural multi-channel decoder in the context of non-energy conserving upmix rules |
US20080037795A1 (en) * | 2006-08-09 | 2008-02-14 | Samsung Electronics Co., Ltd. | Method, medium, and system decoding compressed multi-channel signals into 2-channel binaural signals |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105325013A (zh) * | 2013-05-29 | 2016-02-10 | 高通股份有限公司 | 具有立体声房间脉冲响应的滤波 |
US9674632B2 (en) | 2013-05-29 | 2017-06-06 | Qualcomm Incorporated | Filtering with binaural room impulse responses |
CN105325013B (zh) * | 2013-05-29 | 2017-11-21 | 高通股份有限公司 | 具有立体声房间脉冲响应的滤波 |
CN107770717A (zh) * | 2014-01-03 | 2018-03-06 | 杜比实验室特许公司 | 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频 |
CN107770717B (zh) * | 2014-01-03 | 2019-12-13 | 杜比实验室特许公司 | 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频 |
CN106415712A (zh) * | 2014-05-30 | 2017-02-15 | 高通股份有限公司 | 获得用于高阶立体混响音频渲染器的稀疏性信息 |
CN106415712B (zh) * | 2014-05-30 | 2019-11-15 | 高通股份有限公司 | 用于渲染高阶立体混响系数的装置和方法 |
CN105916095A (zh) * | 2016-05-31 | 2016-08-31 | 音曼(北京)科技有限公司 | 反馈延迟网络音色优化的方法 |
CN107231599A (zh) * | 2017-06-08 | 2017-10-03 | 北京奇艺世纪科技有限公司 | 一种3d声场构建方法和vr装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5524237B2 (ja) | 2014-06-18 |
KR20110122667A (ko) | 2011-11-10 |
US8965000B2 (en) | 2015-02-24 |
EP2377123A1 (en) | 2011-10-19 |
RU2509442C2 (ru) | 2014-03-10 |
KR101342425B1 (ko) | 2013-12-17 |
EP2377123B1 (en) | 2014-10-29 |
CN102257562B (zh) | 2013-09-11 |
JP2012513138A (ja) | 2012-06-07 |
US20110261966A1 (en) | 2011-10-27 |
BRPI0923174B1 (pt) | 2020-10-06 |
WO2010070016A1 (en) | 2010-06-24 |
RU2011129154A (ru) | 2013-01-27 |
BRPI0923174A2 (pt) | 2016-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102257562B (zh) | 用空间线索参数对多通道音频信号应用混响的方法和装置 | |
CN101263742B (zh) | 音频编码 | |
JP5269039B2 (ja) | オーディオエンコード及びデコード | |
JP5081838B2 (ja) | オーディオ符号化及び復号 | |
EP1999999B1 (en) | Generation of spatial downmixes from parametric representations of multi channel signals | |
JP5455647B2 (ja) | オーディオデコーダ | |
CN102124513B (zh) | 用于确定转换的空间音频信号的装置 | |
RU2759160C2 (ru) | УСТРОЙСТВО, СПОСОБ И КОМПЬЮТЕРНАЯ ПРОГРАММА ДЛЯ КОДИРОВАНИЯ, ДЕКОДИРОВАНИЯ, ОБРАБОТКИ СЦЕНЫ И ДРУГИХ ПРОЦЕДУР, ОТНОСЯЩИХСЯ К ОСНОВАННОМУ НА DirAC ПРОСТРАНСТВЕННОМУ АУДИОКОДИРОВАНИЮ | |
JP5643180B2 (ja) | 多チャンネルオーディオ信号処理装置、多チャンネルオーディオ信号処理方法、圧縮効率向上方法及び多チャンネルオーディオ信号処理システム | |
US8577686B2 (en) | Method and apparatus for decoding an audio signal | |
CA2610430C (en) | Channel reconfiguration with side information | |
CN101543098B (zh) | 产生输出信号的去相关器和方法以及产生多声道输出信号的音频解码器 | |
US8433583B2 (en) | Audio decoding | |
US20070183601A1 (en) | Method, device, encoder apparatus, decoder apparatus and audio system | |
CN101529501A (zh) | 多声道下混对象编码的增强编码和参数表示 | |
CN104246873A (zh) | 用于编码多声道音频信号的参数编码器 | |
KR20090053958A (ko) | 멀티 채널 파라미터 변환 장치 및 방법 | |
MX2012008119A (es) | Aparato y metodo para extraer una señal directa/de ambiente de una señal de mezcla descendente e informacion parametrica espacial. | |
JP4988716B2 (ja) | オーディオ信号のデコーディング方法及び装置 | |
JP2006323314A (ja) | マルチチャネル音声信号をバイノーラルキュー符号化する装置 | |
JP2007104601A (ja) | マルチチャンネル符号化における頭部伝達関数をサポートするための装置 | |
Annadana et al. | New Enhancements to Immersive Sound Field Rendition (ISR) System | |
MX2008008829A (en) | Decoding of binaural audio signals | |
MX2008008424A (es) | Decodificacion de señales de audio binaurales |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |