CN105765652A - 用于生成下混音信号的构思 - Google Patents

用于生成下混音信号的构思 Download PDF

Info

Publication number
CN105765652A
CN105765652A CN201480053053.8A CN201480053053A CN105765652A CN 105765652 A CN105765652 A CN 105765652A CN 201480053053 A CN201480053053 A CN 201480053053A CN 105765652 A CN105765652 A CN 105765652A
Authority
CN
China
Prior art keywords
signal
input signal
equipment
input
energy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480053053.8A
Other languages
English (en)
Other versions
CN105765652B (zh
Inventor
亚历山大·阿达米
伊曼纽尔·哈比兹
于尔根·赫勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN105765652A publication Critical patent/CN105765652A/zh
Application granted granted Critical
Publication of CN105765652B publication Critical patent/CN105765652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1

Abstract

一种用于将第一输入信号(X1)和第二输入信号(X2)下混音为下混音信号(XD)的音频信号处理设备(1)包括:相异性提取器(2),被配置为接收第一输入信号(X1)和第二输入信号(X2)并且输出提取的信号(),其中与第二输入信号(X2)相比,提取的信号()与第一输入信号(X1)较不相关;以及组合器(3),被配置为对第一输入信号(X1)和提取的信号()进行组合以获得下混音信号(XD)。

Description

用于生成下混音信号的构思
技术领域
本发明涉及音频信号处理,具体地,涉及将多个输入信号下混音为下混音信号。
背景技术
在信号处理中,通常必须将两个或更多个信号混音为一个和信号。混音过程通常伴随着一些信号损坏,特别是在要混音的两个信号包含类似但相移的信号部分的情况。如果对这些信号进行求和,则由此产生的信号包含严重的梳状滤波器伪影。为了防止这些伪影,已经提出了不同的方法,这些方法在在计算复杂度方面的代价非常高或者基于将校正增益或校正项应用于已经受损的信号。
将多声道音频信号转换为较少量的声道通常意味着对数个音频声道进行混音。例如,ITU推荐使用具有静态增益的时域无源混音矩阵以从特定的多声道设置下转换为另一个多声道设置[1]。在[2]中,提出了非常类似的方法。
为了提高对话清晰度,在[3]中提出了使用基于ITU的下混音和基于矩阵的下混音的组合方法。此外,音频编码器例如在一些参数模块中利用声道的无源下混音[4、5、6]。
[7]中描述的方法对每一个输入和输出声道(即,在混音过程之前和之后的每一个单个声道)执行音量测量。通过获得输入能量之和(即,假定要混音的声道的能量)和输出能量(即,经混音的声道的能量)之比,可以得到增益,从而减小信号能量损耗和染色效应。
[8]中所述的方法执行无源下混音,然后无源下混音被转换到频域。然后,通过空间校正级对下混音进行分析,其中空间校正级试图检测任何空间不一致性并通过对声道间电平差和声道间相位差进行修改来校正该空间不一致性。然后,向信号应用均衡器以确保下混音信号具有与输入信号相同的功率。在最后一个步骤中,将下混音信号转换回时域。
在[9、10]中公开了不同的方法,其中,要下混音的两个信号被转换到频域并且构建期望/实际的值对。期望值作为单个能量之和的根来计算,而实际值作为和信号的能量的根来计算。然后,对两个值进行比较,并且根据实际值大于还是小于期望值,对实际值应用不同的校正。
备选地,存在目的是对齐信号的相位使得不会由于相位差而出现信号抵消效应的方法。例如针对参数立体声编码器提出了这些方法[11、12、13]。
在[1、2、3、4、5、6]中进行的无源下混音是对信号进行混音的最直接的方法。但是,如果不采取进一步动作,则由此产生的下混音信号可能遭受严重的信号损耗和梳状滤波效应。
[7、8、9、10]中所述的方法在第一步骤中在对两个信号进行等同混音的意义上执行无源下混音。此后,对经下混音的信号应用一些校正。这可以帮助减小梳状滤波器效应,但是另一方面,将引入调制伪影。这是由于随着时间快速地改变校正增益/校正项引起的。此外,要下混音的信号之间180度的相移仍然导致零值下混音,并且不能通过应用例如校正增益来得到补偿。
例如[11、12、13]中提到的相位对齐方法可以帮助避免不期望的信号抵消;但是由于仍然对经相位对齐的信号执行简单的相加过程,因此如果未对相位进行正确的估计,则可能出现梳状滤波器和抵消。此外,鲁棒地估计两个信号之间的相位关系并不是一项容易的任务,并且计算量很大,特别是在针对多于两个信号执行该过程的情况下。
发明内容
本发明的目的是提供将多个输入信号下混音为下混音信号的改进构思。
该目的是通过根据权利要求1所述的设备、根据权利要求16所述的系统、根据权利要求17所述的方法或根据权利要求18所述的计算机程序来实现的。
提供了一种用于将第一输入信号和第二输入信号下混音为下混音信号的音频信号处理设备,其中第一输入信号(X1)和第二输入信号(X2)至少部分地相关,所述音频信号处理设备包括:
相异性提取器,被配置为接收第一输入信号和第二输入信号并且输出提取的信号,其中与第二输入信号相比,提取的信号与所述第一输入信号较不相关,以及
组合器,被配置为对第一输入信号和提取的信号进行组合以获得下混音信号。
将在时频域中描述该设备,但是所有考虑对于时域信号也成立。第一输入信号和第二输入信号是要混音的信号,其中第一输入信号用作参考信号。两个信号被馈送到相异性提取器,在相异性提取器中,第二输入信号的关于第一输入信号的相关信号部分被拒绝并且仅第二输入信号的不相关信号部分被传送到提取器的输出端。
所提出的构思的改进在于对信号进行混音的方式。在第一步骤中,一个信号被选择用作参考。然后,确定参考信号的哪一部分已经存在于另一信号中,并且仅不存在于参考信号的那些部分(即,不相关信号)被添加到参考以构建下混音信号。因为仅关于参考的低相关信号部分或不相关信号部分与参考进行组合,因此使引入梳状滤波器效应的风险最小化。
总的来说,提出了将两个信号混音为一个下混音信号的新颖构思。该新颖方法的目的在于防止如梳状滤波一样产生下混音伪影。此外,所提出的方法的计算效率较高。
在本发明的一些实施例中,组合器包括能量缩放系统,所述能量缩放系统被配置为使得下混音的能量与第一输入信号和第二输入信号的总和能量之比与第一输入信号和第二输入信号的相关性无关。这种能量缩放设备可以确保下混音过程是能量守恒的(即,下混音信号包含与原始立体声信号相同的能量)或者至少确保感知的声音保持相同,而与第一输入信号和第二输入信号的相关性无关。
在本发明的实施例中,能量缩放系统包括第一能量缩放设备,所述第一能量缩放设备被配置为基于第一比例因子对第一输入信号进行缩放以获得经缩放的输入信号。
在本发明的一些实施例中,能量缩放系统包括第一比例因子供应器,所述第一比例因子供应器被配置为提供第一比例因子,其中第一比例因子供应器优选地被设计为处理器,所述处理器被配置为根据第一输入信号、第二输入信号、提取的信号和/或提取的信号的比例因子来计算第一比例因子。在下混音期间,可以自动地对参考信号(第一输入信号)进行缩放以使总能量水平守恒或者使能量水平与输入信号的相关性无关。
在本发明的实施例中,能量缩放系统包括第二能量缩放设备,所述第二能量缩放设备被配置为基于第二比例因子对提取的信号进行缩放,以获得经缩放的提取信号。
在本发明的一些实施例中,能量缩放系统包括第二比例因子供应器,所述第二比例因子供应器被配置为提供第二比例因子,其中,所述第二比例因子供应器优选地被设计为人机界面,所述人机界面被配置用于手动地输入第二比例因子。
第二比例因子可以被视为均衡器。通常,这可以是依赖于频率来完成的,并且在优选的实施例中,这可以是由录音师手动完成的。当然,许多不同的混音比例是可能的,并且这些混音比例高度依赖于录音师的经验和/或品味。
备选地,第二比例因子供应器优选地被设计为处理器,所述处理器被配置为根据第一输入信号、第二输入信号和/或提取的信号来计算第一比例因子。
在本发明的一些实施例中,组合器包括求和设备,所述求和设备用于基于第一输入信号并且基于提取的信号来输出下混音信号。因为仅向参考添加关于参考的低相关信号部分或者甚至不相关信号部分,因此使引入梳状滤波器效应的风险最小化。此外,使用求和设备的计算效率很高。
在本发明的一些实施例中,相异性提取器包括:相似性估计器,所述相似性估计器被配置为提供用于根据第一输入信号获得第一输入信号的存在于第二输入信号中的信号部分的滤波器系数;以及相似性减小器,被配置为基于滤波器系数来减小第一输入信号的存在于第二输入信号中的信号部分。在这些实现中,相异性提取器由两个子级构成:相似性估计器和相似性减小器。第一输入信号和第二输入信号被馈送到相似性估计级,在相似性估计级,估计第一输入信号的存在于第二输入信号中的信号部分并通过由此产生的滤波器系数来表示第一输入信号的存在于第二输入信号中的信号部分。滤波器系数、第一输入信号和第二输入信号被馈送到相似性减小器,在相似性减小器中,第二输入信号的与第一输入信号相似的信号部分被分别抑制和/或抵消。其结果是提取的信号,提取的信号是对第二输入信号关于第一输入信号的不相关信号部分的估计。
在本发明的一些实施例中,相似性减小器包括抵消级,所述抵消级具有信号抵消设备,所述信号抵消设备被配置为从第二输入信号中或者从根据第二输入信号得到的信号中减去所获得的第一输入信号的存在于第二输入信号中的信号部分或者根据所获得的信号部分得到的信号。该构思与在自适应噪声抵消的主题中使用的方法有关,但是区别在于,该方法并不是如最初期望的那样用于抵消噪声或不相关的分量,而是抵消相关的信号部分,其结果是提取的信号。
在本发明的一些实施例中,抵消级包括复滤波器设备,所述复滤波器设备被配置为通过使用复值滤波器系数来对第一输入信号进行滤波。该方法的优点在于可以对相移进行建模。
在本发明的一些实施例中,抵消级包括相移设备,所述相移设备被配置为将第二输入信号的相位与第一输入信号的相位对齐。针对第一输入信号和第二输入信号之间的反相,除了第一输入信号的突然信号下降之外,在下混音信号中还可能出现相位跳变和信号抵消效应。可以通过将第二输入信号的相位与第一输入信号的相位对齐来显著减小该效应。这种抵消级可以被称作逆相位对齐抵消级。
在本发明的一些实施例中,相似性减小器包括信号抑制级,所述信号抑制级具有信号抑制设备,所述信号抑制设备被配置为将第二输入信号与抑制增益因子相乘以获得提取的信号。已经观察到可以通过这些特征减小由于滤波器系数的估计误差引起的可听失真。
在本发明的一些实施例中,信号抑制级包括相移设备,所述相移设备被配置为将第二输入信号的相位与第一输入信号的相位对齐。抑制增益是实值,因此对两个输入信号的相位关系没有影响,但是因为无论如何必须对复值滤波器系数进行估计,因此可以得到关于输入信号之间的相对相位的附加信息。该信息可以用于将第二输入信号的相位向第一输入信号的相位调整。这可以是在应用抑制增益之前在信号抑制级中完成的,其中第二输入信号的相位移位了上文提到的复值滤波器因子的估计相位。这种抑制级可以称作逆相位对齐抑制级。
在本发明的一些实施例中,抵消级的输出信号被馈送到信号抑制级的输入端以获得提取的信号,或者信号抑制级的输出信号被馈送到抵消级的输入端以获得提取的信号。对相干信号分量使用抵消以及抑制的组合方法可以用于进一步提高下混音信号的质量。可以通过首先执行抵消过程然后应用抑制过程来获得由此产生的下混音信号。在其他实施例中,可以通过首先执行抑制过程然后应用抵消过程来获得由此产生的下混音信号。通过这种方式,可以进一步减小提取的信号中与第一信号有关的信号部分。可以如前所述对提取的信号以及第一输入信号进行能量缩放。
在本发明的一些实施例中,在从第二输入信号中提取出第一输入信号的存在于第二输入信号中的信号部分之前,根据加权因子对该信号部分进行加权。加权因子通常可以是依赖于时间和频率的,但是也可以被选择为常数。在一些实施例中,这里也可以使用具有较小修改的逆相位对齐抵消模块:类似地,必须在使用滤波器系数的绝对值进行滤波之后,完成使用加权因子进行加权。
在本发明的一些实施例中,相移设备被配置为根据加权因子将第二输入信号的相位与第一输入信号的相位对齐。
在本发明的一些实施例中,相移设备被配置为仅当加权因子小于或等于预定义的阈值时才将第二输入信号的相位与第一输入信号的相位对齐。
本发明还涉及一种用于将多个输入信号下混音为下混音信号的音频信号处理系统,该音频信号处理系统至少包括根据本发明的第一设备和根据本发明的第二设备,其中,第一设备的下混音信号作为第一输入信号或第二输入信号被馈送到第二设备。为了对多个输入声道进行下混音,可以使用级联的多个双声道下混音设备。
此外,本发明涉及一种用于将第一输入信号和第二输入信号下混音为下混音信号的方法,包括以下步骤:
估计不相关信号,该不相关信号是第二输入信号的分量并且与第一输入信号不相关,以及
对第一输入信号和不相关信号进行求和以获得下混音信号。
此外,本发明涉及一种计算机程序,用于当在计算机或信号处理器上执行时执行根据本发明的方法。
附图说明
接下来参照附图讨论优选的实施例,在附图中:
图1示出了音频信号处理设备的第一实施例;
图2更详细地示出了第一实施例;
图3示出了第一实施例的相似性减小器和组合器;
图4示出了第二实施例的相似性减小器;
图5示出了第三实施例的相似性减小器和组合器;
图6示出了第四实施例的相似性减小器;
图7示出了第五实施例的相似性减小器和组合器;
图8示出了第六实施例的相似性减小器和组合器;以及
图9示出了级联的多个音频信号处理设备。
具体实施方式
图1示出了所提出的新颖的下混音设备1的高层次系统描述。在时频域中描述了该设备,其中,k和m分别对应于频率索引和时间索引,但是所有考虑对于时域信号也是成立的。第一输入信号X1(k,m)和第二输入信号X2(k,m)是要混音的输入信号,其中第一输入信号X1(k,m)可以用作参考信号。信号X1(k,m)和X2(k,m)二者被馈送到相异性提取器2,在相异性提取器2中,关于X1(k,m)和X2(k,m)的相关的信号部分被拒绝或者至少被减小,并且仅不相关的信号或低相关的部分被提取并传送到提取器的输出端。然后,使用第一能量缩放设备4对第一输入信号X1(k,m)进行缩放,以满足某一预定义的能量约束,其结果是经缩放的参考信号X1s(k,m)。由比例因子供应器5提供必要的比例因子也可以使用第二能量缩放设备6对提取的信号部分进行缩放,其结果是经缩放的不相关信号部分由第二比例因子供应器7提供相应的比例因子优选地,可以由录音师手动地确定比例因子使用求和设备8对经缩放的信号X1s(k,m)和二者进行求和,以形成期望的下混音信号
图2示出了所提出的设备1的中层次系统描述。在一些实现中,相异性提取器2由两个子级构成:如图2所示的相似性估计器9和相似性减小器10。第一输入信号X1(k,m)和第二输入信号X2(k,m)被馈送到相似性估计级9,在相似性估计级9,估计X1(k,m)的存在于X2(k,m)中的信号部分并通过由此产生的滤波器系数Wk(l)来表示X1(k,m)的存在于X2(k,m)中的信号部分,其中l=0...L-1,并且L是滤波器长度。滤波器系数Wk(l)、第一输入信号X1(k,m)和第二输入信号X2(k,m)被馈送到相似性减小器10,在相似性减小器10中,X2(k,m)的与X1(k,m)相似的信号部分被分别至少部分地抑制和/或抵消。其结果是残差信号残差信号是对X2(k,m)关于X1(k,m)的不相关信号部分的估计。
信号模型假定第二输入信号X2(k,m)是第一输入信号X1(k,m)的加权或滤波后的版本W′(k,m)X1(k,m)与初始未知的独立信号U2(k,m)的混音物,其中因此,X2(k,m)被认为是由关于X1(k,m)的相关信号部分和不相关信号部分之和构成:
X2(k,m)=W′(k,m)·X1(k,m)+U2(k,m)(1)
大写字母指示经频率转换的信号,并且k和m分别是频率索引和时间索引。现在,可以将期望的下混音信号定义为:
X ~ D ( k , m ) = G E x ( k , m ) X 1 ( k , m ) + G E u ( k , m ) U ^ 2 ( k , m ) , - - - ( 2 )
其中,是U2(k,m)的估计,并且其中是用于根据预定义约束来调整参考信号X1(k,m)和另一输入信号X2(k,m)的提取的信号部分的能量的比例因子。此外,它们可以用于对信号进行均衡。在一些场景中,这可能成为必须,特别是对于而言。在本文的其余部分中,为了清楚起见,将省略时频索引(k,m)。
最重要的目的是获得与X1不相关的信号分量U2。这可以通过以下方式来完成:利用在自适应噪声抵消的主题中使用的方法,但是区别在于,该方法并不是如最初期望的那样用于抵消噪声或不相关的分量,而是抵消相关的信号部分,其结果是对U2的估计
图3示出了这种系统的第一实施例的组合器3和具有抵消级10a的相似性减小器10。该方法的优点在于允许W是复数因此可以对相移进行建模。
U ^ 2 = X 2 - WX 1 - - - ( 3 )
为了确定需要针对初始未知的复增益W′的估计的复增益W。这是通过在最小均方(MMS)的意义上对提取的信号的能量进行最小化来完成的:
J ( W ) = E { | X 2 - WX 1 | 2 } = E { ( X 2 - WX 1 ) ( X 2 - WX 1 ) * } = E { X 2 X 2 * - X 2 W * X 1 * - WX 1 X 2 * + WX 1 W * X 1 * } - - - ( 4 )
将J(W)关于W*的偏导数设置为0导致期望的滤波器系数,即:
∂ ∂ W * J ( W ) = E { X 2 X 1 * } - W E { | X 1 | 2 } = ! 0 - - - ( 5 )
⇒ W = E { X 2 X 1 * } E { | X 1 | 2 } . - - - ( 6 )
在一个实施例中,在图3中通过灰色虚线矩形重点突出的抵消块10a可以由如图4所示的逆相位对齐抵消块10a’来替换,在图4中,抵消级10a’包括相移设备13和绝对滤波器设备11’,相移设备13被配置为将第二输入信号X2的相位与第一输入信号X1的相位对齐,并且绝对滤波器设备11’被配置为通过使用绝对值滤波器系数|W|来对经对齐的第一输入信号X′2进行滤波。
针对第一输入信号X1和第二输入信号X2的反相,除了第一输入信号X1的突然信号下降之外,在下混音信号中还可能出现相位跳变和信号抵消效应。可以通过将第二输入信号X2的相位与第一输入信号X1的相位对齐来显著减小该效应。此外,仅使用W的绝对值来对X1进行滤波并且因而还执行抵消。
图5示出了第三实施例的相似性减小器10和组合器3,其中,相似性减小器10包括信号抑制级10b,信号抑制级10b具有信号抑制设备14,信号抑制设备14被配置为将第二输入信号X2与抑制增益因子(G)相乘以获得提取的信号
实际上,使用(3)获得的提取的信号可能由于复增益W中的估计误差而包含可听的失真。作为一种备选方式,可以得到用于在最小均方误差(MMSE)的意义上获得对U2的估计的估计器9(参见图2)。图5示出了所提出的方法的框图。
然后,通过下式给出提取的信号
G = arg G min E { | U 2 - U ^ 2 | 2 } G ∈ R - - - ( 8 )
J ( G ) = E { | U 2 - U ^ 2 | 2 } = E { | U 2 - GX 2 | 2 } = E { | U 2 - GWX 1 - GU 2 | 2 } = E { ( U 2 - GWX 1 - GU 2 ) ( U 2 - GWX 1 - GU 2 ) * } = E { | U 2 | 2 } - G E { | U 2 | 2 } + G 2 E { | WX 1 | 2 } - G E { | U 2 | 2 } + G 2 E { | U 2 | 2 = Φ U 2 ( 1 - 2 G + G 2 ) + G 2 Φ WX 1 - - - ( 9 )
将J(G)关于G的偏导数设置为0导致期望的增益:
∂ ∂ G J ( G ) = Φ U 2 ( - 2 + 2 G ) + 2 GΦ WX 1 = ! 0 - - - ( 10 )
2 Φ U 2 ( - 1 + G ) + 2 G + 2 GΦ WX 1 = 0 - Φ U 2 + Φ U 2 G + GΦ WX 1 = 0 G · ( Φ U 2 + Φ WX 1 ) = Φ U 2 G = Φ U 2 Φ U 2 + Φ WX 1 = Φ U 2 Φ X 2 - - - ( 11 )
根据(12),可以用X1的经滤波的版本和不相关信号U2的能量之和来替代X2的能量:
Φ X 2 = E { | X 2 | 2 } = E { ( WX 1 + U 2 ) ( WX 1 + U 2 ) * } = E { | WX 1 | 2 } | + E { | U 2 | 2 } = Φ WX 1 + Φ U 2 * - - - ( 12 )
针对增益G,这导致:
其中,是X2的先验SNR。使用(6)来确定复滤波器增益W。
在一个实施例中,在图5中通过灰色的虚线矩形重点突出的抑制模块10b可以由包括相移设备15的逆相位对齐抑制模块10b’来替换,其中相移设备15被配置为将第二输入信号X2的相位与第一输入信号X1的相位对齐。
图6示出了具有这种相移设备15的相似性减小器10b’作为本发明的第四实施例。抑制增益G是实值,因此对两个信号X1和X2的相位关系没有影响。但是因为无论如何必须对滤波器系数W进行估计,因此可以得到关于输入信号之间的相对相位的附加信息。该信息可以用于将X2的相位向X1的相位调整。这是在逆相位对齐抑制块10b’中完成的;在应用抑制增益G之前,X2的相位移位了W的估计相位。利用相位对齐,可以将信号表达为:
U ^ 2 = X 2 · e - j ∠ W ^ · G = ( | W | · e j ( ∠ W - ∠ W ^ ) X 1 + U 2 · e - j ∠ W ^ ) · G , - - - ( 14 )
这显示如果对∠W进行正确估计,则X1内的残差分量与X1同相。
在图7中示出了对相干信号分量使用抵消以及抑制的组合方法,其中,抵消级10a的输出信号被馈送到信号抑制级10b的输入端以获得提取的信号抵消级10a包括加权设备,加权设备被配置为对所获得的第一输入信号X1的存在于第二输入信号X2中的信号部分WX1进行加权。
这里,通过首先执行加权抵消过程然后应用抑制增益来获得由此产生的下混音信号按前述方式对由此产生的信号以及X1进行能量缩放。由于加权因子γ,因此抵消级之后的信号仍然包含与X1相关的一些信号部分。为了进一步减小这些信号部分,针对组合方法得到抑制增益Gc
G c = arg min G c E { | U 2 - U ^ 2 | 2 } , G c ∈ R - - - ( 15 )
J ′ ( G c ) = E { | U 2 - U ^ 2 | 2 } = Φ U 2 - G c Φ U 2 + ( 1 - γ ) 2 G c 2 Φ W X 1 - G c Φ U 2 + G c 2 Φ U 2 - - - ( 16 )
∂ ∂ G J ′ ( G c ) = - Φ U 2 + 2 ( 1 - γ ) 2 G c Φ WX 1 - Φ U 2 + 2 G c Φ U 2 = ! 0 - - - ( 17 )
G c = 1 1 + ( 1 - γ ) 2 Φ W X 1 Φ U 2 = 1 1 + ( 1 - γ ) 2 1 SNR U 2 WX 1 - - - ( 18 )
参数γ通常依赖于时间和频率,但是也可以被选择为常数。确定时间和频率依赖的γ的一种可能性是:
γ = 1 - | E { X 2 X 1 * } | Φ X 1 Φ X 2 - - - ( 19 )
图8示出了第六实施例的相似性减小器10和组合器3。根据该实施例,(19)中的归一化互相关作为输入被馈送到映射函数,映射函数的输出可以用于确定实际的γ值。针对映射,可以使用逻辑函数,该逻辑函数可以被定义为:
f ( i ) = A l + A u - A l ( 1 + ( - 1 + ( A u Y 0 ) v ) · e - R ( i + M ) ) 1 v , - - - ( 20 )
其中,i定义了输入数据,Au和Al是上渐近线和下渐近线,R是增长率,v>0影响渐近线附近的最大增长率,f0规定f(0)的输出值,并且M是最大增长的数据点i。在这个实施例中,通过下式来确定γ:
γ = 1 - f ( | E { X 2 X 1 * } | Φ X 1 Φ X 2 - 0.5 ) - - - ( 21 )
在一个实施例中,这里可以也可以使用具有较小修改的逆相位对齐抵消模块10a’。类似地,必须在使用W的绝对值进行滤波之后完成使用γ的加权。
图8示出的第六实施例包括逆相位处理的更复杂的应用。它仅影响被映射以主要被抑制的时频条(bin),即,γ低于特定阈值Γth。由于该原因,引入了通过下式定义的标记F:
在一个实施例中,这里也可以使用具有较小修改的逆相位对齐抵消模块10a’。类似地,必须在使用W的绝对值进行滤波之后完成使用γ的加权。
在一些实施例中,比例因子供应器7提供了通过该可以控制贡献于下混音信号的关于X1的不相关信号的能量。这些比例因子可以被视为均衡器。通常,这是依赖于频率来完成的,并且在优选的实施例中,这是由录音师手动完成的。当然,许多不同的混音比例是可能的,并且这些混音比例高度依赖于录音师的经验和/或品味。备选地,比例因子可以是信号X1、X2的函数。
在一些实施例中,比例因子供应器4提供了通过该可以控制贡献于下混音信号的第一输入信号X1的能量。如果下混音过程应当是能量守恒的(即,下混音信号包含与原始立体声信号相同的能量)或者至少如果感知的声音水平应当保持相同,则需要附加处理。进行以下考虑的目的在于使下混音信号中的单独的信号部分的感知声音水平保持恒定。在优选的实施例中,根据得到的最佳下混音能量考虑来对能量进行缩放。可以考虑两个信号并且假定它们高度相关,如这将是例如针对幅度波动源的情况,其中信号可以被表达为使得下混音信号的结果是:
X D c = X 1 c + X 2 c = X 1 c + a · X 1 c = ( 1 + a ) · X 1 c . - - - ( 23 )
通过下式给出的能量:
E { | X D c | 2 } = ( 1 + a ) 2 · E { | X 1 c | 2 } . - - - ( 24 )
现在假定两个信号完全不相关,其中下混音信号的结果是:
X D u = X 1 u + X 2 u . - - - ( 25 )
通过下式给出的能量:
E { | X D u | 2 } = E { | X 1 u | 2 } + E { | X 2 u | 2 } = E { | X 1 u | 2 } + b · E { | X 1 u | 2 } = ( 1 + b ) · E { | X 1 u | 2 } . - - - ( 26 )
根据这些考虑,可以看出相关信号部分的最佳下混音的能量的结果将是:
E { | X D o c | 2 } = E { | X 1 | 2 } + E { | WX 1 | 2 } , ( 27 )
其中,W对应于(23)中的α,并且针对不相关信号部分,必须完成对能量的简单相加。然后,关于(1)和(2)中的假定的信号模型和期望的下混音信号的最终的最佳下混音能量的结果将是:
E { | X D o | 2 } = E { | X D o o | 2 } + E { | U 2 | 2 } = E { | X 1 | 2 } + E { | WX 1 | 2 } + E { | U 2 | 2 } . - - - ( 28 )
为了确保包含相同量的能量,引入了能量比例因子其中,后者是由比例因子供应器U2提供的。实际的下混音信号按照下式计算:
X ~ D = G E x · X 1 + G E u · U ^ 2 . - - - ( 29 )
考虑到最佳的下混音能量和现在可以按如下方式得到
Φ X 1 + Φ WX 1 + Φ U 2 = G E x 2 · Φ X 1 + G E u 2 · Φ U ^ 2 - - - ( 31 )
G E x = Φ X 1 + Φ WX 1 + Φ U 2 - G E u 2 · Φ U ^ 2 Φ X 1 = 1 + Φ WX 1 Φ X 1 + Φ U 2 Φ X 1 - G E u 2 Φ U ^ 2 Φ X 1 - - - ( 32 )
利用(12),等式(32)的中间部分被规定为:
Φ WX 1 Φ X 1 + Φ U 2 Φ X 1 = Φ X 2 Φ X 1
因此,它变成:
G E x = 1 + Φ X 2 Φ X 1 - G E u 2 Φ U ^ 2 Φ X 1 . - - - ( 33 )
为了对多个输入声道X1、X2、X3进行下混音,可以使用级联的多个双声道下混音级1。在图9中,示出了针对三个输入信号X1、X2、X3的示例。
针对两级系统的最终下混音信号的结果是:
本发明的实施例的关键特征是:
●将X1视为参考信号并且将X2视为X1的经滤波的版本(因此相关信号部分WX1)和关于X1的不相关信号部分U2的混音物。
●将X2分离/分解为其两个前述的信号分量。经由以下方式对X1和X2进行相异性提取:
-对X1和X2的相似性进行估计,其结果是滤波器系数W,以及
-通过对相关信号部分进行抵消或抑制或其组合来进行相似性减小,其结果是估计的不相关信号部分
●对X1进行能量缩放以满足预定义的能量水平。
●对进行能量缩放。
●对经能量缩放的信号进行求和以形成期望的下混音信号
●在频带内进行处理。
可选的实现特征是:
●进行逆相位对齐抑制或逆相位对齐抵消。
●对两个或更多个下混音块进行级联以执行多声道下混音。
●仅部分地应用逆相位对齐抑制。
虽然已经在装置的上下文中描述了一些方面,但是应当清楚的是,这些方面也表示对相应方法的描述,其中,块或设备对应于方法步骤或方法步骤的特征。类似地,在方法步骤的上下文中所述的方面也表示对相应块或项目或者相应装置的特征的描述。
根据特定实现需要,可以在硬件中或在软件中实现本发明的实施例。可以使用其上存储有电子可读控制信号的诸如数字存储介质(例如,软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存)的非瞬时性存储介质来执行实现,该电子可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行相应方法。因此,数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体,该电子可读控制信号能够与可编程计算机系统协作从而执行本文所述的方法之一。
通常,本发明的实施例可以实现为具有程序代码的计算机程序产品,程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的计算机程序,该计算机程序用于执行本文所述的方法之一。
换言之,本发明方法的实施例因此是具有程序代码的计算机程序,该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。
本发明方法的另一实施例因此是其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质),该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬时性的。
因此,本发明方法的另一实施例是表示计算机程序的数据流或信号序列,该计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如,经由互联网)传递。
另一实施例包括处理装置,例如,计算机或可编程逻辑器件,该处理装置被配置为或适于执行本文所述的方法之一。
另一实施例包括其上安装有计算机程序的计算机,该计算机程序用于执行本文所述的方法之一。
根据本发明的另一实施例包括被配置为向接收机传递(例如,电子地或光学地)计算机程序的装置或系统,该计算机程序用于执行本文所述的方法之一。接收机可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收机传递计算机程序的文件服务器。
在一些实施例中,可编程逻辑器件(例如,现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中,现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常,方法优选地由任意硬件装置来执行。
上述实施例仅说明本发明的原理。应当理解的是,本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此,旨在仅由所附专利权利要求的范围而不由通过描述和解释本文的实施例的方式给出的具体细节来限制本发明。
附图标记:
1音频信号处理设备
2相异性提取器
3组合器
4第一能量缩放设备
5第一比例因子供应器
6第二能量缩放设备
7第二比例因子供应器
8求和设备
9相似性估计器
10相似性减小器
10a抵消级
10a’抵消级
10b抑制级
10b’抑制级
11复滤波器设备
11’绝对滤波器设备
12信号抵消设备
13相移设备
14抑制设备
15相移设备
16加权设备
X1第一输入信号
X2第二输入信号
下混音信号
提取的信号
第一比例因子
X1s第一缩放输入信号
W滤波器系数
WX1第一输入信号的存在于第二输入信号(X2)中的信号部分
X′2根据第二输入信号得到的信号
γ加权因子
γWX1加权后的第一输入信号的存在于第二输入信号(X2)中的信号部分
参考文献:
[1]ITU-RBS.775-2,“MultichannelStereophonicSoundSystemWithAndWithoutAccompanyingPicture,”07/2006.
[2]R.Dressler,(05.08.2004)DolbySurroundProLogicIIDecoderPrinciplesofOperation.[Online].Available:http://WWW.dolby.com/uploadedFiles/Assets/US/Doc/Professional/209_Dolby_Surround_Pro_Logic_II_Decoder_Principlesof_Operation.pdf.
[3]K.Lopatka,B.Kunka,andA.Czyzewski,“Novel5.1DownmixAlgorithmwithImprovedDialogueIntelligibility,”in134thConventionoftheAES,2013.
[4]J.Breebaart,K.S.Chong,S.Disch,C.Faller,J.Herre,J.Hilpert,K.J.Koppens,K.Linzmeier,W.Oomen,H.Purnhagen,andJ.“MPEGSurround-theISO/MPEGStandardforEfficientandCompatibleMulti-ChannelAudioCoding,”J.AudioEng.Soc,vol.56,no.11,pp.932-955,2007.
[5]M.Neuendorf,M.Multrus,N.Rellerbach,R.J.FuchsGuillaume,J.Lecomte,WildeStefan,S.Bayer,S.Disch,C.Helmrich,R.Lefebvre,P.Gournay,B.Bessette,J.Lapierte,K.H.Purnhagen,L.Villemoes,W.Oomen,E.Schuijers,K.Kikuiri,T.Chinen,T.Norimatsu,C.K.Seng,E.Oh,M.Kim,S.Quackenbush,andB.Grill,“MPEGUnifiedSpeechandAudioCoding-TheISO/MPEGStandardforHigh-EfficiencyAudioCodingofallContentTypes,”J.AudioEng.Soc,vol.132ndConvention,2012.
[6]C.FallerandF.Baumgarte,“BinauralCueCoding-PartII:SchemesandApplicatiohs,”SpeechandAudioProcessing,IEEETransactionson,vol.11,no.6,pp.520-531,2003.
[7]F.Baumgarte,“EqualizationforAudioMixing,”PatentUS7,039,204B2,2003.
[8]J.Thompson,A.Warner,andB.Smith,“AnActiveMultichannelDownmixEnhancementforMinimizingSpatialandSpectralDistortions,”in127ndConventionoftheAES,October2009.
[9]G.Stoll,J.Groh,M.Link,J.B.Runow,M.Keil,R.Stoll,M.Stoll,andC.Stoll,“MethodforGeneratingaDownward-CompatibleSoundFormat,”USPatentUS2012/0014526,2012.
[10]B.RunowandJ.“OptimierterStereo-Dowmixvon5.1-Mehrkanalproduktionen:AnoptimizedStereo-Downmixofa5.1multichannelaudioproduction,”in25.Tonmeistertagung-VDTInternationalConvention,2008.
[11]Samsudin,E.Kurniawati,NgBoonPoh,F.Sattar,andS.George,“AStereotoMonoDowmixingSchemeforMPEG-4ParametricStereoEncoder,”inAcoustics,SpeechandSignalProcessing,2006.ICASSP2006Proceed-ings.2006IEEEInternationalConferenceon,vol.5,2006,p.V.2.
[12]M.Kim,E.Oh,andH.Shim,“Stereoaudiocodingimprovedbyphaseparameters,”in129thConventionoftheAES,2010.
[13]W.Wu,L.Miao,Y.Lang,andD.Virette,“ParametricStereoCodingSchemewithaNewDownmixMethodandWholeBandInterChannelTime/PhaseDifferences,”Acoustics,SpeechandSignalProcessing,IEEETransactionson,pp.556-560,2013.

Claims (20)

1.一种用于将第一输入信号(X1)和第二输入信号(X2)下混音为下混音信号的音频信号处理设备(1),其中所述第一输入信号(X1)和所述第二输入信号(X2)至少部分地相关,所述音频信号处理设备(1)包括:
相异性提取器(2),被配置为接收所述第一输入信号(X1)和所述第二输入信号(X2)并且输出提取的信号其中与所述第二输入信号(X2)相比,所述提取的信号与所述第一输入信号(X1)较不相关,以及
组合器(3),被配置为对所述第一输入信号(X1)和所述提取的信号进行组合以获得所述下混音信号
2.根据前述权利要求所述的设备,其中,所述组合器(3)包括能量缩放系统(4、5、6、7),所述能量缩放系统(4、5、6、7)被配置为使得所述下混音的能量与所述第一输入信号(X1)和所述第二输入信号(X2)的总和能量之比与所述第一输入信号(X1)和所述第二输入信号(X2)的相关性无关。
3.根据前述权利要求之一所述的设备,其中,所述能量缩放系统(4、5、6、7)包括第一能量缩放设备(4),所述第一能量缩放设备(4)被配置为基于第一比例因子对所述第一输入信号(X1)进行缩放以获得经缩放的输入信号(X1s)。
4.根据前一权利要求所述的设备,其中,所述能量缩放系统(4、5、6、7)包括第一比例因子供应器(5),所述第一比例因子供应器(5)被配置为提供所述第一比例因子其中所述第一比例因子供应器(5)优选地被设计为处理器(5),所述处理器(5)被配置为根据所述第一输入信号(X1)、所述第二输入信号(X2)和/或所述提取的信号来计算所述第一比例因子
5.根据前述权利要求之一所述的设备,其中,所述能量缩放系统(4、5、6、7)包括第二能量缩放设备(6),所述第二能量缩放设备(6)被配置为基于第二比例因子对所述提取的信号进行缩放,以获得经缩放的提取信号
6.根据前一权利要求所述的设备,其中,所述能量缩放系统(4、5、6、7)包括第二比例因子供应器(7),所述第二比例因子供应器(7)被配置为提供所述第二比例因子其中,所述第二比例因子供应器(7)优选地被设计为人机界面,所述人机界面被配置用于手动地输入所述第二比例因子
7.根据前述权利要求之一所述的设备,其中,所述组合器(3)包括求和设备(8),所述求和设备(8)用于基于所述第一输入信号(X1)并且基于所述提取的信号来输出所述下混音信号
8.根据前述权利要求之一所述的设备,其中,所述相异性提取器(2)包括相似性估计器(9),所述相似性估计器(9)被配置为提供用于根据所述第一输入信号(X1)获得所述第一输入信号(X1)的存在于所述第二输入信号(X2)中的信号部分(WX1、|WX1|)的滤波器系数(W、|W|),以及
所述相异性提取器(2)包括相似性减小器(10),所述相似性减小器(10)被配置为基于所述滤波器系数(W,|W|)来减小所获得的所述第一输入信号的存在于所述第二输入信号(X1)中的信号部分(WX1、|WX1|)。
9.根据前一权利要求所述的设备,其中,所述相似性减小器(10)包括抵消级(10a、10a’),所述抵消级(10a、10a’)具有信号抵消设备(12),所述信号抵消设备(12)被配置为从所述第二输入信号(X2)中或者从根据所述第二输入信号(X2)得到的信号(X′2)中减去所获得的所述第一输入信号(X1)的存在于所述第二输入信号(X2)中的信号部分(WX1、|WX1|)或者根据所获得的信号部分(WX1、|WX1|)得到的信号(γWX1)。
10.根据权利要求8或9所述的设备,其中,所述抵消级(10a)包括复滤波器设备(11),所述复滤波器设备(11)被配置为通过使用复值滤波器系数W来对所述第一输入信号(X1)进行滤波。
11.根据权利要求8至10之一所述的设备,其中,所述抵消级(10a’)包括相移设备(13),所述相移设备(13)被配置为将所述第二输入信号(X2)的相位与所述第一输入信号(X1)的相位对齐。
12.根据权利要求8至11之一所述的设备,其中,所述相似性减小器(10)包括信号抑制级(10b、10b’),所述信号抑制级(10b、10b’)具有信号抑制设备(14),所述信号抑制设备(14)被配置为将所述第二输入信号(X2)或根据所述第二输入信号(X2)得到的信号(X′2)与抑制增益因子(G)相乘以获得所述提取的信号
13.根据权利要求12所述的设备,其中,所述信号抑制级(10b’)包括相移设备(15),所述相移设备(15)被配置为将所述第二输入信号(X2)的相位与所述第一输入信号(X1)的相位对齐。
14.根据权利要求8至11之一以及根据权利要求12或13之一所述的设备,其中,所述抵消级(10a)的输出信号被馈送到所述信号抑制级(10b)的输入端以获得所述提取的信号或者所述信号抑制级(10b)的输出信号被馈送到所述抵消级(10a)的输入端以获得所述提取的信号
15.根据前一权利要求所述的设备,其中,所述抵消级(10a)包括加权设备(16),所述加权设备(16)被配置为根据加权因子(γ)对所获得的所述第一输入信号(X1)的存在于所述第二输入信号(X2)中的信号部分(WX1、|WX1|)进行加权。
16.根据权利要求11和15所述的设备,其中,所述相移设备(13)被配置为根据所述加权因子(γ)将所述第二输入信号(X2)的相位与所述第一输入信号(X1)的相位对齐。
17.根据前一权利要求所述的设备,其中,所述相移设备(13)被配置为仅当所述加权因子(γ)小于或等于预定义的阈值(Γ)时才将所述第二输入信号(X2)的相位与所述第一输入信号(X1)的相位对齐。
18.一种用于将多个输入信号(X1、X2、X3)下混音为下混音信号的音频信号处理系统,至少包括根据前述权利要求之一所述的第一设备(1)和根据前述权利要求之一所述的第二设备(1’),其中,所述第一设备的下混音信号作为第一输入信号或第二输入信号被馈送到第二设备。
19.一种用于将第一输入信号(X1)和第二输入信号(X2)下混音为下混音信号的方法,包括以下步骤:
从所述第二输入信号(X2)中提取信号其中与所述第二输入信号(X2)相比,提取的信号与所述第一输入信号(X1)更不相关,
对所述第一输入信号(X1)和提取的信号进行求和以获得所述下混音信号
20.一种计算机程序,用于当在计算机或信号处理器上执行时实现根据权利要求19所述的方法。
CN201480053053.8A 2013-09-27 2014-09-02 用于生成下混音信号的构思 Active CN105765652B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP13186480.3 2013-09-27
EP13186480 2013-09-27
EP14161059.2A EP2854133A1 (en) 2013-09-27 2014-03-21 Generation of a downmix signal
EP14161059.2 2014-03-21
PCT/EP2014/068611 WO2015043891A1 (en) 2013-09-27 2014-09-02 Concept for generating a downmix signal

Publications (2)

Publication Number Publication Date
CN105765652A true CN105765652A (zh) 2016-07-13
CN105765652B CN105765652B (zh) 2019-11-19

Family

ID=50442340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480053053.8A Active CN105765652B (zh) 2013-09-27 2014-09-02 用于生成下混音信号的构思

Country Status (10)

Country Link
US (1) US10021501B2 (zh)
EP (2) EP2854133A1 (zh)
JP (1) JP6275831B2 (zh)
KR (1) KR101833380B1 (zh)
CN (1) CN105765652B (zh)
CA (1) CA2925230C (zh)
ES (1) ES2649481T3 (zh)
MX (1) MX359381B (zh)
RU (1) RU2661310C2 (zh)
WO (1) WO2015043891A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060696A (zh) * 2018-01-19 2019-07-26 腾讯科技(深圳)有限公司 混音方法及装置、终端及可读存储介质
CN110419079A (zh) * 2016-11-08 2019-11-05 弗劳恩霍夫应用研究促进协会 用于下混频至少两声道的下混频器和方法以及多声道编码器和多声道解码器
CN110556116A (zh) * 2018-05-31 2019-12-10 华为技术有限公司 计算下混信号和残差信号的方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11363377B2 (en) 2017-10-16 2022-06-14 Sony Europe B.V. Audio processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120615A (zh) * 2005-02-22 2008-02-06 弗劳恩霍夫应用研究促进协会 近透明或透明的多声道编码器/解码器方案
US20090086998A1 (en) * 2007-10-01 2009-04-02 Samsung Electronics Co., Ltd. Method and apparatus for identifying sound sources from mixed sound signal
JP2010521012A (ja) * 2007-03-09 2010-06-17 スカイプ・リミテッド 音声符号化システム及び方法
CN102301420A (zh) * 2009-01-28 2011-12-28 弗劳恩霍弗实用研究促进协会 将降混音频信号升混的装置、方法与计算机程序
CN102334158A (zh) * 2009-01-28 2012-01-25 弗劳恩霍夫应用研究促进协会 用于把下混音频信号向上混合的向上混合器、方法与计算机程序

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5832840B2 (ja) * 1977-09-10 1983-07-15 日本ビクター株式会社 立体音場拡大装置
US4975954A (en) * 1987-10-15 1990-12-04 Cooper Duane H Head diffraction compensated stereo system with optimal equalization
US4893342A (en) * 1987-10-15 1990-01-09 Cooper Duane H Head diffraction compensated stereo system
US5982903A (en) * 1995-09-26 1999-11-09 Nippon Telegraph And Telephone Corporation Method for construction of transfer function table for virtual sound localization, memory with the transfer function table recorded therein, and acoustic signal editing scheme using the transfer function table
DE69631955T2 (de) * 1995-12-15 2005-01-05 Koninklijke Philips Electronics N.V. Verfahren und schaltung zur adaptiven rauschunterdrückung und sendeempfänger
US5715319A (en) * 1996-05-30 1998-02-03 Picturetel Corporation Method and apparatus for steerable and endfire superdirective microphone arrays with reduced analog-to-digital converter and computational requirements
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
JP3526185B2 (ja) * 1997-10-07 2004-05-10 パイオニア株式会社 記録情報再生装置におけるクロストーク除去装置
JP4610087B2 (ja) * 1999-04-07 2011-01-12 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 損失のない符号化・復号へのマトリックス改良
US7039204B2 (en) 2002-06-24 2006-05-02 Agere Systems Inc. Equalization for audio mixing
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
CN101197798B (zh) * 2006-12-07 2011-11-02 华为技术有限公司 信号处理系统、芯片、外接卡、滤波、收发装置及方法
JP5133401B2 (ja) * 2007-04-26 2013-01-30 ドルビー・インターナショナル・アクチボラゲット 出力信号の合成装置及び合成方法
JP5883561B2 (ja) * 2007-10-17 2016-03-15 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ アップミックスを使用した音声符号器
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
DE102008056704B4 (de) 2008-11-11 2010-11-04 Institut für Rundfunktechnik GmbH Verfahren zum Erzeugen eines abwärtskompatiblen Tonformates
ES2452569T3 (es) 2009-04-08 2014-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato, procedimiento y programa de computación para mezclar en forma ascendente una señal de audio con mezcla descendente utilizando una suavización de valor fase
KR101697550B1 (ko) * 2010-09-16 2017-02-02 삼성전자주식회사 멀티채널 오디오 대역폭 확장 장치 및 방법
JP5533502B2 (ja) * 2010-09-28 2014-06-25 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
CN103348408B (zh) * 2011-02-10 2015-11-25 杜比实验室特许公司 噪声和位置外信号的组合抑制方法和系统
CN103493128B (zh) * 2012-02-14 2015-05-27 华为技术有限公司 用于执行多信道音频信号的适应性下混和上混的方法及设备
JP2013207487A (ja) 2012-03-28 2013-10-07 Nec Corp 携帯端末不正利用防止システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120615A (zh) * 2005-02-22 2008-02-06 弗劳恩霍夫应用研究促进协会 近透明或透明的多声道编码器/解码器方案
JP2010521012A (ja) * 2007-03-09 2010-06-17 スカイプ・リミテッド 音声符号化システム及び方法
US20090086998A1 (en) * 2007-10-01 2009-04-02 Samsung Electronics Co., Ltd. Method and apparatus for identifying sound sources from mixed sound signal
CN102301420A (zh) * 2009-01-28 2011-12-28 弗劳恩霍弗实用研究促进协会 将降混音频信号升混的装置、方法与计算机程序
CN102334158A (zh) * 2009-01-28 2012-01-25 弗劳恩霍夫应用研究促进协会 用于把下混音频信号向上混合的向上混合器、方法与计算机程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DER-PEI CHEN: "《Gram-schmidt-based downmixer and decorrelator in the MPEG surround coding》", 《AUDIO ENGINEERING SOCIETY》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110419079A (zh) * 2016-11-08 2019-11-05 弗劳恩霍夫应用研究促进协会 用于下混频至少两声道的下混频器和方法以及多声道编码器和多声道解码器
US11670307B2 (en) 2016-11-08 2023-06-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Downmixer and method for downmixing at least two channels and multichannel encoder and multichannel decoder
CN110419079B (zh) * 2016-11-08 2023-06-27 弗劳恩霍夫应用研究促进协会 用于下混频至少两声道的下混频器和方法以及多声道编码器和多声道解码器
CN110060696A (zh) * 2018-01-19 2019-07-26 腾讯科技(深圳)有限公司 混音方法及装置、终端及可读存储介质
CN110556116A (zh) * 2018-05-31 2019-12-10 华为技术有限公司 计算下混信号和残差信号的方法和装置
CN110556116B (zh) * 2018-05-31 2021-10-22 华为技术有限公司 计算下混信号和残差信号的方法和装置
US11961526B2 (en) 2018-05-31 2024-04-16 Huawei Technologies Co., Ltd. Method and apparatus for calculating downmixed signal and residual signal

Also Published As

Publication number Publication date
CA2925230C (en) 2018-08-14
US20160212561A1 (en) 2016-07-21
RU2016116285A (ru) 2017-11-01
MX359381B (es) 2018-09-25
MX2016003504A (es) 2016-07-06
KR20160067099A (ko) 2016-06-13
RU2661310C2 (ru) 2018-07-13
EP3050054B1 (en) 2017-10-18
CA2925230A1 (en) 2015-04-02
KR101833380B1 (ko) 2018-02-28
EP2854133A1 (en) 2015-04-01
ES2649481T3 (es) 2018-01-12
JP2016538578A (ja) 2016-12-08
BR112016006323A2 (pt) 2017-08-01
JP6275831B2 (ja) 2018-02-07
CN105765652B (zh) 2019-11-19
US10021501B2 (en) 2018-07-10
EP3050054A1 (en) 2016-08-03
WO2015043891A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
JP6728416B2 (ja) パラメトリック・マルチチャネル・エンコードのための方法
TWI415113B (zh) 用以把向下混合音訊信號向上混合之向上混合器、方法與電腦程式
KR101290486B1 (ko) 다운믹스 오디오 신호를 업믹싱하는 장치, 방법 및 컴퓨터 프로그램
TWI665660B (zh) 用以降混至少兩聲道之降混器與方法及多聲道編碼器與多聲道解碼器
CN105765652A (zh) 用于生成下混音信号的构思
US10482888B2 (en) Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
US9478223B2 (en) Method and apparatus for down-mixing multi-channel audio
JP6248186B2 (ja) オーディオ・エンコードおよびデコード方法、対応するコンピュータ可読媒体ならびに対応するオーディオ・エンコーダおよびデコーダ
BR112016006323B1 (pt) Conceito para gerar um sinal de downmix

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant