CN103650538B - 用于使用采用谱权重生成器的频域处理分解立体声录音的方法和装置 - Google Patents
用于使用采用谱权重生成器的频域处理分解立体声录音的方法和装置 Download PDFInfo
- Publication number
- CN103650538B CN103650538B CN201280033585.6A CN201280033585A CN103650538B CN 103650538 B CN103650538 B CN 103650538B CN 201280033585 A CN201280033585 A CN 201280033585A CN 103650538 B CN103650538 B CN 103650538B
- Authority
- CN
- China
- Prior art keywords
- signal
- sound channel
- amplitude
- monophonic
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims description 50
- 238000012545 processing Methods 0.000 title description 17
- 230000004048 modification Effects 0.000 claims abstract description 127
- 238000012986 modification Methods 0.000 claims abstract description 127
- 238000001228 spectrum Methods 0.000 claims description 157
- 230000009466 transformation Effects 0.000 claims description 23
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 7
- 238000002156 mixing Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 238000000605 extraction Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 239000000203 mixture Substances 0.000 description 7
- 239000007787 solid Substances 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 5
- 239000004568 cement Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 102000004127 Cytokines Human genes 0.000 description 1
- 108090000695 Cytokines Proteins 0.000 description 1
- VGGSQFUCUMXWEO-UHFFFAOYSA-N Ethene Chemical compound C=C VGGSQFUCUMXWEO-UHFFFAOYSA-N 0.000 description 1
- 239000005977 Ethylene Substances 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
提供了一种用于从具有第一输入声道和第二输入声道的立体声输入信号生成具有第一侧声道和第二侧声道的立体声侧信号的装置。所述装置包括修改信息生成器(110),其用于基于中侧信息生成修改信息。此外,所述装置包括信号操纵器(120),其适于基于所述修改信息操纵所述第一输入声道以获得所述第一侧声道并适于基于所述修改信息操纵所述第二输入声道以获得所述第二侧声道。所述修改信息生成器(110)包括谱权重生成器(116),其用于通过基于所述立体声输入信号的单声道中信号和单声道侧信号生成第一谱加权因子生成所述修改信息。
Description
技术领域
本发明涉及音频处理,并特别涉及一种用于使用频域处理分解立体录音的方法和装置。
背景技术
音频处理在许多方面都已经发展了。特别而言,环绕系统已变得越来越重要。然而,大部分音乐录音仍然作为立体声信号而不是作为多声道信号被编码并传输。环绕系统包括多个扬声器(例如四个或五个扬声器),当只有两个可用输入信号时哪个信号应该被提供给多个扬声器已经成为许多研究的主题。
在这种情况下,使用环绕声系统重放立体声信号的格式转换(例如上混合(upmixing))起着重要的作用。术语“m到n上混合描述从m声道音频信号转换到采用n声道音频信号的转换,其中n>m。上混合的两个概念是众所周知的:采用引导所述上混合处理的附加信息的上混合以及本申请所关注的不使用任何枝节信息的无引导上混合(unguided(blind)upmixing)。
在文献中,报告了用于上混合处理的两种不同方法。这些概念是直接/环境(direct/ambient)方法和“在波段中”的方法(“in-the-band”-approach)。基于直接/环境的技术的核心部分是提取被馈送到环绕声信号的多声道的后声道中的环境信号。环境声音是形成(虚拟)听音环境(包括室内混响、观众的声音(例如掌声)、环境声音(例如雨水)、艺术意图的效果声音(例如乙烯的爆裂)和背景噪声的印象的那些声音。使用后声道再现环境可由聆听者唤起对周围的印象(即“沉浸在声音)。此外,直接声源根据它们在立体全景中的位置分布在前声道。
“在波段中”的方法的目的在于使用所有可用的扬声器定位聆听者周围的所有声音(直接声音以及环境声音)。在再现上混合格式时感知的声源的位置理想化为立体声输入信号中的它们的感知位置的函数。可使用所提出的信号处理来实施这种方法。
已经在过去开发了在频域中上混合的各种方法[9、10]。它们试图分解输入信号以及直接和环境信号成分并基于声源的空间位置进行分解。环境信号成分基于左和右声道之间的声道间相干性的测量而被识别。基于方向的分解可基于谱系数的振幅的相似度来实现。专利申请US2009/0080666描述了一种用于使用谱加权提取环境信号的方法。
US2010/0030563描述了一种用于提取应用于上混合应用的环境信号的方法。所述方法使用谱减法。从输入信号的时-频域表示和其压缩版本的差获得时-频域表示,优选使用非负矩阵因子分解来计算。
US2010/0296672描述了使用基于矢量的信号分解的频域上混合方法。分解的目的在于与直接/环境信号分解相反的中心声道的提取[13]。中心声道的输出信号被计算为其包含左和右输入声道信号共有的所有信息。输入信号和中心声道信号的残留信号被计算用于左和右输出声道信号。
发明内容
本发明的目的是提供用于从具有第一输入声道和第二输入声道的立体声输入信号生成额外声道的改进概念。本发明的目的通过根据权利要求1的用于生成立体侧信号的一种装置、根据权利要求10所述的用于产生立体声中信号的装置、根据权利要求12的用于产生立体侧信号的方法、根据权利要求13所述的用于产生立体声中信号的方法和权利要求15所述的计算机程序来解决。
提供了一种用于具有从具有第一输入声道和一个第二输入声道的立体声输入信号的生成具有第一侧声道和第二侧声道的立体声侧信号的装置。该装置包括用于基于中侧信息的生成修改信息的修改信息生成器。此外,该装置包括一信号操纵器适于根据该修改信息操纵第一输入声道以获得第一侧声道,和适于基于所述修改信息操纵第二输入声道以获得所述第二侧声道。
操纵信息生成器可以包括谱减法器,其用于通过生成指示单声道中信号或单声道侧信号和第一或第二输入声道之间的差的差值生成修改信息。或者,修改信息生成器可包括谱权重生成器,其用于通过基于立体声输入信号的单声道中信号和单声道侧信号生成第一谱加权因子生成修改信息。
中侧信息可以是立体声输入信号的单声道中信号、立体声输入信号的单声道侧信号和/或立体声输入信号的单声道中信号和单声道侧信号之间的关系。在一个实施例中,修改信息生成器适于基于立体声输入信号的单声道中信号或立体声输入信号的单声道侧信号生成修改信息作为中侧信息。
根据一个实施例,立体声录音被分解为侧信号和中信号,与常规中侧(MS)分解相反,侧信号和中信号两者都是立体声信号。可使用如与频域处理结合的常规M-S处理(即谱减法或谱加权)中的相位消除(phase cancellation)来应用信号分离。导出的信号可被应用于利用额外播放声道再现音频信号。
根据一个实施例的装置将双声道立体声录音分解为立体声侧信号和立体声中信号。立体声侧信号具有两个主要特点。首先,它包括所有信号成分,但并不包括调移到中心的那些。在这方面,它类似于由立体声信号的中侧处理已知的侧信号。实际上,它包括与由常规M-S分解导出的侧信号相同的信号成分。
所提出的立体声侧信号与常规侧信号相比的重要差别由立体声属性描述:立体声侧信号是双声道立体声信号,与常规侧信号(是单声道的)相反。立体声侧信号的左声道包括其被调移到输入信号的左侧的所有信号成分。立体声信号的右声道包括其被调移到右侧的所有信号成分。
立体声中信号是包括存在于两个输入声道中的所有成分的立体声信号。它是双声道立体声信号并包括与输入信号与立体声侧信号相比较少的立体声信息,但它不是如常规中信号那样的单声道信号。它包括与常规中信号相同的信号成分,但具有原始立体声信息。
根据一个实施方案,修改信息生成器包括谱减法器。谱减法器可适于通过从立体声输入信号的单声道中信号或单声道侧信号的振幅值或加权振幅值中减去第一或第二输入声道的振幅值或加权振幅值生成修改信息。或者,谱减法器可适于通过从第一或第二输入声道的振幅值或加权振幅值中减去立体声输入信号的单声道中信号或单声道侧信号的振幅值或加权振幅值生成修改信息。
此外,修改信息生成器可包括振幅确定器。振幅确定器可适于接收第一输入声道、第二输入声道、单声道中信号或单声道侧信号中的至少一个(以谱域表示)作为所接收的振幅输入信号。此外,振幅确定器可适于确定每个接收的振幅输入信号的至少一个振幅值,并且可适于将每个接收的振幅输入信号的至少一个振幅值馈送到谱减法器中。
在一个实施例中,谱减法器包括第一谱减法单元和第二谱减法单元,其中振幅确定器被布置为接收第一和第二输入声道和单声道中信号,其中振幅确定器适于确定第一输入声道的第一振幅值、第二输入声道的第二振幅值和所述单声道中信号的第三振幅值,其中振幅确定器适于将第一、第二和第三振幅值馈送到谱减法器中。第一谱减法单元可适于基于第一输入声道的第一振幅值和单声道中信号的第三振幅值进行第一谱减法以获得第一立体声侧信号的第一立体声侧振幅值,并且其中第二谱减法单元适于基于第二输入声道的第二振幅值和单声道中信号的第三振幅值进行第二谱减法以获得第二侧立体声信号的第二立体声侧幅值。
第一谱减法单元可适于通过应用下式来进行第一谱减法:
其中指示谱减法结果为正时的第一立体声侧振幅谱,其中|Xl(f)|指示第一输入声道的第一振幅谱,其中|M1(f)|指示单声道中信号的第三振幅谱,并且其中w指示范围0≤w≤1内的标量系数。第二谱减法单元可适于通过应用下式来进行第二谱减法:
其中指示谱减法结果为正时的第二立体声侧振幅谱,其中|Xr(f)|指示第一输入声道的第二振幅谱,其中|M1(f)|指示单声道中信号的第三振幅谱,并且其中w指示范围0≤w≤1内的标量系数。
在一个实施例中,信号操纵器可包括相位提取器和组合器。相位提取器可被布置为接收第一输入声道和第二输入声道,其中相位提取器适于确定第一输入声道的第一相位值作为第一立体声侧相位值和第二输入声道的第二相位值作为第二立体声侧相位值。相位提取器可适于将第一立体声侧相位值和第二立体声侧相位值馈送到组合器中,其中第一谱减法单元适于将第一立体声侧振幅值馈送到组合器中,其中第二谱减法单元适于将第二立体声侧相位值馈送到组合器中。组合器可适于组合第一立体声侧振幅值和第一立体声侧相位值以获得第一侧声道的第一谱的第一复数系数。此外,该组合器可适于将第二立体声侧振幅值和第二立体声侧相位值相组合以获得所述第二侧声道的第二谱的第二复数系数。
根据一个实施例,修改信息生成器包括用于通过生成第一谱加权因子生成修改信息的谱权重生成器,其中第一谱加权因子依赖于立体声输入信号的单声道中信号和单声道侧信号。
修改信息生成器还可包括振幅确定器。振幅确定器可适于接收以谱域表示的单声道中信号。振幅确定器可适于接收以谱域表示的单声道侧信号,其中振幅确定器适于确定单声道侧信号的振幅值作为振幅侧值且其中幅值确定器适于确定单声道中信号的振幅值作为振幅中值。振幅确定器可适于将振幅侧值和振幅中值馈送到谱权重生成器中。谱权重生成器可适于基于第一数量相对第二数量的比率生成第一谱加权因子,其中第一数量取决于振幅侧值,且其中第二数量取决于振幅中值和振幅侧值。
在其它实施例中,谱权重生成器适于根据下式生成修改因子
其中|S(f)|指示单声道侧信号的振幅值,其中|M(f)|指示单声道中信号的振幅值,并且其中α、β、γ和δ是标量因子。在一个实施例中,α和β大于0(α>0;β>0);且γ和δ被选择使得0≤γ≤1和0≤δ≤1。优选地,4≥α>0和4≥β>0。
此外,谱权重生成器可适于根据下式生成修改因子:
或者,其中谱权重生成器适于根据下式生成修改因子:
其中Q(f)=ηmin[|Xl(f)|,|Xr(f)|]+(1-η)M(f)
其中|S(f)|指示单声道侧信号的振幅谱,其中|M(f)|指示单声道侧信号的振幅谱,其中|Xl(f)|指示第一输入声道的振幅谱,其中|Xr(f)|指示第一输入声道的振幅谱,其中M(f)指示单声道中信号,并且其中α、β、γ、δ和η是标量因子。
根据一个实施例,修改信息生成器适于基于立体声输入信号的单声道中信号或立体声输入信号的单声道侧信号生成修改信息作为中侧信息。单声道中信号可取决于将第一和第二输入声道相加产生的和信号。单声道侧信号取决于从第一输入声道中减去第二输入声道产生的差信号。
此外,装置还可包括声道生成器,其中声道生成器适于基于第一和第二输入声道生成单声道中信号或单声道侧信号。
此外,装置还可包括变换单元,其用于将立体声输入信号的第一和第二输入声道从时域变换到谱域;和逆变换单元。信号操纵器可适于操纵以谱域表示的第一输入声道和以谱域表示的第二输入声道以获得以谱域表示的立体声侧信号。逆变换单元可适于将以谱域表示的立体声侧信号从谱域变换到时域。
在一个实施例中,装置可适于生成具有第一中声道和第二中声道的立体声中信号。第一中声道可基于第一立体声输入声道和第一侧声道之间的差而生成。第二中声道可基于第二立体声输入声道和第二侧声道之间的差而生成。
根据另一实施例,提供了用于从具有第一输入声道和第二输入声道的立体声输入信号生成具有第一中声道和第二中声道的立体声中信号的装置。装置包括修改信息生成器,其用于基于中侧信息生成修改信息;和信号操纵器,其适于基于修改信息操纵第一输入声道以获得第一中声道并适于基于修改信息操纵第二输入声道以获得第二中声道。
根据一个实施例,修改信息生成器可包括谱权重生成器,其用于通过生成第一谱加权因子生成修改信息。第一谱加权因子可取决于立体声输入信号的单声道中信号和单声道侧信号。修改信息生成器还可包括振幅确定器,其中振幅确定器适于确定以谱域表示的单声道侧信号的振幅值作为振幅侧值,且其中振幅确定器适于确定以谱域表示的单声道中信号的振幅值作为振幅中值。振幅确定器可适于将振幅侧值和振幅中值馈送到谱权重生成器中。谱权重生成器可适于基于第一数量相对第二数量的比率生成第一谱加权因子,其中第一数量取决于振幅侧值,且其中第二数量取决于振幅中值和振幅侧值。
谱权重生成器可适于根据下式生成修改因子
其中|M(f)|指示单声道中信号的振幅谱,其中|S(f)|指示单声道侧信号的振幅谱,并且其中α、β、γ和δ是标量因子。在一个实施例中,α和β大于0(α>0,β>0)且γ和δ被选择使得0≤γ≤1和0≤δ≤1。优选地,4≥α>0和4≥β>0。
附图说明
将参考附图来解释本发明的实施例,其中:
图1示出根据一个实施例的用于生成立体声侧信号的装置,
图1a示出根据一个实施例的用于生成立体侧信号的装置,其中操纵信息生成器包括谱减法器,
图1b示出根据一个实施例的用于生成立体声侧信号的装置,其中修改信息生成器包括谱权重生成器,
图2示出根据一个实施例的谱减法器,
图3示出根据一个实施例的修改信息生成器,
图4示出根据一个实施例的用于为进行谱减法而生成立体声侧信号和立体声中信号的装置,
图5示出根据另一实施例的生成立体声侧信号和立体声中信号的装置,
图6示出用于产生立体声侧信号的装置,其中装置包括根据一个实施例的谱权重生成器,
图7示出用于生成立体声侧信号的装置,其中装置包括根据另一实施例的谱权重生成器,
图8示出用于生成立体声侧信号的装置,其中装置包括根据另一实施例的谱权重生成器,
图9示出修改信息生成器,其中装置包括根据一个实施例的谱权重生成器和振幅生成器,
图10示出根据一个实施例的用于生成立体声中信号的装置,
图10a示出根据一个实施例的用于生成立体声中信号的装置,其中操纵信息生成器包括谱减法器,
图10b示出根据一个实施例的用于生成立体声中信号的装置,其中修改信息生成器包括谱权重生成器,
图11示出立体声侧信号和立体声中信号的示例增益,
图12示出立体声侧信号和立体声中信号的谱加权的结果,
图13示出根据其它实施例的用于生成立体声侧信号的装置,
图14示出根据其它实施例的用于生成立体声侧信号的装置,
图15示出根据一个实施例的上混合器,
图16示出使用所提出的信号处理的输出的示例四声道再现系统,
图17描绘生成适合于5声道再现的多声道信号的处理的框图,
图18描绘M-S分解的框图,
图19描绘示出谱加权的框图,和
图20示出如在语音增强中使用的典型谱权重。
具体实施方式
在描述本发明的优选实施例之前,将描述相关的概念(尤其是M-S处理),将解释谱减法和谱加权的基本原理。
首先,将更详细地描述中侧处理(Mid-Side processing)。为了解释如何计算立体声侧和中信号(mid signal),将简要概述常规M-S处理的基本知识。双声道立体声信号x(t)可分别由左和右声道的两个信号xl(t)and xr(t)表示,其中具有时间指数t。术语左和右指示最终这些信号分别被提供给左耳和右耳(使用扬声器或耳机),或分别由音频再现系统中的左和右声道再现。
假设立体声信号是N个源信号zi的混合,i=1,...,N、xl(t)和xr(t)可被写为
其中hli(t)、hri(t)是描述如何将源混合到立体声信号中的传递函数,*是卷积运算,且nl(t)、nr(t)是不相关的环境信号。在仅使用振幅调移进行混合的情况(这通常是录音室录音的情况)下,hli(t)和hri(t)两者都是标量。这个混合处理的输出在文献中已知是与常规卷积混合(在其中hli(t)和hri(t)的长度大于一的情况下)相反的瞬时混合。丢弃环境条件nl(t),nr(t),瞬时混合的信号模型可被写为
其中混合因子0≤ai(t)≤1确定源信号和混合的感知方向。
在使用信号的M-S表示时提供与包括在信号x(t)=[xl(t)xr(t)]中的相同的信息,其中根据下式从xl(t)和xr(t)计算中信号m1(t)(也被称为和信号)和侧信号s1(t)(也被称为差信号):
下标1用于指定这些信号是单声道的。这样的M-S信号对于其中侧信号和中信号都被单独处理、编码或传输的各种应用是有利的。这样的应用是录音、人工立体声图像增强、用于虚拟扬声器作品的音频编码、通过扬声器实现的双声道再现和四声道作品。
考虑到M-S表示,可根据下式计算信号xl(t)和xr(t):
xl(t)=m1(t)+s1(t) (7)
xr(t)=m1(t)-s1(t) (8)
在图18中,示出M-S分解。
两个表示都包括相同信息。需注意,方程式(5)和(6)中的归一化权重0.5是可选的且其它权重是可能的,但这里示出的权重保证了应用方程式(5)至(8)产生与输入信号相同的信号。使用其它权重可能会产生类似或缩放的信号。
从如下的信号模型和方程式(3)和(4),信号s1(t)仅包括被调移偏离中心的信号成分(其中一些具有负相位)并且是单声道信号。中信号m1(t)包括除了s1(t)中的那些信号之外的所有信号。用Michael Gerzon的话描述,“M是包含关于立体声场景中间的信息的信号,而S仅包含关于侧面的信息”。两者都是单声道信号。虽然振幅调移直接声音(directsounds)在侧信号中根据它们在立体全景中的位置而衰减,但是如混响和其它环境信号的不相关信号成分在中信号中衰减3dB(对于零相关)。这些衰减由左和右声道中的侧成分之间的相位抵消所引起。
在下文中,更详细地解释谱减法和谱加权。
谱减法是用于语音增强和降噪的众所周知的方法。它已经由Boll(可能最早由他提出)提出用于降低语音通信中的相加噪声的影响[2]。在频域中进行所述处理,其中输入信号的连续(可能重叠的)部分的短帧的谱被处理。
基本原理是从输入信号(被假设为是所需语音信号和干扰噪声信号的混合)的振幅谱中减去干扰噪声信号的振幅谱的估计。
谱加权(或短期谱衰减[3])常用于音频信号处理的各种应用中,例如语音增强[4]和盲源分离。如在频减法中,该处理的目的是分离所需信号d(t)或衰减干扰信号n(t),其中输入信号x(t)是d(t)和n(t)的相加混合,
x(t)=d(t)+n(t) (9)
该处理被示于图19中。在频域中进行信号处理。因此,使用短时傅立叶变换(STFT)、滤波器组,或用于使用多个频带X(f,k)、频带指数f和时间指数k导出信号表示的任何其它装置变换输入信号x(t)。输入信号的频域表示被处理,使得子带信号由时变权重G(f,k)缩放,
Y(f,k)=G(f,k)X(f,k) (10)
该权重从输入信号表示X(f,k)计算,使得它们具有用于高信号噪声比(SNR)的较大振幅和用于小SNR的低值。为了计算权重G(f,k),典型的时间和频率相关的SNR的估计,或N(f,k)或S(f,k)的估计是必需的。在语音处理应用中,在非语音活动期间[2,5],或使用最小统计[6](例如基于每个子带的局部最小值的跟踪),或通过使用靠近噪声源的第二麦克风计算噪声的估计[2,5]。
加权运算Y(f,k)的结果是输出信号的频域表示。使用频域变换的逆处理(例如逆STFT)计算输出时间信号y(t)。
通常情况下,权重G(f,k)被选择为实值,从而产生具有与X相同的相位信息的输出谱Y。各种增益规则(例如如何计算权重G(f,k))存在,例如从谱减法和维纳滤波中导出。在下文中,将描述用于导出谱权重的不同方法。假设s和n是相互正交的,即
在下文中,更详细地解释维纳滤波。假定所需信号Pdd和干扰信号Pnn的功率谱密度(PSD)的估计(例如从STFT系数中导出),通过最小化均方误差导出谱权重
E{(d(t)-y(t))2} (11a)
现在解释使用谱加权的谱减法。
谱权重被计算使得Pyy=Pxx-Pnn,即
或者,实值谱权重可被导出,这可导致|Y|=|X|-|N|,通常被称为谱振幅减法,其中权重
|D|是d(t)的振幅谱。|N|是n(t)的振幅谱。现在解释谱加权规则的归纳。STSA滤波器的归纳公式通过引入三个参数α、β和γ而被导出,其中α和β是控制衰减的强度的幂指数且γ是噪声高估因子。
方程式(15)是如上所述的噪声抑制规则的归纳公式,其中α=2,β=2对应于谱减法且α=2,β=1对应于维纳滤波。振幅(而不是能量)的谱减法通过设置α=1,β=1而实现。参数γ控制噪声量并解决噪声估计方法的可能偏差。它可被选择为与估计的SNR或频率指数关联。
在图20中,典型的谱权重被示为SNR的函数,如在语音增强中所使用的。
可发现各种其它增益规则,其具有权重随子带SNR单调增加的共同特点,例如Ephraim-Malah估计器[7]或软判决/可变衰减算法(SDVA)[8]。
在实际实施中,谱权重通常由大于零的最小值约束以便减少伪像(artifacts)。不同增益规则可应用在不同频率范围中[4]。所得到的增益可沿着时间轴和频率轴两者被平滑处理以便减少伪像。通常情况下,第一阶低通滤波器(漏积分)用于沿时间轴平滑且零相位低通滤波器沿频率轴而应用。
实施例
图1示出根据一个实施例的用于从具有第一输入声道Xl(f)和第二输入声道Xr(f)的立体声输入信号生成具有第一侧声道Sl(f)和第二侧声道Sr(f)的立体声侧信号的装置。装置包括用于基于中侧信息midSideInf生成修改信息modInf的修改信息生成器110。此外,装置包括信号操纵器120,其适于基于修改信息modInf操纵第一输入声道Xl(f)以获得第一侧声道Sl(f)并适于基于修改信息modInf操纵第二输入声道Xr(f)以获得第二侧声道Sr(f)。
例如,修改信息生成器110可适于基于与立体声输入信号的单声道中信号、立体声输入信号的单声道侧信号和/或立体声输入信号的单声道中信号和单声道侧信号之间的关系相关的中侧信息midSideInf生成修改信息modInf。
单声道信号可取决于由于将第一和第二输入声道Xl(f)、Xr(f)相加产生的和信号。单声道侧信号可取决于由于从第一输入声道中减去第二输入声道产生的差信号。例如,可根据下式计算单声道中信号:
M1(f)=1/2(Xl(f)+Xr(f)) (15a)
可例如可根据下式计算单声道侧信号:
S1(f)=1/2(Xl(f)–Xr(f)) (15b)
图1a示出根据一个实施例的用于生成立体声侧信号的装置,其中操纵信息生成器110包括谱减法器115。谱减法器115适于通过生成指示立体声输入信号的单声道中信号或单声道侧信号和第一或第二输入声道之间的差值生成修改信息modInf。例如,谱减法器115可适于通过从立体声输入信号的单声道中信号或单声道侧信号的振幅值或加权振幅值中减去第一或第二输入声道的振幅值或加权振幅值生成修改信息。或者,谱减法器115可适于通过从第一或第二输入声道的振幅值或加权振幅值中减去立体声输入信号的单声道中信号或单声道侧信号的振幅值或加权振幅值生成修改信息modInf。
图1b示出根据一个实施例的用于生成立体声侧信号的装置,其中修改信息生成器110包括用于通过基于立体声输入信号的单声道中信号和单声道侧信号生成第一谱加权因子生成修改信息modInf的谱权重生成器116,其。
图2示出根据一个实施例的谱减法器210。第一输入声道的第一振幅谱|Xl(f)|、第二输入声道的第二振幅谱|Xr(f)|和立体声输入信号的单声道中信号的第三振幅谱|M1(f)|被馈送到谱减法器210中。
谱减法器210的第一谱减法单元215从第一谱|Xl(f)|中减去通过加权因子w(w指示范围为0≤w≤1内的标量因子)加权的第三谱|M1(f)|,例如,由加权因子w加权的第三振幅谱|M1(f)|的第一振幅值被从第一振幅谱|Xl(f)|的第一振幅值中谱减(spectrallysubtract);由加权因子w加权的第三振幅谱|M1(f)|的第二振幅值被从第一振幅谱|Xl(f)|的第二振幅值中谱减;如此等等。通过这样,多个第一振幅侧值被获得作为修改信息。当谱减法的结果为正时,第一振幅侧值是立体声侧信号的第一侧声道的振幅谱的振幅值。因此,第一谱减法单元215适于应用下式:
类似地,谱减法器210的第二谱减法单元218从第二谱|Xr(f)|中减去通过加权因子w(w指示范围为0≤w≤1内的标量因子)加权的第三谱|M1(f)|,例如,由加权因子w加权的第三振幅谱|M1(f)|的第一振幅值被从第二振幅谱|Xr(f)|的第二振幅值中谱减;由加权因子w加权的第三振幅谱|M1(f)|的第二振幅值被从第二振幅谱|Xr(f)|的第二振幅值中谱地减去;如此等等。因此,多个第二振幅侧值被获得作为修改信息。其中当谱减法的结果为正时,第二振幅侧值是立体声侧信号的第二侧声道的振幅谱的振幅值。通过这样,第二谱减法单元218适于下式:
图3示出根据一个实施例的修改信息生成器。修改信息生成器包括振幅确定器305和谱减法器210。振幅确定器305被布置为接收第一Xl(f)输入声道和第二Xr(f)输入声道和立体声输入信号的单声道中信号M1(f)。第一输入声道Xl(f)的第一振幅谱|Xl(f)|的第一振幅值、第二输入声道Xr(f)的第二振幅谱|Xr(f)|的第二振幅值和单声道中信号M1(f)的第三振幅谱|M1(f)|的第三振幅值。振幅确定器305将第一、第二和第三振幅值馈送到谱减法器210中。谱减法器可以是根据图2的谱减法器,其适于生成第一侧声道Sl(f)的振幅谱的第一立体声侧振幅值和第二侧声道Sr(f)的振幅谱的第二立体声侧振幅值。
图4示出根据一个实施例的进行谱减法的装置。在时域中所代表的第一输入声道xl(t)和第二输入声道xr(t)被设置到变换单元405中。变换单元405适于将第一和第二时域输入声道xl(t)、xr(t)从时域变换到谱域以获得第一谱域输入声道Xl(f)和第二谱域输入声道Xr(f)。谱域输入声道Xl(f)、Xr(f)被馈送到声道生成器408中。声道生成器408适于生成单声道中信号M1(f)。可根据下式生成单声道中信号M1(f):
M1(f)=1/2(Xl(f)+Xr(f)) (17a)
声道生成器408将所生成的中信号M1(f)馈送到从所生成的中信号M1(f)中提取振幅值的第一振幅提取器411中。此外,第一输入声道Xl(f)由变换单元405馈送到提取第一输入声道Xl(f)的振幅值的第二振幅提取器412中。此外,变换单元405将第二输入声道Xr(f)馈送到从第二输入声道提取振幅值的第三振幅提取器413中。变换单元405还将第一输入声道Xl(f)馈送到从第一输入声道Xl(f)中提取相位值的第一相位提取器421中。此外,变换单元405还将第二输入声道Xr(f)馈送到从第二输入声道中提取相位值的第二相位提取器422中。
返回到第一振幅提取器411,所产生的单声道中信号的振幅值|M1(f)|被馈送到第一减法器431中。此外,所提取的振幅值|Xl(f)|被馈送到第一减法器431中。第一减法器431生成第一输入声道的振幅值和所生成的中信号的振幅值之间的差值。所生成的中信号的振幅可被加权。例如,第一减法器可根据公式16计算差值:
类似地,第三振幅提取器413将振幅值|Xr(f)|馈送到第二减法器432中。此外,振幅值|M1(f)|也被馈送到第二减法器432中。类似于第一减法单元431,第二减法单元432通过减去振幅值|Xr(f)|和所生成的中信号的振幅值生成第二侧声道的振幅值。第二减法单元432可例如采用下式:
第一减法单元431然后将所生成的振幅值馈送到第一组合器441中。此外,第一相位提取器421将第一输入声道Xl(f)的所提取的相位值馈送到第一组合器441中。第一组合器441然后通过组合由第一减法单元431生成的振幅值和由第一相位提取器421传送的相位值生成第一侧声道的谱域值。例如,第一组合器441可采用下式:
如果的一些值是负的,应用公式会生产和的绝对值的组合,其中Φl(f)在相位中移相π。
类似地,第二减法单元432将第二侧信号的所生成的振幅值馈送到第二组合器442中。第二相位提取器422将第二输入声道Xr(f)的所提取的相位值馈送到第二组合器442中。第二组合器适于组合由第二减法单元432传送的第二振幅值和由相位提取器422传送的相位值以获得第二侧声道。例如,第二组合器442可采用下式:
如果的一些值是负的,应用公式会生产和exp(2πΦr(f)i)的绝对值的组合,其中Φr(f)在相位中移相π。
第一组合器441将以谱域表示的生成的第一侧信号馈送到逆变换单元450中。逆变换单元450将第一谱域侧声道从谱域变换到时域以获得第一时域侧信号。此外,逆变换单元450从第二组合器442中接收以谱域表示的第二侧声道。逆变换单元450将第二谱域侧声道从谱域变换为时域以获得时域第二侧声道。
如已经解释的,第一和第二侧声道的振幅值可由第一减法单元431和第二减法单元432根据下式而生成:
标量因子0≤w≤1控制分离程度。谱减法的结果是立体声侧信号和的振幅谱。
通过从输入信号中减去立体声侧信号计算时间信号m(t)=[ml(t)mr(t)]。
ml(t)=xl(t)-sl(t) (20)
mr(t)=xr(t)-sr(t) (21)
o
通过减去时间信号计算中信号的事实,仅两个频率逆变换是必需的。参数w优选被选择为接近1,但也可以是频率相关的。
图5示出根据采用这些概念的实施例的装置。
装置还包括第一变换单元501,其适于将第一时域输入声道xl(t)从时域变换到谱域以获得第一谱域输入声道Xl(f);和第二变换单元502,其适于将第二时域输入声道xr(t)从时域变换到谱域以获得第二谱域输入声道Xr(f)。
装置还包括声道生成器508、第一511、第二512和第三513振幅提取器、第一521和第二522相位提取器、第一531和第二532减法单元和第一541和第二542组合器,这些可分别对应于图4的装置的声道生成器408、第一411、第二412和第三413振幅提取器、第一421和第二422相位提取器、第一431和第二432减法单元和第一441和第二442组合器。
此外,装置还包括第一逆变换单元551。第一逆变换单元551从第一组合器541接收以谱域表示的所生成的第一侧声道。第一逆变换单元551将所生成的第一谱域侧声道Sl(f)从谱域变换到时域以获得第一时域侧声道sl(t)。
此外,装置还包括第二逆变换单元552。第二逆变换单元552从第二组合器542接收以谱域表示的所生成的第二侧声道。第二逆变换单元552将所生成的第二谱域侧声道Sr(f)从谱域变换到时域以获得第二时域侧声道sr(t)。
此外,装置还包括第一中声道生成器561。第一中声道生成器561在时域中生成立体声中信号的第一中声道ml(t),其应用公式20:
ml(t)=xl(t)-sl(t) (20)
此外,装置还包括第二中声道生成器562。第二中声道生成器562在时域中生成立体声中信号的第一中声道mr(t),其应用公式21:
mr(t)=xr(t)-sr(t) (21)
相同的结果通过使用如本文中为左声道示例地示出来的谱加权(类似于上述章节“背景技术”中的处理)实施该处理而获得。复值谱Xl(f)如以下方程式所示而加权:
虽然上面的方程式产生与如由谱减法(但有较大计算量;这主要是由于计算谱权重的引起的除法)所获得的实际加权相同的结果,谱加权方法具有优点,因为其提供了参数化导致具有类似特性的不同结果的处理的更大可能性,如以下所述:
现在更详细地解释使用谱加权的信号分解。根据本实施例的概念的基本原理将谱加权应用到左和右声道信号xl(t)和xr(t),其中谱权重从M-S合成中导出。M-S分解的中间结果是每个时间-频率片(tile)的中信号和侧信号的比率(在以下被称为中侧比率(MSR))。该MSR可用于计算谱权重,但是需注意,也可在不提及MSR的情况下替代地计算权重。在这种情况下,MSR主要服务解释方法的基本思路的目的。对于计算立体声中信号m(t)=[ml(t)mr(t)],权重被选择为使得它们与MSR单调相关。对于计算立体声侧信号s(t)=[sl(t)sr(t)],权重被选择为使得它们与MSR的倒数单调相关。
在一个实施例中,修改信息生成器包括谱权重生成器。图6示出根据这样的实施例的装置。装置包括修改信息生成器610和信号操纵器620。修改信息生成器包括谱权重生成器615。信号操纵器620包括第一操纵单元621,其用于操纵立体声信号的第一输入声道Xl(f);和第二操纵单元622,其用于操纵立体声输入信号的第二输入声道Xr(f)。图6的谱权重生成器615接收立体声输入信号的单声道中信号M1(f)和单声道侧信号S1(f)。谱权重生成器615适于基于立体声输入信号的单声道中信号M1(f)和单声道侧信号S1(f)确定谱加权因子Gs(f)。信号操纵器620然后将所生成的谱加权因子Gs(f)作为修改信息馈送到修改信息生成器620中。修改信息生成器620的第一修改单元621适于基于所生成的谱加权因子Gs(f)操纵立体声输入信号的第一输入声道Xl(f)以获得立体声侧信号的第一侧声道Sl(f)。
另一个实施例示于图7中。作为图6的装置,图7的装置包括修改信息生成器710和信号操纵器720。修改信息生成器包括谱权重生成器715。信号操纵器720包括第一操纵单元721,其用于操纵立体声信号的第一输入声道Xl(f);和第二操纵单元722,其用于操纵立体声输入信号的第二输入声道Xr(f)。图7的实施例的信号操纵器720适于基于相同的生成的谱加权因子Gs(f)操纵第一输入声道Xl(f)以及第二输入声道Xr(f)以获得立体声信号的第一Sl(f)和第二Sr(f)侧声道。
其它实施例示于图8中。作为图6的装置,图8的装置包括修改信息生成器810和信号操纵器820。修改信息生成器包括谱权重生成器815。信号操纵器820包括第一操纵单元821,其用于操纵立体声信号的第一输入声道Xl(f);和第二操纵单元822,其用于操纵立体声输入信号的第二输入声道Xr(f)。谱权重生成器815适于生成两个或多个谱权重因子。此外,修改信号生成器820的第一操纵单元821适于基于生成的第一谱加权因子操纵第一输入声道。修改信息生成器820的第二操纵单元822还适于基于生成的第二谱加权因子操纵第二输入声道。
图9示出根据一个实施例的修改信息生成器910。修改信息生成器910包括振幅确定器912和谱权重生成器915。振幅确定器912适于接收以谱域表示的单声道中信号M1(f)。此外,振幅确定器912适于接收以谱域表示的单声道侧信号S1(f)。振幅确定器912适于确定单声道侧信号S1(f)的谱的振幅值|S1(f)|作为振幅侧值。此外,振幅确定器912适于确定单声道中信号M1(f)的谱的振幅值|M1(f)|作为振幅中值。
振幅确定器912适于将振幅侧值和振幅中值馈送到谱权重生成器915中。谱权重生成器915适于基于第一数量与第二数量的比率生成第一谱加权因子Gs(f),其中第一数量取决于振幅侧值,并且其中第二数量取决于振幅中值和振幅侧值。例如,可根据下式计算第一谱加权因子Gs(f):
其中α、β、γ、δ和η是标量因子。
在下文中,更详细地描述谱权重的计算。这样的谱权重可通过使用如在上面背景技术中的谱减法的普加权的上下文中描述的上述增益规则中的一个而导出,通过根据表1代入所需信号d(t)和干扰信号Nn(t)。
所需信号 | 干扰信号 | |
立体声侧信号 | s(t) | m(t) |
立体声中信号 | m(t) | s(t) |
表1.将M-S信号分配到用于计算谱权重的信号。
例如,可根据方程式(23)、(24)和(25)计算立体声侧信号s(t)=[sl(t)sr(t)]。
Sl(f)=Gs(f)Xl(f) (24)
Sr(f)=Gs(f)Xr(f) (25)
附加参数δ被引入用于在分解过程中控制立体声侧信号成分的影响。
需注意,仅需要为信号对[xl(t)xr(t)]或[m(t)s(t)]计算频率变换,并根据方程式(5)和(6)通过加法和减法导出上对。
以类似的方式,可根据方程式(26)、(27)和(28)计算立体声中信号m(t)=[ml(t)mr(t)]。
Ml(f)=Gm(f)Xl(f) (27)
Mr(f)=Gm(f)Xr(f) (28)
图10示出用于从具有第一输入声道和第二输入声道的立体声输入信号生成具有第一中声道Ml(f)和第二中声道Mr(f)的立体声中信号的装置。装置包括修改信息生成器1010,其用于基于中侧信息midSideInf生成修改信息modInf2;和信号操纵器1020,其适于基于修改信息操纵第一输入声道Xl(f)以获得第一中声道Ml(f)并适于基于修改信息modInf操纵第二输入声道Xr(f)以获得第二中声道Mr(f)。
图10a示出根据一个实施例的用于生成立体声中信号的装置,其中操纵信息生成器1010包括谱减法器1015。谱减法器1015适于通过生成指示立体声输入信号的单声道中信号或单声道侧信号和第一或第二输入声道之间的差的差值生成修改信息modInf2。例如,谱减法器1015可适于通过从立体声输入信号的单声道中信号或单声道侧信号的振幅值或加权的振幅值中减去第一或第二输入声道的振幅值或加权的振幅值生成修改信息modInf2。或者,谱减法器1015可适于通过从第一或第二输入声道的振幅值或加权振幅值中减去立体声输入信号的单声道中信号或单声道侧信号的振幅值或加权de振幅值生成修改信息modInf2。
图10b示出根据一个实施例的用于生成立体声中信号的装置,其中修改信息生成器1010包括谱权重生成器1016,其用于通过基于立体声输入信号的单声道中信号和单声道的侧信号生成第一谱加权因子生成修改信息modInf2。
修改信息生成器可例如根据公式26生成修改信息modInf2:
公式26中所示的权重的替代是从用于下混合兼容性的标准中导出权重,其中Gs(f)+Gm(f)=1,从而导致
通过即使在时间-频率频段(bin)被硬调移(panned hard)到一侧的情况下增益函数(23)也不会导致权重等于1的观察启动上述方法的扩展。这是分母总是比分子大的事实的结果,由于在左和右谱系数为零以及都为零的情况下中信号将仅接近零。为了实现用于硬调移信号成分的Gs(f)=1,公式(23)可被修改为
方程式(30)的修改导致针对硬调移成分的整体增益。或者,方程式(31)和(32)示出具有参数η的增益公式,其结果是η=0的等式(23)和η=1的等式(30)。
其中Q(f)=ηmin[|Xl(f)|,|Xr(f)|]+(1-η)M(f) (32)
需注意,上述谱加权不能在所有情况下都保证下混合兼容性,例如
xl=sl+ml (33)
xr=sr+mr (34)
如果需要能量保存分离时,权重需要被选择为使得
Gs(f)+Gm(f)=1 (35)
其可通过计算如上所述的Gs(f)或Gm(f)
Gs(f)orGm(f) (36)
并相应地计算其它加权因子(例如,如下)来解决
Gm(f)=1-Gs(f) (37)
任选地,附加常数缩放因子可应用到减法之前的增益函数之一。
对于具有下混合兼容性的四声道重放的实例,参数可被设置为
γ=1,δ=1,η=0 (38)
谱权重Gs(f)被首先计算并缩放1.5dB。针对立体声中信号的增益被计算为Gm(f)=1–Gs(f)。
增益函数被示为图11中的调移参数a的函数。在图11中,示出针对立体声侧信号(实线)和立体声中信号(虚线)的示例增益。图示出增益是互补的(例如所述分离可下混合兼容)。被调移到任一侧的信号成分在立体声中信号中被衰减,且其被调移到中心的信号成分在立体声侧信号中被衰减。在之间被调移的信号成分出现在两个信号中。增益函数被示为图12中的调移参数a的函数。图12示出针对用于左声道(实线)和右声道(虚线)的立体声侧信号(上图)和立体声中信号(下图)的谱加权的结果。
图13示出根据其它实施例的用于生成立体声侧信号的装置。装置包括变换单元1203、修改信息生成器1310、信号操纵器1320和逆变换单元1325。立体声输入信号的第一输入声道xl(t)和第二输入声道xr(t)和立体声输入信号的中信号m1(t)和侧信号s1(t)被馈送到变换单元1305中。变换单元可以是带有频带指数f和时间指数k的短时傅立叶变换单元(STFT单元)、滤波器组,或用于导出多个频带X(f,k)的信号表示的任何其它装置。变换单元将以时域表示的中信号mid1(t)、侧信号s1(t)、第一输入声道xl(t)和第二输入声道xr(t)变换到谱域信号,特别变换到谱域中信号M1(f)、谱域侧信号S1(f)、谱域第一输入声道Xl(f)和谱域第二输入声道Xr(f)。谱域中信号M1(f)和谱域侧信号S1(f)作为中侧信息被馈送到修改信息生成器1310中。
修改信息生成器1310基于谱域单声道中信号M1(f)和单声道侧信号S1(f)生成修改信息modInf。图13的修改信息生成器也可考虑第一输入声道Xl(f)和/或第二输入声道Xr(f),如由虚连接线1312和1314所指示的。例如,修改信息生成器1310可生成基于单声道中信号M1(f)、第一输入声道Xl(f)和第二输入声道Xr(f)的修改信息。
修改生成器1310然后将所生成的修改信息modInf传递到信号操纵器1320。此外,变换单元1305将第一谱域输入声道Xl(f)和第二谱域输入声道Xr(f)馈送到信号操纵器1320中。信号操纵器1320适于基于修改信息modInf操纵第一输入声道以获得由信号操纵器1320馈送到逆变换单元1325中的第一谱域侧声道Sl(f)和第二谱域侧声道Sr(f)。
逆变换单元1325适于分别将第一谱域侧声道Sl(f)变换到时域以获得第一时域声道侧sl(t)和将第二谱域侧声道Sr(f)变换到时域以获得第二时域声道侧sr(t)。
图14示出根据其它实施例的用于生成立体声侧信号的装置。由图14所示的装置不同于图13的装置,差别在于:图14的装置还包括声道生成器1307,其适于接收第一输入声道Xl(f)和第二输入声道Xr(f),并从第一和第二输入声道Xl(f)、Xr(f)生成单声道中信号M1(f)和/或单声道侧信号S1(f)。例如,可根据下式生成单声道中信号M1(f):
M1(f)=1/2(Xl(f)+Xr(f))。
可例如根据下式生成单声道侧信号S1(f):
S1(f)=1/2(Xl(f)–Xr(f))。
所提出的方法的基本原理是通过处理输入信号x(t)=[xl(t)xr(t)]并利用m1(t)和s1(t)的频域表示包括所需信号成分的事实来计算所需信号的振幅谱的估计,即m(t)=[ml(t)mr(t)]和s=[sl(t)sr(t)]。
在一个实施例中,采用谱减法。使用单声道中信号的谱修改输入信号的谱。在另一个实施例中,采用谱加权,其中使用单声道中信号和单声道侧信号导出权重。
根据实施例,具有与中信号和侧信号类似特性的信号应被计算,但在单独聆听每个信号时不失去立体声信号。这可通过在一个实施例中使用谱减法以及通过在另一个实施例中使用谱加权来实现。
根据另一实施例,提供了上混合器,其用于从具有两个上混合器输入声道的立体声信号生成至少四个上混合声道。
上混合器包括根据上述实施例中的一个生成立体声侧信号的装置,以生成第一侧声道作为第一上混合声道,并生成第二侧声道作为第二上混合声道。上混合器还包括第一组合单元和第二组合单元。第一组合单元适于组合第一输入声道和第一侧声道以获得第一中声道作为第三上混合器声道。此外,第二组合单元适于组合第二输入声道和第二侧声道作为第四上混合器声道。
图15示出根据一个实施例的上混合器。上混合器包括用于生成立体声侧信号1510、第一中声道生成器1520和第二中声道生成器1530的装置。第一输入声道Xl(f)被馈送到用于生成立体声侧信号的装置1510中并被馈送到第一中声道生成器1520中。此外,第二输入声道X(f)被馈送到用于生成立体声侧信号1510的装置并被馈送到第二中声道生成器1530中。此外,用于生成立体声侧信号1510的装置将所生成的第一侧声道Sl(f)馈送到第一中声道生成器1520中,而且还将所生成的第二侧声道Sr(f)馈送到第二中声道生成器1530中。第一侧声道Sl(f)被输出作为由上混合器所生成的第一上混合器声道。第二侧声道Sr(f)被输出作为由上混合器生成的第二上混合器声道。第一中声道生成器1520组合第一输入声道Xl(f)和所生成的第一侧声道Sl(f)以获得立体声中信号Ml(f)的第一声道。例如,中声道生成器1520可采用下式:
Ml(f)=Xl(f)–Sl(f)。
此外,第二组合单元通过中声道生成器1530将立体声侧信号的第二声道Sr(f)和第二输入声道Xr(f)组合以获得立体声中信号的第二声道Mr(f)。例如,第二组合单元可采用下式:
Mr(f)=Xr(f)–Sr(f)。
立体声中信号Ml(f)的第一声道和立体声中信号Mr(f)的第二声道分别被输出作为第三和第四上混合器声道。如可以看到的,立体声中信号和立体声侧信号的存在对于使用环绕声音系统再现的立体声信号的上混和的应用是有利的。立体声侧信号和立体声中信号的一个可能的应用是四声道声音再现,如图16中所示。它包括四个声道,其被馈送到立体声中信号和立体声侧信号中。
如上所述的四声道再现的示例应用是对立体声侧信号和立体声中信号的特性的很好说明。需注意,所描述的处理可被进一步扩展来用于再现具有与四声道不同的格式的音频信号。通过首先分离立体声侧信号和立体声中信号并将所述处理再次应用到其中的一个或两个来计算更多输出声道信号。例如,可通过重复使用立体声中信号作为输入信号的信号分解导出用于根据ITU-R BS.775[1]使用5个声道再现的信号。
图17示出生成适合于由五个声道(中心声道C、左声道L、右声道R、环绕SL左声道和环绕右声道SR)再现的多声道信号的处理的框图。
上述方法和装置已经被提出用于将立体声输入信号分解为立体声侧信号和/或立体声中信号。谱减法或谱加权被应用于谱分离。MS分解产生计算每个时间-频率片贡献于立体声侧信号与立体声中一个的程度所需的基于方向的信息。这样的信号被用于应用立体声信号的上混合以用于由环绕声系统再现。
虽然已经在装置的背景中描述了一些方面,但是明显的是这些方面也表示对应方法的描述,其中块或装置对应于方法步骤或方法步骤的特征。类似地,在方法步骤的背景中描述的方面也表示对应块或对应装置的项或特征的描述。
本发明的分解信号可被存储在数字存储介质上,或者可在传输介质(诸如无线传输介质或有线传输介质(诸如因特网))上进行传输。
根据特定实施要求,本发明的实施例可以硬件或软件来实施。可使用具有存储在其上的电子可读控制信号的数字存储介质(例如软盘、DVD、CD、ROM、PROM或EPROM、EEPROM或FLASH存储器)来进行实施,所述信号可与可编程计算机系统相互配合(或能够合作),使得进行相应方法。
根据本发明的一些实施例包括具有电子可读控制信号的短暂性数据载体,这些信号能够与可编程计算机系统合作,使得进行本文所描述的方法之一。
一般而言,本发明的实施例可被实施为具有程序代码的计算机程序产品,程序代码可操作来在计算机程序产品在计算机上运行时进行方法之一。程序代码可例如存储在机器可读载体上。
其它实施例包括用于进行本文所描述的方法之一的计算机程序,其存储在机器可读载体上。
换言之,本发明方法的一个实施例因此是具有程序代码的计算机程序,所述程序代码用于在计算机程序在计算机上运行时进行本文所描述的方法之一。
本发明方法的其它实施例因此是数据载体(或数字存储介质,或计算机可读介质),其包括记录在其上的用于进行本文所描述的方法之一的计算机程序。
本发明的方法的其它实施例因此是数据流或表示用于进行本文所描述的方法之一的计算机程序的信号序列。数据流或信号序列可例如被配置为经由数据通信连接(例如经由因特网)被转移。
其它实施例包括处理装置,例如计算机,或可编程逻辑装置,其被配置或适于进行本文所描述的方法之一。
其它实施例包括具有用于进行本文所描述的方法之一的计算机程序安装在其上的计算机。
在一些实施例中,可编程逻辑装置(例如现场可编程门阵列)可用于进行本文所描述的方法的一些或所有功能。在一些实施例中,现场可编程门阵列可与微处理器合作以便进行本文所描述的方法。一般而言,方法优选地由任何硬件装置来进行。
上述实施例仅用于说明本发明的原理。应理解,本文所描述的布置和细节的修改和变化对于本领域的其他技术人员是显而易见的。因此它的意图是仅由即将发生的专利权利要求的范围限制,而不是由本文中的说明书和实施例的说明的方式给出的具体细节限制。
文献:
[1]International Telecommunication Union,Radiocommunication Assembly,“Multichannel stereophonic sound system with and without accompanyingpicture”,Recommendation ITU-R.BS.775-2,2006年,瑞士日内瓦。
[2]S.Boll,“Suppression of acoustic noise in speech using spectralsubtraction”,IEEE Trans.Accoustics,Speech,and Signal Processing,1979年,第27卷,第2期,第113-120页,
[3]O.Cappé,“Elimination of the musical noise phenomenon with theEphraim-Malah noise suppressor”,IEEE Trans.Speech and Audio Processing,1994年,第2卷,第345-349页。
[4]G.Schmidt,“Single-channel noise suppression based on spectralweighting”,Eurasip Newsletter,2004年。
[5]M.Berouti,R.Schwartz和J.Makhoul,“Enhancement of speech corruptedby acoustic noise”,Proc.of the IEEE Int.Conf.On Acoustics,Speech,and SignalProcessing,ICASSP,1979年
[6]R.Martin,“Spectral subtraction based on minimum statistics”,Proc.of EUSIPCO,英国爱丁堡,1994年
[7]Y.Ephraim和D.Malah,“Speech enhancement using a minimum mean-squareerror short-time spectral amplitude estimator”,Proc.of the IEEE Int.Conf.,Acoustics,Speech,and Signal Processing,ICASSP,1984年
[8]E George,“Single-sensor speech enhancement using a soft-decision/variable attenuation algorithm”,Proc.Of the IEEE Int.Conf.on Acoustics,Speech,and Signal Processing,ICASSP,1995年。
[9]C.Faller,“Multiple-loudspeaker playback of stereo signals”,J.AudioEng.Soc.,第52卷,2004年。
[10]C.Faller,“Multiple-loudspeaker playback of stereo signals”,J.Audio Eng.Soc.,第54卷,2006年。
[11]C.Uhle,J.Herre,S.Geyersberger,F.Ridderbusch,A.Walter和O.Moser,“Apparatus and method for extracting an ambient signal in an apparatus andmethod for obtaining weighting coefficients for extracting an ambient signaland computer program”,美国专利申请2009/0080666,2009年。
[12]C.Uhle,J.Herre,A.Walther,O.Hellmuth,和C.Janssen,“Apparatus andmethod for generating an ambient signal from an audio signal,apparatus andmethod for deriving a multi-channel audio signal from an audio signal andcomputer program”,美国专利申请2010/0030563,2010年。
[13]E.Vickers,“Two-to-three channel upmix for center channelderivation”,美国专利申请2010/0296672,2010年。
Claims (14)
1.一种用于从具有第一输入声道和第二输入声道的立体声输入信号生成具有第一侧声道和第二侧声道的立体声侧信号的装置,其包括:
修改信息生成器(110、610、710、810、910、1310),其用于生成修改信息,所述修改信息生成器(110、610、710、810、910、1310)包括谱权重生成器(116、615、715、815、915),其用于通过基于所述立体声输入信号的单声道中信号和单声道侧信号生成第一谱加权因子而生成所述修改信息,其中所述单声道中信号取决于所述第一输入声道和所述第二输入声道之和,且其中所述单声道侧信号取决于所述第一输入声道和所述第二输入声道之差,以及
信号操纵器(120、620、720、820、1320),其适于基于所述修改信息操纵所述第一输入声道以获得所述第一侧声道并适于基于所述修改信息操纵所述第二输入声道以获得所述第二侧声道。
2.根据权利要求1所述的装置,
其中所述信号操纵器(120、620、720、820、1320)适于基于所述第一谱加权因子作为修改信息操纵所述第二输入声道以获得所述第二侧声道。
3.根据权利要求1所述的装置,
其中所述修改信息生成器(110、610、710、810、910、1310)包括谱权重生成器(116、615、715、815、915),其用于通过基于所述立体声输入信号的所述单声道中信号和所述单声道侧信号生成所述第一谱加权因子生成所述修改信息,
其中所述谱权重生成器(116、615、715、815、915)适于基于所述立体声输入信号的所述单声道中信号和所述单声道侧信号生成第二谱加权因子,
且其中所述信号操纵器(120、620、720、820、1320)适于基于所述第二谱加权因子作为修改信息操纵所述第二输入声道以获得所述第二侧声道。
4.根据权利要求1所述的装置,
其中所述修改信息生成器(110、610、710、810、910、1310)包括所述谱权重生成器(116、615、715、815、915),其用于通过基于所述立体声输入信号的所述单声道中信号和所述单声道侧信号生成所述第一谱加权因子生成所述修改信息,
其中所述修改信息生成器(110、610、710、810、910、1310)还包括振幅确定器(912),
其中所述振幅确定器(912)适于接收以谱域表示的所述单声道中信号,且其中所述振幅确定器适于接收以谱域表示的所述单声道侧信号,
其中所述振幅确定器(912)适于确定所述单声道侧信号的振幅值作为振幅侧值且其中所述振幅确定器(912)适于确定所述单声道中信号的振幅值作为振幅中值,
其中所述振幅确定器(912)适于将所述振幅侧值和所述振幅中值馈送到所述谱权重生成器(116、615、715、815、915)中,且
其中所述谱权重生成器(116、615、715、815、915)适于基于第一数量相对第二数量的比率生成所述第一谱加权因子,其中所述第一数量取决于所述振幅侧值,且其中所述第二数量取决于所述振幅中值和所述振幅侧值。
5.根据权利要求1所述的装置,
其中所述修改信息生成器(110、610、710、810、910、1310)包括所述谱权重生成器(116、615、715、815、915),其用于通过基于所述立体声输入信号的所述单声道中信号和所述单声道侧信号生成所述第一谱加权因子生成所述修改信息,
其中所述谱权重生成器(116、615、715、815、915)适于根据下式生成修改因子:
或者,其中所述谱权重生成器(116、615、715、815、915)适于根据下式生成修改因子:
或者,其中所述谱权重生成器(116、615、715、815、915)适于根据下式生成修改因子:
以及Q(f)=ηmin[|Xl(f)|,|Xr(f)|]+(1-η)M(f),
其中,|S(f)|指示所述单声道侧信号的振幅谱,其中|M(f)|指示所述单声道侧信号的振幅谱,其中|Xl(f)|指示所述第一输入声道的振幅谱,其中|Xr(f)|指示所述第二输入声道的振幅谱,其中M(f)指示所述单声道中信号,且其中α、β、γ、δ和η是标量因子。
6.根据权利要求2所述的装置,其中所述修改信息生成器(110、610、710、810、910、1310)适于基于所述立体声输入信号的所述单声道中信号或所述立体声输入信号的所述单声道侧信号信息生成所述修改信息,其中所述单声道中信号取决于由所述第一和第二输入声道相加而产生的和信号,且其中所述单声道侧信号取决于从所述第一输入声道减去所述第二输入声道而产生的差信号。
7.根据权利要求2所述的装置,其中所述装置还包括声道生成器(561、562),其中所述声道生成器适于基于所述第一和第二输入声道生成所述单声道中信号或所述单声道侧信号。
8.根据权利要求2所述的装置,其中所述装置还包括:
变换单元(1305),其用于将所述立体声输入信号的所述第一和第二输入声道从时域变换到谱域,和
逆变换单元(1325),
其中所述信号操纵器(120、620、720、820、1320)适于操纵以所述谱域表示的所述第一输入声道和以所述谱域表示的所述第二输入声道以获得以所述谱域表示的所述立体声侧信号,
且其中所述逆变换单元(1325)适于将以所述谱域表示的所述立体声侧信号从所述谱域变换到所述时域。
9.一种上混合器,其包括:
装置,其用于根据前述权利要求中的一项生成具有第一侧声道和第二侧声道的立体声信号侧(1510),其中所述装置适于生成所述第一侧声道作为第一上混合器声道,且其中所述装置适于生成所述第二侧声道作为第二上混合器声道,
第一中声道生成器(1520),其用于基于第一立体声输入声道和所述第一侧声道之间的差生成所述第一中声道作为第三上混合器声道,
第二中声道生成器(1530),其用于基于第二立体声输入声道和所述第二侧声道之间的差生成所述第二中声道作为第四上混合器声道。
10.一种用于从具有第一输入声道和第二输入声道的立体声输入信号生成具有第一中声道和第二中声道的立体声中信号的装置,其包括:
修改信息生成器(1010),其用于生成修改信息,所述修改信息生成器(1010)包括谱权重生成器,用于通过基于所述立体声输入信号的单声道中信号和单声道侧信号生成第一谱加权因子生成所述修改信息,其中所述单声道中信号取决于所述第一输入声道和所述第二输入声道之和,且其中所述单声道侧信号取决于所述第一输入声道和所述第二输入声道之差,以及
信号操纵器(1020),其适于基于所述修改信息操纵所述第一输入声道以获得所述第一中声道并适于基于所述修改信息操纵所述第二输入声道以获得所述第二中声道,
其中所述修改信息生成器(1020)包括:
谱权重生成器,其用于通过基于所述立体声输入信号的单声道中信号和单声道侧信号生成第一谱加权因子生成所述修改信息。
11.根据权利要求10所述的装置,
其中所述修改信息生成器还包括振幅确定器,
其中所述振幅确定器适于确定以谱域表示的所述单声道侧信号的振幅值作为振幅侧值且其中所述振幅确定器适于确定以谱域表示的所述单声道中信号的振幅值作为振幅中值,
其中所述振幅确定器适于将所述振幅侧值和所述振幅中值馈送到所述谱权重生成器中,且
其中所述谱权重生成器适于基于第一数量相对第二数量的比率生成所述第一谱加权因子,其中所述第一数量取决于所述振幅侧值,且其中所述第二数量取决于所述振幅中值和所述振幅侧值。
12.一种用于从具有第一输入声道和第二输入声道的立体声输入信号生成具有第一侧声道和第二侧声道的立体声侧信号的方法,其包括:
通过基于所述立体声输入信号的单声道中信号和单声道侧信号生成第一谱加权因子生成修改信息,其中所述单声道中信号取决于所述第一输入声道和所述第二输入声道之和,且其中所述单声道侧信号取决于所述第一输入声道和所述第二输入声道之差,
基于所述修改信息操纵所述第一输入声道以获得所述第一侧声道,和
基于所述修改信息操纵所述第二输入声道以获得所述第二侧声道。
13.一种用于从具有第一输入声道和第二输入声道的立体声输入信号生成具有第一中声道和第二中声道的立体声中信号的方法,其包括:
通过基于所述立体声输入信号的单声道中信号和单声道侧信号生成第一谱加权因子生成修改信息,其中所述单声道中信号取决于所述第一输入声道和所述第二输入声道之和,且其中所述单声道侧信号取决于所述第一输入声道和所述第二输入声道之差,
基于所述修改信息操纵所述第一输入声道以获得所述第一中声道,和
基于所述修改信息操纵所述第二输入声道以获得所述第二中声道。
14.根据权利要求13所述的方法,其中生成修改信息的步骤包括:
通过生成第一谱加权因子生成所述修改信息,其中所述第一谱加权因子取决于所述立体声输入信号的单声道中信号和单声道侧信号,
确定以谱域表示的所述单声道侧信号的振幅值作为振幅侧值,
确定以谱域表示的所述单声道中信号的振幅值作为振幅中值,
将所述振幅侧值和所述振幅中值馈送到谱权重生成器中,和
基于第一数量相对第二数量的比率生成所述第一谱加权因子,其中所述第一数量取决于所述振幅侧值,且其中所述第二数量取决于所述振幅中值和所述振幅侧值。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161504588P | 2011-07-05 | 2011-07-05 | |
US61/504,588 | 2011-07-05 | ||
EP11186715A EP2544465A1 (en) | 2011-07-05 | 2011-10-26 | Method and apparatus for decomposing a stereo recording using frequency-domain processing employing a spectral weights generator |
EP11186715.6 | 2011-10-26 | ||
PCT/EP2012/062932 WO2013004698A1 (en) | 2011-07-05 | 2012-07-03 | Method and apparatus for decomposing a stereo recording using frequency-domain processing employing a spectral weights generator |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103650538A CN103650538A (zh) | 2014-03-19 |
CN103650538B true CN103650538B (zh) | 2017-02-15 |
Family
ID=47262892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280033585.6A Active CN103650538B (zh) | 2011-07-05 | 2012-07-03 | 用于使用采用谱权重生成器的频域处理分解立体声录音的方法和装置 |
Country Status (15)
Country | Link |
---|---|
US (1) | US9883307B2 (zh) |
EP (4) | EP2544465A1 (zh) |
JP (1) | JP5906312B2 (zh) |
KR (1) | KR101710544B1 (zh) |
CN (1) | CN103650538B (zh) |
AU (1) | AU2012280392B2 (zh) |
BR (1) | BR112013032824B1 (zh) |
CA (1) | CA2840132C (zh) |
ES (2) | ES2552996T3 (zh) |
HK (1) | HK1197959A1 (zh) |
MX (1) | MX2013014723A (zh) |
PL (2) | PL2730102T3 (zh) |
RU (1) | RU2601189C2 (zh) |
TR (1) | TR201906465T4 (zh) |
WO (2) | WO2013004698A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6001814B1 (ja) * | 2013-08-28 | 2016-10-05 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイブリッドの波形符号化およびパラメトリック符号化発話向上 |
US9838819B2 (en) * | 2014-07-02 | 2017-12-05 | Qualcomm Incorporated | Reducing correlation between higher order ambisonic (HOA) background channels |
CN105989852A (zh) | 2015-02-16 | 2016-10-05 | 杜比实验室特许公司 | 分离音频源 |
US10217468B2 (en) * | 2017-01-19 | 2019-02-26 | Qualcomm Incorporated | Coding of multiple audio signals |
EP3382703A1 (en) | 2017-03-31 | 2018-10-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and methods for processing an audio signal |
US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
EP3518562A1 (en) | 2018-01-29 | 2019-07-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio signal processor, system and methods distributing an ambient signal to a plurality of ambient signal channels |
US10547926B1 (en) * | 2018-07-27 | 2020-01-28 | Mimi Hearing Technologies GmbH | Systems and methods for processing an audio signal for replay on stereo and multi-channel audio devices |
US11432069B2 (en) | 2019-10-10 | 2022-08-30 | Boomcloud 360, Inc. | Spectrally orthogonal audio component processing |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010140105A2 (en) * | 2009-06-05 | 2010-12-09 | Koninklijke Philips Electronics N.V. | Processing of audio channels |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3280258A (en) * | 1963-06-28 | 1966-10-18 | Gale B Curtis | Circuits for sound reproduction |
DE19742655C2 (de) * | 1997-09-26 | 1999-08-05 | Fraunhofer Ges Forschung | Verfahren und Vorrichtung zum Codieren eines zeitdiskreten Stereosignals |
US6405163B1 (en) * | 1999-09-27 | 2002-06-11 | Creative Technology Ltd. | Process for removing voice from stereo recordings |
US7254239B2 (en) * | 2001-02-09 | 2007-08-07 | Thx Ltd. | Sound system and method of sound reproduction |
US7970144B1 (en) * | 2003-12-17 | 2011-06-28 | Creative Technology Ltd | Extracting and modifying a panned source for enhancement and upmix of audio signals |
SE527670C2 (sv) | 2003-12-19 | 2006-05-09 | Ericsson Telefon Ab L M | Naturtrogenhetsoptimerad kodning med variabel ramlängd |
DE102004042819A1 (de) * | 2004-09-03 | 2006-03-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines codierten Multikanalsignals und Vorrichtung und Verfahren zum Decodieren eines codierten Multikanalsignals |
FR2886503B1 (fr) * | 2005-05-27 | 2007-08-24 | Arkamys Sa | Procede pour produire plus de deux signaux electriques temporels distincts a partir d'un premier et d'un deuxieme signal electrique temporel |
US8619998B2 (en) * | 2006-08-07 | 2013-12-31 | Creative Technology Ltd | Spatial audio enhancement processing method and apparatus |
DE102006050068B4 (de) | 2006-10-24 | 2010-11-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines Umgebungssignals aus einem Audiosignal, Vorrichtung und Verfahren zum Ableiten eines Mehrkanal-Audiosignals aus einem Audiosignal und Computerprogramm |
US8064624B2 (en) * | 2007-07-19 | 2011-11-22 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Method and apparatus for generating a stereo signal with enhanced perceptual quality |
US8588427B2 (en) | 2007-09-26 | 2013-11-19 | Frauhnhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for extracting an ambient signal in an apparatus and method for obtaining weighting coefficients for extracting an ambient signal and computer program |
US8705769B2 (en) | 2009-05-20 | 2014-04-22 | Stmicroelectronics, Inc. | Two-to-three channel upmix for center channel derivation |
PL3779975T3 (pl) * | 2010-04-13 | 2023-12-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Dekoder audio i powiązane sposoby przetwarzania wielokanałowych sygnałów audio stereo z wykorzystaniem zmiennego kierunku predykcji |
-
2011
- 2011-10-26 EP EP11186715A patent/EP2544465A1/en not_active Withdrawn
- 2011-10-26 EP EP11186719A patent/EP2544466A1/en not_active Withdrawn
-
2012
- 2012-07-03 CA CA2840132A patent/CA2840132C/en active Active
- 2012-07-03 ES ES12731456.5T patent/ES2552996T3/es active Active
- 2012-07-03 EP EP12732836.7A patent/EP2730103B1/en active Active
- 2012-07-03 MX MX2013014723A patent/MX2013014723A/es active IP Right Grant
- 2012-07-03 ES ES12732836T patent/ES2726801T3/es active Active
- 2012-07-03 TR TR2019/06465T patent/TR201906465T4/tr unknown
- 2012-07-03 EP EP12731456.5A patent/EP2730102B1/en active Active
- 2012-07-03 PL PL12731456T patent/PL2730102T3/pl unknown
- 2012-07-03 JP JP2014517773A patent/JP5906312B2/ja active Active
- 2012-07-03 KR KR1020147000054A patent/KR101710544B1/ko active IP Right Grant
- 2012-07-03 AU AU2012280392A patent/AU2012280392B2/en active Active
- 2012-07-03 WO PCT/EP2012/062932 patent/WO2013004698A1/en active Application Filing
- 2012-07-03 BR BR112013032824-0A patent/BR112013032824B1/pt active IP Right Grant
- 2012-07-03 WO PCT/EP2012/062930 patent/WO2013004697A1/en active Application Filing
- 2012-07-03 CN CN201280033585.6A patent/CN103650538B/zh active Active
- 2012-07-03 RU RU2014103797/08A patent/RU2601189C2/ru active
- 2012-07-03 PL PL12732836T patent/PL2730103T3/pl unknown
-
2014
- 2014-01-02 US US14/146,127 patent/US9883307B2/en active Active
- 2014-11-13 HK HK14111475.5A patent/HK1197959A1/zh unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010140105A2 (en) * | 2009-06-05 | 2010-12-09 | Koninklijke Philips Electronics N.V. | Processing of audio channels |
Also Published As
Publication number | Publication date |
---|---|
CN103650538A (zh) | 2014-03-19 |
TR201906465T4 (tr) | 2019-05-21 |
AU2012280392A1 (en) | 2014-01-16 |
EP2730102B1 (en) | 2015-09-09 |
JP5906312B2 (ja) | 2016-04-20 |
ES2726801T3 (es) | 2019-10-09 |
KR20140021055A (ko) | 2014-02-19 |
EP2730103A1 (en) | 2014-05-14 |
RU2014103797A (ru) | 2015-08-10 |
PL2730102T3 (pl) | 2016-02-29 |
EP2730103B1 (en) | 2019-04-17 |
EP2544465A1 (en) | 2013-01-09 |
JP2014523174A (ja) | 2014-09-08 |
ES2552996T3 (es) | 2015-12-03 |
US20140119545A1 (en) | 2014-05-01 |
HK1197959A1 (zh) | 2015-02-27 |
RU2601189C2 (ru) | 2016-10-27 |
EP2544466A1 (en) | 2013-01-09 |
AU2012280392B2 (en) | 2015-07-02 |
EP2730102A1 (en) | 2014-05-14 |
BR112013032824B1 (pt) | 2021-03-09 |
KR101710544B1 (ko) | 2017-02-27 |
PL2730103T3 (pl) | 2019-10-31 |
BR112013032824A2 (pt) | 2017-01-31 |
US9883307B2 (en) | 2018-01-30 |
CA2840132C (en) | 2016-07-12 |
MX2013014723A (es) | 2014-05-27 |
CA2840132A1 (en) | 2013-01-10 |
WO2013004698A1 (en) | 2013-01-10 |
WO2013004697A1 (en) | 2013-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103650538B (zh) | 用于使用采用谱权重生成器的频域处理分解立体声录音的方法和装置 | |
JP5149968B2 (ja) | スピーチ信号処理を含むマルチチャンネル信号を生成するための装置および方法 | |
CN106105269B (zh) | 音频信号处理方法和设备 | |
CN105900455B (zh) | 用于处理音频信号的方法和设备 | |
EP2068307B1 (en) | Enhanced coding and parameter representation of multichannel downmixed object coding | |
JP6377249B2 (ja) | オーディオ信号の強化のための装置と方法及び音響強化システム | |
CN102348158B (zh) | 用于确定空间输出多声道音频信号的装置 | |
CN103269474B (zh) | 生成具有增强的感知质量的立体声信号的方法和装置 | |
CN106165454A (zh) | 音频信号处理方法和设备 | |
KR20080078882A (ko) | 입체 오디오 신호 디코딩 | |
TWI468031B (zh) | 用以產生供提供額外輸出聲道的立體音響輸出信號之裝置、方法及電腦程式 | |
Negru et al. | Automatic Audio Upmixing Based on Source Separation and Ambient Extraction Algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Munich, Germany Applicant after: Fraunhofer Application and Research Promotion Association Address before: Munich, Germany Applicant before: Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. |
|
COR | Change of bibliographic data | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |