CN1998046A - 改善基于预测的多声道重构的性能的方法 - Google Patents

Abstract

对于基于至少一个基本声道的音频信号的多声道重构，能量测量值被用于补偿由于预测上混合而导致的能量损失。能量测量值可应用在编码器或解码器中。此外，将去相关的信号添加到由能量损失引入上混合过程生成的输出声道。去相关的信号的能量小于或等于由预测上混合引入的能量误差。因此，解决了针对基于预测的上混合方法(诸如利用高频重构技术进行编码的上混合信号)而出现的问题，使得获得上混合声道之间的正确相关，或者上混合适于任何下混合。

Description

改善基于预测的多声道重构的性能的方法

技术领域

本发明涉及基于可用立体声信号和附加控制数据来进行对音频信号的多声道重构。

背景技术

音频编码领域的新近发展，使得有能力基于立体声(或者单声道)信号和相应控制数据来重建音频信号的多声道表示。这些方法在实质上不同于旧的基于矩阵的解决方案(诸如杜比前逻辑(DolbyProLogic))，因为基于发送的单声道或立体声声道来发送附加控制信息用于控制对环境声道的重建(也称为上混合)。

因此，参数化多声道音频解码器基于M个发送声道和附加控制数据来重构N个声道，其中N＞M。该附加控制数据代表比发送额外的N-M个声道低很多的数据速率，从而使得编码非常有效，同时确保与M个声道设备和N个声道设备的兼容性。

这些参数化环境编码方法通常包括基于IID(声道间强度差)和ICC(声道间相干性)的环境信号的参数化(parameterisation)。这些参数描述了上混合处理中的声道对之间的功率比和相关性。此外，在现有技术中也使用的参数包括用于在上混合过程中预测中间或输出声道的参数。对于现有技术中所述的基于预测的方法，最吸引人注意的一种用法是用于根据两个发送声道来重建5.1声道的系统。在这种结构中，立体声发送在解码器侧是可用的，其是原始5.1多声道信号的下混合。在该情况下，尤其感兴趣的是能够尽可能精确地从立体声信号中提取中声道，因为通常将中声道下混合到左和右下混合声道。这是借助估计两个预测系数来实现的，这两个预测系数描述了用于构建中声道的两个发送声道的每一个的量。与上面的IID和ICC参数相类似，这些参数是针对不同频域被估计的。

然而，因为预测参数不描述两个信号的功率比，而是基于最小均方误差意义上的波形匹配，因此，该方法本身在计算出预测参数之后对立体声波形的任何修正都变得敏感。

近几年，在音频编码方面的另外的发展引入了高频重构方法作为低比特率音频编解码器中非常有用的工具。一个示例是SBR(谱带复制)[WO 98/57436]，其用在诸如MPEG-4高效AAC的MPEG标准化编解码器中。这些方法的共同之处在于它们在解码器侧根据由基本核心编解码器编码的窄带信号和少量附加导向信息来重建高频。与根据一个或两个声道对多声道信号进行参数化重构的情况类似，重建丢失信号分量所需的控制数据的量(在SBR、高频的情况下)比利用波形编解码器对全部信号进行编码所需的数据的量要少得多。

然而应该理解，重建的高频信号在感觉上与原始高频信号相同，而实际的波形却明显不同。此外，因为对于波形编码器，通常使用以低比特率立体声预处理对立体声信号进行编码，这意味着对立体声信号的中心/侧表示中的侧信号有限制。

当希望基于使用MPEG-4高效AAC的立体声编解码信号或利用高频重构技术的任何其它编解码器来进行多声道表示时，用于对下混合立体声信号进行编码的编解码器的这些和其它方面是必须要考虑的。

另外，对于可用作多声道音频信号的录音来说，通常存在专用的可用立体声混合，其不是多声道信号的自动下混合形式。这通常称作“精细下混合(artistic down-mix)”。该下混合不能被表示为多声道信号的线性组合。

本发明的目的是提供改进的多声道下混合/编码器或上混合/解码器概念，这导致更好质量的重构多声道输出。

该目的是通过如下设备和方法实现的：根据权利要求1的多声道合成器，根据权利要求30的用于处理多声道输入信号的编码器，根据权利要求42的生成至少三个输出声道的方法，根据权利要求43的编码方法，根据权利要求44的经编码的多声道信号，根据权利要求45的数据载体。

发明内容

本发明涉及当使用基于预测的上混合方法时、下混合的多声道信号的波形修正问题。这包括：当执行立体声预处理的编码器对下混合的信号进行编码时，用于显著修正波形的高频重构和其它编码实现。此外，本发明解决当使用针对精细下混合的预测上混合技术时所产生的问题，精细下混合即不是根据多声道信号自动生成的下混合信号。

本发明包括以下特征：

-根据修正后的波形而不是下混合波形来估计预测参数；

-仅在这样的频率范围中使用基于预测的方法，即，在该频率范围中该方法是有利的；

-在基于预测的上混合过程中引入的能量损失和声道之间的非精确相关的校正。

附图说明

现在将参照附图，借助于并不会限制本发明范围或者精神的例示性示例描述本发明，其中：

图1例示了根据两个声道对三个声道进行的基于预测的重构；

图2例示了具有能量补偿的预测上混合；

图3例示了在预测上混合中的能量补偿；

图4例示了具有下混合信号能量补偿的编码器侧的预测参数估计器；

图5例示了具有相关性重构的预测上混合；

图6例示了用于在具有相关性重构的上混合中将去相关的信号与上混合信号进行混合的混合模块；

图7例示了用于在具有相关性重构的上混合中将去相关的信号与上混合信号进行混合的一种另选混合模块；

图8例示了在编码器侧的预测参数估计；

图9例示了在编码器侧的预测参数估计；

图10例示了在编码器侧的预测参数估计；

图11例示了本发明的上混合器设备；

图12例示了一个能量图表，其示出能量损失引入上混合的结果以及优选补偿；

图13是优选的能量补偿方法的表；

图14a是优选多声道编码器的示意图；

图14b是由图14a的设备执行的优选方法的流程图；

图15a是用于生成与图14a中的设备相比不同的参数化的、具有谱带复制功能的多声道编码器；

图15b的表格示出了参数化数据的频率选择性生成和发送；以及

图16a是本发明的解码器，其例示了上混合矩阵系数的计算；

图16b是对预测上混合的参数计算的详细描述；

图17是传送系统的发射机和接收机；以及

图18是具有本发明编码器的音频录音器和具有解码器的音频播放器。

具体实施方式

以下描述的实施例对于本发明的原理只是例示性的。应该理解，对这里描述的实现和细节进行的修正和变型对本领域的技术人员是显而易见的。因此，本发明旨在仅限于所附权利要求的范围，而不限于借助于这里对实施例的说明和解释而提供的具体细节。

本发明重点在于能够基于频带选择，即针对滤波器组中的子频带，来执行后续参数计算、应用、上混合、下混合或者任何其他动作。

为了概述本发明的优点，首先给出现有技术中熟知的预测上混合的更加详细的描述。如图1所示，假设基于两个下混合声道的三声道上混合，其中101表示左原始声道，102表示中间原始声道，103表示右原始声道，104表示在编码器侧的下混合和参数提取模块，105和106表示预测参数，107表示左下混合声道，108表示右下混合声道，109表示预测上混合模块，以及110、111和112分别表示重构的左、中和右声道。

假设进行以下定义，其中X是3×L矩阵，该矩阵包含作为行的三个信号段l(k)，r(k)，c(k)，k＝0，...，L-l。

同样，让两个下混合信号l₀(k)，r₀(k)形成X₀的行。下混合处理被描述为：

X₀＝DX                                           (1)

其中下混合矩阵被描述为：

$D=\left(\begin{array}{ccc}{\mathrm{\α}}_1& {\mathrm{\α}}_2& {\mathrm{\α}}_3\\ {\mathrm{\β}}_1& {\mathrm{\β}}_2& {\mathrm{\β}}_3\end{array}\right)---\left(2\right)$

下混合矩阵的一种优先选择是：

$D_{\mathrm{\α}}=\left(\begin{array}{ccc}1& 0& \mathrm{\α}\\ 0& 1& \mathrm{\α}\end{array}\right)---\left(3\right)$

其意思是左下混合信号l₀(k)将仅包含1(k)和αc(k)，r₀(k)将仅包含r(k)和αc (k)。该下混合矩阵是优选的，因为其向左下混合和右下混合分配了相同量的中声道，并且因为其未向左下混合分配任何原始右声道，或者未向右下混合分配任何原始左声道。

上混合被定义为：

$\hat{X}={\mathrm{CX}}_0---\left(4\right)$

其中C是3×2上混合矩阵。

现有技术中已知的预测上混合依赖于如下一种思路，即在最小二乘意义上针对C来求解超定系统(overdetermined system)：

CX₀＝X                                              (5)

这导致以下正规方程：

${\mathrm{CX}}_0{X}_0^{*}={\mathrm{XX}}_0^{*}---\left(6\right)$

从式(6)左边乘以D得到 ${\mathrm{DCX}}_0{X}_0^{*}=X_0{X}_0^{*}$ ，其中在 $X_0{X}_0^{*}={\mathrm{DXX}}^{*}{D}^{*}$ 是非奇异(non-singular)的通常情况下，这隐含着：

DC＝I₂                                              (7)

其中，I_n表示阶为n的单位矩阵(identity matrix)。该关系将参数空间C减小到二维。

如上所述，如果下混合矩阵D是已知的，则可以在解码器侧完全定义上混合矩阵 $C=\left(\begin{array}{cc}{c}_{11}& c_{12}\\ c_{21}& c_{22}\\ c_{31}& c_{32}\end{array}\right),$ 并且发送C矩阵的两个元素，例如c₁₁和c₂₂。

残差(预测误差)信号(residual signal)如下：

$X_r=X-\hat{X}=(I_3-\mathrm{CD})X---\left(8\right)$

从左边乘以D，由于(7)得到：

DX_r＝(D-DCD)X＝0    (9)

接下来，有1×L行向量信号x_r，使得：

X_r＝vx_r             (10)

其中，v是3×1单位向量，其跨距D的核(kernel)(零空间)。例如，在下混合(3)的情形下，可以使用：

$v=\frac{1}{\sqrt{1+{2\mathrm{\α}}^2}}\left[\begin{array}{c}-\mathrm{\α}\\ -\mathrm{\α}\\ 1\end{array}\right]---\left(11\right)$

通常，当v＝[v_l，v_r，v_c]^T且 $\hat{X}={[\hat{l}\left(k\right),\hat{r}\left(k\right),\hat{c}\left(k\right)]}^T$ 时，意思是，依赖于权重因子，残差信号对全部三个声道是共用的，

$l\left(k\right)=\hat{l}\left(k\right)+v_l{x}_r\left(k\right)$

$r\left(k\right)=\hat{r}\left(k\right)+v_r{x}_r\left(k\right)---\left(12\right)$

$c\left(k\right)=\hat{c}\left(k\right)+v_c{x}_r\left(k\right)$

由于正交原理，残差x_r(k)与全部三个预测信号

是正交的。

通过本发明的优选实施例所解决的问题及获得的改进。

当使用根据如上所述现有技术的基于预测的上混合时，很显然会出现如下的问题。

--该方法依赖于在最小均方误差意义上匹配波形，其对于未保持下混合信号的波形的系统不起作用。

--该方法在重构的声道之间不提供正确的相关性结构(正如下面将要描述的)。

--该方法不在重构的声道中重新构建适量的能量。

能量补偿

正如上面所提到的，基于预测的多声道重构具有的问题之一是，预测误差与三个重构声道的能量损失相对应。下文中，概述这种能量损失原理和优选实施例所教导的解决方案。首先，进行理论分析，随后给出根据以下说明的理论的本发明的优选实施例。

使E，

和E_r分别作为X中的原始信号的能量和、

中的预测信号的能量和，以及X_r中的预测误差信号的能量和。根据正交性，得到

$E=\hat{E}+E_r---\left(13\right)$

总预测增益可被定义为 $p=\frac{E}{E_r}$ ，但是在下面，考虑以下参数将更加方便：

$\mathrm{\ρ}=\sqrt{\frac{\hat{E}}{E}}---\left(14\right)$

因此，ρ²∈[0，1]对预测上混合的总相对能量进行测量。

给出该ρ，可以通过施加补偿增益来重新调整各个声道， ${\hat{z}}_g\left(k\right)=g_z\hat{z}\left(k\right)$ ，使得对于z＝l，r，c来说， ${\left|\right|\widehat{z_g}\left|\right|}^2={\left|\right|z\left|\right|}^2$ 。具体地，通过(12)给出目标能量：

${\left|\right|z\left|\right|}^2={\left|\right|\hat{z}\left|\right|}^2+v_z^2{\left|\right|x_r\left|\right|}^2---\left(15\right)$

因此，我们需要求解

$g_z^2{\left|\right|\hat{z}\left|\right|}^2={\left|\right|\hat{z}\left|\right|}^2+v_z^2{\left|\right|x_r\left|\right|}^2---\left(16\right)$

在此，因为v是单位向量，

E_r＝||x_r||²,    (17)

并且根据ρ的定义(14)和(13)得到：

$E_r=\frac{1-{\mathrm{\ρ}}^2}{\mathrm{\ρ}}\hat{E},---\left(18\right)$

综合所有这些，我们得到增益：

$g_z={(1+v_z^2\frac{1-{\mathrm{\ρ}}^2}{{\mathrm{\ρ}}^2}\frac{\hat{E}}{{\left|\right|\hat{z}\left|\right|}^2})}^{1/2},---\left(19\right)$

显然，利用该方法，除了发送ρ之外，还必须在解码器处计算解码声道的能量分布。此外，仅能量被正确地重构，而忽略非对角线的相关性结构。

可以导出增益值，该增益值确保总能量得以保存，而不确保单个声道的能量是正确的。通过定义等式 $g^2\hat{E}=E$ 来获得确保了总能量的所有声道的公共增益g_z＝g。即：

$g=\frac{1}{\mathrm{\ρ}},---\left(20\right)$

借助线性，可以在编码器中将该增益施加给下混合信号，使得不必发送额外的参数。

图2概要示出了本发明的优选实施例，即重新创建三个声道，同时保持输出声道的正确能量。下混合信号l₀和r₀随同预测参数c₁和c₂一起被输入到上混合模块201。上混合模块基于对下混合矩阵D和接收的预测参数的了解，重新创建上混合矩阵C。来自201的三个输出声道随同调整参数ρ一起被输入到202。将这三个声道作为发送参数ρ的函数进行增益调整，并将能量校正后的声道作为输出。

在图3中，示出了调整模块202的更加详细的实施例。将三个上混合声道输入到调整模块304，又分别输入到模块301、302和303。能量估计模块301-303对三个上混合信号的能量进行估计，并将估量出的能量输入到调整模块304。从编码器接收的控制信号ρ(表示预测增益)也被输入到304。如上所述，调整模块实现了等式(19)。

在本发明的另选实施方案中，可以在编码器侧进行能量校正。图4示出了编码器的实施方案，其中由401和402根据403计算出的增益值对下混合信号l₀ 107和r₀ 108进行增益调整。该增益值是根据上面的等式(20)导出的。由上所述，这是本发明该实施例的一个优点，因为无需根据预测上混合对三个重建的声道进行能量计算。然而，这仅确保这三个重建声道的总能量是正确的。这不确保单个声道的能量是正确的。

下文中，与等式(3)相对应的下混合矩阵的优选示例由图4中的下混合器示出。然而，下混合器可以应用如等式(2)中说明的任何常规下混合矩阵。

如在之后要说明的，对于具有三个声道作为输入，以及具有两个声道作为输出的下混合器的当前情况而言，至少要求另外两个上混合参数c₁、c₂。当下混合矩阵D可变或者不完全被解码器所知时，除参数105和106之外，还必须从编码器侧向解码器侧发送与所用下混合有关的额外信息。

相关性结构

现有技术所述的上混合过程的问题之一是，该过程不对重建的声道之间的正确相关性进行重构。因为，如上所述，可将中声道预测为左下混合声道和右下混合声道的线性组合，而左和右声道可通过从左下混合声道和右下混合声道中减去预测的中声道来重构。显然，预测误差将导致在预测的左和右声道中剩余有原始中声道。这就隐含着这三个声道之间的相关性对于重构的声道和对于原始三个声道是不相同的。

优选实施例教导了应该根据测量出的预测误差，使预测的三个声道与去相关的信号进行组合。

现在对实现正确的相关性结构所用的基本理论进行说明。通过用去相关的信号x_d代替解码器中的残差，可使用特定的残差结构来重构完整的3×3相关性结构XX^*。

首先，注意到正规方程(6)导致 $X_r{X}_0^{*}=0$ ，所以

$X_r{\hat{X}}^{*}=0,\hat{X}{X}_r^{*}=0---\left(21\right)$

因此，由于 $X=\hat{X}+X_r,$

${\mathrm{XX}}^{*}=\hat{X}{\hat{X}}^{*}+X_r{X}_r^{*}=\hat{X}{\hat{X}}^{*}+{\mathrm{vv}}^{*}{E}_r---\left(22\right)$

其中将(10)和(17)应用到最后一个等式。

让x_d作为与所有解码信号

去相关的信号，使得

$X_r^{*}=0.$ 增强信号：

$Y=\hat{X}+{\mathrm{vx}}_d---\left(23\right)$

就具有相关矩阵：

${\mathrm{YY}}^{*}=\hat{X}{\hat{X}}^{*}+{\mathrm{vv}}^{*}{\left|\right|x_d\left|\right|}^2---\left(24\right)$

为了完全重现原始相关矩阵(22)，使满足：

||x_d||²＝＝E_r    (25)

如果通过对下混合信号进行去相关来获得x_d，即，

然后

乘以增益γ，应该得到

${\mathrm{\γ}}^2{\left|\right|\frac{1}{2}(l_0+r_0)\left|\right|}^2=E_r---\left(26\right)$

可以在编码器中计算该增益。然而，如果要使用根据(14)而更好地定义的参数ρ²∈[0，1]，则必须在解码器中进行对 和

的估计。鉴于此，一种更好的另选方式是使用三个去相关器来生成x_d：

$x_d=\mathrm{\γ}\·\left(d_1\right\{\hat{l}\}+d_2\{\hat{r}\}+d_3\{\hat{c}\left\}\right)---\left(26a\right)$

然后因为 ${\left|\right|x_d\left|\right|}^2={\mathrm{\γ}}^2\hat{E}$ ，所以通过以下选择来满足(25)：

$\mathrm{\γ}=\sqrt{\frac{1}{{\mathrm{\ρ}}^2}-1}.---\left(27\right)$

图5例示了本发明的一个实施例，其用于根据两个下混合声道进行三个声道的预测上混合，同时在声道之间保持正确的相关性结构。在图5中，模块109、110、111和112与图1所示的相同，在此就不作进一步说明了。从109输出的三个上混合信号被输入到去相关模块501、502和503。这些产生彼此去相关的信号。这些去相关的信号相加并输入到混合模块504、505和506，在这里它们与来自109的输出进行混合。将预测上混合信号与其去相关形式的信号进行混合是本发明的主要特征。在图6中，示出了混合模块504、505和506的实施例。在本发明的该实施例中，由601根据控制信号γ来调整去相关的信号的水平。随后在602中将去相关的信号与预测上混合信号相加。

第三优选实施例将去相关器501、502和503用于上混合声道。去相关的信号也可由去相关器501’产生，其接收作为输入信号的该下混合声道或者甚至所有下混合声道。此外，在多于一个下混合声道的情况下，如图5所示，也可以针对左基本声道l₀和右基本声道r₀使用独立的去相关器，并通过将这些独立的去相关器的输出进行合并，来产生该去相关的信号。这种可能性与图5所示的可能性基本相同，但是与图5所示的可能性的区别在于使用上混合之前的声道。

此外，结合图5来进行描述，混合模块504、505和506不仅仅接收因子γ，还接收声道特定因子vl，vc，vr，其中γ对于全部三个声道都是相等的，因为该因子仅取决于能量测量值ρ，其中vl，vc，vr是按照结合等式(10)和(11)所描述的方式来确定的。然而，当解码器已知在编码器处使用的下混合时，就不必将该参数从编码器传送到解码器。取而代之，优选地将如等式(10)和(11)中所示的矩阵v中的这些参数预先编程到混合模块504、505和506中，使得不必发送这些声道特定的加权因子(但是，如果需要则当然可以发送)。

在图6中，示出了加权设备601使用γ和声道特定的取决于下混合的参数vz的乘积来调整去相关的信号的能量，其中z代表l，r或c。在该情况下，注意到等式(26a)确保了x_d的能量与经预测上混合的左、右和中声道的能量和相等。因此，可以将设备601简单地实现为使用缩放因子(scaling factor)GI的缩放器(scaler)。然而，当另选地生成去相关的信号时，混合模块504、505、506必须对经加法器602相加的去相关的信号进行绝对能量调整，使得在加法器602处相加的信号的能量等于残差信号的能量，例如，由不进行能量保存的预测上混合损失的能量。

关于声道特定的取决于下混合的参数vz，参照图6说明的相同标记也可同样地用于图7的实施例。

此外，在这里注意到，图6和图7的实施例基于承认：使用去相关信号来加入预测上混合中损失的至少一部分能量。为了具有干信号分量(不相关)信号的正确信号能量和正确部分以及“湿”信号分量(去相关的)的正确信号能量和正确部分，就要确保输入到混合模块504中的“干”信号未被预缩放。例如，当在解码器侧对基本声道进行了预校正时(如图4所示)，那么在将该声道输入到混合器框504、505或506之前，必须通过将该声道乘以(相对的)能量测量值ρ来补偿图4的预校正。另外，当如图5所示，在将下混合声道输入到上混合器109之前已经在解码器侧执行了这种能量校正时，必须完成该相同的过程。

当去相关的信号仅要覆盖了一部分残差能量时，通过乘以取决于ρ的因子而对输入到混合框504、505或506的信号进行预缩放，才能使得部分地去除预校正，然而，该取决于ρ的因子比因子ρ本身更接近1。当然，该部分补偿预缩放因子将取决于图7中在605处输入的、编码器生成的信号k。当必须执行这种部分预缩放时，那么施加在G₂中的加权因子就不是必需的了。取而代之，从输入604到加法器602的支路将与图6中所示的相同。

控制去相关度

本发明的优选实施例教导了可以从编码器来控制与预测出的上混合信号相加的去相关的量，同时仍保持正确的输出能量。这是因为在一般的“会见(interview)”示例中，干语音(dry speech)在中声道，环境语音在左和右声道，所以不希望用去相关的信号替代中声道中的预测误差。

根据本发明的优选实施例，针对图5所示的情况可以使用一种另选混合过程。以下将示出如何根据本发明来将总能量保存和实际相关性再现的问题分开，并且如何可通过参数k来控制去相关的量。

假设对下混合信号已经执行了总能量保存增益补偿(20)，所以首先得到解码信号

据此，例如通过使用如前所述的三个去相关器，产生具有相同总能量 ${\left|\right|d\left|\right|}^2=\hat{E}/{\mathrm{\ρ}}^2$ 的去相关的信号d。然后根据下式来定义总的上混合：

$Y_k=k\·\frac{1}{\mathrm{\ρ}}\hat{X}+\sqrt{1-k^2}\·\mathrm{vd}.---\left(29\right)$

其中k∈[ρ，1]是发送的参数。选择k＝l是对应于在不加去相关的信号情况下的总能量保存，而k＝ρ对应于完整的3×3相关性结构再现。我们有：

$Y_k{Y}_k^{*}=\frac{k^2}{{\mathrm{\ρ}}^2}\hat{X}{\hat{X}}^{*}+\frac{1-k^2}{{\mathrm{\ρ}}^2}{\mathrm{vv}}^{*}\hat{E},---\left(30\right)$

从而为所有k∈[ρ，l]保存总能量，这可以通过计算(30)中的矩阵的迹(trace)(对角线值的和)看出。然而，仅针对k＝ρ而得到正确的单个能量。

图7例示了根据上述理论的图5的混合模块504、505和506的实施例。在混合模块的该另选方式中，将控制参数γ输入到702和701。根据上面的等式(29)，用于702的增益因子对应于k，根据上面的等式(29)，用于701的增益因子对应于

本发明的上述实施例使系统可以在编码器侧使用检测机制，该机制对加到基于预测的上混合中的去相关的量进行估计。图7所示的实现将加入所指示量的去相关的信号，并施加能量校正，使得三个声道的总能量是正确的，同时还能够利用去相关的信号来取代任意量的预测误差。

这意味着，对于具有三个环境信号的示例，例如具有大量环境的古典乐曲，编码器可以检测出缺少“干”中声道，并使解码器利用去相关的信号来替代整个预测误差，因此以单独通过基于现有技术的预测的方法而不可能实现的方式来重建来自三个声道的声音的环境。此外，对于利用干中声道的信号(例如，在中声道中的话音)和在左和右声道中的环境声音，编码器检测到由去相关的信号取代预测误差在心理声学上是不当的，取而代之让解码器调整三个重构声道的水平，使得三个声道的能量是正确的。显然，以上穷举示例代表了本发明的两个可能成果。但是，本发明并不限于涵盖仅在以上示例中说明的极端情况。

使预测系数适合于经修正的波形

如上所述，在给出三个原始声道X和下混合矩阵D的情况下，通过使均方误差最小化来估计预测参数。然而，在很多情况下，不能依赖于下可将混合信号描述成下混合矩阵D与用于描述原始多声道信号的矩阵X相乘。

就此而言的一个显然示例是当使用所谓的“精细下混合”时，即当两个声道下混合不能被描述成多声道信号的线性组合时。另一个示例是当下混合信号被知觉音频编解码器编码时，其中该编解码器利用立体声预处理或者用于改善编码效率的其它工具。现有技术公知的是很多知觉音频编解码器依赖于中间/侧立体声编码，其中在比特率抑制条件下侧信号被衰减，从而产生的输出所具有的立体声图像比编码用信号的立体声图像窄。

图8示出了本发明的优选实施例，其中除了多声道信号之外，编码器侧的参数提取还针对经修正的下混合信号。经修正的下混合信号在此是由801生成的。如果仅发送C矩阵的两个参数，则需要知道解码器侧的D矩阵，以便能够执行上混合，并得到所有上混合声道的最小均方误差。然而，本实施例教导了可以利用通过使用下混合矩阵D获得的下混合信号l₀′和r₀′来取代编码器侧的下混合信号l₀和r₀，其中下混合矩阵D不必与解码器侧假设的相同。将另选下混合用于编码器侧的参数估计，这仅保证了在解码器侧的正确的中声道再现。通过从编码器向解码器发送额外的信息，可以获得三个声道的更加精确的上混合。在一种极端情况下，可以将C矩阵的六个元素全都发送出去。然而，本发明教导，如果伴随有与802使用的混合矩阵D有关的信息，则可以发送C矩阵的子集。

前面提到的知觉音频编码器针对低比特率的立体声编码使用中央/侧编码。此外，为了在比特率抑制条件下降低侧信号(side signal)的能量，通常采用立体声预处理。这是基于心理声学概念来实现的，对于立体声信号缩减该立体声信号宽度而言，心理声学概念是一种优选的编码产物(artefact)，其基于可听的量化失真和带宽限制。

因此，如果使用立体声预处理，则下混合等式(3)可表示为：

$D_{\mathrm{\α}}^r=\left(\begin{array}{cc}1-\mathrm{\γ}& \mathrm{\γ}\\ \mathrm{\γ}& 1-\mathrm{\γ}\end{array}\right)\left(\begin{array}{ccc}1& 0& \mathrm{\α}\\ 0& 1& \mathrm{\α}\end{array}\right)---\left(31\right)$

其中γ是侧信号的衰减。如前面所述，在解码器侧需要知道D矩阵，以便能够正确地重构三个声道。因此，本实施例教导了应该将衰减因子发送到解码器。

图9示出了本发明的另一实施例，其中从104输出的下混合信号l₀和r₀被输入到立体声预处理设备901，其通过因子γ对下混合信号的中央/侧表示的侧信号(l₀-r₀)进行限制。该参数被发送到解码器。

HFR编解码器信号的参数化

如果与诸如SBR[WO 98/57436]的高频重构方法一起来使用基于预测的上混合，则在编码器侧估计的预测参数将与在解码器侧重建的高频带信号不匹配。本实施例教导了将另选的非基于波形形式的上混合结构用于对根据两个声道的三个声道进行重建。所建议的上混合过程被设计成在不相关噪声信号的情况下重建所有上混合声道的正确能量。

假设使用如(3)中定义的下混合矩阵D_α。并且现在将定义上混合矩阵C。那么上混合矩阵被定义为：

$\hat{X}={\mathrm{CX}}_0---\left(32\right)$

仅致力于重建上混合信号l(k)，r(k)和c(k)的正确能量，其中这些能量是L，R和C，根据下式来选择上混合矩阵，以便

和XX^*的对角线元素相同：

${\mathrm{XX}}^{*}=\left(\begin{array}{ccc}L& 0& 0\\ 0& R& 0\\ 0& 0& C\end{array}\right).---\left(35\right)$

下混合矩阵的相应表示将为：

$X_0{X}_0^{*}=\left(\begin{array}{cc}L+{\mathrm{\α}}^{2}C& {\mathrm{\α}}^{2}C\\ {\mathrm{\α}}^{2}C& R+{\mathrm{\α}}^{2}C\end{array}\right),---\left(36\right)$

$\hat{X}{\hat{X}}^{*}={\mathrm{CX}}_0{X}_0^{*}{C}^{*}=\left(\begin{array}{cc}{c}_{11}& c_{12}\\ c_{12}& c_{22}\\ c_{31}& c_{32}\end{array}\right)\left(\begin{array}{cc}L+{\mathrm{\α}}^{2}C& {\mathrm{\α}}^{2}C\\ {\mathrm{\α}}^{2}C& R+{\mathrm{\α}}^{2}C\end{array}\right)\left(\begin{array}{ccc}{c}_{11}& c_{21}& c_{31}\\ c_{12}& c_{22}& c_{32}\end{array}\right).---\left(37\right)$

将

的对角线元素设置成与XX^*的对角线元素相等，解释成以下三个定义了C和L，R和C中元素之间的关系的等式：

$\left\{\begin{array}{c}{\mathrm{Lc}}_{11}^2+{\mathrm{Rc}}_{12}^2+{\mathrm{C\α}}^2{(c_{11}+c_{12})}^2=L\\ {\mathrm{Lc}}_{21}^2+{\mathrm{Rc}}_{22}^2+{\mathrm{C\α}}^2{(c_{21}+c_{22})}^2=R\\ {\mathrm{Lc}}_{31}^2+{\mathrm{Rc}}_{31}^2+{\mathrm{C\α}}^2{(c_{31}+c_{32})}^2=C\end{array}\right.---\left(38\right)$

根据以上内容可以定义上混合矩阵。优选地，将上混合矩阵定义成不将右下混合声道添加到左上混合声道，反之亦然。因此，适当的上混合矩阵可以是

$C=\left(\begin{array}{cc}\mathrm{\β}& 0\\ 0& \mathrm{\γ}\\ \mathrm{\δ}& \mathrm{\δ}\end{array}\right)---\left(39\right)$

根据下式给出C矩阵：

$C=\left(\begin{array}{cc}\sqrt{\frac{L}{L+{\mathrm{\α}}^{2}C}}& 0\\ 0& \sqrt{\frac{R}{R+{\mathrm{\α}}^{2}C}}\\ \sqrt{\frac{C}{L+R+4{\mathrm{\α}}^{2}C}}& \sqrt{\frac{C}{L+R+4{\mathrm{\α}}^{2}C}}\end{array}\right)---\left(40\right)$

这可说明，根据发送的两个参数 $c_1=\frac{L+R}{C}$ 和 $c_2=\frac{L}{R}$ 可以在解码器侧重建C矩阵的元素。

图10示出了本发明的优选实施例。此处的101-112与图1所示的相同，在此就不作进一步说明。将三个原始信号101-103输入到估计模块1001。该模块估计两个参数，例如 $c_1=\frac{L+R}{C}$ 和 $c_2=\frac{L}{R},$ 根据这两个参数可以在解码器侧推导出C矩阵。这些参数随同从104输出的参数一起被输入到选择模块1002。在一个优选实施例中，如果来自104的参数与被波形编解码器编码的频率范围相对应，则选择模块1002输出这些参数，并且如果来自1001的参数与HFR重构的频率范围相对应，则选择模块1002输出这些参数。选择模块1002还输出信息1005，与该信息有关的参数化被用于信号的不同频率范围。

在解码器侧模块1004获得所发送的参数，并根据上述，按照参数1005给出的指示将这些参数引导向预测上混合109或基于能量的上混合1003。基于能量的上混合1003根据等式(40)实现上混合矩阵C。

如等式(40)中所示的上混合矩阵具有相等的权重(δ)，以根据两个下混合信号l₀(k)，r₀(k)获得估计(解码器)信号c(k)。基于观察到信号c(k)在两个下混合信号l₀(k)，r₀(k)中的相对量不相等(即C/L不等于C/R)，还可以考虑以下的一般上混合矩阵：

$C=\left(\begin{array}{cc}{f}_1(c_1,c_2)& f_2(c_1,c_2)\\ f_2(c_2,c_1)& f_1(c_2,c_1)\\ f_3(c_1,c_2)& f_3(c_2,c_1)\end{array}\right)---\left(41\right)$

为了估计c(k)，该实施例还要求发送两个控制参数c₁和c₂，这两个控制参数例如等于c₁＝α²C/(L+α²X)和c₂＝α²X/(R+α²C)。然后由下式给出上混合函数f₁的一种可能实现：

$f_1(c_1,c_2)=\sqrt{1-{c_1}^2}---\left(42\right)$

f₂(c₁，c₂)＝0    (43)

$f_3(c_1,c_2)=\frac{c_1}{2\mathrm{\α}}---\left(44\right)$

根据本发明的针对SBR范围的不同参数化的信号表示并不限于SBR。上述参数化可用于如下任何频率范围，即在该频率范围内基于预测的上混合的预测误差被认为太大。因此，模块1002可以根据多种准则将来自1001或104的参数输出，诸如所发送信号的编码方法、预测误差等。

用于改善基于预测的多声道重构的优选方法包括：在编码器侧，针对不同的频率范围提取不同的多声道参数，而在解码器侧，为了重构多个声道而将这些参数化法施加给这些频率范围。

本发明的另一优选实施例包括一种用于改善基于预测的多声道重构的方法，该方法包括：在编码器侧，提取关于所使用的下混合处理的信息，并随后将该信息发送到解码器，而在解码器侧，基于提取的预测参数和有关下混合的信息来施加上混合，以重构多声道。

本发明的另一优选实施例包括一种用于改善基于预测的多声道重构的方法，其中，在编码器侧，根据针对所提取的预测上混合参数而获得的预测误差，来调整下混合信号的能量。

本发明的另一优选实施例涉及一种用于改善基于预测的多声道重构的方法，其中，在解码器侧，通过对上混合声道施加增益来补偿由于预测误差导致的能量损失。

本发明的另一优选实施例涉及一种用于改善基于预测的多声道重构的方法，其中，在解码器侧，由去相关的信号来取代由于预测误差损失的能量。

本发明的另一优选实施例涉及一种用于改善基于预测的多声道重构的方法，其中，在解码器侧，由于预测误差而损失的部分能量被去相关的信号所取代，并且所损失的部分能量被通过对上混合声道施加增益而取代。优选地，所损失能量的该部分是从编码器通过信号通知的。

本发明的另一优选实施例是一种用于改善基于预测的多声道重构的设备，其包括用于根据针对所提取的预测上混合参数而获得的预测误差，来调整下混合信号的能量的装置。

本发明的另一优选实施例是一种用于改善基于预测的多声道重构的设备，其包括，用于通过对上混合声道施加增益而补偿由于预测误差导致的能量损失的装置。

本发明的另一优选实施例是一种用于改善基于预测的多声道重构的设备，其包括，用于通过去相关的信号来取代由于预测误差而损失的能量的装置。

本发明的另一优选实施例是一种用于改善基于预测的多声道重构的设备，其包括，用于通过去相关的信号来取代由于预测误差而损失的部分能量、通过对上混合声道施加增益来取代所损失的部分能量的装置。

本发明的另一优选实施例是一种用于改善基于预测的多声道重构的编码器，包括根据针对所提取的预测上混合参数而获得的预测误差，来调整下混合信号的能量。

本发明的另一优选实施例是一种用于改善基于预测的多声道重构的解码器，包括通过对上混合声道施加增益而补偿由于预测误差而损失的能量。

本发明的另一优选实施例涉及一种用于改善基于预测的多声道重构的解码器，包括通过去相关的信号来取代由于预测误差而损失的能量。

本发明的另一优选实施例是一种用于改善基于预测的多声道重构的解码器，包括通过去相关的信号来取代由于预测误差而损失的部分能量、通过对下混合声道施加增益而取代所损失的部分能量。

图11示出了一种多声道合成器，其利用具有至少一个基本声道1102的输入信号来生成至少三个输出声道1100，该至少一个基本声道是从原始多声道信号导出的。图11所示的多声道合成器包括上混合器设备1104，其可按照图2至图10任一个中所示的方式来实现。通常，上混合器设备1104进行操作以使用上混合规则来上混合至少一个基本声道，以便获得至少三个输出声道。上混合器1104进行操作以响应于能量测量值1106和至少两个不同的上混合参数1108，通过使用能量损失引入上混合规则来产生至少三个输出声道，使得该至少三个输出声道具有的能量分别比该能量损失引入上混合规则产生的多个信号的能量都高。因此，不考虑取决于该能量损失引入上混合规则的能量误差，本发明产生经能量补偿的结果，其中通过缩放和/或添加去相关的信号来实现能量补偿。该至少两个不同的上混合参数1108，以及能量测量值1106被包括在输入信号中。

优选地，能量测量值是涉及由上混合规则引入的能量损失的任何测量值。该测量值可以是上混合所引入的能量误差或上混合信号能量(一般比原始信号的能量低)的绝对测量值，或者可以是相对测量值，诸如原始信号能量与上混合信号能量之间的关系，或者能量误差与原始信号能量之间的关系，或者甚至是能量误差与上混合信号能量之间的关系。相对能量测量值可被用作校正因子，但是仍然是一种能量测量值，因为其取决于引入到上混合信号中的能量误差，该上混合信号是通过能量损失引入上混合规则，或者另言之，是通过非能量保存上混合规则来产生的。

一种示例性能量损失引入上混合规则(非能量保存上混合规则)是使用所发送的预测系数的上混合。在非理想地预测帧或帧的子频带的情况下，上混合输出信号受与能量损失相对应的预测误差的影响。当然，预测误差逐帧变化，因为在几乎理想预测(低预测误差)的情况下，仅必须执行较少的补偿(通过缩放或增加去相关的信号)，而在较大预测误差(非理想预测)的情况下，必须执行较多的补偿。因此，在表示没有或仅有较少补偿的值与表示较大补偿的值之间的能量测量值也不同。

当能量测量值被认为是声道间相干性(ICC)值，这种考虑是正常的，当通过添加根据能量测量值而被缩放的去相关的信号来进行补偿时，优选使用的相对能量测量值(ρ)一般在0.8和1.0之间变化，其中1.0表示上混合信号是按照要求去相关的，或者表示不必添加去相关的信号，或者预测上混合结果的能量等于原始信号的能量，或者预测误差是零。

然而，对于其它能量损失引入上混合规则本发明也是有用的，这些规则即，不是基于波形匹配而是基于诸如使用密码本、谱匹配的其它技术的规则，或者任何其它不考虑能量保存的上混合规则。

通常，可以在应用能量损失引入上混合规则之前或之后执行能量补偿。另选地，甚至可以诸如通过使用能量测量值来改变原始矩阵系数，以使能量损失补偿可以包括在上混合规则中，从而产生一种新的上混合规则并由上混合器来使用。该新的上混合规则基于能量损失引入上混合规则和能量测量值。换言之，该实施例涉及这样的情形，即，将能量补偿“混合”到“增强的”上混合规则中，使得通过将一个或多个上混合矩阵施加到输入向量(所述一个或多个基本声道)来执行能量补偿和/或添加去相关的信号，以(在所述一个或多个矩阵操作之后)获得输出向量(重构的具有至少三个声道的多声道信号)。

优选地，上混合器设备接收两个基本声道l₀，r₀，并且输出三个重构声道l、r和c。

随后，参照图12，示出了在编码器到解码器路径上不同位置处的示例性能量情况。方框1200示出了多声道音频信号的能量，该信号诸如图1所示的具有至少一个左声道、一个右声道和一个中声道的信号。对于图12的实施例，假设图1中的输入声道101、102、103完全不相关，并且下混合器进行能量保存。在该情况下，由方框1202指示的一个或多个基本声道的能量与多声道原始信号的能量1200相等。当原始多声道信号彼此相关时，基本声道能量1202可以低于原始多声道信号的能量，例如当左和右彼此(部分地)抵消时。

然而对于随后的讨论，假设基本声道的能量1202与原始多声道信号的能量1200相同。

1204例示了当使用如结合图1所讨论的非能量保存上混合或预测上混合产生上混合信号(例如图1的110、111、112)时上混合信号的能量。因为如之后对于图14a和14b的说明，这种预测上混合引入了能量误差E_r，所以上混合结果的能量1204将低于基本声道的能量1202。

上混合器1104进行操作以输出输出声道，这些输出声道具有高于能量1204的能量。优选地，上混合器设备1104执行完全补偿，以便图11中的上混合结果1100具有1206处所示的能量。

优选地，其能量如1204处所示的上混合结果并不是如图2所示那样简单地放大，或者如图3所示那样单个地放大，或者如图4所示那样在编码器侧放大。而是使用去相关的信号来“填充”剩余能量E_r，其中E_r与由于预测上混合而产生的误差相对应。在另一优选实施例中，该能量误差E_r仅部分地被去相关的信号所覆盖，而剩余的能量误差是通过放大上混合结果来弥补的。图5和图6中示出了去相关的信号完全覆盖能量误差，而图7例示了“部分”解决方案。

图13示出了多种能量补偿方法，例如，这些方法的共同特征在于，基于取决于能量误差的能量测量值，输出声道的能量比预测上混合的纯结果(即(未校正的)能量损失引入上混合规则的结果)高。

图13的表中的1号涉及解码器侧能量补偿，其在上混合之后执行。该选项在图2中被示出，并且另外还结合图3进行了详细说明，图3示出了声道特定放大因子g_z，该因子不仅取决于能量测量值ρ，另外取决于依赖于声道的下混合因子v_z，其中z表示l，r或c。

图13的2号包括编码侧能量补偿方法，其在下混合之后执行，该方法在图4中被例示。该实施例是优选的，因为不必将能量测量值ρ或γ从编码器发送到解码器。

图13的表中的3号涉及解码器侧能量补偿，其在上混合之前执行。当考虑图2时，在图2中的上混合之后执行的能量校正202将在图2中的上混合块201之前执行。与图2相比，该实施例导致更简单的实现，因为不要求如图3所示的声道特定校正因子，尽管可能发生质量损失。

图13的4号涉及另一实施例，其中在下混合之前执行解码器侧校正。当考虑图1时，声道101、102、103将通过相应的补偿因子来放大，以便在如图12中1208处所示的下混合之后使下混合器输出增大。因此，对于编码器的基本声道输入，图13中的4号实施例与本发明的2号实施例具有相同的结果。

当根据图5中的非能量保存上混合规则109生成的声道来推导去相关的信号时，图13表格的5号涉及图5中的实施例。

图13的表中的6号实施例涉及如下实施例，其中去相关的信号仅覆盖部分残差能量。该实施例在图7中被例示。

图13的8号实施例类似于5号和6号实施例，除了在如图5中的框501’所示的上混合之前根据基本声道来推导去相关的信号之外。

随后，对编码器的优选实施例进行详细描述。图14a例示了用于处理多声道输入信号1400的编码器，其具有至少两个声道，优选地，具有至少三个声道l，r，c。

编码器包括能量测量值计算器1402，用于根据多声道输入信号1400或至少一个基本声道1404的能量与由非能量保存上混合操作1407产生的上混合信号1406之间的能量差，来计算误差测量值。

此外，编码器包括输出接口1408，用于在将至少一个基本声道通过取决于能量测量值的缩放因子403进行缩放(401、402)之后输出该至少一个基本声道，或者用于输出能量测量值本身。

在优选实施例中，编码器包括下混合器1410，用于根据原始多声道1400来生成至少一个基本声道1404。为了生成上混合参数，还存在差值计算器1414和参数优化器1416。这些元件进行操作以找到最佳匹配上混合参数1412。将该组最适合的上混合参数中的至少两个经由输出接口进行输出，作为优选实施例中的参数输出。差值计算器优选地进行操作，以用于针对在参数线1412处输入的参数，执行原始多声道信号1400与上混合器生成的上混合信号之间的最小均方误差计算。该参数优化过程可通过几种不同的优化过程来执行，这些过程全部为了借助包括在上混合器1408中的上混合矩阵来获得最佳匹配上混合结果1406。

图14b中示出了图14a的编码器的功能。在下混合器1410执行下混合步骤1440之后，可如1442所示输出该一个或多个基本声道。然后，执行上混合参数优化步骤1444，根据特定优化策略，该步骤可以是迭代或非迭代过程。然而，迭代过程是优选的。通常，上混合参数优化过程可被实现，以使得上混合结果与原始信号之间的差值尽可能低。取决于该实现，差值可以是涉及单个声道的差值，或者是组合差值。通常，上混合参数优化步骤1444进行操作以使任何代价函数最小化，可根据单个声道或组合声道推导出所述代价函数，使得对于一个声道，接受较大的差值(误差)，而对于其它两个声道，则例如实现好得多的匹配。

然后，当已经找到最适合的参数组，例如，最适合的上混合矩阵时，将步骤1444产生的参数组中的至少两个上混合参数按照步骤1446的指示输出到输出接口。

此外，在上混合参数优化步骤1444完成之后，可以按照步骤1488的指示计算并输出能量测量值。通常，能量测量值将取决于能量误差1210。在优选实施例中，能量测量值是因子ρ，其取决于如图2所示的上混合结果1406的能量与原始信号1400的能量的关系。另选地，计算并输出的能量测量值可以是能量误差1210的绝对值，或者可以是上混合结果1406的绝对能量，当然，其取决于能量误差。在该情况下，注意到，最好将输出接口1408输出的能量测量值进行量化，此外优选地使用诸如算法编码器、Huffman编码器或者运转周期编码器的任何已知熵编码器对其进行熵编码，该熵编码器在随后存在多个相同的能量测量值时尤其有用。另选地或另外地，可以对随后的时间部分或帧的能量测量值进行差值编码，其中该差值编码优选地在熵编码之前执行。

随后，参照图15a，其示出了另选下混合器实施例，根据本发明的优选实施例，该下混合器与图14a的编码器进行组合。图15a的实施例涵盖了SBR实现，尽管该实施例也可用于以下情况，即，其中不执行谱带复制，而是发送基本声道的完整带宽。图15a的编码器包括下混合器1500，用于下混合原始信号1500，以获得至少一个基本声道1504。在非SBR实施例中，至少一个基本声道1504被输入到核心编码器1506中，该核心编码器1506在单个基本声道的情况下可以是用于单声道信号的AAC编码器，而在例如两个立体声基本声道的情况下可以是任何立体声编码器。在核心编码器1506的输出(1508)，输出包含一个经编码的基本声道或者包含多个经编码的基本声道的比特流。

当图15a的实施例具有SBR功能时，至少一个基本声道1504在被输入核心编码器之前要经过低通滤波1510。当然，框1510和1506的功能可以通过单个编码器设备来实现，该编码器设备在单个编码算法中执行低通滤波和核心编码。

在输出1508处的经编码的基本声道仅包括基本声道1504的编码形式的低频带。通过SBR谱包络计算器1512来计算与高频带有关的信息，SBR谱包络计算器1512与SBR信息编码器1514相连，SBR信息编码器1514用于产生经编码的SBR侧信息，并在输出1516处将其输出。

原始信号1502被输入到能量计算器1520中，其产生声道能量(针对原始声道l，r，c的特定时间段，其中声道能量由块1520输出的L，R，C来指示)。声道能量L，R，C被输入到参数计算器块1522。参数计算器1522输出两个上混合参数c1，c2，其例如可以是图15a中指示的参数c₁，c₂。当然，涉及所有输入声道能量的其它(例如线性)能量组合可由参数计算器1522来生成，以发送到解码器。当然，所发送的不同上混合参数将导致以不同方式计算剩余的上混合矩阵元素。如结合等式(40)和等式(41-44)所指示的，对于以能量指导的图15的实施例的上混合矩阵，其具有至少四个非零元素，其中第三行的元素彼此相等。因此，参数计算器1522例如可以使用能量L，C，R的任意组合，根据这些组合，可以导出上混合矩阵中的四个元素，该上混合矩阵诸如为上混合矩阵指示(40)或(41)。

图15a的实施例例示了一种编码器，其进行操作以执行能量保存，或者，一般而言，针对信号的整个带宽执行能量被导出的上混合。这意味着，在图15a所示的编码器侧，由参数计算器1522输出的参数表示是针对整个信号产生的。这意味着，对于经编码的基本声道的各个子频带，计算并输出相应的参数组。例如，当考虑这样的经编码的基本声道，即，其例如是具有十个子频带的全带宽信号时，参数计算器可以对经编码的基本声道的各个子频带输出十个参数c₁，c₂。然而，当经编码的基本声道是SBR环境中的低频带信号时，例如，只涵盖仅五个较低频带，那么参数计算器1522将为该五个较低子频带中的每一个输出一组参数，另外，也为五个较高子频带中的每一个输出一组参数，尽管输出1508处的信号不包括相应的子频带。这是由于以下事实，即，这种子频带会在解码器侧被重建，如随后将结合图16a进行说明的。

然而，优选地，并且如结合图10所进行描述的，能量计算器1520和参数计算器1522仅针对原始信号的高频带部分进行操作，而原始信号的低频带部分的参数是由图10中的预测参数计算器104来计算的，该预测参数计算器104与图10中的预测上混合器109相对应。

图15b示出了由图10中的选择模块1002输出的参数表示的示意性表示。因此，根据本发明的参数表示包括一组针对低频带，例如针对子频带1至i的预测参数，以及针对高频带，例如针对子频带i+1至N的基于子频带的参数。另选地，可将预测参数与能量风格参数进行混合，例如，将具有能量风格参数的子频带设置在具有预测参数的子频带之间。此外，仅具有预测参数的帧之后可以紧跟仅具有能量风格参数的帧。因此，一般而言，如结合图10所讨论的本发明涉及不同的参数化，当仅具有预测参数的帧之后紧跟仅具有能量风格参数的帧时，这些参数化在如图15b所示的频率方向上可以不同，或者这些参数化可以在时间方向上不同。当然，子频带的分布或参数化可以逐帧改变，使得例如，在第一帧处子频带i具有如图15b所示的第一(例如，预测)参数组，在其它帧中具有第二(例如，能量风格)参数组。

此外，当使用与图14a所示的预测参数化以及图15a所示的能量风格参数化不同的参数化时，本发明也是有用的。还可以使用除预测或能量风格之外的其它示例参数化法，只要任何目标参数或目标事件表明编码器侧或解码器侧的上混合质量、下混合比特率、计算效率，或者例如是如电池设备的能量消耗等表明对于特定子频带或者帧，第一参数化法比第二参数化法更好。当然，目标函数还可以是如上所述的不同的单个目标/事件的组合。一种示例性事件是经SBR重构的高频带等。

此外，注意到，如图10中的1005所示，可以明确地用信号表示参数的频率或时间选择性计算以及发送。另选地，也可以如结合图16a所讨论的那样隐含地执行信号表示。在该情况下，使用针对解码器的预定义规则，例如，对于属于图15b中高频带的子频带，例如，对于通过谱带复制或高频再现技术已经重构的子频带，解码器自动假设所发送的参数是能量风格参数。

此外，注意到，可以在发送或不发送能量测量值的情况下执行：在编码器侧计算一个、两个或甚至更多不同参数化，以及在编码器侧选择发送哪个参数化，该选择基于使用任何编码器侧可用信息(该信息可以是实际使用的目标函数或者是因为诸如SBR处理和信号表示的其它原因而使用的信号表示信息)的判决。甚至当根本不执行优选的能量校正时，例如，当不对非能量保存上混合(预测上混合)的结果进行能量校正时，或者当不执行编码器侧的相应预补偿时，为了获得较好的多声道输出质量和/或较低的比特率，在不同参数化之间进行优选切换是有用的。

特别是，根据可用编码器侧信息在不同参数化之间进行的优选切换可以在以下情况中使用，即，如结合图5至图7所示，在通过预测上混合添加或不添加去相关的信号的情况下，其中该去相关的信号完全或至少部分地覆盖能量误差。在该情况下，如结合图5所述的添加去相关的信号仅针对对其发送了预测上混合参数的子频带/帧来执行，而对去相关的不同测量则被用于其中已经发送了能量风格参数的那些子频带或帧。当对干信号添加经适当缩放的去相关的信号时，所述测量例如是缩小湿信号并且生成去相关的信号，以及对去相关的信号进行缩放，以便获得所需的去相关量，该去相关量例如是所发送的声道间相关性测量值(诸如ICC)所需的。

随后，讨论图16a，以例示在解码器侧实现优选上混合块201以及202中的相应能量校正。如结合图11所讨论的，发送的上混合参数1108是从接收的输入信号中提取的。当包含能量补偿的上混合矩阵1602要执行预测上混合以及之前或之后的能量校正时，优选地将这些发送的上混合参数输入到计算器1600，用于计算剩余的上混合参数。随后结合图16b来讨论用于计算剩余上混合参数的过程。

计算上混合参数是基于图16b中的等式，其与等式(7)是重复的。在三个输入信号/两个输出信号的实施例中，下混合矩阵D具有六个变量。另外，上混合矩阵C也具有六个变量。然而，在等式(7)的右手边，仅有四个值。因此，在未知下混合以及未知上混合的情况下，将有来自矩阵D和矩阵C的十二个未知变量，而仅有四个等式用来确定这十二个变量。然而，下混合是已知的，使得未知变量的数量减少到上混合矩阵C的系数，其具有六个变量，尽管仍存在四个等式用来确定这六个变量。因此，如结合图14b中的步骤1444所讨论的以及如图14a所示的优化方法被用于确定上混合矩阵的至少两个变量，这两个变量优选为c₁₁和c₂₂。现在，因为存在四个未知量，例如c₁₂，c₂₁，c₃₁和c₃₂，并且因为存在四个等式，例如，一个等式用于图16b中等式的右手边的单位矩阵I的各个元素，所以上混合矩阵的剩余未知变量可以直接方式来计算。该计算在用于计算剩余上混合参数的计算器1600中执行。

根据由虚线1604转发的两个发送上混合参数以及块1600计算出的剩余四个上混合参数，来设置设备1602中的上混合矩阵。然后将该上混合矩阵施加给经由线1102输入的基本声道。根据该实现，经由线1106对用于低频带校正的能量测量值进行转发，使得可以生成并输出经校正的上混合。当预测上混合仅针对低频带执行时，例如，经由线1606隐含地利用信号通知时，并且当在线1108上存在针对高频带的能量风格上混合参数时，针对相应的子频带，用信号将该事实通知给计算器1600以及上混合矩阵设备1602。在能量风格情况下，优选地计算上混合矩阵(40)或(41)的上混合矩阵元素。为此，使用如以下等式(40)所指示的发送参数或者如以下等式(41)所指示相应参数。在该实施例中，所发送的上混合参数c₁和c₂不能被直接用于上混合系数，但是必须使用所发送的上混合参数c₁和c₂来计算如等式(40)或(41)所示的上混合矩阵的上混合系数。

对于高频带，为基于能量的上混合参数而确定的上混合矩阵被用于对多声道输出信号的高频带部分进行上混合。随后，将低频带部分和高频带部分在低/高组合器1608中进行组合，以输出全带宽重构的输出声道l，r，c。如图16a所示，使用用于对所发送的低频带基本声道进行解码的解码器来生成基本声道的高频带，其中对于单声道基本声道，该解码器是单声道解码器，对于两个立体声基本声道，该解码器是立体声解码器。将经解码的低频带基本声道输入到SBR设备1614，另外该SBR设备1614还接收如图15a中由设备1512计算的包络信息。基于低频带部分和高频带包络信息，生成基本声道的高频带，以在线1102上获得全带宽基本声道，随后将这些基本声道转发到上混合矩阵设备1602中。

优选方法或设备或计算机程序可被实现或被包括在几种设备中。图17示出发送系统，该系统具有包括本发明编码器的发送机并具有包括本发明解码器的接收机。发送声道可以是无线或有线声道。此外，如图18所示，编码器可以被包括在音频录音机中，或者解码器可以被包括在音频播放器中。可以经由因特网或经由存储介质将来自音频录音机的音频记录分配到音频播放器，该存储介质是利用邮件或信使资源、或者是利用用于分配存储介质(诸如存储卡、CD或DVD)的其它可能事物来发布的。

根据本发明的特定实施要求，可以硬件或软件来实现本发明的方法。可以使用数字存储介质来实施本发明，具体地，数字存储介质具有存储在其上的电子可读控制信号，其可与可编程计算机系统协作以便执行本发明的方法。通常，本发明因此是计算机程序产品，其具有存储在机器可读载体上的程序代码，该程序代码被配置为当计算机程序产品在计算机上运行时执行至少一种本发明的方法。换言之，本发明的方法因此是具有程序代码的计算机程序，该程序代码在当计算机程序在计算机上执行时执行本发明的方法。

Claims (51)

1、一种多声道合成器，其利用具有至少一个基本声道(1102)的输入信号来生成至少三个输出声道(1100)，该基本声道是根据原始多声道信号(101，102，103)导出的，该多声道合成器包括：

上混合器(1104)，用于根据能量损失引入上混合规则(201，1407)来上混合所述至少一个基本声道，以使得获得所述至少三个输出声道，

其中上混合器(1104)进行操作，以响应于能量测量值(1106)和至少两个不同的上混合参数(1108)而生成所述至少三个输出声道，使得所述至少三个输出声道具有的能量比仅使用能量损失引入上混合规则代替能量误差而获得的信号的能量高，该能量误差取决于能量损失引入上混合规则，并且

其中用于控制上混合器的所述至少两个不同的上混合参数(1108)和能量测量值被包括在输入信号中。

2、根据权利要求1所述的多声道合成器，其中能量损失引入上混合规则是使用具有基于预测系数的矩阵系数的上混合矩阵的预测上混合规则，并且

其中所述至少两个不同的上混合参数是上混合矩阵的两个不同元素(c₁₁，c₂₂)，或者是如下参数，即根据这样的参数可以导出上混合矩阵的所述两个不同元素。

3、根据权利要求1或2所述的多声道合成器，其中能量测量值直接或间接地表明使用能量损失引入上混合规则的上混合结果的能量与原始多声道信号的能量的关系，或者所述能量误差与绝对项中的能量或原始多声道信号或能量误差的关系。

4、根据在前权利要求的其中之一所述的多声道合成器，其中上混合器包括计算器(1600)，该计算器用于根据所述至少两个上混合参数以及与用于根据原始多声道信号来生成所述至少一个基本声道的下混合规则有关的信息来推导上混合矩阵。

5、根据在前权利要求的其中之一所述的多声道合成器，其中上混合器进行操作以处理左基本声道和右基本声道并输出左输出信号、右输出信号和中间信号，其中所述左基本声道和右基本声道是所述多声道信号的立体声兼容表示。

6、根据在前权利要求的其中之一所述的多声道合成器，其中上混合器(1104)进行操作以利用缩放因子来单独缩放(304)所述至少三个输出声道，其中针对输出声道的缩放因子(g_z)取决于能量损失引入上混合规则的上混合结果的能量、使用能量损失引入上混合规则进行上混合之后的输出声道的能量、以及与用于生成所述至少一个基本声道的下混合(v)有关的信息。

7、根据权利要求6所述的多声道合成器，其中如下来确定所述缩放因子：

$g_z=(1+v_z^2\frac{1-{\mathrm{\ρ}}^2}{{\mathrm{\ρ}}^2}\frac{\hat{E}}{\left|\right|\hat{z}\left|\right|})$

其中v_z是针对输出声道z的依赖于下混合的因子，其中ρ是能量测量值，其中

是由能量损失引入上混合规则生成的多声道信号的能量，并且其中 表示能量损失引入上混合规则的待缩放输出声道的能量。

8、根据权利要求l至6的其中之一所述的多声道合成器，其中上混合器(1104)还包括去相关器(501，502，503，50l’，503’)，其用于根据所述至少一个基本声道或者根据能量损失引入上混合规则的至少一个输出信号来生成去相关的信号，并且

其中上混合器进行操作以使用去相关的信号，使得输出声道中的去相关的信号的能量的量小于或等于可以通过能量测量值导出的能量误差的量。

9、根据权利要求8所述的多声道合成器，其中上混合器进行操作以生成去相关信号，该去相关信号具有的能量等于经缩小因子缩小的输出声道的能量，所述缩小因子取决于能量测量值，并且

其中上混合器进行操作，以将所述去相关的信号与能量损失引入上混合规则(109)的输出信号相加。

10、根据权利要求8或9所述的多声道合成器，其中去相关器进行操作，以通过添加被声道特定因子(v)加权并且被使用能量测量值(ρ)而加权的去相关信号来对所述至少三个输出声道单独进行去相关，并且所述去相关器进行操作以将加权后的去相关的信号添加(602)到执行能量损失引入上混合规则的上混合器(109)的输出信号。

11、根据权利要求9或10所述的多声道合成器，其中所述去相关器进行操作以利用数字滤波器对输入信号进行滤波。

12、根据权利要求9所述的多声道合成器，其中如下来导出所述缩小因子：

$\mathrm{\γ}=\sqrt{\frac{1}{{\mathrm{\ρ}}^2}-1},$

其中γ是缩小因子，其中ρ是能量测量值。

13、根据在前权利要求的其中之一所述的多声道合成器，其中，为了部分或全部补偿由于能量损失引入上混合规则而产生的能量损失，上混合器(1104)进行操作，以将具有小于能量误差并且大于0的能量的去相关的信号添加到由能量损失引入上混合规则生成的至少一个声道。

14、根据权利要求13所述的多声道合成器，其中，当去相关的信号的能量小于能量误差时，上混合器进行操作以对所述至少一个基本声道或由上混合规则生成的信号进行放大，使得放大信号或利用放大的至少一个基本声道生成的上混合信号与所添加的去相关的信号的组合能量等于或小于原始信号的能量。

15、根据权利要求14所述的多声道合成器，其中所添加的去相关的信号的能量由去相关因子来确定，其中接近1的高去相关因子表明要添加较小水平的去相关的信号，而接近0的较小去相关因子表明要添加较高水平的去相关的信号，并且

其中去相关的测量值是从输入信号中提取的。

16、根据权利要求13或14所述的多声道合成器，其中所述至少一个基本声道是由下混合矩阵生成的被缩放的基本声道，缩放因子取决于能量测量值，使得去相关信息(605)是还取决于误差能量的唯一被发送的能量测量值。

17、根据权利要求14所述的多声道合成器，其中包括在输入信号中的能量测量值包括取决于能量误差(ρ)的第一能量值，并包括取决于相关度(k)的第二能量值。

18、根据在前权利要求的其中之一所述的多声道合成器，其中除了所述两个不同的上混合参数之外，输入信号还包括与作为所述至少一个基本声道的基础的下混合有关的信息，

其中上混合器进行操作以使用所述附加的下混合信息来生成上混合矩阵(802)。

19、根据权利要求18所述的多声道合成器，其中立体声预处理(901)计算的信息(γ)被包括在输入信号中作为下混合信息。

20、根据在前权利要求的其中之一所述的多声道合成器，其中输入信号还包括上混合器模式指示(1005)，用于指示处于要执行第一上混合规则的第一状态中，以及指示处于要执行不同的上混合规则的第二状态中，并且

其中上混合器(1104)进行操作，以根据上混合模式指示(1005)，使用所述至少两个不同的上混合参数(1108)来计算用于上混合规则的参数。

21、根据权利要求20所述的多声道合成器，其中所述上混合器模式指示进行操作，以采用基于子频带或基于帧的信号来表示上混合器模式。

22、根据权利要求20或21所述的多声道合成器，其中所述第一上混合规则是预测上混合规则，并且其中第二上混合规则是具有依赖于能量的上混合参数的上混合规则。

23、根据权利要求21所述的多声道合成器，其中如下来执行第二上混合规则：

$C=\left(\begin{array}{cc}\sqrt{\frac{L}{L+{\mathrm{\α}}^{2}C}}& 0\\ 0& \sqrt{\frac{R}{R+{\mathrm{\α}}^{2}C}}\\ \sqrt{\frac{C}{L+R+4{\mathrm{\α}}^{2}C}}& \sqrt{\frac{C}{L+R+4{\mathrm{\α}}^{2}C}}\end{array}\right),$

其中L是左输入声道的能量值，其中C是中间输入声道的能量值，其中R是右输入声道的能量值，并且其中α是下混合确定的参数。

24、根据权利要求20至23的其中之一所述的多声道合成器，其中第二上混合规则使得右下混合声道不被添加到左上混合声道，或者反之。

25、根据权利要求20至24所述的多声道合成器，其中第一上混合规则是通过原始多声道信号的波形与由第一上混合规则生成的信号的波形之间的波形匹配来确定的。

26、根据权利要求20至25的其中之一所述的多声道合成器，其中第一或第二上混合规则如下来确定：

$C=\left(\begin{array}{c}{f}_1(c_1,c_2)f_2(c_1,c_2)\\ f_2(c_2,c_1)f_1(c_2,c_1)\\ f_3(c_1,c_2)f_3(c_1,c_2)\end{array}\right),$

其中函数f₁，f₂，f₃表示被发送的两个不同上混合参数c₁，c₂的函数，并且，

其中如下来确定函数：

$f_1(c_1,c_2)=\sqrt{1-c_1^2}$

$f_2(c_1,c_2)=0$

$f_3(c_1,c_2)=\frac{c_1}{2\mathrm{\α}},$

其中α是实值参数。

28、根据权利要求20至27的其中之一所述的多声道合成器，还包括SBR单元1614，其用于使用包括在输入信号中的所述至少一个基本声道的一部分，来重建未包括在所发送的基本声道中的所述至少一个基本声道的频带，并且

其中多声道合成器进行操作，以将第二上混合规则应用于所述至少一个基本声道的重建频带中，并将第一上混合规则应用于包括在输入信号中的基本声道的频带中。

29、根据权利要求28所述的多声道合成器，其中上混合器模式指示是包括在输入信号中的SBR信号表示(1606)。

30、一种用于处理多声道输入信号的编码器，该编码器包括：能量测量值计算器(1402)，其用于根据多声道输入信号或从多声道输入信号导出的至少一个基本声道与通过能量损失引入上混合操作而产生的上混合信号之间的能量差，来计算能量测量值(ρ)；以及

输出接口(1408)，其用于输出通过取决于能量测量值的缩放因子(403)进行缩放(401、402)之后的所述至少一个基本声道，或者用于输出能量测量值。

31、根据权利要求30所述的编码器，其中基于通过使用能量引入上混合规则对所述至少一个基本声道进行上混合而产生的上混合信号的能量与原始多声道信号的能量的关系来确定能量测量值(ρ)，并且所述缩放因子是通过转换能量测量值来确定的。

32、根据权利要求30或31所述的编码器，还包括用于确定相关度(k)的相关度计算器，并且其中所述输出接口进行操作以输出基于所述相关度的相关性测量值(k)。

33、根据权利要求30至32的其中之一所述的编码器，还包括用于计算至少两个不同上混合参数(1412)的上混合参数计算器(1407，1414，1406)，并且

其中所述输出接口进行操作以输出所述至少两个不同上混合参数。

34、根据权利要求30至33的其中之一所述的编码器，还包括用于计算所述至少一个基本声道的下混合器设备(1410)，并且

其中所述输出接口(1408)进行操作以输出与下混合操作有关的信息。

35、根据权利要求34所述的编码器，其中所述下混合器设备包括立体声预处理器，并且其中所述输出接口进行操作以输出与立体声预处理器有关的信息。

36、根据权利要求33所述的编码器，其中所述上混合器参数计算器进行操作以执行：通过使用上混合声道的波形来进行参数优化(1444)；根据最佳上混合参数来生成至少两个要被发送到解码器的上混合参数；以及根据利用最佳上混合参数对所述至少一个基本声道进行上混合而产生的信号来计算并输出能量测量值。

37、根据权利要求30至36的其中之一所述的编码器，还包括参数生成器(104，1001，1520，1522，1414，1416)，其用于根据在编码器处可用的信息来生成在多个不同的参数表示之中的特定参数表示；

其中所述输出接口(1408)进行操作以输出所生成的参数表示以及隐含地或明确地表明所述多个不同参数表示之中的所述特定参数表示的信息。

38、根据权利要求37所述的编码器，其中所述多个不同参数表示包括针对基于波形的预测上混合方案的第一参数表示，以及针对非基于波形的上混合规则的第二参数表示。

39、根据权利要求38所述的编码器，其中非基于波形的上混合规则是能量保存上混合规则。

40、根据权利要求37至39的其中之一所述的编码器，其中第一参数表示是如下参数表示，其参数是利用优化过程来确定的，并且

其中第二参数表示是通过计算(1502)原始声道的能量并通过基于能量的组合来计算参数(1522)而确定的。

41、根据权利要求30至40的其中之一所述的编码器，还包括谱带复制模块(1512，1514)，其用于针对原始输入信号的至少一个频带生成谱带复制侧信息，该至少一个频带不包括在编码器输出的基本声道中。

42、一种使用具有至少一个基本声道(1102)的输入信号来生成至少三个输出声道(1100)的方法，该基本声道是根据原始多声道信号(101，102，103)导出的，该方法包括：

根据能量损失引入上混合规则(201，1408)来上混合(1104)所述至少一个基本声道，以使得获得所述至少三个输出声道，

其中，在上混合步骤中，响应于能量测量值(1106)和至少两个不同的上混合参数(1108)而生成所述至少三个输出声道，使得所述至少三个输出声道具有的能量比仅使用能量损失引入上混合规则代替能量误差而获得的信号的能量高，该能量误差取决于能量损失引入上混合规则，并且

其中用于控制上混合器的所述至少两个不同上混合参数(1108)和能量测量值被包括在输入信号中。

43、一种处理多声道输入信号的方法，该方法包括：

根据多声道输入信号或从多声道输入信号导出的至少一个基本声道与通过能量损失引入上混合操作产生的上混合信号之间的能量差，来计算(1402)能量测量值(ρ)；

输出(1408)在通过取决于能量测量值的缩放因子(403)进行缩放(401、402)之后的所述至少一个基本声道，或者输出能量测量值。

44、一种经编码的多声道信息信号，该信号具有至少一个由如下能量测量值缩放的基本声道，所述能量测量值取决于在多声道输入信号或从多声道输入信号导出的至少一个基本声道与通过能量损失引入上混合操作产生的上混合信号之间的能量差，或者该信号具有该能量测量值，或者该信号用于输出该能量测量值。

45、一种机器可读介质，该介质具有存储在其上的根据权利要求44的经编码的多声道信息信号。

46、一种发射机或音频录音机，其具有根据权利要求30至41的任一项所述的编码器。

47、一种接收机或音频播放器，其具有根据权利要求1至29的任一项所述的解码器。

48、一种发送系统，其具有根据权利要求46的发射机和根据权利要求47的接收机。

49、一种发送或音频记录的方法，该方法具有根据权利要求43的处理方法。

50、一种接收或音频播放的方法，该方法包括根据权利要求42的生成方法。

51、一种根据权利要求50进行接收，并根据权利要求49进行发送的方法。

52、一种计算机程序，当其在计算机上运行时，用于执行根据权利要求42、43、49、50或51的任一种方法的方法。

Images