CN1901043B - 立体声音频编码方法及装置,音频流解码方法及装置 - Google Patents

Abstract

提供一种用于编码/解码具有可伸缩性的立体声音频数据的方法和装置。用于编码立体声音频数据的方法包括时从n通道中获得的n个音频采样执行子波变换，利用n*n去相关矩阵从n个子波变换的音频采样中消除通道间冗余信息，量化从中消除了冗余信息的采样，以及无损编码该量化的采样，其中n是大于或等于2的整数。因此，在低频带中可以提供更稳定的音频质量，并且立体声音频可用更少的位编码，同时很好地考虑人的心理声学特性。

Description

立体声音频编码方法及装置,音频流解码方法及装置

本申请是申请日为2003年9月17日、申请号为03165038.4、发明名称为“立体声音频编码方法及装置，音频流解码方法及装置”的专利申请的分案申请。

技术领域

本发明涉及编码和解码音频频数据，并且尤其是涉及对从多个通道中获得的音频数据即立体声音频数据进行编码的方法及其装置，用于解码音频流的方法及其装置。

背景技术

立体声音频，即由多个通道提供的音频信号的组合信号，与从单个通道提供的单一音频相比，其为听众提供立体声并具有高的需求。

然而，存储或传送立体声音频，即由多个通道提供的多个单一音频信号的细合信号，与存储或传送单一音频相比是复杂的和昂贵的。

发明内容

本发明提供用于编码/解码具有可伸缩性的音频数据的方法和装置，由此可以提供细粒度可伸缩性(FGS)同时具有较低复杂性。

本发明也提供用于编码/解码具有可伸缩性的音频数据的方法和装置，由此即使在较低的层中也能提供更好的音频质量同时提供FGS。

根据本发明的一方面，提供一种用于编码具有可伸缩性的音频数据的方法，其中包括立体声音频编码方法，该方法包括对从n通道中得到的n个音频采样执行子波变换，利用n＊n去相关矩阵从n个子波变换的音频采样中消除通道间冗余信息，量化从中消除了冗余信息的采样，并且无损地编码该量化的采样，这里n是大于或等于2的整数。

消除通道间冗余信息包括根据预定的代价函数选择立体声处理模式或正常模式，如果选择该立体声处理模式，通过将n个变换的音频采样与具有被确定以使熵最小化的n＊n个元素的n＊n去相关矩阵相乘来获得一个或多个去相关采样，以便最小化熵，并且量化该采样包括量化该去相关采样。

根据本发明的另一方面，提供一种立体声音频编码方法，包括变换左和右音频采样，通过将左和右变换的音频采样乘以由公式1表示的去相关矩阵来获得从中消除了通道间冗余信息的去相关采样，公式1：

$\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]...1$

其中a、b、c和d是实数，量化该去相关采样，并且无损地编码该量化的采样。

乘以该左和右变换的音频采样包括根据预定的代价函数选择立体声处理模式或正常模式，如果选择该立体声处理模式，通过将n个变换音频采样乘以具有被确定以便最小化熵的a、b、c和d元素的去相关矩阵来获得一个或多个去相关采样。

该立体声音频编码方法进一步包括编码用于指示该立体声处理模式是否被选择的标志信息以及包含通知去相关矩阵的元素a、b、c和d的矩阵元素信息的立体声处理信息，并且将该立体声处理信息和通过无损编码获得的采样打包在帧单元中。

在获得去相关采样中，利用由公式2表示的去相关矩阵通过中间/侧面立体声处理来获得去相关采样，公式2：

$\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]...2$

在获得去相关采样中，利用由公式3表示的去相关矩阵通过强度处理来获得去相关采样，公式3：

$\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]...3$

并且无损编码该量化采样进一步包括将左和右音频采样之间的电平差编码作为附加信息。

在获得去相关采样中，利用由公式4表示的去相关矩阵来获得去相关采样，公式4：

$\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]...4$

其中θ表示左和右音频采样的声音源方向。

在去相关采样的量化中，基于心理声学模型执行量化。

而且，该量化采样的无损编码是算术编码或霍夫曼编码，并且该量化采样的无损编码包括基于具有可伸缩性的多个预定层对量化采样进行编码。

根据本发明的再一个方面，提供一种用于解码音频流的方法，包括通过无损地解码该音频流来获得量化的采样，通过逆量化该量化的采样来获得n个采样，通过将n个采样乘以n＊n相关矩阵来获得n个变换的音频采样，以及通过在n个变换的音频采样上执行逆子波变换来获得对应于n通道的n个音频采样，其中n是大于或等于2的整数。

获得n个变换的音频采样包括确定是否选择了立体声处理模式，并且如果选择该立体声处理模式，通过将该n个采样乘以相关矩阵来获得n个变换的音频采样。

根据本发明的另一个方面，提供一种用于解码音频流的方法，包括通过无损解码该音频流来获得量化的采样，通过逆量化该量化的采样获得去相关采样，通过将2个去相关采样乘以公式4表示的相关矩阵来获得左和右变换的音频采样，公式4：

${\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]}^{-1}...4$

其中，a、b、c和d是实数，并且通过逆变换该左和右变换的音频采样来获得左和右音频采样。

在获得左和右变换的音频采样中，利用如下公式5表示的相关矩阵通过中间/侧面立体声处理来获得该左和右变换的采样，公式5：

${\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]}^{-1}...5$

获得左和右变换的音频采样包括利用如下公式6表示的相关矩阵通过强度处理来获得左和右音频变换的采样，公式6：

$\left[\begin{array}{cc}1& 0\\ \mathrm{level}\_\mathrm{diff}& 0\end{array}\right]...6$

其中，level_diff是左和右音频采样之间的电平差，逆变换该电平差，并且从逆变换的电平差中获得左和右音频采样。

在获得左和右变换的音频采样中，利用如下公式7表示的相关矩阵获得该左和右变换的采样，公式7：

${\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]}^{-1}...7$

其中θ表示左和右音频采样的方向。

该音频流的无损解码是算术解码或霍夫曼解码，并且包括为具有可伸缩性的多个预定层对音频流进行解码。

根据本发明的另一个方面，提供一种立体声音频编码装置，包括在分别从n通道中获得的n个音频采样上执行子波变换的变换单元，通过将n个变换的音频采样乘以n＊n去相关矩阵来除去通道间冗余信息的冗余信息消除单元，对从中消除了冗余信息的采样进行量化的量化音元，以及通过无损编码该量化采样来执行位打包的位打包单元，其中n是大于或等于2的整数。

该冗余信息消除单元根据预定的代价函数选择立体声处理模式或正常模式，如果选择该立体声处理模式，通过将n个变换的音频采样乘以具有这样确定的n＊n个元素的矩阵来获得一个或多个去相关采样，以便在除去通道间冗余信息之后获得的采样的熵最小化，并且量化单元量化该去相关采样。

根据本发明再一个方面，提供一种立体声音频编码装置，包括提供有关心理声学模型信息的心理声学单元，基于有关心理声学模型信息变换左和右音频采样的变换单元，通过将左和右变换的音频采样乘以由公式1表示的去相关矩阵来获：得从中消除了通道间冗余信息的去相关采样的冗余信息消除单元，公式1：

$\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]...1$

其中a、b、c和d是实数，量化单元基于心理声学模型信息量化该去相关采样，并且位打包单元通过无损编码该量化的采样将位打包成帧的单元。

该冗余信息消除单元根据预定的代价函数选择立体声处理模式或正常模式，并且如果选择了立体声处理模式，通过将变换的音频采样乘以包括这样确定的元素a、b、c和d的去相关矩阵来获得一个或更多的去相关采样，以便在除去通道间冗余信息之后获得的采样的熵最小化.

该位打包单元编码指示立体声处理模式是否被选择的标志信息以及包含通知去相关矩阵的元素a、b、c和d的矩阵元素信息的立体声处理信息。

该冗余信息消除单元获取去相关采样，通过中间/侧面立体声处理利用由公式2表示的去相关矩阵来获得该去相关采样，公式2：

$\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]...2$

该冗余信息消除单元通过强度处理利用由公式3表示的去相关矩阵来获得去相关采样，公式3：

$\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]...3$

并且位打包单元对左和右音频采样之间的电平差进行编码作为附加信息。

该冗余信息消除单元利用如下公式4表示的去相关矩阵来获得去相关采样，公式4：

$\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]...4$

其中θ表示左和右音频采样的声音源的方向。

位打包单元为具有可伸缩性的多个预定层编码该量化采样。

可替换的，提供一种用于解码音频流的装置，包括通过无损解码该音频流来获得量化的采样的拆包单元，通过逆量化该量化的采样以获得n个采样的逆量化单元，通过将n个采样乘以n＊n相关矩阵来获得n个变换的音频采样的冗余信息恢复单元，以及通过在n个变换的音频采样上执行逆子波变换来获得时应n通道的n个音频采样的逆变换单元，其中n是大于或等于2的整数。

而且，提供一种用于解码音频流的装置，包括通过无损解码该音频流来获得量化采样的拆包单元，通过逆量化该量化采样来获得去相关采样的逆量化单元，通过将由公式4表示的相关矩阵乘以2个去相关采样来获得左和右变换的音频采样的冗余信息恢复单元，公式4：

${\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]}^{-1}...4$

其中a、b、c和d是实数，以及通过逆变换该左和右变换的音频采样获得左和右音频采样的逆变换单元。

该冗余信息恢复单元利用如下公式5表示的相关矩阵获得左和右变换的音频采样，公式5：

${\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]}^{-1}...5$

而且，该冗余信息恢复单元利用如公式7表示的相关矩阵采获得左和右变换的音频采样，公式7：

${\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]}^{-1}...7$

其中θ表示左和右音频采样的方向。

可替换的，提供一种用于解码音频流的装置，包括通过无损解码该音频流来获得量化采样的拆包单元，通过逆量化该量化采样来获得n个采样的逆量化单元，利用如下公式6表示的相关矩阵通过强度处理来获得左和右音频变换的采样的冗余信息恢复单元，公式6：

$\left[\begin{array}{cc}1& 0\\ \mathrm{level}\_\mathrm{diff}& 0\end{array}\right]...6$

其中level_diff是左和右音频采样之间的电平差，以及逆向变换该电平差并从逆向变换的电平差中获得左和右音频采样的逆向变换单元。

该拆包单元执行算术解码或霍夫曼解码，并且为具有可伸缩性的多个预定层解码该音频流。

附图说明

通过参考附图详细描述本发明的优选实施例，本发明的上述目标和优点将变得更加清楚，其中：

图1是根据本发明优选实施例的编码装置的框图；

图2是图1中冗余信息消除单元的详细框图；

图3.是根据心理声学模型构造的子波示图；

图4是更详细解释立体声处理模式中冗余信息消除单元操作的参考图；

图5是形成根据本发明编码的音频流的帧结构图；

图6是根据本发明的解码装置的框图；

图7是图6中冗余信息恢复单元的详细框图；

图8是解释根据本发明一个实施例的编码方法的流程图：

图9是解释根据本发明另一实施例的编码方法的流程图；

图10是解释根据本发明再一个实施例的编码方法的流程图；

图11是解释根据本发明一个实施例的解码方法的流程图；

图12是解释根据本发明另一实施例的解码方法的流程图；

图13是解释根据本发明再一个实施例的解码方法的流程图；

具体实施方式

现在将参考附图详细描述本发明的优选实施例。

图1是根据本发明优选实施例的编码装置的框图；

参考图1，该编码装置通过消除通道间冗徐数据将音频数据编码成较少的位，并且包括变换单元11，心理声学单元12，量化单元13，位打包单元14和冗余信息消除单元15。

该变换单元11变换从多个通道获得的音频采样。更详细的，该变换单元11接收为时域音频信号的脉冲编码调制(PCM)音频数据，并且参考有关由心理声学单元12提供的心理声学模型的信息将该信号变换为频域信号。当人能够感觉的音频信号的特性之间的差别在时域中不是太大时，在通过变换获得的频域音频信号中人能够感觉的信号的特性与人不能感觉的信号的特性之间有很大差别。因此，通过差分被分配到各自频带的位数，可以提高压缩的效率。在该实施例中，变换单元11根据图3所示的由心理声学模型构造的子波结构在左和右音频采样上执行子波变换。左音频采样是从左通道中获得的PCM音频数据，而右音频采样是从右通道中获得的PCM音频数据。在MDCT中，由于在低频带中不必要的高频分解，即使轻微的失真也能引起人耳可以感觉的降低。然而，在子波变换中，时间/频率分解更合适，以便在具有低频带的低层中也能提供更稳定的音频质量。因此，该子波变换为听众提供更高质量的声音。

该心理声学单元12为变换单元11提供有关心理声学模型的信息诸如冲击感觉信息，并且将变换单元11变换的音频信号分组成合适的子带信号。而且该心理声学单元12通过使用在各自信号之间的相互作用引起的掩蔽效果计算每个子带中的掩蔽阈值，并且提供该阈值给量化单元13。该掩蔽阈值是由于音频信号之间的相互作用人不能感觉的信号的最大值。在该实施例中，该心理声学单元12通过使用双耳掩蔽电平压低(BMLD)计算立体声分量的掩蔽阈值。

该冗余信息消除单元15通过将来自相应通道的多个变换音频采样乘以去相关矩阵以消除通道间冗余信息。当通道的数量是n时，该去相关矩阵是具有n＊n元素的n维矩阵，并且具有逆矩阵。该n＊n元素被确定以便在消除冗余信息之后得到的音频采样的熵被最小化。该去相关矩阵可以提供给用于子波变换的每个终端节点，或提供在形成编码音频流的帧的单元中。从中消除了冗余信息的采样称为去相关采样。去相关采样的数量小于或等于通道的数量。在该实施例中，没有必要所有的音频采样都提供给冗余信息消除单元15用于冗余信息的消除。在存在相对大量冗余信息的情况中，数据压缩的效率提高了。然而，在存在相对小量冗余信息的情况中，数据压缩的效率可忽略，而加大了处理的复杂性。因此，考虑到冗余信息的量，确定是否音频采样被送到冗余信息消除单元15用于立体声处理。

由于子波变换的音频采样的时间/频率分解率不是恒定的，不容易通过频率线执行音频采样操作。因此，基于波形变换消除通道间冗余信息的效率与其他传统方法相比并不高。另一方面，根据本发明，该冗余信息消除单元15利用乘以去相关矩阵，由此在从子波变换的音频采样中除去通道间冗余信息中获得更高效率。

量化单元13基于时应于音频信号的比例因子信息，标量量化在每个频带中的音频信号，以便频带中量化噪音的大小小于心理声学单元12提供的掩蔽阈值，以便人不能感觉该噪音。然后，该量化单元13输出该量化的采样。就是说，通过使用在心理声学单元12中计算的掩蔽阈值以及在每个频带中产生的噪声比率即噪声掩蔽比(NMR)，该量化单元13执行量化以便在整个频带中NMR值是0分贝或更小。该NMR是0分贝或更小意味着人不能感觉该量化噪声。

该位打包单元14无损编码该量化采样并且将编码的采样以帧为单位打包。无损编码的代表性实例包括算术编码和霍夫曼编码。一个帧是构成编码位流的基本单元。可以用各种方式确定帧的格式。指示冗余信息消除单元15的处理是否被应用的标志信息，以及有关去相关矩阵的信息是一种附加信息，其被编码并打包在帧的单元中并传送给解码系统。在冗余信息消除单元15的立体声处理被设置为始终执行的情况下，如果解码系统了解或可以了解有关立体声处理是否被应用的信息，则没有必要传送该信息给解码系统。

尤其是，该位打包单元14对附加信息以及属于每一层的量化采样进行编码，并将编码的信号打包在分层结构中。该附加信息包括比例频带信息、编码频带信息、它们的比例因素信息，以及在每层中的编码模型信息。该比例频带信息和编码频带信息可以打包作为标题信息，并且之后传送给解码装置。另外，该比例频带信息和编码频带信息可以被编码并打包作为每层的附加信息，并之后传送给解码装置。该比例频带信息和编码频带信息可以不传送给解码装置，因为在某些情况下他们对于解码系统来说是了解的。

图2是冗余信息消除单元15的详细框图。

参考图2，该冗余信息消除单元根据预定的代价函数选择立体声处理模式或正常模式。该代价函数确定是否能提拱给人耳更高质量音频，就是说，基于心理声学模型选择该立体声处理模式。如果选择正常模式，输入采样不经任何处理而被输出。如果选择立体声处理模式，该输入采样乘以本发明的去相关矩阵并输出作为一个或多个去相关采样。

图4是更详细解释在立体声处理模式中冗余信息消除单元15的操作的参考图。

参考图4，该冗余信息消除单元15接受左变换音频采样left，和右变换音频采样right，并且乘以公式1表示的去相关矩阵，并输出去相关采样s1和s2。

$\left[\begin{array}{c}s1\\ s2\end{array}\right]=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]\left[\begin{array}{c}\mathrm{left}\\ \mathrm{right}\end{array}\right]...1$

其中 $\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$ 是去相关矩阵。在该矩阵中，元素a、b、c和d被优化，以便最小化该去相关采样s1和s2的熵。因此，高级音频编码(AAC)的中间/侧面立体声处理以及强度立体声处理可以利用去相关矩阵表示。

例如，该冗余信息消除单元15基于中间/侧面立体声处理使用公式2可以获得去相关采样s1和s2：

$\left[\begin{array}{c}s1\\ s2\end{array}\right]=\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]\left[\begin{array}{c}\mathrm{left}\\ \mathrm{right}\end{array}\right]...2$

并且该冗余信息消除单元15基于强度立体声处理使用公式3也可以获得去相关采样s1和s2：

$\left[\begin{array}{c}s1\\ s2\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]\left[\begin{array}{c}\mathrm{left}\\ \mathrm{right}\end{array}\right]$ 或 $\left[\begin{array}{c}s1\\ s2\end{array}\right]=\left[\begin{array}{cc}0& 1\\ 0& 0\end{array}\right]\left[\begin{array}{c}\mathrm{left}\\ \mathrm{right}\end{array}\right]...3$

其中left表示左变换音频采样，right表示右变换音频采样，并且 $\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right],\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]$ 和 $\left[\begin{array}{cc}0& 1\\ 0& 0\end{array}\right]$ 是去相关矩阵。在使用公式3表示的去相关矩阵的情况下，该位打包单元14对左和右音频采样之间的电平差进行编码，并且将该编码信号打包成帧。可以用各种方式确定左音频采样和右音频采样之间的电平差在帧中的打包位置。尤其是，由于去相关矩阵 $\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]$ 和 $\left[\begin{array}{cc}0& 1\\ 0& 0\end{array}\right]$ 不具有逆矩阵，因此在解码中应该使用预定的矩阵，这将在后面描述。

进一步，当在左变换音频采样left和右变换频采样right中存在定向性，该冗余信息消除单元15可以利用如下公式4获得去相关采样：

$\left[\begin{array}{c}s1\\ s2\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}\mathrm{left}\\ \mathrm{right}\end{array}\right]...4$

其中 $\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]$ 是去相关矩阵，并且θ表示左音频采样和右音频采样的方向。

图5是形成根据本发明编码的音频流的帧的结构图。

参考图5，一个帧包括标题信息、附加信息和根据本发明编码的音频数据。

该附加信息包括立体声处理信息，该信息是在根据本发明编码立体声音频中有关通道间冗余信息消除的信息。该立体声处理信息包括标志信息和矩阵元素信息。该标志信息通知在编码期间，立体声处理模式是否被选择，以及消除通道间冗余信息的步骤是否已经执行。该矩阵元素信息通知形成所用去相关矩阵的元素。可替换的，在始终选择立体声处理模式的情况下，可以省略该标志信息。

图6是根据本发明的解码装置的框图。

参考图6，该解码装置对在消除通道间冗余信息之后编码的音频流进行解码，并且包括拆包单元21、逆量化单元22、逆变换单元23和冗余信息恢复单元25。

该拆包单元21从构成音频流的帧中分离标题信息、附加信息和编码的音频数据，并且解码它们。尤其是，无损解码该编码音频数据。在本发明中，该拆包单元21算术解码或霍夫曼解码该编码的音频数据并获得量化采样。

尤其是，该拆包单元21拆分位流到目标层，并且对每层中的位流进行解码。就是说，包含对应每层的比例因素信息和编码模型信息的附加信息被解码，并且之后基于得到的编码模型信息，对属于每层的编码量化采样进行解码并且恢复该量化采样。

其间，通过解码每层中的附加信息或从位流的标题信息中获得该比例频带信息和编码频带信息。可替换的，该解码装置可以预先存储该比例频带信息和编码频带信息。

该逆量化单元22根据对应于各采样比例因素信息，对拆包单元21得到的量化采样进行逆量化，并且获得相关采样。

该冗余信息恢复单元25通过将n个去相关采样乘以相关矩阵来获得n个变换的音频采样。更详细的，该冗余信恢复单元25通过参考包含在由拆包单元21解码的附加信息中的立体声处理信息中的标志信息，来确定立本声处理模式是否被选择。如果该立体声处理模式被选择，该冗余信息恢复单元21通过将n个去相关采样乘以基于矩阵元素信息得到的相关矩阵来获得n个变换的音频采样。例如，该冗余信息恢复单元25通过将2个去相关采样乘以2＊2相关矩阵来获得左变换音频采样和右变换音频采样。

该逆变换单元23对n个变换音频采样执行逆子波变换，并获得时应于n通道的n个音频采样(n是大于或等于2的整数)。例如，该逆变换单元23对左变换音频采样和右变换音频采样执行逆变换，并获得左和右音频采样。换句话说，该逆变换单元23恢复在编码期间已经被消除的通道间冗余信息，频率/时间映射对应于各个通道的音频采样，将其变换为PCM音频数据并输出该变换数据。

图7是图6中冗余信息恢复单元的详细框图。

参考图7，该冗余信息恢复单元25接收去相关采样s1和s2，并输出具有通过公式5恢复的冗余信息的采样，即，该左和右变换采阵分别是：

$\left[\begin{array}{c}\mathrm{left}\\ \mathrm{right}\end{array}\right]={\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]}^{-1}\left[\begin{array}{c}s1\\ s2\end{array}\right]...5$

其中 ${\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]}^{-1}$ 是相关矩阵。该相关矩阵可以提供在用于逆子波变换的每个终端节点上或提供在构成音频流的每一帧中。这里，从包含在附加信息中的立体声处理信息内的矩阵元素信息中获得矩阵元素a、b、c和d。因此，通过AAC的中间/侧面立体声处理以及强度立体声处理从中消除了通道间冗余信息的采样可以利用相关矩阵被恢复成对应于各个通道的采样。

作为公式5的实例，该冗余信息恢复单元25可以基于公式6从通过AAC的中间/侧面立体声处理从中消除了通道间冗余信息的采样恢复该左和右变换采样：

$\left[\begin{array}{c}\mathrm{left}\\ \mathrm{right}\end{array}\right]={\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]}^{-1}\left[\begin{array}{c}s1\\ s2\end{array}\right]...6$

而且，基于公式7可以将通过强度处理从中消除了通道间冗余信息的采样恢复为该左和右变换采样：

$\left[\begin{array}{c}\mathrm{left}\\ \mathrm{right}\end{array}\right]=\left[\begin{array}{cc}1& 0\\ \mathrm{level}\_\mathrm{diff}& 0\end{array}\right]\left[\begin{array}{c}s1\\ s2\end{array}\right]$ 或 $\left[\begin{array}{c}\mathrm{left}\\ \mathrm{right}\end{array}\right]=\left[\begin{array}{cc}0& 1\\ 0& \mathrm{level}\_\mathrm{diff}\end{array}\right]\left[\begin{array}{c}s1\\ s2\end{array}\right]...7$

其中left表示左变换音频采样，right表示右变换音频采样，并且 ${\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]}^{-1},$ $\left[\begin{array}{cc}1& 0\\ \mathrm{level}\_\mathrm{diff}& 0\end{array}\right]$ 和 $\left[\begin{array}{cc}0& 1\\ 0& \mathrm{level}\_\mathrm{diff}\end{array}\right]$ 分别是相关矩阵。尤其是， $\left[\begin{array}{cc}1& 0\\ \mathrm{level}\_\mathrm{diff}& 0\end{array}\right]$ 和 $\left[\begin{array}{cc}0& 1\\ 0& \mathrm{level}\_\mathrm{diff}\end{array}\right]$ 不是在编码中使用的去相关矩阵的逆矩阵，并且level_diff是左和右音频采样之阀的电平差，并且从编码系统传送。

进一步，该冗余信息恢复单元25利用如下公式8可以变换基于声音源的方向性从中消除了通道间冗余信息的采样，将采样恢复成左和右变换采样。

$\left[\begin{array}{c}\mathrm{left}\\ \mathrm{right}\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}s1\\ s2\end{array}\right]...8$

其中 $\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]$ 是去相关矩阵，并且θ表示左和右音频采样的方向性。

基于上述结构，将描述根据本发明的编码/解码立体声音频采样的方法。

图8是解释根据本发明实施例的编码方法的流程图。

参考图8，在步骤801中，对构成立体声音频的PCM音频数据，即从n通道中得到的n个音频采样执行子波变换。在步骤802中，利用n＊n去相关矩阵消除该n个子波变换音频采样的通道间冗余信息。这里，n＊n矩阵元素被确定以便在消除通道间冗余信息之后获得的采样的熵最小化。下面，在步骤803中，通过参考心理声学模型对从中消除了通道间冗余信息的采样执行量化。在步骤804中，无损编码该量化的采样。这里，n是大于或等于2的整数。

图9是解释根据本发明另一实施例的编码方法的流程图。

参考图9，在步骤901中，对构成立体声音频的PCM音频数据，即从n通道中得到的n个音频采样执行子波变换。在步骤902中，确定基于预定的代价函数选择了立体声处理模式还是正常模式。如果选择了立体声处理模式，在步骤903中，利用去相关矩阵从子波变换采样中消除通道间冗余信息。在去相关矩阵中，矩阵元素被确定以便在消除通道间冗余信息之后获得的采样的熵最小化。下面，在步骤904中，通过参考心理声学模型从中消除了冗余信息的采样执行量化。在步骤905中，无损编码该量化的采样。如果选择了正常模式，消除通道间冗余信息的步骤903被略过，在步骤904中量化该子波变换采样，并且在步骤905无损编码该量化采样。

图10是解释根据本发明再一实施例的编码方法的流程图。

参考图10，在步骤1001中，对构成立体声音频的PCM音频数据，即左和右音频采样执行子波变换。在步骤1002中，通过将子波变换音频数据乘以去相关矩阵 $\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$ 来消除通道间冗余信息。矩阵元素a、b、c和d被确定以便在消除通道间冗余信息之后获得的采样的熵最小化。下面，在步骤1003中，通过参考心理声学模型对从中消除了冗余信息的采样执行量化。在步骤1004中，无损编码该量化的采样。在步骤1005中，对于预定的目标层，即多层，可扩缩地执行位打包。

图11是解释根据本发明实施例的解码方法的流程图。

参考图11，在1101中接收音频流并且无损地解码，并且获得量化的采样。在步骤1102中，该量化的采样被逆量化。之后在步骤1103中，通过将n个逆量化采阵乘以n＊n相关矩阵来获得n个变换音频采样。在步骤1104中，该n个变换音频采样被逆子波变换，并且获得对应于n通道的n个音频采样。这里，n是大于或等于2的整数。

图12是解释根据本发明另一实施例的解码方法的流程图。

参考图12，在步骤1201中接收音频流并且以帧为单位无损解码，并且获得量化的采样。在步骤1202中，该量化的采样被逆量以获得n个采样。在步骤1203中，通过参考包含在帧中的附加信息中的立体声处理信息来确定是否选择了立体声处理模式。如果选择了立体声处理模式，在步骤1204中通过参考立体声处理信息来获得n＊n相关矩阵，并且将其乘以n个采样。该相关矩阵提供在用于逆子波变换的每个节点上或提供在每个帧处。在步骤1205中，n个变换音频采样被逆子波变换并且获得对应于n通道的n个音频采样。这里，n是大于或等于2的整数。如果选择了正常模式，恢复通道间冗余信息的步骤1204被略过，处理直接进入到步骤1205。

图13是解释根据本发明再一实施例的解码方法的流程图。

参考图13，在步骤1301中接收音频流并且以帧为单位无损解码，并且获得量化的采样。在步骤1302中，该量化的采样被逆量化以获得去相关采样。在步骤1303中，通过参考包含在帧中的附加信息中的立体声处理信息的矩阵元素信息来获得相关矩阵 ${\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]}^{-1}$ ，并且将该矩阵乘以2个去相关采样，由此获得左和右变换采样。该相关矩阵提供在用于逆子波变换的每个节点上或提供在每个帧处。在步骤1304中，左和右变换音频采样被逆子波变换，并且获得对应2通道的左和右音频采样。

如果接收的音频流是以分层结构打包以具有可伸缩性的位流，在图12所示的步骤1201以及图13所示的步骤1301之前，可以执行到预定目标层的拆包。

如上所述，根据本发明，在低频带中可以提供更稳定的音频质量，并且立体声音频可以用较少的位进行编码，而将很好地考虑人的心理声学特性。换句话说，通过很好地描述人的心理声学特性可以提高音频质量，并且利用对应的矩阵可以有效地消除和恢复通道间冗余信息。

在现有技术中，例如，中间/侧面立体声处理或强度立体声处理被用于象MDCT的高频分解，对于时间/频率分解率不是恒定的情况，这种数据处理是不容易的。然而，根据本发明，引入矩阵运算用于子波变换，由此有效消除通道间冗余信息以及实现中间/侧面立体声或强度立体声处理。

Claims (41)

1.一种立体声音频编码方法，包括：

对从n通道中获得的n个音频采样执行子波变换；

根据预定的代价函数选择立体声处理模式或正常模式，如果选择该立体声处理模式，则利用n*n去相关矩阵从n个子波变换的音频采样中消除通道间冗余信息；

量化从中消除了冗余信息的采样；以及

无损编码已量化的采样，其中n是大于或等于2的整数。

2.如权利要求1所述的立体声音频编码方法，其中去相关矩阵被提供在用于子波变换的每个终端节点上，或被提供在无损编码之后得到的每个帧处。

3.如权利要求2所述的立体声音频编码方法，其中消除通道间冗余信息包括：

通过将n个变换的音频采样乘以具有使熵最小化而确定的n*n个元素的n*n去相关矩阵来获得一个或多个去相关采样，并且量化所述采样包括量化所述去相关采样。

4.如权利要求1所述的立体声音频编码方法，其中该代价函数根据更高质量音频是否可以被提供给人耳来确定是否选择该立体声处理模式。

5.一种立体声音频编码方法，包括：

变换左和右音频采样；

根据预定的代价函数选择立体声处理模式或正常模式，并且如果选择该立体声处理模式，则将左和右变换的音频采样乘以由如下公式1表示的去相关矩阵，来获得从中消除了通道间冗余信息的去相关采样：

$\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]...1$

其中a、b、c和d是实数；

量化所述去相关采样；以及

无损编码已量化的采样。

6.如权利要求5所述的立体声音频编码方法，其中去相关矩阵被提供在用于子波变换的每个终端节点上，或被提供在无损编码之后得到的每个帧处。

7.如权利要求6所述的立体声音频编码方法，其中乘以该左和右变换的音频采样包括：

通过将n个变换音频采样乘以具有使熵最小化而确定的a、b、c和d元素的去相关矩阵来获得一个或多个去相关采样，其中n是大于或等于2的整数。

8.如权利要求7所述的立体声音频编码方法，进一步包括：

编码表示该立体声处理模式是否被选择的标志信息，以及包含通知去相关矩阵的元素a、b、c和d的矩阵元素信息的立体声处理信息；以及

将该立体声处理信息和通过无损编码获得的采样打包在帧单元中。

9.如权利要求5所述的立体声音频编码方法，其中在获得去相关采样中，利用如下公式2表示的去相关矩阵通过中间/侧面立体声处理来获得该去相关采样：

$\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]...2.$

10.如权利要求5所述的立体声音频编码方法，其中在获得去相关采样中，利用如下公式3表示的去相关矩阵通过强度处理来获得去相关采样：

$\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]...3$

并且无损编码该量化采样进一步包括将左和右音频采样之间的电平差编码作为附加信息。

11.如权利要求5所述的立体声音频编码方法，其中在获得去相关采样中，利用如下公式4表示的去相关矩阵获得去相关采样：

$\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]...4$

其中θ表示左和右音频采样的声音源的方向。

12.如权利要求5所述的立体声音频编码方法，其中该代价函数根据更高质量音频是否可以被提供给人耳来确定是否选择该立体声处理模式。

13.如权利要求5所述的立体声音频编码方法，其中在去相关采样的量化中，基于心理声学模型执行量化。

14.如权利要求5所述的立体声音频编码方法，其中量化采样的无损编码是算术编码或霍夫曼编码。

15.如权利要求5所述的立体声音频编码方法，其中量化采样的无损编码包括基于具有可伸缩性的多个预定层对量化采样进行编码。

16.一种用于解码音频流的方法，包括：

通过无损解码音频流来获得量化的采样；

通过逆量化所述量化的采样来获得n个采样；

确定是否选择了立体声处理模式，如果选择了该立体声处理模式，则通过使用n*n相关矩阵从n个采样获得n个变换的音频采样；以及

通过对n个变换的音频采样执行逆子波变换来获得对应于n通道的n个音频采样，其中n是大于或等于2的整数。

17.一种用于解码音频流的方法包括：

通过无损解码音频流来获得量化的采样；

通过逆量化所述量化的采样来获得去相关采样；

确定是否选择了立体声处理模式，如果选择了该立体声处理模式，则通过将2个去相关采样乘以由如下公式4表示的相关矩阵来获得左和右变换的音频采样：

${\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]}^{-1}...4$

其中a、b、c和d是实数；以及

通过逆变换该左和右变换的音频采样来获得左和右音频采样。

18.如权利要求17所述的解码方法，其中相关矩阵被提供在用于逆子波变换的每个节点上，或被提供在每个帧处。

19.如权利要求17所述的解码方法，其中在获得左和右变换的音频采样中，利用如下公式5表示的相关矩阵通过中间/侧面立体声处理来获得左和右变换的采样：

${\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]}^{-1}...5.$

20.如权利要求17所述的解码方法，其中获得左和右变换的音频采样包括利用如下公式6表示的相关矩阵通过强度处理来获得左和右音频变换的采样：

$\left[\begin{array}{cc}1& 0\\ \mathrm{level}\_\mathrm{diff}& 0\end{array}\right]...6$

其中，level_diff是左和右音频采样之间的电平差；

逆变换该电平差；以及

从逆变换的电平差中获得左和右音频采样。

21.如权利要求17所述的解码方法，其中在获得左和右变换的音频采样中，利用如下公式7表示的相关矩阵获得该左和右变换的采样：

${\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]}^{-1}...7$

其中θ表示左和右音频采样的声音源的方向。

22.如权利要求17所述的解码方法，其中音频流的无损解码是算术解码或霍夫曼解码。

23.如权利要求17所述的解码方法，其中音频流的无损解码包括为具有可伸缩性的多个预定层对音频流进行解码。

24.一种立体声音频编码装置，包括：

对分别从n通道中获得的n个音频采样执行子波变换的变换单元；

冗余信息消除单元，根据预定的代价函数选择立体声处理模式或正常模式，并且如果选择该立体声处理模式，则通过将n个变换的音频采样乘以n*n去相关矩阵来消除通道间冗余信息；

对从中消除了冗余信息的采样进行量化的量化单元；以及

通过无损编码所述量化采样来执行位打包的位打包单元，其中n是大于或等于2的整数。

25.如权利要求24的立体声音频编码装置，其中该冗余信息消除单元通过将n个变换的音频采样乘以具有使在除去通道间冗余信息之后得到的采样的熵最小化而确定的n*n个元素的矩阵来获得一个或多个去相关采阵，并且量化单元量化所述去相关采样。

26.一种立体声音频编码装置，包括

提供有关心理声学模型信息的心理声学单元；

基于有关心理声学模型的信息变换左和右音频采样的变换单元；

冗余信息消除单元，根据预定的代价函数选择立体声处理模式或正常模式，并且如果选择了立体声处理模式，通过将左和右变换的音频采样乘以由如下公式1表示的去相关矩阵来获得从中消除了通道间冗余信息的去相关采样：

$\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]...1$

其中a、b、c和d是实数；

基于有关心理声学模型的信息来量化所述去相关采样的量化单元；以及

通过无损编码所述量化的采样以帧为单位将位打包的位打包单元。

27.如权利要求26的立体声音频编码装置，其中该位打包单元对表示立体声处理模式是否被选择的标志信息以及包含通知去相关矩阵的元素a、b、c和d的矩阵元素信息的立体声处理信息进行编码。

28.如权利要求27的立体声音频编码装置，其中该冗余信息消除单元通过将变换的音频采样乘以包括使在消除通道间冗余信息之后获得的采样的熵最小化而确定的元素a、b、c和d的去相关矩阵来获得一个或更多的去相关采样。

29.如权利要求26的立体声音频编码装置，其中该冗余信息消除单元得到去相关采样，通过中间/侧面立体声处理利用如下公式2表示的去相关矩阵来获得该去相关采样：

$\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]...2.$

30.如权利要求要求26的立体声音频编码装置，其中该冗余信息消除单元通过强度处理利用如下公式3表示的去相关矩阵来获得去相关采样：

$\left[\begin{array}{cc}1& 0\\ 0& 0\end{array}\right]...3$

并且位打包单元将左和右音频采样之间的电平差编码作为附加信息。

31.如权利要求26的立体声音频编码装置，其中该冗余信息消除单元利用如下公式4表示的去相关矩阵获得去相关采样：

$\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]...4$

其中θ表示左和右音频采样的声音源的方向。

32.如权利要求26的立体声音频编码装置，其中该位打包单元执行算术编码或霍夫曼编码。

33.如权利要求26的立体声音频编码装置，其中位打包单元为具有可伸缩性的多个预定层编码该量化采样。

34.一种用于解码音频流的装置，包括：

通过无损解码音频流来获得量化采样的拆包单元；

通过逆量化所述量化的采样来获得n个采样的逆量化单元；

冗余信息恢复单元，确定是否选择了立体声处理模式，并且如果选择该立体声处理模式，则通过使用n*n相关矩阵从n个采样获得n个变换的音频采样；以及

通过对n个变换的音频采样执行逆子波变换来获得对应n通道的n个音频采样的逆变换单元，其中n是大于或等于2的整数。

35.一种用于解码音频流的装置，包括：

通过无损解码音频流来获得量化采样的拆包单元；

通过逆量化所述量化采样来获得去相关采样的逆量化单元；

冗余信息恢复单元，确定是否选择了立体声处理模式，并且如果选择该立体声处理模式，则通过将2个去相关采样乘以由如下公式4表示的相关矩阵来获得左和右变换的音频采样：

${\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]}^{-1}...4$

其中a、b、c和d是实数；以及

通过逆变换该左和右变换的音频采样来获得左和右音频采样的逆变换单元。

36.如权利要求35的解码装置，其中相关矩阵被提供在用于逆子波变换的每个节点上，或被提供在每个帧处。

37.如权利要求35的解码装置，其中该冗余信息恢复单元利用如下公式5表示的相关矩阵获得左和右变换的音频采样：

${\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]}^{-1}...5.$

38.如权利要求35的解码装置，其中该冗余信息恢复单元利用如下公式7表示的相关矩阵来获得左和右变换的音频采样：

${\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]}^{-1}...7$

其中θ表示左和右音频采样的方向。

39.如权利要求35的解码装置，其中拆包单元执行算术解码或霍夫曼解码。

40.如权利要求35的解码装置，其中拆包单元为具有可伸缩性的多个预定层解码音频流。

41.一种用于解码音频流的装置，包括：

通过无损解码音频流来获得量化采样的拆包单元；

通过逆量化所述量化采样来获得n个采样的逆量化单元；

冗余信息恢复单元，确定是否选择了立体声处理模式，并且如果选择该立体声处理模式，则利用如下公式6表示的相关矩阵通过强度处理来获得左和右音频变换采样：

$\left[\begin{array}{cc}1& 0\\ \mathrm{level}\_\mathrm{diff}& 0\end{array}\right]...6$

其中level_diff是左和右音频采样之间的电平差；以及

逆变换该电平差并从逆变换的电平差中获得左和右音频采样的逆变换单元。

Images