CN1424713A - 高频耦合的伪小波5声道音频编/解码方法 - Google Patents

Abstract

本发明公开了一种基于高频耦合的伪小波5声道音频编/解码方法，是对于5声道编码，以及对单、双声道的高频耦合，但不局限于单、双声道编/解码结构，在编码端输入5声道的时域信号，将信号分别传输至信号类型检测、心理声学模型和伪小波滤波器组，信号经类型检测后可以判断出该信号是缓变信号还是快变信号，用以控制伪小波滤波器组的分辨率，信号经过伪小波变换后的系数被传送到相关系数计算单元中进行相关系数计算，然后根据单元计算的结果，并按照耦合模式选择准则选取最佳耦合模式，然后用最佳耦合模式来量化和编码伪小波系数，其中量化和编码所用的比特分配方案由心理声学模型来控制，最后将量化和编码系数和边信息一起传送到多声道码流进行合成输出。

Description

高频耦合的伪小波5声道音频编/解码方法

                      技术领域

本发明涉及一种对单声道进行高频耦合的方法，特别涉及一种高频耦合的伪小波5声道音频编/解码方法。

                      背景技术

5声道音频是一种被广泛用于电影、数字电视、家庭影院和虚拟现实等视听领域内的音频应用形式。使用5声道音频的视听节目或媒体产品，其特点是具有极强的定位感、空间感、真实感，能够营造出逼真的声场环境，带给听众亲临其境般的听觉体验和享受。

从技术角度看，5声道的数字音频信号原始数据量是单声道音频的5倍之多。这就意味着5声道音频的存储、传输、处理和回放的各个环节都要比单声道音频困难得多，更需要先进的数字压缩技术的支持。而另一方面，5声道音频本质上的各个声道间具有相关性的特点，以及人耳在高频端依靠谱包络定位的听觉特点，造成5个声道的音频信号之间存在巨大的感知信息冗余，为对其进一步压缩提供了相当大的空间。

                      发明内容

本发明的伪小波5声道高频耦合编码是基于人耳在高频区对频谱的细节不敏感，而对频谱包络及其变化敏感的特性进行的。针对5声道声场的对称性，通过有选择地忽略特定的高频细节信息，而保留高频谱包络及其变化，达到减少信息的感知冗余并提高编码效率的目的。

一种基于高频耦合的伪小波5声道音频编/解码方法，是对于5声道编码，以及对单、双声道的高频耦合，但不局限于单、双声道编/解码结构。在编码端输入5声道的时域信号，将信号分别传输至信号类型检测、心理声学模型和伪小波滤波器组，信号经类型检测后可以判断出该信号是缓变信号还是快变信号，用以控制伪小波滤波器组的分辨率，具体的说是对于缓变信号用频率分辨率较高的滤波器组，对于快变信号的中高频部分则用时域分辨率较高的滤波器组，而快变信号的低频部分用频率分辨率较高的滤波器组，信号经过伪小波变换后的系数被传送到相关系数计算单元中进行相关系数计算，然后根据单元计算的结果，并按照耦合模式选择准则选取最佳耦合模式，然后用最佳耦合模式来量化和编码伪小波系数，其中量化和编码所用的比特分配方案由心理声学模型来控制，最后将量化和编码系数和边信息一起传送到多声道码流进行合成输出。

所述的伪小波5声道音频编/解码方法，耦合模式对各个声道的高频部分进行耦合编码，最后对耦合关联系数进行量化，并形成码流写入输出码流文件，而对于非耦合声道以及耦合声道的非耦合频段的编码方式与单声道的编码方式完全一样。

所述的伪小波5声道音频编/解码方法，可以根据不同的情况对高频耦合模式进行多种组合。高频耦合模式有：五个声道都不做高频耦合；由一个声道耦合另一个声道；由一个声道耦合其它两个声道；由一个声道耦合其它三个声道。

所述的伪小波5声道音频编/解码方法，信号类型检测用来判断该帧信号是快变信号还是缓变信号，并对快变类型的信号的高频部分采取时域分辨率较高的滤波器组，快变信号的低频部分用频率分辨率较高的滤波器组的处理方式，对于缓变类型信号，伪小波变换采取频域分辨率较高的处理方式。

所述的伪小波5声道音频编/解码方法，高频耦合中的相关系数计算单元的计算式表示为：

设x₁(k)，x₂(k)为两个不同声道的信号，则这两个声道在耦合频段的相关系数定义为： $\mathrm{Cor}12=\frac{1}{N}\underset{i=\mathrm{begb}}{\overset{\mathrm{endb}}{\mathrm{\Σ}}}[\underset{k=\mathrm{fli}}{\overset{\mathrm{fhi}}{\mathrm{\Σ}}}{x}_1\left(k\right)x_2\left(k\right)/[\underset{k=\mathrm{fli}}{\overset{\mathrm{fhi}}{\mathrm{\Σ}}}{x}_1^2\left(k\right)\underset{k=\mathrm{fli}}{\overset{\mathrm{fhi}}{\mathrm{\Σ}}}{x}_2^2\left(k\right)\left]\right]$

其中：N为参加耦合的子带数；

begb和endb分别为耦合的开始子带编号和结束子带编号；

fli和fhi分别为第i个子带的下边界和上边界的频率；所述的伪小波5声道音频编/解码方法，最佳耦合模式的选择式为：

a.

b.

c.当a和b中的条件都不满足时，可以通过相关系数对如下三种情况唯一地确定最佳耦合模式：只有一个耦合声道(耦合模式1～8)，有两个耦合声道(耦合模式9～12)，有三个耦合声道(耦合模式13～15)。首先对每一种情况按照相关系数各找出一种耦合模式。

所述的伪小波5声道音频编/解码方法，伪小波变换可以根据该信号是快变信号还是缓变信号自适应的改变频域(时域)分辨率；具体的说就是对于快变类型的信号的高频部分采取时域分辨率较高的滤波器组，对于快变信号的低频部分用频率分辨率较高的滤波器组的处理方式，对于缓变信号采取频域分辨率较高的处理方式。

所述的伪小波5声道音频编/解码方法，比特分配采用公共比特池技术，该技术是在量化编码模块中实现的，在量化循环的每一步中，都要对5声道的所有非耦合子带按NMR排序，找出NMR最大的子带并减小其量化步长。

所述的伪小波5声道音频编/解码方法，耦合关联系数CC_i定义为：

上式中E_C ⁱ，E_R ⁱ分别代表耦合频段中耦合声道和恢复声道在子带i的能量。

所述的伪小波5声道音频编/解码方法，耦合关联系数，用非线性量化的方法将其离散化并表示为8位的符号数。非线性量化的公式为：

             CC_i_transmitted＝INT[(4log₁₀CC_i)^0.814]

上式中的INT表示取整函数。

本发明在使用高频耦合的5声道伪小波编码器中，当原始音频信号为16位48khz采样的PCM流时，在目标码率为384kbps下对5声道测试音频帧基本都能达到透明编码(也即是感知无失真的编码)，比不用高频耦合的5声道伪小波编码提高了至少3个百分点以上，这说明5声道的耦合编码相当明显地提高了编码的质量。

                       附图说明

图1是本发明的信号流程框图。

图2是5声道音频应用的声场布置示意图。

                     具体实施方式

下面将结合附图和实施例对本发明作进一步的说明。

请参见图1所示，本发明的一种基于高频耦合的伪小波5声道音频编/解码，包括但不局限于单、双声道编码结构，以及对5声道进行高频耦合处理，由图中可以看出除了中间虚线框10外，其他结构均与单声道编码结构一样，亦即5声道编码是由单声道编码扩展而来。在编码端输入5声道的时域信号，将信号分别传输至信号类型检测1、心理声学模型3和伪小波滤波器组2，信号经类型检测1后可以判断出该信号是缓变信号还是快变信号，用以控制伪小波滤波器组2的分辨率，具体的说是对于缓变信号用频率分辨率较高的伪小波变换，对于快变信号则用时域分辨率较高的伪小波变换。信号经过伪小波变换后的系数被传送到相关系数计算单元5中进行相关系数计算，然后根据5单元计算的结果，并按照耦合模式选择准则选取最佳耦合模式6，然后用最佳耦合模式来量化和编码伪小波系数，其中量化和编码所用的比特分配方案4由心理声学模型3来控制，最后将量化和编码系数和边信息一起传送到多声道码流进行合成9输出。

滤波器组以下简称伪小波变换，这里用伪小波变换来表示比传统小波变换更丰富的滤波器组实现技术，即伪小波变换不仅包括传统的小波变换，还包括有余弦调制等技术实现的多分辨率滤波技术。

伪小波5声道高频耦合编码是基于人耳在高频区对频谱的细节不敏感，而对频谱包络及其变化敏感的特性进行的。针对5声道声场的对称性，通过有选择地忽略特定的高频细节信息，而保留高频谱包络及其变化，达到减少信息的感知冗余并提高编码效率的目的。

伪小波5声道高频耦合编码的实现：

在编码端输入5声道的时域信号后，首先在时域对信号进行分析，判断该帧信号的类型是快变信号还是缓变信号；伪小波变换在时频变换过程中根据信号的类型选择不同的处理方式，具体来说，对于缓变类型信号，伪小波变换采取频域分辨率较高的处理方式，而对于快变类型的信号，则采取时域分辨率较高的处理方式；在得到各声道的频域系数后，判断各声道在临界频率后的高频部分之间相关性的强弱，考虑到绝大多数五声道数据都在左声道和右声道、左环绕声道和右环绕声道之间存在较强的相关性，所以在满足一定条件下优先考虑对这两对声道做高频耦合，而条件不满足时，则根据各声道之间相关性的强弱关系，挑选出若干最能体现当前特定相关性的耦合模式，按这几种模式分别尝试进行5声道联合编码，根据噪声掩蔽比的计算，从中找出使感知失真最小的耦合模式——即最佳耦合模式，并根据该耦合模式对各个声道的高频部分进行耦合编码。最后对耦合关联系数进行量化，并形成码流写入输出码流文件。而对于非耦合声道以及耦合声道的非耦合频段的编码方式与单声道完全编码方式完全一样。

如图2所示中5个扬声器L，R，C，Ls，Rs，分别代表左声道、右声道、中央声道、左环绕声道和右环绕声道。在我们定义的高频耦合模式中，存在耦合关系的声道在图中都用双向箭头标出。其中加粗箭头的代表这两对声道可能存在强的相关性。在下面描述中，左声道与右声道、左环绕与右环绕的地位是平等对称的。即如果文中指出可以由左声道恢复右声道，那么也就代表着可以由右声道恢复左声道，环绕声与其类似。

以下分别说明耦合频段的定义、耦合模式的定义、声道相关性计算、最佳耦合模式的选择、耦合关联系数的计算及量化和公共比特池的具体实现方法：

耦合频段的定义

由于耦合只在高频进行，因此我们规定在伪小波滤波器的某个子带(称为临界子带)以上的所有子带都为耦合频段，这个特定的子带实际上就决定了高频耦合的频率(称为临界频率)。为了更灵活地进行编/解码，并且提高解码扩展性与兼容性，我们对于不同的信号类型定义了几种常用的耦合临界子带，并将其序号作为边信号编入压缩后的音频码流。

耦合模式的定义

耦合模式可以分成以下三种情况：(一)五个声道都不做高频耦合；(二)由一个声道耦合另一个声道；(三)由一个声道耦合其它两个声道。耦合模式具体定义如下：

(一)五个声道都不做高频耦合

在表中它总是耦合模式0；

(二)由一个声道耦合另一个声道

可表示成T_i，j，其中i可为左声道、中央声道或左环绕声道，则j可为右声道或右环绕声道；

(三)由一个声道耦合其它两个声道

可表示为T_i，j，k，其中i可为左声道或中央声道，则j可为右声道、左环绕声道或右环绕声道

由以上三种情况即可组成多种表，每个表选择最有代表性的k(k为自然数)种耦合模式。如表1即为多种表选择出的一种，对于每种模式给出了哪些声道是耦合声道，并指明解码时该声道由哪个声道来恢复即恢复声道。其中T0，T1，T2，T3，T4，分别代表5声道中的左声道(L)，右声道(R)，中央声道(C)，左环绕声道(LS)，右环绕声道(RS)。表1中的符号“_”表示该声道是耦合声道，即在耦合频段上不编码。

               表1 4bit动态声道耦合模式

耦合模式	编码传输的声道
						0	T0	T1	T2	T3	T4
1	T0	T1	T2	T34	-
						2	T0	T1	T24	T3	-
3	T0	T14	T2	T3	-
						4	T04	T1	T2	T3	-
5	T01	-	T2	T3	T4
						6	T0	-	T21	T3	T4
7	T0	-	T2	T31	T4
						8	T0	-	T2	T3	T41
9	T01	-	T2	T34	-
						10	T01	-	T24	T3	-
11	T0	-	T21	T34	-
						12	T0	-	T214	T3	-
13	T01	-	T234	-	-
						14	T0134	-	T2	-	-
15	T034	-	T21	-	-

按耦合模式解码时遵循以下原则：

(1)一行中若有T_i，j，则表示j声道中的高频谱系数由i声道复制；

(2)一行中若有T_i，j，k，则表示j声道和k声道中的高频谱系数均由i声道复制。

声道间相关系数的计算

由于基于高频耦合的5声道编码中耦合声道的高频谱细节信息是由恢复声道复制得来的，所以应该选择与耦合声道相关性最强的声道来进行谱复制。相关性计算就是为了动态自适应地寻找当前音频信号中哪些声道之间具有这种相关性。有几种计算相关性的方法，下面是其中一种：

设x₁(k)，x₂(k)为两个不同声道的信号，则这两个声道在耦合频段的相关系数定义为： $\mathrm{Cor}12=\frac{1}{N}\underset{i=\mathrm{begb}}{\overset{\mathrm{endb}}{\mathrm{\Σ}}}[\underset{k=\mathrm{fli}}{\overset{\mathrm{fhi}}{\mathrm{\Σ}}}{x}_1\left(k\right)x_2\left(k\right)/[\underset{k=\mathrm{fli}}{\overset{\mathrm{fhi}}{\mathrm{\Σ}}}{x}_1^2\left(k\right)\underset{k=\mathrm{fli}}{\overset{\mathrm{fhi}}{\mathrm{\Σ}}}{x}_2^2\left(k\right)\left]\right]$ 其中：N为参加耦合的子带数；

begb和endb分别为耦合的开始子带编号和结束子带编号；

fli和fhi分别为第i个子带的下边界和上边界的频率；

上面公式只是多种计算相关系数公式中的一个，熟练的技术人员可以经过一定修改和调整，完成与上述公式同样的功能，也是属于本专利保护范围。

最佳耦合模式的选择

最佳耦合模式选择准则：

a.

b.

c.当a和b中的条件都不满足时，可以通过相关系数对如下三种情况唯一地确定最佳耦合模式：只有一个耦合声道(耦合模式1～8)，有两个耦合声道(耦合模式9～12)，有三个耦合声道(耦合模式13～15)。首先对每一种情况按照相关系数各找出一种耦合模式。这样，就找到三种耦合模式，然后对这三种耦合模式分别进行尝试编码，最后根据编码后噪声掩蔽比(NMR)最小(包括量化噪声和耦合噪声)的原则即可得出最佳耦合模式。在此处量化噪声和耦合噪声的意义是不一样的，所以相等数值的量化噪声和耦合噪声对人耳的听觉效果是不一样的。所以在判断NMR时要对量化噪声和耦合噪声采用不同的阈值。

上面所述方法只是多种选择最佳耦合模式方案中的一个，熟练的技术人员可以经过一定修改和调整，完成与上述方法同样的功能，也是属于本专利的保护范围；如果根据权利要求3选择了多种耦合模式，则本要求也要进行相应的变化，这也属于本专利的保护范围。说明：a.耦合模式的定义见表1；

b.其中w1为低相关系数阈值，w2为高相关系数阈值，w1和w2的值均由实验决定，一般信号可取w1＝0.3，w2＝0.6；

c.Cor01为左声道与右声道之间的相关系数，Cor34为左环绕声道与右环绕声道之间的相关系数。

耦合关联系数的计算及量化

由于耦合声道在耦合频段内的谱信息是从恢复声道中复制过来的，为了使各个子带的谱包络在编码前后维持不变，需要给这些谱系数乘以一个反映耦合声道与恢复声道在各个子带能量对比的系数，即耦合关联系数。耦合关联系数CC_i定义为： ${\mathrm{CC}}_i=\sqrt{\frac{E_C^i}{E_R^i}}$ 上式中E_C ⁱ，E_R ⁱ分别代表耦合频段中耦合声道和恢复声道在子带i的能量。

上述公式只是计算耦合关联系数方法之一，熟练的技术人员可以经过一定修改和调整，完成与上述方法同样的功能，同样属于本专利的保护范围。

为了编码耦合关联系数，用非线性量化的方法将其离散化并表示为8位的符号数，写入码流。非线性量化的公式为：

             CC_i_transmitted＝INT[(4log₁₀ CC_i)^0.814]

上式中的INT表示取整函数。这样可以0.25分贝的分辨率非线性地表示±96分贝的动态范围，能够满足几乎所有的音频应用，也符合人耳的听觉特性。解码端用反变换即可将耦合关联解出并恢复耦合声道在耦合频段的所有谱系数。

上述公式只是量化耦合关联系数方法之一，熟练的技术人员可以经过一定修改和调整，完成与上述方法同样的功能，同样属于本专利的保护范围。

公共比特池

由于音频编码是按帧进行的，对于给定的目标码率和采样率，每帧数据平均耗用比特数是一个常数。实际的编码中，对于达到感知无失真的编码要求而言，对比特数的需求会在这个常数附近随时间变化而波动起伏。为了提高编码的无失真率，常用比特池缓冲技术以减少比特需求不能满足的机会。

多声道的编码中每帧的比特需求不仅随时间而起伏，而且各声道之间也有差别。如果每个声道能够依其动态变化着的比特需求按比例从公共的比特池中分配比特，而非按不随时间变化的固定比例分配，则能够大大提高编码的无失真率。

公共比特池是在量化编码模块中实现的。在量化循环中噪声掩蔽比(NMR)最大的子带即最需要比特的子带。在量化循环的每一步中，都要对5声道的所有非耦合子带按NMR排序，找出NMR最大的子带并减小其量化步长(也即从公共比特池中分配比特给这个子带)。这样就保证了比特总是分配给最需要它的声道，实现了在声道间按需分配比特的目的。

在使用高频耦合的5声道伪小波编码器中，当原始音频信号为16位48khz采样的PCM流时，在目标码率为384kbps下对5声道测试音频帧基本都能达到透明编码(也即是感知无失真的编码)，比不用高频耦合的5声道伪小波编码提高了至少3个百分点以上。这说明5声道的耦合编码相当明显地提高了编码的质量。

Claims (10)

1.一种基于高频耦合的伪小波5声道音频编/解码方法，是对于5声道编码，以及对单、双声道的高频耦合，但不局限于单、双声道编/解码结构，其特征在于：在编码端输入5声道的时域信号，将信号分别传输至信号类型检测(1)、心理声学模型(3)和伪小波滤波器组(2)，信号经类型检测(1)后可以判断出该信号是缓变信号还是快变信号，用以控制伪小波滤波器组(2)的分辨率，具体的说是对于缓变信号用频率分辨率较高的滤波器组，对于快变信号的中高频部分则用时域分辨率较高的滤波器组，而快变信号的低频部分用频率分辨率较高的滤波器组，信号经过伪小波变换后的系数被传送到相关系数计算单元(5)中进行相关系数计算，然后根据(5)单元计算的结果，并按照耦合模式选择准则选取最佳耦合模式(6)，然后用最佳耦合模式来量化和编码伪小波系数，其中量化和编码所用的比特分配方案(4)由心理声学模型(3)来控制，最后将量化和编码系数和边信息一起传送到多声道码流进行合成(9)输出。

2.根据权利要求1所述的伪小波5声道音频编/解码方法，其特征在于：耦合模式对各个声道的高频部分进行耦合编码，最后对耦合关联系数进行量化，并形成码流写入输出码流文件，而对于非耦合声道以及耦合声道的非耦合频段的编码方式与单声道的编码方式完全一样。

3.根据权利要求1所述的伪小波5声道音频编/解码方法，其特征在于：可以根据不同的情况对高频耦合模式进行多种组合。

4.根据权利要求1、3所述的伪小波5声道音频编/解码方法，其特征在于：高频耦合模式有：五个声道都不做高频耦合；由一个声道耦合另一个声道；由一个声道耦合其它两个声道；由一个声道耦合其它三个声道。

5.根据权利要求1所述的伪小波5声道音频编/解码方法，其特征在于：信号类型检测(1)用来判断该帧信号是快变信号还是缓变信号，并对快变类型的信号的高频部分采取时域分辨率较高的滤波器组，快变信号的低频部分用频率分辨率较高的滤波器组的处理方式，对于缓变类型信号，伪小波变换采取频域分辨率较高的处理方式。

6.根据权利要求1所述的伪小波5声道音频编/解码方法，其特征在于：高频耦合中的相关系数计算(5)单元的计算式表示为：

设x₁(k)，x₂(k)为两个不同声道的信号，则这两个声道在耦合频段的相关系数定义为： $\mathrm{Cor}12=\frac{1}{N}\underset{i=\mathrm{begb}}{\overset{\mathrm{endb}}{\mathrm{\Σ}}}[\underset{k=\mathrm{fli}}{\overset{\mathrm{fhi}}{\mathrm{\Σ}}}{x}_1\left(k\right)x_2\left(k\right)/[\underset{k=\mathrm{fli}}{\overset{\mathrm{fhi}}{\mathrm{\Σ}}}{x}_1^2\left(k\right)\underset{k=\mathrm{fli}}{\overset{\mathrm{fhi}}{\mathrm{\Σ}}}{x}_2^2\left(k\right)\left]\right]$

其中：N为参加耦合的子带数；

begb和endb分别为耦合的开始子带编号和结束子带编号；

fli和fhi分别为第i个子带的下边界和上边界的频率；

w1和w2的值可选择0与1之间的任意实数，如可取w1＝0.3，w2

＝0.6。

7.根据权利要求1所述的伪小波5声道音频编/解码方法，其特征在于：最佳耦合模式的选择式为：

a.

b.

c.当a和b中的条件都不满足时，可以通过相关系数对如下三种情况唯一地确定最佳耦合模式：只有一个耦合声道(耦合模式1～8)，有两个耦合声道(耦合模式9～12)，有三个耦合声道(耦合模式13～15)。首先对每一种情况按照相关系数各找出一种耦合模式。

8.根据权利要求1所述的伪小波5声道音频编/解码方法，其特征在于：伪小波变换可以根据该信号是快变信号还是缓变信号自适应的改变频域(时域)分辨率；具体的说就是对于快变类型的信号的高频部分采取时域分辨率较高的滤波器组，对于快变信号的低频部分用频率分辨率较高的滤波器组的处理方式，对于缓变信号采取频域分辨率较高的处理方式。

9.根据权利要求1所述的伪小波5声道音频编/解码方法，其特征在于：比特分配采用公共比特池技术，该技术是在量化编码模块中实现的，在量化循环的每一步中，都要对5声道的所有非耦合子带按NMR排序，找出NMR最大的子带并减小其量化步长。

10.根据权利要求1所述的伪小波5声道音频编/解码方法，其特征在于：耦合关联系数CC_i定义为： ${\mathrm{CC}}_i=\sqrt{\frac{E_C^i}{E_R^i}}$ 上式中E_C ⁱ，Eⁱ _R分别代表耦合频段中耦合声道和恢复声道在子带i的能量；耦合关联系数，用非线性量化的方法将其离散化并表示为8位的符号数，非线性量化的公式为：

CC_i_transmitted＝INT[(4log₁₀CC_i)^0.814]

上式中的TNT表示取整函数。

Images