CN104978967B - 用于降低空间参数误码率的三维音频编码方法及装置 - Google Patents

Abstract

本发明提供了用于降低空间参数误码率的三维音频编码方法及装置，以提高重建三维音频空间感知质量，包括将3D音频码流的3D空间参数部分作为MIB部分，为MIB部分添加窗W₁；将3D音频码流的下混单声道信号部分作为LIB部分，并为MIB部分和LIB部分添加窗W₂；选择窗W₁和窗W₂之一，随机产生一个度数d，从所选窗W_i中随机选取d个符号并进行模为2的异或运算，得到一个编码符号；返回生成新的编码符号，直至输出编码码流。本发明基于不等差错保护的思想，通过对重建三维音频空间感知质量起着更关键作用的空间参数部分的更重点保护，降低三维音频空间参数部分的误码率，提高重建三维音频的空间感知质量。

Description

用于降低空间参数误码率的三维音频编码方法及装置

技术领域

本发明涉及数字音频领域，针对提高重建三维音频空间感知质量的需求，尤其涉及一种基于不等差错保护来降低三维音频空间参数误码率的编码技术方案。

背景技术

2009年底，三维电影《阿凡达》在全球三十多个国家登上票房榜首，到2010年9月初，全球累计票房超过27亿美元。《阿凡达》之所以能取得如此辉煌的票房成绩，在于它所采用的全新的三维特效制作技术带给人们感官上的震撼效果。要想达到更好的视听体验，还需要有与三维视频内容同步的三维声场听觉效果，才能真正达到身临其境的视听感受。

3D音频通常的输出码流结构包括两部分：下混单声道信号部分和3D空间参数部分。而随着越来越高的3D空间分辨率以及越来越多的声道或对象数量，编码声道和空间参数的比特率会线性地急剧地增加，这就要求更大的带宽来传输3D音频。

因此，当带宽有限且聚焦于3D音频的空间感知质量时，3D码流中的空间参数部分就具有相对而言更高的重要性，需要更多的保护。

发明内容

本发明的目的在于针对带宽有限且需要保证3D音频的空间感知质量的现状，提供一种用于降低3D音频空间参数误码率的UEP编码方案。

本发明的技术方案提供一种用于降低空间参数误码率的三维音频编码方法，编码过程包括以下步骤，

步骤C1，设输入为经信源编码器编码所得大小为n bits的3D音频码流，将该3D音频码流的3D空间参数部分作为MIB部分，其大小为α₁n bits，α₁为系数，0＜α₁＜1；为MIB部分添加窗W₁，窗W₁只包含MIB部分相应的3D空间参数比特集合S₁；所述MIB部分为更重要比特部分；

步骤C2，将3D音频码流的下混单声道信号部分作为LIB部分，并添加窗W₂，窗W₂包含MIB部分相应的3D空间参数比特集合S₁和LIB部分相应的下混单声道信号比特集合S₂；所述LIB部分为次重要比特部分；

步骤C3，选择窗W₁和窗W₂之一，包括根据选择概率τ_i来选择窗W_i,i＝1,2，其中，τ₁是窗W₁相应的选择概率，τ₂是窗W₂相应的选择概率，τ₂＝1-τ₁，0≤τ₁≤1；

步骤C4，随机产生一个度数d，包括根据步骤C3所选窗W_i相应的度分布函数Ω_i(x)选择一个度数d；

步骤C5，从步骤C3所选窗W_i中随机选取d个符号并进行模为2的异或运算，得到一个编码符号；

步骤C6，返回步骤C3生成新的编码符号，直至得到m个编码符号，输出大小为mbits的编码码流；其中，m＝γn，γ为预设的解码开销。

而且，度分布函数Ω_i(x),i＝1,2采用同一个度分布函数如下，

Ω(x)＝0.007969x+0.493570x²+0.166220x³

+0.072646x⁴+0.082558x⁵+0.056058x⁸+0.037229x⁹

+0.055590x¹⁹+0.025023x⁶⁴+0.003135x⁶⁶

其中，x为随机变量。

而且，τ₁＝0.084,τ₂＝0.916。

而且，γ大于1.07。

而且，γ取值为1.2。

本发明还相应提供一种用于降低空间参数误码率的三维音频编码装置，包括以下模块，

第一加窗模块，用于设输入为经信源编码器编码所得大小为n bits的3D音频码流，将该3D音频码流的3D空间参数部分作为MIB部分，其大小为α₁n bits，α₁为系数，0＜α₁＜1；为MIB部分添加窗W₁，窗W₁只包含MIB部分相应的3D空间参数比特集合S₁；所述MIB部分为更重要比特部分；

第二加窗模块，用于将3D音频码流的下混单声道信号部分作为LIB部分，并添加窗W₂，窗W₂包含MIB部分相应的3D空间参数比特集合S₁和LIB部分相应的下混单声道信号比特集合S₂；所述LIB部分为次重要比特部分；

窗选择模块，用于选择窗W₁和窗W₂之一，包括根据选择概率τ_i来选择窗W_i,i＝1,2，其中，τ₁是窗W₁相应的选择概率，τ₂是窗W₂相应的选择概率，τ₂＝1-τ₁，0≤τ₁≤1；

度数生成模块，用于随机产生一个度数d，包括根据窗选择模块所选窗W_i相应的度分布函数Ω_i(x)选择一个度数d；

编码符号生成模块，用于从窗选择模块所选窗W_i中随机选取d个符号并进行模为2的异或运算，得到一个编码符号；

输出模块，用于命令窗选择模块重新生成新的编码符号，直至得到m个编码符号，输出大小为m bits的编码码流；其中，m＝γn，γ为预设的解码开销。

而且，度分布函数Ω_i(x),i＝1,2采用同一个度分布函数如下，

Ω(x)＝0.007969x+0.493570x²+0.166220x³

+0.072646x⁴+0.082558x⁵+0.056058x⁸+0.037229x⁹

+0.055590x¹⁹+0.025023x⁶⁴+0.003135x⁶⁶

其中，x为随机变量。

而且，τ₁＝0.084,τ₂＝0.916。

而且，γ大于1.07。

而且，γ取值为1.2。

本发明通过对包含有下混单声道部分和3D空间参数部分的3D音频码流进行不等差错保护来降低3D音频空间参数的误码率，提高重建三维音频的空间质量，令3D多声道空间音频信号经过信源编码器后得到的3D音频码流输入到基于不等差错保护的编码设计方案所设计的编码器中，对码流的3D空间参数部分进行重点保护，对下混单声道信号部分进行次重点保护，来实现对输入的3D音频码流的不等差错保护；由于3D空间参数是使得重建三维音频具有空间感知质量的关键信息，而这样的不等差错保护方案能够很好地保护更关键信息而又不会过多地损坏次关键信息。与传统方法的均等差错保护策略对比，使用不等差错保护策略来传输3D音频码流可以在带宽有限的情况下使3D音频空间参数误码率降低一个数量级。因此，本发明通过对3D音频码流进行不等差错保护，能够降低3D音频空间参数误码率，提高重建三维音频的空间质量，得到更好的三维音频重放效果以及整体的视听感受。

附图说明

图1是本发明实施例的编码方案流程图。

图2是本发明实施例的加窗示意图。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案。

本发明提供一种降低3D音频空间参数误码率的UEP编码方案，即一种基于不等差错保护来降低三维音频空间参数误码率，提高重建三维音频空间感知质量的编码方法，实现将一种不等差错保护的编码方法应用于三维音频码流。本发明考虑到，因特网和移动网络是典型的二进制可擦除信道(BEC)。传统的数据传输中，所有的数据在BEC上都是均等差错保护(EEP)的，但在有些情况下对数据中一部分数据的可靠性要求很高，这部分数据需要更多的保护，而其他数据的可靠性可以相对差一些，需要的保护就相对少些，因此提出在音频传输领域使用不等差错保护(UEP)策略。本发明进一步针对音频传输的数据特征进行UEP策略具体实现设计，所提供编码方案的输入是经过信源编码器编码的3D音频码流，包括下混单声道信号部分和3D空间参数部分。

具体实施时可采用计算机软件技术实现自动运行流程。参见图1，本发明实施例实现信道编码器的功能，执行以下流程：

步骤C1，经过信源编码器编码的大小为n bits的3D音频码流作为输入，其中，该码流的3D空间参数部分被视为更重要比特(MIB)部分，其大小为α₁n(0＜α₁＜1)bits，并为其添加窗W₁，该窗只包含MIB部分相应的3D空间参数比特集合S₁。

具体实施时，根据已知的MIB部分大小和n的比值可以计算出α₁的具体取值。

步骤C2，将3D音频码流的下混单声道信号部分作为次重要比特(LIB)部分，其大小为α₂n(0＜α₂＜1)bits也就是(1-α₁)n，并添加窗W₂，该窗包含MIB部分相应的3D空间参数比特集合S₁和LIB部分相应的下混单声道信号比特集合S₂。

实施例中n＝96000，α₁＝0.2，则S₁的大小为19200bits，而S₂的大小为76800bits，图2展示了本实施例的加窗示意图，其中s_i,i＝1,2,...,96000代表信息符号，s_i,i＝1,2,...,19200代表集合S₁中的信息符号，s_i,i＝19201,19202,...,96000代表集合S₂中的信息符号。

步骤C3，按照概率选择W₁和W₂之一：根据选择概率τ_i,i＝1,2来选择窗W_i,i＝1,2，其中，τ₁是窗W₁相应的选择概率，τ₂是窗W₂相应的选择概率，以τ₁(0≤τ₁≤1)来选择窗W₁,以τ₂＝1-τ₁(0≤τ₁≤1)来选择窗W₂。

实施例中，UEP情况下τ₁＝0.084,τ₂＝0.916，而传统的均等差错保护(EEP)情况下，τ₁＝0,τ₂＝1。

步骤C4，每生成一个编码符号前，都要随机产生一个度数d，根据步骤C3所选窗W_i相应的度数分布Ω_i(x)来选择一个度d。其中，x是度分布函数Ω_i(x)的自变量，它是一个随机变量。

对于所有自变量x，度分布函数Ω(x)是编码度数为x的概率，其表达式为：

而此处这个随机变量x就是度数d，取值为1,2,…,n。

具体实施时，本领域技术人员可以自行设定具体的度分布函数Ω_i(x),i＝1,2。可以通过对度数分布函数的不同选择来优化编码过程，降低编码开销。

实施例中，为Ω₁(x)和Ω₂(x)选择同一个度分布函数，它是一个弱化的稳健孤立子度分布，这种分布简单，可以降低编码复杂度：

Ω(x)＝0.007969x+0.493570x²+0.166220x³

+0.072646x⁴+0.082558x⁵+0.056058x⁸+0.037229x⁹

+0.055590x¹⁹+0.025023x⁶⁴+0.003135x⁶⁶ (2)

可以看到，在这个度分布函数中，d的有效取值为1,2,3,4,5,8,9,19,64,66，可从其中随机取一个值。

步骤C5，从步骤C3所选择的窗中等概率随机选取d个符号并对它们进行模为2的异或运算，得到一个编码符号。

具体而言，对d个符号进行模为2的异或运算，即把它们都先转换成二进制数，分别为f₁、f₂…f_d，然后再依次进行二进制加法⊕，二进制加法如下：

0⊕0＝0,0⊕1＝1,1⊕0＝1,1⊕1＝1 (3)

步骤C6，重复上述过程，即返回步骤C3，重复步骤C3～C5，重新按照概率选择窗W₁或W₂并处理到一个新的编码符号，直至得到m＝γn个编码符号，其中，γ＝m/n为解码开销，当它的值大于1时，n个编码符号可以被相应的解码器解码；信道编码器输出大小为m bits的编码码流。

实施例中，γ的值设为1.2，n＝96000，则m的值为115200。不同的γ值下MIB和LIB的误码率会有所不同，而编解码复杂度也会有所不同，具体实施时本领域技术人员可以自行预设取值，也可以据此选择不同的γ值或者通过多个γ值时的性能对比来选择最优的一个。在实验中，当γ大于1.07时即可以获得较低的空间参数误码率，其值继续增大，3D音频空间参数误码率会继续降低，但是基本维持在10^-4左右。

具体实施时，还可采用软件模块化方式提供相应装置。本发明实施例的一种用于降低空间参数误码率的三维音频编码装置，包括以下模块：

第一加窗模块，用于设输入为经信源编码器编码所得大小为n bits的3D音频码流，将该3D音频码流的3D空间参数部分作为MIB部分，其大小为α₁n bits，α₁为系数，0＜α₁＜1；为MIB部分添加窗W₁，窗W₁只包含MIB部分相应的3D空间参数比特集合S₁；所述MIB部分为更重要比特部分；

第二加窗模块，用于将3D音频码流的下混单声道信号部分作为LIB部分，并添加窗W₂，窗W₂包含MIB部分相应的3D空间参数比特集合S₁和LIB部分相应的下混单声道信号比特集合S₂；所述LIB部分为次重要比特部分；

窗选择模块，用于选择窗W₁和窗W₂之一，包括根据选择概率τ_i来选择窗W_i,i＝1,2，其中，τ₁是窗W₁相应的选择概率，τ₂是窗W₂相应的选择概率，τ₂＝1-τ₁，0≤τ₁≤1；

度数生成模块，用于随机产生一个度数d，包括根据窗选择模块所选窗W_i相应的度分布函数Ω_i(x)选择一个度数d；

编码符号生成模块，用于从窗选择模块所选窗W_i中随机选取d个符号并进行模为2的异或运算，得到一个编码符号；

输出模块，用于命令窗选择模块重新生成新的编码符号，直至得到m个编码符号，输出大小为m bits的编码码流；其中，m＝γn，γ为预设的解码开销。

经过不等差错保护的三维音频码流，由于用于恢复重建三维音频空间质量的3D空间参数在带宽有限的BEC信道中得到了更多的保护，可以使得其误码率降低，其空间感知重建效果比传统的均等差错保护下的三维音频的效果要好。因此基于不等差错保护来降低3D音频空间参数误码率的编码方案可以提升重建三维音频的空间感知质量。

通过实验对比，使用不等差错保护策略来传输3D音频码流可以在带宽有限的情况下使3D音频空间参数误码率从10^-3数量级降低到10^-4数量级。

按照所述编码步骤的实验仿真客观评价结果如下：

本文中所描述的具体实施例仅仅是对本发明内容作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的内容或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种用于降低空间参数误码率的三维音频编码方法，其特征在于：编码过程包括以下步骤，

步骤C1，设输入为经信源编码器编码所得大小为n bits的3D音频码流，将该3D音频码流的3D空间参数部分作为MIB部分，其大小为α₁n bits，α₁为系数，0＜α₁＜1；为MIB部分添加窗W₁，窗W₁只包含MIB部分相应的3D空间参数比特集合S₁；所述MIB部分为更重要比特部分；

步骤C2，将3D音频码流的下混单声道信号部分作为LIB部分，并添加窗W₂，窗W₂包含MIB部分相应的3D空间参数比特集合S₁和LIB部分相应的下混单声道信号比特集合S₂；所述LIB部分为次重要比特部分；

步骤C3，选择窗W₁和窗W₂之一，包括根据选择概率τ_i来选择窗W_i,i＝1,2，其中，τ₁是窗W₁相应的选择概率，τ₂是窗W₂相应的选择概率，τ₂＝1-τ₁，0≤τ₁≤1；

步骤C4，随机产生一个度数d，包括根据步骤C3所选窗W_i相应的度分布函数Ω_i(x)的度数有效取值中，随机选择一个度数d；

窗W₁和窗W₂相应的度分布函数分别为Ω₁(x)和Ω₂(x)，度分布函数Ω_i(x),i＝1,2采用同一个度分布函数如下，

Ω(x)＝0.007969x+0.493570x²+0.166220x³

+0.072646x⁴+0.082558x⁵+0.056058x⁸+0.037229x⁹

+0.055590x¹⁹+0.025023x⁶⁴+0.003135x⁶⁶

其中，x为随机变量；

步骤C5，从步骤C3所选窗W_i中随机选取d个符号并进行模为2的异或运算，得到一个编码符号；

步骤C6，返回步骤C3生成新的编码符号，直至得到m个编码符号，输出大小为m bits的编码码流；其中，m＝γn，γ为预设的解码开销。

2.根据权利要求1所述用于降低空间参数误码率的三维音频编码方法，其特征在于：τ₁＝0.084,τ₂＝0.916。

3.根据权利要求1所述用于降低空间参数误码率的三维音频编码方法，其特征在于：γ大于1.07。

4.根据权利要求3所述用于降低空间参数误码率的三维音频编码方法，其特征在于：γ取值为1.2。

5.一种用于降低空间参数误码率的三维音频编码装置，其特征在于：包括以下模块，

第一加窗模块，用于设输入为经信源编码器编码所得大小为n bits的3D音频码流，将该3D音频码流的3D空间参数部分作为MIB部分，其大小为α₁n bits，α₁为系数，0＜α₁＜1；为MIB部分添加窗W₁，窗W₁只包含MIB部分相应的3D空间参数比特集合S₁；所述MIB部分为更重要比特部分；

第二加窗模块，用于将3D音频码流的下混单声道信号部分作为LIB部分，并添加窗W₂，窗W₂包含MIB部分相应的3D空间参数比特集合S₁和LIB部分相应的下混单声道信号比特集合S₂；所述LIB部分为次重要比特部分；

窗选择模块，用于选择窗W₁和窗W₂之一，包括根据选择概率τ_i来选择窗W_i,i＝1,2，其中，τ₁是窗W₁相应的选择概率，τ₂是窗W₂相应的选择概率，τ₂＝1-τ₁，0≤τ₁≤1；

度数生成模块，用于随机产生一个度数d，包括根据窗选择模块所选窗W_i相应的度分布函数Ω_i(x)的度数有效取值中，随机选择一个度数d；

窗W₁和窗W₂相应的度分布函数分别为Ω₁(x)和Ω₂(x)，度分布函数Ω_i(x),i＝1,2采用同一个度分布函数如下，

Ω(x)＝0.007969x+0.493570x²+0.166220x³

+0.072646x⁴+0.082558x⁵+0.056058x⁸+0.037229x⁹

+0.055590x¹⁹+0.025023x⁶⁴+0.003135x⁶⁶

其中，x为随机变量；

编码符号生成模块，用于从窗选择模块所选窗W_i中随机选取d个符号并进行模为2的异或运算，得到一个编码符号；

输出模块，用于命令窗选择模块重新生成新的编码符号，直至得到m个编码符号，输出大小为m bits的编码码流；其中，m＝γn，γ为预设的解码开销。

6.根据权利要求5所述用于降低空间参数误码率的三维音频编码装置，其特征在于：τ₁＝0.084,τ₂＝0.916。

7.根据权利要求5所述用于降低空间参数误码率的三维音频编码装置，其特征在于：γ大于1.07。

8.根据权利要求7所述用于降低空间参数误码率的三维音频编码装置，其特征在于：γ取值为1.2。