CN101385078A - 用于编码和解码基于对象的音频信号的方法和装置 - Google Patents

Abstract

提供了用于编码和解码基于对象的音频信号的方法和装置。解码基于对象的音频信号的方法包括从输入信号中提取缩混信号和基于对象的参数信息，使用所述缩混信号和所述基于对象的参数信息产生对象音频信号，并通过将3D信息应用到所述对象音频信号来产生具有三维(3D)效果的对象音频信号。因此，能够为每个对象音频信号定位声像，并因此在重现对象音频信号的过程中提供生动的真实感。

Description

用于编码和解码基于对象的音频信号的方法和装置

技术领域

本发明涉及用于编码和解码音频信号的方法和装置，更具体地，涉及可以为每个对象音频信号在需要的空间位置定位声像(soundimage)的编码和解码音频信号的方法和装置。

背景技术

通常，在典型的基于对象的音频编码方法中，对象编码器通过缩混(down-mix)多个的对象音频信号产生缩混信号，并产生包括从对象音频信号中提取出的多个信息的参数信息。在典型的基于对象的音频解码方法中，对象解码器通过使用基于对象的参数信息解码接收到的缩混信号来恢复多个的对象音频信号，且表现器使用控制数据将对象音频信号合成为2通道信号或多通道信号，这是指定所恢复对象音频信号的位置所必需的。

但是，控制数据只是互电平(inter-level)信息，而在通过仅仅使用电平(level)信息进行声像定位来产生3D效果时具有明显的局限性。

发明内容

技术问题

本发明提供用于编码和解码音频信号的方法和装置，可以为每个对象音频信号在需要的空间位置定位声像。

技术方案

根据本发明的一个方面，提供了一种解码音频信号的方法。该方法包括从输入音频信号中提取缩混信号和基于对象的参数信息，使用缩混信号和基于对象的参数信息产生对象音频信号，和通过将3D信息应用到对象音频信号而产生具有三维(3D)效果的对象音频信号。

根据本发明的另一方面，提供了一种用于解码音频信号的装置。该装置包括从输入音频信号中提取缩混信号和基于对象的参数信息的分用器，使用缩混信号和基于对象的参数信息产生对象音频信号的对象解码器，和通过将3D信息应用到对象音频信号而产生具有3D效果的三维对象音频信号的表现器。

根据本发明的另一方面，提供了一种解码音频信号的方法。该方法包括从输入音频信号中提取缩混信号和基于对象的参数信息，通过转换基于对象的参数信息产生基于通道的参数信息，使用缩混信号和基于通道的参数信息产生音频信号，和通过将3D信息应用到音频信号而产生具有3D效果的音频信号。

根据本发明的另一方面，提供了一种用于解码音频信号的装置。该装置包括从输入音频信号中提取缩混信号和基于对象的参数信息的分用器，使用索引数据取回3D信息并输出该3D信息的表现器，使用基于对象的参数信息和3D信息产生基于通道的参数信息的代码转换器，和使用缩混信号和基于通道的参数信息产生音频信号并通过将3D信息应用到音频信号而产生具有3D效果的音频信号的多通道解码器。

根据本发明的另一方面，提供了一种用于解码音频信号的装置。该装置包括从输入音频信号中提取缩混信号和基于对象的参数信息的分用器，使用索引数据提取3D信息并输出该3D信息的表现器，将基于对象的参数信息转换为基于通道的参数信息，将3D信息转换为基于通道的3D信息并输出该基于通道的参数信息和基于通道的3D信息的代码转换器，和使用缩混信号和基于通道的参数信息产生音频信号并通过将3D信息应用到音频信号而产生具有3D效果的音频信号的多通道解码器。

根据本发明的另一方面，提供了一种用于编码音频信号的方法。该方法包括通过缩混对象音频信号产生缩混信号，提取关于对象音频信号的信息并基于所提取信息产生基于对象的参数信息，和将索引数据插入到基于对象的参数信息中，该索引数据是寻找用于为对象音频信号建立3D效果的3D信息所必需的。

根据本发明的另一方面，提供了一种具有在其上记录用于执行上述方法中的一种的程序的计算机可读记录介质。

有益效果

如上所述，根据本发明，在重现对象音频信号的过程中，通过为每个对象音频信号定位声像，在最大限度使用典型的基于对象的音频编码和解码方法的同时，提供比典型的基于对象的音频编码和解码方法更加生动的真实感。另外，可以通过将本发明应用到其中游戏玩家频繁地经由网络改变操纵的游戏人物的位置信息的互动游戏中以建立高保真的虚拟现实。

详细附图说明

图1是示出典型的基于对象的音频编码装置的框图；

图2是根据本发明的实施例的解码音频信号的装置的框图；

图3是示出在图2中示出的装置的操作的流程图；

图4是示出根据本发明的另一实施例的解码音频信号的装置的框图；

图5是示出在图4中示出的装置的操作的流程图；

图6是示出根据本发明的另一实施例的解码音频信号的装置的框图；

图7是示出通过图6中示出的装置的三维(3D)信息到帧的应用；

图8是示出根据本发明的另一实施例的解码音频信号的装置的框图；以及

图9是示出根据本发明的另一实施例的解码音频信号的装置的框图。

具体实施方式

下文将结合附图更充分地说明本发明，在附图中给出了本发明的示例性实施例。

根据本发明的用于编码和解码音频信号的方法和装置可应用于，但不限于基于对象的音频编码和解码操作。换句话说，根据本发明，根据本发明的用于编码和解码音频信号的方法和装置也可应用于除在此所提到的信号处理操作之外的各种信号处理操作，只要所述信号处理操作满足少许条件。根据本发明，根据本发明的用于编码和解码音频信号的方法和装置可以通过将诸如应用头部关联传输功能(HRTF)的三维(3D)信息应用到对象音频信号来在需要的空间位置定位对象音频信号的声像。

图1是示出典型的基于对象的音频编码装置。参照图1，基于对象的音频编码装置包括对象编码器110和比特流发生器120。

对象编码器110接收N个对象音频信号，并产生基于对象的缩混信号和包括从N个对象音频信号中提取出的多个信息的基于对象的参数信息。该多个信息可以是能量差和相关值。

比特流发生器120通过结合由对象编码器110产生的基于对象的缩混信号和基于对象的参数信息来产生比特流。由比特流发生器120产生的比特流可包括解码装置默认设置所必需的默认混合参数。该默认混合参数可包括寻找用于产生3D效果的诸如HRTF的3D信息所必需的索引数据。

图2示出根据本发明的实施例的用于解码音频信号的装置。可以通过将基于HRTF的3D双耳定位的概念结合到典型的基于对象的编码方法中来设计图2中所示的装置。HRTF是描述在任意位置的声源和耳膜之间的声波的传输的传输函数，并返回根据声源的方向和高度而变化的值。如果使用HRTF过滤无方向的信号，该信号可以听起来就像从某一方向重现一样。

参照图2，该装置包括分用器130、对象解码器140、表现器150和3D信息数据库160。

分用器130从输入比特流中提取缩混信号和基于对象的参数信息。对象解码器140基于缩混信号和基于对象的参数信息产生对象音频信号。3D信息数据库160是储存3D信息诸如HRTF的数据库，并寻找和输出对应于输入索引数据的3D信息。表现器150使用由对象解码器140产生的对象音频信号和由3D信息数据库160输出的3D信息产生3D信号。

图3示出在图2中示出的装置的操作。参照图2和图3，当接收到通过用于编码音频信号的装置传输的比特流时(S170)，分用器130从该比特流中提取缩混信号和基于对象的参数信息(S172)。对象解码器140使用缩混信号和基于对象的参数信息产生对象音频信号(S174)。

表现器150使用包括在控制数据中的索引数据从3D信息数据库160中取回3D信息，这对于指定对象音频信号的位置是必需的(S176)。表现器150通过使用由对象解码器110提供的对象音频信号和由3D数据库160提供的3D信息进行3D表现操作而产生具有3D效果的3D信号(S178)。

由表现器150产生的3D信号可以是具有3个或更多定向的2通道信号，并且因此可以通过诸如耳机的2通道扬声器重现为3D立体声。换句话说，由表现器150产生的3D信号可通过2通道扬声器重现，从而使用者可感觉该3D缩混信号像是从具有三个或更多通道的声源中重现的。声源的方向可以基于分别输入到两个耳朵的两个声音的强度之间的差别，两个声音之间的时间间隔，和两个声音相位之间的差别中的至少一种来确定。因此，3D表现器150可以基于人类能够如何使用听觉确定声源的3D位置来产生3D信号。

用于编码音频信号的装置可以包括索引数据，该索引数据是在用于默认设置的默认混合参数信息中取回3D信息所必需的。在该情况下，表现器150可以使用包括在默认混合参数信息中的索引数据从3D信息数据库160中取回3D信息。

用于编码音频信号的装置可以包括，在控制数据中索引数据，其是寻找用于为对象信号建立3D效果的诸如HRTF的3D信息所必需的。换句话说，解码音频信号的装置所使用的包括在控制数据中的混合参数信息不但包括电平信息而且包括寻找3D信息所必需的索引数据。该混合参数信息可以是时间信息诸如通道间时间差信息，位置信息，或者电平信息和时间信息的组合。

如果多个对象音频信号和3D效果需要增加到该多个对象音频信号中的一个或更多中，从3D信息数据库160中寻找并取回对应于给出的索引数据的3D信息，该数据库160储存为需要增加3D效果的对象音频信号指定其目标位置的3D信息。然后，3D表现器150使用所取回的3D信息进行3D表现操作从而能够建立3D效果。与所有对象信号有关的3D信息可以用作混合参数信息。如果3D信息只应用到一些对象信号，除了这少数对象信号之外，对应于对象信号的电平信息和时间信息也可用作混合参数信息。

图4示出根据本发明的另一实施例的解码音频信号的装置。参照图4，该装置包括多通道解码器270，来代替对象解码器。

更具体地，该装置包括分用器230、代码转换器240、表现器250、3D信息数据库260和多通道解码器270。

分用器230从输入比特流中提取缩混信号和基于对象的参数信息。表现器250使用对应于包含在控制数据中的索引数据3D信息来指定每个对象信号的3D位置。代码转换器230通过使用将基于对象的参数信息和由表现器250提供的每个对象音频信号的3D位置信息结合来产生基于通道的参数信息。多通道解码器270使用由分用器230提供的缩混信号和由代码转换器230提供的基于通道的参数信息来产生3D信号。

图5示出在图4中示出的装置的操作。参照图4和图5，装置接收比特流(S280)。分用器230从所接收到的比特流中提取基于对象的缩混信号和基于对象的参数信息(S282)。表现器250提取包括在控制数据中的索引数据，其用于指定对象音频信号的3D位置，并从3D信息数据库260中取回对应于索引数据的3D信息(S284)。主要由默认混合参数信息指定的对象音频信号的位置可以通过使用混合控制数据指定对应于对象音频信号需要的位置的3D信息来改变。

代码转换器230通过将关于由用于编码音频信号的装置传输的N个对象信号的基于对象的参数信息和由表现器250使用诸如HRTF的3D信息而获得的每个对象信号的3D位置信息结合来产生关于M个通道的基于通道的参数信息(S286)。

多通道解码器270使用由分用器230提供的基于对象的缩混信号和由代码转换器230提供的基于通道的参数信息来产生音频信号，并且通过使用包含在基于通道的参数信息中的3D信息对音频信号进行3D表现操作来产生多通道信号(S290)。

图6示出根据本发明的另一实施例的用于解码音频信号的装置。图6中所示的装置不同于图4中所示的装置，其中代码转换器440分别将基于通道的参数信息和3D信息传输到多通道解码器470。换句话说，不同于图4中所示的代码转换器240，代码转换器440将关于M个通道和3D信息的基于通道的参数信息，而不是包括在3D信息中的基于通道的参数信息，传输到多通道解码器470，其中的M个通道是使用关于N个对象信号的基于对象的参数信息获得的，而3D信息被应用到N个对象信号中的每一个。

参照图7，基于通道的参数信息和3D信息有自己的帧索引数据。因此，多通道解码器470可以通过使用基于通道的参数信息的帧索引和3D信息来同步基于通道的参数信息和3D信息而将3D信息应用到比特流的预定帧。例如，参照图7，对应于索引2的3D信息可以应用到具有索引2的帧2的开始部分。

即使3D信息随时间更新，仍可以通过参照3D信息的帧索引来确定3D信息需要被应用到基于通道的参数信息中的何处。换句话说，为了使多通道解码器470可以暂时同步基于通道的参数信息和3D信息，代码转换器440可以将帧索引信息分别插入到基于通道的参数信息和3D信息中。

图8示出根据本发明的另一实施例的解码音频信号的装置。图8中所示的装置不同于图6中所示的装置，不同之处在于图8中所示的装置除分用器530、代码转换器547、表现器550和3D信息数据库560外还包括预处理器543和效果处理器580，并且3D信息数据库560包括在表现器550中。

更具体地，分用器530，代码转换器547，表现器560，3D信息数据库560和多通道解码器570的结构和操作与图6中各部件的结构和操作相同。参照图8，效果处理器580可以给缩混信号增加预定效果。预处理器543可以对例如，立体声缩混信号进行预处理操作，从而可以调节立体声缩混信号的位置。3D信息数据库560可以被包括在表现器550中。

图9示出根据本发明的另一实施例的解码音频信号的装置。图9中所示的装置不同于图8中所示的装置，不同之处在于用于产生3D信号的单元680被分成多通道解码器670和存储器675。参照图9，多通道解码器670将储存在多通道解码器670的未激活存储器中的3D信息拷贝到存储器675，并且存储器675使用3D信息进行3D表现操作。拷贝到存储器675中的3D信息可以用由代码转换器647输出的3D信息来更新。因此，能够使用需要的3D信息产生3D信号而不需要对多通道解码器670做任何修改。

本发明可以实现为写入到计算机可读记录介质上的计算机可读编码。该计算机可读记录介质可以是任何形式的记录设备，在所述记录设备中以计算机可读形式储存数据。计算机可读记录介质的示例包括ROM、RAM、CDROM、磁带、软盘、光学数据储存器和载波(例如，通过因特网的数据传输)。计算机可读记录介质可以分布在连接到网络的多个计算机系统上，从而计算机可读编码可以写入到其中并从其以分散的方式执行。用于实现本发明所需的函数式程序、编码和编码段可以很容易地为本领域普通技术人员认识。

其它应用包含在下面权利要求的范围内。

工业应用

本发明可以被应用到各种基于对象的音频解码处理中并且可以在通过为每个对象音频信号定位声像而重现对象音频信号的过程中提供生动的真实感。

Claims (35)

1.一种解码音频信号的方法，包括：

从输入的音频信号中提取缩混信号和基于对象的参数信息；

使用所述缩混信号和所述基于对象的参数信息产生对象音频信号；以及

通过把3D信息应用到所述对象音频信号产生具有三维(3D)效果的对象音频信号。

2.根据权利要求1所述的方法，其中所述3D信息是头部关联传输功能(HRTF)信息。

3.根据权利要求1所述的方法，进一步包括在数据库中储存所述3D信息。

4.根据权利要求1所述的方法，其中所述3D信息对应于包含在用于表现所述对象音频信号的控制数据中的索引数据。

5.根据权利要求4所述的方法，其中所述控制数据包括以下信息中的至少一种：通道间电平信息、通道间时间信息、位置信息以及所述通道间电平信息和所述时间信息的组合。

6.根据权利要求4所述的方法，进一步包括使用所述控制数据来表现所述对象音频信号。

7.根据权利要求1所述的方法，其中所述索引数据包含在默认混合参数信息中，而所述默认混合参数信息包含在所述基于对象的参数信息中。

8.一种解码音频信号的装置，包括：

分用器，用于从输入的音频信号中提取缩混信号和基于对象的参数信息；

对象解码器，用于使用所述缩混信号和所述基于对象的参数信息产生对象音频信号；以及

表现器，用于通过将3D信息应用到所述对象音频信号而产生具有3D效果的三维对象音频信号。

9.根据权利要求8所述的装置，进一步包括用于储存所述3D信息的3D信息数据库。

10.根据权利要求8所述的装置，其中所述3D信息是头部关联传输功能(HRTF)信息。

11.根据权利要求8所述的装置，其中所述3D信息对应于包含在用于表现所述对象音频信号的控制数据中的索引数据。

12.根据权利要求11所述的装置，其中所述控制数据包括以下信息中的至少一种：通道间电平信息、通道间时间信息、位置信息以及所述通道间电平信息和所述时间信息的组合。

13.一种解码音频信号的方法，包括：

从输入的音频信号中提取缩混信号和基于对象的参数信息；

通过转换所述基于对象的参数信息产生基于通道的参数信息；以及

使用所述缩混信号和所述基于通道的参数信息产生音频信号，并通过将3D信息应用到所述音频信号而产生具有3D效果的音频信号。

14.根据权利要求13所述的方法，进一步包括在数据库中储存所述3D信息。

15.根据权利要求13所述的方法，其中所述3D信息是HRTF信息。

16.根据权利要求13所述的方法，其中所述3D信息对应于包含在用于表现所述对象音频信号的控制数据中的索引数据。

17.根据权利要求16所述的方法，其中所述控制数据包括以下信息中的至少一种：通道间电平信息、通道间时间信息、位置信息以及所述通道间电平信息和所述时间信息的组合。

18.根据权利要求16所述的方法，进一步包括使用所述控制数据表现所述对象音频信号。

19.根据权利要求13所述的方法，进一步包括对所述缩混信号增加预定效果。

20.一种用于解码音频信号的装置，包括：

分用器，用于从输入的音频信号中提取缩混信号和基于对象的参数信息；

表现器，用于使用索引数据取回3D信息并输出所述3D信息；

代码转换器，用于使用所述基于对象的参数信息和所述3D信息产生基于通道的参数信息；以及

多通道解码器，用于使用所述缩混信号和所述基于通道的参数信息产生音频信号，并通过将3D信息应用到所述音频信号而产生具有3D效果的音频信号。

21.根据权利要求20所述的装置，进一步包括用于储存所述3D信息的3D信息数据库。

22.根据权利要求20所述的装置，其中所述3D信息数据库包含在所述表现器中。

23.根据权利要求20所述的装置，进一步包括效果处理器，用于对所述缩混信号增加预定效果。

24.根据权利要求20所述的装置，其中所述索引数据包含在用于表现所述对象音频信号的控制数据中。

25.根据权利要求24所述的装置，其中所述控制数据包括以下信息中的至少一种：通道间电平信息、通道间时间信息、位置信息以及所述通道间电平信息和所述时间信息的组合。

26.一种用于解码音频信号的装置，包括：

分用器，用于从输入的音频信号中提取缩混信号和基于对象的参数信息；

表现器，使用输入的索引数据取回3D信息并输出所述3D信息；

代码转换器，用于把所述基于对象的参数信息转换为基于通道的参数信息，把所述3D信息转换为基于通道的3D信息并输出所述基于通道的参数信息和所述基于通道的3D信息；以及

多通道解码器，使用所述缩混信号和所述基于通道的参数信息产生音频信号，并通过把所述基于通道的3D信息应用到所述音频信号而产生具有3D效果的音频信号。

27.根据权利要求26所述的装置，其中所述多通道解码器包括存储器，用于储存通常用来产生具有3D效果的音频信号的3D信息。

28.根据权利要求27所述的装置，其中用所述基于通道的3D信息来更新储存在所述存储器中的所述3D信息。

29.根据权利要求26所述的装置，其中所述索引数据包含在用于表现所述对象音频信号的混合控制数据中。

30.根据权利要求26所述的装置，其中所述基于通道的参数信息和所述基于通道的3D信息包括用于使所述基于通道的参数信息与所述基于通道的3D信息同步的索引信息。

31.一种用于编码音频信号的方法，包括：

通过缩混对象音频信号而产生缩混信号；

提取关于所述对象音频信号的信息，并基于所提取的信息产生基于对象的参数信息；以及

把索引数据插入到所述基于对象的参数信息中，所述索引数据是为了查找用于对所述对象音频信号建立3D效果的3D信息所需要的。

32.根据权利要求31所述的方法，进一步包括通过组合所述基于对象的缩混信号和插入了所述索引数据的所述基于对象的参数信息而产生比特流。

33.根据权利要求31所述的方法，其中所述3D信息是HRTF信息。

34.一种计算机可读介质，其中记录有程序，用于执行权利要求1到7中任何一项的方法。

35.一种计算机可读介质，其中记录有程序，用于执行权利要求1到7中任何一项的方法。

Images