CN102369573A

CN102369573A - 嵌入和提取辅助数据

Info

Publication number: CN102369573A
Application number: CN2010800116173A
Authority: CN
Inventors: F.M.J.德邦特; A.W.J.乌门; E.G.P.舒伊杰斯
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2009-03-13
Filing date: 2010-03-05
Publication date: 2012-03-07
Also published as: EP2406789A1; RU2011141451A; US20110311063A1; RU2531846C2; JP2012520481A; WO2010103442A1; KR20110138367A; TW201040941A; TWI501220B

Abstract

本发明提出了一种用于将辅助数据嵌入到压缩音频信号中的方法。这是通过用辅助数据代替压缩音频信号的至少一个频率子带中的最低有效位（LSB）来实现的。当利用辅助数据代替压缩子带信号的LSB位时，有效地修改了子带信号，导致不同的解码的输出。代替的与辅助数据相应的LSB位作为位流的一部分而输送，并且可以在解码器处容易地提取。通过这种方式，解码器获得可以用于解码器处的更高级的音频复现的辅助数据。尽管代替了频率子带的LSB位，压缩音频本身仍然维持良好的音频质量，因为LSB位对可听假象不产生贡献。

Description

嵌入和提取辅助数据

技术领域

本发明涉及嵌入辅助数据。本发明还涉及提取辅助数据。

背景技术

如ISO/IEC 23003-1:2007, MPEG环绕中所规定的MPEG环绕是一种利用空间图像的参数表示的多通道音频编码方案。由于其高的编码效率，MPEG环绕可以用来以后向兼容的方式将单声道/立体声编码器朝多通道扩展，这只需低的附加位率。MPEG环绕数据可以作为单独的流存储或发送或者嵌入到缩混数据的辅助数据部分中。为了将MPEG环绕数据作为核心编码器位流的部分而传输，核心编码器需要支持辅助数据嵌入。然而，存在通过蓝牙A2DP的高质量音频流送所必须的诸如例如子带编码（SBC）之类的许多缩混编码器，其并没有将辅助数据存储到位流中的能力。第7.3节中的MPEG环绕规范指出了称为“隐藏数据”的技术如何可以用来在位流中传输MPEG环绕数据。然而，该技术只能应用于编码为PCM的缩混。该技术基于以下假设：位流中的位在PCM数据与MPEG环绕数据之间共享。对于MPEG环绕数据的较高的位分配导致较低的音频质量，因为较少的位可用于编码音频信号。“隐藏数据”技术具有以下缺点：它不能用于压缩音频信号。

发明内容

本发明的目的是提供将辅助数据嵌入到压缩音频信号中，以及从压缩音频信号中提取辅助数据。本发明由独立权利要求限定。从属权利要求限定了有利的实施例。

本发明的一个方面提出了一种用于将辅助数据嵌入到压缩音频信号中的方法。这是通过用辅助数据代替压缩音频信号的至少一个频率子带中的最低有效位（LSB）来实现的。

当利用辅助数据代替压缩子带信号的LSB位时，有效地修改了子带信号，导致不同的解码的输出。代替的与辅助数据相应的LSB位作为位流的一部分而输送，并且可以在解码器处容易地提取。通过这种方式，解码器获得可以用于解码器处的更高级的音频复现的辅助数据。尽管代替了频率子带的LSB位，压缩音频本身仍然维持良好的音频质量，因为LSB位对潜在可听假象贡献最小。

在一个实施例中，要由辅助数据代替的LSB位基于心理声学准则而确定。作为LSB修改的结果的输出差异造成的主观影响通过应用心理声学准则控制可以修改的LSB位的位置和数量而最小化。于是，尽管代替了频率子带的LSB位，压缩音频本身仍然维持良好的音频质量，因为那些选择的LSB位并不对可听假象产生贡献。LSB位的分配通过采用编码器中使用的相同准则而在解码器中隐式地确定。解码器侧的LSB位分配的相似性可以事先在编码器处进行估计。因此，无需用于LSB位分配的附加指示信息，或者在编码器处使用的分配和解码器处的期望分配之间存在差异的情况下只需有限的附加指示信息以便指示这些差异。

在另一实施例中，要由辅助数据代替的LSB位的分配由嵌入到LSB位中的指示信息指示。在解码器侧，需要指示信息以识别构成辅助数据的LSB位的位置和数量。缺省分配给特定子带的固定数量的LSB位用来输送该指示信息。这些位被分配用于每帧。

在另一实施例中，使用SBC编码获得压缩音频信号。SBC编码对于辅助数据没有内在的支持。可以修改SBC编码以接受要在一个或多个子带信号的LSB位中输送的辅助数据。换言之，利用辅助数据代替LSB位变成音频压缩的一部分。通过这种方式，SBC编码器可以创建拥有辅助数据的位流。LSB位分配可以随时间变化以便高效地使用频率子带，使得分配的LSB位不对潜在的可听假象产生贡献。可替换地，利用辅助数据代替LSB位可以在编码之后作为后处理步骤而执行。应当清楚的是，得到的SBC位流与现有的SBC解码器兼容。

在另一优选的实施例中，辅助数据包括要用于处理解码的压缩音频信号的数据。这允许改变音频信号的特性的附加处理，诸如解码的压缩音频信号的后处理，比如参数控制虚拟化处理。

在另一实施例中，辅助数据包括MPEG环绕数据。

MPEG环绕缩混使用例如SBC编码器来编码。MPEG环绕数据也输入到SBC编码器并且在SBC编码的缩混信号的一个或多个子带信号的LSB位中输送。在传输和/或存储得到的位流之后，SBC解码器解码立体缩混并且提取MPEG环绕数据。MPEG环绕解码器将立体缩混和MPEG环绕数据组合成多通道音频信号。

本发明的另一个方面提供了一种用于从输入压缩音频信号中提取辅助数据的方法。应当理解的是，上面描述的特征、优点、评论等等同样适用于本发明的这个方面。

本发明进一步提供了一种嵌入设备和提取设备以及包括依照本发明的提取设备的解码器。

本发明的这些和其他方面、特征和优点根据下面描述的实施例将是清楚明白的并且将参照所述实施例进行阐述。

附图说明

图1示出了依照本发明的用于将辅助数据嵌入到压缩音频信号中的方法的实施例的流程图；

图2示出了用辅助数据代替压缩音频的至少一个频率子带中的LSB位的实例；

图3示出了用于将辅助数据嵌入到压缩音频信号中的方法的实施例的流程图，该压缩音频信号被修改以便通过嵌入到LSB位中的指示信息指示要由辅助数据代替的LSB位的分配；

图4示意性地示出了依照本发明的用于将辅助数据嵌入到压缩音频信号中的嵌入设备的实例；

图5示意性地示出了用于从输入压缩音频信号中提取辅助数据的提取设备的实例；

图6示出了用于解码输入压缩音频信号的解码器的实例，其包括依照本发明的提取设备。

具体实施方式

图1示出了依照本发明的用于将辅助数据嵌入到压缩音频信号中的方法的实施例的流程图。该方法包括用辅助数据代替压缩音频的至少一个频率子带中的LSB位的步骤101。压缩音频信号可以由SBC、AAC、MP3或HE-AAC编码器获得。压缩音频信号包括至少一个频率子带。在这里，频率子带指的是例如SBC提供的滤波器组子带表示以及例如AAC提供的变换表示。通常，来自子带滤波器的子带称为子信号，而来自变换的子带称为频率系数。应当指出的是，两种情况下的LSB位都指量化频谱系数的位。辅助数据可以是任何类型。然而，优选地它应当包括与可以用来提高压缩音频的空间音频质量的空间音频信息有关的数据。这种辅助数据的一个实例是例如格式化成与ISO/IEC 23003-1:2007, MPEG环绕的第7.3.2节中规定的类似的数据结构的MPEG环绕数据。可替换地，辅助数据可以包括例如谱带复制数据、参数立体声数据、诸如定时信息或响度级之类的元数据或者允许解码器侧的交互混合的空间音频对象编码数据。

图2示出了用辅助数据代替压缩音频的至少一个频率子带中的LSB位的实例。在图2中，绘出了压缩音频信号的一个实例。这样的压缩音频信号可以由具有以下配置参数的SBC编码器获得：采样频率48kHz，立体声通道模式，8个子带以及块长4。图110与左通道音频相应，而图120与右通道音频相应。对于每个通道，分别绘出了用于左通道和右通道的六个子带111-116和121-126。出于表示清楚的原因，仅仅绘出了六个子带（而不是规定的八个子带），因为在当前实例中没有位分配给其余的子带。用于左通道音频110的第一子带111的压缩音频信号需要规定的4位的块长和5位的块宽，导致20个位。应当指出的是，块长与子带中的子带样本数相应。子带112需要规定的4位的块长和4位的块宽，导致16个位。同时，对于子带113、114和115，分别需要12位、8位和8位。类似地，对于右音频通道120，子带121、122、123、124、125分别需要16位、16位、8位、8位和8位。如本发明所规定的，一些子带的LSB位可以用于嵌入辅助数据。这些位在图2中标记为灰色。因此，子带111中的8个LSB位、子带112中的4个LSB位、子带113中的4个LSB位和子带114中的4个LSB位用于嵌入辅助数据。嵌入辅助数据在这里表示利用辅助数据代替指明的LSB位。尽管要利用辅助数据代替的LSB位的分配在子带中是变化的，但是同样可能的是使用固定的LSB位分配。变化的LSB位分配的优点在于，该位分配可以适应压缩音频中的实际音频内容以便不损害音频质量。通过在频率子带上变化LSB位分配，可以控制子带内的代替的LSB位产生的失真。LSB位分配的控制允许在频谱域中对失真定形，使得失真保持被掩盖。

在一个实施例中，要由辅助数据代替的LSB位基于心理声学准则来确定。该心理声学准则具有以下目标：选择用于利用辅助数据代替的子带和LSB位，对于该辅助数据，预期对于感知的影响最小。该心理声学准则可以例如通过在子带表示的网格上确定原始音频信号的掩盖曲线来实现。这样的掩盖曲线指示可以在每个频带中添加多少噪声。其中可以添加大多数噪声的频带例如被选择用于嵌入辅助数据。可替换地，该准则可以进一步通过将使用例如SBC编码而编码的压缩音频信号的失真与确定的掩盖曲线进行比较而改进。因此，要由辅助数据代替的LSB位可以被选择成使得与掩盖曲线相比，总体失真（包括SBC编码的量化以及将辅助数据嵌入到子带的LSB位中）在所有子带上近似相等。将SBC编码与辅助数据嵌入相组合是有利的，因为它允许最小化辅助数据嵌入对感知音频质量的影响。如果压缩音频信号是预编码的信号，例如SBC位流，那么较高的频率已经被粗量化，从而给嵌入辅助数据留下很少的空间。然而，如果将辅助数据的嵌入与使用例如SBC编码的音频信号的压缩相组合，那么存在用于嵌入辅助数据的空间，其优选地由编码和嵌入参数控制。

图3示出了用于将辅助数据嵌入到压缩音频信号中的方法的实施例的流程图，该压缩音频信号被修改以便通过嵌入到LSB位中的指示信息指示要由辅助数据代替的LSB位的分配。该方法包括用辅助数据代替压缩音频的至少一个频率子带中的LSB位的步骤101。步骤102包括嵌入指示信息以指示压缩音频信号中要由辅助数据代替的LSB位的分配。该指示信息类似于嵌入到压缩音频信号的LSB位中的辅助数据。尽管步骤102在步骤101之后，但是这两个步骤的顺序可以互换。

指示信息可以例如以预定数量（例如16位）包含在帧中第一子带的LSB位的预定固定位置处。可替换地，可以采用ISO/IEC 23003-1:2007, MPEG环绕的第7.3.2节中描述的方法以指示包括具有嵌入的辅助数据的压缩音频信号的位流中的指示信息。

在另一实施例中，使用SBC编码获得压缩音频。SBC编码提供了相对较高的位率的可能性，从而允许更多空间用于嵌入辅助数据。此外，对于SBC编码而言，需要较少的注意以确保不出现可听假象（例如可以使用简化的心理声学模型）。SBC作为各种通信设备（例如电话或者汽车无线电）之间的通信编解码器也变得越来越流行。

然而，紧跟在SBC编码之后，可以使用任何其他的变换或子带编码。尤其是不支持辅助数据的属于该类别的编码技术可以受益于依照本发明的辅助数据的嵌入。

在另一实施例中，辅助数据包括要用于处理解码的压缩音频信号的数据。如前面所指出的，辅助数据优选地应当包括与可以用来提高压缩音频的空间音频质量的空间音频信息有关的数据。这种辅助数据的一个实例是例如格式化成与ISO/IEC 23003-1:2007, MPEG环绕的第7.3.2节中规定的类似的数据结构的MPEG环绕数据。相同规范的第6节描述了如何采用MPEG环绕数据以便从单声道或立体声缩混信号和MPEG环绕数据创建多通道或双耳音频信号。

在将包括MPEG环绕数据的辅助数据嵌入到包括SBC编码音频PCM样本的压缩音频信号中的情况下，需要多个SBC帧以用于嵌入包含在一个MPEG环绕帧中的MPEG环绕数据。假设除了块长现在为16之外，如针对图2所描述的使用了SBC配置。这导致SBC帧长8 x 16（=128）子带样本，其中8为子带数，并且16为块长。MPEG环绕数据的帧长为1024个PCM样本，其与SBC帧的1024个子带样本相应。假设依照MPEG环绕标准编码的1024个PCM帧导致888位。此外，假设需要72位以用于编码指示信息。因此，需要8个SBC帧以容纳辅助数据的888位和指示信息的72位。为了高效地使用可用的位，将8个SBC帧分组成4个具有2个SBC帧的组。对于每个具有2个帧的组，使用指示信息。因此，对于二通道和用于每个通道的4组，使用总共8个单位的指示信息。对于具有比指示信息中指示的数量更少的可用于子带样本的位的子带而言，这两个值中的最小值用于辅助数据在子带中的实际嵌入。假设如图2中绘出的子带样本用于每个通道的8个SBC帧。此外，假设使用分配2、1、0和1位用于左通道，并且使用分配1、0、1和0用于右通道。分配2位用于左通道意味着对于具有2个SBC帧的第一组而言，将每子带2位分配给辅助数据。这导致2（对于2个SBC帧）x 5（对于5个子带）x 16（对于块长）x 2（对于每个子带中分配的位）=320位可用于辅助数据。随后，每通道分配1位导致160位可用于辅助数据。

这继而对于左通道的2、1、0、1位分配以及右通道的1、0、1、0位分配而言，导致总共960位，这些位足以容纳实际所需的888位的辅助数据。

图4示意性地示出了依照本发明的用于将辅助数据202嵌入到压缩音频信号201中的嵌入设备200的实例。嵌入设备200包括分配电路210，该分配电路用于基于提供给电路210的心理声学准则203确定利用辅助数据代替的LSB位分配。这种准则203的一个实例是所有子带上关于掩盖阈值的嵌入数据的能量最小化。嵌入设备200进一步包括代替电路220，该代替电路利用辅助数据202代替压缩音频信号201中的由分配电路210分配的LSB位，导致输出压缩音频信号204。

应当清楚的是，当LSB位分配固定时，分配电路210是多余的，并且无需包含在嵌入设备200中。然而，在这种情况下，该固定LSB位分配应当传送到解码器侧以便允许在解码器侧从压缩音频信号204中正确地提取辅助数据202。

本发明的另一方面是一种用于从输入压缩音频信号中提取辅助数据的方法，该方法的特征在于，从输入压缩音频的至少一个频率子带的LSB位中提取辅助数据。基本上，该提取方法是嵌入方法的逆方法。基于固定的或适应性的向辅助数据的LSB位分配，从已经依照本发明嵌入了辅助数据的输入压缩音频中检测并且提取辅助数据。

用于将辅助数据嵌入到压缩音频信号中的方法的优选实施例同样适用于从输入压缩音频信号中提取辅助数据的方法。

图5示意性地示出了用于从输入压缩音频信号304中提取辅助数据302的提取设备300的实例。输入压缩音频信号304与压缩音频信号204相应，该压缩音频信号204被修改成具有嵌入到压缩音频信号201的至少一个频率子带中的LSB位中的辅助数据202。提取设备300包括分配-提取电路310，该分配-提取电路用于提取LSB位到辅助数据302的分配。分配-提取电路310确定的分配馈送到提取电路320中，该提取电路基于该分配从输入压缩音频信号304中提取辅助数据302。

应当清楚的是，当LSB位分配固定时，分配-提取电路310是多余的并且无需包含在提取设备300中。然而，在这种情况下，该固定LSB位分配应当传送到提取设备侧以便允许从输入压缩音频信号304中正确地提取辅助数据302。

图6示出了用于解码输入压缩音频信号304的解码器700的实例，其包括依照本发明的提取设备。解码器700包括用于提取辅助数据的提取设备300。此外，解码器700包括用于解码输入压缩音频信号的第一解码器400以及用于组合第一解码器400的输出信号301和辅助数据302的处理电路500。特别地，处理电路500可以包括第二解码器，其将第一解码器400的输出信号301和辅助数据302解码成多通道音频信号、双耳音频信号或者任何其他适当的音频信号。第一解码器400的一个实例是SBC解码器。第二解码器500的一个实例是MPEG环绕解码器。第二解码器接收单声道或立体声信号301以及MPEG环绕数据302。然后，它将单声道或立体声信号301再现为多通道信号620或者如MPEG环绕数据所规定的双耳音频信号610。优选地，在作为辅助数据嵌入到压缩音频信号中之前，MPEG环绕数据被随机化。ISO/IEC 23003-1:2007, MPEG环绕的第7.3.4.2节中规定了MPEG环绕数据的随机化。

本发明也可以应用于译码，例如从其中使用所谓的辅助数据通道将MPEG环绕数据嵌入到位流中的HE-AAC/MPEG环绕译码成其中使用本发明嵌入MPEG环绕数据的SBC/MPEG环绕。

尽管已经结合一些实施例描述了本发明，但是本发明并不预期限于本文阐述的特定形式。相反地，本发明的范围仅由所附权利要求书限制。此外，虽然特征可能看起来结合特定实施例而被描述，但是本领域技术人员将认识到，依照本发明可以组合所描述的实施例的各种特征。在权利要求书中，措词“包括/包含”并没有排除其他元件或步骤的存在。

此外，尽管单独地被列出，但是多个电路、元件或方法步骤可以由例如单个单元或处理器实现。此外，尽管单独的特征可以包含于不同的权利要求中，但是这些特征可能地可以有利地加以组合，并且包含于不同的权利要求中并不意味着特征的组合不可行和/或不是有利的。此外，特征包含于一种权利要求类别中并不意味着限于该类别，而是表示该特征同样可适当地应用于其他权利要求类别。此外，单数引用并没有排除复数。因此，对于“一”、“一个”、“第一”、“第二”等等的引用并没有排除复数。权利要求中的附图标记仅仅作为澄清的实例而被提供，不应当以任何方式被解释为限制了权利要求的范围。本发明可以通过包含若干不同元件的硬件电路以及通过经过适当编程的计算机或其他可编程设备的电路实现。

Claims

1.一种用于将辅助数据（202）嵌入到压缩音频信号（201）中的方法，特征在于，用辅助数据代替压缩音频信号的至少一个频率子带（111，112，113，……）中的LSB位。

2.依照权利要求1的方法，其中要由辅助数据（202）代替的LSB位基于心理声学准则而确定。

3.依照权利要求1的方法，其中由辅助数据（202）代替的LSB位的分配由嵌入到LSB位中的指示信息指示。

4.依照权利要求1的方法，其中使用子带编码的编码获得压缩音频信号（201）。

5.依照权利要求1的方法，其中辅助数据（202）包括要用于处理解码的压缩音频信号的数据。

6.依照权利要求1的方法，其中辅助数据包括MPEG环绕数据。

7.一种用于将辅助数据（202）嵌入到压缩音频信号（201）中的嵌入设备（200），特征在于，该嵌入设备包括代替电路（220），该代替电路用于产生其中压缩音频信号的至少一个频率子带中的LSB位被辅助数据代替的输出压缩音频信号。

8.一种用于从输入压缩音频信号（304）中提取辅助数据（302）的方法，特征在于，从输入压缩音频信号的至少一个频率子带的LSB位中提取辅助数据。

9.依照权利要求8的方法，其中LSB位中辅助数据（302）的分配由嵌入到LSB位中的指示信息指示。

10.依照权利要求8的方法，其中辅助数据（302）包括要用于处理解码的压缩音频信号的数据。

11.依照权利要求10的方法，其中辅助数据（302）包括MPEG环绕数据。

12.一种用于从输入压缩音频信号（304）中提取辅助数据（302）的提取设备（300），特征在于，该提取设备包括提取电路（320），该提取电路用于从输入压缩音频信号的至少一个频率子带的LSB位中提取辅助数据。

13.一种用于解码输入压缩音频信号（304）的解码器（700），该解码器（700）包括：

- 依照权利要求12的用于提取辅助数据的提取设备（300）；

- 用于解码输入压缩音频信号的第一解码器（400）；以及

- 用于组合第一解码器的输出信号和辅助数据的处理电路（500）。

14.依照权利要求13的解码器（700），其中处理电路（500）包括第二解码器，该第二解码器用于将第一解码器的输出信号和辅助数据解码成多通道音频信号与双耳音频信号之一。