CN101185121B

CN101185121B - 使用扩频并利用水印数据给视频或音频信号加水印的方法和设备

Info

Publication number: CN101185121B
Application number: CN2006800188921A
Authority: CN
Inventors: 彼得·乔治·鲍姆; 沃尔特·弗斯辛
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2005-06-02
Filing date: 2006-05-03
Publication date: 2011-05-11
Anticipated expiration: 2026-05-03
Also published as: WO2006128769A3; EP1729285A1; WO2006128769A2; DE602006001749D1; TW200644457A; EP1886305A2; EP1886305B1; US20090235079A1; JP2008546292A; CN101185121A

Abstract

水印信息(表示为WM)包括使用扩频而连续嵌入在音频或视频信号中的多个符号。在解码器端，使用接收信号与序列的相关来重新获得WM。根据本发明，不仅水印是依据音频或视频信号电平(PAS)的，用于水印的扩频序列也依据音频或视频信号电平。这意味着，由多个不同的扩频序列(NSS)对相同的WM符号进行编码。编码器测试(DEC)在解码器处可最佳重新获取这些WM符号或序列中的哪个，并在要添加水印的音频或视频信号中嵌入所选的扩频序列WM。在解码器端，将所有候选的WM扩频序列与接收信号进行相关，并且将具有最佳匹配的扩频序列选择作为正确序列。

Description

使用扩频并利用水印数据给视频或音频信号加水印的方法和设备

技术领域

本发明涉及一种使用扩频和多于一个扩频序列并利用水印数据给视频或音频信号加水印的方法和设备。

背景技术

水印信息(表示为WM)包括连续地嵌入在例如(编码的)音频或视频信号等载体内容中的多个符号，以便识别信号的创造者。例如，如果将扩频用作基本技术，则通过使用接收信号与已知扩频序列的相关，在解码器端重新获得WM。在一些水印技术中，异步地传输水印信息，即，连续地测试是否可以不被察觉地将WM嵌入在(编码的)音频或视频信号中。仅在情况的确如此时，才传输WM帧。但是，WM帧包含几十个符号，每个符号载有同步传输的一个或多个比特。这意味着，如果可以嵌入WM的时间段比帧长度短，则一些符号在接收机端无法恢复。

因此，多数WM技术传输冗余比特用于纠错。但是，这种纠错仅具有有限的能力。如果在接收机端不能够直接恢复一个或多个符号，则纠错可以纠正一些符号。但是，如果超过了纠错能力，则不能够恢复WM。

其次，附加的冗余比特增加了WM帧的长度，这使得帧比可传输WM帧的信号长度或部分长的可能性更高。第三，纠错大多数与要加水印的信号无关，由于所需的校验位，对于“好”信号，这导致低于所需净比特率，而对于“差”信号，仍然不足以纠错。“好”信号可在解码器端被恢复，则“差”信号不能够被恢复。

WO-A-01/06755示出了依据能量等级的水印数据插入。

WO-A-03/103273描述了一种系统，其中，不同水印信号与多媒体信号的独立信道相组合。

发明内容

向音频内容加水印可通过给音频信号添加频谱整形的扩频信号来实现。一个问题在于，对于一些音频信号，即使在WM嵌入器和WM解码器之间受到攻击的情况下，也无法重新获取并解码扩频。在编码器端知道由于当前存在关键的声音信号(例如语音信号中的静音时段或暂停、或视频信号中的均匀亮度级区域)，解码器不能够对当前WM进行解码的情况下，将增加WM的等级，但是在这种情况下，WM信号会变得可听见或可看见。

本发明要解决的问题是提高水印添加的可靠性，而不使它可听见或可看见，并且不依赖于解码器端的水印信号纠错。该问题由权利要求1和2所公开的方法解决。权利要求3和4公开了使用该方法的设备。

根据本发明，不仅水印是依据音频或视频信号电平的，用于水印的扩频序列也依据音频或视频信号电平。这基本上意味着，用多个不同的扩频序列来编码相同的WM符号。编码器测试在解码器中可最佳重新获取的这些WM符号或序列中的一个，并将所选的扩频序列WM嵌入要加水印的音频或视频信号。在解码器端，将所有的候选WM扩频序列与接收信号进行相关，并且将具有最佳匹配的扩频序列选作正确序列。

本发明使得关键声音或图像信号的水印添加更加鲁棒，这可以区分接收到WM信号和没有接收到WM信号。上述编码器中执行的测试消耗更多的处理能力，因为要计算多个相关。但是有利地，这并不一定增加解码器端的复杂度和所需处理能力。

本发明并不局限于使用扩频技术。而是，例如，可将基于载波的技术或回波隐藏(echo hiding)技术用于水印添加编码和解码。

原理上，本发明的方法适用于使用扩频并利用水印数据来给音频或视频信号加水印，所述方法包括以下步骤：

a)利用水印数据比特对第一候选编码器扩频序列进行调制，以获得调制水印信号；

b)确定所述音频或视频信号的当前掩蔽电平，并对所述调制水印信号进行相应的心理声学或心理视觉整形；

c)在所述音频或视频信号中嵌入所述心理声学或心理视觉整形的水印信号；

d)对包括所述嵌入水印信号的所述音频或视频信号进行频谱白化；

e)使用相关对包括所述嵌入水印信号的所述频谱白化的音频或视频信号进行解扩和解调，以获得第一候选水印信号；

-使用不同的候选解码器扩频序列，重复步骤a)至e)一次或多次；

-确定哪一个相关结果产生最佳匹配，并输出利用相应的候选编码器扩频序列加了水印的加水印音频信号。

或者，本发明的方法适用于使用扩频并利用水印数据给音频或视频信号加水印，所述方法包括以下步骤：

-利用水印数据比特对第一和至少第二候选编码器扩频序列进行调制，以获得相应调制的水印信号；

-确定所述音频或视频信号的当前掩蔽电平，并对所述调制水印信号进行相应的心理声学或心理视觉整形；

-在所述音频或视频信号中嵌入所述心理声学或心理视觉整形的水印信号，产生相应个数的音频或视频信号；

-对所述音频或视频信号进行频谱白化，每一个所述音频或视频信号均包括所述相应的嵌入水印信号；

-使用相关对包括所述相应的嵌入水印信号的所述频谱白化的音频或视频信号进行解扩和解调，以获得第一和至少第二候选水印信号；

-确定哪一个相关结果产生最佳匹配，并输出利用相应的候选编码器扩频序列加了水印的加水印音频或视频信号。

原理上，本发明的设备适用于使用扩频并利用水印数据给音频或视频信号加水印，所述设备包括：

a)装置，用于利用水印数据比特对第一候选编码器扩频序列进行调制，以获得调制水印信号；

b)装置，用于确定所述音频或视频信号的当前掩蔽电平，并对所述调制水印信号进行相应的心理声学或心理视觉整形；

c)装置，用于在所述音频或视频信号中嵌入所述心理声学或心理视觉整形的水印信号；

d)装置，用于对包括所述嵌入水印信号的所述音频或视频信号进行频谱白化；

e)装置，用于使用相关对包括所述嵌入水印信号的所述频谱白化的音频或视频信号进行解扩和解调，以获得第一候选水印信号；

装置a)至e)使用不同的候选解码器扩频序列，重复进行处理一次或多次；

-装置，用于确定哪一个相关结果产生最佳匹配，并输出利用相应的候选编码器扩频序列加了水印的加水印音频或视频信号。

或者，本发明的设备适用于使用扩频并利用水印数据给音频或视频信号加水印，所述设备包括：

-装置，用于利用水印数据比特对第一和至少第二候选编码器扩频序列进行调制，以获得相应调制的水印信号；

-装置，用于确定所述音频或视频信号的当前掩蔽电平，并对所述调制水印信号进行相应的心理声学或心理视觉整形；

-装置，用于在所述音频或视频信号中嵌入所述心理声学或心理视觉整形的水印信号，产生相应个数的音频或视频信号；

-装置，用于对所述音频或视频信号进行频谱白化，每一个所述音频或视频信号均包括所述相应的嵌入水印信号；

-装置，用于使用相关来对包括所述相应的嵌入水印信号的所述光谱增白的音频或视频信号进行解扩和解调，以获得第一和至少第二候选水印信号；

在各个从属权利要求中公开了本发明的其他优选实施例。

附图说明

参考附图来描述本发明的示范性实施例，附图示出了：

图1示出了公知的水印编码器；

图2示出了水印解码器；

图3示出了帧的组成；

图4示出了在编码器中使用第一扩频序列对频域中的单根线进行的公知WM嵌入；

图5示出了解码器中由于第一扩频序列的公知应用而产生的白化的编码器输出信号和解码的水印；

图6示出了在编码器中使用第二扩频序列对频域中的单根线进行的WM嵌入；

图7示出了解码器中由于第二扩频序列的应用而产生的白化的编码器输出信号和解码的水印；

图8示出了根据本发明的水印编码器。

具体实施方式

水印的最小自包含单元称为帧。图3示出了三个连续帧FR_n-1、FR_n和FR_n+1。帧包括：为在解码器端检测帧的开始而需要的多个同步块SYNBL(至少一个同步块)、以及载有实际信息的多个有效载荷块PLBL(至少一个有效载荷块或符号)。依据所用技术，在音频或视频流中同步或异步地插入帧。有效载荷块的插入是连续地进行，即在SYNBL块之后是同步的。每个有效载荷块保持一比特或多比特信息。因此，有效载荷块也被称作符号。有效载荷符号包括要插入WM信号中的信息，并可选地包含用于纠错的冗余信息。例如，典型设置是每一帧具有5个同步块和36个有效载荷块，每个有效载荷块载有2比特，这72个比特中的24个用于纠错，因而每个帧有48比特的净有效载荷。

在图1的水印添加编码器中，将用于对音频(或视频)信号AS加水印的有效载荷数据PLD输入纠错和/或检测编码级ECDE，ECDE级添加便于在解码器中从错误的检测符号中恢复的冗余比特。在下游的调制扩频级MS中，执行调制和扩频。级MS的输出信号被馈入心理声学整形级PAS，PAS级对WS信号进行整形，以使WM相对于音频信号AS的当前电平是不能够被听到的，并将其输出信号馈入信号求和和判决级SAD以及解码器级DEC。在级PAS中，根据心理声学原理，逐块地对水印进行整形，即，不同符号之间的水印和音频能量之比可以不同。该整形表示水印信号乘以音频信号的掩蔽电平。

解码器级DEC实现根据图2的解码器。级PAS和SAD每个均接收音频(或视频)流信号AS，并逐个符号地处理WM帧。级SAD确定在解码器DEC中是否针对当前WM帧FR_n正确地对有效载荷数据PLD进行了解码。如果是，将心理声学整形的WM符号添加到当前帧中。如果否，则忽略当前帧FR_n中的当前符号。其后，继续对当前符号之后的下一符号进行处理。在完成了针对WM帧的处理之后，输出嵌入在音频信号中的相应的添加了水印的帧WAS。其后，针对当前帧之后的帧FR_n+1继续进行处理。

在图2的水印添加解码器中，音频(或视频)信号的添加了水印的帧WAS通过频谱白化级SPW(对级PAS中进行的整形进行逆转)以及解扩和解调级DSPDM，解扩和解调级DSPDM从信号WAS中重新获取所嵌入的WM符号数据。WM符号被传递到纠错和/或检测和解码级ECDD，级ECDD输出有效载荷数据PLD。

通过使用两个水印序列的示例来解释本发明的基本原理，其中一个水印序列是另一个的负版本。编码器的输出信号r是音频信号w和经可选整形的水印扩频序列w之(矢量)和：

r₁＝w+w。

通常在时域进行该加法，但是在数学上等效于频域的如下加法：r₁＝F^-1(F(a)+F(w))，其中f()表示傅立叶变换，F^-1()表示傅立叶逆变换。

在解码器端，通过将白化的编码器输出信号(同时可能由于一些噪声或攻击而改变)与已知扩频序列进行相关来重新获得水印。如果解码器输出信号与扩频序列相同，则实现了最佳的相关结果。

图4示出了在编码器端，针对在频域具有虚部方向IM和实部方向RE的单根频谱线，给音频(或视频)信号AS添加水印信号矢量WM。编码器输出信号EOS具有与音频信号AS几乎相同的角度α，因为音频信号的幅度远大于水印信号。图中以显著放大多的方式示出了水印信号WM。级PAS中的心理声学整形所产生的水印信号的实际幅度等级比音频信号的幅度等级低大约20dB至70dB。

图5示出了频域中单根频谱线的解码。在解码器端，作为输出信号接收“产生的信号”。通过“白化”或逆转心理声学整形，将其标准化为适当的幅度。“白化”意味着对音频帧的每个接收频谱值的幅度进行倍乘或放大，以使所有音频信号幅度(其中嵌入了水印信号)在帧中具有相同的值。因此，音频信号本身严重失真，但是所产生的效果是，水印信号频谱值的幅度具有与其原始幅度值基本对应的值。

在该示例中，所接收的解码器输入信号的幅度减小。然而，由于所嵌入的水印信号部分远小于音频信号部分，所以逆转整形或白化实际上仅取决于音频信号的幅度，即在白化或逆转心理声学整形之后“输入信号”的幅度，而与水印信号的幅度无关。

由于白化的编码器输出信号WEOS与水印信号矢量WM之间的角度β接近′π′，即更接近′π′而不是′0′，所以解码器中的相关指示出，对于该线，在编码器中插入了负或取反的扩频序列，但是，实际上在编码器中使用了正扩频序列。

图6再次示出了在编码器端，针对单根频谱线，给音频(或视频)信号AS嵌入水印信号，这与图4类似，但是这次利用了图4的水印信号或序列WM的负或取反的水印信号或序列WM。

图7再次示出了在频域中针对单根频谱线的解码。由于白化的编码器输出信号WEOPS与水印信号矢量WM之间的角度β更接近′0′而不是′π′，所以解码器中的相关在该情况下正确地识别出负或取反的水印信号值。

在图8的使用信号自适应扩频序列的本发明解码器的流程图中，将要用于给音频或视频信号AS加水印的有效载荷数据PLD输入纠错和/或检测编码级ECDE。在下游的调制和扩频级MS中，执行调制和扩频。将级MS的输出信号馈入心理声学或心理视觉整形级PAS，级PAS对MS输出信号进行整形，以使WM相对于音频或视频信号AS的当前电平听不见或看不见，并且将其输出信号馈入信号求和级SA。根据心理声学或心理视觉原理，在级PAS中，逐块地对水印进行整形，即不同符号之间的水印和音频能量之比可能不同。该整形表示水印信号乘以音频或视频信号的掩蔽电平。级PAS和SAD每个均接收音频或视频流信号AS，并逐个符号地对WM帧FR_n进行处理。

使用以下级来对添加了水印的音频或视频信号的可正确解码性进行测试。音频或视频信号的添加了水印的候选帧CWAS通过频谱白化级SPW(对级PAS中进行的整形进行逆转)和解扩和解调级DSPDEM，解扩和解调级DSPDEM从信号CWAS中重新获取所嵌入的候选WM符号数据。候选WM符号数据被传递到判决级DEC。该级可使用下一扩频序列NSS来控制级MS至DSPDEM中处理的重复。可选地，可与级MS至DSPDEM并行地使用并处理候选扩频序列。在将所有候选的扩频序列应用于当前帧之后，级DEC判决在解码器中可最佳或正确地恢复哪个扩频序列，即哪个在相关中给出的清晰的峰值。最后，级DEC输出相应选择的添加了水印的有效音频或视频信号帧WAS。

给出另一示例来解释本发明。由于音频信号的相位很容易由于混响(reverberation)或有意攻击而改变，所以WM信号的BPSK调制不是非常鲁棒的。更好的方式是使用例如两个不同的m序列，其中一个用于对二进制0进行编码(m_0)，另一个用于对二进制1进行编码(n_0)。WM解码器将接收的音频与两个m序列进行相关，并选择有关相关结果给出了最佳匹配的二进制值。

在这种情况下，例如，本发明的编码器使用四个不同的序列，两个用于对二进制0进行编码(m_0和m_1)，两个用于对二进制1进行编码(n_0和n_1)。一种实现方式是使用两个不同的m序列(m_0和n_0)，并通过相移而产生其它剩余序列，即n_1＝(-1)*n_0和m_1＝(-1)*m_0。另一种实现方式是使用四个不同的m序列。

例如，如果要对二进制0进行编码，则已知的编码器可以仅使用m_0。

然而，本发明的编码器向音频信号添加了m_0的整形版本，将其和与m_0进行相关，存储相关结果，并还向音频添加了m_1的整形版本，将其和与m_1进行相关，并存储相关结果。然后，判决算法选择具有最佳相关结果的序列。最终该序列被用于当前水印信号帧的编码。

有利地，如果每个值仅使用两个序列，且一个序列是另一个序列的负或取反的版本，则不需要改变针对经改进水印的解码器。对于相同的二进制值，相关有时仅给出了负的峰值，而有时给出了正的峰值。因此，必须考虑相关的绝对值。

否则，解码器将所有m序列与接收的添加了水印的音频信号进行相关。如果m_k序列之一是最佳匹配，则检测到二进制0，否则检测到二进制1。

本发明使得水印添加更加鲁棒，可区分没有接收到水印和接收到水印。测试示出了，在使用本发明时，在每个二进制值使用两个不同的m序列时，相关的峰值可信度提高了50％，从32％增加到48％(0％意味着相关中没有峰值，而100％意味着完美匹配)。

代价是需要更多的处理能力。编码器必须对多个序列进行整形并进行计算以便判决哪个最佳。但是，如果利用不同的WM有效载荷对相同的音频信号进行多次水印添加，例如，在水印Academy Screener中，则关于使用哪个序列的判决可仅进行一次，其后存储以便在后续的编码中使用。

如果对于每个二进制值仅使用两个序列，则完全不需要改变解码器。否则，解码器必须计算更多的相关。在Academy Screener场景中，由于非常随机而非实时地进行解码，所以这是无关的。

Claims

1.一种使用扩频并利用水印数据(PLD)来给音频或视频信号(AS)加水印的方法，包括以下步骤：

a)利用水印数据比特对第一候选编码器扩频序列进行调制(MS)，以获得调制水印信号；

b)确定所述音频或视频信号的当前掩蔽电平，并对所述调制水印信号进行相应的心理声学或心理视觉整形(PAS)；

c)在所述音频或视频信号中嵌入(SA)所述心理声学或心理视觉整形的水印信号；

d)对包括嵌入的水印信号的所述音频或视频信号进行频谱白化(SPW)；

e)使用相关对包括嵌入的水印信号的所述频谱白化的音频或视频信号进行解扩和解调(DSPDEM)，以获得第一候选水印信号；

-使用不同的候选编码器扩频序列，重复步骤a)至e)一次或多次；

-确定(DEC)哪一个相关结果产生最佳匹配，并输出利用相应的候选编码器扩频序列加了水印的加水印音频或视频信号(WAS)。

2.一种使用扩频并利用水印数据(PLD)给音频或视频信号(AS)加水印的方法，所述方法的特征在于以下步骤：

-利用水印数据比特对第一和至少第二候选编码器扩频序列进行调制(MS)，以获得相应的调制水印信号；

-确定所述音频或视频信号的当前掩蔽电平，并对所述调制水印信号进行相应的心理声学或心理视觉整形(PAS)；

-在所述音频或视频信号中嵌入(SA)所述心理声学或心理视觉整形的水印信号，产生相应个数的音频或视频信号；

-对所述音频或视频信号进行频谱白化(SPW)，每一个所述音频或视频信号均包括相应的嵌入的水印信号；

-使用相关对包括相应的嵌入的水印信号的所述频谱白化的音频或视频信号进行解扩和解调(DSPDEM)，以获得第一和至少第二候选水印信号；

3.根据权利要求1或2所述的方法，其中，在所述调制(MS)之前对水印数据(PLD)执行纠错和/或检测编码(ECDE)。

4.根据权利要求1或2所述的方法，其中，在所述调制(MS)和所述解扩和解调(DSPDEM)中分别使用两个不同的候选编码器扩频序列，一个候选编码器扩频序列是另一个候选编码器扩频序列的负或取反版本，在所述解扩和解调(DSPDEM)中，以及可选地在相应的水印信号解码器中，仅对相关结果的幅度进行估计。

5.一种使用扩频并利用水印数据(PLD)给音频或视频信号(AS)加水印的设备，包括：

a)用于利用水印数据比特对第一候选编码器扩频序列进行调制以获得调制水印信号的装置(MS)；

b)用于确定所述音频或视频信号的当前掩蔽电平并对所述调制水印信号进行相应的心理声学或心理视觉整形的装置(PAS)；

c)用于在所述音频或视频信号中嵌入所述心理声学或心理视觉整形的水印信号的装置(SA)；

d)用于对包括嵌入的水印信号的所述音频或视频信号进行频谱白化的装置(SPW)；

e)用于使用相关对包括嵌入的水印信号的所述频谱白化的音频或视频信号进行解扩和解调以获得第一候选水印信号的装置(DSPDEM)；

其中装置a)至e)使用不同的候选编码器扩频序列，重复进行处理一次或多次；

-用于确定哪一个相关结果产生最佳匹配并输出利用相应的候选编码器扩频序列加了水印的加水印音频或视频信号(WAS)的装置(DEC)。

6.一种使用扩频并利用水印数据(PLD)给音频或视频信号(AS)加水印的设备，所述设备包括：

-用于利用水印数据比特对第一和至少第二候选编码器扩频序列进行调制以获得相应的调制水印信号的装置(MS)；

-用于确定所述音频或视频信号的当前掩蔽电平并对所述调制水印信号进行相应的心理声学或心理视觉整形的装置(PAS)；

-用于在所述音频或视频信号中嵌入所述心理声学或心理视觉整形的水印信号以产生相应个数的音频或视频信号的装置(SA)；

-用于对所述音频或视频信号进行频谱白化的装置(SPW)，每一个所述音频或视频信号均包括相应的嵌入的水印信号；

-用于使用相关对包括相应的嵌入的水印信号的所述频谱白化的音频或视频信号进行解扩和解调以获得第一和至少第二候选水印信号的装置(DSPDEM)；

7.根据权利要求5或6所述的设备，其中，在调制(MS)之前对水印数据(PLD)执行纠错和/或检测编码(ECDE)。

8.根据权利要求5或6所述的设备，其中，在调制(MS)以及解扩和解调(DSPDEM)中分别使用两个不同的候选编码器扩频序列，一个候选编码器扩频序列是另一个候选编码器扩频序列的负或取反版本，在解扩和解调(DSPDEM)中，以及可选地在相应的水印信号解码器中，仅对相关结果的幅度进行估计。