CN101494053B - 确定添加了水印的信号中是否存在参考图案的方法和设备 - Google Patents

Abstract

许多水印添加系统利用相关来计算检测度量，该检测度量表示在编码器侧所产生的若干参考图案，并根据要嵌入的消息将这些参考图案中一个或多个嵌入在内容中。为了对嵌入消息进行解码，有必要找到在编码器侧插入了哪个参考图案。这在这些系统中通过将已知的参考图案与内容信号相关来确定。水印检测器根据相关结果值的大小来判决是否嵌入了给定伪随机序列。然而，如果通过扬声器发出添加了水印的音频并然后利用麦克风来捕获，则上述不会提供正确的判决。根据本发明，利用接收信号回声的优点，而非将其视为噪声。通过将由回声产生的相关值合并到主相关峰值中、从而使用位于相关结果峰值幅度值的预定邻域之内、并超过预定阈值的相关结果幅度值来改进水印检测结果。

Description

确定添加了水印的信号中是否存在参考图案的方法和设备

技术领域

本发明涉及一种使用相关和相关结果峰值检测来确定接收到的、可能添加了水印的信号中是否存在于参考图案的方法和设备。

背景技术

例如，如WO 2007/031423、WO 97/33391(US 6584138)或US6061793中所述，可以在接收或解码器侧使用相关来检测音频或视频信号中的水印。

许多水印添加系统使用相关来计算检测度量，该检测度量表示在编码器侧产生的若干伪随机序列或参考图案，并根据要嵌入的消息将这些伪随机序列或参考图案中一个或多个嵌入在内容(例如，音频或视频信号)中。在解码器侧产生相同的伪随机序列。可以使用频率变换来对嵌入的消息进行编码和解码。为了对嵌入的消息进行解码，有必要找到在编码器侧插入了哪个或哪些伪随机序列。这在这些系统中通过将已知的伪随机序列与可能添加了水印的内容进行相关而确定，因此，相关可以操作于内容的预处理版本，并且预处理可以包括逆频率变换、谱整形和/或白化。

每一个嵌入的参考图案可以表示嵌入消息的单个比特。存在其中每一嵌入参考图案表示嵌入消息的两个或多个比特的水印添加系统。

在WO 2005/078658中，对相关结果的群集进行评价，群集包括相关峰值邻近范围的相关结果，并超过检测阈值。

水印检测器根据相关结果值的大小来判决是否嵌入了给定的伪随机序列。

在PCT/US2007/014037中描述了相关改进的判决处理，其中，相对相关结果值的计算降低了错误肯定率(false positive rate)，即，将未添加水印的内容归类为添加了水印的内容的概率。人们相信即使例如通过感知编码(例如，mp3、AAC、WMA、AC-3、MPEG)来改变添加了水印的内容，该处理也会运行良好。

发明内容

然而，如果例如通过扬声器来发出添加了水印的音频，然后利用麦克风进行捕获，则上述判决处理不会提供正确的判决。这发生在例如使用固定或移动水印添加检测器的电影院或节目观众测试应用中记录的盗版拷贝中。所记录的内容包括回声和回响，利用所述类型的信号干扰，已知的水印检测处理无法正确地进行处理。

本发明要解决的问题是改进关于基于相关的水印检测系统的回声和回响的鲁棒性。这个问题通过权利要求1中公开的方法来解决。在权利要求2中公开了利用该方法的设备。

根据本发明，利用接收信号回声的优点，而非将其视作噪声。通过区分噪声和回声并将由回声所产生的相关值合并到主相关峰值中来改进水印检测结果。基本上，对处于相关结果峰值幅度值的预定邻域之内、并超出预定量值的相关结果幅度值进行求和。

在本发明中，每一嵌入参考图案r仅表示嵌入消息的单个比特或两个或多个比特。参考图案r彼此正交。

本发明的优点在于：

-在没有对添加了水印的音频信号的质量进行折衷的情况下，提高了嵌入水印(检测)的鲁棒性；

-在不影响水印编码侧上的工作流的情况下，可以对已知的水印添加处理进行优化；

-由于本发明仅与水印检测相关而与水印嵌入无关，因此，在不需要对已标记的内容进行重新标记的情况下，可以改进现有的水印添加系统；

-可以将本发明的最优化应用到使用相关作为其检测度量的所有水印添加系统。

原则上，本发明的方法适于确定接收到的、可能添加了水印的信号中是否存在参考图案，其中，将可能与所述参考图案匹配的至少一个候选参考图案与所述接收到的、添加了水印的信号进行相关，并检查相应的相关结果幅度峰值，所述方法包括以下步骤：

-针对所述接收信号的当前部分，计算与每一个所述参考图案的相关；

-在值的相关结果幅度值之内找到值的组，在所述值的组中，当前相关结果幅度值(表示为主峰值)的绝对值大于第一幅值，以及所述主峰值的绝对值还大于其左邻域相关结果幅度值的绝对值，并且还大于其右邻域相关结果幅度值的绝对值；

-在每一所述主峰值的预定邻近范围之内找到其他主峰值，对于其他主峰值中的每一个，当前相关结果幅度值的绝对值大于第二阈值并小于所述第一阈值，并且对于其他主峰值中的每一个，其绝对值还大于其左邻域相关结果幅度值的绝对值，并且还大于其右邻域相关结果幅度值的绝对值；

-针对所述值的组中的每一个，将所述主峰值和所述其他主峰值的绝对值进行组合，从而每组形成一个和值；

-针对每一所述参考图案，确定所述组的和值的最大值，如果这些最大值中的最大的一个超过预定或可变阈值，则判决接收信号中存在相应的参考图案。

原则上，本发明的设备适于确定接收到的、可能添加了水印的信号中是否存在参考图案，其中，将可能与所述参考图案匹配的至少一个候选参考图案与所述接收到的、添加了水印的信号进行相关，并且检查相应的相关结果幅度峰值，所述设备包括：

-适于针对所述接收信号的当前部分计算与每一个所述参考图案的相关的装置；

-适于在值的相关结果幅度值之内找值的组的装置，在所述值的组中，当前相关结果幅度值(表示为主峰值)的绝对值大于第一阈值，所述主峰值的绝对值还大于其左邻域相关结果幅度值的绝对值，并且还大于其右邻域相关结果幅度值的绝对值；

以及所述装置适于在每一所述主峰值的预定邻近范围之内找到其他主峰值，对于其他主峰值中的每一个，当前相关结果幅度值的绝对值大于第二阈值并小于所述第一阈值，并且对于其他主峰值中的每一个，其绝对值还大于其左邻域相关结果幅度值的绝对值，并且还大于其右邻域相关结果幅度值的绝对值；

-适于针对所述值的组中的每一个将所述主峰值和所述其他主峰值的绝对值进行组合从而每组形成一个和值的装置；

-适于针对每一所述参考图案来确定所述组的和值的最大值、以及适于在这些最大值中的最大的一个超过预定或可变阈值时判决接收信号中存在相应的参考图案的装置。

在相应的从属权利要求中公开了本发明的有利附加实施例。

附图说明

参照附图对本发明的示例性实施例进行描述，在附图中：

图1是针对具有轻微干扰内容的接收信号在解码器侧处所计算的相关结果值；

图2是针对通过扬声器传送、并利用麦克风记录的接收信号在解码器侧处所计算的相关结果值；

图3是针对本发明的处理的流程图；

图4是计算峰值和的最大值的流程图；

图5是在相关结果幅度对τ域中所描述的本发明的处理。

具体实施方式

如上所述，许多水印添加系统使用基于相关的检测，所述基于相关的检测意味着表示在编码器侧产生的或从存储器中选择的比特或字值的若干伪随机序列，并且根据要嵌入的消息(例如，水印比特)，将一个或多个伪随机序列嵌入在内容之内。在解码器侧产生或从存储器中选择相同的伪随机序列。为了对嵌入消息进行解码，有必要找到在接收内容或信号之内潜入了哪些伪随机序列。这通过将已知伪随机序列与可能预处理的内容或信号相关来执行。因此，解码器或接收机检测器根据相关结果幅度值的大小来判决是否嵌入了给定的序列。

将长度为N的信号或序列x定义为x＝(x(1)，x(2)，x(3)，...，x(N))，其中，x(n)是信号或序列x的第n个采样。如果已使信号x和伪随机参考图案r同步，则归一化后的相关值C可以如下计算：

C＝Sum_(i＝1..N)r(i)*x(i)/sqrt(Sum_(i＝1..N)(r(i)*r(i)))

            ..           /sqrt(Sum_(i＝1..N)(x(i)*x(i)))

 ＝Sum_(i＝1..N)r(i)*x(i)/(‖r‖*‖x‖)

其中，Sum_(i＝1..N)表示N为信号x和序列r的长度，i为采样的索引，‘‖...‖’为欧几里得范数。欧几里得范数被定义为

$\left|\right|x\left|\right|=\√\left[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}x{\left(i\right)}^2\right]=\mathrm{sqrt}(\mathrm{Sum}\_(i=1,...,N)(x\left(i\right)*x\left(i\right)))$

C的绝对值越大，当前参考图案r被嵌入x中的可能性越高。C的负值表示在嵌入与检测阶段之间求反的图案r。

然而，通常x和r不同步。在这样的情况下，将不同偏移τ＝1，2，3，...，N的归一化相关值(有时称作“滞后”)计算为：

C(τ)＝Sum_(i＝1..N)r(i)*x(i+τ)/

       sqrt(Sum_(i＝1..N)(r(i)*r(i)))/sqrt(Sum_(i＝1..N)(x(i)*x(i)))

     ＝Sum_(i＝1..N)r(i)*x(i+τ)/(‖r‖*‖x‖)，τ＝1，2，3，...，N

对于这种计算，使用FFT(快速傅立叶变换)的快速算法是可形的。

通过找到使C(τ)最大化的值τ来计算信号x与给定参考序列r之间的对应偏移τ。

图1示出了针对具有轻微干扰内容的接收信号x在解码器侧处所计算的相关结果值C(τ＝0)。水平轴示出了采样位置，垂直轴示出了相关结果的幅度。可以确定与水平位置’0’相关的清晰的高幅度峰值。

在PCT/US2007/014037中，提出了使用最大与第二大归一化后的相关值之间的差值或比值来使水印检测更为稳固。然而，如果接收信号或内容经历了声通路传输，则无法再找到C(τ)的最大值，图2中示出了接收信号或内容的相应的解码器相关结果。图1中非常明显的幅度峰值现在变得较小，并在时间上由于回声和回响而受到干扰。甚至发生指示参考信号r存在和偏移的峰值小于由接收信号中噪声而产生的峰值的情况。

本发明的处理操作如下，其中，k是当前伪随机参考图案或序列r的索引：

a)可能在使用信号处理(例如，滤波和/或白化)来增强音频信号或参考信号之后，如上所述，对于接收信号x的当前部分，计算每一参考信号r_k的相关C_k(τ)。

b)针对每一C_k(τ)，找到(峰值组的)最大累积峰值和。

c)如PCT/US2007/014037中所述，直接使用累积峰值和作为相关值，或者将最大峰值和除以第二大峰值和，并使用产生的结果作为检测强度的度量。

d)如果k个累积峰值和中的一个超过预定或可变阈值，则判决水印或参考图案存在，并移到接收信号x的下一部分(在接收机/解码器侧已知参考图案的距离)。

对于所有候选的伪随机参考序列k，用于相关的累积峰值和sum_max，k计算如下，其中m是相关峰值组的索引：

m_k＝0；

对于C_k(τ)的所有幅度，找到满足如下条件abs(C_k(τ))＞thr₁ AND abs(C_k(τ))＞abs(C_k(τ-1))AND abs(C_k(τ))＞abs(C_k(τ+1))(其中这些C_k(τ)幅度值可以表示为主峰值)的值的组，

do

  m_k＝m_k+1

  sum_k(m)＝0

  对于组m_k内通过(τ_m，k-t₁)≤y≤(τ_m，k+t₂)所定义的所有值y

  do

    if abs(C_k(y))＞thr₂AND abs(C_k(y))＞abs(C_k(y-1))AND abs(C_k(y))＞

    abs(C_k(y+1))

  do

sum_k(m)＝sum_k(m)+peak_sum_k(y)

在所有m个组中，找到最大值sum_max，k＝sum_k(m)值的max(1≤n≤m)sum_k(n)。

值peak_sum_k(y)定义如下。最大值和sum_max，k是上述针对候选参考图案k的累积峰值和。针对其他候选参考图案k，还存在其他最大值和。如果这些最大值和中的最大的一个超过预定或可变阈值thr₀，则判决接收信号中存在相应的水印或参考图案(或伪随机参考序列)k。阈值thr₀大于阈值thr₁。

由于每一嵌入的参考图案仅表示例如嵌入消息的单个比特，并且参考图案的距离在接收机/解码器侧已知，则有必要确定在编码器侧所选择的伪随机参考序列k的实际位置τ(在接收信号x之内)，以确定用于对嵌入消息的下一单个或两个或多个比特进行解码的可能添加了水印的内容中的下一部分。

然而，为了更好地区分峰值和值与噪声，位置y处的峰值和peak_sum_k可以计算如下：

peak_sum_k(y)＝abs(C_k(y))

j＝1

while(j＜t₃ AND abs(C_k(y-j))＞thr₃)

  peak_sum_k(y)＝peak_sum_k(y)+abs(C_k(y-j))-thr₄；

  j＝j+1

j＝1

while(j＜t₃ AND abs(C_k(y+j))＞thr₃)

  peak_sum_k(y)＝peak_sum_k(y)+abs(C_k(y+j))-thr₄；

  j＝j+1

如图5所示，在相关结果幅度对τ域中，阈值thr₁用于搜索针对每一组m的域或最大峰值51、54。描绘了组m₁和m₂，由此，组m₁的主峰值54位于τ₁处，并且组m₂的主峰值位于τ₂处。阈值thr₂小于阈值thr₁，并且用于在主峰值邻近范围搜索尽管较小但仍旧显著的峰值52、53、55、56(由例如回声产生)。阈值thr₃和thr₄(未示出)与噪声电平相关。Thr₄表示噪声所引起的偏移。在能够估计噪声电平的情况下，可以更准确地计算阈值thr₄。阈值thr₃是用于区分峰值与噪声以提高噪声的峰值的附加阈值，其中thr₃≥thr₄。如果不存在噪声，则thr₃＝thr₄＝0。

有利地，y-t₃＜y＜y+t₃之内的、并与C_k(y)相邻的C_k(y)值可以用于增大峰值和值，以使得累积的峰值和值与“噪声峰值”区别更大。

可以根据应用的回声和回响参数来改变幅度阈值thr₀、thr₁、thr₂、thr₃、thr₄和采样范围t₁、t₂、t₃和t₄。对称的范围±t₃也可以是非对称的(-t₃...+t₄)或(-t₄...+t₃)。此外，仅在C_k(y)值的幅度不小于超过相应峰值的幅度的预定幅度的情况下，可以累积y-t_3or4＜y＜y+t_3or4之内的C_k(y)值。

在图3的水印解码器中，在步骤或阶段31中获取接收编码信号x。在步骤或阶段32中可以执行类似频谱整形或白化之类的预处理。在步骤或阶段33中，将产生的输出信号与伪随机参考图案或图案r相关。如上所述，在步骤或阶段34中计算累积的最大峰值和。其后，在步骤或阶段35中判决在编码器侧处将哪个伪随机参考图案r嵌入到信号x中，并且输出相应的水印数据符号。

在图4中，更加详细地对如上所述的在步骤/阶段34中执行的最大峰值和的计算进行描述。第一步骤41可以是峰值搜索初始化。在以下循环中，在步骤42和43中分别搜索峰值并计算中间峰值和。该循环之后，在步骤44中确定所有中间峰值和的最大值，并且输出最大峰值和sum_max，k。

之前，在最大值和中的最大的一个超过阈值thr₀时，开始最终判决接收信号中存在相应的参考图案，嵌入消息的若干解码比特可以经过错误校正处理。

本发明可应用于相关性受到类似于回声和回响的事物干扰的所有技术中，例如，已经被感知编码的添加了水印的视频。

Claims (16)

1.一种用于确定接收到的、可能添加了水印的音频信号中是否存在参考图案的方法，其中，将可能与所述参考图案匹配的至少一个候选参考图案与所述接收到的、可能添加了水印的音频信号进行相关，并且检查相应的相关结果幅度峰值，所述方法包括以下步骤：

针对所述接收到的、可能添加了水印的音频信号的当前部分，计算与每一个所述候选参考图案的相关，

其特征在于：

在相关结果幅度值之内，找到值的组，在所述值的组中，被表示为主峰值的当前相关结果幅度值的绝对值大于第一阈值thr₁，所述主峰值的绝对值还大于其左邻域相关结果幅度值的绝对值，并且还大于其右邻域相关结果幅度值的绝对值；

在每一所述主峰值的预定邻近范围之内找到其他峰值，对于其他峰值中的每一个，当前相关结果幅度值的绝对值大于第二阈值thr₂，所述第二阈值thr₂小于所述第一阈值thr₁，并且对于其他峰值中的每一个，其绝对值还大于其左邻域相关结果幅度值的绝对值，并且还大于其右邻域相关结果幅度值的绝对值；

针对值的所述组中的每一个，将所述主峰值与所述其他峰值的绝对值进行组合，从而每组形成一个和值；

针对每一所述候选参考图案，确定所述组的和值的最大值，其中，如果这些最大值中的最大的一个超过预定或可变阈值thr₀，则判决接收到的、可能添加了水印的音频信号中存在相应的参考图案。

2.根据权利要求1的方法，其中，使用归一化后的相关结果幅度值代替相关结果幅度值来确定峰值。

3.根据权利要求1或2的方法，其中，在所述组合中，还涉及位于主峰值和其他峰值的左和右预定邻域范围之内、并超过第三阈值thr₃的相关结果幅度的绝对值，以及将减去表示噪声的第四阈值thr₄之后的相关结果幅度的相应绝对值进行组合，其中所述第三阈值大于所述第四阈值。

4.根据权利要求3的方法，其中，所述预定邻近范围是非对称的，并向左扩展t₁个采样，向右扩展t₂个采样，和/或，其中所述预定邻域范围向左扩展t₃个采样，向右扩展t₃个采样。

5.根据权利要求3的方法，其中，所述预定邻近范围是非对称的，并向左扩展t₁个采样，向右扩展t₂个采样，和/或，其中所述预定邻域范围是非对称的，并向左扩展t₃个采样向右扩展t₄个采样或向左扩展t₄个采样向右扩展t₃个采样。

6.根据权利要求4的方法，其中，所述阈值thr₀和所述第一至第四阈值thr₁、thr₂、thr₃、thr₄以及所述采样值t₁到t₄中的一个或多个是预定的，或者是在根据接收到的、可能添加了水印的音频信号中的回声和回响参数的处理期间适配的。

7.根据权利要求5的方法，其中，所述阈值thr₀和所述第一至第四阈值thr₁、thr₂、thr₃、thr₄以及所述采样值t₁到t₄中的一个或多个是预定的，或者是在根据接收到的、可能添加了水印的音频信号中的回声和回响参数的处理期间适配的。

8.根据权利要求1或2的方法，其中，在对所述相关进行计算之前，对接收到的、可能添加了水印的音频信号进行频谱整形和/或白化。

9.一种用于确定接收到的、可能添加了水印的音频信号中是否存在参考图案的设备，其中，将可能与所述参考图案匹配的至少一个候选参考图案与所述接收到的、可能添加了水印的音频信号进行相关，并且检查相应的相关结果幅度峰值，所述设备包括：

适于针对所述接收到的、可能添加了水印的音频信号的当前部分计算与每一个所述候选参考图案的相关的装置，

其特征在于，所述设备还包括：

适于在相关结果幅度值之内找到值的组的装置，在所述值的组中，被表示为主峰值的当前相关结果幅度值的绝对值大于第一阈值thr₁，所述主峰值的绝对值还大于其左邻域相关结果幅度值的绝对值，并且还大于其右邻域相关结果幅度值的绝对值；

所述适于在相关结果幅度值之内找到值的组的装置还适于在每一所述主峰值的预定邻近范围之内找到其他峰值，对于其他峰值中的每一个，当前相关结果幅度值的绝对值大于第二阈值thr₂，所述第二阈值thr₂小于所述第一阈值thr₁，并且对于其他峰值中的每一个，其绝对值还大于其左邻域相关结果幅度值的绝对值，并且还大于其右邻域相关结果幅度值的绝对值；

适于针对值的所述组中的每一个将所述主峰值和所述其他峰值的绝对值进行组合从而每组形成一个和值的装置；

适于针对每一所述候选参考图案确定所述组的和值的最大值、以及适于在这些最大值中的最大的一个超过预定或可变阈值thr₀时判决接收到的、可能添加了水印的音频信号中存在相应的参考图案的装置。

10.根据权利要求9的设备，其中，使用归一化后的相关结果幅度值代替相关结果幅度值来确定峰值。

11.根据权利要求9或10的设备，其中，在所述组合中，还涉及位于主峰值和其他峰值的左和右预定邻域范围之内、并超过第三阈值thr₃的相关结果幅度的绝对值，以及将减去表示噪声的第四阈值thr₄之后的相关结果幅度的相应绝对值进行组合，其中所述第三阈值大于所述第四阈值。

12.根据权利要求11的设备，其中，所述预定邻近范围是非对称的，并向左扩展t₁个采样，向右扩展t₂个采样，和/或，其中所述预定邻域范围向左扩展t₃个采样，向右扩展t₃个采样。

13.根据权利要求11的设备，其中，所述预定邻近范围是非对称的，并向左扩展t₁个采样，向右扩展t₂个采样，和/或，其中所述预定邻域范围是非对称的，并向左扩展t₃个采样向右扩展t₄个采样或向左扩展t₄个采样向右扩展t₃个采样。

14.根据权利要求12的设备，其中，所述阈值thr₀和所述第一至第四阈值thr₁、thr₂、thr₃、thr₄以及所述采样值t₁到t₄中的一个或多个是预定的，或者是在根据接收到的、可能添加了水印的音频信号中的回声和回响参数的处理期间适配的。

15.根据权利要求13的设备，其中，所述阈值thr₀和所述第一至第四阈值thr₁、thr₂、thr₃、thr₄以及所述采样值t₁到t₄中的一个或多个是预定的，或者是在根据接收到的、可能添加了水印的音频信号中的回声和回响参数的处理期间适配的。

16.根据权利要求9或10的设备，其中，在对所述相关进行计算之前，对接收到的、可能添加了水印的音频信号进行频谱整形和/或白化。

Images