CN1928917B - 数字水印嵌入设备和方法以及数字水印检测设备和方法 - Google Patents

Abstract

一种数字水印嵌入设备，包括：水印提供单元，配置为提供数字水印；获取单元，配置为基于视频内容的多个帧中的图像数据而从该多个帧中获取一图像分量，该图像分量影响检测该数字水印的图像图案时出现的误差；生成单元，配置为使用该数字水印的图像图案和该图像分量，以相反关系生成第一图像图案和第二图像图案；以及叠加单元，配置为将第一图像图案和第二图像图案分别叠加在该多个帧上，以消除或减小该图像分量。

Description

数字水印嵌入设备和方法以及数字水印检测设备和方法

技术领域

本发明涉及用于在内容中嵌入数字水印的数字水印嵌入设备和方法、以及用于从内容中检测数字水印的数字水印检测设备和方法。

背景技术

近年来，由于计算机和网络的发展，处理数字内容的领域增加了。数字内容具有能够以非常低的成本制作与原始内容完全相同的内容的特性。由于这个原因，对具有数字版权的作品防止非法复制的手段变得不可或缺。

广泛地讨论和开发了在人不能感觉到附加信息的程度上将附加信息嵌入数字内容中的数字水印，作为一种用于允许在较宽范围内坚持主张版权的防止非法复制的手段。

有一种对帧间差嵌入数字水印的数字水印技术(例如，参见JP-A2003-174631(KOKAI))。在这种技术中，通过在帧编号为f的帧上叠加第一水印图案，并在帧编号为f+1的帧中叠加通过将第一水印图案的极性反转而生成的第二水印图案，将数字水印嵌入到内容中。通过获取帧编号为f的帧和帧编号为f+1的帧间差来检测数字水印。

然而，在嵌入数字水印之前帧间差很大的情况下(例如，在运动图像内容中场景有较大移动的情况下)，存在连同水印分量一起检测到非常大的噪声分量的问题，这导致误差的检测。

在通过在两帧上分别叠加极性彼此相反的水印图案来嵌入数字水印、并通过获取帧间差来检测数字水印的传统方法中，当帧间差较大时，不可能准确地检测到水印图案。

发明内容

本发明的一个方面提供了一种数字水印嵌入设备，用于在视频内容的多个帧中的每一个中嵌入作为数字水印的图像图案，该设备包括：水印提供单元，配置为提供数字水印；获取单元，配置为基于视频内容中的多个帧的图像数据而从该多个帧中获取图像分量，该图像分量影响检测该数字水印的图像图案时生成的误差；生成单元，配置为使用该数字水印的图像图案和该图像分量，以相反关系生成第一图像图案和第二图像图案；以及叠加单元，配置为将第一图像图案和第二图像图案分别叠加在该多个帧上，以消除或减小该图像分量。

附图说明

图1是根据实施例的数字水印嵌入设备的示意方框图。

图2是表示该实施例中的数字水印嵌入处理的过程的流程图。

图3是水印图案的图示。

图4是根据该实施例的数字水印检测设备的示意方框图。

图5是表示该实施例中的数字水印检测处理的过程的流程图。

图6是关于该实施例的另一个数字水印嵌入设备的示意方框图。

图7是表示该实施例中的另一个数字水印嵌入处理的过程的流程图。

图8是关于该实施例的另一个数字水印检测设备的示意方框图。

图9是表示该实施例中的另一个数字水印检测处理的过程的流程图。

图10是表示该实施例中的另一个数字水印嵌入处理的过程的流程图。

图11是用于说明对水印图案的检测的图示。

图12是表示该实施例中的另一个数字水印嵌入处理的过程的流程图。

图13是表示该实施例中的另一个数字水印检测处理的过程的流程图。

图14是表示该实施例中的另一个数字水印检测处理的过程的流程图。

具体实施方式

现在将结合附图描述本发明的实施例。

在说明书使用的符号中，“WM”表示要嵌入目标图像中的水印图案。在本实施例中，设水印图案为一帧的图像数据。该水印图案也被称为“I_WM”。

图3示出了要嵌入图像中的水印图案(水印图像图案)。图3示出了阴影线表示的部分的像素值为“+1”而剩余部分的像素值为“-1”的图案。这一图案的反转图案是阴影线表示的部分的像素值为“-1”而剩余部分的像素值为“+1”的图案。文字部分的像素值可以是“-1”，而剩余部分的像素值可以是“+1”。

在图3中，可以用另一种方法获得该像素值。例如，阴影部分的像素值为“+1”而剩余部分的像素值为“0”的图案。在这种情况下，这一图案的反转图案是阴影部分的像素值为“-1”而剩余部分的像素值为“0”的图案。

“I”和附有英文字母代码的“I”代表图像数据。在本实施例中，设图像数据是一帧的图像数据。

附有数字i的“Ii”特别地代表数字i所标识的图像。在本实施例中，设用于标识图像的数字i为运动图像中的帧编号。以下将在把从1开始的连续数字依次附到运动图像中连续的帧上的设定下，描述本实施例。

附有撇号的“Ii”(换句话说，“I_i′”、“I_i″”、“I_i ”)特别地代表经过了用于嵌入水印图案的处理的图像(包括处理过程中间的图像)。

在本实施例所使用的计算公式中，设定两个图像相加或相减是对每个像素进行的(将对应像素的值相加或将对应像素的值彼此相减)。设定对图像的数值乘法是对每个像素进行的(换句话说，将相同的数字值与每个像素的值相乘)。

对于特定的图像I，“-I”代表图像I的反转图像。图像I₁+(-I₂)是通过在图像I₁上叠加图像I₂的反转图像而获得的。实际上，其可以通过将图像I₂的反转图像与图像I₁相加，或从图像I₁中减去图像I₂而生成。

I_D代表两个图像之间的差分画面(例如I_D＝I₁-I₂)。f(x)代表通过对图像x进行信号处理(本实施例中为滤波)而提供的图像。g(x)与此类似。

现在说明使用帧间差的传统数字水印。

在传统数字水印嵌入方法中，例如，在每个图像I₁和I₂中嵌入水印。如下面的公式所表示，设通过将水印图案“WM”与图像I₁叠加(相加)而获得的图像为嵌入了水印的图像I₁

。设通过将水印图案“-WM”与图像I₂叠加(相加)而获得的图像(通过从图像I₂中减去水印图案WM而获得的图像)为嵌入了水印的图像I₂

。

I₁

＝I₁+WM

I₂

＝I₂+(-WM)

在传统数字水印检测方法中，当从每个图像I₁和I₂检测到水印时，根据嵌入了水印的图像I₁

和I₂ 之间的差异而获得检测到的水印图案WM′，如下式所示：

WM′＝I₁

-I₂ ＝I₁-I₂+2WM＝I_D+2WM

2WM(其中|2WM|□|I_D|)

在这种传统方法中，当相对于2WM不能忽略I_D时，检测结果中就包含了误差。检测误差根据情况而发生。需要将WM抑制在维持内容的画面质量的程度上的较小数值。另一方面，由于在视频内容中传统的I_D并不小，可以在运动图像使用上述传统数字水印。

在下面描述的每个实施例中，主要描述在目标图像上叠加基于目标图像的特征量而进行了修改的水印图案(基于目标图像的特征量叠加一图像分量的水印图案)的情况。然而，也可以是基于目标图像的特征量修改目标图像的情况(在目标图像上叠加基于目标图像的特征量而得出的图像分量、然后在目标图像上叠加水印图案的情况，或者在目标图像上叠加水印图案、然后在目标图像上的叠加基于目标图像的特征量而得出的图像分量的情况)。

在每个实施例中，当在目标图像上叠加基于目标图像的特征量而进行了修改的水印图案时，实际叠加到每个目标图像(例如，第一实施例中的图像I₁和I₂)上的水印图案不是水印图案WM，而是通过对其进行修改而获得的水印图案(例如第一实施例中的Wp或Wn)。因此，为了与原始水印图案相区分的目的，将实际叠加到目标图像上的修改后的水印图案称为“嵌入图案”。

(第一实施例)

在第一实施例中，当使用帧间差在两个图像(例如I₁和I₂)中每一个中嵌入数字水印时，如下进行水印嵌入。换句话说，并不将水印图案WM叠加在这些图像上，而是将通过使用这些图像的特征(即差分画面I_D)来修改水印图案WM而获得的图案嵌入到图像中。或者，将水印图案WM嵌入图像中，并在之前或之后使用图像的特征来修改目标图像。根据上述水印嵌入方法，在水印检测时，无论WM和I_D之间的数量关系如何，都不会发生由于图像的特征而导致的检测误差。

下文中将描述本实施例的数字水印的算法。将以在图像I₁和I₂中嵌入水印为例描述本实施例的数字水印嵌入方法。

计算目标图像I₁和I₂之间的差异I_D(＝I₁-I₂)。生成正嵌入图案Wp(＝WM-I_D/2)和对应于正嵌入图案WP的反转图案的负嵌入图案Wn(＝I_D/2-WM＝-WP)。设通过在图像I₁上叠加嵌入图案Wp而生成的图像为嵌入了水印的图像I₁′，并设通过在图像I₂上叠加嵌入图案Wn而生成的图像为嵌入了水印的图像I₂′。

(1).  I_D＝I₁-I₂

(2-1).Wp＝(WM-I_D/2)

(2-2).Wn＝(I_D/2-WM)

(3-1).I₁′＝I₁+Wp

(3-2).I₂′＝I₂+Wn

除了公式(1)要在公式(2-1)和(2-2)之前执行、公式(2-1)要在公式(3-1)之前执行以及公式(2-2)要在公式(3-2)之前执行的限制之外，上述计算可以以任何顺序进行。

公式(2-1)和(2-2)可以同时执行，公式(3-1)和(3-2)也可以同时执行。公式(2-2)可以使用公式(2-1)的计算结果按Wn＝-Wp执行。公式(2-1)可以使用公式(2-2)的计算结果按Wp＝-Wn执行。例如，不将嵌入图案Wn与图像I₂相加，而是从图像I₂中减去嵌入图案Wp(在这种情况下就没有必要获取嵌入图案Wn了)。

生成差分图像→生成嵌入图案→将嵌入图案叠加在目标图像上的过程可以替换为基于嵌入图案在目标图像每个分量上的叠加的过程，如下所示：

(11).  I_D＝I₁-I₂

(12-1).I₁″＝I₁+(-I_D/2)

(12-2).I₂″＝I₂+(I_D/2)

(13-1).I₁′＝I₁″+WM

(13-2).I₂′＝I₂″+(-WM)

在这个过程中，上面所讨论的各种变型方案都是可能的。

上述过程可以合并如下：

(1).  I_D＝I₁-I₂

(2-1).Wp＝(WM-I_D/2)

(3-1).I₁′＝I₁+Wp

(12-2).I₂″＝I₂+(I_D/2)

(13-2).I₂′＝I₂″+(-WM)

和上述过程一样，可以应用各种过程(这些过程可以进一步修改为各种变型方案)。

无论采用何种过程，嵌入了水印的图像I₁′和I₂′与目标图像I₁和I₂之间的关系表示如下：

I₁′＝I₁+(WM-I_D/2)

I₂′＝I₂+(I_D/2-WM)

本实施例的数字水印检测方法是针对根据图像I₁和I₂之间的差异来检测水印的情况而描述的。根据嵌入了水印的图像I₁′和I₂′之间的差异获得检测水印图案DWM，如下面的过程所示。

从DWM＝I₁′-I₂′＝I₁-I₂-I_D+2WM＝I_D-I_D+2WM＝2WM可以了解，检测水印图案DWM是通过将原始水印图案WM乘以2而计算出的。

必要时，通过将图像I₁′和I₂′之间的差异乘以1/2来再现原始水印图案WM，作为检测水印图案。

以这种方式，无论2WM和I_D之间的大小关系如何，本实施例的数字水印方法在水印检测时可以在不因图像的特征而导致检测误差的情况下提取水印图案。因此，这一数字水印可以用于通常I_D不小的运动图像等内容。

本实施例的数字水印嵌入设备包括帧存储器11、特征提取器12、嵌入图案生成器14、水印叠加单元15以及控制器16。

帧存储器11包括缓冲器，用于临时存储要嵌入水印图案的运动图像中要处理的帧(或目标帧)的数据。在本实施例中，例如，帧存储器11存储帧编号为f的图像I_f的数据，其中帧编号f对应于控制器16给出的帧编号信息所指示的数字f。

特征量提取器12从要进行处理以在其中嵌入水印图案的运动图像中提取给定的特征量。在本实施例中，获取帧编号为f的图像I_f和帧编号为f-1的图像I_f-1之间的差分图像I_D(＝I_f-I_f-1)，其中帧编号f对应于控制器16给出的帧编号信息所指示的数字f。

嵌入图案生成器14生成要分别叠加到各目标图像(一组多个帧)上的嵌入图案。在本实施例中，要嵌入帧编号为由控制器16给出的帧编号信息所指示的帧编号为f的图像I_f和帧编号为f-1的图像I_f-1中的各个嵌入图案Wp、Wn是基于例如由特在量提取器12提取的特在量(差分图像I_D)、控制器16给出的水印图案WM而生成的。

水印叠加单元15将嵌入图案分别叠加到目标图像(一组多个帧)上。在本实施例中，将嵌入图案生成器14所生成的嵌入图案Wp和Wn分别嵌入图像I_f和I_f-1中，其中帧编号f是由控制器16给出的帧编号信息指示的。控制器16控制整个数字水印嵌入设备1。

有各种变型方案来确定对要嵌入水印的运动图像内容中的哪个帧进行水印嵌入处理。例如，可以使用所有帧作为目标图像，或者可以使用一组或多组事先按帧编号等确定的帧。例如可以从外部制定目标帧。

有各种变型方案来设计水印图案，例如，可以总是嵌入相同的水印图案，或者可以从外部制定水印图案。例如，可以在一个运动图像的所有帧中都共同嵌入一个水印图案，并且根据帧条件在一个或多个帧中可以嵌入不同的水印图案。

上述每个单元可以具有存储处理所需图像数据的缓冲器，并且所需图像数据可以全部存储在帧存储器11或其它缓冲器中。

在图2所示的本实施例的数字水印嵌入处理的过程中，目标运动图像的所有帧都嵌入了水印。然而，如果帧数是奇数，则不对最后一帧进行处理。

这一过程使用过程(1)至(3-2)。

处理从帧编号f＝0开始，并且重复进行下面的处理，直到在步骤S10或步骤S11判定“是”。

首先将f加1(步骤S1)，确定f是否是奇数(步骤S2)。如果判定“否”，则将缓冲器初始化(步骤S3)，然后将帧I_f输入到帧存储器11，并在此保存(步骤S4)。然后，处理返回步骤S1，给f加1。

如果步骤S2的判定为“是”，也就是说，f是偶数，则将帧I_f输入到帧存储器11，并在此保存(步骤S5)。在本处理中的此处，帧I_f和紧靠帧I_f之前的帧I_f-1都存储在帧存储器11中。

在步骤S6，由特征提取器12获取帧存储器11中存储的两帧I_f和I_f-1之间的差异I_D(＝I_f-I_f-1)。在步骤S7，由嵌入图案生成器14生成要叠加在帧I_f-1上的图案Wp＝WM-I_D/2和要叠加在帧I_f上的图案Wn＝I_D/2-WM。

由水印叠加单元15分别将图案Wp和Wn叠加在帧I_f-1和I_f上(步骤S8)。从水印叠加单元15输出叠加了图案Wp的帧I_f-1和叠加了图案Wn的帧I_f(步骤S9)。

在步骤S10，判断帧f是否是最后一帧。如果判定为“是”，即没有未处理的帧。则这一处理结束。如果只剩下一个未处理的帧，即步骤S10的判定为“否”，则判断帧I_f是否是最后一帧I_f+1之前的一帧(步骤S11)。如果判定为“是”，则按原样输出帧I_f+1(步骤S12)，并且这一处理结束。当步骤S11的判定为“否”时，即还剩下两个或更多未处理的帧时，处理返回步骤S1，重复同样的处理。

图2中的过程使用过程(1)至(3-2)，但是也可以使用过程(11)至(13-2)。在这种情况下，在图2的过程中，例如，只需将步骤S7变为在帧I_f-1上叠加-I_D/2并在帧I_f上叠加I_D/2(即步骤I_f-1＝I_f-1+(-I_D/2)和I_f＝I_f+I_D/2)的处理，并且只需将步骤S8变为在帧I_f-1上叠加WM并在帧I_f上叠加-WM(即步骤I_f-1＝I_f-1+WM和I_f＝I_f+(-WM))的处理。

图4所示数字水印检测设备包括帧存储器21、水印提取器22和控制器24。帧存储器21临时存储要从中检测水印图案的运动图像中要处理的帧(目标帧)的数据。在本实施例中，帧存储器21存储帧编号为由控制器24给出的帧编号信息所指示的f的帧I_f的数据

水印提取器22使用目标帧的数据提取检测水印图案DWM。在本实施例中，设检测水印图案DWM为帧编号为由控制器24给出的帧编号信息所指示的f的帧I_f和帧编号为f-1的帧I_f-1之间的差异(或通过将该差异乘以1/2而获得的值)。

控制器24控制整个数字水印嵌入设备1。有许多种使用要尝试进行水印检测的运动图像内容的任何帧来作为要进行水印检测处理的目标的变型方案，如前述水印嵌入。

上述每个单元可以具有保存处理所需的图像数据的缓冲器。图像数据可以全部存储在帧存储器21或其它缓冲器中。

在图5所示的本实施例的数字水印检测处理的过程中，设作为目标的运动图像的所有帧为要检测的目标(然而，如果帧数为奇数，则不处理最后一帧)。在图5中省略了有关帧编号的描述。

重复进行下面处理，直到步骤S22中判定“否”。

设置k＝1(步骤S21)。确定是否存在下一个帧(未被输入或存储的帧中的头一帧(top frame))。当存在下一帧时，输入下一帧，并将其保存在帧存储器21中(步骤S23)。

如果“k＝2”为“假”，则给k加1(步骤S24和S25)，并且处理返回步骤S22。进行步骤S22和S23的处理。如果在步骤S24中“k＝2 ”为“真”，则处理向前到S26。在本处理中的此处，帧I_f和紧靠帧I_f之前的帧I_f-1都存储在帧存储器11中。

在步骤S26，在水印提取器22中计算帧编号为f的帧I_f和帧编号为f-1的帧I_f-1之间的差异、或通过将该差异乘以1/2而获得的值。将该差异或通过将该差异乘以1/2而获得的值作为检测水印图案DWM而输出(步骤S27)。

清除所存储的帧(步骤S28)，而处理返回到步骤S21，重复相似的处理。如果在S22没有下一帧，则这一处理结束。使用简单地计算帧间差的方法作为提取不利地影响水印图案的分量的方法。然而，这一方法不限于此。例如，在沿正方向嵌入水印(在+方向上嵌入像素值)的情况下，如果图像的差分分量在正方向上(像素值在+方向上)，则其不会不利地影响水印。如果预先从要消除的目标中排除不会不利地影响水印的分量，则可以进一步抑制对画面质量的影响。

(第二实施例)

第二实施例在执行水印嵌入时对所提取的特征量进行信号处理，以抑制特征量(第一实施例中的差分图像I_D)对内容的画面质量的影响，并防止画面劣化。

在第二实施例中，使用相同的附图标记来表示与第一实施例中的结构元件相对应的同样的结构元件，并且为了简洁而省略了进一步的说明。下面将描述与第一实施例不同的地方。

将以在图像I₁和I₂中嵌入水印为例来描述本实施例的水印嵌入方法。计算水印嵌入目标图像I₁和I₂的差异I_D(＝I₁-I₂)。通过对差异ID进行信号处理f(x)(例如用诸如低通滤波器的滤波器进行滤波)而获得处理后的差异f(I_D)。获得正方向的嵌入图案Wp(＝WM-f(I_D)/2)，以及负方向的嵌入图案Wn(＝f(I_D)/2-WM＝-Wp)，即图案WP的反转图案。设通过将水印图案“Wp”与图像I₁叠加(相加)而获得的图像为嵌入了水印的图像I₁′。设通过将水印图案“Wn”与图像I₂相加而获得的图像为嵌入了水印的图像I₂′。

(21-1).I_D＝I₁-I₂

(21-2).f(I_D)

(22-1).Wp＝(WM-f(I_D)/2)

(22-2).Wn＝(f(I_D)/2-WM)

(23-1).I₁′＝I₁+Wp

(23-2).I₂′＝I₂+Wn

除了在公式(21-2)之前执行公式(21-1)、在公式(22-1)之前执行公式(21-1)和(21-2)、在公式(23-1)之前执行公式(22-1)、在公式(23-2)之前执行公式(22-2)之外，上述计算可以以任何顺序进行。公式(22-1)和(22-2)可以同时执行，公式(23-1)和(23-2)也可以同时执行。公式(22-2)可以使用公式(22-1)的计算结果按Wn＝-Wp执行。公式(22-1)可以使用公式(22-2)的计算结果按Wp＝-Wn执行。例如，不将嵌入图案Wn与图像I₂相加，而是从图像I₂中减去嵌入图案Wp(在这种情况下就没有必要获取嵌入图案Wn了)。

生成差分图像→对差分图像进行信号处理→生成嵌入图案→将嵌入图案叠加在目标图像上的基本过程可以替换为基于嵌入图案在目标图像每个分量上的叠加的过程，如下所示：

(31-1).I_D＝I₁-I₂

(31-2).f(I_D)

(32-1).I₁″＝I₁+(-f(I_D)/2)

(32-2).I₂″＝I₂+(f(I_D)/2)

(33-1).I₁′＝I₁″+WM

(33-2).I₂′＝I₂″+(-WM)

除了上述过程之外还有各种变型方案可用。无论采用哪种过程，嵌入了水印的图像I₁′和I₂′与水印嵌入目标图像I₁和I₂之间的关系表示如下：

I₁′＝I₁+(WM-f(I_D)/2)

I₂′＝I₂+(f(I_D)/2-WM)

本实施例的数字水印检测方法是以从图像I₁和I₂检测水印为例来描述的。根据嵌入了水印的图像I₁′和I₂′之间的差异生成检测水印图案DWM，如下面的过程所示。

从下面的公式可以了解，检测水印图案DWM可以通过将原始水印图案WM乘以2而获得。

DWM＝I₁′-I₂′＝I₁-I₂-f(I_D)+2WM＝I_D-f(I_D)+2WM

在本实施例的数字水印方法中，按DWM＝I_D-f(I_D)+2WM来生成检测水印图案。可以理解，这与传统方法的检测结果(I_D+2WM)相比，改善了-f(I_D)。通过使用例如用于信号处理f(x)的滤波器，可以在抑制明显的画面劣化的同时更精确地检测水印。

必要时，通过将图像I₁′和I₂′之间的差异乘以1/2来生成检测水印图案DWM，如下面的公式所示。

DWM＝(I₁′-I₂′)/2＝(I₁-I₂-f(I_D)+2WM)/2＝(I_D-f(I_D))/2+WM

在图6所示涉及本实施例的数字水印嵌入设备中，给图1的实施例添加了用于进行信号处理(例如，由例如低通滤波器对差异I_D进行滤波)的信号处理器13。图1的嵌入图案生成器14使用I_D进行操作，而图6的嵌入图案生成器14则使用f(I_D)。

参考图7说明本实施例的数字水印嵌入处理的过程。在图7的过程中，图2中的步骤S6后面跟着步骤S36，“通过对ID进行信号处理来生成f(I_D)”。步骤S7变为步骤S37，“生成要叠加在帧I_f-1上的图案Wp＝WM-f(I_D)/2和要叠加在帧I_f上的图案Wn＝f(I_D)/2-WM”。

图7的过程使用过程(21-1)至(23-2)，但是也可以使用过程(31-1)至(33-2)。在这种情况下，图7的过程只需将步骤S37变为“在帧I_f-1上叠加-f(I_D)/2，并在帧I_f上叠加f(I_D)/2”的处理，并且将步骤S8变为“在帧I_f-1上叠加WM，并在帧I_f上叠加-WM”的处理。

可以使用例如空间方向上的二维低通滤波器，或使用高通滤波器或三维滤波器，来执行信号处理f(x)。高通滤波器影响画面质量，但是使得能够有效地消除图像(噪声)的影响。当使用低通滤波器时，画面质量被给予高于检测率的优先级。如果根据图像来选择滤波器，则可以期待更好的效果。

本实施例的数字水印检测设备的结构可以基本上类似于图4的结构。本实施例的数字水印检测处理的过程可以基本上类似于图5的过程。

下面将说明数字水印检测的变型方案。

在上述说明中，获得DWM＝I_D-f(I_D)+2WM或DWM＝(I₁′-I₂′)/2＝(I₁-I₂-f(I_D)+2WM)/2＝(I_D-f(I_D))/2+WM，作为通过本实施例的数字水印检测得出的检测水印图案。

考虑对检测结果进一步进行信号处理(例如用低通滤波器进行滤波)g(x)的例子。

当对I_D-f(I_D)+2WM进行g(x)时，检测到的图案为

DWM＝g(I_D)-g(f(I_D))+2g(WM)。

当g(I_D)-g(f(I_D))≤I_D-f(I_D)，而g(WM)

WM时，有可能更精确地检测水印。这对水印检测提供了非常大的效果。

此时，滤波器不限于低通滤波器，并且如果根据图像选择高通滤波器、中值滤波器等中的任何一个，或者根据水印嵌入时所选择的滤波器来确定滤波器，则可以提供更好的效果。

根据图8的数字水印检测设备，给图4的实施例添加了用于执行信号处理(例如使用低通滤波器进行滤波)的信号处理器23。

参考图9描述数字水印检测处理的过程。在图9的过程中，图2的步骤S26之后附加地跟着步骤S41。步骤S41为“在信号处理器23对帧编号为f的帧I_f和帧编号为f-1的帧I_f-1之间的差异(或通过将该差异乘以1/2而获得的值)进行信号处理”的步骤。

(第三实施例)

第一和第二实施例提供了在一组两个帧中嵌入单个水印图案的方法和设备，而第三实施例提供一种在两个或更多帧中嵌入单个水印图案的方法和设备。

在本实施例中，将水印图案WM叠加在2n+1个帧中的n个帧I₁至I_n上，并将水印图案WM的反转图案(-WM)叠加在n个帧I_n+2至I_2n+1上。

本实施例的水印检测过程检测前n个帧的平均图像和接下来的n个帧的平均图像之间的差异。在这种情况下，与第一和第二实施例相同，在水印检测时，可能在图像的某些特征量中出现误差，并且该误差使得不能精确地检测出水印。因为这个原因，预先计算前n个帧的平均图像和接下来的n个帧的平均图像之间的差异，将水印叠加在这些帧上，使得在水印检测时该差异被抵消。

下面将说明与第一和第二实施例不同的地方。

关于本实施例的数字水印嵌入设备的结构可以基本上类似于图1(当使用I_D时)或图6(当使用f(I_D)时)，下面说明图6的情形。

在图10所示的数字水印嵌入处理的过程中，对目标运动图像的所有帧进行水印嵌入。然而，如果帧数不是(2n+1)的倍数，则不处理数量上对应于通过将帧数除以(2n+1)所得余数的帧。这一过程使用第二实施例的过程(31-1)至(33-2)。

有多种变型方案来指定n。例如，可以总是使用相同的n，或者从外部指定n。

在图10中，该处理通过将帧编号的初始值设为1(f＝1)而开始，并且重复下面的操作直到步骤S2001判定为“否”。

首先，“确定是否存在帧I_f之后2n帧处的帧I_f+2n”(步骤S2001)。如果没有帧I_f+2n，则按原样输出所有剩余的帧(步骤S2102)，并且这一处理结束。

如果在步骤S2001中有帧I_f+2n，则处理前进到步骤S2002。在步骤S2002，将参数k初始化为0，并且初始化缓冲器I_P和I_M。

将帧I_f+k保存在帧存储器11中(步骤S2003)。判断是否k＜n(步骤S2004)。如果k＜n，则将I_f+k加到I_P上(步骤S2005)。在将k递增之后(步骤S2006)，处理返回步骤S2003，重复相同的步骤S2003至S2006。

如果k＝n(步骤S2004、S2104、S2204)，则生成前一半(I_f至I_f+n-1)的平均图像(步骤S2205)。将k递增(步骤S2006)，并且处理返回步骤S2003，执行对后一半的处理。

如果处理返回步骤S2003，则将帧I_f+k存储在帧存储器11中。如果n＜k＜2n+1(步骤S2104)，则将帧I_f+k加到I_M上(步骤S2015)。在将k递增之后(步骤S2006)，处理返回步骤S2003，重复相似的处理。

如果k＝2n+1(步骤S2004、S2104、S2204)，则生成后一半(I_f+n+1至I_f+2n)的平均图像(步骤S2207)。生成前一半的平均图像(I_P)和后一半的平均图像(I_M)之间的差分图像I_D(步骤S2008)。对差异I_D进行滤波，以生成处理后的差异f(I_D)(步骤S2009)，并且将k初始化为0(步骤S2010)。

在步骤S2011、S2111、S2211的多分支处理的结果中，如果k小于n，则处理前进到步骤S2012。如果k在n+1至2n之间，则处理前进到步骤S2112。如果k＝n，则处理前进到步骤S2014。如果k大于2n，则处理前进到步骤S2015。

当处理前进到步骤S2012时，从帧I_f+k中减去指示图像的特征分量的f(ID)/2，然后，在步骤S2013中，在该帧上叠加水印图案WM。在步骤S2014中将k递增，然后处理返回多分支处理步骤S2011。

当处理前进到步骤S2112时，将差异f(I_D)/2与帧I_f+k相加。然后，在步骤S2113中，在该帧上叠加通过反转水印图案WM的极性而获得的反转图案-WM。在步骤S2014中将k递增，然后处理返回多分支处理步骤S2011。当处理前进到步骤S2014时，在步骤S2014中将k递增，然后处理返回多分支处理步骤S2011。

当处理前进到步骤S2015时，认为对帧I_f到帧I_f+2n的处理已完成，并输出帧I_f到帧I_f+2n。在步骤S2016将f加上2n+1之后，处理返回步骤S2001，重复相似的处理。

以这种方式，可以在多个帧中嵌入相同的水印图案的同时精确地检测水印。在上面的例子中，在帧I_f+n中没有嵌入水印。即使中间有未嵌入水印的帧，有效性并不改变。

上述过程使用第二实施例的过程(31-2)至(33-2)。然而，可以使用各种变型方案，例如第一实施例的过程(1)至(3-2)、第一实施例的过程(11)至(13-2)、第二实施例的(21-1)至(23-2)。

上述数字水印检测设备的结构可以基本上类似于图4。该数字水印检测处理的过程可以基本上类似于图5。或者，该数字水印检测设备的结构可以基本上类似于图8。该数字水印检测处理的过程可以基本上类似于图9。在这两种情况下，都只需将步骤S24变为确定是否“k＝2n+1”的内容，并将步骤26变为“生成前一半(I_f至I_f+n-1)的平均图像和后一半(I_f+n+1至I_f+2n)的平均图像，并计算这些平均图像之间的差异”的处理。即使缺少图像，平均图像也只需使用存在的帧。

(第四实施例)

第一至第三实施例基本上使用两个图像(帧图像或平均图像)之间的差异。与第一至第三实施例不同，第四实施例使用帧的数量。

下面描述与第一至第三实施例不同的地方。

考虑沿正方向给连续帧I₁至I₆中的帧I₁至I₃嵌入水印图案IWM、并沿负方向给帧I₄至I₆嵌入水印IWM的情况(这里考虑了连续帧I₁至I₆，但是没有使用帧I₁和I₆)。

当设嵌入了水印的图像为“I_f″”(f表示帧编号)时，设立以下公式。

I₁″＝I₁+I_WM

I₂″＝I₂+I_WM

I₃″＝I₃+I_WM

I₄″＝I₄+(-I_WM)

I₅″＝I₅+(-I_WM)

I₆″＝I₆+(-I_WM)。

此时，考虑使用帧I₂″至I₅″来检测I_WM0。

当设按I_WM0＝-I₂″/2+3I₃″/2-3I₄″/2+I₅″/2来检测水印时，结果为

I_WM0＝-I₂/2+3I₃/2-3I₄/2+I₅/2+2I_WM＝I_R+2I_WM，其中I_R＝-I₂/2+3I₃/2-3I₄/2+I₅/2。

如图11所示，I_R＝-I₂/2+3I₃/2-3I₄/2+I₅/2＝(-I₂/2+3I₃/2)-(3I₄/2-I₅/2)中的“-I₂/2+3I₃/2”是以3∶1的比例外分图像I₂和I₃的点。这对应于预测第3.5帧(I_3.5)。“3I₄/2-I₅/2”是以1∶3的比例外分图像I₄和I₅的点，同时对应于预测第3.5帧。在本实施例中，通过计算这两个预测图像之间的差异来检测水印图案。

当比较上述差异I_R和水印信号时，如果I_R是非常小的信号分量，则可以精确地检测到水印。然而，如果I_R是大信号分量，则其不利地影响水印检测。在本实施例中，在嵌入水印时预先提取了不利地影响水印检测的分量，并在图像上叠加了所提取的分量的反转分量。结果，可以更精确地检测水印图案。

设不利地影响水印检测的信号分量为I_D，当在每个图像上叠加如下所示使用I_D修改了其水印图案的嵌入图案时，可以更精确地检测水印图案。

I_D＝-I₂/2+3I₃/2-3I₄/2+I₅/2＝I_R

I₂′＝I₂+(I_WM+I_D/4)

I₃′＝I₃+(I_WM-I_D/4)

I₄′＝I₄+(-1)(I_WM-I_D/4)

I₅′＝I₅+(-1)(I_WM+I_D/4)

如下生成检测水印图案I_WM0。

I_WM0＝-I₂′/2+3I₃′/2-3I₄′/2+I₅′/2

＝-1/2(I₂+I_D/4+I_WM)+3/2(I₃-I_D/4+I_WM)-3/2(I₄+I_D/4-I_WM)+1/2(I₅-I_D/4-I_WM)

＝-I₂/2+3I₃/2-3I₄/2+I₅/2-(1/2+3/2+3/2+1/2)I_D/4+(1/2+3/2+3/2+1/2)I_WM

＝I_D-I_D+2I_WM

＝2I_WM

当差异I_D对画面质量有影响时，象第二和第三实施例一样，使用低通滤波器等在空间方向上对差异I_D进行滤波，以获得差异f(I_D)。可以使用下面的帧来取代帧I₂′至I₅′。

I₂′＝I₂+(I_WM+f(I_D)/4)

I₃′＝I₃+(I_WM-f(I_D)/4)

I₄′＝I₄+(-1)(I_WM-f(I_D)/4)

I₅′＝I₅+(-1)(I_WM+f(I_D)/4)

在这种情况下，检测到的数字水印信号为I_WM0＝I_D-f(I_D)+2I_WM。结果，可以通过在抑制画面质量的劣化的同时简单地嵌入水印来实现具有更高检测精确度的水印嵌入系统。

如果由二维空间方向的滤波器f(x)对上述处理的结果进行滤波，则可以获得更高的检测率。换句话说，设立f(I_WM0)＝f(I_D-f(I_D)+2I_WM)＝f(I_D)-f(f(I_D))+2f(I_WM))。如果使用由f(I_D)

f(f(I_D))且I_WM f(I_WM)代表的滤波器，则效果得以提高。

在水印检测处理中，如果不只从对应于帧I₂′至I₅′的部分检测水印，而是从其周围来检测水印，则可以提供能够提高检测精确度的检测方法。

设使用帧I₁′至I₄′通过类似于前述I_WM0的方法检测的水印为I_WM-1，并设使用帧I₃′至I₆′通过相同的方法检测的水印为I_WM1(如上所述，有使用I_D的图案和使用f(I_D)的图案)。

如下描述使用I_WM-1至I_WM1的水印检测方法。

当类似于I_WM0计算得出I_WM-1至I_WM1时，获得如下水印：

I_WM-1＝-I₁′/2+3I₂′/2-3I₃′/2+I₄′/2

I_WM0＝-I₂′/2+3I₃′/2-3I₄′/2+I₅′/2(＝2I_WM)

I_WM1＝-I₃′/2+3I₄′/2-3I₅′/2+I₆′/2

其中I₁′＝I₁+I_WM，而I₆′＝I₆+(-I_WM)。

如上所述，关于I₂′至I₅′，有使用I_D的检测方法和使用f(I_D)的检测方法。下面描述前一种情况。

设用I_WM-1∶I_WM0∶I_WM1＝(-1)∶2∶(-1)的一维时间方向滤波对这些帧进行滤波，滤波的结果为I_DWM，如下获得I_DWM。

I_DWM＝-I_WM-1+2I_WM0-I_WM1

＝-(-I₁′/2+3I₂′/2-3I₃′/2+I₄′/2)+2(-I₂′/2+3I₃′/2-3I₄′/2+I₅′/2)-(-I₃′/2+3I₄′/2-3I₅′/2+I₆′/2)

＝I₁′/2-5I₂′/2+5I₃′-5I₄′+5I₅′/2-I₆′/2

＝1/2(I₁+I_WM)-5/2(I₂+I_D/4+I_WM)+5(I₃-I_D/4+I_WM)-5(I₄+I_D/4-I_WM)+5/2(I₅-I_D/4-I_WM)-1/2(I₆-I_WM)

＝I₁/2-5I₂/2+5I₃-5I₄+5I₅/2-I₆/2-15I_D/4+6I_WM

＝I₁/2-5I₂/2+5I₃-5I₄+5I₅/2-I₆/2-15(-I₂/2+3I₃/2-3I₄/2+I₅/2)/4+6I_WM

＝(I₁/2-5I₂/8-5I₃/8+5I₄/8+5I₅/8-I₆/2)+6I_WM

与独立的I_WM0相比，提高了水印的信号分量。当考虑到由于诸如图像压缩之类的各种处理而在图像中混入的噪声时，可以预期更容易地检测水印。

如果由二维空间方向的滤波器f(x)对上述处理的结果进行滤波，则可以获得更高的检测率。

换句话说，设由下面的公式代表f(I_DWM)。

f(I_DWM)＝f(I₁/2-5I₂/8-5I₃/8+5I₄/8+5I₅/8-I₆/2+6I_WM)

＝f(I₁)/2-5/8f(I₂)-5/8f(I₃)+5/8f(I₄)+5/8f(I₅)-f/2(I₆)+6f(I_WM)

I₁/2-5I₂/8-5I₃/8+5I₄/8+5I₅/8-I₆/2＝I_N

如果使用f(I_N)≤I_N而I_WM f(I_WM)的滤波器，则获得更大的效果。在许多情况下，当使用低通滤波器时，提高了检测精确度。然而根据图像或水印的形状，可以使用高通滤波器或带通滤波器。

关于本实施例的数字水印嵌入设备的结构可以基本上类似于图1(当使用I_D时)或图6(当使用f(I_D)时)，下面说明图6的情形。

在图12所示的数字水印嵌入处理的过程中，设对目标运动图像的所有帧进行水印嵌入。然而，如果帧数不是6的倍数，则不处理数量上对应于通过将帧数除以6所得余数的帧。

处理从f＝0开始，并且重复下面的操作，直到步骤S3001判定为“否”。

确定自当前帧起是否有六帧水印嵌入帧(步骤S3001)。如果没有帧I_f+6，则按原样输出所有剩余的帧(步骤S3102)，并且这一处理结束。如果在步骤S3001中有帧I_f+6，则处理前进到步骤S3002。在步骤S3002，设置参数k＝1，并且初始化缓冲器I_D。

将第(f+k)个帧I_f+k存储在帧存储器11中(步骤S3003)。如果k＜6，则给k加1(步骤S3004、S3005)，并且处理返回步骤S3003。如果重复步骤S3003至S3005的处理，并且k达到6，则步骤S3004中的“k＜6”为“假”。此时，处理前进到步骤S3105，其中计算I_D＝-I_f+2/2+3I_f+3/2-3I_f+4/2+I_f+5/2。

由信号处理器13对差异I_D进行给定的滤波处理，以生成差异f(I_D)。如果生成了差异f(I_D)，则设置k＝1(步骤S3007)。

在嵌入图案生成器14中，如果k是1-3中的任何一个，则将正水印图案I_WM设为I_EWM。如果k是4-6中的任何一个，则将负正水印图案(-I_WM)设为I_EWM(步骤S3008、S3009、S3108、S3109)。在嵌入图案生成器14中，如果k为2或4，则将f(I_D)/4加到I_EWM上。如果k为3或5，则从I_EWM中减去f(I_D)/4(步骤S3010、S3011、S3110、S3111)。如果k为1或6，则既不加也不减。

由水印叠加单元15将嵌入图案生成器14生成的图案I_EWM叠加到帧I_f+k上，从而完成水印嵌入(步骤S3012)。设置k＝k+1，以便处理下一帧(步骤S3013)，处理返回步骤S3008。当在步骤S3013，k超过6时，处理经过步骤S3008和S3108前进到步骤S3211。在步骤S3211，判定已经完成了对一个周期的水印嵌入处理，并且输出帧I_f+1至I_f+6。在步骤S3212给f加6，并且处理前进到步骤S3001。

关于本实施例的数字水印检测设备的结构可以基本上类似于图4或图8。下文中使用图8的结构，根据图13的流程图描述本实施例的数字水印检测处理的过程。在这一过程中，假设对目标运动图像中的所有帧进行水印嵌入。然而，如果帧数不是6的倍数，则不处理数量上对应于通过将帧数除以6所得余数的帧。在图13中省略对帧编号的指定。

重复以下处理，直到在步骤S4002中判定为“否”。

设置k＝1(步骤S4001)，并且确定是否存在下一帧(尚未被输入或存储的帧中的头一帧)(步骤S4002)。当存在下一帧时，输入下一帧，并将其保存到帧存储器21中(步骤S4003)。

如果“k＝6”为“假”，则给k加1(步骤S4004、S4005)，并且处理返回步骤S4002。如果重复步骤S4002-S4005的处理，并且k达到6，则在步骤S4004，“k＝6”为“真”。此时，处理前进到步骤S4105，其中，由水印提取器22根据下面的公式提取I_WM-1、I_WM0、I_WM1。

I_WM-1＝-I₁/2+3I₂/2-3I₃/2+I₄/2

I_WM0＝-I₂/2+3I₃/2-3I₄/2+I₅/2

I_WM1＝-I₃/2+3I₄/2-3I₅/2+I₆/2

在信号处理器23中，使用时间方向滤波器g(x)从I_WM-1、I_WM0、I_WM1计算I_DWM＝g(I_WM-1，I_WM0，I_WM1)(步骤S4106)。

进而用空间方向滤波器f(x)对所获得的I_DWM进行滤波，以生成I_fDWM＝f(I_DWM)(步骤S4107)。输出所生成的I_fDWM作为检测到的水印图案(步骤S4108)。清除至此所存储的帧(步骤S4109)，然后处理返回步骤S4001，重复该处理。如果在步骤S4002没有下一帧，则这一处理结束。

(第五实施例)

主要描述第五实施例与上述实施例不同的地方。与前面类似，使用帧作为图像数据来说明这一实施例。

在本实施例中，关于水印嵌入，根据给定的分类方法，将要嵌入水印的运动图像内容的每个帧分类为多个组，并对每个组进行例如上面描述的数字水印嵌入处理。关于数字水印的检测，(通过与数字水印嵌入相同的方法)将要检测的运动图像内容的每个帧分类为多个组，对每个组进行上面所描述的(对应于对该组执行的数字水印嵌入处理的)数字水印检测处理。

当将要嵌入水印图案的运动图像内容的每个帧分类为多个组时，可以给所有组都嵌入水印图案，或者可以给一些组嵌入水印图案。当将要进行水印检测的运动图像内容的每个帧分类为多个组时，可以对所有组进行水印检测，或者可以对一些组进行水印检测。

分类方法有多种变型方案。例如，有一种基于帧编号f分类的方法。有一种按将帧编号f除以预定整数n时获得的余数r(＝f mod n)来对帧分类的方法。根据这一方法，在n＝2的情况下，将帧分为余数r＝0的组(偶数编号的帧的组)和余数r＝1的组(奇数编号的帧的组)。可以适当地设置n的值。

根据运动图像的特征或处理方式来考虑各种方法，例如：基于属于帧的场景来对帧进行分类的方法(例如，检测场景变化并将属于同一场景的所有帧分入一组的方法)；基于MPEG图像中帧的画面类型(I、P、B画面)来对帧进行分类的方法(例如，根据I或P画面或B画面将帧分类为两组的方法)；基于帧的特征量(例如平均亮度)来对帧进行分类的方法(例如，计算每一帧的平均亮度，按平均亮度从高到底的级别(可以将帧设置为几个段)来对帧进行分类的方法)；以及上述方法的组合。

对每个组执行数字水印嵌入处理，并且可以对每个组独立的设置数字水印检测处理的内容。在这种情况下，可以将相同的水印图案嵌入到所有组中，或者可以根据组而将不同的水印图案嵌入到一个或多个组中。在后一种情况下，可以给一些组嵌入相同的水印图案。

可以对所有组使用相同的水印嵌入方法/水印检测方法，或者可以根据组而使用不同的水印嵌入方法/水印检测方法(在后一种情况下，可以对一些组使用相同的水印嵌入方法/检测方法)。

水印嵌入方法/检测方法可以适当地使用前述实施例中所说明的方法。一些组可以使用传统的水印嵌入方法/检测方法。

当对两个组使用相同的水印嵌入方法/检测方法时，可以对这两个组使用例如第一至第四实施例中的任何一个实施例的水印嵌入方法/检测方法。当对两个组使用不同的水印嵌入方法/检测方法时，对第一组使用第一至第四实施例中的任何一个实施例的水印嵌入方法/检测方法，并且对第二组使用与第一组不同的水印嵌入方法/检测方法。

在每一组中属于该组的帧数为I、而用于通过对该组使用的水印嵌入方法嵌入一水印图案的帧的数量为J的情况下，当I/J不小于2时，可以在该组中多次嵌入到该水印图案。此时，可以适当地设置在该组中嵌入该水印图案的次数和在哪个帧中嵌入该水印。当在一个组中多次嵌入水印图案时，可以在该组中将多种水印图案嵌入一次或多次，而不是在该组中将一种水印图案嵌入多次。

当在同一组中将同一水印图案嵌入多次时，可以仅检测一些水印图案。当在多个组中嵌入同一水印图案时，可以仅从一些组中检测该水印图案(不从剩余的组中检测水印图案)。

除了上述方法外，还有很多种变型方案可用。

如上所述，将运动图像内容的每一帧分类到多个组中，对每个组进行数字水印嵌入处理和数字水印检测处理。结果，本实施例可以提供诸如检测水印图案、实现减小检测成本或嵌入多种水印而甚至在跳过帧时也不丧失检测率的各种效果。

在特定的例子中，根据帧的编号f将要嵌入水印的运动图像内容的帧分类为两组，即偶数帧的组和奇数帧的组，对每一组执行数字水印嵌入。在第四实施例中，在连续的帧中嵌入水印，但是在本实施例中，在不连续的帧中嵌入水印。

在本实施例中，以四个帧为单位进行水印嵌入处理。设水印嵌入图像为帧If(f表示帧编号)。如下向偶数编号的帧嵌入水印。

I_2n″＝I_2n

I_2n+2″＝I_2n+2

I_2n+4″＝I_2n+4+I_WM

I_2n+6″＝I_2n+6+I_WM

如下向奇数编号的帧嵌入水印。

I_2n+1″＝I_2n+1+(-I_WM)

I_2n+3″＝I_2n+3+(-I_WM)

I_2n+5″＝I_2n+5

I_2n+7″＝I_2n+7

设如下获得从偶数编号的帧提取的、不利地影响水印检测的分量I_DE。

I_DE＝-I_2n/2+3I_2n+2/2-3I_2n+4/2+I_2n+6/2

设如下获得从奇数编号的帧提取的、不利地影响水印检测的分量I_DO。

I_DO＝-I_2n+1/2+3I_2n+3/2-3I_2n+5/2+I_2n+7/2

此时，如果如下修改四个偶数编号的帧，则可以更精确地检测水印图案。

I_2n′＝I_2n

I_2n+2′＝I_2n+2-I_DE/3

I_2n+4′＝I_2n+4+I_WM+I_DE/3

I_2n+6′＝I_2n+6+I_WM

类似地，如果如下修改四个奇数编号的帧，则可以更精确地检测水印图案。

I_2n+1′＝I_2n+1+(-I_WM)+I_DO/4

I_2n+3′＝I_2n+3+(-I_WM)-I_DO/4

I_2n+5′＝I_2n+5+I_DO/4

I_2n+7′＝I_2n+7-I_DO/4

在这种情况下，如下表示从偶数编号的帧检测到的检测水印图案I_WME。

I_WME＝-I_2n′/2+3I_2n+2′/2-3I_2n+4′/2+I_2n+6′/2

＝-I_2n/2+3I_2n+2/2-I_DE/2-3I_2n+4/2-3I_WM/2-I_DE/2+I_2n+6/2+I_WM/2

＝I_DE-I_DE-I_WM

＝-I_WM

类似地，如下表示从奇数编号的帧检测到的检测水印图案I_WMO。

I_WMO＝-I_2n+1′/2+3I_2n+3′/2-3I_2n+5′/2+I_2n+7′/2

＝-I_2n+1/2+I_WM/2-I_DO/8+3I_2n+3/2-3I_WM/2-3I_DO/8-3I_2n+5/2+3I_DO/8+I_2n+7/2-I_DO/8

＝I_DO-I_DO-I_WM

＝-I_WM

在上面的实施例中，尽管奇数编号的帧和偶数编号的帧之间校正系数不同，但是两种帧都可以检测到同等精确的图案。如上所述，叠加在每个帧上的水印图案的系数不是一种，而是具有各种变型方案。

如上所述，从偶数编号的帧和奇数编号的帧都可以检测出水印图案。

同样类似于上面的实施例中的第四实施例，可以使用通过用高通滤波器在其空间方向上对例如I_DE和I_DO滤波而获得的f(I_DE)和f(I_DO)来取代I_DE和I_DO。

在图14所示的本实施例的水印嵌入处理的过程中，对目标运动图像的所有帧进行水印检测。然而，如果帧数不是8的倍数，则不处理数量上对应于通过将帧数除以8所得余数的帧。

处理从f＝0开始。首先，作为初始化工作，设置i＝f(0)，j＝f+1(0)，m＝0，n＝0(步骤S5001)。

然后，重复下面的处理，直到在步骤S5002中判定为“否”。

首先对帧进行分类。换句话说，检查是否存在帧I_f(步骤S5002)。如果存在帧I_f，则处理前进到步骤S5004，其中检查f是偶数还是奇数。

如果f是偶数，则处理前进到步骤S5005以处理偶数编号的帧。如果f是奇数，则处理前进到步骤S5505以处理奇数编号的帧。

下面将描述f为偶数的情况和f为奇数的情况。从步骤S5005描述f为偶数的情况。

当f为偶数时，将帧I_f存储在缓冲器中(步骤S5005)，并给m和f都加1(步骤S5006)。检查是否m＝4(步骤S5007)。当m＝4时(即，当在缓冲器中存储了四个偶数编号的帧f时)，处理前进到步骤S5008。否则，即当m小于4时，处理返回步骤S5002。

在步骤S5008，使用四个所存储的偶数编号的帧，按上述公式(I_DE＝-I_2n/2+3I_2n+2/2-3I_2n+4/2+I_2n+6/2)，生成信号分量I_DE。在步骤S5009，通过对分量I_DE进行滤波而生成f(I_DE)。接着，在步骤S5010，将m设置为0，并且处理前进到步骤S5011。

检查m是不大于1还是不小于2(步骤S5011)。当m不大于1时，初始化叠加图案I_EWM，以使其不包括嵌入分量(步骤S5012)，并且处理前进到步骤S5013。当在步骤S5011中m不小于2时，将嵌入图案I_EWM设置为水印图案I_WM，并且处理前进到步骤S5013(步骤S5112)。

检查m是1还是2(步骤S5013)。当m是1时，通过减法将f(I_DE/3)叠加在叠加图案I_EWM上(步骤S5014)，并且处理前进到步骤S5015。当m是2时，通过加法将f(I_DE/3)叠加在水印图案I_EWM上(步骤S5014)，并且处理前进到步骤S5015。当m既不是1也不是2时，跳过步骤S5014，并且处理前进到步骤S5015。在步骤S5015，将I_EWM叠加在缓冲器中存储的帧I_i+2m，并且输出叠加的帧I_i+2m。

给m加1(步骤S5016)，在步骤S5017检查m是否为4(即，是否输出了所有所存储的偶数编号的帧)。如果输出了所有所存储的偶数编号的帧，则处理前进到步骤S5018。当还有尚未输出的帧时，处理前进到步骤S5011。在步骤S5018，设置i＝f，m＝0，并且处理返回步骤S5002。

从步骤S5505描述在步骤S5004中确定f为奇数编号的帧的情况。

当f为奇数时，将帧If存储在缓冲器中(步骤S5505)，并给n和f都加1(步骤S5506)。检查是否n＝4(步骤S5507)。当n＝4时(即，当在缓冲器中存储了四个奇数编号的帧时)，处理前进到步骤S5508。否则，即当n小于4时，处理返回步骤S5002。

在步骤S5508，使用四个所存储的奇数编号的帧，按上述公式(I_DO＝-I_2n+1/2+3I_2n+3/2-3I_2n+5/2+I_2n+7/2)，生成I_DO。在步骤S5509，通过对I_DO进行滤波而生成处理后的分量f(I_DO)。在步骤S5510，将n设置为0，并且处理前进到步骤S5511。

检查n是不大于1还是不小于2(步骤S5511)。当n不大于1时，将叠加图案I_EWM设置为-I_WM，换句话说，将水印图案I_WM的反转图案设置为要作为水印叠加的图案I_EWM(步骤S5512)，并且处理前进到步骤S5513。当n不小于2时，初始化叠加图案I_EWM，以使其不包括嵌入分量(步骤S5612)，并且处理前进到步骤S5513。

在步骤S5513，当n是偶数时，通过加法将分量f(I_DO)/4叠加在步骤S5512或步骤S5612中设置的图案I_EWM上，并且处理前进到步骤S5514。当n是奇数时，通过减法将分量f(I_DO)/4叠加在步骤S5512或步骤S5612中设置的图案I_WM上，并且处理前进到步骤S5514。在步骤S5514，将图案I_EWM叠加在缓冲器中存储的帧I_j+2n，并且输出叠加的帧I_j+2n。

给n加1(步骤S5515)，在步骤S5516检查n是否为4(换句话说，是否输出了所有所存储的奇数编号的帧)。如果输出了所有所存储的奇数编号的帧，则处理前进到步骤S5517。当还有尚未输出的帧时，处理前进到步骤S5511。在步骤S5517，设置j＝f，n＝0，并且处理返回步骤S5002。

重复进行上述处理。如果在步骤S5002中没有If。则输出缓冲器中存储的尚未输出的帧(步骤S5003)，并且这一处理结束。

有可能通过如上所述在帧中嵌入水印，从偶数编号的帧和奇数编号的帧分别独立地检测水印图案。因此，即使帧频变为一半，也可以从偶数编号的帧或奇数编号的帧中检测水印图案(相对于帧频转换，可以保持鲁棒性)。

即使在水印检测时没有控制帧频，当设定仅从偶数编号的帧或奇数编号的帧检测水印时，单位时间的水印检测处理减半。可以从偶数编号的帧和奇数编号的帧都检测水印，以提高检测精确度。

例如在帧频降低到1/3时希望检测水印的情况下，只需在步骤S5004按将f除以3而获得的余数，而不是按偶数编号的帧和奇数编号的帧的分类方法，对帧进行分类。

在上述实施例中，不论在偶数编号的帧还是奇数编号的帧中都每四帧计算用于修改水印图案的分量。然而，并不总是需要每四帧。而且，在偶数编号的帧和奇数编号的帧之间不需要保持相同的条件。例如，偶数编号的帧可以设置为每两帧，而奇数编号的帧可以设置为每五帧。以这种方式，可以任意不对称地设置帧。

在上述实施例中，在偶数编号的帧和奇数编号的帧中都嵌入相同的水印图案I_WM，但是可以在其中嵌入不同的水印图案。在这种情况下，如果没有转换帧频，则可以检测到两种水印。

当在帧频转换后希望检测两种水印时，在步骤S5004按将f除以4而获得的余数对帧进行分类。在步骤S5004，基于f对帧进行分类，但是分类不需要总是依赖于f。可以按其它的分类方法对帧进行分类，例如基于图像的特征量的分类方法。

上述功能可以通过描述为软件来实现，并由具有适当的机构的计算机来处理。

本实施例可以作为用于使计算机执行给定程序、或使计算机起给定措施的作用、或使计算机实现给定功能的计算机程序而实现。

其可以作为记录该计算机程序的计算机可读记录介质而实现。

根据本发明，可以在抑制画面质量的劣化的同时提高数字水印的检测精确度。

本领域技术人员可以容易地想到其它的优点和修改。因此，本发明在其广义的方面上不限于这里示出和描述的具体细节和代表性实施例。因此，可以在不脱离所附权利要求及其等价所限定的该总体发明构思的精神或范围的情况下，进行各种修改。

Claims (12)

1.一种数字水印嵌入设备，用于在视频内容的多个帧中的每一个中嵌入作为数字水印的图像图案，包括：

水印提供单元，配置为提供数字水印；

获取单元，配置为基于视频内容的多个帧的图像数据而从该多个帧中获取一图像分量，该图像分量影响检测该数字水印的图像图案时出现的误差；

生成单元，配置为使用该数字水印的图像图案和该图像分量，生成第一图像图案和第二图像图案；以及

叠加单元，配置为将第一图像图案和第二图像图案分别叠加到该多个帧上，以消除或减小该图像分量，

其中，所述多个帧是两个帧，

所述图像分量由表示两个帧的图像数据之间的差异的差分图像形成，

对应于两个帧中的一个帧的第一图像图案由与该数字水印的图像图案相同的图案形成，

第二图像图案由通过反转该差分图像或对该差分图像进行信号处理而形成的图像、并将反转后的图像除以2而获得的图案形成，

对应于两个帧中的另一个帧的第一图像图案由通过反转该数字水印图像图案而获得的图案形成，并且

第二图像图案由通过将该差分图像或通过对该差分图像进行信号处理而形成的图像除以2而获得的图案形成。

2.一种数字水印嵌入设备，用于在视频内容的多个帧中的每一个中嵌入作为数字水印的图像图案，包括：

水印提供单元，配置为提供数字水印；

获取单元，配置为基于视频内容的多个帧的图像数据而从该多个帧中获取一图像分量，该图像分量影响检测该数字水印的图像图案时出现的误差；

生成单元，配置为使用该数字水印的图像图案和该图像分量，生成第一图像图案和第二图像图案；以及

叠加单元，配置为将第一图像图案和第二图像图案分别叠加到该多个帧上，以消除或减小该图像分量，

其中，该多个帧是2n个帧，其中n为自然数，

该图像分量包括表示从该2n个帧中的n个帧的图像数据得出的第一平均图像和从该2n个帧中的剩余n个帧得出的第二平均图像之间的差异的差分图像，

对应于该n个帧中的每一个的第一图像图案是与数字水印的图像图案相同的图案，

第二图像图案由通过反转差分图像或对差分图像进行信号处理而形成的图像、并将反转后的图像除以2而获得的图案形成，

对应于该2n个帧中的剩余n个帧中的每一个的第一图像图案由通过反转该数字水印图像图案而获得的图案形成，并且

第二图像图案由通过将差分图像或通过对差分图像进行信号处理而形成的图像除以2而获得的图案形成。

3.一种数字水印嵌入设备，用于在视频内容的多个帧中的每一个中嵌入作为数字水印的图像图案，包括：

水印提供单元，配置为提供数字水印；

获取单元，配置为基于视频内容的多个帧的图像数据而从该多个帧中获取一图像分量，该图像分量影响检测该数字水印的图像图案时出现的误差；

生成单元，配置为使用该数字水印的图像图案和该图像分量，生成第一图像图案和第二图像图案；以及

叠加单元，配置为将第一图像图案和第二图像图案分别叠加到该多个帧上，以消除或减小该图像分量，

其中，所述多个帧为四个帧，

所述图像分量包括预测差分图像，所述预测差分图像是由叠加通过将四个帧的图像数据分别乘以特定的因子生成的图像而获得的，

对应于所述四个帧中的第一帧的第一图像图案是与数字水印的图像图案相同的图案，

第二图像图案由将该预测差分图像除以4而获得的图像、或对该预测差分图像进行信号处理并将信号处理后的图像除以4而获得的图像形成，

对应于第二帧的第一图像图案由与数字水印的图像图案相同的图案形成，

第二图像图案由反转该预测差分图像并将反转后的图像除以4而获得的图像、或对该预测差分图像进行信号处理、反转经信号处理后的图像并将反转后的图像除以4而获得的图像形成，

对应于第三帧的第一图像图案由通过反转数字水印的图像图案而生成的图案形成，

第二图像图案由将该预测差分图像除以4而获得的图像、或对该预测差分图像进行信号处理并将信号处理后的图像除以4而获得的图像形成，

对应于第四帧的第一图像图案由通过反转数字水印的图像图案而获得的图案形成，

第二图像图案由反转该预测差分图像并将反转后的图像除以4而获得的图像、或对该预测差分图像进行信号处理、反转经信号处理后的图像并将反转后的图像除以4而获得的图像形成。

4.根据权利要求1至3中任一项所述的数字水印嵌入设备，其中，生成单元通过叠加第一图像图案和第二图像图案来生成要嵌入该多个帧中的一个帧中的图像图案，而叠加单元将该图像图案叠加在这一个帧上。

5.根据权利要求1至3中任一项所述的数字水印嵌入设备，其中，叠加单元分别将第一图像图案和第二图像图案叠加在一个帧上。

6.根据权利要求1至3中任一项所述的数字水印嵌入设备，还包括配置为对该图像分量执行信号处理的信号处理单元，其中，生成单元基于进行了信号处理的图像分量来生成要嵌入所述多个帧中的每一个中的第二图像图案。

7.根据权利要求6所述的数字水印嵌入设备，其中，信号处理单元包括针对时间方向的一维滤波器、针对空间方向的二维滤波器或针对空间-时间方向的三维滤波器。

8.根据权利要求1至3中任何一项所述的数字水印嵌入设备，其中，还包括分类单元，配置为根据预定的分类方式将运动图像内容的帧分类为多个组，并且其中获取单元包括计算单元，该计算单元配置为对每个所分类的组独立地计算图像分量，以确定第一图像图案和第二图像图案。

9.根据权利要求8所述的数字水印嵌入设备，其中，分类方式包括根据帧编号对帧进行分类的方式、根据属于帧的场景对帧进行分类的方式、根据帧的画面类型对帧进行分类的方式以及根据帧的特征量对帧进行分类的方式中的一个。

10.一种数字水印嵌入方法，用于使用视频内容的多个帧嵌入作为数字水印的图像图案，包括：

基于视频内容的多个帧的图像数据而从该多个帧中获取图像分量，该图像分量影响检测该数字水印的图像图案时出现的误差；

使用该数字水印的图像图案和该图像分量，生成第一图像图案和第二图像图案；以及

将第一图像图案和第二图像图案分别叠加到该多个帧上，以消除或减小该图像分量，

其中，所述多个帧是两个帧，

所述图像分量由表示两个帧的图像数据之间的差异的差分图像形成，

对应于两个帧中的一个帧的第一图像图案由与该数字水印的图像图案相同的图案形成，

第二图像图案由通过反转该差分图像或对该差分图像进行信号处理而形成的图像、并将反转后的图像除以2而获得的图案形成，

对应于两个帧中的另一个帧的第一图像图案由通过反转该数字水印图像图案而获得的图案形成，并且

第二图像图案由通过将该差分图像或通过对该差分图像进行信号处理而形成的图像除以2而获得的图案形成。

11.一种数字水印嵌入方法，用于使用视频内容的多个帧嵌入作为数字水印的图像图案，包括：

基于视频内容的多个帧的图像数据而从该多个帧中获取图像分量，该图像分量影响检测该数字水印的图像图案时出现的误差；

使用该数字水印的图像图案和该图像分量，生成第一图像图案和第二图像图案；以及

将第一图像图案和第二图像图案分别叠加到该多个帧上，以消除或减小该图像分量，

其中，该多个帧是2n个帧，其中n为自然数，

该图像分量包括表示从该2n个帧中的n个帧的图像数据得出的第一平均图像和从该2n个帧中的剩余n个帧得出的第二平均图像之间的差异的差分图像，

对应于该n个帧中的每一个的第一图像图案是与数字水印的图像图案相同的图案，

第二图像图案由通过反转差分图像或对差分图像进行信号处理而形成的图像、并将反转后的图像除以2而获得的图案形成，

对应于该2n个帧中的剩余n个帧中的每一个的第一图像图案由通过反转该数字水印图像图案而获得的图案形成，并且

第二图像图案由通过将差分图像或通过对差分图像进行信号处理而形成的图像除以2而获得的图案形成。

12.一种数字水印嵌入方法，用于使用视频内容的多个帧嵌入作为数字水印的图像图案，包括：

基于视频内容的多个帧的图像数据而从该多个帧中获取图像分量，该图像分量影响检测该数字水印的图像图案时出现的误差；

使用该数字水印的图像图案和该图像分量，生成第一图像图案和第二图像图案；以及

将第一图像图案和第二图像图案分别叠加到该多个帧上，以消除或减小该图像分量，

其中，所述多个帧为四个帧，

所述图像分量包括预测差分图像，所述预测差分图像是由叠加通过将四个帧的图像数据分别乘以特定的因子生成的图像而获得的，

对应于所述四个帧中的第一帧的第一图像图案是与数字水印的图像图案相同的图案，

第二图像图案由将该预测差分图像除以4而获得的图像、或对该预测差分图像进行信号处理并将信号处理后的图像除以4而获得的图像形成，

对应于第二帧的第一图像图案由与数字水印的图像图案相同的图案形成，

第二图像图案由反转该预测差分图像并将反转后的图像除以4而获得的图像、或对该预测差分图像进行信号处理、反转经信号处理后的图像并将反转后的图像除以4而获得的图像形成，

对应于第三帧的第一图像图案由通过反转数字水印的图像图案而生成的图案形成，

第二图像图案由将该预测差分图像除以4而获得的图像、或对该预测差分图像进行信号处理并将信号处理后的图像除以4而获得的图像形成，

对应于第四帧的第一图像图案由通过反转数字水印的图像图案而获得的图案形成，

第二图像图案由反转该预测差分图像并将反转后的图像除以4而获得的图像、或对该预测差分图像进行信号处理、反转经信号处理后的图像并将反转后的图像除以4而获得的图像形成。

Images