CN101432774B - 数字加水印方法 - Google Patents

Abstract

本发明涉及一种对二进制流加水印的方法，该二进制流从对系数集合的编码产生，该系数集合包括通过预测编码编码的至少一个系数，称为预测编码系数。该方法特征包含以下步骤：a)在所述二进制流中，识别表示所述预测编码系数的第一二进制字；b)根据至少一个加水印比特，从所述预测编码系数，计算修改系数；c)将所述修改系数编码为第二二进制字；以及d)在所述二进制流中，将所述第一二进制字替换为所述第二二进制字。

Description

数字加水印方法

技术领域

本发明涉及视频加水印方法。本发明技术领域为对压缩视频流加水印。

背景技术

在实践中，人们经常要操纵视频，以压缩格式(MPEG1、MPEG2、MPEG4-H264、divX、VC1、DV25等等)来存储与交换视频，这使之可能减少传送比特率、存储空间的大小、或者处理时间。人们常常希望对这些视频加水印：例如，对于VoD(点播视频)应用，人们希望利用每个接收者的唯一的标识符(指纹)对每个所发送的流加水印(从而在盗版的情况下，可以找到犯法的接收者)。在该应用中，视频是以压缩格式(例如MPEG2或H264)存储和发送的。刚好在请求文件的用户下载该文件之前，插入水印。该视频在其像素形式下有无效的水印：需要对其解压缩、加水印、以及重新压缩。除开计算时间的过度开销，解压缩/重新压缩视频的动作会不利地影响其视觉品质，并且会削弱已经被插入的水印。

除对于不可见性、粗糙性、以及能够被嵌入的需求之外，流加水印系统大部分还需要能够迅速地写入，并且不增加视频流的大小，甚至产生与原始流的大小严格一致的流。该最后一项要求难于满足，因为对图像数据本身的任何改变都可能导致对视频流的非常大的改变，因此很可能会改变其大小。一般地，对流加水印的动作会增加其大小，当网络中的比特率有限时这会产生问题。

发明内容

本发明的目的在于通过提出一种流标记系统，来克服这些缺点中的至少一个缺点，该流标记系统较迅速，并且生成大小接近原始流的流。

为此，本发明涉及一种对二进制流加水印的方法，该二进制流从对表示图像的序列的系数集合的编码产生，该系数集合包括通过预测编码而编码的至少一个DC系数，所述DC系数被称为预测编码的DC系数。该方法包含以下步骤：

a)在所述二进制流中，识别表示所述预测编码的DC系数的第一二进制字；

b)根据至少一个加水印比特，从所述预测编码的DC系数计算修改的DC系数；

c)将所述修改的DC系数编码为第二二进制字；以及

d)在所述二进制流中，将所述第一二进制字替换为所述第二二进制字；该方法还包括步骤：仅在intra_dc_precision大于第一门限的图像的部分上实施所述步骤。

有利的是，通过修改预测编码系数，使加水印方法更鲁棒，同时将加了水印的流的大小保持接近于原始流的大小。

根据本发明的一方面，仅在时间可见性标准低于第二门限的图像的部分上实施所述步骤。

根据本发明的一方面，其中所述时间可见性标准如下：

$C_3=\frac{1}{\underset{t\≠t_I}{\mathrm{\Σ}}\underset{b}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}{V}^i{(t,b)}^2}$

其中：

-t是所述帧内图像的时间邻域中的图像的索引；

-t_I是所述帧内图像的索引；以及

-Vⁱ(t，b)是索引为t的图像中块b的第i个运动向量。

根据本发明的一方面，仅在空间可见性标准的值低于第三门限的图像的部分上实施所述步骤。

根据本发明的一方面，在颜色数目的倒数低于第四门限的图像的部分上实施所述步骤。

根据本发明的一方面，计算作为所述预测编码的DC系数与从所述至少一个加水印比特导出的标记值之和的所述修改的DC系数。

具体实施方式

此处的描述基于MPEG 2格式的具体情况。根据该优选实施例，将流的特定参数和系数替换为其他值，以插入水印。为了保证水印的鲁棒性，可以有利地修改DC系数。

就用根据MPEG 2的差分编码来编码的DC系数描述的本发明可以用于用预测编码来编码的其他类型的系数。

在MPEG 2中，有三种类型的编码图像：I(帧内)图像、P(预测)图像、以及B(双向)图像。帧内图像被独立编码，而P与B图像基于一或两个参考图像通过时间预测来编码。对于P图像的(特有的)参考图像必须为先前的帧内图像。对于B图像，(多个)参考图像为先前或者后继的帧内或预测图像。不同类型的图像被组合到GOP(画面组)中，每个GOP都包含至少一个帧内图像。

将每个图像划分为16x16大小的宏块。然后将每个宏块细分为8x8大小的4个块。每个宏块可以为I、P或者B类型。I图像将仅包含I块，而P或B图像可以包含I型块。然后将宏块组合为切片，切片包含特定数目的连续宏块，所有这些宏块都位于相同的垂直位置，即在相同宏块行之上。

在编码之前，将帧内宏块的每个块进行DCT变换(DCT表示离散余弦变换)：因此对于每个块获得一个DC分量(频率0，0)与63个AC系数。然后通过预测，编码称为当前DC系数的当前块的DC系数。传送该当前DC系数与称为先前DC系数的、先前块的DC系数之间的差的值。以下以伪码形式在阵列中显示块的语法，其规则与ISO/IEC 13818-2文档中的相同。具体地，运算符′＝＝′表示“等于”。运算符′！′为“非”逻辑运算符。

block(i){	比特数	助记符
			if(pattern_code[i]){
if(macroblock_intra){
			if(i＜4){
dct_dc_size_luminance	2-9	vlclbf
			if(dct_dc_size_luminance！＝0)
dct_dc_differential	1-11	Uimsbf
			}else{
dct_dc_size_chrominance	2-10	Vlclbf
			if(dct_dc_size_chrominance！＝0)
dct_dc_differential	1-11	Uimsbf
			}
}else{
			First DCT coefficient	2-24	vlclbf
}
			while(nextbits()！＝End of block)
Subsequent DCT coefficients	3-24	vlclbf
			End of block	2 or 4	vlclbf

}
			}

dct_dc_differential编码当前DC系数与先前DC系数之间的差的值。其大小为dct_dc_size比特，值在0与11之间(如果其等于0，则不发送dct_dc_differential，并且与先前块的差为零)。对于亮度，dct_dc_size本身由大小在2与9比特之间的变长代码(VLC)编码。变长编码表根据正在处理的是亮度还是色度分量之一而不同。在解码器侧，通过将预测算子(即先前DC系数)的值加到差分dct_dc_differential的值，来获得当前块的DC值。然后(用于下一块的)预测算子采用当前DC系数的值。

在以下情况下重置预测算子：

-在切片开始处；

-当遇到非帧内块时；

-当遇到未编码的宏块(或者“被跳过的宏块”)时。

预测算子的重置值依赖于在结构picture_coding_extension中传送的参数intra_dc_precision。

通过修改帧内块的DC系数的值，来插入水印。可以通过修改参数dct_dc_differential，直接在流中进行该修改。如果必要的话，如果在加水印之后dct_dc_differential所采用的新值无法在dct_dc_size个比特上编码，还需要修改后一个值。在这种情况下，所获得的流的大小可能在加水印之后变化，因为dct_dc_size是用变长代码编码的。如果希望严格维持流的大小，则可以从加水印中排除系数dct_dc_differential，其修改也意味着修改dct_dc_size。根据一种变体，只有当所获得的变长代码字大小相同时，才批准对dct_dc_size的改变。还可能会发生以下情况：VLC字的大小的轻微增加会被填充比特数目的减少补偿。因此在该后一种情况下，不修改流的大小。本发明的一项优点在于其实现简单。实际上，对流加水印只意味着修改非常少数目的参数。有利的是，由于DC系数的差分编码，这些修改会在每个修改后的切片上传播(因此会使水印更鲁棒)。因此，加水印操作可以非常快。该方法保持了原始流的大小，如果控制dct_dc_size的大小，则可以严格保持原始流的大小；否则可以近似地保持原始流的大小。

该方法还通过修改流的非常小的部分，使之可能在对应图像的重要部分上插入水印。这是由于DC系数的差分编码。对于用预测编码来编码的系数，可以获得同样的效果。在实践中，已经知道DC系数的编码是差分的：对于块上dct_dc_differential的值的修改会导致实际对切片中所有后继(即在当前块的右边)块上的DC的修改。由此增加了水印的鲁棒性。

可以将水印插入到帧内图像和/或P与B图像的帧内块之上。在后一种情况下，水印仅在切片中跟随被修改的块的帧内块上传播，

以下为对水印调制算法的更确切的描述。

根据第一实施例，使用加性调制算法来插入水印。设bi为要插入的水印比特(bi＝1或-1)。利用加水印密钥和/或可见性标准，选择一组N个切片S(k)。对于每个S(k)，识别根据上述的DC编码的大小准则被当作可修改块的第一宏块B(k，j)，其中(k，j)为该块的坐标。然后，修改块B(k，j)的参数dct_dc_differential(k，j)：

dct_dc_differential’(k，j)＝dct_dc_differential(k，j)+α.bi

dct_dc_differential’(k，j)为修改值，α为幅度因子(为整数，例如α＝1)，其可以周来控制水印的可见性与鲁棒性。其可以从一个切片到下一个切片地变化。如果dct_dc_differential’(k，j)的大小与dct_dc_differential(k，j)的大小不同，则也相应地修改dc_size的值。

根据第二实施例，使用置换调制算法来插入水印。该算法从Zhao与Koch算法导出，以以下方式工作。考虑一对切片S(k1)、S(k2)。然后修改S(k1)和/或S(k2)，来获得顺序关系：

Avg(S’(k1))＝Avg(S’(k2))+αbi(等式1)

Avg(S)表示在切片S中包含的所有像素的亮度值的平均值。例如，可以如下获得该顺序关系：

d＝Avg(S(k2))-Avg(S(k1))+αbi  (等式2)

Avg(S’(k1))＝Avg(S(k1))+d

Avg(S’(k2))＝Avg(S(k2))

首先，例如等式2计算d。然后，如下通过修改第一可修改块B(k，j)(其根据上述的DC编码的大小标准来定义)的参数dct_dc_differential(k，j)，来获得S’(k1)：

dct_dc_differential’(k，j)＝dct_dc_differential(k，j)+d

切片S’(k2)保持未变。然后如果需要，记录参数dct_dc_size。也可以通过修改S(k1)与S(k2)两者、或者仅修改S(k2)，来获得等式1的顺序关系。

为了减少水印的可见性，可以选择平均值相同(或者非常类似)的切片对。利用以上方法，修改切片的所有部分或者非常大的部分。

根据第二实施例的变体，可以减少变化的范围。实际上，修改块B(x₀，y)的系数DC会影响块B(x＞＝x₀，y)(即切片中的所有后继块)的平均值。该技术方案具有以下优点：通过仅选择性地修改流，在切片上传播修改，即水印，并且由此维持流大小。x的值越大，修改的范围越受限制，并且因此所插入的水印的可见性越受限制(但是鲁棒性也越会经受被减少的风险。)因此，在将d(d可能为正或者负)加到块B(x₀，y)的DC系数之后，可以从块B(x₁，y)，x₁＞x₀中减去d。该运算使之可以发现对于任何x＞＝x₁与原始值相同的DC值。该方法使之可以将切片的DC系数修改几次，例如用来植入不同的水印比特。该技术方案使之可以减少水印的可见性。

根据本发明的优选实施例，控制水印的可见性。实际上，修改块的参数dct_dc_differential的值对于品质的影响较大。在实践中，该修改被传播到切片中的所有后继块。dct_dc_differential也可以仅采用整数值。因此，对于DC的最小可能修改幅度为intra_dc_mult，其依赖于intra_dc_precision。该量化可能会引起可见的不连续性，或者在时间上或者在空间上。在图像的相对均匀区域上，可能会察觉到加水印的切片与刚好在之上或者刚好在之下的切片(如果其还没有加水印)之间的边界。类似地，如果亮度在一个图像到另一图像上变化不大，则水印引起的修改可以使之出现令人烦恼的闪烁。

可以使用不同的标准来控制水印的可见性：

-幅度标准；

-时间标准；

-空间标准。

幅度标准

可以通过仅标记其中intra_dc_precision大于给定门限的图像，来控制可见性。

也可以通过将intra_dc_precision的值增加δ，来减少修改幅度。然后，为维持相同的趋势，必须将DC的编码值乘以2^δ。为了作到这一点，只要将dct_dc_size的值增加δ、并且将dct_dc_differential的值乘以2(加0)，就足够了。

时间标准

序列中强烈的时间性活动，即大的运动或者变化，有助于掩盖水印，并且使其可见性减低。但是，位于静态序列中的时间性变化非常可见。实际上，其产生了闪烁效应。另外，在编码中使用的运动补偿可以帮助降低水印可见性。如果该序列非常静态，则运动补偿是有效的，并且I图像与块的视觉信息的大部分会被传播到随后的P与B图像。然后，在I块上插入的水印本身会被传播到P与B图像，这会增加其鲁棒性，并且减少其可见性(闪烁较少)。

为了测量可见性的时间标准，可以考虑图像区域z上的像素亮度值的平均值M(t)。这些区域优选为切片，其也可以为成组的切片、块、宏块、像素、或者整个图像。第一标准包括：加水印，解压所获得的MPEG流，然后测量可见性(解压可以是部分的，即只考虑所关心的图像组的图像)。为此，测量关于加了水印的帧内图像(或者块)的时间性活动差：

$C_1=\frac{{(M^{\′}\left(t_I\right)-M^{\′}(t_I-1))}^2+{(M^{\′}\left(t_I\right)-M^{\′}(t_I+1))}^2}{\underset{t\∈T1}{\mathrm{\Σ}}{(M^{\′}\left(t\right)-M^{\′}(t-1))}^2}$

其中，M’(t)为在对时间索引t的图像加了水印并且从MPEG流重构了该图像之后，该图像中的区域的像素亮度值的平均值；

M’(t_I)为时间索引t的原始图像中的区域的像素亮度值的平均值；以及

T1为围绕帧内图像的一组图像。

例如T1＝[t_I-τ；t_I-1]∪[t_I+1；t_I+τ]，其中τ为与计算运动所考虑的图像的数目相关联的参数，该图像数目等于2*τ。为了计算C1，还可以仅考虑在帧内之前的图像、或者仅考虑在帧内之后的图像。

如果C1较大，则水印的可见性较大：因此为了控制水印的不可察觉性，选择区域使得C₁＜s₁，s₁为门限。在其中C₁＞s₁的区域中，将水印替换为原始数据。

请注意：如果分母为零，则不定义C₁；但是通过比较分子与s₁乘分母，获得等价的标准。这对以后定义的所有标准都适用。

以上标准的缺点为其未考虑原始帧内图像的特性；具体地，如果在帧内图像中发生平面变化(对于强力编码器经常会发生这一情况)，则C₁非常大，并且因此不满足可见性标准，但是水印会被完全遮盖。为了克服该缺点，我们提出考虑关于原始流中已经存在的帧内的时间性差异：

$C_2=\frac{{(M^{\′}\left(t_I\right)-M^{\′}(t_I-1))}^2+{(M^{\′}\left(t_I\right)-M^{\′}(t_I+1))}^2}{\underset{t\∈T2}{\mathrm{\Σ}}{(M^{\′}\left(t\right)-M^{\′}(t-1))}^2}$

令T2为围绕帧内图像的图像集合，包括该帧内图像，例如

T2＝[t_I-τ；t_I+τ]

另一标准包括：根据流的运动向量，评估区域中运动的重要性，例如：

$C_3=\frac{1}{\underset{t\≠t_I}{\mathrm{\Σ}}\underset{b}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}{V}^i{(t,b)}^2}$

Vⁱ(t，b)为图像t(非帧内)块N°b的第i个运动向量(在P图像中，i等于1，在B图像中i等于1或2)。

该标准提供了以下益处：计算可见性仅需要解压小部分流，即表示运动向量的那些部分。因此计算C₃快了很多。

对于每个标准，可以根据实际的观察到的可见性，使用不同的门限。

空间标准

为了估计加水印所产生的空间不连续性的视觉影响，可以使用本领域公知的任意信噪比估计算子，例如：

$C_4=\frac{\underset{x,y}{\mathrm{\Σ}}{(M^{\′}(x,y)-M(x,y))}^2}{\underset{x,y}{\mathrm{\Σ}}M{(x,y)}^2}$

可以在空间域或者在频率域中(DCT)进行该运算。例如，可以在频率域中，仅计算DC系数上的C4。

请注意，水印修改了图像中紧密相关的区域(切片或者切片组)。因此在视觉上，存在以下风险：看到在标记和未标记区域之间出现转换“线条”。另一标准包括：比较在标记和未标记区域之间、或者两个不同标记的区域之间的转换区域中的图像的梯度的垂直分量的幅度。

请记住，梯度定义为：

$\stackrel{\→}{\▿}I(x,y)=(\frac{\∂I(x,y)}{\∂x},\frac{\∂I(x,y)}{\∂y})$

可以通过在垂直方向高通的任何滤波器，在离散域中接近垂直分量 ${\▿}_{y}I(x,y)=\frac{\∂I(x,y)}{\∂y},$ 例如

$\frac{I(x,y+2)+I(x,y+1)-I(x,y)-I{(x,y-1)}^8}{4}$

依赖于是否希望定位转换、或者相反考虑较长范围的修改，可以考虑长度或长或短的滤波器。垂直高通滤波器可以与水平低通滤波器结合，以增加一般变化趋势。类似地，可以通过考虑沿垂直轴的DC系数的变化，在DCT域中计算长范围梯度。

可以使用绝对标准：

$C_5=\underset{x}{\mathrm{\Σ}}{\left({\▿}_y{I}^{\′}(x,y)\right)}^2$

或者相对标准：

$C_6=\frac{\underset{x}{\mathrm{\Σ}}{\left({\▿}_y{I}^{\′}(x,y)\right)}^2}{\underset{x}{\mathrm{\Σ}}{\left({\▿}_{y}I(x,y)\right)}^2}$

y为标记/未标记区域之间的转换的y轴，x采用转换区域上可能的x轴值集合。

请注意：如果标记仅修改切片的特定部分(如上所述)，则也可以使用在标记/未标记区域之间、或者两个不同标记的区域之间的水平转换上使用类似的标准。然后，需要采用水平梯度而非垂直梯度，并且将x上的求合替换为y上的求合。

考虑颜色量化

当视频由计算机化的设备播放时，图形卡与视频回放软件可能会影响在屏幕上显示的颜色。具体地，颜色可能会被量化。用于显示器的颜色表仅有有限数目的元素，远远低于等于2^cn(c为分量的数目，n为每个分量的比特数目)的整个空间的大小。为了作到这一点，驱动器和/或图形软件进行比色空间的向量量化，即在显示器中将特定数目的“接近”颜色替换为单个颜色。可以或多或少智能地进行量化，并且空间可以被划分为相同或者变化大小的区域(现有技术算法：均匀量化、广泛性、中位截取、octree、以及其他算法)。

颜色量化可能与可变对比度的产生有关联。

这些处理可以影响水印的可见性：如果颜色量化较强，则在图像的均匀区域上，水印可能将颜色从一个量化级切换到另一个量化级。在这种情况下，增加了水印的可见性。

为了使颜色量化不使水印太可见，可以(通过应用现有技术的一或多个算法)模拟通过量化获得的效果，并且可以利用一或多个先前的标准来测量所获得的水印的真实影响。

为了使对颜色量化效果的预测更迅速、更独立于实际使用的算法，也可以在空间标准、幅度标准与时间标准之外考虑颜色数目标准：

$C_7=\frac{1}{\left|\mathrm{\Φ}\right|}$

|Φ|为图像中不同颜色的数目。

还可以不考虑颜色的数目，而考虑其频率分布(图像的直方图)。颜色量化与对比度适配对于直方图较均衡(几乎平坦)的图像的视觉影响较小：

或

标准可以相互结合以获得对于可见性的更细微的控制。例如，可以利用所有标准的加权合，将其组合在一起。在这种情况下，如果一区域的加权合低于预定门限，则称该区域是可修改的。根据一变体，可以通过逻辑运算AND来组合它们，即只有当每个标准都低于预定门限时，该区域才是可修改的。

有利的是，上述方法可以用于保护新一代DVD(蓝光)。为此目的，在加水印步骤本身之前，进行预处理步骤。该预处理步骤包含以下子步骤：

-通过利用加水印密钥(该密钥保证该方法的安全性)选择适当的切片，并且在这些切片的每个切片中利用大小标准来选择第一可修改块，对流加水印；

-利用原始序列以及对应的加了水印的流，应用(多个)可见性标准，以选择可以标记的一或多个切片、或者切片的部分；

-可能根据这些(多个)可见性标准，改变参数d的值；

-创建标记地图，即为每个要加水印的DC分量识别原始二进制字(即原始比特序列)的位置的地图，通过相对于流的开始的偏移值，编码所述DC分量，并且将每个偏移值与要插入来替换原始二进制字的二进制字相关联，要插入的二进制字根据上述方法之一来计算，即加性调制算法或者置换调制算法；

-可能计算/插入同步模式。

该预处理可以生成修改后的流(插入同步水印、修改编码参数)，甚或维持原始流。有利地，由DVD制造商将标记地图插入到具有原始编码流的DVD中。有利地，加水印步骤本身通过水印模块在DVD播放器中执行。当将DVD插入到DVD播放器中时，水印模块从其读取标记地图，并且能够通过在本身由标记地图利用对应偏移值确定的适当位置上将原始字替换为从标记地图读取的修改后的二进制字，直接对原始流加水印。

由于预处理，所以简化了加水印步骤本身。依赖于所加水印的消息，从标记表中为每个区域选择替换值、并且在流中进行替换就足够了。

我们已经看到了本发明对于VoD加指纹的示范性应用。另一应用为对DVD或者预审片(screener)加指纹：对于每个个别拷贝以特有号码加水印，使之可能识别DVD的接收者。在盗版的情况下，读出该号码就可以识别犯法的用户。另一应用为由新一代DVD播放器(蓝光型：BDP)对视频加水印。当播放视频时，在要解码的流上加水印。加了水印的消息对于每个电器可以是唯一的，甚或对于电器的每个型号或者每个系列都是唯一的。从DVD播放器输出的视频信号因此根据该标识符而加以不同的水印。在大规模盗版的情况下，这使之可能识别有嫌疑的型号，并且通过调整补充加密与DRM机制，可以废除所涉及的型号。

Claims (6)

1.一种对二进制流加水印的方法，该二进制流从对表示图像的序列的系数集合的编码产生，该系数集合包括通过预测编码而编码的至少一个DC系数，所述DC系数被称为预测编码的DC系数，该方法包含以下步骤：

a)在所述二进制流中，识别表示所述预测编码的DC系数的第一二进制字；

b)根据至少一个加水印比特，从所述预测编码的DC系数计算修改的DC系数；

c)将所述修改的DC系数编码为第二二进制字；以及

d)在所述二进制流中，将所述第一二进制字替换为所述第二二进制字；

该方法的特征在于：仅在intra_dc_precision大于第一门限的图像的部分上实施所述步骤。

2.根据权利要求1所述的方法，其中仅在时间可见性标准低于第二门限的图像的部分上实施所述步骤。

3.根据权利要求2所述的方法，其中所述时间可见性标准如下：

$C_3=\frac{1}{\underset{t\≠t_I}{\mathrm{\Σ}}\underset{b}{\mathrm{\Σ}}\underset{i}{\mathrm{\Σ}}{V}^i{(t,b)}^2}$

其中：

-t是所述帧内图像的时间邻域中的图像的索引；

-t_I是所述帧内图像的索引；以及

-Vⁱ(t，b)是索引为t的图像中块b的第i个运动向量。

4.根据权利要求1所述的方法，其中仅在空间可见性标准低于第三门限的图像的部分上实施所述步骤。

5.根据权利要求1所述的方法，其中仅在颜色数目的倒数低于第四门限的图像的部分上实施所述步骤。

6.根据在前的权利要求中的任一项所述的方法，其中计算作为所述预测编码的DC系数与从所述至少一个加水印比特导出的标记值之和的所述修改的DC系数。