CN100380960C - 用于在运动图像信号中嵌入和检测水印的方法和设备 - Google Patents

Abstract

公开了用于在影院电影中嵌入和检测水印的方法和设备，以便可以在由手持视频摄影机制作的拷贝中检测到水印。水印嵌入器将每个图像帧划分成两个区域。通过增大第一部分的亮度并且减小第二部分的亮度在帧中嵌入水印位“+1”。通过减小第一部分的亮度并且增大第二部分的亮度嵌入水印位“-1”。利用本发明实现了这一点：所嵌入的水印不受通常用于去除由于影院放映器材与消费者摄录一体机的帧速率不同而造成的闪烁的“去闪烁”运算的影响。

Description

用于在运动图像信号中嵌入和检测水印的方法和设备

发明领域

本发明涉及一种在诸如影院中放映的电影之类的运动图像信号中嵌入水印的方法和设备。本发明还涉及一种检测嵌入在这样的运动图像信号中的水印的方法和设备。

发明背景

水印嵌入是拷贝保护策略的重要方面。虽然大多数拷贝保护方案涉及以电子手段分发的内容(广播、存储介质)的保护，但是对于在剧院中放映的电影来说，也希望有拷贝保护。当前，借助手持摄影机进行的非法的电影素材拷贝已经是一种惯用伎俩了。虽然质量通常很差，但是非法的VHS录像带、CD视频和DVD在经济上的影响可能是巨大的。出于这一原因，影院所有者不得不制止在他们的场所携带摄影机。如果有人不遵守这项规定，则可以通过禁止其将来使用所述内容来加以惩罚。鉴于此，设想了规定在放映期间加入水印。水印用于标识影院、上映时间、放映员等。

对几何变形的强健性是对这样的水印嵌入方案的关键要求。手持摄影机不仅会由于过滤(从屏幕到摄影机的光径、翻录到录像带上等等)而严重降低视频的质量，而且会对视频造成严重的几何变形(移位、缩放、旋转、剪切、透视变化等等)。此外，这些几何变形可能是帧与帧之间变化的。

在Jaap Haitsma和Ton Kalker所著的文章“A WatermarkingScheme for Digital Cinema(针对数字影院的加水印方案)”(Proceedings ICIP，卷2，2001年，第487-489页)中公开了一种满足所述强健性要求的在影院电影中嵌入水印的现有技术方法。对几何变形的强健性是通过仅利用时间轴来嵌入水印而实现的。水印是具有两个不同值(例如，‘1’和‘-1’)的水印样本的周期性伪随机序列。每个图像中嵌入一个水印样本。值‘1’是通过增大图像的全局亮度相关属性(例如，平均亮度)而嵌入在图像中的，值‘-1’是通过减小所述全局亮度相关属性而嵌入的。

现有技术的水印嵌入方法实际上嵌入了闪烁(flicker)。通过在多个连续图像中嵌入相同的水印样本，使得闪烁感觉不到(人眼对低频闪烁较不敏感)。

所记录的电影的闪烁也可由下述原因造成：a)电影放映机的帧速率(24帧每秒)与摄录一体机的帧速率(PAL是25fps，NTSC是29.97fps)之间的典型失配，和b)两种显示扫描格式(逐行与隔行)之间的差异。这种类型的闪烁是很烦人的，以致造成公众到处都可以得到去闪烁工具。例如，已经在因特网上发现了用于视频拍摄和处理应用“Virtualdub”的去闪烁插件。

现有技术的水印嵌入方案的一个问题是，去闪烁工具还去除所嵌入的水印。

发明的目的和概要

本发明的一个目的是进一步改进现有技术的水印嵌入和检测方法。本发明的一个具体目的是提供一种对去闪烁运算具有强健性的水印嵌入和检测方案。

为此，按照本发明的在运动图像信号中嵌入水印的方法包括将每个图像分为至少第一和第二图像区域。通过增大图像的第一区域的全局亮度相关属性(例如，平均亮度)和减小图像的第二区域的全局亮度相关属性来将水印样本的一个值嵌入在该图像中。采用相反的方式嵌入水印样本的另一个值，即通过减小第一图像区域的全局亮度相关属性和增大第二图像区域的全局亮度相关属性。

本发明利用了这样的认识：去闪烁工具通过将连续图像的平均亮度调节为表现出低通特性来消除闪烁。在实践中，通过将图像的所有像素乘以相同的因数来调节平均亮度。因为这一运算并不影响对不同图像区域施加的修改(的符号)，所以水印信息将得到保持。有鉴于此，被修改以便以嵌入水印的图像区域的全局亮度相关属性是所述图像区域的平均亮度。

按照该方法的一个优选实施例，第一和第二图像区域是图像的上半和下半部分。一般来说，电影中水平运动比垂直运动多。水平运动影响平均亮度值的程度较小。

附图简述

附图1是按照本发明的水印嵌入器的示意图。

附图2是按照本发明的水印检测器的示意图。

附图3是相关级的示意图，该相关级是附图2中所示的水印检测器的一个单元。

附图4表示原始图像序列和加水印的图像序列的平均亮度值的曲线图。

实施例描述

附图1是按照本发明的水印嵌入器的示意图。该嵌入器接收图像或帧序列，该序列在帧k的空间位置n处具有亮度F(n，k)。该嵌入器此外还接收水印，该水印具有长度为N的伪随机序列w(n)的形式，其中w(n)∈[-1，1]。对于这种应用，N的一个适当值为N＝1024。该设备包括划分级10，该划分级10将每个图像划分为第一(例如，上半部分)区域和第二(例如，下半部分)区域。所述图像区域的亮度分别表示为F₁(n，k)和F₂(n，k)。

按照水印嵌入器的最简单的实施例，序列w(n)被直接施加到嵌入级11和12。按照这样的实施例，嵌入级11将一个所施加的水印样本w(n)添加到第一图像区域的每一个像素上，而嵌入级12从第二图像区域的每一个像素中减去同样的水印样本。在需要的情况下还可以进行限幅(clipping)。这样，用水印对第一和第二图像区域的平均亮度进行了相反的调制。

可由水印调制的其它全局图像属性的例子是画面直方图(画面中亮度值的相对频率列表)或者由其导出的特征，比如高阶矩(亮度值的k次幂的平均值)。平均亮度就是后者的一个特例(k＝1)。

由于人类视觉系统(HVS)对低空间频率的闪烁比较敏感，该简单的实施例可能会受到人为假像(artifact)的不良影响，尤其是不移动的平坦区域内的人为假像。通过降低水印的闪烁频率可以明显减少这些人为假像。这是通过重复级13来执行的，该重复级13在预定数量K的连续图像期间重复每一个水印样本。这样，在K个连续图像中嵌入的是相同的水印样本。该水印每N＝1024帧重复本身一次。嵌入到帧k中的水印样本w(n)可用数学方式表示为w(k/KmodN)。为了简便，在下文中将把这个表达式简写为w(k)。

附图1中给出的嵌入器的优选实施例此外还根据图像内容适配嵌入深度。为此，嵌入器包括乘法器14和15，它们分别将水印样本w(k)乘以局部缩放因数C_F，1(n，k)和C_F，2(n，k)。这两个局部缩放因数是分别由图像分析器16和17从图像内容导出的。例如，它们在一个区域内的移动的有纹理部分中比较大，而在不动的平坦部分中比较小。嵌入级11和12的输出可由公式表达为：

F_w，1(n，k)＝F₁(n，k)+C_F，1(n，k)w(k)

F_w，2(n，k)＝F₂(n，k)-C_F，2(n，k)w(k)

可以意识到，这两个嵌入操作可以由单独一个处理电路在适当的软件控制之下以时间顺序方式进行。

随后由组合级18将这两个图像区域组合为单独一个加水印的图像F_w(n，k)。

附图2是按照本发明的水印检测器的示意图。虽然在检测期间可以使用原始信号，但是该检测器并不利用任何关于原始信号的知识。该设备接收图像或帧的加水印序列，该序列在帧k的空间位置n处具有亮度F_w(n，k)。该检测器包括划分级20，该划分级20按照与嵌入器的划分级10(附图1)相同的方式将每个图像划分为第一(例如，上半部分)区域和第二(例如，下半部分)区域。每个图像区域的亮度分别表示为F_w，1(n，k)和F_w，2(n，k)。对于每个图像区域，检测器此外还包括平均亮度计算电路21、22，所述电路按照下述公式计算各自图像区域的平均亮度值f_w，1(k)和f_w，2(k)(如果适用的话，也可以是其它的全局亮度相关属性)：

$f_{w,i}\left(k\right)=\frac{1}{N}\underset{\underset{\‾}{n}}{\mathrm{\Σ}}{F}_{w,i}(\underset{\‾}{n},k)$

在实践中，电影的平均亮度值表现出作为帧数k的函数(即，作为时间的函数)的低通特性。检测器通过对对应的平均亮度值f_w，1(k)和f_w，2(k)进行低通滤波(25，27)来估计原始(未加水印的)电影的平均亮度值。随后通过从未经滤波的平均亮度值中减去(26，27)经过低通滤波的平均值而得到对由嵌入器引入的平均亮度修改的估计。检测器通过对这两个估计进行相减(23)及随后进行符号运算(29)来估计所嵌入的水印样本。所估计的被嵌入在帧k中的水印样本表示为v(k)。

这样，该设备产生了所估计的水印样本的序列。在相关级3中，将所估计的水印样本序列与正在寻找的水印进行相关。检测器接收这一正在寻找的水印，该水印具有长度为N的伪随机序列w(n)的形式，其中w(n)∈[-1，1]。该检测器包括重复级24，该重复级24与嵌入器的重复级13相同。该重复级24在K个连续图像期间重复每个水印样本。该水印每N＝1024帧重复本身一次。为帧施加给相关级3的水印样本表示为w(k)。同样，w(k)是对于在数学上更加精确的表达式w(k/KmodN)的缩写。

应当注意到，低通滤波器/减法器组合25、26和27、28以及符号运算29是可任意选择的。

附图3是相关级3的示意图。将连续图像的所估计水印样本分发到K个缓冲器31、32、...，这里，如上面所述，K是其中嵌入了相同水印样本的连续图像的数量。每个缓冲器存储N个所估计水印样本(或N个所计算的平均亮度值，或N个所估计的平均亮度修改值)。水印长度N和每水印样本的帧数K的典型值分别为1024和5。由此，第一缓冲器31包含所估计的水印样本v(1)、v(6)、v(11)、...，第二缓冲器32包含v(2)、v(7)、v(12)、...等等。这意味着，对于PAL视频来说，水印检测的粒度是大约3分25秒。

水印是通过确定每个缓冲器的内容与正在寻找的参考水印w(n)之间的相似度而被检测的。每个水印可以标识例如一个剧院。相似度的公知例子是交叉相关，不过也可以采用其它的量度。将每个缓冲器的内容与相应相关器33、34、...中的参考水印交叉相关。该相关优选地是使用对称相位唯一匹配滤波(Symmetrical Phase Only MatchedFiltering)(SPOMF)进行的。对SPOMF的描述，可以参见国际专利申请WO 99/45706。在所述文献中，相关是在二维空间域中进行的。其中将N×N个图像像素的块与N×N的参考水印进行相关。如果已经嵌入了水印，则SPOMF运算的结果是表现出一个或多个峰值的相关值的N×N模式。

K个相关器33、34、...在一维时间域内操作。每个相关器的输出是存储在相应的K个缓冲器35，36、...之一中的一系列N个相关值。峰值检测器37在K个缓冲器中搜索最高的相关值，并且将所述峰值施加到阈值电路38。如果缓冲器中的至少一个的峰值大于给定的阈值，则判定存在水印。否则，将该内容归类为未加水印。

可以通过按照类似于国际专利申请WO-A-99/45705中公开的方式嵌入水印w(n)的移位版本而将有效载荷编码在信号中。此外还应当注意到，虽然在附图3中示出的是并行的相关器，但是按照时间顺序方式执行对应操作也可能是有利的。

为了更加详细地描述本发明，现在将给出对现有技术的加水印方案的数学分析、对可公开得到的去闪烁工具的分析和按照本发明的加水印方案的操作。

水印w是周期为M的周期性伪随机序列，这个伪随机序列仅包含‘1’和‘-1’样本值。水印样本w(n)被嵌入在K个连续帧k、k+1、...、k+K-1中。通过嵌入在K个连续帧中嵌入一个水印样本，使由于嵌入而造成的闪烁的频率得到了降低。‘1’是通过将每个像素的亮度值增大一个值C_F(n，k)而嵌入到图像中的。‘-1’是通过将每个像素的亮度值减小一个值C_F(n，k)而嵌入到图像中的。这里，n是帧k内像素的空间坐标。以更加数学的方式，我们有：

其中F是要被嵌入的帧，F_w是已嵌入的帧。对变化C_F进行选择，以使得水印不可见，并且因此取决于F。在[2]中，使用纹理检测器和运动检测器来确定C_F。结果，加水印的视频的平均亮度值f_w

$f_w\left(k\right)=\frac{1}{N}\underset{\underset{\‾}{n}}{\mathrm{\Σ}}{F}_w(\underset{\‾}{n},k)$

(其中N是每帧的像素数量)相对于原始的平均亮度值

f_w(k)＝f(k)+c_F(k)w(k/T)    (1)

将表现出变化。这里，c_F是水印w的局部深度，它与C_F有直接关系：

$c_F\left(k\right)=\frac{1}{N}\underset{\underset{\‾}{n}}{\mathrm{\Σ}}{C}_F(\underset{\‾}{n},k)$

附图4(a)表示原始序列的平均亮度值的曲线，而附图4(b)表示经过嵌入的序列的平均亮度值，以在视觉上展现水印嵌入的概念。

由于水印嵌入，平均亮度值在时间上将会相对于原始的平均亮度值减小或增大。见公式(1)。在实践中，电影的平均亮度值表现出低通特性。因此，检测器通过对加水印的电影的平均亮度值f_w进行低通滤波来估计原始的未加水印的电影的这些亮度值。检测器通过从加水印的电影的平均亮度值f_w减去这些经过低通滤波的平均亮度值以及随后再进行一个符号运算来估计水印v。在数学上更加精确地是：

v(k)＝sign{f_w(k)-(f_wg)(k)}    (2)

其中表示(一维)卷积，而g是低通滤波器。由于水印样本是嵌入在K个连续帧中的，因此这一运算得出了对水印w的K个估计

${\tilde{w}}_1\left(k\right)=v(1+\mathrm{kK}),0\&le;1<K---\left(3\right)$

将这K个所估计水印

中的每一个与原始水印w进行相关。如果绝对相关值 $d_1=|\&lang;w,{\tilde{w}}_1\&rang;|$ 大于一个阈值，则判定该视频序列是加了水印的。

电影是以24帧每秒(fps)的帧速率逐行地放映的，不过，标准视频摄影机是以25fps(PAL)或29.97fps(NTSC)隔行记录的。由于是隔行记录，在一帧的整个记录过程中，亮度将不会是相同的，因为快门(shutter)恰好正在打开或恰好正在关闭。由于视频摄影机和放映机没有得到同步，因此对于摄影师来说，这个问题是难于解决的。此外，由于放映机和视频摄影机的帧速率不匹配，会出现类似的问题：在某些时间点上，帧是在快门半开甚或是完全关闭的时候记录的。这些失配的结果是造成在所记录的电影中的闪烁。

在因特网上可以找到用于Virtualdub的‘去闪烁’插件。这种插件分四步消除闪烁：

在第一遍中，计算电影的平均亮度值

随后，使用低通滤波器h(默认地是长度为12的简单的求平均滤波器)

对这些平均值

进行滤波；

然后针对每一帧计算原始平均值

与经过滤波的平均值之间的因数β(k)：

$\mathrm{\&beta;}\left(k\right)=\frac{({\tilde{f}}_w\&CircleTimes;h)\left(k\right)}{{\tilde{f}}_w\left(k\right)};$

在第二遍中，将帧k中的每个像素的亮度值乘以取整为最接近的整数的相应因数β(k)，并且如果超过最大亮度值255的话则对其进行限幅。

注意，β(k)对于所有的k都是非负的，这是因为 ${\hat{f}}_w\left(k\right)\&GreaterEqual;0$ 并且h是低通滤波器。如果我们现在忽略所述取整和限幅，则在最后一步中的这些相乘的结果是：新构造的视频的平均值

类似

的经过低通滤波的平均值：

${\hat{f}}_{w,\mathrm{deflic}}=\mathrm{\&beta;}\left(k\right)\hat{f}\left(k\right)=({\hat{f}}_w\&CircleTimes;h)\left(k\right)$

从感觉上来说，这意味着该新构造的视频表现出较少的闪烁，这是因为可以将闪烁看做帧的平均亮度值中的高频分量，而现在将这些高频分量滤除了。

可惜，加水印方案实际上就是闪烁，虽然是察觉不到的。其直接的结果是，这种‘去闪烁’插件消除了水印。因此，必须要以这样的方式对水印嵌入方案进行修改：水印嵌入方案对去闪烁具有强健性。因为‘去闪烁’工具广泛用于从闪烁恢复盗版拷贝，所以更加应使水印嵌入方案对去闪烁具有强健性。

为此，将每帧划分为两个部分(例如，左/右或上/下部分)，并且以相反的方式将水印样本嵌入在这两个部分中。为了嵌入水印样本，使一个部分的平均亮度增大，而使另一个部分的平均亮度减小。结果，加了水印的电影的平均亮度值f_w现在由两个部分组成：

f_w(k)＝f_w，1(k)+f_w，2(k)

其中(参见公式(1))：

f_w，1(k)＝f₁(k)+c_F，1(k)w(k/T以及

f_w，2(k)＝f₂(k)-c_F，2(k)w(k/T)    (4)

在使用摄影机拍摄之后，‘去闪烁’工具通过对平均亮度值进行低通滤波来消除闪烁：

针对经过修改的加水印方案的水印检测与上面描述的检测方法类似。首先，检测器通过对两个部分的平均亮度值进行低通滤波来为这两个部分估计原始的未加水印电影的亮度值。然后检测器从相应部分的亮度值中减去这两个运算的结果。最后，通过进行相减以及随后进行符号运算(参见公式(2))，检测器得到对水印的估计

$\tilde{v}\left(k\right)=\mathrm{sign}\left\{(f_{w,1,\mathrm{defic}}\left(k\right)-(f_{w,1,\mathrm{deflic}}\&CircleTimes;g)\left(k\right)-(f_{w,2,\mathrm{defic}}\left(k\right)-(f_{w,2,\mathrm{deflic}}\&CircleTimes;g)\left(k\right))\right\}---\left(5\right)$

按照相似的方式得到K个估计

(见公式(3))，并且将它们与水印w进行相关。

所嵌入的水印不受去闪烁运算的影响，因为去闪烁工具将图像的所有像素乘以相同的因数β(k)，从而使得两个图像区域之间的亮度差基本保持不变。还可以采用更加数学化的方式来解释本发明的效果。假设原始的未加水印电影表现出低通特性。则在使用摄影机拍摄电影之后，加水印部分的平均亮度值

和

表现出闪烁：

${\hat{f}}_{w,1}\left(k\right)=\mathrm{\&gamma;}\left(k\right)f_{w,1}\left(k\right)$ 和

${\hat{f}}_{w,2}\left(k\right)=\mathrm{\&gamma;}\left(k\right)f_{w,2}\left(k\right)$

这里，γ(k)＞0对应于帧k的平均亮度值的变化(闪烁)。‘去闪烁，插件是通过对平均亮度值进行低通滤波来消除这一闪烁的：

由这一表达式，得到：

由于在实践中{c_F，1(k)-c_F，2(k)}w(k/T)与f_(k)相比相对较小，我们可以将β(k)γ(k)近似为1。通过使用这一近似值，我们看到：

对于另一个部分，我们得到了类似的结果：

使用这些结果，我们最终得到了下列

的表达式(见公式(5))：

此处假设低通滤波器g完全滤除了水印。注意，c_F，1(k)+c_F，2(k)并不影响该表达式的符号，因为对于所有的k它都是非负的。从这个表达式可以看出，在进行了修改之后，水印确实不受‘去闪烁’运算的影响。

公开了用于在影院电影中嵌入和检测水印的方法和设备，以便可以在由手持视频摄影机制作的拷贝中检测到水印。水印嵌入器将每个图像帧划分成两个区域。通过增大第一部分的亮度并且减小第二部分的亮度在帧中嵌入水印位‘+1’。通过减小第一部分的亮度并且增大第二部分的亮度嵌入水印位‘-1’。利用本发明实现了这一点：所嵌入的水印不受通常用于去除由于影院放映器材与消费者摄录一体机的帧速率不同而造成的闪烁的‘去闪烁’运算的影响。

Claims (10)

1.一种在运动图像信号中嵌入水印的方法，该方法包括下述步骤：

-用各具有第一或第二值的水印样本的序列来代表所述水印；

-将所述运动图像信号的图像划分为至少第一和第二图像区域；

-确定第一和第二图像区域的全局亮度相关属性；

-对所述图像进行修改，以增大其第一区域的全局亮度相关属性和减小其第二区域的全局亮度相关属性，从而将水印样本的第一值嵌入到所述图像中，以及减小其第一区域的全局亮度相关属性和增大其第二区域的全局亮度相关属性，从而将所述水印样本的第二值嵌入到所述图像中。

2.按照权利要求1所述的方法，其中所述全局亮度相关属性是对应图像区域的平均亮度值。

3.按照权利要求1所述的方法，其中所述修改步骤包括按照相同的水印样本来修改一系列的连续图像。

4.按照权利要求1所述的方法，其中所述第一和第二图像区域分别是图像的上半部分和下半部分。

5.按照权利要求1所述的方法，其中所述第一和第二图像区域分别是图像的左半部分和右半部分。

6.一种用于在运动图像信号中嵌入水印的设备，该设备包括：

-用于用各具有第一或第二值的水印样本的序列来代表所述水印的装置；

-用于将所述运动图像信号的图像划分为至少第一和第二图像区域的装置；

-用于确定第一和第二图像区域的全局亮度相关属性的装置；

-图像修改装置，该装置被安排成响应于所要嵌入到所述图像中的水印样本的第一值来增大第一图像区域的全局亮度相关属性和减小第二图像区域的全局亮度相关属性，以及响应于嵌入所要嵌入到所述图像中的水印样本的第二值来减小第一图像区域的全局亮度相关属性和增大第二图像区域的全局亮度相关属性。

7.一种检测加了水印的运动图像寄主信号中的水印的方法，该方法包括以下步骤：

-将所述寄主信号的每个图像划分成至少第一和第二图像区域；

-确定第一和第二图像区域的全局亮度相关属性；

-对于一系列图像中的每一个图像，计算第一和第二图像区域的全局亮度相关属性之间的差；

-对于所述一系列图像，将各个差与所要检测的水印进行相关。

8.按照权利要求7所述的方法，其中所述全局亮度相关属性是对应的图像区域的平均亮度值。

9.按照权利要求7所述的方法，此外还包括步骤：从所述一系列全局亮度相关属性中减去该一系列全局亮度相关属性的经过低通滤波的版本，并且对相减后的信号应用所述相关步骤。

10.按照权利要求9所述的方法，此外还包括步骤：确定所述相减后的信号的符号，并且对所述符号应用所述相关步骤。

Images