CN1791888A - 用于图像的数字指纹和水印 - Google Patents

Abstract

一种将图像分割成网格区以便添加水印或指纹的方法，所说方法使用了图像形心的计算以便确定所说网格的中心，并且使用部分图像的形心来设定网格的尺寸。

Description

用于图像的数字指纹和水印

技术领域

本发明涉及图像的数字指纹和/或水印的应用。

背景技术

可以使用视频指纹进行视频内容识别和相关的应用。人们期望视频指纹识别能够成功地开展，而与视频内容的某种畸变无关，例如与压缩、比例转换(scaling)、或翻译引起的畸变无关。

典型的视频指纹提取方案包括的第一阶段是从视频帧中提取特征。已经提出用于产生指纹的许多不同的特征，包括：DC(平均亮度)值、亮度和/或色度直方图、和边缘。这些方案的一个共同点是通常将图像分成多个区域(例如矩形方块)并且对于每个区域提取特征。这样一种指纹方案在国际专利申请WO-A-02/065782中公开。

如果图像要经受比例或翻译转换，那么把图像帧分成多个区域的作法将要引起识别问题。用来分割图像的固定网格将使包含不同内容的图像区的经过比例变换/翻译的图像不同于未经过比例变换/翻译的图像。这将在最终的指纹中引起差异，通常会妨碍经过比例变换/翻译的内容的识别。

发明内容

本发明的一个目的是克服上述的缺点。

按照本发明的一个方面，向图像/在图像中添加/检测数字指纹的方法包括：

将图像分割成区域，区域的位置和尺寸依据图像的内容；和

添加/检测数字指纹。

按照本发明的第二个方面，一种将图像分割成区域以便添加/检测数字指纹的方法包括：按照图像内容选择区域的位置和尺寸。

优选地，根据图像的形心的位置分割所说的图像。优选地，用于分割图像的网格的中心基本上在图像的形心的位置。

优选地，网格的分区的水平和垂直尺寸相互无关。

优选地，水平和/或垂直分区的尺寸基于部分图像的内容，优选地，基于部分图像的形心。

所说方法最好允许根据图像内容计算网格的位置和尺寸，从而允许图象的比例转换和翻译，而不影响其水印。

各个区域可以叠加，或者水平地叠加和/或者垂直地叠加。已经发现，可使用叠加区域得到有利的较好结果。

按照本发明的第三个方面，一种在图像中嵌入/检测数字水印的方法，包括：根据图像内容选择水印图案的尺寸和/或位置，添加/检测水印。

优选地，按照图像的形心的位置来选择水印位置，水印最好是作为网格元(grid element)出现的。优选地，按照部分图像内容，最好是部分图像的形心，来选择水印的尺寸，最好是作为网格元存在的或者在网格元中存在的水印的网格的尺寸。

按照本发明的第四个方面，提供一个计算设备，对于计算设备进行编程，使其可以操作第一和/或第二方面的方法。

按照本发明的第五个方面，提供一种计数机程序产品，操作所说计数机程序产品以执行本发明的第一和/或第二方法的方法。

在这里描述的所有特征可以以任何的组合方式与任何一个上述的方面组合。

附图说明

为了更好地理解本发明，并且为了表现出如何实现本发明，现在参照附图借助于实例描述具体的实施例，其中：

图1是表示形心的图像帧的示意图；

图2是添加方块网格的图像；

图3是在水平比例变换和垂直移动之后的图2的图像；

图4表示用第一例的视频剪切部分的指纹和经过比例变换/移动后的同一视频剪切部分的指纹的误码率(BER)；

图5表示经过比例变换/移动后的第二例视频剪切部分的误码率；

图6表示的是一个采样图像，所说图像加有“子标题”；

图7表示加有子标题的第一例图像的误码率；和

图8表示加有子标题的第二例图像的误码率。

具体实施方式

本发明是导出图像/视频内容的指纹的一项技术，本发明改进了在图像内容经过比例变换或翻译的情况下的识别率。本发明还描述所说的构思如何应用到水印上以便帮助实现水印图像的经过比例变换/移动的版本的检测。

本发明的关键构思是以依据图像内容本身的方式将图像分割成区域。换句话说，应该从图像内容确定用于分割图像帧为多个区域的网格。以此方式，可以使网格能够对该图像内容同样地进行比例变换和移动，导致经过比例变换/移动的图像的指纹尽可能地接近原始图像的指纹。

使用形心(质心)计算可以实现图像的依据内容的分割。亮度为I(x，y)的图像区的形心是点( x， y)，在这里

$\stackrel{\‾}{x}=\frac{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{xI}(x,y)}{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)}$ 和 $\stackrel{\‾}{y}=\frac{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\mathrm{yI}(x,y)}{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)}$

要说明的是，以上这两个等式可以计算为：

$\stackrel{\‾}{x}=\frac{\underset{x}{\mathrm{\Σx}}\underset{y}{\mathrm{\Σ}}I(x,y)}{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)}$ 和 $\stackrel{\‾}{y}=\frac{\underset{y}{\mathrm{\Σ}}y\underset{x}{\mathrm{\Σ}}I(x,y)}{\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x,y)}$

即，这种计算基本上一维的，并且通过首先在y方向(对于 x)求和I(x，y)，可以使乘法数目减至最小。

形心具有对于图像内容等效移动的性质：

$=\frac{\underset{x^{\′}}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}(x^{\′}+x_0)I(x^{\′},y)}{\underset{x^{\′}}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x^{\′},y)}$

$=\frac{\underset{x^{\′}}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^{\′}I(x^{\′},y)}{\underset{x^{\′}}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x^{\′},y)}+x_0$

$=\stackrel{\‾}{x}+x_0$

并且，还具有对于图像内容等效的比例变换的性质：

$=\frac{\underset{x^{\′}}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}\frac{1}{s}{x}^{\′}I(x^{\′},y)}{\underset{x^{\′}}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x^{\′},y)}$

$=\frac{1}{s}\frac{\underset{x^{\′}}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^{\′}I(x^{\′},y)}{\underset{x^{\′}}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}I(x^{\′},y)}$

$=\frac{1}{s}\stackrel{\‾}{x}$

这些计算假定：在比例放大和移动的图像版本中，求和是在整个图像内容上进行的。在实践中，比例放大和移动要和剪切结合，以保持原始图像的尺寸不变。剪切涉及到从一个或多个边缘除去图像的一些部分，以实现所需的图像的边长比。这种剪切将导致形心位置的误差，这阻碍了比例放大和移动的完美不变性。

类似地，在实践中，比例缩小也要与新内容的填充(通过加入附加数据来实现所需的边长比)相结合，以保持原始图像尺寸不变。如果利用0值像素进行填充，仍旧可以实现比例不变性，从而这些像素对于上述的求和没有贡献。

尽管在实际的方案中存在这些缺陷，但是可以看出，形心可以足够精确地移动和比例变换以实现最终指纹的显著可靠性。

下面针对分割图像成为网格的实例说明使用形心来提供图像的比例变换/移动的可靠分割，所说的网格由多个方块组成。这例如是在这里参照引用的WO-A-02/065782中的指纹方案所期望的，在这里，然后使用这些方块之间的DC差值导出指纹比特。所说方法包括如下步骤：

计算整个图像的形心C( x， y)。即，将网格的中心对准在这一点上，向图像的平移移动提供可靠性；

计算C的左边的所有的图像像素的水平方向形心x_左。见图1。

还要计算C的右边的所有的图像像素的形心x_右，C上方所有图像像素在垂直方向的形心y_上，以及在C下方所有图像像素的形心y_下。

将方块的边界定义为：

水平方向：

和 对于i∈{0，1，2，...N}

垂直方向：

和 对于i∈{0，1，2，...M}

在这里，α是一个倍数，对于α进行选择以便控制最终的方块网格的总体尺寸。例如，设定α＝2，其结果是，网格可以横跨原始图像的绝大部分，因为典型图像内容的形心通常大体上是对中的。最终的网格包括2M×2N个方块。

在图1中，x_左是总的图像形心C( x， y)左边的图像部分的水平方向的形心。

图2是使用上述的方法对于α＝2和M＝N＝3形成的块网格例子。图3表示对于相同的图像形成的网格，所说的图像在水平方向的比例因子是1∶1，并且在垂直方向移动了20个像素。可以看出，在所述的两种情况下每个方块的图像内容都是相似的，并且，如果使用固定的网格，则每个方块的图像内容更加相似。

使用上述的方法形成方块，从这些方块随后可导出指纹，就像在WO-A-02/065782中所述的那样。图4和图5表示的是在原始视频内容的指纹和来自相同内容的经过比例变换/移动的版本的指纹之间的指纹误码率。为了进行比较，还表示出144×80个像素的固定方块的指纹误码率；新的形心方案的改进是清晰可见的。

要说明的是，由于移动和比例放大引起的对于图4中的“区间(interv)”视频剪切部分的误码率低于图5中用于“kitchgrass”的视频剪切部分的误码率。这是因为前者在它的周边有略宽的黑色边界的缘故。这样的边界的接近0的强度值不会影响形心的位置，因此误码率只在较大的移动或比例放大时有所升高，因为在这种情况下剪切效应开始发挥作用。还要说明的是，比例缩小的误码率小于比例放大的误码率，这是人们期望的，这是因为在比例缩小的情况下根本不会发生剪切。

本发明的方案的一个附加的优点是它对于水平方向和垂直方向的不同比例因子都是可靠的，即，它对于长宽比的变化是可靠的。

对于水印的应用

图像的比例变换和移动还可能阻止在所说图像中包含的水印的检测。假定：像在许多水印方案(如参见WO-A-99/45705)中那样，可以将水印图案制成在这个空间区域中的噪声样本的一个薄片。将这个水印图案加到原始图像中，从而可以产生水印图像。如以上所述的本发明允许通过图像内容本身的性质(如形心)来设定嵌入的水印图案的尺寸和移动状态。水印检测器通过重复所述的方法可以自动地寻找在接收的图像中的水印图案的适当比例和移动。

在实践中，水印的检测通常对于比例变换是极其灵敏的，(例如)通过形心表示的比例变换精度对于水印的检测可能不够大。但是本发明的确提供了比例因子的第一估算值，这个估算值可以用来减少为了检测水印需要搜寻的比例因子的数目。因此，本发明的另一个优点是减少了在水印检测器中的计算。

所述的方法可以相当好地应用到指纹或水印的添加或检测。

另外的实验

这一部分描述了有关上述的用于改进比例变换和移动的可靠性的基于形心的方案的另外的实验。

子标题

将子标题加到视频剪切部分使图像的底部增加了明亮的白色像素的面积。进行这个实验的目的是为验证这样做是否会破坏形心位置，从而当匹配指纹时足以引起误码率的明显增加。

通过在可能增加子标题的区域加入高密度的“盐和胡椒”噪声，可以“模拟”出子标题。在图6中表示出一个例子：

已经发现，这样做将引起误码率，对于形心方案这个误码率约为7％，对比之下，对于固定方块的原始方案，这个误码率约为4％。还发现，增加“子标题”对于网格的位置和尺寸只有很小一点的影响。子标题的这种微小冲击的原因就是子标题在图像像素总数中只占一个很小的比例：在这些实验中，子标题只占图像高度的5％，图像宽度的60％，即，只占3％的像素。

叠加的方块

对于移动和比例变换的可靠性取决于在计算DC差值中使用的方块的尺寸。对于固定的方块以及形心方案，这都是真的。为了增加方块的有效尺寸，如以下所述引入叠加。

在水平方向延长每个方块，使其覆盖每个方块在每一侧的50％，在垂直方向进行类似的处理。对于图像周边的方块，只延长图像的边缘。

向延长的方块的像素值增加一个汉宁窗口(hanning window)。计算DC

叠加方块的危险是每个像素都为多个指纹比特作出贡献，这可能增加它们之间的关联性。如果与来自一个指定帧的指纹比特发生了关联，则它们将包含冗余性，即我们有效地具有了几个指纹比特，这将导致较大的正的伪码率(false positive rates)(匹配了来自不同图像内容的指纹)。已经发现，上述的叠加方法产生的指纹与非叠加的方块产生的指纹极其相似。由此可以看出，最终的指纹仍旧能力充分地分辨不同的内容的假定似乎是合理的。

图7和8表示两个实例的视频剪切部分的通常遇到的一组指纹匹配结果(带有星号的虚线：固定的非叠加方块；带有三角的实线：具有非叠加方块的形心方案；带有星号的实线：具有叠加的方块的形心方案)。可以看出，在所有的情况下，方块的叠加导致类似的或者略微改善的误码率。

Claims (14)

1.一种向图像/在图像中添加/检测数字指纹的方法，包括：

将图像分割成区域，区域的位置和/或尺寸依据图像的内容；和

添加/检测数字指纹。

2.一种将图像分割成区域以便添加数字指纹的方法，包括：按照图像内容选择区域的位置和/或尺寸。

3.根据权利要求1或权利要求2所述的方法，其中：根据图像的形心的位置分割所说的图像。

4.根据权利要求3所述的方法，其中：用于分割图像的网格的中心基本上在图像的形心的位置。

5.根据权利要求4所述的方法，其中：网格的分区的水平尺寸和垂直尺寸相互无关。

6.根据权利要求5所述的方法，其中：水平和/或垂直分区的尺寸基于部分图像的内容。

7.根据权利要求6所述的方法，其中：水平和/或垂直分区的尺寸基于部分图像的形心。

8.一种在图像中嵌入/检测数字水印的方法，包括：根据图像内容选择水印图案的尺寸和/或位置，和

添加/检测水印。

9.根据权利要求8所述的方法，其中：按照图像的形心的位置来选择水印位置。

10.根据权利要求9所述的方法，其中：水印是作为网格元出现的。

11.根据权利要求10所述的方法，其中：按照部分图像内容来选择水印的尺寸或者用于水印的网格的尺寸。

12.根据权利要求11所述的方法，其中：水印的尺寸或者用于水印的网格的尺寸是根据部分图像的形心选择的。

13.一种计算设备，对于所说计算设备进行编程，使其可以操作根据权利要求1-12中任何一个所述的方法。

14.一种计数机程序产品，所说计数机程序产品可操作执行根据权利要求1-12任何一个所述的方法。

Images