CN100348053C - 利用运动图像的电子水印的错误隐蔽方法 - Google Patents

Abstract

本发明的课题是提供利用运动图像的电子水印的错误隐蔽方法，该方法考虑为可以降低用于推定运动矢量的运算量，即使在高错误率的情况下，也能获得正确的运动矢量，而且可以使现有技术的精度大致成为下限，进而还考虑了要具有与通用的解码器的向上兼容性，在该方法中，把数字运动图像信号区域分割成由NxN点像素构成的多个块或微块，当在各块或微块进行运动补偿得到与未来和过去的图像中的一方的差分信号时以及得不到差分信号时，通过离散余弦变换对各块或微块进行变换得到离散余弦变换输出，再使离散余弦变换输出量子化得到量子化输出，通过对量子化输出进行可变长编码得到比特流，另一方面把运动矢量作为电子水印信息嵌入到各块或微块里，使电子水印信息可在解码时用于错误隐蔽。

Description

利用运动图像的电子水印的错误隐蔽方法

                      技术领域

本发明涉及利用运动图像的电子水印的错误隐蔽方法，具体来说涉及使用在编码时嵌入运动矢量的运动图像的电子水印来隐蔽错误的方法。

                      背景技术

随着互联网的高速化，可以说运动图像是最受期待的数字内容。运动图像可以看作连续显示的静态图像，所以基本上可以思考对静态图像的电子水印的应用。然而，运动图像与静态图像相比，文件容量要大得多，所以运动图像必须使用压缩技术。而且，和音乐一样，运动图像也是一种内容随时间经过变化的内容，所以在运动图像用的电子水印中，就要求处理速度更快，要求有与静态图像的思维方式不同的运动图像固有的手法。

在计算机中利用的运动图像有很多种类。当从电子水印的角度考虑运动图像时，是否与静态图像一样对运动图像进行压缩或者不压缩，这一点就变得很重要。因为以任何一个为前提时，电子水印的嵌入方法是不同的。

非压编运动图像从字面的意思来说，就是没有经过压缩的运动图像，可以认为是反映了轻微的运动的图像一张又一张连续排列而成。

压缩运动图像代表性的有MPEG1、MPEG2、MPEG4等。以通讯速度为基准，各种各样的压缩程度和使用目的分为MPEG1(1～1.5Mbps，Video·CD)、MPEG2(3～16Mbps，DVD·数字播放)、MPEG4(16k～1Mbps，下一代移动通讯)几类。

通讯速度的数值低意味着数据量小，即使用低速的通信速度也能够发送。而且，通信速度低的情况下，通常图像质量不好，但是保存到硬盘等上时，意味着会成为小文件。

MPEG1、2需要非常高速的通信线路。因此，即使是某种程度的低速的基础结构(infrastructure)也能利用的压缩技术，只有MPEG4。

近年来，在移动体通信路下，运动图像的重要性逐渐变高。在移动体通讯等的比特错误率高的通信网络中，由于比特错误造成一部分运动图像无法解码，造成图像大幅度变差等问题。为了避免该问题，MPEG4允许解码时进行错误隐蔽的处理。在这样的背景下，基于MPEG4的运动图像编码的、有关错误隐蔽方法的研究多了起来。

作为用于错误隐蔽的代表性的方法，有在错误隐蔽时不使用运动矢量进行隐蔽的方法以及在解码时使用运动矢量进行隐蔽的方法。通常所知的是针对伴随着大的运动的动态图像，需要采用后者的方法。

在错误隐蔽时不使用运动矢量的方法中，有如下2种方法：拷贝与隐蔽错误的部分对应的8×8的块的方法，以及通过过滤处理使用周围正确的像素填补不能解码的部分的方法。

拷贝块的方法的概念图如图7所示。这时，以帧为单位研究运动图像，并着眼于当前帧与参考帧。图中当前帧的涂黑部分表示由于通信线路错误导致无法解码的块。在拷贝块的方法中将参照帧中的、处于与不能解码的块相同位置的块拷贝到当前帧中，进行错误隐蔽。

使用这种方法，由于不必重新计算运动矢量，所以运算量小，对图像中固定不动的部分进行错误隐蔽的场合有效，而对图像中有运动的部分，隐蔽的性能就差了。

而通过过滤处理使用周围正确的像素填补不能解码的部分的方法，如果与周围的块相似的话是可行的，但是如果错误块中包括诸如边缘等有灰度急剧变化的场合下，隐蔽的性能就会变差。

解码时使用运动矢量来进行隐蔽的方法是以拷贝块的方法为基本。使用运动矢量的块拷贝的概念图如图8所示。这里当前帧中涂黑的部分表示通信线路错误导致无法解码的块。

这种方法利用与不能解码的块对应的参照帧内的块所具有的运动矢量，将该运动矢量指示的参照帧内的块拷贝到当前帧内的不能解码的块中的方法。这种方法需要重新计算运动矢量，而且由于错误隐蔽的精度依赖于运动矢量的精度，所以需要精度良好地推定运动矢量。

以往的推定运动矢量的方法有根据周围块的运动矢量进行推定的方法，以及根据周围块的像素进行推定的方法等。根据周围的块的运动矢量进行推定的方法是利用周围块所具有的运动矢量，推定错误块的运动矢量的方法。这种方法的概念图如图9所示。

图中当前帧的细箭头表示周围的块所具有的运动矢量，此外，粗箭头表示根据周围的运动矢量所推定出的错误块的运动矢量。这种方法虽然在错误块与周围块都在相同方向运动的情况下有效，但是在与周围的运动不同且块是突发的运动的情况下，或者在周围的块中发生错误的情况下，错误隐蔽的精度就差了。

根据周围块的像素推定运动矢量的方法是使用利用错误块的周围的像素所推定的运动矢量的方法。这种方法能够处理突发运动等的情况，错误隐蔽的精度比其他的方法高，但是由于需要重新推定运动矢量，所以运算量比其他方法大。

而且，在解码时推定运动矢量的现有技术中，往往考虑还存在2个问题。一是推定的运动矢量的精度。也就是说，在以往的方法中，因为只利用没有错误的像素进行推定，所以在错误率高的情况下和突发错误等中，得到高推定精度很困难。另一问题是在解码时需要运动推定的运算量大的处理。这样，也妨碍接收器的低功耗化和成本的降低。

此外，虽然有用于嵌入运动矢量的电子水印技术，但是由于现有技术是假定插入的数据量很小时的技术，因此不能直接应用于MPEG4。而且，由于在MPEG4使用的运动补偿预测的概念中，插入的数据被传播到了多个帧，所以难以保持图像质量。

                       发明内容

本发明鉴于上述以往的错误隐蔽方法的问题点，以提供下述利用运动图像的电子水印的错误隐蔽方法为课题：该方法可以降低用于推定运动矢量的运算量，即使在高错误率的情况下，也能获得正确的运动矢量，而且可以使现有技术的精度大致成为下限，进而还考虑了要具有与通用的解码器的向上兼容性。

为了解决上述课题，本发明的利用运动图像的电子水印的错误隐蔽方法具备以下特征：把数字运动图像信号区域分割成由N×N点像素构成的多个块或微块，当在上述各块或微块进行运动补偿得到与未来和过去的图像中的一方的差分信号时以及得不到上述差分信号时，通过离散余弦变换对上述各块或微块进行变换得到离散余弦变换输出，再使上述离散余弦变换输出量子化得到量子化输出，通过对上述量子化输出进行可变长编码得到比特流，另外，在将检索窗口尺寸设为±x的情况下，将用于区别I图片、P图片、B图片的2比特数据以及有关运动矢量的大小的水平、垂直组合为2n比特数据作为电子水印信息嵌入到上述运动矢量表示的运动的块或微块之外的各块或各微块的DCT系数里，其中，2^n-1≥|x|，使上述电子水印信息可以在解码时用于错误隐蔽。

此外，优选上述DCT系数是高频区域的DCT系数，进而，在编码时和解码时使用修正量子化表，在该修正量子化表中将表内AC系数按之字形扫描顺序排列的、从最后开始必要个数的系数固定为1。

                    附图说明

图1是表示本发明的编码时的系统的输入输出关系的方框图。

图2是表示本发明的解码时的系统的输入输出关系的方框图。

图3是用于说明本发明的向AC系数的信息嵌入的图。

图4是用于举例说明本发明的置换量子化表的图。

图5是表示由运动矢量嵌入引起的对图像的影响的实验结果的曲线图。

图6是伴随量子化表变更对图像的影响的实验结果的曲线图。

图7是表示以往错误隐蔽方法的块拷贝方法的概念图。

图8是表示以往使用运动矢量的块拷贝方法的概念图。

图9是表示以往的运动矢量推定方法的概念图。

                      具体实施方式

依据附图说明本发明的实施方式。本发明的使用运动图像的电子水印的错误隐蔽方法具备以下特征：在编码时，把计算的运动矢量作为电子水印信息嵌入各个块或者微块中，将上述电子水印信息在解码时用于错误隐蔽，为了改善错误隐蔽特性，各个块或者微块所嵌入的有关运动矢量的数据量对应于用于区别I图片、P图片、B图片的识别符和运动矢量。

接下来，说明以16×16的微块为单位嵌入电子水印信息的情况。另外，对于以8×8的块为单位嵌入电子水印信息的情况，因为是进行同样处理，所以这里就省略其说明。

当将检索窗口尺寸设定为±x时，必要的数据量对于用于区别I图片、P图片、B图片的识别符为2比特，有关运动矢量的大小的数据量为组合水平、垂直为2n(2^n-1≥|x|)比特，对于各个微块来说合计为2n+2比特。由于一个微块由4个亮度信号块和2个式差信号块构成，故在各个亮度信号块中1块需要(2n+2)÷4比特的嵌入。

例如，当将检索窗口尺寸设定为±15时，必要的数据量包括对上述识别符为2比特，对运动矢量为水平方向5比特、垂直方向5比特共计10比特，对各个微块来说合计就是12比特。1个微块由4个亮度信号块和2个式差信号块构成，所以在各个亮度信号块中，每个块需要12÷4＝3比特的嵌入。

如下所述，经实验证明，本发明中，通过对各个块嵌入3比特的数据，就能够抑制伴随着该嵌入的图像劣化，而且，即使解码器不具有利用该嵌入的数据的功能，带有兼容性也可以解码。

接下来，说明电子水印的运动矢量的嵌入方法和错误隐蔽方法。图1是表示本发明的编码时嵌入运动矢量的方法的步骤的方框图。如果把该图中量子化器的输出设定为与输入同样的1对1的情况下，这个结构就会经常输出上一次的数据与现在的数据的差分。而且，图中用点线框所表示的部分的处理与以往的MPEG编码相比有很大的差异。

在处理图像和嵌入信息时，需要注意保障数据的二进制性和抑制伴随着数据嵌入的图像劣化。

为了保障数据的二进制性，数据需要在量子化后的DCT系数中进行嵌入。3比特数据的嵌入以下述方式执行：在各个块中从64个中选出需要数目的DCT系数，再把其值置换为1或者0(参照图3)。其位置，例如当需要3个DCT系数时，选择相当于AC系数的高域的AC(p)、p＝61～63。其中，AC(p)、p＝61～63是将AC系数按照之字形扫描顺序排列的第p个系数。

还有，为了抑制伴随着数据嵌入的图像劣化，量子化中使用的量子化表经过修正后在解码时使用。具体来说，将量子化时所用表的AC(p)、p＝61～63所对应的值设定为1，供解码时使用。该最后3个区域是高频区域，也是图像劣化影响最少的区域。各块中嵌入3比特时的修正量子化表的例子如图4所示。

某个微块的运动矢量信息嵌入哪个微块里的问题是有自由度的。例如，虽然作为嵌入的场所往往考虑是1帧之前的相同场所或者同一帧之内其他块等，但是需要考虑错误发生时的稳定性和处理的容易程度等来决定。

在以往的保障数据的二进制性的形式下将数据嵌入JPEG和MPEG图像中的方法已经使用了。但是，这些方法是在各个块里嵌入1比特的形式，而且没有讨论向I帧以外的P帧和B帧的嵌入。

MPEG的情况下，因为在P帧、B帧中利用其他帧的信息进行压缩压缩，所以像素值的误差不仅在1个帧内，还会传播到了其他帧。因此，虽然会对量子化表的值有很大影响，但是在以往的方法中却完全没有讨论过这种伴随运动补偿预测的误差传播。

此外，图2是表示本发明的解码时的步骤的方框图，其中点线的箭头表示使用一般的MPEG解码器的情况和不进行错误隐蔽的情况、或者是不需要错误隐蔽的情况下的运动矢量的传递。

进行用于确认本发明的有效性的对比实验。这个实验，在图像中嵌入运动矢量，讨论使用通用的MPEG解码器解码时的像素，并检验证明利用嵌入的运动矢量进行错误隐蔽时的有效性。

这个实验使用通用的MPEG1和MPEG2的编码·解码软件(MPEG2encoder/decoder Version 1.2)，并基于MPEG1进行信息压缩。压缩后的图像是黑白16张图像(704×240像素)，比特率为1(Mbps)。此外，GOP构造是周期为9，I/P间距离为3的I图片、P图片、B图片。

作为图像的评价基准，使用伸长后图像的PSNR(Peak Signal toNoise Ratio：峰值信噪比)(dB)，即

【式1】

$\mathrm{PSNR}=10\mathrm{lo}{g}_{10}\frac{\×255^2}{\underset{i=1}{\overset{\mathrm{rows}}{\mathrm{\Σ}}}\underset{j=1}{\overset{\mathrm{cols}}{\mathrm{\Σ}}}{\{p(i,j)-f(i,j)\}}^2}\left[\mathrm{dB}\right]$

。p(i，j)是压缩前的帧的像素值，f(i，j)是伸长的帧的像素值。而且rows，cols分别表示图像的横、纵的尺寸。

这里为了评价由运动矢量嵌入引起的对图像的影响，将运动矢量嵌入图像中，对用MPEG编码、用普通的MPEG解码器解码时的图像进行比较。嵌入数据对于每个DCT块为3比特。

图5表示这个实验的结果，横轴表示帧序号，纵轴表示当时的PSNR(dB)的值。“没有嵌入”表示MPEG原始图像的情况，“提案方法(lbit)”表示按照本发明对3处的DCT系数分别1比特1比特嵌入的情况，“提案方法(3bits)”表示对1个系数嵌入3比特的情况。还有，“以往方法”表示AC(8)、AC(9)、AC(10)的DCT系数的LSB(最低位比特)中插入置换数据的根据以往的方法的情况。

从这个结果，可以确认，按照以往的方法得到的结果是图像大幅度地劣化，而按照本发明得到的结果是，即使在进行了嵌入的情况下，依旧可以得到与原始图像近似的PSNR。

在JPEG的情况下，无论3处的DCT系数分别1比特1比特嵌入的情况，还是1处DCT系数嵌入3比特的情况PSNR的区别都很少。然而，与此结果不同，在MPEG的情况下，这两种方法所得到的PSNR的差异很大。这些的差异一般都认为是由运动补偿预测误差的传播引起的。所谓运动补偿预测误差是由参照帧与现在帧的差所得到的误差。

此外，图6表示量子化表发生变化的情况与未发生变化的情况的结果。从中可以确认，在使量子化表变化的方法的情况下，图像的劣化少，使量子化表不变的方法与使其变化的方法相比其图像劣化要严重。

这个结果显示由于在MPEG中使用运动补偿预测，所以当在其他的帧中存在误差时，这个误差经传播伸长图像的PSNR降低。将嵌入的误差限制到很小，不只是使该帧内的误差变小，而且还使传播到其他帧的误差也变小。从这个结果，可以确认使量子化表变化是有效的。

本发明如上所述，在本发明的使用运动图像的电子水印的错误隐蔽的方法中，具有能提供一种使用运动图像的电子水印的错误隐蔽的方法的效果，该错误隐蔽的方法考虑为可以降低用于推定运动矢量的运算量，即使在高错误率的情况下，也能获得较为正确的运动矢量，而且，可以与以往的技术组合使用，可以使现有技术的精度大致成为下限，进而，还具有与通用的解码器的向上兼容性，即使是某种程度的低速的基础结构也能有效的活用。

Claims (3)

1.一种利用运动图像的电子水印的错误隐蔽方法，其特征在于：

把数字运动图像信号区域分割成由N×N点像素构成的多个块或微块，当在上述各块或微块进行运动补偿得到与未来和过去的图像中的一方的差分信号时以及得不到上述差分信号时，

通过离散余弦变换对上述各块或微块进行变换得到离散余弦变换输出，再使上述离散余弦变换输出量子化得到量子化输出，通过对上述量子化输出进行可变长编码得到比特流，

另一方面，在将检索窗口尺寸设为±x的情况下，将用于区别I图片、P图片、B图片的2比特数据以及有关运动矢量的大小的水平、垂直组合为2n比特数据作为电子水印信息嵌入到上述运动矢量表示的运动的块或微块之外的各块或各微块的DCT系数里，其中，2^n-1≥|x|，使上述电子水印信息可以在解码时用于错误隐蔽。

2.如权利要求1所述的利用运动图像的电子水印的错误隐蔽方法，

上述DCT系数是高频区域的DCT系数。

3.如权利要求1或2所述的利用运动图像的电子水印的错误隐蔽方法，

在编码时和解码时使用修正量子化表，在该修正量子化表中将表内的AC系数按之字形扫描顺序排列的、从最后开始必要个数的系数固定为1。

Images