CN1233371A - 数据隐藏及提取方法 - Google Patents

Abstract

本发明的目的是提供一种方法,用于把附加信息嵌入到一个视频电影中而实质上不影响视频电影的压缩效率并且还在实质上不使得降低图象的质量。在用于嵌入信息的视频电影的帧中指定至少一个嵌入区域,并且通过参考一个嵌入准则,确定与将要被嵌入的信息一致的该嵌入区域的帧间预测的类型,其中使得将要被嵌入的数据内容对应于嵌入区域的帧间预测的类型。希望的是存在嵌入区域的帧是一个双向预测编码帧。

Description

数据隐藏及提取方法

本发明涉及用于把信息数据隐藏到介质数据中的数据隐藏方法以及用于提取隐藏数据的数据提取方法。

随着多媒体社会的发展，大量的数字视频和音频信息在互联网络系统上流通或作为CD-ROM软件流通。对于数字视频和音频信息来说，任何人都能够容易地创建一个理想的拷贝而不降低质量，所以这种信息的非法使用和版权的保护正在成为问题。为了防止第三方非法地复制例如视频和音频数据的介质数据，例如象把创建者(作者)签名的附加信息隐藏到原始介质数据中的隐藏技术正在成为关注的焦点。当数字视频数据或其它类似数据被非法地复制时，能够通过确认隐藏在复制中的签名以及通过指定信源来了解这种复制是否为一个非法复制。象这样的一个隐藏技术被称之为数据隐藏。

图1示出当数字数据被显示在一个显示器上时的一个半色调图像。在图1(a)的介质数据中，该介质数据是一个数字图象信息，例如护士、河流、幼儿园、学生和鸟类，已经被隐藏为如图1(b)中示出的情况。通过把一个图像(例如从图片获得的)分割成非常细小的部分并且用数字表示用于每一部分的亮度和色调。此时，图像的原始数值被故意地稍加改变。如果在数值中有小的改变，则在该图像中将几乎没有扰乱，并且人也感觉不到该扰乱。如果这种特性被巧妙地使用，则能够把完全不同的信息(信息数据)隐藏在原始视频信号中。这种信息数据可以是任何信息，例如网格图案，标尺或视频创建者的签名。在介质数据中隐藏的信息数据能够通过利用一个特定程序的处理而被提取。因此，根据该提取的信息数据，就能够查验该介质数据是否已经被改变。

顺便说明，运动图象专家组标准(MPEG)是熟知的一种用于运动图像(视频数据)的压缩方法。在某些附加信息被放入一个MPEG视频比特数据流中的情况下，通常使用一种把附加信息隐藏到一个用户数据域中的方法。可是在这样的一个方法中，该区域能够被容易地从介质数据分离，所以存在的问题是容易检测及除去附加的隐藏信息。

考虑到上述的问题，本发明的目的是提供一种新颖方法，用于把附加信息嵌入到通过采用帧间预测压缩的运动图像中。本发明的另一目的是提供一种方法，其中即使是有附加信息被嵌入到一个运动图像中，也将几乎没有图像质量的降低。本发明的另一目的是使得难于从一个运动图像中删除嵌入的信息。

具体地说，第一个发明提供一种把信息嵌入到由多个帧构成的一个运动图像中的数据隐藏方法。该数据隐藏方法包括步骤：在用于嵌入信息的帧中指定至少一个嵌入区；并且通过参考一个嵌入准则，确定与将要被嵌入的信息一致的嵌入区的帧间预测的类型，其中使得将要被嵌入的数据内容对应于嵌入区的帧间预测的类型。最好是存在嵌入区的帧是一个双向预测编码帧。

在这种情况下，希望该帧间预测的类型是从正向预测、反向预测、双向预测和帧内编码中选择的。还希望该嵌入准则使得比特值之一对应于双向预测，而其它比特值对应于正向预测或反向预测。而且该嵌入准则可以对应于该帧内编码使得数据嵌入禁止。

而且，当根据嵌入准则确定的嵌入区的帧间预测的类型中的预测误差超过一个预定门限值时，则希望禁止对该嵌入区的数据嵌入。由于该嵌入区的预测类型是根据嵌入准则强制地决定的，所以存在出现图像质量降低的可能性。因此，提供作为判定图像质量的标准的一个阈值，并且通过采用该嵌入准则，对于不将数据嵌入在预测误差超过一个阈值的位置是有效的。

此外，当在双向预测编码帧中的正向预测的若干基准或反向预测的若干基准少于一个预定的数目时，对双向预测编码帧的嵌入区的数据的嵌入可被禁止。例如，如果场景产生改变，则在与该改变有关联的帧中的正向预测基准的数目或反向预测的基准的数目将被显著地降低。在这种情况下，如果采用该嵌入准则并且强制地确定预测类型，则可能使图像质量显著地退化。因此，如果在一个帧中的预测基准数目被计算并且是少于一个预定门限值时，则希望不把数据嵌入到该帧中。所以，另一发明提供一种把信息嵌入到由多个帧构成的一个运动图像中的数据隐藏方法。该数据隐藏方法包括步骤：计数在具有用于嵌入信息的一个嵌入区的帧中的正向预测的若干基准或反向预测的若干基准；当基准的数目大于一个预定的数目时，通过参考一个嵌入准则，确定与将要被嵌入的信息一致的各嵌入区的特性。其中使得将要被嵌入的数据内容对应于嵌入区的特性；并且当基准数目小于预定的数目时，禁止对于该帧的嵌入区的数据嵌入。

第二发明涉及把具有冗余度的的信息嵌入到一个图像中的数据隐藏方法。首先，在该图像中指定多个嵌入区用于嵌入相同的信息。随后，通过参考嵌入准则把相同的数据嵌入在和将要被嵌入的信息一致的分别的嵌入区中。例如，考虑其中数据位1被嵌入在三个嵌入区中的情况。通过参考规定一个数据位的值的嵌入准则和一个嵌入区的特性(例如预测类型)，确定三个嵌入区，以使它们具有对应于数据位值为1的相同特性。

第三发明涉及提取嵌入到一个编码运动图像的信息的一个数据提取方法。在一帧中至少指定一嵌入区。通过参考一个提取准则，提取嵌入在该指定嵌入区中的数据，其中使帧间预测的类型对应于将要被提取的数据内容。

所希望的是，其中存在嵌入区的帧是一双向预测编码帧。而且希望帧间预测的类型是从正向预测、反向预测、双向预测和帧内编码中选择的。

而且，该提取准则可以使比特值之一对应于双向预测，并且使其它比特值对应于正向预测或反向预测。而且，该提取准则可以使该帧内编码对应于数据嵌入禁止。

第四发明提供用于提取嵌入到一个图像中的具有冗余度的信息的一个数据提取方法。该数据提取方法包括步骤：在图像中指定以确定的数据(例如数据位1)嵌入的多个嵌入区，并且通过参考一个提取准则，根据各嵌入区的特性提取嵌入的数据(上述的数据位1)，其中使得该嵌入区的一个特性对应于将要被提取的一个数据位。其中，当从各嵌入区提取出不同的数据位时，嵌入区的数目可被针对提取的不同数据位的每一个比较，并且具有较大数目的数据位可被指定作为被嵌入的信息(称之为由多数决定)。例如，假定从已经嵌入相同的数据位(数据位1)的三个嵌入区A、B和C提取的数据是1、1和0。在这种情况下，提取1的比特值的嵌入区的数目是2，而提取0的比特值的嵌入区的数目是1。由于上述的较大数目的比特值可以说是更精确的比特值，所以就认为已经嵌入了数据比特1。如果已经嵌入了数据比特1，则从三个嵌入区取出的数据比特值将是1。可是，由于某些原因，存在嵌入信息被改变的情况。而且，考虑采用一个统计方法的提取。因此，例如象第四发明的利用嵌入到图像中的冗余度来提取信息的方法是有效的。

第五发明涉及一个运动图像编码系统，用于把信息嵌入到由多个帧构成的并且使用帧间预测的视频数据中。该系统包括一个误差计算器，通过采用正向预测，根据在用于嵌入信息的第一帧中指定的嵌入区以及根据在第二帧中的被用作该嵌入区的一个基准区计算一个第一预测误差；通过采用反向预测，该计算器还根据该嵌入区以及根据在第三帧中的被用作该嵌入区的一个基准区计算一个第二预测误差；以及通过采用双向预测，该计算器还根据该嵌入区以及根据在第二和第三帧中的被用作该嵌入区的基准区计算一个第三预测误差。该系统还包括一个判定器。该判定器通过参考中的一个嵌入准则决定在与信息内容一致的嵌入区中的帧间预测的一个类型；该嵌入准则规定何时把一个数据比特嵌入在嵌入区，帧间预测的类型可以使用正向预测或反向预测之一，该准则还规定何时将另一数据比特嵌入在嵌入区中，帧间预测的类型使用双向预测。该判定器还对应帧间预测的被决定的类型指定该第一、第二或第三预测误差的任意一个。

其中，上述的判定器可以包括第一禁止装置，当根据嵌入准则确定在该确定的嵌入区的帧间预测的类型中的一个预测误差超过一个预定门限值时禁止数据相对一个确定的嵌入区的嵌入。而且，该判定器可以包括第二禁止装置，当在双向预测编码帧中的正向预测的基准数目或反向预测的基准数目是小于一个预定的数目时，禁止数据对该双向预测编码帧的嵌入区的数据嵌入。

第六发明涉及运动图像解码系统，用于提取嵌入到一个编码运动图像中的信息。该系统包括一个指定器，指定至少一个其中嵌入信息的区域。而且，该系统包括一个提取器，通过参考一个提取准则从在该嵌入区域中的帧间预测的类型提取嵌入的信息，其中使得在该嵌入区域中的帧间预测的类型对应于将要被嵌入的信息的内容。

第七发明涉及用于执行一个数据隐藏处理的一个程序存储介质，通过计算机把信息嵌入到由多个帧构成的运动图像中。该程序存储介质包括步骤：在一帧中至少规定一个被嵌入信息的嵌入区域；并且决定通过参考一个嵌入准则决定在该嵌入区域中与将要被嵌入的信息一致的帧间预测的类型，使得将要被嵌入的信息内容对应于在该嵌入区域中的帧间预测的类型。

第八发明涉及一个用于执行数据提取处理的程序存储介质，通过计算机提取嵌入到编码的运动图像中的信息。该程序存储介质具有步骤：在一帧中规定至少一个其中被嵌入信息的嵌入区域，并且通过参考一个提取准则提取与在嵌入区域中的帧间预测的类型一致的嵌入信息，其中使得在该嵌入区域中的帧间预测的类型对应于将要被提取的数据的内容。

图1是当数字数据被显示在一个显示器上时获得的一个半色调的图像；

图2表示帧间预测类型的排列的一个实例的示意图；

图3是表示在B帧中的宏数据块的一个实例的示意图；

图4是用于说明在一个宏数据块的预测类型和预测误差之间的相互关系的示意图；

图5是用于说明在场景发生改变时基准图像的示意图；

图6是一个运动图像编码系统的框图；和

图7是一个运动图像解码系统的框图。

实现本发明的最佳模式

(1)数据嵌入

首先，描述其中把一些附加信息(信息数据)嵌入到一个MPEG视频比特数据流(介质数据)中的情况。MPEG使用根据已往的基准帧的正向预测、根据将来基准帧的反向预测和根据已往和将来的基准帧的双向预测。图2表示一个帧序列。如该图中表示，为了实现双向预测，该帧序列包括三个帧类型：一个I帧、P帧和B帧。

其中，I帧是一个内编码的帧，并且在该帧之内的所有的宏数据块都通过帧内编码(无帧间预测)被压缩的。P帧是一个(正向)预测编码帧，并且在该帧之内的所有的宏数据块都通过帧内编码或正向预测编码被压缩的。而且B帧是一个双向预测、内插的编码帧。在B帧之内宏数据块可以基本上是通过采用正向预测、反向预测、双向预测或帧内编码的方法被编码的。该I帧和P帧是以与原始运动图像相同的次序而被编码的。另一方面，该B帧被插入在I帧和P帧之间，并且在I和P帧被处理之后，该B帧被编码。

信息(信息数据)嵌入区域是B帧的宏数据块，并且可以相对于1个宏数据块嵌入1信息比特。所以，当信息数据是由若干比特构成时，就需要针对在数目上对应于这些比特的宏数据块执行嵌入处理。图3是一个示意图，表示在B帧中的宏数据块的排列。该宏数据块是预测的单元。该宏数据块是运动补偿的16×16的单元，它通过降低其时间冗余度压缩视频数据。在B帧之内的宏数据块可以按照预测类型被划分成下列四个组。

内编码的宏数据块：

该内编码的宏数据块是一个只借助在宏数据块本身中的信息而不执行帧间预测的编码的宏数据块。

正向预测宏数据块：

正向预测宏数据块是通过参考已往的内编码的帧(I帧)或已往的正向预测视频编码帧(P帧)正向地预测和编码的一个宏数据块。具体地说，与已往的基准帧最相似的一个16×16象素的一个正方形被检索，并且该宏数据块具有一个预测误差(ΔP)，该预测误差是在宏数据块和检索的正方形区域之间的差值，而且具有关于一个空间相对位置的信息(运动矢量)。其中，该预测误差ΔP被表示成针对16象素×16象素的亮度差或色度差。注意，一个相似的正方形的如何被选择取决于编码器。

反向预测宏数据块：

反向预测宏数据块是通过参考未来内编码的帧(I帧)或未来正向预测编码帧(P帧)反向地预测和编码的一个宏数据块。在未来基准帧中的最相似的区域被检索，并且该宏数据块具有一个预测误差(ΔN)，它是在该宏数据块和检索的区域之间的差值，而且具有关于一个空间的相对位置的信息(运动矢量)。

双向预测宏数据块：

双向预测宏数据块是通过参考过去基准帧和未来基准帧双向地预测和编码的一个宏数据块。与已往基准帧中的最相似的区域和未来基准帧中的最相似的区域都被检索，并且该宏数据块具有一个预测误差((ΔN+ΔP)/2)，它是在该宏数据块和检索的这两个的平均值(每一象素)之间的差值，而且具有关于它们的空间相对位置的信息(两个运动矢量)。

为了嵌入信息数据，必须在一个B帧中首先规定将被实施一个嵌入处理的至少一个宏数据块。例如，该宏数据块可被定义为在B帧的第一行和第三行之间存在的宏数据块(嵌入区域)，或可被定义为在一个确定的帧中的所有的宏数据块。除了用这种方式预先把宏数据块定义为这种格式之外，还可以通过采用产生一个位置顺序的算法确定该宏数据块。注意，用于产生一个位置顺序的算法可以使用例如在日本专利申请No.8-159330中公开的算法。

随后，根据一个嵌入准则针对被指定为一个嵌入处理的目标宏数据块把1比特数据嵌入到1个宏数据块中。该嵌入准则是使得其中的比特信息对应于宏数据块的预测类型的嵌入准则。例如有下列的准则。

(嵌入准则)

将要被嵌入的比特信息宏数据块的帧间预测类型

比特1                   双向预测宏数据块(由B表示)

比特                    0正向预测宏数据块(由P表示)或反向预

                        测宏数据块(由N表示)

嵌入禁止                内编码宏数据块

例如考虑其中把信息数据1010嵌入的情况。数据的4个比特依次嵌入在图3中示出的第一行的左边第一宏数据块和左边第四宏数据块之间的4个嵌入区域(宏数据块)中。首先，第一数据比特是一个1，所以根据上述的嵌入准则，最左边的宏数据块(第一嵌入区域)的预测类型被确定为是双向预测(B)。在这种情况下的预测误差变成相对于已往基准帧中的最相似的区域和未来基准帧中的最相似的区域的平均值的差值的这样一个预测误差。

下一个数据比特是0。所以根据嵌入准则，该第二宏数据块(第二嵌入区域)的预测类型或者是正向预测(P)或者是反向预测(N)。在这种情况下，为了抑制一个图像的质量降低，在正向预测中的预测误差和在反向预测中的预测误差被比较，以便选择预测其中误差较小的类型。在图3的实例中，由于在正向预测中的预测误差是小于反向预测中的预测误差，所以该正向预测(P)被选择用于该第二宏数据块。

相似的过程被重复地施加到第三嵌入区域和第四嵌入区域。结果是，第三宏数据块的预测类型变成双向预测(B)，而第四宏数据块的预测类型被确定为是反向预测(N)，因为在该反向预测中的预测误差是较小的。

在上述的方式中，第一到第四嵌入区域的帧间预测类型是BPBN，而4比特数据1010(信息数据的4比特)被嵌入在这些区域中。如果尝试把数据比特嵌入到一个确定的嵌入区域中，将会出现图像质量被显著地劣变的情况。在此情况中，不执行数据比特对于该嵌入区域的嵌入，并且该嵌入区域的预测类型是表示“嵌入禁止”的一个内编码宏数据块。

(2)数据提取

现描述提取以上述的过程嵌入的信息数据的方法。在提取信息数据的情况中，首先必须给出用于指定其中已经嵌入有信息数据的宏数据块的信息。该指定信息可由一个外部单元给出。而且，有可能在数据本身中预先嵌入该指定信息。此外，在嵌入区域的位置是标准化的情况下，即如果用于产生位置顺序的算法是已知的情况下，信息数据可以被提取。对于一个使用位置顺序的信息数据提取方法来说，可以使用在日本专利申请No.8-159330中公开的技术。

随后，从在指定嵌入中的预测类型，通过参考提取准则来提取嵌入在该区域中的信息。该提取准则是使得其中的宏数据块的预测类型对应于比特信息，并且当执行提取时必须作为信息给出。例如有下列准则。应该指出，在提取准则中的预测类型和比特信息之间的对应关系是与上述的嵌入准则的该对应关系相同的。而且，在预测类型是一个内编码宏数据块的情况中，可以断定在该嵌入区域中还没有嵌入一个数据比特。

(提取准则)

宏数据块的帧间预测类型       将要被提取的比特信息

双向预测宏数据块(由B表示)    比特1

正向预测宏数据块(由P表示)或    比特0

反向预测宏数据块(由N表示)

内编码宏数据块                 没有嵌入数据比特

现将描述图3中示出的已经嵌入了信息数据的情况。作为一个前提，假定已知该信息数据比特已经被嵌入从图3的左边第一宏数据块开始到该第一行的第四宏数据块的嵌入区域中。因为最左边宏数据块的预测类型是双向预测(B)，所以通过参考上述的提取准则提取比特值1。第二宏数据块的预测类型是正向预测(P)，所以根据该提取准则提取比特值0。通过重复地对于这两个其它的宏数据块施加相同的处理过程，依次提取比特值1和比特值0。结果是，从这些区域中提取信息数据比特1010。

如果最右侧的宏数据块的预测类型是一个内编码宏数据块，则将根据上述的提取准则判断在该宏数据块中还没有嵌入数据比特。结果是该信息数据比特变成101。

(3)图像质量的关注(阈值的介绍)

编码器可以自由地选择在对于每一帧来说所允许的范围内的宏数据块的预测类型。通常，选择其中预测误差是最小的宏数据块预测类型。但是，本实施例的特征是根据上述的嵌入准则选择宏数据块的预测类型。由于在该提取准则中的预测类型和比特信息之间相互关系是和由该嵌入准则预定的该相互关系完全相同，所以可以通过参考该提取准则正确地提取嵌入的数据。

但是，如果根据该嵌入准则确定预测类型，则将有可能选择其中的预测误差大到使得图像的质量可以有可识别的直观降低的预测类型。对于这种预测误差来说，存在使用针对每一象素的绝对值的总和或预测误差的平方总和的多种情况，但是MPEG并不规定使用什么标准，所以一个编码器可以自由地使用针对预测误差的任意标准。但是，无论标准如何，如果其中的预测误差太大的一个预测被选择，则将出现图像质量的降低。因此，一个确定的阈值被预先设置为一个预测误差。在其中的一个选择预测类型中的这种预测误差是大于该阈值的情况中，所希望的是在这种宏数据块中不执行一个数据比特的嵌入。在这种情况下，根据上述的嵌入准则，宏数据块的预测类型实现一个内编码宏数据块。这一点将根据图4更进一步详述。

图4是一个用于解释在一个宏数据块的预测类型和预测误差之间的相互关系的示意图。在该图中，纵坐标轴表示预测误差，而一个较大预测误差表明图像质量的一个较大的降低。而且，已经设置了一个阈值作为可允许的预测误差，即作为判定其中没有可察觉的图像质量的降低的出现的一个标准。在图4中，由单一垂直线条链接的三个短横线(ⅰ)、(ⅱ)和(ⅲ)表明一个宏数据块的正向预测、反向预测和双向预测的3个预测误差的任意一个。从在一个阈值和3个预测误差之间的相互关系来说，一个宏数据块可以被划分成4个类型(a)、(b)、(c)和(d)。即该4个类型是情形：(类型(a))，其中的3个预测误差全部小于一个阈值；(类型(b))，其中任意一个预测误差超过一个阈值；(类型(c))，其中两个预测误差超过一个阈值；和(类型(d))，其中全部预测误差超过一个阈值。

对于类型(d)的宏数据块来说，即使选择了预测的任意一个类型，所有的预测误差都将超过一个阈值并且图像质量将出现相当的降低，所以不希望使用这类宏数据块作为一个嵌入区域。在这种情况下，根据该嵌入准则，该宏数据块变成为一个内编码宏数据块。但是，在MPEG中，在B帧中的大多数的宏数据块具有帧间预测(正向预测、反向预测或双向预测)，并且实际上出现这类宏数据块的可能性是低的。

对于(a)类型的宏数据块，即使选择任意种类的预测，也将不会有可能出现该预测误差超过一个阈值。即，即使把任意数据嵌入，图像质量的降低也将不会是显著的，所以这类宏数据块能被用作一个嵌入区域。而且，即使对于(b)类型，即使该数据块被用作一个嵌入区域，也将不会出现图像质量的可察觉的降低。通常，双向预测误差变成不可能成为这三个预测误差之中的最糟一个(即，双向预测误差不可能是横线(ⅰ))。根据上述的嵌入准则，1的比特值和0的比特值都可以被嵌入到不超过一个阈值的这种数据块中。因此，当使用上述的嵌入准则时，数据比特可以被嵌入到类型(a)和(b)的宏数据块中而实质上不引起图像质量的降低。

对于类型(c)来说，通常不希望使用这类数据块作为一个嵌入区域。在一个双向预测误差是横线(ⅲ)的情形中，正向预测误差和反向预测误差两者都超过一个阈值，结果是，根据将要被嵌入的数据比特将出现图像质量的降低。但是即使在这种情况下，当对应于将要被实际上嵌入的一个数据比特的预测类型中的预测误差不超过一个阈值时(例如，当根据嵌入准则嵌入一个确定的比特值时，该情形中的预测误差是小于由横线(ⅲ)指示的一个阈值)，有可能把这类数据块用作一个嵌入区域。

考虑到上述的要点，针对其中嵌入数据的一个确定的宏数据块而获得预测误差的三个类型。随后，在根据嵌入准则决定的该预测类型的预测误差超过一个预定门限值的情形中，所希望的是禁止把数据嵌入到该宏数据决中。在这种情况下，根据上述的嵌入准则，被禁止嵌入数据的宏数据块的预测类型是帧内编码。

注意到，类型(c)和(d)的内编码宏数据块变成不能被用作一个数据嵌入区域的无效比特。但是，如先前描述，在将要嵌入的信息被允许具有冗余度的情形中，无效比特的实际出现比率是低的，所以这样的无效比特可以通过纠错编码而被补偿。

根据本发明的实施例，宏数据块的类型和将要被嵌入的一个数据比特是有相互关系的，并且在编码一个运动图像时决定。因此，信息数据可以被嵌入到一个运动图像中而实质上不影响该运动图像的压缩效率并且实质上不引起图像质量的降低。此外，用这种方式从一个运动图像中除去嵌入的信息数据是很难的。而且，由于将要被嵌入的信息量几乎是与图像的内容无关，所以有可能有效地嵌入信息数据。

(4)图像质量的关注(场景改变的对策)

当场景发生改变时，则可以得知，在I帧和P帧之间或在两个P帧之间的大多数的宏数据块在该场景改变之前和之后是在图4中示出的类型(C)。图5是用于解释在该情形中当场景发生改变时的基准图像的示意图。图5(a)示出当不存在场景改变的情形，而图5(b)示出当在帧2和帧3之间发生场景改变时的情形。在这两幅图中，两个相对的结束帧是I或P帧，而两个中间帧是B帧。而且，这图中显示出在帧之间的参照关系。

如果不存在场景的改变，则大量的双向预测的宏数据块存在于B帧中。但是如果出现在图5(b)中示出的场景改变，则在帧2中的反向和双向预测的宏数据块的数目将被显著地降低并且该宏数据块的大部分将成为正向预测宏数据块，以使得预测误差将变得小于图4的阈值。而且，在帧3中的正向和双向预测宏数据块的数目将被显著地降低，并且该宏数据块的大部分将变成反向预测宏数据块，使得预测误差变得小于图4的阈值。因此，不希望把数据嵌入到这样的帧中。因此，正向预测的宏数据块数目和反向预测的宏数据块的数目被监视，并且当这些数目小于一个确定的阈值时，即断定场景发生了改变。在这种情况下，不希望把数据嵌入到这样的帧中(即根据嵌入准则，希望预测类型是实现一个内编码宏数据块)。

(5)图像质量的关注(遮断的对策)

遮断意味着由移动一个确定的目标使得在该目标之后某物突然出现或相反地被隐藏。当遮断发生时，涉及到在整个帧之内遮断的宏数据块是图4示出的类型(C)。在这种情况下，如先前描述，如果根据嵌入准则确定的该预测类型的预测误差是小于一个阈值，则将不会有问题，但是在除此以外的情形中，将出现可察觉的图像质量的降低。当图像质量是很重要的因素时，可以通过采用一个纠错码来避免该图像质量的降低。即，不利用单一宏数据块表示1信息比特，而是把冗余度赋予信息，并且相当于1比特的信息由多个宏数据块表示。在这种情况下，单一的嵌入区域由一组宏数据块构成的。

例如，考虑其中以三个宏数据块表示相当于1比特信息的情形。在这种情况下，即使该三个宏数据块之一是与将要被表示的数据比特相反的预测类型，该数据比特也可以利用其余的两个宏数据块正确地表示。如果多于一个预定数目的内编码宏数据块被包含在表示1信息比特的某组宏数据块中，则一个数据比特将不被嵌入到该宏数据块组中。相反，如果两个或更多的宏数据块是图4中示出的类型(c)，就有必要使得这些宏数据块的某些变成内编码宏数据块，以便清楚地表明该数据没有被嵌入。在使用统计技术的嵌入和提取中也可以利用这种方法。即，统计的特性的每次出现，都准备多个嵌入区域(例如100个区域)，并且可以利用多个区域表示1信息比特。从这种意义上来说，在本发明中的冗余度意味着该1信息比特将不被使之以一对一的关系对应于将要被处理的单一区域，而是对应于多个区域。

当遮断发生时，将被认为是存在于涉及该遮断的部分中存在的多个互相地邻近的宏数据块是图4中示出的类型(C)。鉴于这一点，对于构成一个纠错码的一组宏数据块来说，所希望的的是利用在该帧中的彼此远距位置处出现的宏数据块。

虽然上述的实施例是参照MPEG描述的，但是本发明不局限于MPEG。本发明当然是适用于使用帧间预测编码技术的其它的图像压缩方法。从这种意义来看，在本发明中的嵌入区域不局限于宏数据块。

上述的嵌入准则和提取准则只是示例，所以本发明不局限于这些规则，而是可以使用各种的规则。例如，还有可能通过使一个正向预测宏数据块、一个反向预测宏数据块和一个双向预测宏数据块分别地对应于比特值0、1和2而把三个数据值嵌入到单一的宏数据块中。

而且，尽管上述的实施例已经参照B帧，即一个双向预测帧作了描述，但是同样有可能把数据嵌入到上述的P帧中。由于构成该P帧的宏数据块是正向预测宏数据块和一个内编码宏数据块，所以使得比特值可以对应于这些宏数据块。但是，从抑制图像质量的降低和数据量的增加的观点出发，如前描述，所希望的是把数据嵌入到B帧而不是嵌入到P帧。其原因是，如果借助嵌入准则把一个属于是内编码宏数据块的宏数据块强制地构成一个正向预测宏数据块，则图像质量将被劣变，并且在相反的情形中使数据量增加。

(6)运动图像编码系统

图6是采用本发明的运动图像编码系统的框图。存储器61储存包括多个帧的运动图象数据。按照显示顺序，帧存贮器62储存一个过去的基准帧，帧存贮器63储存一个未来的基准帧。一个区域说明器64指定作为附加信息被嵌入的数据的位置。因此，在一帧中至少一个区域被指定。根据在帧存贮器62和63上存储的数据，误差计算器65计算一个正向预测误差、一个反向预测误差、和一个双向预测误差。通过采用正向预测，从一个嵌入区域和由该嵌入区域所参考的已往基准帧中的一个基准区域计算出正向预测误差。通过采用反向预测，从一个嵌入区域和由该嵌入区域所参考的未来的基准帧中的基准区域计算出反向预测误差。而且，通过采用双向预测，从一个嵌入区域和由该嵌入区域所参考的已往和未来的基准帧中的基准区域计算出双向预测误差。通过参考一个嵌入准则，一个判定器66通过控制属于是一个嵌入的一个区域的特性，把将要被嵌入的数据嵌入到一个嵌入区域中。具体地说，该嵌入准则规定何时把单一数据比特嵌入在一个嵌入区域中、预测类型在嵌入区域中使用正向预测或反向预测。而且，当其它数据被嵌入时，它规定该预测类型使用双向预测。该判定器66根据将要被嵌入的信息内容决定在一个嵌入区域中的帧间预测的类型。随后，编码器67编码从判定器66输出的信号。

其中，对于一个确定的嵌入区域，该判定器66被设计成使得当根据嵌入准则确定的帧间预测的类型中的预测误差超过一个预定门限值时，禁止数据对于该嵌入区域的嵌入。据此，通过嵌入阻止图像质量的劣变。该判定器66还被设计成使得当在一个双向预测帧中的正向预测的基准数目或反向预测的基准数目小于一个预定的数目时，禁止数据对于该帧中的嵌入区域的嵌入。通过对基准数目的计数，可以检测场景的改变。所以，当场景发生改变时，对于与该改变有关帧的数据嵌入被禁止。结果是，可以防止图像质量的降低。

(7)运动图像解码系统

图7是采用本发明的一个运动图像解码系统的框图。存储器71储存嵌入有附加信息的编码运动图象数据。一个区域说明器72指定在一个帧中的被嵌入附加信息的至少一个嵌入区域。通过参考提取准则，提取装置73从嵌入区域中的帧间预测的类型提取嵌入在一个嵌入区域中的附加信息。随后，解码器74解码从该提取器73输出的编码数据，从而重建一个运动图像。

(8)指纹的嵌入

在MPEG中，B帧不被其它帧参考，所以即使在B帧中的宏数据块的预测类型被改变，也不可能对于其它帧产生影响。借助该事实，可以嵌入一个指纹。对于每一所有者来说，该指纹是不同的特殊信息。这种指纹的典型的利用实例是当运动图象数据被发送到第三方的情况，该发送者预先把一个标记嵌入在该运动图象数据中，以使得可以指定属于是一个接收台的第三方。如果用这种方式处理，当执行例如象非法复制的一个非法行为时，能够指定一个复制的信源。因此，如果这种视频数据被非法地传播，则对于任意非法的复制都存在一个费用。而且，一个密码视频产品被赋予合法的拥有者的注册信息，并且指纹能够根据这种注册信息而被嵌入。

在嵌入指纹的情况中，当执行MPEG编码时产生的“双向预测宏数据块”和“其中预测误差较小的正向预测宏数据块或反向预测宏数据块”基本上都保留。随后，根据第三方选择一个适当的宏数据块，该第三方是一个接收台。即使用这种方式实现，也不会对于其它帧或高于对应帧的该宏数据块层一个数据层(例如切片层)产生不利的影响。

工业的适用性

根据本发明，能够被嵌入到一个运动图像中的信息数据不对运动图像的压缩效率产生实质上的影响，而且不使图像质量有实质上的降低。此外，由于被嵌入在一部分中的信息数据对于该运动图像的编码是必要的，所以在不丧失图像质量的条件下从该运动图像中除去这种信息数据是困难的。而且，由于将要被嵌入的信息量几乎和视频数据的内容无关，所以有可能有效地嵌入信息数据。

Claims (22)

1．一种用于把信息嵌入到由多个帧构成的运动图像中的数据隐藏方法，包括步骤：

在用于嵌入信息的帧中指定至少一个嵌入区域；和

通过参考一个嵌入准则，确定与将要被嵌入的信息一致的所述嵌入区域的帧间预测的类型，其中使得将要被嵌入的数据的内容对应于所述嵌入区域的帧间预测的类型。

2．如权利要求1的数据隐藏方法，其中所述存在有嵌入区域的帧是一个双向预测编码帧。

3．如权利要求2的数据隐藏方法，其中所述帧间预测的类型是从正向预测、反向预测、双向预测和帧内编码中选择的。

4．如权利要求3的数据隐藏方法，其中所述嵌入准则使得比特值之一对应于所述双向预测，而其它比特值对应于所述正向预测或所述反向预测。

5．如权利要求4的数据隐藏方法，其中所述嵌入准则还使得对应于所述帧内编码的数据嵌入被禁止。

6．如权利要求1的数据隐藏方法，还包括步骤：当根据所述嵌入准则确定的所述确定的嵌入区域的帧间预测类型中的预测误差超过一个预定门限值时，禁止对于一个确定的嵌入区域的数据嵌入。

7．如权利要求6的数据隐藏方法，还包括步骤：

当在所述双向预测编码帧中的正向预测的基准数目或反向预测的基准数目小于一个预定的数目时，禁止对于所述双向预测编码帧的所述嵌入区域的数据嵌入。

8．一种用于把信息嵌入到由多个帧构成的运动图像中的数据隐藏方法，包括步骤：

计数在一个具有用于嵌入信息的一个嵌入区域的帧中的正向预测的基准数目或反向预测的基准数目；

通过参考一个嵌入准则确定与将要被嵌入的信息一致的所述各嵌入区域的特性，其中当所述基准的数目大于一个预定的数目时，使得将要被嵌入的数据内容对应于所述嵌入区域的一个特性；和

当所述基准的数目小于所述预定的数目时，禁止对于所述帧的所述嵌入区域的数据嵌入。

9．一种用于把信息嵌入到一个图像中的数据隐藏方法，包括步骤：

在所述图像中指定多个用于嵌入相同的信息的多个嵌入区域；和

确定所述各嵌入区域，以使它们具有与将要通过参考一个嵌入准则嵌入的信息一致的相同的特性，其中使得将要被嵌入的数据内容对应于所述嵌入区域的一个特性，并且把相同的数据嵌入到所述各嵌入区域中。

10．一个用于提取嵌入到一个运动图像中的数据提取方法，包括步骤：

指定至少一个具有嵌入信息的嵌入区域；和

通过参考一个提取准则，从在该嵌入区域中的所述帧间预测的一个类型中提取该嵌入的信息，使得在所述嵌入区域中的所述帧间预测的类型对应于将要被提取的数据内容。

11．如权利要求10中的数据提取方法，其中所述存在有嵌入区域的帧是一个双向预测编码帧。

12．如权利要求11中的数据提取方法，其中所述帧间预测的类型是从正向预测、反向预测、双向预测和帧内编码中选择的。

13．如权利要求12中的数据提取方法，其中所述提取准则使得比特值之一对应于所述双向预测，而其它比特值对应于所述正向预测或所述反向预测。

14．如权利要求13中的数据提取方法，其中所述提取准则还使得所述帧内编码对应于数据嵌入禁止。

15．一个用于提取冗余嵌入到一个图像中的信息的数据提取方法，包括步骤：

在所述图像中指定以相同的数据比特嵌入的多个嵌入区域；

通过参考一个提取准则从所述各嵌入区域的特性中提取嵌入在所说各嵌入区域中的数据比特，其中使得所述嵌入区域的一个特性对应于将要被提取的数据比特；

当从所说各嵌入区域提取不同数据比特时，针对每一个提取的不同数据比特比较所述嵌入区域的数目，以较大数目指定该数据比特，作为嵌入信息；

从而提取冗余嵌入到一个图像中的所述信息。

16．一个用于提取嵌入到一个图像中的信息的数据提取方法，包括步骤：

指定所述图像中嵌入一个数据比特1的多个嵌入区域；和

通过参考一个提取准则，根据指定的多个嵌入区域的特性，提取嵌入的数据比特1，其中使得所述嵌入区域的特性对应于将要被提取的一个数据比特。

17．一个运动图像编码系统，用于把信息嵌入到由多个帧构成的并且使用帧间预测的图象中，包括：

一个误差计算器，通过采用正向预测，根据在用于嵌入信息的第一帧中指定的嵌入区以及根据在第二帧中的被用作该嵌入区的一个基准区计算一个第一预测误差，通过采用反向预测，该计算器还根据该嵌入区以及根据在第三帧中的被用作该嵌入区的一个基准区计算一个第二预测误差，以及通过采用双向预测，该计算器还根据该嵌入区以及根据在第二和第三帧中的被用作该嵌入区的基准区计算一个第三预测误差；一个判定器，通过参考一个嵌入准则决定在与待嵌入的信息内容一致的所述嵌入区中的帧间预测的一个类型，该规则规定何时把一个数据比特嵌入在该嵌入区中，决定在嵌入区中的帧间预测的类型使用正向预测或反向预测，以及规定何时将另一数据比特嵌入在该嵌入区中，该帧间预测的类型使用双向预测，该判定器还用于指定与帧间预测的确定的类型一致的第一、第二或第三预测误差的任意一个。

18．如权利要求17的运动图像编码系统，其中所述判定器包括第一禁止装置，当根据所述嵌入准则确定的一个嵌入区域的帧间预测的类型中的一个预测误差超过一个预定门限值时，禁止对于该确定的嵌入区域的数据嵌入。

19．如权利要求18的运动图像编码系统，其中所述判定器包括第二禁止装置，当在所述双向预测编码帧中的所述正向预测的基准数目或所述反向预测的基准数目是小于一个预定的数目时，禁止对于所述双向预测编码帧的所述嵌入区域的数据嵌入。

20．一个用于提取嵌入到一个编码运动图像中的信息的运动图像解码系统，包括：一个指定器，用于指定嵌入信息的一个嵌入区域；以及

一个提取器，用于通过参考一个提取准则，从在该嵌入区域中的所述帧间预测中的类型提取所述嵌入信息，其中使得在所述嵌入区域中的所述帧间预测的类型对应于将要被嵌入的数据的内容。

21．一个程序存储介质，用于通过一计算机执行把信息嵌入到一个通过多个帧构成的运动图像中的一个数据隐藏处理，该程序存储介质具有步骤：在一帧中指定其中被嵌入信息的至少一个嵌入区域；和

通过参考一个嵌入准则，决定在所述嵌入区域中的与将要被嵌入信息一致的所述帧间预测的类型，其中使得将要被嵌入的数据内容对应于在所述嵌入区域中的帧间预测的类型。

22．一个程序存储介质，用于通过一个计算机执行对于嵌入到一个编码运动图像中的信息的提取的数据提取处理，该程序存储介质具有步骤：

在一个帧中指定嵌入有所述信息的至少一个嵌入区域；和

通过参考一个提取准则，提取与在所述嵌入区域中的所述帧间预测的类型一致的嵌入信息，其中使得在所述嵌入区域中的所述帧间预测的类型对应于将要被提取的数据内容。

Images