CN101754016A

CN101754016A - 用于插入数据的方法、用于读取所插入的数据的方法

Info

Publication number: CN101754016A
Application number: CN200910253479A
Authority: CN
Inventors: 菲利普·博尔德; 阿尼塔·奥汗德
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS; International Digital Madison Patent Holding SAS
Priority date: 2008-12-19
Filing date: 2009-12-16
Publication date: 2010-06-23
Anticipated expiration: 2029-12-16
Also published as: US20100158111A1; EP2199970B1; JP5394212B2; EP2199970A1; BRPI0905194A2; CN101754016B; JP2010148097A

Abstract

本发明公开了用于插入数据的方法和用于读取所插入的数据的方法。本发明涉及一种用于将数据插入图像序列的被称为当前块的图像数据块中的方法。所述当前块是以或者预定要以来自根据第一预测模式定义的预测图像数据的时间预测图像数据的形式而编码的。根据本发明，插入方法包括：根据要插入的数据，将第一预测模式修改成与第一预测模式不同的第二预测模式，以便根据第二预测模式对当前块进行编码，第二预测模式被定义为使得利用第二预测模式获得的预测图像数据与利用第一预测模式获得的预测图像数据相同。

Description

用于插入数据的方法、用于读取所插入的数据的方法

技术领域

本发明涉及对在表示图像序列的编码数据流中插入的数据进行传输的一般领域。更具体地，本发明涉及一种用于将数据插入要被编码的图像数据块中的方法以及一种用于读取该块中插入的数据的方法。本发明还涉及一种实现数据插入方法的编码设备和代码转换设备。

背景技术

信号(特别是图像序列)中数据的插入在诸如安全、认证、元数据传送等各个领域具有多种应用。

为此，在现有技术中已知使用水印方法来插入数据，例如一连串比特。这种方法对一组“承载”数据(典型地，视频数据)和特定数目的参数进行处理。特别地，参数的数目一般表示由M个二进制元素(M≥1)序列表示的水印消息(即，要插入的数据)。通常，找到其他参数，如提供特定安全级别的密钥、标记力等。根据这些参数和图像序列本身，水印方法对图像数据进行修改以产生加有水印的图像序列。

已知的水印方法在频域内对图像数据进行修改。例如，将图像划分成图像数据的块，每个块是使用DCT(离散余弦变换)进行变换的。水印方法在于：根据要插入的数据的值、秘密密钥的值和标记力，来对这些系数中的一些的值进行修改。根据变型，仅在从视觉角度来看几乎不感兴趣的图像区中对系数进行修改。然后，通过先前应用的变换的反变换(例如，IDCT(反离散余弦变换))来对由此修改的系数进行变换，以返回到空间域中。进而对由此加水印的图像进行编码。这种水印方法的缺点在于，对于数据的编码和原始图像数据的修改而言不够鲁棒。事实上，在对加有水印的图像进行编码期间，执行DCT系数量化，该DCT系数量化可以导致与DCT系数的特定值相联系的水印信息丢失。

另一已知方法在于将数据直接插入空间域。通常，将数据插入从视觉角度来看几乎不感兴趣的图像区中，以不使该数据太明显可见。然后，可以在表示图像序列的编码数据流中对由此修改的图像数据进行编码。该方法的缺点在于其修改了最初图像序列并因此可能使要插入的数据可见。此外，这种方法不会实现大量数据的插入。事实上，大量数据的插入会冒着使所插入的数据可见的风险。此外，这种方法不能始终保证所有插入的数据的读取。事实上，在加水印前，原始图像可以包含可被解释为由水印读取器插入的数据的图像数据。

发明内容

本发明的目的是补偿现有技术的至少一个缺点。

为此，本发明涉及一种用于将数据插入图像序列的图像数据的块(被称作当前块)中的方法。所述当前块是以或者预定要以来自根据第一预测模式定义的预测图像数据的时间预测图像数据的形式而编码的。根据本发明，插入方法包括：根据所述要插入的数据，将第一预测模式修改成与第一预测模式不同的第二预测模式，以根据第二预测模式来对当前块进行编码，所述第二预测模式被定义为使得利用所述第二预测模式获得的预测图像数据与利用第一预测模式获得的预测图像数据相同。

根据本发明的特别有利的方面，根据本发明的用于插入数据的方法可以在不对从压缩图像数据流重构的图像进行修改的情况下，将数据插入该流。事实上，由于针对每个子块保留的运动向量是先前针对块B而选择的运动向量，因此所保留的第二预测模式不会改变重构的图像。因此，在不插入任何数据的情况下重构的图像或在插入数据之后重构的图像是严格相同的，这不是利用任何已知的用于插入数据的方法的情况。根据本发明的插入方法还具有保证读取全体插入数据的优点。本发明的另一优点在于：便于以简单方式插入和/或替换数据。事实上，与已知方法相反，根据本发明的插入方法不需要在频域内对图像数据进行变换或对图像进行具体处理。

根据具体实施例，第一预测模式定义了将当前块分割在与至少一个运动数据相关联的至少一个子块中的第一分割，第二预测模式定义了将当前块分割在至少2个子块中的第二分割，所述第二分割是所述第一分割的子分割。所述方法还包括：将所述第一分割的相应所述至少一个运动数据与所述第二分割的至少2个子块中的每一个相关联。

根据具体实施例，所述至少一个运动数据是运动向量和在序列中标识参考图像的索引。

根据本发明的具体特征，第一预测模式是帧间_16×16模式，并且，如果要插入的数据是具有第一值的比特，则第二预测模式是帧间_8×16模式，而如果要插入的数据是具有不同于第一值的第二值的比特，则第二预测模式是帧间_16×8模式。

根据本发明的另一具体特征，第一预测模式是帧间_16×8模式，并且，如果要插入的数据是具有第一值的比特，则第二预测模式是帧间_8×8模式。

根据本发明的具体特征，第一预测模式是帧间_16×8模式，并且，如果要插入的数据是具有不同于第一值的第二值的比特，则第二预测模式是帧间_8×8模式。

根据本发明的另一具体特征，第一预测模式是帧间_跳过模式，第二预测模式是帧间_16×16模式。

根据本发明的具体特征，第一预测模式是帧间_8×8模式，并且，如果要插入的数据是具有第一值的比特，则第二预测模式是帧间_4×8模式，而如果要插入的数据是具有不同于第一值的第二值的比特，则第二预测模式是帧间_8×4模式。

根据本发明的另一具体特征，第一预测模式是帧间_8×4模式，并且，如果要插入的数据是具有第一值的比特，则第二预测模式是帧间_4×4模式。

根据本发明的另一具体特征，第一预测模式是帧间_4×8模式，并且，如果要插入的数据是具有不同于第一值的第二值的比特，则第二预测模式是帧间_4×4模式。

本发明还涉及一种用于对插入到编码数据流中的数据进行读取的方法，该编码数据流表示图像序列的图像数据块(被称为当前块)。该流包括表示定义了将当前块分割成至少一个子块的预测模式的信息，并包括针对所述至少一个子块(被称为第一子块)的、表示至少一个运动数据的信息。根据本发明的实质特征，读取方法包括以下步骤：

-确定当前块的预测模式，并针对第一子块确定来自编码数据流的至少一个运动数据；

-将所述至少一个运动数据与比较运动数据进行比较；以及

-如果所述至少一个运动数据和所述比较运动数据相同，则读取所插入的数据。

本发明还涉及图像序列的编码设备，其中，每个图像被划分成图像数据的块，所述编码设备包括：

-运动估计模块，能够确定图像数据的当前块与图像数据的参考块之间的至少一个运动数据；

-判定模块，能够针对当前块选择定义了将当前块分割在至少一个子块中的第一分割的第一预测模式；

-预测模块，能够根据第一预测模式，从使用所述至少一个运动数据而标识的参考块计算当前块的预测块；

-计算模块，能够从当前块中减掉预测块以产生残差；

-处理模块，能够将残差变换并量化成量化残差；以及

-熵编码模块，能够对量化残差、第一预测模式和编码数据流中的运动数据进行编码。

根据本发明的特别有利的方面，编码设备还包括：数据插入模块，所述数据插入模块能够根据要插入的数据，来将第一预测模式修改成定义了将当前块分割成至少一子块的第二分割的第二预测模式，所述第二分割与所述第一分割不同，并且所述数据插入模块能够将与当前块相关联的所述至少一个运动数据与第二分割的子块相关联。

本发明还涉及一种将表示图像序列的第一编码数据流转换成表示相同图像序列的第二编码数据流的代码转换设备，其中，每个图像被划分成图像数据的块。所述代码转换设备包括：

-解码模块，能够从表示当前块的第一流的一部分重构出与当前块相关的图像数据、用于定义将当前块分割成至少一个子块的第一分割的第一预测模式、以及针对每个子块的至少一个运动数据；

-预测模块，能够根据第一预测模式，从使用所述至少一个运动数据而标识的序列参考块来计算预测块；

-计算模块，能够从当前块中减掉预测块以产生残差；

-处理模块，能够将残差变换并量化成量化残差；以及

-熵编码模块，能够对量化残差、第一预测模块和第二编码数据流中的所述至少一个运动数据进行编码。

根据本发明的重要特征，所述代码转换设备还包括：数据插入模块，所述数据插入模块能够根据要插入的数据，来将第一预测模式修改成定义了将当前块分割成至少一子块的第二分割的第二预测模式，所述第二分割与所述第一分割不同，并且所述数据插入模块能够将与当前块相关联的所述至少一个运动数据与第二分割的子块相关联。

本发明还涉及一种用于将数据插入表示图像序列的第一编码数据流中的设备，其中，每个图像被划分成图像数据块，所述设备包括：

-熵解码模块，能够从表示当前块的第一流的一部分重构出与当前块相关的图像数据、用于定义将当前块分割成至少一个子块的第一预测模式、以及针对每个子块的至少一个运动数据；

-熵编码模块，能够对与当前块相关的图像数据、第一预测模式和第二编码数据流中的所述至少一个运动数据进行编码。

有利地，数据插入设备还包括：数据插入模块，所述数据插入模块能够根据要插入的数据，来将第一预测模式修改成定义了将当前块分割成至少一子块的第二分割的第二预测模式，所述第二分割与所述第一分割不同，并且所述数据插入模块能够将与当前块相关联的所述至少一个运动数据与第二分割的子块相关联。

编码设备、代码转换设备和数据插入设备提供了与关于数据插入方法而提及的优点相同的优点，即，特别是从插入了数据的编码数据流重构出的图像。

附图说明

参照附图，通过非限制性的实施例和实现方式，将更好地理解和示意本发明，在附图中：

图1示出了根据现有技术的编码设备；

图2示出了将16×16块划分或分割成子块；

图3示出了将8×8块划分或分割成子块；

图4示出了图像间预测方法；

图5示出了根据本发明的数据插入方法；

图6示出了根据本发明具体实施例的将数据插入16×16块中的方法；

图7示出了根据本发明具体实施例的将数据插入被划分成2个8×16子块的16×16块中的方法；

图8示出了根据本发明具体实施例的将数据插入被划分成2个16×8子块的16×16块中的方法；

图9示出了根据本发明具体实施例的将数据插入预测模式是跳过模式的16×16块中的方法；

图10示出了根据本发明具体实施例的将数据插入8×8块中的方法；

图11示出了根据本发明具体实施例的将数据插入被划分成2个4×8子块的8×8块中的方法；

图12示出了根据本发明具体实施例的将数据插入被划分成2个8×4子块的8×8块中的方法；

图13示出了根据本发明的对插入到编码图像数据块中的数据进行读取的方法；

图14和15示出了根据本发明具体实施例的用于读取所插入的数据的方法；

图16示出了根据本发明的包括数据插入模块在内的编码设备；

图17示出了根据本发明的包括数据插入模块在内的代码转换设备；以及

图18示出了根据本发明的用于将数据插入编码图像数据流中的设备。

具体实施方式

图1用以图解的方式示出了根据现有技术的编码设备。典型地，编码设备1对被划分成块B的图像进行编码。以帧内或帧间模式对每个块B进行编码。一般而言，判定模块170针对当前块B选择编码模式。根据已知实施例，判定模块170选择提供了最佳比特率/失真折衷的编码模式。在帧内或帧间模式的情况下，帧内预测模块100(也被称为空间预测模块)或帧间预测模块110(也被称为时间预测模块)从存储于存储器120中的重构块B_rec产生预测图像P的数据块。如果以帧内模式对块进行编码，则从位于当前块(即，已编码的、已重构的且存储于存储器120中的块)的因果相邻区域中的块的像素产生P。如果以帧间模式对块进行编码，则从已编码的、已重构的且存储于存储器120中的参考图像的一个或多个块B_rec产生P。帧间预测模块110根据由运动估计模块130估计出的运动向量来执行参考图像的块的运动补偿。为了产生预测块P，编码设备1还包括适于产生重构的残差R_rec的块的解码回路。特别地，该解码回路包括反量化和反变换模块160。计算模块135逐像素地减掉从当前块B产生的预测块P，以产生残差块R。然后，模块140对残差块R进行变换和量化。然后，熵编码模块150对由此产生的残差块R的系数进行编码。熵编码模块150产生表示图像序列的编码数据流F。

在文献ISO/IEC 14496-10中描述的标准H.264或MPEG-4AVC的特定情况下，将以帧间模式编码的每个块B(即，根据属于先前编码的图像(称为参考图像)的图像数据块而预测的块)划分成子块。对块进行划分和预测的方式被称为预测模式。从而，预测模式定义将块B分割成一个或多个子块。块B的分割是将该块划分成没有交集的子块，这些子块的并集形成块B。该预测模式也由判定模块170选择。图2和3示出了这样的预测模式。如果块B具有16×16大小，则预测模式帧间_16×16指示不对其进行划分并以16×16大小的块的形式对其进行预测和编码。然而，如果块B具有16×16大小，则预测模式帧间_16×8指示将其划分成2个16×8大小的子块。如果块B具有16×16大小，则预测模式帧间_8×16指示将其划分成2个8×16大小的子块。如果块B具有16×16大小，则预测模式帧间_8×8指示将其划分成4个8×8大小的子块。在最后一种情况下，遵循图3所示分割，可以将每个子块8×8本身划分成8×4、4×8或4×4大小的子块。然后，通过根据先前编码、重构且存储于存储器120中的图像数据进行预测，来对块的每个子块进行编码。通过至少一个运动数据DMV(典型地是遵循图4的运动向量MV)来针对块或子块B标识这些预测图像数据P。根据变型，预测图像数据P由运动向量以及参考图像索引来标识。该索引使得能够对图像序列中的参考图像(即，属于预测图像数据P的图像)进行标识。事实上，可以在与当前块B所属的当前图像相距多于一个图像的图像中找到该预测图像数据P。然后使用索引方便地标识该预测图像数据P。在视频编码器的现有技术中已知，根据各使用运动向量和可能使用参考图像索引进行标识的2个预测图像数据集合，可以对当前块B进行预测。该预测类型被命名为双向预测。将能够针对当前块B标识预测图像数据的运动数据与所述当前块B相关联，并在具有与当前块相关的图像数据的流F中对该运动数据进行编码。

此外，可以跳过块B，在这种情况下，可能不根据图2和3所示的分割之一来对块B进行划分。如果跳过块B，即，其预测模式是模式“帧间_跳过”，则在流F中不针对该块B传输运动数据，也不针对该块B传输任何残差。在编码器侧，从使用预测的运动向量而标识的参考图像的块重构这种所跳过的块。预测的运动向量是可以从与同块B相邻的块相关联的运动向量产生的，例如，从与以下3个块相关联的运动向量的中间向量产生：位于当前块B的正上方、位于当前块的左角以及位于当前块B的正左侧；或者从与共同位于参考图像中的块相关联的运动向量产生。

在标准H.264的具体情况下，将每个子块与能够标识根据其而预测所述子块的那个图像数据的运动数据相关联。如前所述，参照图1，判定模块170选择这些运动数据DMV，以最大化编码质量的同时最小化比特率。

图5至12示出了用于将数据插入与图像序列相关的编码数据流F中的方法。更具体地，图5示出了将数据b(例如，比特)插入图像数据块B中，其中，以所预测的图像数据的形式对所述当前块进行了编码或要进行编码，所述图像数据是根据第一预测模式M1、关于使用至少一个运动数据DMV而标识的参考图像数据P的至少一个块进行预测的。第一预测模式M1由模块类型的判定模块170来选择。预测模式M1定义了块B的第一分割。在步骤E10期间，根据要插入的数据b，将块B的第一预测模式M1修改成第二预测模式M2。第二预测模式M2定义了与第一分割不同的、块B的第二分割。术语“块”是在非常普遍的意义上采用的，特别包括宏块和子块。事实上，块B本身可以来自于将块分割成子块。特别地，这种情况是：块B是通过16×16块的先前分割而产生的块8×8。

在步骤E12期间，为了对块B进行编码，将最初与块B相关联的相同运动数据DMV与由步骤E10中对预测模式的修改而产生的子块相关联，以便获得与利用预测模式M1获得的表示等价的对块B的表示。在这种情况下，预测模式M1下块B的预测数据与预测模式M2下块B的预测数据相同。还需要在普通的意义上理解术语“子块”。因此，如果M1＝帧间_跳过且M2＝帧间_16×16，则由步骤E10中对预测模式的修改而产生的子块是16×16大小的块。

为了更准确地描述本发明，如下表TAB 1所示，针对数据的插入定义了编码。

除非另外说明，实施例是关于该编码表而描述的。然而，在不质疑本发明原理的情况下，可以使用不同的编码。利用第二预测模式M2而定义的分割是利用第一预测模式M2而定义的分割的子分割。例如，块16×16的分割可以用于传输比特‘0’而不是比特‘1’。

图6示出了本发明的具体实施例。当前块B是16×16大小的块，M1＝帧间_16×16。要插入的数据是比特b。在步骤E100，将比特b与0进行比较。如果比特b等于0，则该方法继续至步骤E110。在步骤E110，将块B划分成2个子块B1和B2，每个的大小为8×16，即，遵循TAB1，将块B的预测模式从M1＝帧间_16×16修改成M2＝帧间_8×16。如果在步骤E100，比特b等于1，则该方法继续至步骤E120。在步骤E120，将块B划分成2个子块B1和B2，每个的大小为16×8，即，遵循TAB1，将块B的预测模式从M1＝帧间_16×16修改至M2＝帧间_16×8。在步骤E12，为了对B进行编码，将与块B相关联的运动数据DMV中的每一个与子块B 1和B2相关联。具有运动数据DMV的初始块B 16×16或者被划分成分别与运动数据DMV相关联的2个子块8×16的最终块16×16都是块B的等价表示，即，利用第一预测模式M1＝帧间_16×16获得的预测数据与利用第二预测模式M2＝帧间_8×16获得的预测数据相同。同样，具有运动数据DMV的初始块B 16×16或者被划分成分别与运动数据DMV相关联的2个子块16×8的最终块16×16是块B的2个等价表示，即，利用第一预测模式M1＝帧间_16×16获得的预测数据与利用第二预测模式M2＝帧间_16×8获得的预测数据相同。根据使用与表TAB1中呈现的编码不同的编码的变型，在步骤E100，将比特b与1进行比较。如果比特b等于1，则该方法继续至步骤E110，而如果比特b不等于1，则该方法继续至步骤E120。

图7示出了本发明的具体实施例。当前块B是被划分成2个子块8×16的16×16大小的块，即M1＝帧间_8×16。要插入的数据是比特b。在步骤E100，将比特b与0进行比较。如果比特b等于0，则该方法继续至步骤E110。在步骤E110，将块B划分成4个子块B1、B2、B3和B4，每个的大小为8×8，即，遵循TAB1，将块B的预测模式从M1＝帧间_8×16修改成M2＝帧间_8×8。如果在步骤E100，比特b等于1，则不插入数据。在步骤E12，为了对B进行编码，将与B的左部子块8×16相关联的运动数据DMV1与子块8×8 B1和B3相关联。在步骤E12，为了对B进行编码，将与块B的右部子块8×16相关联的运动数据DMV2与子块8×8B2和B4相关联。具有运动数据DMV1和DMV2的初始块16×16或者被划分成与运动数据DMV1和DMV2相关联的4个子块8×8的最终块16×16是块B的2个等价表示，即，利用第一预测模式M1＝帧间_8×16获得的预测数据与利用第二预测模式M2＝帧间_8×8获得的预测数据相同。

图8示出了本发明的具体实施例。当前块B是被划分成2个子块16×8的16×16大小的块，即，M1＝帧间_16×8。要插入的数据是比特b。在步骤E100，将比特b与1进行比较。如果比特b等于1，则该方法继续至步骤E110。在步骤E110，将块B划分成4个子块B1、B2、B3和B4，每个的大小为8×8，即，遵循TAB1，将块B的预测模式从M1＝帧间_16×8修改成M2＝帧间_8×8。如果在步骤E100，比特b等于0，则不插入数据。在步骤E12，为了对B进行编码，将与块B上部的子块16×8相关联的运动数据DMV1与子块4×4 B1和B2相关联。在步骤E12，为了对B进行编码，将与块B的下部子块8×16相关联的运动数据DMV2与子块8×8B3和B4相关联。具有运动数据DMV1和DMV2的初始块16×16或者被划分成分别与运动数据DMV1和DMV2相关联的4个子块8×8的最终块16×16是块B的两个等价表示，即，利用第一预测模式M1＝帧间_16×8获得的预测数据与利用第二预测模式M2＝帧间_8×8获得的预测数据相同。

图9示出了本发明的具体实施例。当前块B是预测模式为跳过模式的大小16×16的块，即，M1＝帧间_跳过。要插入的数据是比特b。在步骤E100，将比特b与0进行比较。如果比特b等于0，则该方法继续至步骤E110。在步骤E110，遵循TAB1，将块B的预测模式从M1＝帧间_跳过修改成M2＝帧间_16×16。如果在步骤E100，比特b等于1，则不插入数据。在步骤E12，为了对块B进行编码，将用于模式帧间_跳过的预测运动数据DMVP(即，根据块B的相邻块的运动数据或根据与在参考图像中共同定位的块相关联的运动数据而预测的运动数据)与块B相关联。具有运动数据DMVP的初始跳过块或者与运动数据DMVP相关联的最终块16×16是块B的等价表示，即，利用第一预测模式M1＝帧间_跳过获得的预测数据与利用第二预测模式M2＝帧间_16×16获得的预测数据相同。

图10示出了本发明的具体实施例。当前块B是大小8×8的块，M1＝帧间_8×8。要插入的数据是比特b。在步骤E100，将比特b与0进行比较。如果比特b等于0，则该方法继续至步骤E110。在步骤E110，将块B划分成2个子块B1和B2，每个的大小为4×8，即，遵循TAB1，将块B的预测模式从M1＝帧间_8×8修改成M2＝帧间_4×8。如果在步骤E100，比特b等于1，则该方法继续至步骤E120。在步骤E110，将块B划分成2个子块B1和B2，每个的大小为8×4，即，遵循TAB1，将块B的预测模式从M1＝帧间_8×8修改成M2＝帧间_8×4。在步骤E12，为了对B进行编码，将与块B相关联的运动数据DMV中的每一个与子块B1和B2相关联。具有运动数据DMV的初始块B 8×8或者被划分成分别与运动数据DMV相关联的2个子块4×8的最终块8×8都是块B的等价表示，即，利用第一预测模式M1＝帧间_8×8获得的预测数据与利用第二预测模式M2＝帧间_4×8获得的预测数据相同。同样，具有运动数据DMV的初始块B 8×8或者被划分成分别与该运动数据相关联的2个子块8×4的最终块8×8是块B的2个等价表示，即，利用第一预测模式M1＝帧间_8×8获得的预测数据与利用第二预测模式M2＝帧间_8×4获得的预测数据相同。根据使用与表TAB1中呈现的编码不同的编码的变型，在步骤E100，将比特b与1进行比较。如果比特b等于1，则该方法继续至步骤E110，而如果比特b不等于1，则该方法继续至步骤E120。

图11示出了本发明的具体实施例。当前块B是被划分成2个子块4×8的大小8×8的块，即，M1＝帧间_4×8。要插入的数据是比特b。在步骤E100，将比特b与0进行比较。如果比特b等于0，则该方法继续至步骤E110。在步骤E110，将块B划分成4个子块B1、B2、B3和B4，每个的大小为4×4，即，遵循TAB1，将块B的预测模式从M1＝帧间_4×8修改至M2＝帧间_4×4。如果在步骤E100，比特b等于1，则不插入数据。在步骤E12，为了对B进行编码，将与B的左部子块4×8相关联的运动数据DMV1与子块4×4 B1和B3相关联。在步骤E12，为了对B进行编码，将与块B的右部子块4×8相关联的运动数据DMV2与子块4×4B2和B4相关联。具有运动数据DMV1和DMV2的初始块8×8或者被划分成与运动数据DMV1和DMV2相关联的4个子块4×4的最终块8×8是块B的2个等价表示，即，利用第一预测模式M1＝帧间_4×8获得的预测数据与利用第二预测模式M2＝帧间_4×4获得的预测数据相同。

图12示出了本发明的具体实施例。当前块B是被划分成2个子块8×4的大小8×8的块，即，M1＝帧间_8×4。要插入的数据是比特b。在步骤E100，将比特b与1进行比较。如果比特b等于1，则该方法继续至步骤E110。在步骤E110，将块B划分成4个子块B1、B2、B3和B4，每个的大小为4×4，即遵循TAB1，将块B的预测模式从M1＝帧间_8×4修改至M2＝帧间_4×4。如果在步骤E100，比特b等于0，则不插入数据。在步骤E12，为了对块B进行编码，将与块B的上部子块8×4相关联的运动数据DMV1与子块4×4B1和B2相关联。在步骤E12，为了对块B进行编码，将与块B的下部子块4×8相关联的运动数据DMV2与子块4×4B3和B4相关联。具有运动数据DMV1和DMV2的初始块8×8或者被划分成与运动数据DMV1和DMV2相关联的4个子块4×4的最终块8×8是块B的2个等价表示，即，利用第一预测模式M1＝帧间_8×4获得的预测数据与利用第二预测模式M2＝帧间_4×4获得的预测数据相同。

针对图像数据的块、参照图5至12描述的插入方法有利地可以在图像的帧间模式中的所有块上重复进行，并且在序列中除帧内图像或图像I以外的所有图像上重复进行。

由于没有修改DCT系数，因此根据本发明的数据插入方法有利地使得能够既不修改初始图像数据，也不修改已编码的残差。仅对一些预测模式进行修改。此外，如果插入了数据，则在步骤E10针对块B修改预测模式，然而，由于针对每个子块保留的运动向量是先前针对块B选择的运动向量，因此所保留的新预测模式M2不改变重构的图像。实际上，利用第一预测模式M1获得的预测数据与利用第二预测模式M2获得的预测数据相同。因此，在没有插入任何数据的情况下重构的图像或在插入了数据之后重构的图像是严格相同的，这不是任何已知数据插入方法的情况。

最后，根据本发明的方法使得能够将数据直接插入已经存在的编码数据流中，而不必对流进行完全解码来重构初始图像。事实上，利用根据本发明的插入方法，为了插入数据而要在流F中仅对编码数据进行修改是预测模式，从而是分割成子块。

参照标准H.264描述的本发明可以与实现将块分割成子块的任何其他标准一同使用。为此，本发明还可以应用在来自标题为“VC-1Compressed Video Bitstream Format and Decoding Process”的SMPTE以及标题为“VC-1 Bitstream Transport Encodings”的SMPTE RP227-2006推荐和标题为“VC-1Decoder and Bitstream Conformance”的SMPTERP228-2006的文献421M-2006中描述的标准VC1的上下文中。本发明还可以应用在中国标准AVS的上下文中。

本发明还涉及一种根据参照图5至12描述的插入方法来对插入到编码图像的块中的数据进行读取的方法。图13至15示出了根据本发明的读取方法。

更具体地，图13示出了对被插入到编码数据流F形式的图像数据块B中的数据b(例如，比特)进行读取。在步骤E20期间，根据表示所述块B的流F的编码图像数据的一部分，来确定将块B分割或划分成子块以及与块B的子块中的每一个相关联的运动数据。

在步骤E22，将与块B的子块中的每一个相关联的运动数据进行比较。根据变型，将与块B的一个子块相关联的运动数据与比较运动数据进行比较。在当前块B的预测模式是模式帧间_跳过的具体情况下，比较运动数据是DMVP，即，根据与相邻块相关联的运动数据而预测的运动数据，或者与同序列的其他图像中的当前块B并置的块相关联的运动数据。

在步骤E24，如果对于当前块的一些子块来说所述运动数据是相同的，则读取所插入的数据。

图14示出了本发明的具体实施例。在步骤E20，根据表示所述块B的流F的编码数据的一部分，来确定块B的分割(即，划分块B的方式)和与块B的每一个子块相关联的运动数据DMV。如果块B是16×16块，即，其预测模式是模式帧间_16×16，则在步骤E22期间，将与块B相关联且在步骤E20期间确定的运动数据DMV与比较运动数据进行比较，即，将该运动数据DMV与跳过模式的情况下的预测运动数据DMVP进行比较。如果DMV＝DMVP，则在该方法的步骤E24，遵循由表TAB1建立且对于读取方法来说已知的代码来读取比特‘0’，否则，不读取数据。如果将块B划分成大小为8×16的块B1和B2，即，其预测模式是模式帧间_8×16，则在步骤E22期间，将与子块B1和B2中的每一个相关联且在步骤E20期间确定的运动数据DMV1和DMV2进行比较。如果DMV1和DMV2相同，则在该方法的步骤E24，根据由表TAB1建立且对于读取方法来说已知的代码来读取比特‘0’。如果DMV1和DMV2是不同的，则不读取数据。

然而，如果将块B划分成大小为16×8的块B1和B2，即，其预测模式是模式帧间_16×8，则在步骤E22期间，将与子块B1和B2中的每一个相关联且在步骤E20期间确定的运动数据DMV1和DMV2进行比较。如果DMV1和DMV2相同，则在该方法的步骤E24，根据由表TAB1建立且对于读取方法来说已知的代码来读取比特‘1’。如果DMV1和DMV2是不同的，则不读取数据。

如果将块B划分成大小为8×8的4个块B1、B2、B3和B4并且不将8×8块本身划分成子块，即，如果其预测模式是模式帧间_8×8，则在步骤E22期间，将分别与子块B1、B2、B3和B4中的每一个相关联且在步骤E20期间确定的运动数据DMV1、DMV2、DMV3和DMV4进行比较。如果DMV1＝DMV2、DMV3＝DMV4并且DMV1与DMV3不同，则在该方法的步骤E24，根据由表TAB1建立且对于读取方法来说已知的编码来读取比特‘1’。如果DMV1＝DMV3、DMV3＝DMV4并且DMV1与DMV2不同，则在该方法的步骤E24，根据由表TAB1建立的编码来读取比特‘0’，否则，不读取数据。

如果将块B划分成大小为8×8的4个块B1、B2、B3和B4，并且如果不对子块本省进行划分，则将图15所示的方法应用于8×8块B1、B2、B3和B4中的每一个。

因此，在步骤E20，根据表示所述块B的流F的编码数据的一部分来确定块B的分割(即，划分块B的方式)和与块B的每个子块相关联的运动数据。如果将块B划分成大小为4×8的2个块B1和B2，即，如果其预测模式是模式帧间_4×8，则在步骤E22期间，将与子块B1和B2中的每一个相关联且在步骤E20期间确定的运动数据DMV1和DMV2进行比较。如果DMV1和DMV2是相同的，则在该方法的步骤E24，根据由表TAB1建立且对于读取方法来说已知的编码来读取比特‘0’。如果DMV1和DMV2是不同的，则不读取数据。

然而，如果将块B划分成大小为8×4的2个块B1和B2，即，其预测模式是模式帧间_8×4，则在步骤E22期间，将与子块B1和B2中的每一个相关联且在步骤E20期间确定的运动数据DMV1和DMV2进行比较。如果DMV1和DMV2是相同的，则在该方法的步骤E24，根据由表TAB1建立且对于读取方法来说已知的编码来读取比特‘1’。如果DMV1和DMV2不同，则不读取数据。

如果将块B划分成大小为4×4的4个块B1、B2、B3和B4，即，其预测模式是模式帧间_4×4，则在步骤E22期间，将与子块B1、B2、B3和B4中的每一个相关联且在步骤E20期间确定的运动数据DMV1、DMV2、DMV3和DMV4进行比较。如果DMV1＝DMV2、DMV3＝DMV4并且DMV1与DMV3不同，则在该方法的步骤E24，根据由表TAB1建立且对于读取方法来说已知的编码来读取比特‘1’。如果DMV1＝DMV3、DMV2＝DMV4并且DMV1与DMV2不同，则在该方法的步骤E24，根据由表TAB1建立的编码来读取比特‘0’。否则不读取数据。

针对图像数据的块、参照图13至15描述的读取方法有利地可以在图像的帧间模式下的所有块上以及在序列中除帧内图像或I图像以外的所有图像上进行重复，以便重新读取多于一个插入数据的序列，例如，使得能够标识图像序列出处的水印消息。

有利地，根据本发明，读取方法不需要知道与所插入的数据相关的其他数据。特别地，不需要知道在图像中插入的数据的数目。事实上，根据本发明，在对与块相关且表示将块分割成子块的编码数据以及与子块相关联的运动数据进行解码的同时，直接知道是否通过将与每个子块相关联的运动数据进行比较来将数据插入块中。

本发明还涉及图16所示的编码设备2。在图16中，使用相同的数字参考来标识与根据现有技术且由图1示出的编码设备1的模块相同的、根据本发明的编码设备的模块，并且不作进一步描述。根据本发明的编码设备2还包括能够实现插入方法的步骤E10和E12的插入模块180。为此，该插入模块包括：模块1800，能够根据要插入的数据b，将最初由判定模块170选择的、当前块B的第一预测模式M1修改成第二预测模式M2。该插入模块还包括：模块1810，能够将最初与块B相关联的运动数据DMV与由第二预测模块M2定义的子块相关联，以对块B进行编码。

根据具体实施例，编码设备2还包括：比特率调节设备190，针对每个图像对要由插入模块180插入的数据的数目进行固定，以限制与该插入相联系的比特率的增大。这样的比特率调节模块190能够根据预定义的参数来限制被插入到图像中的数据的数目。根据具体实施例，比特率调节模块190根据流的目标比特率R(例如，R＝1Mbits/s)和每图像所插入的数据的最大数目N_max(例如，N_max＝20bits)来限制被插入到图像中的数据的数目。根据目标应用来预定义这2个参数。当达到比特率F时或当在当前图像中插入的数据的数目等于N_max时，则比特率调节模块190向数据插入模块发送信号，以向其发信号通知停止在当前图像中插入数据。

本发明还涉及图17所示的代码转换设备3。该代码转换设备3包括表示代码转换回路的第一模块组DEC。该组DEC包括：熵解码模块90、反量化和变换模块80、时间和空间预测模块85以及存储了重构图像数据的存储器75。该代码转换设备3包括表示编码回路的第二模块组ENC。该编码回路包括与图11的编码设备2的模块相同的模块。在图17上，使用相同的数字参考来标识与编码设备2的模块相同的、代码转换设备3的模块，并且不作进一步详细描述。该代码转换设备3在输入处接收编码数据流F1，使用第一模块组DEC中的模块来对流F1进行解码，并在表示与编码数据流F1相同的图像序列但具有不同比特率的第二编码数据流F2中对流F1进行重新编码。特别地，第一模块组DEC包括熵解码模块90。根据本发明的实质特征，该代码转换设备3包括能够实现插入方法的步骤E10和E12的插入模块180。为此，插入模块180包括：模块1800，能够根据要插入的数据b，将由熵解码模块90解码的、当前块B的第一预测模式M1修改成第二预测模式M2。该插入模块180还包括：模块1810，能够将最初与块B相关联且由熵解码模块90解码的运动数据DMV与由第二预测模式M2定义的子块相关联，以对块B进行编码。

根据具体实施例，该代码转换设备2还包括：比特率调节设备190，针对每个图像对要由插入模块180插入的数据的数目进行固定，以限制与该插入相联系的比特率的增大。这样的比特率调节模块190能够根据预定义的参数来限制被插入到图像中的数据的数目。根据具体实施例，比特率调节模块190根据流F2的目标比特率R2(例如，R2＝1Mbits/s)和每图像所插入的数据的最大数目N_max(例如，N_max＝20bits)来限制被插入到图像中的数据的数目。根据目标应用来预定义这2个参数。当达到比特率F时或当在当前图像中插入的数据的数目等于N_max时，则比特率调节模块190向数据插入模块发送信号，以向其发信号通知停止在当前图像中插入数据。

本发明还涉及图18所示的用于在编码图像数据流F1中插入数据4的设备。数据插入设备4包括与图17的代码转换设备3的模块相同的模块。在图18中，使用相同的数字参考来标识与代码转换设备3的模块相同的、数据插入设备4的模块，并且不作进一步详细描述。特别地，数据插入设备4包括：熵解码模块90、数据插入模块180和熵编码模块150。熵解码设备90对流F1进行解码。将第一预测模式M1和与帧间模式下编码的块相关联的运动数据传输至数据插入模块。在不进行修改的情况下，将其他解码数据直接从熵解码模块90传输至熵编码模块150。熵编码模块150对运动数据、由数据插入模块180修改的第二预测模式M2和由熵解码模块90解码的其他元素进行编码。

根据具体实施例，数据插入设备4还包括：比特率调节设备190，针对每个图像对要由插入模块180插入的数据的数目进行固定，以便限制与该插入相联系的比特率的增大。

Claims

1.一种用于将数据插入图像序列的图像数据块中的方法，所述图像数据块被称为当前块，其中，所述当前块是以或者预定要以来自根据第一预测模式定义的预测图像数据的时间预测图像数据的形式而编码的，所述插入方法的特征在于，包括：根据要插入的数据，将所述第一预测模式修改成与所述第一预测模式不同的第二预测模式(E10、E100、E110、E120)，以根据所述第二预测模式来对所述当前块进行编码，所述第二预测模式被定义为，使得利用所述第二预测模式获得的预测图像数据与利用所述第一预测模式获得的预测图像数据相同。

2.根据权利要求1所述的方法，其中，所述第一预测模式定义了将所述当前块分割在与至少一个运动数据相关联的至少一个子块中的第一分割，并且，所述第二预测模式定义了将所述当前块分割在至少两个子块中的第二分割，所述第二分割是所述第一分割的子分割，所述方法还包括：将所述第一分割的相应的所述至少一个运动数据与所述第二分割的所述至少两个子块中的每一个相关联(E12)。

3.根据权利要求2所述的方法，其中，所述至少一个运动数据是运动向量和在所述序列中标识参考图像的索引。

4.根据权利要求2或3所述的方法，其中，所述第一预测模式是帧间_16×16模式，并且如果所述要插入的数据是具有第一值的比特，则所述第二预测模式是帧间_8×16模式，而如果所述要插入的数据是具有不同于所述第一值的第二值的比特，则所述第二预测模式是帧间_16×8模式。

5.根据权利要求2或3所述的方法，其中，所述第一预测模式是帧间_16×8模式，并且如果所述要插入的数据是具有第一值的比特，则所述第二预测模式是帧间_8×8模式。

6.根据权利要求2或3所述的方法，其中，所述第一预测模式是帧间_8×16模式，并且如果所述要插入的数据是具有不同于所述第一值的第二值的比特，则所述第二预测模式是帧间_8×8模式。

7.根据权利要求1所述的方法，其中，所述第一预测模式是帧间跳过模式，并且所述第二预测模式是帧间_16×16模式。

8.根据权利要求2或3所述的方法，其中，所述第一预测模式是帧间_8×8模式，并且如果所述要插入的数据是具有第一值的比特，则所述第二预测模式是帧间_4×8模式，而如果所述要插入的数据是具有不同于所述第一值的第二值的比特，则所述第二预测模式是帧间_8×4模式。

9.根据权利要求2或3所述的方法，其中，所述第一预测模式是帧间_8×4模式，并且如果所述要插入的数据是具有第一值的比特，则所述第二预测模式是帧间_4×4模式。

10.根据权利要求2或3所述的方法，其中，所述第一预测模式是帧间_4×8模式，并且如果所述要插入的数据是具有不同于所述第一值的第二值的比特，则所述第二预测模式是帧间_4×4模式。

11.一种用于对插入到表示图像序列的图像数据块的编码数据流中的数据进行读取的方法，所述图像数据块被称为当前块，所述流包括对定义了将所述当前块分割成至少一个子块的预测模式进行表示的信息，并且针对被称为第一子块的所述至少一个子块，所述流包括表示至少一个运动数据的信息，所述读取方法的特征在于，包括以下步骤：

-确定所述当前块的所述预测模式，以及针对所述第一子块，确定来自所述编码数据流的至少一个运动数据(E20)；

-将所述至少一个运动数据与比较运动数据进行比较(E22)；以及

-如果所述至少一个运动数据和所述比较运动数据是相同的，则读取所插入的数据(E24)。

12.根据权利要求11所述的方法，其中，所述比较运动数据是：根据与所述当前块的相邻块相关联的运动数据而预测的运动数据；或与同所述当前块并置的块相关联的运动数据。

13.根据权利要求11所述的方法，其中，所述预测模式定义了将所述当前块分割成所述第一子块和第二子块，并且，所述比较运动数据是与所述第二子块相关联的运动数据。