CN102144237B - 压缩媒体的有效水印方法 - Google Patents

Abstract

描述了通过利用来自比特流的其他内容覆盖原始内容来不易察觉地嵌入信息的系统和方法。在多个实施例中，通过参考比特流中的也被称为参考内容的其他信息来有效实施原始内容的置换。本发明的一个实施例包括使用预处理器分析压缩比特流以识别可以不易察觉被修改的位置，使用预处理器为每个识别位置生成至少一个置换数据，使用嵌入设备选择置换数据，以及通过使用嵌入设备来在压缩比特流中嵌入有效载荷信息以利用所选的置换数据覆盖压缩比特流的至少一部分。

Description

压缩媒体的有效水印方法

技术领域

本发明涉及信息在数字媒体中的嵌入和提取，也被称为数字水印。

背景技术

数字媒体的数字表示、存储、发布和复制已经变得非常流行，因为它们廉价、易于使用且保持了媒体的质量。然而，这些优点引起了版权材料的广泛、非法的发布和使用，诸如数字图像和视频在互联网上的未授权发布。

已经提出了许多不同的方法来确保数字媒体不会未经授权而被使用。例如，数字加密技术能够有效地确保安全通信和传输。然而，如果加密的比特流被解密或者以人可视或可听的形式而呈现，则内容可以被重新记录并且可以获得不受保护的副本。

通过在媒体中嵌入接受者信息来对媒体进行标记可以帮助识别以未授权方式接收媒体和使用内容的个体。此外，媒体中嵌入的所有权信息可以表示复制限制并阐明媒体的所有权。

对媒体进行标记的一种方式是通过对数字媒体文件格式添加注解，其可以从未修改的文件中读取且在重新生成(playback)期间被忽略。然而，如果文件被重新记录或转换为另一种格式，则该信息经常被丢失。

为了实现视频媒体中稳定且永久的标记，已经提出了在重新生成期间显示版权信息的可视和覆盖图像。覆盖图像对于修改来说是稳定的且易于读取。然而，这种方法会减损标记视频的质量，因为覆盖图像与原始图像发生干涉，这减损了观看体验的质量。此外，覆盖图像是明显且因此易于识别的，并且可以通过覆盖或图片裁切(cropping)来去除。

数字水印通常被理解为在媒体内容中嵌入不易看到的、稳定且安全的信息。在现有技术中，已经提出了如何完成数字标记嵌入的许多不同的方法。虽然一些方法在鲁棒性和不易察觉性方面提供了非常强大的解决方式，但仍然存在有效应用的挑战。水印通常要求许多对数据(诸如媒体对象的帧或图像中的音频样本或像素)进行编码的元素的修改，这是处理密集的。此外，许多水印应用要求许多媒体对象进行修改，例如能够将相同内容的特有副本分配给百万个接受者。为了在传送之前特有地处理许多媒体对象，用于施加水印的有效处理是值得期望的。可选地，可通过接收设备来应用标记处理。然而，这些设备经常受限于可用的处理资源，因此，用于执行水印的非常有效的系统也是值得期望的。

在要求嵌入的应用中需要表示压缩(还被称为编码)内容的比特流进行直接修改而不需要重新压缩(重新编码)。这些应用不允许访问被解码的视频内容，因为内容的解码、标记和重新编码的处理太过密集、引入处理延迟并且通常至少轻微地降低了视频的质量。期望在压缩内容中嵌入信息的应用实例包括在以压缩形式将唯一标记的副本分配给接受者的服务器上进行的嵌入以及在存储之前对压缩内容进行标记或者在解码内容之后导入到硬件解码器和显示引擎中的接收端上的应用，其中，所述显示引擎不能容易地被修改以增加水印功能。

压缩内容的操作提供了具体的挑战，因为其非常复杂而难以预测修改如何影响所得到的解码内容，这是因为对将压缩内容转换为未压缩内容的过程施加了多种操作。另一种挑战在于重新使用现有编码信息的基本压缩原理，从而减少了冗余。这意味着被修改的元素通常被重新使用，并且因此修改将传播至附加位置，通常导致干扰嵌入信息的预期不易察觉性的有害效果。在现有技术中，在可以应用修改之前执行在压缩的一些阶段中对部分压缩的内容进行描述的概念(诸如熵编码)。虽然这在处理中提供了一些优点，但其通常难以符合许多应用中存在的非常有限的处理限制。

发明内容

根据本发明实施例的系统和方法使用压缩期间所应用的原理，通过应用引起解码内容的显著修改的小修改来有效地在压缩内容中嵌入信息。在许多实施例中，这些修改在内容的劣化之后可读且在解码之后不易察觉。

本发明的一个实施例包括：使用预处理器分析压缩比特流，以识别可以不易察觉的修改的位置，其中，不易察觉的修改包括使用源自压缩比特流中其他地方的置换内容来置换原始内容以去除原始内容的至少一部分；使用预处理器为每个所识别的位置生成至少一个置换数据，其中，利用任何一片置换数据覆盖压缩比特流的一部分防止了解码器对原始内容进行解码并使得解码器对源自压缩比特流中其他地方的置换内容进行解码；使用嵌入设备选择多片置换数据，其中，使用所选的多片置换数据覆盖压缩比特流的部分用于根据预定编码方案对有效载荷信息进行编码；以及通过使用嵌入设备来在压缩比特流中嵌入有效载荷信息，以利用所选的置换数据来覆盖压缩比特流的至少一部分。

在本发明的又一实施例中，嵌入设备是被配置为将压缩比特流传输至解码器的媒体服务器，并且本方法进一步包括：使用媒体服务器生成有效载荷信息，其中，有效载荷信息表示解码器要求传输压缩比特流，并使用媒体服务器将其中嵌入有效载荷信息的压缩比特流传输至解码器。

在本发明的另一实施例中，嵌入设备是被配置为接收压缩比特流和置换数据的解码器，并且该方法进一步包括在解码器已经嵌入有效载荷信息之后对压缩比特流中的视频进行解码，并使用解码器将解码视频输出至渲染设备。

在本发明的再一实施例中，使用预处理器分析压缩比特流以识别不易察觉的修改的位置进一步包括：识别来自不易察觉的修改的压缩比特流内的视频帧的部分，其中，不易察觉的修改包括使用源自压缩比特流中的其他帧的置换内容来置换视频帧的原始内容的一部分。

在本发明的再一实施例中，使用预处理器分析压缩比特流以识别不易察觉的修改的位置进一步包括：识别不易察觉的修改的视频帧，其中，不易察觉的修改包括使用源自压缩比特流内的至少一个其他帧的置换内容来置换视频帧的原始内容。

在本发明的再一实施例中，使用至少一个公共加密密钥来加密置换数据和至少一部分压缩比特流，使得可以用置换数据和解密的压缩比特流来覆盖加密的压缩比特流。

本发明的又一实施例包括：使用预处理器分析压缩比特流，以识别视频帧，该视频帧不被压缩比特流中的其他视频帧所参考并且可以不易察觉的修改而不会将错误传播至压缩比特流中其他位置，其中，不易察觉的修改包括使用源自压缩比特流内的至少一个其他帧的置换内容置换视频帧的原始内容；使用预处理器为每个所识别的视频帧生成至少一片置换数据，其中，利用任何一片置换数据覆盖压缩比特流的一部分防止解码器对所识别的视频帧的原始内容进行解码，并使得解码器以通过置换数据所表示的方式从压缩比特流内的至少一个其他帧中得到置换帧；使用嵌入设备来选择多片置换数据，其中，使用所选的多片置换数据中的每一片来覆盖压缩比特流置换整个帧并根据预定编码方案来对有效载荷信息进行编码；以及通过使用嵌入设备在压缩比特流中嵌入有效载荷信息，以利用所选的置换数据来覆盖压缩比特流的至少一部分。

本发明的又一实施例包括：检查标记比特流的副本，以估计原始比特流内使用提取设备进行覆盖的位置；以及基于预定的编码方案提取在压缩比特流的副本中嵌入的有效载荷信息，并估计原始比特流内使用提取设备进行覆盖的位置。

本发明的另一实施例包括被配置为与存储设备进行通信的预处理器，其中，预处理器被配置为：接收压缩比特流；分析压缩比特流以识别可以不易察觉的修改的位置，其中，不易察觉的修改包括使用源自压缩比特流中其他地方的置换内容来置换原始内容，以去除内容的至少一部分；为每个所识别的位置生成至少一片置换数据，其中，利用任何一片置换数据覆盖压缩比特流的一部分防止了解码器对原始内容进行解码并使得解码器对源自压缩比特流中其他地方的置换内容进行解码，以及将对应于每个识别位置的置换数据存储在存储设备中。

本发明的又一实施例包括被配置为接收压缩比特流和预处理的置换数据的嵌入设备，其中，嵌入设备被配置为选择预处理的置换数据，其中，使用所选的置换数据覆盖压缩比特流的部分用于根据预定编码方案对有效载荷信息进行编码，以及嵌入设备被配置为通过使用嵌入设备在压缩比特流中嵌入有效载荷信息，以利用所选的置换数据来覆盖压缩比特流的至少一部分。

附图说明

在附图中，类似的符号通常表示相同的部件。此外，附图不是必须按比例绘制，而是通常设置重点来说明本发明的原理。

图1是根据本发明一个实施例的嵌入过程的流程图。

图2概念性地示出了根据本发明实施例的用于使用包含增量附加物(delta additions)的置换帧来丢弃帧的处理。

图3是示出根据本发明实施例的用于使用帧丢弃来在压缩比特流中不易察觉地嵌入信息的处理的流程图。

图4是示出根据本发明实施例的用于伪随机地选择用于修改的压缩单元的处理的流程图。

图5是示出根据本发明实施例的用于非盲地提取通过修改压缩单元嵌入的信息的处理的流程图。

图6概念性地示出了根据本发明实施例的用于标记广播比特流的系统。

图7概念性地示出了根据本发明实施例的被配置为唯一地标记单播比特流的系统。

图8概念性地示出了根据本发明实施例的可被执行以标记编码比特流的压缩单元的各种修改。

图9概念性地示出了根据本发明实施例的将预处理的数据作为专用数据添加至比特流。

图10概念性地示出了根据本发明实施例的通过同步信息的修改来标记编码比特流。

图11概念性地示出了根据本发明实施例的自我实施(self-enforcing)的标记。

图12是示出根据本发明实施例的用于通过观察到的错误传播进行水印的处理的流程图。

具体实施方式

现在参照附图，示出了根据本发明实施例的用于在压缩内容中嵌入水印的系统和方法。在多个实施例中，使用压缩内容的小修改来实现标记，其对内容引入强大且不易察觉的修改。在许多实施例中，通过比特流中的其他内容来覆盖或置换原始视频内容的信息。通过参照比特流中的其他信息(也被称为参考内容)来有效地实施这种置换。这通常通过在许多压缩格式中所使用的操作(复制来自参考帧或参考块的信息)来进行。参考帧是可以根据编码帧参考的帧。MPEG-2b帧可以参考若干帧。H.264中的宏块可以参考其他宏块以复制来自它们的信息。通过内容的去除和利用参考内容的覆盖来表示根据本发明实施例的嵌入比特流中的实际信息。可以基于修改的位置和/或基于对压缩内容所做的具体修改来传送信息。修改的选择依赖于压缩格式和媒体内容。在多个实施例中，通过置换整个自包含(self-contained)的压缩单元(其独立于其他压缩单元并且可以被置换而在解码期间不会错误传播至其他压缩单元)来应用修改。这里，解码还包括帧的显示，例如，如以下所详细描述的，当定时信息被置换时，一些帧可以被解码为图像但不被显示。在许多实施例中，压缩单元为整个帧，并且修改可以涉及帧的丢弃或者帧的替换。在多个实施例中，压缩单元为压缩比特流的其他元素，包括但不限于图像宏块、视频片段(例如，H.264)、视频场、音频样本或音频帧。利用与比特流中压缩单元的结构无关的默认置换单元来置换压缩单元，允许适当置换压缩单元非常有效的确定而不需要分析所置换压缩单元的结构。此外，通过使用压缩格式的有效性，置换压缩单元通常小于被置换的压缩单元。因此，压缩单元可以被置换而不会增加文件大小，并且置换单元允许到嵌入位置的有效传输。然后，使用条件置换，可以在第二位置执行信息的实际嵌入。使用复制操作可以极其有效地执行嵌入以利用在预处理阶段期间所生成的置换压缩单元来覆盖压缩单元。在诸如解码和重新编码为另一压缩格式的转换之后，所引入的修改是稳定的且可在视频中检测到。

不易察觉地嵌入信息

根据本发明实施例的系统和方法可以通过修改比特流内的压缩元素来在压缩比特流中嵌入信息。根据本发明的实施例，在图1中示出了在比特流中嵌入信息的处理。处理10包括接收压缩比特流12。分析比特流以识别压缩比特流内可以被独立修改而不影响比特流内的其他压缩单元并且不具有明显的伪像的压缩单元(14)。可被修改的多个压缩单元被选择(16)来用于修改，并且确定可以对压缩单元进行修改(18)。预处理可用于生成可被存储为压缩比特流的一部分或者与压缩比特流分离的置换数据。可以有效地将修改应用于比特流内不易察觉被嵌入的信息(20)。当压缩比特流被传输或重新生成时，会发生修改的应用。在多个实施例中，通过选择被修改的特定压缩单元来在比特流中嵌入信息。关于可不易察觉被修改的压缩单元，可以定义一组标准。可通过判定是否修改与用于修改的标准相匹配的压缩单元或者使其不被修改来表示信息。在多个实施例中，通过选择被修改的特定压缩单元来在比特流中嵌入信息。在许多实施例中，通过选择被修改的特定压缩单元以及通过选择对所选压缩单元进行的特定修改来在比特流中嵌入信息。下面进一步讨论可以执行的对修改压缩单元的选择和修改的类型。

修改压缩单元

根据本发明的实施例，多种压缩单元中的任意一种可以被修改以嵌入信息。压缩单元为压缩比特流的元素。在许多实施例中，被修改的压缩单元是整个帧。在多个实施例中，比特流中较小的压缩单元被用于嵌入信息，包括但不限于图像宏块、视频片段(例如，H.264)、视频场、画面组、音频样本或音频帧。在多个实施例中，比特流中较大的压缩单元被用于嵌入信息，包括但不限于整个画面组。在许多情况下，单种类型的压缩单元被修改以嵌入信息。在其他实施例中，多类压缩单元被修改以嵌入信息。

通过修改整个压缩单元来嵌入信息的优点为能够容易地操作压缩域中的比特流而不需要理解压缩单元内的依存性。所要求的操作通常可通过使用压缩格式的有效性用少量的数据置换压缩单元来表示，并且所得到的效果和鲁棒性是显著的。此外，诸如视频帧的压缩单元的定位通常可以容易地从压缩比特流中观察到。当使用解码器的不同实现时，如果压缩单元的修改导致相同的解码视频，并且修改是稳定且安全的，则修改可以以与数字水印一样有效的方式来嵌入信息。哪些修改导致信息稳定、安全且不易察觉的嵌入取决于压缩和媒体格式以及媒体内容。

为了避免解码期间的不受控的错误传播，通常将修改应用于整个自包含的压缩单元。当压缩单元在随后的压缩单元中不被再利用时，压缩单元是自包含的(即，独立的)。独立的压缩单元的类型依赖于压缩格式。根据内容、编码器和编码器设置，一些压缩单元有时不被再利用。例如，由ISO/IEC的移动图像专家组所指定的MPEG-2格式中的‘B’帧不被用于其它帧的进一步预测。在H.264压缩标准中，不被用于进一步预测的帧统称为‘b’帧，同时‘B’帧依然存在，其可被用于进一步的预测。相反，可以在其他帧中使用其它帧类型(诸如‘I’和‘P’帧)中的信息。

用于修改压缩视频流的帧的技术

修改压缩单元的一种方法为丢弃视频帧。该方法依赖于序列中相邻帧之间的相似度，以对该序列引入不易被人类观察者所察觉到的修改。根据本发明实施例的丢弃帧可以采取多种形式中的一种，包括但不限于删除丢弃帧或者置换也被称为跳帧的丢弃帧。如以下进一步所讨论的，可以以多种方式来生成用于置换跳帧的帧。在多个实施例中，使用来自一个或多个相邻帧的信息来生成置换帧。在多个实施例中，使用来自一个或多个相邻帧和附加的嵌入信息(在该描述中也被称为增量附加物)来生成置换帧。

帧删除

通过删除视频流中的帧来丢弃帧的处理是简单明了的。从比特流中去除所删除的帧。通过实例，通过删除的方式来丢弃帧可以将A、B、C、D的4帧序列转换为A、B、D的3帧序列。在许多实施例中，删除帧的累积用于增加一片内容的标记和未标记版本之间的差别，并且由于原始和标记副本是一些位置分开的若干帧而利于提取，增加了二者之间的差别，因此使得内容的标记更容易被观察到。所累积的差别随后可以通过增加帧来补偿或者可以用于观察总的重新生成时间作为单独标记。

在又一实施例中，即使不存在用于比较的原始内容，帧的累积和删除被用于在音频和视频轨迹(可用于观察对视频的操作)之间创建差别。

帧置换

通过置换丢弃帧的技术(在该描述中也被称为跳帧)涉及代替丢弃帧来显示相邻帧。通过实例，使用跳帧丢弃帧可以涉及利用其前一帧来置换丢弃帧，当丢弃帧C时，其将4帧序列A、B、C、D转换为A、B、B、D。在另一实例中，使用跳帧丢弃帧可以涉及用随后的帧来置换丢弃帧，当丢弃帧C时，其将4帧序列A、B、C、D转换为A、B、D、D。

通过置换丢弃帧的另一技术涉及利用通过合并相邻帧所生成的帧来置换丢弃帧。通过实例，可以通过根据帧B、D的元素生成合并帧BD并代替帧C插入合并帧以引入4帧序列A、B、BD、D来丢弃来自4帧序列A、B、C、D的帧。BD可以为B和D的逐像素平均，或者包含来自帧B的一些部分和来自帧D的其他部分。

通过置换丢弃帧的又一技术为利用准备好的帧来置换丢弃帧。通过实例，准备好的帧X可用于将帧序列A、B、C、D转换为A、B、X、D。在多个实施例中，准备好的帧与相邻帧混合，以不易察觉地在置换帧中嵌入信息。用于生成包括不易察觉嵌入的信息的置换帧的一种处理为使用以下进一步讨论的增量附加物。

包含嵌入信息的置换帧

通过使用错误残留，压缩重新使用临近信息的概念允许丢弃帧并使用作为被修改以包括增量附加物的前一帧(或者源自接近丢弃帧的帧的其他帧)副本的置换帧的可能性。增量附加物可以在频域或空间域中向复制帧应用人或机器可读、可视或不易察觉的水印图样。此外，增量附加物可以被成型为字符、点或伪随机图样。如果显示非常短的时间(诸如只有单帧)，则引入强修改的增量附加物不太可能被发现。在多个实施例中，通过在相邻帧的副本上覆盖增量附加物图样来对置换帧进行编码。置换帧通常可以有效地被压缩，并且对比特流的修改小于将被覆盖的原始帧。使用增量附加物在先前信息的副本上嵌入信息可以在提取期间具有特定的优点(如PCT申请第PCT/US2008/084840号所解释的)。

在图2中示出了根据本发明实施例的用于使用包含增量附加物的置换帧来丢弃帧的处理。与包含覆盖帧‘3’(212)的复制压缩单元(235)的原始(即，未修改)比特流的修改版本的帧序列(230)相比较地示出了包括规则帧序列(210)的未修改比特流。复制压缩(240)单元源自前一帧‘2’(235)并包含增加的增量(delta)图样(250)。该增量包含水印信息并且可以被恢复为复制压缩单元(240)与前一帧(235)之间的差或增量。

对置换帧进行编码

用于置换丢弃帧的帧被编码的方式取决于置换帧的特性和用于编码比特流的编码方案。当跳帧被用于丢弃帧时，使用视频压缩元件，置换帧通常根据与丢弃帧相邻的帧来组合，其中复制信息来自相邻帧。因此，可以有效地对帧进行编码。当使用增量附加物时，使用对根据其相邻帧组合的帧添加信息的错误残留将附加信息添加至跳帧。

MPEG-2和H.264中的跳帧

在用于MPEG-2和H.264压缩内容的帧等级上，可以通过用相同尺寸的帧(包含与前一帧具有零长度运动矢量的宏块)置换压缩帧来应用跳帧，使得对于每个宏块复制来自前一帧的信息，从而得到由前一帧的副本所组成的跳帧。

在H.264中，可以使用两个可用机制中的一个来非常有效地表示相同运动矢量的序列。

表示跳帧的一种方式是通过将每个宏块标记为跳过，并且使用CABAC(内容自适应二进制算术码)编码，或者当使用CAVLC(上下文自适应可变长度码)编码帧时对运行(run)所有宏块大小的跳过进行编码。CABC或CLVLC压缩的选择可以逐帧地在帧上进行，并且可以为所使用修改的一部分，以选择更加有效的编码并保持被覆盖的信息为最小。在H.264中，简单标记(即，比特流中的数据元素)提供关于如何重新构建跳过宏块的信息；其可以被设置以将来自先前帧的宏块重新构建为两个帧的平均或者加权平均。这些变化可用于使跳帧不可见，或者可选地通过根据将被嵌入的信息选择置换方法来对跳帧中的附加信息进行编码。

以下讨论在修改H.264编码帧中所涉及的一些压缩单元。

如果利用CAVLC来对帧进行编码，则使用skip_run参数(表示多少后续宏块将被跳过)来设置将被跳过的宏块的数量。为了创建包含专有地跳过宏块的跳帧，在该跳帧中的总宏块的数量为一个游程(run)。skip_run值允许跳帧非常有效的编码，因此，其通常更加有效地使用CAVLC来压缩跳帧。如果使用CABAC，则对于所有宏块将跳过标记设置为真，并且帧被CABAC编码。CABAC编码将显著减小编码尺寸，但是通过公共帧大小，与跳过CAVLC帧相比，该帧将仍然要求更多的数据被编码。如果将被置换的数据量保持为最小是重要的，则用于置换帧的编码方案可以从CABAC变为CAVLC。通过entropy_coding_mode_flag标记在图片参数集(PPS)中表示帧的编码方案。PPS可以通过使用相同图片参数的若干不同帧来参考。预处理步骤可以引入指定CAVLC编码方案并且可以通过置换帧来参考的PPS。为了引入新PPS，通过不同的pic_parameter_set_id数来识别，比特流可以被延伸，或者如果在原始比特流中存在大量的图片参数集，则它们中的许多都是冗余的并且它们中的一些可以被覆盖以指定CAVLC参数。为了表示如何使用跳过宏块，在PPS中修改weighted_bipred_idc值。

为了将帧的剩余数据标记为专用数据，其后跟随标记为专用或预留数据的NALU。可以存在对帧的附加片段进行编码的后续NALU单元。如果置换帧已经限定了整个帧，则这些剩余的NALU也需要被解码器忽略，并且因此被标记为专用数据。

应用于上述实例中的帧的修改可以应用于其他元素(诸如片段)。对于H.264，帧可以被划分若干片段，它们具有各自的报头信息。因此，片段也适合于修改为压缩单元。交换完整的压缩单元的能力是所述本发明的一个特定优点，因为其显著减小了操作先进且复杂的压缩方案(诸如CABAC编码的H.264内容)所涉及的复杂度。

对增量附加物进行编码

与用于跳帧的处理类似的处理可以被用于对置换帧中的增量附加物进行编码。除相邻帧的复制操作之外，帧还包含编码为错误残留的增量附加物。错误残留是用于不能根据参考帧重新构建的信息的表示。对于规则的编码帧，向参考帧借用信息，并且不能优选从参考帧复制的重建帧中的差被编码为错误残留，它们被编码为参考信息与重建帧中的信息之间的差。在一些实施例中，这些错误残留被用于向复制的置换帧添加信息。

通过帧丢弃不易察觉地嵌入信息

通过使用帧丢弃对信息编码，可以在压缩比特流中不易察觉地嵌入信息。在图3中示出了根据本发明实施例的用于使用帧丢弃对信息进行编码的处理。处理300包括接收比特流(302)和识别比特流内可以不易察觉地被丢弃以对信息进行编码的帧(304)。从所识别的帧中选择帧(306)，其丢弃可以对比特流中信息的特定片段进行编码。如果帧被置换，则生成(308)并存储置换帧。在比特流被标记的时刻，帧被删除或者使用已经存储的置换帧来代替(310)。通过确定哪些帧被丢弃，帧的丢弃利用可被恢复的信息来标记比特流。

对编码信息的修改的变化

例如通过帧丢弃对压缩单元的修改可被用于根据修改的存在或不存在来嵌入二进制值。在许多实施例中，使用修改的位置来在压缩比特流中编码N-ary值。例如，可以通过修改将被修改的10个可能元素中的一个元素来编码十进制数字。较长的间隔减小了所需修改的量，但是使得修改更难以检测，因为必须对N个可能位置进行判决并且所有判决必须校正以恢复信息。嵌入高阶数的附加方式为通过改变被应用的修改的种类。例如，可以使用位置中偏移的方向和量，例如，如果置换帧正在复制其相邻帧并且向10个可能位置中的一个增加位置偏移，则可以对十进制数字进行编码。这通过使用相同且非零的运动矢量来实施，使得被复制以置换跳帧的帧处于不同位置并在运动矢量的方向上上移运动矢量的长度。另一实例为仅从相邻帧复制所选择的宏块。可以通过选择从哪个帧复制信息以及置换哪个宏块来嵌入信息。在具体实例中，可以从预定的先前参考帧复制左上宏块来编码0，从随后的参考帧复制以编码1，以及保留不修改以编码2。该方法应用于宏块组，以增加嵌入值之间的解码帧中的所得差。在H.264中，可以使用压缩格式片段，其有效地将宏块成组为帧组件。编码的这些不同等级可以同时被使用并且组合以存储不同数据、不同重要性的数据和/或用于错误校正目的的数据。

被跳过的帧通常由跳过的宏块组成。跳过的宏块不用图片信息来编码而是在解码期间填充有默认值。可以为宏块组设置默认值是什么，诸如H.264片段、帧或图片。默认值可以为来自另一参考帧的副本、若干所选参考帧的平均副本、若干所选参考帧的加权副本或者来自具有固定位移(表示为非零运动矢量)的参考帧的副本。这些变化的每一个都允许数据的编码。编码的数据是修改允许范围内的数字，例如，如果副本来自一帧或者加权平均并且平均的权重可以编码信息直到权重的分辨率的范围(10个不同的权重以对十进制数字进行编码)，则可以针对判决来编码二进制数字。使用帧丢弃和/或N-ary值嵌入二进制信息的能力能够使在比特流中嵌入几乎任何类型的信息经受其中可以丢弃帧的可用位置的数目。在多个实施例中，嵌入的水印信息包含错误检测和/或错误校正码。

通常在编码方案中表示关于可以应用何种修改的信息、如何选择它们的信息、如何通过重复如错误校正和/或错误校正增加冗余的信息以及比特流中位的发布的信息，其被预先定义并且以相同方式在嵌入和提取中使用。其可以针对每个用户、电影、内容分配器和内容拥有者进行定义，或者用内容中的标记来发信号。

在许多实施例中，嵌入的信息相对修改来说是稳定的，并且可以从经受诸如再压缩的修改的副本中恢复。在多个实施例中，为了提取嵌入的信息，通过与原始、未修改的内容进行比较来确定修改的位置和特性。

识别将被丢弃的潜在帧

诸如帧的压缩单元的丢弃适合于信息不易察觉的嵌入，因为通过帧丢弃所引入的修改类似于常规视频处理期间频繁发生的失真。从而，消费者习惯于可能通过帧丢弃所引入的失真，并且不可能有意识地登记这些失真。相邻帧之间的差别可以是显著的，因此，通过帧丢弃引入的修改与传统的水印技术相比通常是很强的。这里的术语“强”是指通过标记处理改变的信息量。通常，较强的标记更加可靠地嵌入信息，但是会更加容易被观察到。修改的强度通常与在给定应用中要求恢复信息所需的冗余等级相关联。例如，当试图恢复弱嵌入的信息时，高冗余等级是值得期望的。

即使通过少量的帧丢弃，也仍然期望使标记媒体上帧丢弃的数量的可视影响最小。在多个实施例中，选择具有最小可视应用的嵌入位置，而即使在标记内容劣化之后，理想地改变内容也充分允许数据的提取。修改可以为通过原始帧和丢弃帧之间的差所测量的最小值，但是通常还及时地成为最小值，因为帧在公共视频帧率中的转瞬间被显示。

感知成形

感知成形(perceptual shaping)的目的在于确保在嵌入标记时应用的修改对于公共观看者来说不易察觉。虽然它们可以被训练判断视频质量的专家或者熟悉所应用修改的专家感知，但它们通常对于没有经过训练的临时观察者来说不容易注意到或者是不明显的。

对于所引入改变的可察觉性的一种主要测量是未改变和改变内容之间的差。对于跳帧，其是帧和在其位置显示的前一帧之间的差。当选择可以根据本发明实施例不易察觉被修改的压缩单元时，可以应用两帧之间差的多种差测量，包括但不限于对应像素的差的绝对和(absolute sum)，这是简单但有效的方法。比较之前的直方图扩展对于仿真实际感知是有用的(例如，与包含亮和暗分量相比，在非常暗的环境中更加容易观察到从黑到暗灰的变化)。设计这种以及类似的转换以调整内容比较的人类感知与数学差分测量之间的差。在多个实施例中，提供足够大以稍后检测修改、足够小以保持不易察觉的差的那些帧被选择作为信息嵌入处理期间用于置换的适当候选。将跳帧隐藏不被注意的另一位置处于包含局部不连续(诸如场景变换)的区域，在这期间内容快速地发生变化以使跳帧不被注意。可以通过帧之间的高度差别(可以利用对应像素的绝对差的平均值来测量)的简单测量来识别这些位置。大于30的值表示帧之间的强变化。可以如下描述嵌入位置的识别的工作流程：

1.确定表示8和20之间的嵌入标记的期望强度的鲁棒性值R；

2.创建当跳过时被不易察觉分类的所有帧的列表；

3.如果帧与前一帧相比具有大于30的平均绝对像素差，则将所有帧以及它们2个最相邻的帧添加至列表；

4.向所有帧应用直方图扩展；以及

5.以平均平方像素差的顺序向列表添加相对于大于R的前一帧的平均平方像素差的所有其他帧。

上述列表与所使用的比较编解码器无关。根据压缩内容，那些帧被选择允许跳过，给出它们被压缩的方式，例如，如果它们为‘b’帧，则它们可以被跳过，但是如果它们是‘I’帧则不能。按照如何不易察觉跳帧来对列表分类，并且选择策略将偏好不容易可见的那些帧。当可以处理整个文件时，可以应用该过程。如果不是这种情况，用于低运动场景的值不被分类但是通过比较阈值来进行选择。尽管上面描述了特定情况，但可以使用根据本发明实施的用于选择允许跳过的帧的其他处理。

可以在许多应用中容忍对像素等级的比较，然而，这种比较是处理器密集的并且涉及比特流中视频帧的解码。对于其他应用，期望采用更快的方案来得到关于修改的潜在伪像的信息。在多个实施例中，包含在压缩比特流(其包含源自内容特性的集合信息)中的信息被用于确定修改的感知影响。如文献中所描述的，在频域中执行用于比较可选方式，并且可以利用用于比较的不同权重来处理较低和较高的频率或颜色对亮度。在其压缩或部分压缩的状态下，内容通常在频域中是可用的。

基于帧大小选择嵌入位置

作为相对于其帧压缩类型(诸如用于MPEG视频的I、B、P帧)的相对值的处于压缩格式的帧的大小表示帧的信息内容和复杂性。包含更多数据的压缩帧在丢弃时更容易被注意到。相反，使用来自相邻帧的信息并包含相对较少量的数据的压缩帧在丢弃时不容易被注意到。不使用相邻信息的帧通常较大，其中发现通常在复杂场景中找到的许多频率。包含许多频率的帧对于嵌入强标记来说是有用的，因为非常复杂的场景可以掩盖嵌入失真。

还可以在执行感知成形时观察帧大小随时间的变化。从其他帧(诸如MPEG B帧)借用信息的帧的大小在场景的特性发生变化时改变。例如，帧的大小将随着场景在运动开始处或者改变亮度级而从一个场景变为另一场景，从而发生变化。因此，从其他帧借用信息的帧的大小可以是适合于遮盖嵌入修改的比特流中位置的重要指示符。基于帧大小评估场景改变的另一种方式是观察预定数目的先前帧的平均大小的连续性。

基于帧序列选择嵌入位置

帧类型的序列提供了关于内容的其他线索并且在压缩内容中非常容易得到。大多数时间其遵循常规结构，称为GOP结构(GOP：Group of Picture，图片组)。GOP将以I帧开始的若干图片扩展到下一I帧。在许多压缩格式中，其根据需要进行变化。GOP结构的变化和来自规则图样的派生物通常发生内容中的不连续性，诸如场景变化或者其他强的改变，因为在这种情况下有效地以新I帧开始。这些位置很好地适合于不易察觉地编码修改，因为内容中强变化的存在将感知地掩盖通过利用标记应用的修改所引入的相对较小的修改。

基于运动矢量选择位置

包含在许多视频压缩格式中的又一个相对容易得到的信息是运动矢量数据，其指定空间移动来基于块重新使用其他帧中的信息。在比较中使用运动矢量，因为它们能够使编码帧有效地重新使用在时间闭合帧中编码的信息。运动矢量的解释可以提供关于帧之间运动的方向强度和均匀性的线索。当帧被丢弃以嵌入信息时，要求最小程度的运动以丢弃具有可检测影响的帧，并且运动的强度或力量应该不超过阈值以限制可视伪像。运动矢量的均匀性表示帧是否通过许多运动元素(如一组人)而不同或者源自均匀的运动(如遥摄或变焦)。对于许多场景，当帧被跳过时，均匀的运动将表现出可被注意到的不连续，因此，不太适合被选作嵌入位置。

选择嵌入信息的位置

如上所述，可以通过检查比特流的特性并识别压缩单元(拥有将它们识别为适合不易察觉地嵌入信息的预定特性)来确定其中可以嵌入信息的位置。然而，本发明的许多实施例涉及确定压缩单元用于修改，或者仅在进行压缩单元适合于修改的后续确定的情况下修改压缩单元。

模糊(obfuscating)被修改压缩单元的位置

可以通过模糊嵌入位置来增强根据本发明实施例的嵌入比特流中的信息的安全性，使得它们不能被直接估计和攻击。为了这样做，使用被要求得到位置并且读取、修改或写入嵌入信息的密钥从所有可能的嵌入位置中选择相关的嵌入位置。可选地或附加地，可通过将来自原始文件的信息用作密钥来使位置与内容相关。为了确保潜在攻击者不能访问该信息，其可以包括在水印过程期间被覆盖的数据并且要求原始内容用于其恢复。

嵌入信息的提取

在多个实施例中，使用非盲(non-blind)或灵通的(informed)提取(将原始未标记的内容与包含标记的副本进行比较以识别它们之间的差别)来提取通过修改压缩单元而嵌入内容的信息。当修改涉及帧丢弃时，提取处理知道可能已经被改变的位置，并且逐帧将原始与标记副本进行比较以识别已经被修改以嵌入信息的压缩单元。

在许多实施例中，提取处理是盲目的并且通过评估原始比特流的出现来进行。在多个实施例中，修改过程的信息(knowledge)被用于识别可能为修改产物的压缩单元。

非盲提取处理

当恢复已经在流中编码的消息时，许多实施例(诸如图5所示的实施例)要求在提取期间存在原始编码比特流(500)。如果内容已经经受诸如仿真转换或再压缩的转变，则这是尤其相关的。在这些修改期间，原始压缩单元被解码为像素内容并且使用不同的压缩单元被重新编码。图5所示的提取过程涉及分析原始比特流以确定可能包含改变的压缩单元(510)。这种分析复制了许多相同的过程来用于确定适合于嵌入期间的修改的压缩单元，诸如嵌入位置的随机发布、使用密钥的位置的模糊以及感知模型的应用。信息可以从原始内容中重新创建，或者可以被一次确定并存储用于嵌入和提取。

一旦从原始内容中识别出修改的压缩单元，就将被分析用于嵌入信息存在的视频(也被称为副本(515))与原始进行比较，以最终确定压缩单元是否被修改以及以何种方式被修改。副本与未修改和修改的原始版本进行比较，并且最接近的比较被假设为副本的版本。在最简单的情况下，修改的存在表示将被嵌入的二进制1，而不存在表示二进制0。尽管在其他实施例中可以基于修改的类型嵌入信息，但通过检测N个可能修改中的一个，利用N-ary嵌入方案。

为了识别副本中的相关压缩单元，其与原始版本进行对准(520)。通过使用视频流中的PTS和其他定时信息、帧率的信息、逐帧比较或它们的组合，可以通过开始和结束帧的手动匹配和中间帧的线性插入来执行及时对准。例如通过帧丢弃或记录期间引入的运动，可以在提取处理的开始应用该处理，并且在电影不同步的任何时候被重新应用。在操作者指示帧以及原始和副本中的对应像素的大概匹配位置的过程中，该处理可以为半自动的，并且提取比较处理通过将副本中像素的环境与原始的环境进行比较并找到最佳匹配来增加精度。确定劣化度(530)的适当比较方法(诸如相关以及它们的应用)对于本领域的技术人员来说是已知的。更为稳定的所选分量的比较可被用于增加精度。这些分量取决于劣化的类型。实例为低频、灰阶和相对对比率。然后，原始的内容可以被转换为更加类似于副本(反之亦然)。通常，优选地，原始版本被转换为看起来像副本，以便将可能已经劣化的副本的进一步的劣化保持为最小。可以通过使用转换期间的匹配点来近似几何失真。这些图像注册和转换方法对于本领域的技术人员来说也是已知的，并且可以补偿偏移、旋转、缩放、弯曲和类似的修改。转换的精度取决于匹配点的数量。可以通过在比较中的副本帧以及原始版本的对应帧中存在的高频量来测量应用于副本的模糊量。

在多个实施例中，可以通过读取压缩参数(诸如来自压缩副本的压缩格式、大小、帧率和比特率)以及将这些参数应用于原始版本以使其更加类似于副本来仿真由压缩所引入的劣化。

在多个实施例中，确定匹配点和其他劣化的处理在迭代处理(550)中被重新执行。

在匹配之后，选择每个可能的嵌入位置(560)，并且与未修改的版本和所有可能修改的版本进行比较(570)。最接近的匹配为确定最可能的嵌入信息(580)。对所有可能的嵌入位置重复该处理(590)，并且最终聚集所有信息(595)，数据被解码并得到最终的有效载荷(597)。

尽管在图5中示出了具体处理，但涉及原始比特流和副本的比较以识别与修改相关联的比特流与引入嵌入信息的原始比特流的差别的其他处理也可以被适当地用于根据本发明实施例的具体应用。

嵌入信息的盲提取

在许多实施例中，可以恢复嵌入信息而不参考原始比特流。通过从副本中估计原始比特流和修改版本的出现来实现提取。通过实例，经由使用按照相邻帧的平均值创建的置换帧的帧丢弃而已知被嵌入的信息可以通过比较副本中的每个帧(如果其是基于其相邻帧的置换帧，则估计其看起来是什么样子)来恢复。接近匹配表示存在置换帧。通过使用将置换帧之前的帧转换为置换帧之后的帧的图像块的运动矢量长度的50％，可以通过预测置换帧的内容来评估原始(即，未修改)比特流。原始比特流的评估可以要求运动矢量的良好评估，并且最适合于具有全局运动的场景。

类似于上述实例的方法较少依赖于原始版本，而是利用用于每个可能嵌入位置的可比较测试，其能够恢复标记而不需要原始版本的帮助。还可以评估编码信息的存在和不存在以及附加性，而不需在观察丢弃帧时存在原始内容。在删除帧的情况下可以通过运动连续中的跳过或者通过表示置换帧的重复元素来观察被丢弃的帧。

重复地提取嵌入信息

在许多实施例中，通过重复和错误校正方法来应用利用特定的冗余量而嵌入的信息。可以假设引入较强差别的修改在提取期间具有较好的可靠性，并且当组合最后的结果时，可以更加信任从这些修改中读取的信息。当组合从比特流的不同位置提取的信息时，可以加权所提取的比特，使得更加可靠得到的信息将对最终提取的信息贡献更大。更加可靠提取的信息通常可识别为从在修改版本和原始(即，未修改)版本的比较期间显示出强差别的压缩单元中提取的信息。当互相比较两个版本并且测量相似性时，可以在嵌入处确定未修改与修改版本的差别。因此，可以在嵌入和/或提取期间确定可靠加权。结束对于相似性的不同测量。一种简单的测量是修改帧的像素与未修改帧的对应位置的像素之间的绝对差的总和。可以在嵌入期间使用类似性测量，以试图利用相等强度(即，预定范围内的强度)来嵌入所有有效载荷数据，或者省略嵌入不是很强且对编码可靠数据没有贡献的位置处的嵌入。

增量附加物的提取

在多个实施例中，修改压缩单元中增量附加物的提取利用了嵌入信息被增加至重复的压缩单元的事实。得到包含增量附加物的重复压缩单元的差或增量提供了增量附加物(即，嵌入信息)并抑制了每个重复压缩单元内的电影内容。参照图2，在提取处理期间，从置换帧240中减去帧235以得到增量附加物，而不会将作为噪声的视频内容提供给提取器。在水印提取中，基本的视频信号通常是嵌入信息解码过程中的障碍。因此，去除基本的视频信息利于对由增量附加物所引入的图样进行解码。具体地，重复的压缩单元拥有相对于原始压缩单元的相同失真。因此，基本内容的抑制与应用于副本的失真无关。通过实例，如果经由增量附加物修改的内容已经被摄录(camcorded)，则摄录副本的帧将包含亮度和几何变化的相同失真。因此，对帧所应用的亮度和几何变化的相同失真用于恢复增量附加物，并且不管亮度和几何变化的失真如何，帧的差别抑制了基本的内容。在副本的帧率不同于修改比特流的帧率的情况下，可以要求各个帧的重建以抑制内容和提取增量附加物。

通过修改压缩单元进行的有效嵌入

许多水印应用要求压缩域中快速或轻量的嵌入。如以下进一步所讨论的，根据本发明实施例的系统利用了各种技术来简化嵌入处理。在若干实施例中，通过简单地复制少量预生成的数据以置换编码内容内的压缩单元来实现修改。

在本发明的多个实施例中，通过简单地置换整个压缩单元、消除处理该压缩单元内的相关性的需求来避免压缩域中应用复杂修改的需要。此外，该方法使用压缩编码固有的高度有效的机制来利用参考来自相邻压缩单元的信息的不太有效的数据块置换表示修改压缩单元的数据来实施修改。因此，利用在压缩域中覆盖的非常少量的数据进行修改是可能的，同时保持被感知类似于预期内容的内容。该处理填充通过利用接近原始数据的数据置换原始压缩单元所创建的间隙。然而，在原始和置换数据之间存在差别。该差别可以在转换之后被识别并且为可靠数据载体。

在许多实施例中，文件被预处理以确定适合于被修改的位置和适当的置换数据来实施修改。可以在第一位置中执行预处理，并且所得到的可能比特流可以被传输至第二位置。通过包含以硬件或软件模块实施的处理逻辑的预处理器来执行该处理。可以使用单独的数据通道、流或文件来发生传输，或者其可以嵌入到压缩文件中作为在解码期间不被规律使用的数据。第一位置可以是编码处理的一部分或者加密或传输处理的一部分。

预处理还可以将置换数据增加至压缩文件，使得解码设备可以适当简单地复制置换数据来根据嵌入信息修改压缩单元。该数据可以被增加作为专用数据。可以去除较少相关或不相关的其他数据，以保持文件的所得总大小。为了如适当减小在数据载体上修改的文件中的变化量、限制所需传输的量、保持与其他文件的依存性或者适应预定容器的原因，可以期望保持文件大小。可以通过去除诸如专用数据的冗余或不相关数据来进行去除数据。还可以通过增加相邻压缩单元的压缩比来执行。如果使用相同的位置，则去除和添加引起置换。可以利用掩密方法来实现适合于嵌入的位置的识别，其不是很稳定但容易嵌入和验证，诸如PTS或其他时戳(对再生不具有显著影响并且还可以用于编码信息而不增加文件大小)的修改。

通过修改压缩单元嵌入信息

根据本发明的实施例，多种系统架构可用于通过修改压缩单元来有效地嵌入信息。在许多实施例中，未标记的比特流被预处理以识别可以进行修改的位置以及可以在每个位置进行的修改。当比特流被标记时，可以选择预处理期间识别的潜在修改的子集，以对内容中的信息进行编码。在多个实施例中，比特流作为广播被传输，同时在显示之前未标记以及稍后被解码器标记。在多个实施例中，内容为单播并且在传输和被解码器接收之前被标记。

嵌入设备

通过包含用于根据将被嵌入的信息来置换数据的逻辑的嵌入设备来应用在预处理步骤中准备的置换数据。逻辑可以在硬件中集成或者可以通过软件模块来执行。如以下所描述的，嵌入设备可以嵌入到接收客户设备上或者在传输之前嵌入到服务器侧上。

在解码器中标记内容

在图6中示出了根据本发明实施例的用于发布编码内容并标记比特流以识别对比特流进行解码的设备(解码器)的系统。通过预处理器(610)来预处理未标记的比特流(600)。在预处理期间，置换数据被创建并且通过与比特流组合以形成包括原始比特流和置换数据的内容比特流620。比特流被传输至一个或多个解码设备630。所有解码设备以广播方式接收相同流，并且根据将被嵌入的唯一信息使用置换数据来标记内容。在若干实施例中，解码设备执行理解置换数据的格式并根据将被嵌入的有效载荷信息来应用其的水印嵌入软件。在许多实施例中，通过在其中可以嵌入信息的每个位置中应用置换数据或者使比特流不被修改来嵌入信息。通过解码器输出(640)标记的媒体内容用于显示。解码器客户设备包括诸如移动电话、机顶盒、游戏控制台、便携式媒体设备、显示和投影设备以及类似消费者电子器件的设备。

在单播系统中的头端器处嵌入

如果使用预处理，则选择嵌入位置和所要求的覆盖信息。实际嵌入可以由此被减小到符合有效载荷信息的置换。该应用甚至可以进一步减小为数据的复制操作，诸如为置换比特流元素而使用的若干字节。标记所得到的应用是针对通过将被嵌入的信息所规定的给定位置简单地执行用于给定数据的复制操作。在每个客户接收数据(单播)的各个流副本服务器可以根据应用确定将被嵌入的信息并在将其发出去之前修改流的场景中，实际嵌入处理针对有限复制操作的减小还能够使服务器侧标记进行处理，期间在诸如流动服务器、VoD服务器、电缆或卫星首端的媒体服务器上应用标记并且对于每个客户都是唯一的。对于该处理要求非常有效的实施，因为服务器需要为所有客户应用该修改并且为若干且数目可能增长的客户服务。然而，在一些实施例中，能够使服务器侧在传输期间或者在传输之前对没有标记的比特流进行标记，但是预先存储具有唯一标识符的若干比特流文件，并且唯一的标识符在下载期间被分配给接收客户，使得唯一的标识符被分配给处于下载的客户并且此时变为表示客户设备。

在图7中示出了根据本发明实施例的在头端器处执行嵌入的系统。通过预处理器(710)预处理未标记的比特流(700)，但是结果(720)不被直接传输至消费者电子设备，而是传输至与每个接收客户建立单播连接的视频服务器(730)。该流动首端视频服务器被配置为执行嵌入软件，其根据接收客户应用置换数据。服务器可以通过置换数据的应用来修改比特流，以向每个客户嵌入识别接收客户并传送唯一流(740)的信息。每个客户(750)都被配置为以类似方式解码和显示内容，而不需要执行水印嵌入操作，因为其接收的比特流已经被单独标记。

用于表示修改的数据

当根据本发明的实施例修改压缩单元时，用于覆盖特定压缩单元的数据可以是静态的且被预处理，使得对于各个压缩单元不要求处理。预处理的数据可以简单地复制现有数据并且可以构建解码器以执行静态功能，包括但不限于前一帧的复制、相邻帧的平均或者具有位置偏移的前一帧的复制。例如，从前一帧复制信息的MPEG1、MPEG2或MPEG4压缩跳过的帧不依赖于其从中复制信息的帧的内容。所以，跳帧的数据可以针对根据帧大小并在所选位置插入以编码数据的比特流进行预计算。这种概念可以扩展到不同并且根据将被编码的信息进行选择的若干预计算的帧。每个预计算的帧都应用不同的修改。如果N个不同的预计算的值可用，则可以通过选择N个中的一个来嵌入0与N之间的值或者没有置换帧。例如，如果2个可能的修改帧可用，则一个可以复制前一帧，另一个可以复制下一帧，然后根据将被嵌入的信息，可通过不应用修改来嵌入0，通过使用前一帧的副本来嵌入1，以及通过使用下一帧的副本来嵌入2。

在若干实施例中，通过用预处理数据覆盖表示压缩单元的数据来实现修改，并且没有从压缩单元覆盖的任何数据被标记为专用数据。专用数据在解码期间通常被忽略。以这种方式，可以有效地执行修改而不改变文件大小。在许多实施例中，预处理期间生成的数据可以被存储在文件中作为专用数据用于稍后的使用。以这种方式，可以有效地使用复制操作修改文件的数据足够小以包括在文件中。

利用专用数据的修改

参照图8，示出了未标记比特流(810)的3个压缩单元。一个单元(820)已经被确定为适合于修改。根据编码方案和将被嵌入的信息，可以在若干变化的一个中发生改变或者根本不发生。在变化A(830)中，通过利用相同大小或更小尺寸的信息(842)仅置换单元的一部分来修改单元(820)，并且剩余部分被标记为专用数据(844)以确保其在解码期间被忽略。专用数据是比特流中将通过规则解码器忽略的信息，并且仅为一些特定的应用提供信息。专用数据还被称为用户数据或注释。在许多情况下，可以通过标记数据作为在再生期间忽略且不被使用的压缩单元来仿真专用数据的效果，诸如包含若干流的文件中的差分流，例如MPEG-2传输流或者隐藏在MPEG-4部分14容器中。示出了另一变化850。其利用差分信息(862)置换整个单元，并且还将剩余信息(864)标记为专用数据。在多个实施例中，标记为专用数据的数据可以用无用数据覆盖，以防止将内容重建为以多种方式标记的多个副本。以下进一步讨论将未使用信息渲染为不可恢复。

参照图9，未标记比特流(910)被预处理，并且数据被添加至可代替数据编码原始内容920使用的比特流。该数据(944)可被用作置换数据以如先前所描述的对信息进行编码，但是其被存储在比特流中使得将被置换的元素没有被覆盖，但是如果使用，则可选置换信息被标记为相关，而先前信息被隐藏为专用数据。当用规则解码器播放时不使用信息(944)，但是嵌入文件中使其在再生期间被隐藏和忽略。其可以被标记为差分程序或传输或程序流中的基本流，或者其被标记为专用数据。当将嵌入过程应用于内容时并且根据编码方案和将被应用的修改的有效载荷，信息942被标记为在再生期间被忽略且信息944将被使用。这通过标记比特流950来表示，其被修改使得解码器将使用编码标记的数据954并忽略专用数据952。

在不存在传输或传送置换数据的附加装置(例如已经设计并使用并且不允许修改和添加的内容传送和发布系统)的情况下，比特流中包括帮助数据是重要的。在这些情况的一些中，还重要的是文件大小不会由于系统依存性而变化。在这种情况下，可通过压缩一些元素并使用使其可用以将置换数据存储为专用数据的空间来将置换数据嵌入流。

将未使用信息渲染为不可恢复

密钥或不对称密钥可被用于加密所嵌入的信息或者从嵌入的信息中得到哈希码用于验证和比较目的。

当利用非常小的信息覆盖原始信息时，通常期望确保没有覆盖的信息被渲染为不可用并且不能被用于恢复原始内容。这可以通过覆盖该信息来实现。覆盖部分仅仅将是更加有效的并引入充分强的劣化，尤其在应用于利用再使用信息并传播错误的有效压缩方案编码的视频的比特流时。针对比特流的损坏比特流中的信息的修改在其被加密时尤其容易。由于数据块在解密期间是相互依赖的，所以小信息的修改通常导致数据的强劣化，总是在解密之后组合伪随机信息。互相依赖的块的大小依赖于压缩方案，并且对于流密码可以包括整个文件或压缩单元。

置换信息的概念还可以应用于被加密的比特流。为此，可能的修改位置保持不被加密并且可以用已清除的比特来置换。这是有效的，因为置换数据通常如此小，以致于其仅置换另一压缩单元(可以保持不被加密)的开头而不展示帧的更多信息。可选地，置换数据还可以在其用于置换之前被加密。

分离数据文件中修改的表示

关于图8和图9的实施选项，在图9的比特流中嵌入信息减少了嵌入期间所要求的努力，以将元素从专用数据切换(toggling)为相关数据，从而能够使置换元素被使用，而图8中的额外数据不改变标记文件的大小。在任一变化中，可被修改的区域的位置可以被存储在分离文件(包括用于根据将被嵌入的信息交换数据的指令)中。使用该文件进一步减少了分析将被标记为数据复制操作的简单执行的媒体的嵌入努力。

为了使将被修改的数据量保持为与嵌入的信息的发布无关并且均匀地发布修改，预处理可以创建具有需要在其中应用改变的修改的一部分的文件。这可以在存在改变信号、编码的二进制值、不存在信号、不同的二进制值的情况下应用。为了解释该方法，使用一个实例，其中，修改压缩单元由两个数据块组成。在以下描述中，通过逗号来分离压缩单元，并且通过字母来表示数据块。该实例中的原始比特流由块AB，EF，HI，XY组成。如果被修改，则压缩单元EF被用于存储二进制1，否则存储二进制0。如果单元EF被修改，则其变为ST。预处理现在存储压缩单元作为AB，SF，HI，XY。所得到的预处理文件可能不能播放，至此可以期望的效果，水印必须被应用以使得比特流可用。此后，存在嵌入二进制1以及嵌入二进制0所要求的修改，但是所要求修改的量在2种情况之间发布。为了嵌入1，预处理文件从AB，SF，HI，XY变为AB，ST，HI，XY，否则其从AB，SF，HI，XY变为AB，EF，HI，XY，得到原始未修改的文件。

用于在比特流中隐藏数据的附加技术

在使用被预处理且在流中被编码的置换数据的实施例中，置换数据可以隐藏，以便不容易被攻击者用作用于嵌入位置的指示符。为了隐藏置换数据，其可以被标记为用户数据或者放置在比特流内的不同元素中，其将在流的解码期间被忽略并且不明显，诸如没有被使用的帧或者诸如没有被使用的声道的不同轨迹。

该思想可以扩展为总是在比特流中存储帧的2个版本；在接收侧随机地激活一些。对于接收器不清楚的是哪个是预期帧以及哪个为正确的。这从大小和结构看是不明显的。从不被预期使用的特效帧可以插入到各个位置，攻击者应该去除将实际显示所嵌入信息那些元素。

应用修改而没有预处理

预处理对于应用来说可以是有用的，其中通过预先处理并限制嵌入期间的处理获得利益。在一些应用中，标记比特流而没有预处理的利益。例如，存在不允许预处理步骤的集成或者实时传送比特流的环境。具体地，通过判断与所有其他位置相比的适合性，预处理可以不分析整个比特流，以便选择在不易察觉和鲁棒性之间提供最佳折中的最佳嵌入位置。在这些情景中，其是确定将被嵌入比特流的位的最佳位置的挑战。部分解决方案是平均地隔开修改，例如丢弃每个第N个帧，除了不能使用的帧，因为比特流使得修改太难(例如，帧不是独立的)或者修改将太明显。该处理可以稍后在原始流上再生，以便识别已经被选择以嵌入位的处理位置。然而，上述系统可以表示流不具有已知开始位置的复杂性，并且不同的再生设备开始在不同位置嵌入第一位的不同时刻开始播放流。如果不知道该位置，则可以不确定重复有效载荷位序列的开始点。伪随机发布可被用于解决该问题。

适当压缩单元的伪随机选择

图4示出了根据本发明实施例的伪随机选择用于修改的压缩单元的处理。在所示处理中，分析源自文件或传输为流的输入比特流400，以识别可以不易察觉被修改的压缩单元和被用于得到伪随机数420的比特流元素410。使用该伪随机数(430)以选择哪个可被不易察觉修改的压缩单元被修改以在比特流中嵌入当前比特。如果修改将被感知或者不能被单独修改，则这会是不合适的。如果适合，则其在有效载荷要求修改(450)的情况下被修改(460)，例如，如果二进制1将被嵌入并且二进制1利用修改的存在来表示。该处理确保了即使嵌入预处理不能处理整个视频或限定的部分但在任意位置为给定的任意内容部分，嵌入都可以以能在稍后的提取期间再生的方式来对修改做出贡献。

随机发布还在内容可以在一些地方允许更加稳定嵌入的情况下有用。随机变化将可能防止若干比特被嵌入到不允许稳定嵌入的弱内容序列中，如果所采用的错误校正码被调整以恢复好于突发(burst)错误的随机错误，则这是不期望的。此外，所嵌入信息的安全性增加，因为比特位置仅可以利用原始内容的存在来确定。

嵌入同步码

用于识别流的开始位置的一种解决方式为将一个或多个同步码作为有效载荷(其包含在有效载荷中唯一的比特序列)的一部分，因此对序列的开始进行标记。不同的水印系统可以被用于应用同步码，包括本文所描述的方法。可以预先嵌入同步位置，或者还可以被转换为置换数据。另一种优选的解决方式为从原始比特流的元素中得到位置，导致在相同位置连续地嵌入相同比特并且能够在提取期间在原始文件的帮助下再生该位置。关于如何根据比特流确定位置的实例如下。选择连续改变的压缩单元，例如如PTS(显示时戳)值的时戳。该值被混编，以得到处于超过有效载荷中比特数的范围内的伪随机数。该数的模和有效载荷的长度导致该比特被选择用于嵌入。这确保了有效载荷位的精确和可再生发布，而不使用用于同步码的附加信息。

在加密内容中嵌入

除非比特流在服务器上标记，否则在其被传送之前，存在比特流或其部分被客户设备接收并且还没有被标记的时刻。攻击者会试图在应用标记之前复制数据以得到内容的未标记副本。如果内容在其被标记的同时保持加密，则这是可以避免的，因为加密的内容在没有错误的情况下不可再生，因此，攻击者通常将试图在解密之后复制比特流。如果使用相同的密钥和加密机制以与比特流相同的方式加密置换数据，可以在加密的比特流中嵌入标记。对于根据先前加密的数据(流密码)修改结果的加密算法，在两个变量中加密比特流，一个具有置换数据而另一个不具有置换数据，从而生成具有先前流数据的置换数据。所传输的比特流是没有置换数据而加密的版本，这将防止剩余信息被解密，并且流应该在将被使用的下一压缩单元的开始处被重置。对于通过根据本发明的实施例置换整个帧来标记比特流的系统，帧可以被分别加密，已经被标记为专用数据的压缩单元的剩余数据(例如，图8中的844)可以不再解密；该方法预期的副作用为其不能用于恢复原始帧。可选地，作为置换数据的目标的位置可以保持不加密。由于它们通常较小，所以它们将不会显著影响通过加密所实现的模糊。

通过修改压缩单元进行的标记的扩展

在上面的实施例中所描述被丢弃、覆盖或修改的压缩单元不是必须为视频帧。相同的概念(诸如作为用户数据的比特流的标记部分、丢弃元素、覆盖和修改压缩单元)还应用于根据本发明实施例的其他压缩单元(诸如整个GOP、字段、子帧(所谓的H.264中的片段)、宏块、MPG3中的编码频率、MPEG3中的音频帧、MPEG2层3)。根据熵编码和压缩格式，这些压缩单元可以以它们的整体被交换而不影响随后的元素。

使用语法元素来嵌入信息

可以通过覆盖作为码改变信息的冗余的语法元素来将信息添加至编码比特流。该方法的实例为H.264压缩标准中的图片参数组(PPS)，常规地，如果它们具有存储在PPS中共有的所有参数，则其被用于称为片段(是指一个PPS)的若干编码帧元素。在一些压缩文件中，针对单个帧或帧的小组存储PPS，通过PPS信息的频繁重复导致冗余。在这种情况下，PPS可以被置换或去除。置换其的一种方式是通过改变PPS信息，创建可以被引用以形成修改数据的不同PPS，从而使用用于被置换的片段的不同参数。通过修改时间同步数据的应用

对于时间敏感媒体(诸如视频)，重要的是保持再生速度。一个原因在于音频视频同步(简称为AV同步)，这确保可视事件被同时听到。诸如MPEG2、MPEG4(包括H.264)的视频压缩格式包含表示何时再生音频和视频的信息以使它们同步。该信息在压缩比特流中容易得到并且对解码内容具有显著的影响，因为其可以在重新生成期间被用于迫使帧丢弃。

以下元素是MPEG2规则的一部分并且还被用于MPEF4。它们是MPEG分组基本流、程序流或传输流的一部分。类似的元素被用于其它压缩标准。

PTS：显示时戳被用于建立显示诸如音频部分或视频帧的单元的时间。PES格式中的音频和视频轨迹包含基于公共参考块的PTS值。当一个或多个PTS值增加或减小至少将被显示的一个帧的间隔的量时，PTS的修改可以迫使帧的删除或复制。这些修改被注册以对信息进行编码。PTS修改可以应用于音频或视频，以改变AV同步，从而对信息进行编码。

DTS：解码时戳是用于解码器的开始解码单元的时间的指示符。当在媒体部分从未来媒体部分借用信息的情况下解码顺序不同于显示顺序时，使用DTS。在MPEG2中，当B帧从未来P或I帧复制信息并要求它们的信息以被解码时使用DTS值。在这种情况下，稍后显示的I或P帧需要在稍前显示的B帧之前被解码。DTS修改被用于改变帧顺序并交换2个帧，使得例如帧A、B、C、D的帧序列变为A、C、B、D的帧序列。如果帧C和B类似，则修改几乎不可见，而所得到的对内容的的修改为使其可被用于编码稳健信息。

ESCR/SCR/PCR：参考时戳是目前时间的指示。参考时戳在PES语法中找到作为ESCR(基本流时钟参考)，在程序语法中找到作为SCR(系统时钟参考)，以及在传输数据包中找到作为程序块参考(PCR)字段。时钟参考数据为在编码器和解码器之间设置同步的相对时钟以确保它们都具有整个视频的相同再生速度以及AV同步。在一个实施例中，PCR值的修改被用于针对特定间隔改变再生速度。再生速度是可用于编码数据的强且不易察觉的内容修改。

VBV延迟：视频缓冲验证延迟表示将被解码的压缩单元假定在解码之前驻留在视频缓冲器中的长度。在一种实施中，其值被改变以减少帧丢弃或复制或者改变再生速度。

帧或序列号：压缩帧的帧号表示其在流中的位置。在一个实施例中，帧号的交换导致内容显示期间帧的交换。如果仔细选择将被交换的帧，则该结果为不易察觉，而所得到的对内容的修改为使其可被用于编码稳定信息。

帧率：以每秒帧(fps)测量的帧率设置每秒显示多少帧的速度。公共的帧率包括30、29.97、25、24和23.97。在一个实施例中，在视频内从一个帧率变为另一个用于有限的时间量，以减少帧丢弃或复制或者改变再生速度，或者创建AV未对准。可以以不易察觉的方式应用这些修改并且可用于编码信息。

可被修改以改变定时信息的其他定时信息包括SMPTE时间码以及MPEGPES报头中的‘慢动作’和‘保持帧’标记，哪个字段显示列出如何通过指示那些字段被复制来执行帧率转换的第一和下拉(pull down)信息的指示符。可用于引起帧丢弃的其他压缩信息为错误校正码、CRC或验证压缩单元的完整性的校验和。如果它们被改变，则数据被假设无效并跳过。

诸如DTS、PTS、VBV延迟和PCR/SCR的上述值要求公共同步修改以确保解码期间的效果，因为它们在部分编码冗余信息中并且不可感知给定的解码器将使用什么信息。

上述实施例中的许多都在基于时间的媒体的时域中实现改变(也被称为抖动)。抖动(jitter)是通常作为处理错误或不精确性的结果所发生的效应；因此，其不被直接感知为想要的操作，使其安全并不可见。在先前的水印方法中，抖动被视为用于读取水印信息的障碍。这里，其被用于编码信息。

上述值的修改还可以用于在内容被再生时不必须反映的小修改，但是其在比特流被译码时仍然保持。所得到的效果为对所显示的内容不具有影响或很少影响的编码信息在其从一种压缩或视频格式译码为另一压缩或视频格式时仍然保留在内容中。这种修改的一个实例为通过小于两帧之间定时的小值(例如，+-1)来改变PTS值。时间的实际差小于毫秒并且其几乎与显示不相关，而偶数或奇数的存在可被用于编码二进制数字，并且更高的操作可以编码更高阶的数字。

在图10中示出了同步信息的小修改，其中，帧(1010)在时间线1060上被均匀隔开。通过定时信息的修改(1040)，帧号3的时间被重新定位以创建修改的视频流(1030)。图11包含更大的修改，其中，原始比特流1160中的一帧(1140)通过放置在其直接的时间位置上来有效地置换帧‘4’。以下进一步讨论图11。

同步修改

可以非常有效地应用同步数据的修改并且可应用于不同格式。然而，由于同步信息频繁冗余，修改在一些情况下可以被忽略，这是因为不同的值编码相同或类似的信息并且其可以从如帧率的全局值来预测到。设计以下方法来使得同步信息相关，鼓励它们使用并因此保持嵌入到其中的数据。

如果在内容中改变帧率并且要求同步信息来保持正确的原始帧率，则忽略同步信息导致时域的失真。可以通过不同的方法(去除不相关的实际媒体内容)来实现类似的效果。这种内容的一个实例为静默音频的片段。如果它们被去除并且音频被连续播放而没有观察到定时信息，则音频和视频将不同步，并且将显著劣化内容质量。

虽然描述了在鼓励使用再生或译码系统(使用并保持同步信息)的环境下的上述修改，但其还可以用于使每一个流都唯一地具有少量操作，阻碍媒体的平均以弱化包含在媒体中的水印。这种目的在于平均的攻击(例如，通过从不同的输入流中选择帧或者基于像素进行平均来使若干视频变为一个)要求流的精确时间位置以避免显著的质量劣化。时域的失真可以使得这种平均过程非常难以具有可接受结果视频质量。通过以短间隔改变帧率或者通过删除帧，时域的失真还可以发生在将同步值改变随机量的时候。

自我强化标记

在若干实施例中，使用自我强化标记(self enforcing mark)。通过再生期间比译码期间不明显的修改来实施。用于自我强化标记的实例为将视频中的帧放置在其前一帧之前或随后帧之后的PTS修改。在图11中给出了实例，其中，通过将帧3的定时信息1140改变为出现在随后帧4之后来修改原始视频序列(1110)，以创建修改的视频序列(1130)。在再生期间，只显示一个帧，导致较小的可视影响。如果在没有实时限制的译码期间帧被顺序解码，则以交换的顺序使用两个帧，导致不仅更加容易看到而且更加容易被检测为水印信息的大修改。

通过观察到的错误传播进行水印

可以以通过观察到的错误传播进行水印的一般化的方式看到置换压缩单元的概念。这里的概念为在压缩比特流中引入随机错误，解码比特流并观察已经引入的错误是极大地保持不易察觉的轻微还是足够显著来继续存在劣化。在图12中示出了处理，其中，处理输入比特流1200，以识别修改位置候选(1210)作为很可能在修改时在可用错误中解决的元素。预选择将加速该预处理步骤。选择一个修改候选(1220)，生成伪随机数(1230)并用于置换嵌入位置(1240)。修改的比特流被解码(1250)，并且观察到嵌入的修改或错误。这通过将内容与未修改的原始进行比较、测量差别来进行。如果与决定操作是否容易可见的感知模型联合，则可以增强选择处理。不仅仅是使得修改不易察觉的目的；另一方面，它们必须足够强从而稳健并稍后可读。如果所引入的错误不满足两个要求(1260)，则该处理继续随机数据的N个版本(1270)。如果可以在若干尝试之后没有找到合理的修改，则选择下一嵌入位置(1270)。如果可以找到可能的修改，则其被注册为在该比特流中嵌入不易察觉信息的方式，并且重复该处理直到找到充分的位置来嵌入期望量的信息或者用尽所有可能的嵌入位置。可以修改上述处理以包括在相同嵌入位置嵌入不同数据的可能性。

鲁棒性考虑

用于水印的鲁棒性是在内容劣化之后保持可读的能力。频繁的失真压缩伪像导致帧的插入或删除、模糊和方块效应。如果修改的压缩单元可以在失真之后被明显识别和认可，则增强了提取。对于帧比较，现有技术中存在若干图像比较方法，诸如绝对差的差、和以及像素差的均方错误。在优选实施例中，使用图像校正，因为其针对全局亮度的变化是稳健的。为了增加鲁棒性，可以使用与用于置换的相邻元素具有最大差别的压缩单元，使得变化可被识别。提取期间稍后应用的相同测量对于在嵌入期间评估鲁棒性是有用的。注意，鲁棒性通常与修改的不易察觉相冲突，这限制了可见修改的量。因此，通常寻找折中。

安全性和鲁棒性考虑

在嵌入期间擦去一些压缩单元并在原始版本的帮助下确定提取期间这些元素的存在或不存在的方式是相对安全的方法。以下部分将描述用于去除公共水印系统的信息的临界攻击并描述本发明如何克服这些问题。

嵌入域的模糊

对于许多现有的水印技术，组合初始水印数据的附加强水印数据的嵌入将产生掩盖原始水印消息的支配信号。对于本发明，针对劣化标记的目的，有目的的强制去除许多压缩单元将导致内容的显著劣化，因为只有非常少的有目的去除的元素将被用于实际对数据的编码。例如，如果跳帧被用于编码信息，则跳过所有帧的50％将导致其质量50％的内容劣化并且仅去除50％的水印信息，如果在嵌入期间使用充分的冗余，则这将仍然允许整个信息的恢复。

修改元素的目标去除作为嵌入过程的试图版本(attemptted inversion)

在试图去除标记的过程中，攻击者还可以理解使用什么嵌入元素以及如何使用它们，以理解哪里已经发生修改。然后，他将去除这些位置，以破坏标记。对于攻击者来说存在两个障碍：首先，他不能够用原始数据置换嵌入位置，因为他不能访问未标记数据(否则不需要试图去除标记)。所以，无论什么置换数据被用于模糊嵌入位置，仍然可以观察到特定位置正在丢失，表明标记信息的先前存在。第二，在若干实施例中，标记是固有的，由于没有修改的位置表明信息的存在，因为没有发生修改。这些标记位置不能被攻击者识别，因为它们没有改变。通过改变嵌入位置，其中通过首先应该修改然后不应用修改来表示相同信息，可以表示所有信息而不显示嵌入位置。

使用剩余专用数据的恢复

在许多实施例中，原始比特流的一部分被覆盖，从而删除不能被恢复的原始数据。然而，原始信息的其他部分被标记为帮助数据，例如图8中的844。当被攻击者使用时，该数据可以帮助部分地恢复原始比特流。这可以通过使用置换数据来防止，以破坏或模糊该数据或者在客户设备中将其覆盖。

几何攻击

几何攻击及时通过类似旋转、弯曲、剪切或拉伸的操作来改变媒体。在本发明的许多实施例中，原始被用于恢复嵌入的标记，并且原始与江北分析的媒体的比较可用于确定和恢复几何失真。这可以以半自动方式来执行。

嵌入的防止

攻击者可能试图通过去除或破坏置换数据来防止嵌入或者阻止执行标记嵌入的过程。多种方法可以阻碍这些尝试。首先，适当地保护和模糊置换数据。已经描述了关于如何传送数据的方法，它们可以被组合和模糊以使得更加难以擦除，并且在目前的DRM和CAS应用中数据可以与流一起被加密。第二，置换数据可以不仅被用于嵌入标记，而且还传送实际视频数据，没有它们内容不再生或包含错误。这将迫使应用置换数据以完成没有错误的再生。

嵌入确保嵌入被应用的信息的另一种变化是在预处理阶段之后应用一些修改，通常由媒体服务器执行。仅应用修改的一部分，使修改的比特流具有错误，防止解码器解码该比特流而没有可感知的错误。当解码器根据编码方案和有效载荷应用修改时，解码器将使用传输作为帮助数据的原始比特流数据来反转所应用的改变，或者应用修改的剩余内容，以创建可被解码而没有可感知修改的修改位置。然而，所得到的文件是相同的，就好像解码器仅应用修改一样；必须执行一些嵌入以使得内容不包含可感知的错误。该方案的其他优点是，复制修改更加频繁但较小，因为只应用了修改的一部分。这导致更加精确的处理性能，这是媒体处理所期望的。

预处理面对作为攻击目标的较少风险，因为其在内容拥有者的站点上被执行，这可以提供更好的安全环境并具有针对将被嵌入的标记的动机。

应用

可以在应用无线范围内使用上面描述的系统和技术。以下提供了应用了一系列实例，其中，根据本发明实施例的系统和处理是有用的。

跟踪秘密或版权信息的未授权发布

许多产业面临的问题是信息的未授权发布。根据本发明实施例的系统和处理可以被用于在媒体的接收或显示期间在媒体信息中嵌入标记。每个发布的副本都可以唯一地标记有诸如接收识别号和时戳的信息，如果副本公开使用或者被没有授权拥有信息的实体或个人拥有，则可以暴露该信息并且可以识别作为媒体接收者的实体或个人以及未授权发布的可能来源。

在许多情况下，在生产和授权发布期间，在若干不同的实体和/或个人之间传送秘密或版权信息。在多个实施例中，可以通过在传送或显示之前嵌入域信息的最终接收者相关联的标记来确定发布信息而没有授权的点。然后，可以基于添加至媒体的最终标记来识别对未授权发布负责的实体或个人。

其中版权信息被传输的通常情况是版权媒体经由网络对媒体播放器的发布。在许多实施例中，播放器是诸如机顶盒或个人计算机的消费电子设备。版权媒体通常以压缩或加密形式发布给播放器。根据本发明的实施例，可以在媒体中嵌入标记。标记可以包含关于播放器的拥有者的信息和识别传输或再生的时间的信息。如果已知信息的接收者，则可以通过提供媒体的服务器(或首端)来生成嵌入的信息。嵌入的信息还可以通过服务器存储在包含关于交易的附加信息(诸如用户的记账信息和关于接收设备的细节)的数据库中。在其他实施例中，播放器保持诸如播放器识别号和时间的信息，其在存储和/或再生期间嵌入作为标记。

未授权发布是普通问题的另一种情况是媒体的生产。在生产期间，内容尤其易受未授权发布的攻击，这会引起对媒体生产者的显著损害。在许多实施例中，在产生的各个阶段期间在媒体中嵌入识别媒体的接收者和媒体的接收时间的标记。如果使副本被公开使用，则可以暴露标记并且可以识别责任人或实体。

在上面描述的许多实施例中，为发布媒体创建感知模型并且利用媒体进行存储或发布。然后，感知模块可被用作嵌入媒体的标记。在其他实施例中，每当在媒体中嵌入标记时就创建感知模型。

所有权的证明

一旦媒体经受公共发布，提供媒体中版权的所有权会存在问题。在许多实施例中，在媒体中嵌入标记以证明内容的所有权。在多个实施例中，标记包括所有权信息和对版权内容的识别。可以自动读取该标记，并且可以评估其存在或不存在以限制或允许发布或者验证发布媒体的来源是媒体的合法发行人。其还可以被使用，使得对获得内容的权利感兴趣的实体或个人可以通过暴露嵌入标记来识别内容的拥有者。对识别拥有者的标记的另一种用法是在公用数据库中自动地识别内容，例如，可通过互联网访问由特定拥有者或一组拥有者所拥有的内容以防止进一步的发布。最后，该标记可用于在争论的情况下证明所有权。

存储稳健的元信息

在长期存储和归档期间，利用媒体存储的信息会丢失，因为其被意外删除或者因为其不能被读取。本发明的许多实施例被配置为使用标记存储关于媒体的信息。使用标记存储信息可以使信息在格式改变之后被回复并且不要求附加的存储空间。

复制控制

在许多实施例中，可以在媒体中嵌入机器可读的强标记。然后，该标记可被播放器用于控制媒体的再生和/或记录。播放器可以暴露该标记并确定要求播放媒体的授权。如果播放器具有适当的授权，则播放器可以播放该媒体，否则拒绝再生。

广播监控

根据本发明实施例的机器可读标记还可以嵌入到电视或广播站所广播的媒体中。然后，机器可读标记可被接收设备使用以自动地记录所广播的内容并跟踪广播的频率和时间。嵌入媒体的标记对于每个工作和广播来说是不同的。

秘密通信

如上所述，标记可用于使用媒体来传输秘密信息。虽然可以观察到媒体的传输，但媒体包含附加标记的事实是不明显的，并且可以被用于传输信息而不允许其他人观察除媒体内容之外的信息被传输。

公共显示媒体的识别

公共显示的媒体是频繁被重新记录的对象。在许多实施例中，标记被嵌入公共显示的媒体，识别公共显示的时间和/或地方。在公共显示期间媒体应该被重新记录，然后标记被嵌入未授权的重新记录中，并且暴露该信息可以在进行重新记录的地点帮助防止公共显示媒体的重新记录。

内容鉴别

数字媒体不仅用于娱乐的目的，而且还被记录用于文件编制的目的。这是这种媒体的鉴别增加其值作为证据的实例，并且可信度没有被修改。这对于比仿真内容更容易操作的数字媒体来说尤其重要，因为工具容易使用且再生无瑕疵。数字水印用于嵌入被许多操作影响的脆弱消息，并且如果水印没有优选存储，则其可以推断媒体已经被操作。

虽然上面的描述包含许多本发明的具体实施例，但这些不应该认为是本发明范围的限制，而仅仅是其一个实施例的实例。因此，本发明的范围应该不仅通过所示实施例而且通过所附权利要求及其等效物来确定。

Claims (33)

1.一种在压缩视频比特流中不易察觉的嵌入信息的方法，包括：

使用预处理器分析压缩比特流，以识别不易察觉的修改的位置，其中，所述不易察觉的修改包括使用源自所述压缩比特流中其他地方的置换内容来置换原始内容以去除所述原始内容的至少一部分；

使用所述预处理器为每个所识别的位置生成至少一片置换数据，其中，利用所述至少一片置换数据中的任何一片覆盖所述压缩比特流的一部分防止了解码器对原始内容进行解码并使得解码器对源自所述压缩比特流中其他地方的置换内容进行解码；

使用嵌入设备选择多片置换数据，其中，使用所选的多片置换数据覆盖所述压缩比特流的部分用于根据预定编码方案对有效载荷信息进行编码；以及

通过使用所述嵌入设备来在所述压缩比特流中嵌入所述有效载荷信息，以利用所选的置换数据来覆盖所述压缩比特流的至少一部分。

2.根据权利要求1所述的方法，其中，在具有压缩视频流的物理媒体上存储所述置换数据。

3.根据权利要求1所述的方法，其中，所述嵌入设备是被配置为将所述压缩比特流传输至解码器的媒体服务器，并且所述方法进一步包括：

使用所述媒体服务器生成有效载荷信息，其中，所述有效载荷信息表示解码器请求传输所述压缩比特流；以及

使用所述媒体服务器将其中嵌入有所述有效载荷信息的所述压缩比特流传输至所述解码器。

4.根据权利要求1所述的方法，其中，所述嵌入设备是被配置为接收所述压缩比特流和所述置换数据的解码器，并且所述方法进一步包括：

在所述解码器已经嵌入所述有效载荷信息之后对所述压缩比特流中的视频进行解码；以及

使用所述解码器将解码视频输出至渲染设备。

5.根据权利要求4所述的方法，其中，通过所述解码器接收的所述压缩比特流包括作为所述压缩比特流的一部分的所述置换数据。

6.根据权利要求4所述的方法，其中，在一条独立的流中传输所述置换数据。

7.根据权利要求1所述的方法，其中，所述嵌入设备包括媒体服务器和解码器，所述解码器选择用于嵌入所述有效载荷信息的多片置换数据，并且在所述压缩比特流中嵌入所述有效载荷信息还包括：

用来自多个生成的多片置换数据的部分覆盖所述压缩比特流的部分，使得解码器不能在没有可感知的错误的情况下解码所覆盖的位置中的原始内容；

从所述媒体服务器向所述解码器传输所述压缩比特流、所述压缩比特流的原始的被覆盖的部分和在覆盖所述压缩比特流的过程中不被所述媒体服务器使用的所生成的多片置换数据的部分；以及

通过以下处理，根据所述预定编码方案嵌入所述有效载荷信息：

使用在覆盖所述压缩比特流的过程中不被所述媒体服务器使用的所生成的多片置换数据的部分覆盖所述压缩比特流的部分，其中，所述解码器用来覆盖所述压缩比特流的部分来自由所述解码器选择的所生成的多片置换数据；并且

使用所述压缩比特流的原始的被覆盖的部分覆盖所述压缩比特流内的置换数据的部分，其中，通过所述解码器覆盖的所述压缩比特流内的置换数据的部分来自不被所述解码器选择的所生成的多片置换数据。

8.根据权利要求1所述的方法，其中，使用预处理器分析所述压缩比特流以识别不易察觉的修改的位置进一步包括：识别来自不易察觉的修改的压缩比特流内的视频帧的部分，其中，所述不易察觉的修改包括使用源自所述压缩比特流中的其他帧的置换内容来置换所述视频帧的原始内容的一部分。

9.根据权利要求1所述的方法，其中，使用预处理器分析所述压缩比特流以识别不易察觉的修改的位置进一步包括：识别不易察觉的修改的视频帧，其中，所述不易察觉的修改包括使用源自所述压缩比特流内的至少一个其他帧的置换内容来置换所述视频帧的原始内容。

10.根据权利要求9所述的方法，其中，所述置换内容源自所述压缩比特流内前一视频帧的内容。

11.根据权利要求10所述的方法，其中，所述置换内容与所述前一视频帧的内容相同。

12.根据权利要求10所述的方法，其中，所述置换内容是通过将增量添加物增加至所述前一视频帧的内容中而得到的。

13.根据权利要求9所述的方法，其中，所述置换内容源自所述压缩比特流内的后一视频帧的内容。

14.根据权利要求13所述的方法，其中，所述置换内容与所述后一视频帧的内容相同。

15.根据权利要求13所述的方法，其中，所述置换内容是通过将增量添加物增加至所述后一视频帧的内容中而得到的。

16.根据权利要求9所述的方法，其中，所述置换内容源自所述压缩比特流内前一视频帧和后一视频帧的内容。

17.根据权利要求16所述的方法，其中，所述置换内容是所述前一视频帧和所述后一视频帧的内容的平均值。

18.根据权利要求16所述的方法，其中，所述置换内容是通过将增量添加物增加至所述前一视频帧和所述后一视频帧的内容的平均值中而得到的。

19.根据权利要求1所述的方法，其中，使用至少一个公共加密密钥来加密所述置换数据和至少一部分所述压缩比特流，从而可以用置换数据和解密的压缩比特流来覆盖加密的压缩比特流。

20.根据权利要求1所述的方法，其中，用于覆盖所述压缩比特流的至少一部分的所述置换数据表示如何得到所述置换内容，并且所述方法进一步包括：

使用解码器解码其中嵌入所述有效载荷信息的所述压缩比特流；

其中，解码所述压缩比特流包括根据在所述压缩比特流中编码有效载荷信息的每片置换数据来从所述压缩比特流的其他位置中得到置换内容。

21.根据权利要求20所述的方法，其中，所述置换数据表示如何使用所述压缩比特流内的至少一个其他视频帧来得到置换视频帧。

22.根据权利要求1所述的方法，其中：

所述压缩比特流结合不被所述压缩比特流中的其他视频帧参考的视频帧；并且

使用预处理器分析所述压缩比特流以识别不易察觉的修改的位置进一步包括：

使用所述预处理器定位不被所述压缩比特流中的其他视频帧参考的视频帧；以及

使用所述预处理器识别不被不易察觉的修改的压缩比特流中的其他视频帧参考的视频帧，其中，所述不易察觉的修改包括使用源自所述压缩比特流内的至少一个其他帧的置换内容来置换所述视频帧的原始内容的至少一部分。

23.根据权利要求22所述的方法，其中，识别不被不易察觉的修改的压缩比特流中的其他视频帧参考的视频帧进一步包括：计算不被所述压缩比特流中的其他视频帧参考的每个解码视频帧与所述压缩比特流内的至少一个相邻解码视频帧之间的差。

24.根据权利要求1所述的方法，其中，使用预处理器分析所述压缩比特流以识别不易察觉的修改的位置进一步包括：使用所述预处理器分析所述压缩比特流，以识别不易察觉的修改的位置，而不将错误传播至所述压缩比特流中的其他位置。

25.一种在压缩视频比特流中不易察觉的嵌入信息的方法，包括：

使用预处理器分析压缩比特流，以识别视频帧，所述视频帧不被所述压缩比特流中的其他视频帧所参考并且不易察觉的修改而不会将错误传播至所述压缩比特流中其他位置，其中，所述不易察觉的修改包括使用源自所述压缩比特流内的至少一个其他帧的置换内容置换所述视频帧的原始内容；

使用所述预处理器为每个所识别的视频帧生成至少一片置换数据，其中，利用所述至少一片置换数据中的任何一片覆盖所述压缩比特流的一部分防止解码器对所识别的视频帧的原始内容进行解码，并使得解码器以通过所述置换数据所表示的方式从所述压缩比特流内的至少一个其他帧中得到置换帧；

使用嵌入设备来选择多片置换数据，其中，使用所选的多片置换数据中的每一片来覆盖所述压缩比特流用于置换整个帧并根据预定编码方案来对有效载荷信息进行编码；以及

通过使用所述嵌入设备在所述压缩比特流中嵌入所述有效载荷信息，以利用所选的置换数据来覆盖所述压缩比特流的至少一部分。

26.根据权利要求25所述的方法，其中，识别不被所述压缩比特流中的其他视频帧所参考并且不易察觉的修改而不会将错误传播至所述压缩比特流中其他位置的视频帧进一步包括：计算不被所述压缩比特流中的其他视频帧参考的每个解码视频帧与所述压缩比特流内的至少一个相邻解码视频帧之间的差。

27.根据权利要求25所述的方法，其中，所述置换数据表示通过求所述压缩比特流内的前一视频帧和后一视频帧的内容的平均值来得到所述置换帧。

28.一种提取嵌入到标记比特流的副本中的有效载荷信息的方法，其中，通过使用根据预定编码方案选择的多片置换数据覆盖原始比特流的部分来得到所述标记比特流，以不易察觉的嵌入所述有效载荷信息，并且所选择的置换数据去除原始内容的至少一部分并使得解码器对源自所述标记比特流中其他地方的置换内容进行解码，所述方法包括：

检查所述标记比特流的副本，以估计所述原始比特流内使用提取设备进行覆盖的位置；以及

基于所述预定编码方案提取在所述标记比特流的副本中嵌入的所述有效载荷信息，并估计所述原始比特流内使用所述提取设备进行覆盖的位置。

29.根据权利要求28所述的方法，其中，基于所述预定编码方案提取在所述标记比特流的副本中嵌入的所述有效载荷信息并估计所述原始比特流内使用所述提取设备进行覆盖的位置进一步包括：使用所述提取设备将所述原始比特流的内容与所述标记比特流的副本的内容进行比较。

30.根据权利要求28所述的方法，其中：

每片置换数据使用从所述标记比特流内的至少一个其他帧得到的置换内容来置换视频帧的原始内容；以及

检查所述标记比特流的副本，以估计所述原始比特流内使用提取设备进行覆盖的位置进一步包括：

将所述标记比特流的副本中的多个视频帧的每一个与所述标记比特流的副本中的至少一个其他帧进行比较，以确定从所述标记比特流内的至少一个其他视频帧得到所述多个视频帧的每一个的可能性；并且

基于所述可能性估计所述原始比特流内被覆盖的位置。

31.根据权利要求30所述的方法，其中：

所述置换内容源自所述原始比特流的前一帧；以及

通过所述提取设备将所述多个视频帧的每一个与其前一帧进行比较。

32.根据权利要求30所述的方法，其中：

所述置换内容源自所述原始比特流的后一帧；以及

通过所述提取设备将所述多个视频帧的每一个与其后一帧进行比较。

33.根据权利要求30所述的方法，其中：

所述置换内容源自所述原始比特流的前一帧和后一帧的组合；以及

通过所述提取设备将所述多个视频帧的每一个与其前一帧和后一帧的组合进行比较。