CN102187673A

CN102187673A - 亮度评估

Info

Publication number: CN102187673A
Application number: CN2009801413969A
Authority: CN
Inventors: 何杉; 杰弗里.A.布卢姆; 邹德坤
Original assignee: Thomson Licensing SAS
Current assignee: Kingtype Elmore
Priority date: 2008-08-19
Filing date: 2009-08-18
Publication date: 2011-09-14
Anticipated expiration: 2029-08-18
Also published as: US20110222723A1; JP5639056B2; EP2321966B1; BRPI0917200B1; US8948443B2; KR101633443B1; JP2012500566A; EP2321966A1; WO2010021691A1; EP2321966A4; KR20110059593A; BRPI0917200A2; CN102187673B

Abstract

一种方法，包括：提供要应用于视频的改变；将视频划分为块；创建传播图，其仅捕获被改变的应用所改变的、对块的特定改变；基于亮度准则将所述改变评估为可察觉的改变或不可察觉的改变；以及对于不可察觉的改变的传播图，将该传播图存储到列表，其中传播图是被应用于视频的基本数据结构。可以通过使用与该改变相关联的运动矢量改变来创建传播图。

Description

亮度评估

相关申请的交叉引用

本申请要求2008年8月19日提交的题为“LUMINANCE EVALUATION”的美国临时专利申请No.61/189,363的权益和优先权。通过引用，对于所有目的，明确地将该临时申请的全部内容并入于此。

技术领域

本发明涉及一种用于定量地评估水印并将水印应用于视频的方法。

背景技术

当今，强烈需求作为反盗版技术的数字水印加注。为了使得盗版者更难以规避水印，重要的是提出并使用许多潜在水印。

不幸地，水印加注造成了影响视频的给定区域中的像素的改变。这样，重要的是，水印不造成可能干扰预期观众(intended audience)的预期观看体验的改变。因此，存在一种在嵌入水印之前利用一度量(metric)来评估潜在水印的需求，所述度量确定带水印的图像在感受上是否与不带水印的图像相同。

发明内容

本发明的一方面是一种方法，其包括以下步骤：提供要应用于视频的水印；基于亮度和/或色度准则确定该水印是不可察觉的水印还是可察觉的水印；以及将不可察觉的水印添加到列表。该方法可以包括以下步骤：评价与该水印的应用相关联的视频的亮度和/或色度改变；仅对于一些块计算亮度和/或色度改变，其中在至少一个其它块上不执行计算；以及构造该水印的传播图。传播图包括具有某种亮度和/或色度改变的块。该方法还可以包括：计算由于运动矢量改变引起的亮度和/或色度改变。

另外，根据本发明的方法的特征在于以下步骤：提供要应用于视频的水印；定量地确定如果嵌入该水印而引入的亮度和/或色度改变；基于所获得的定量值确定该水印是可接受的水印还是不可接受的水印；以及将可接受的水印添加到列表。另外的步骤可以包括以下步骤的不同组合：将视频帧划分为块；仅对于一些块计算亮度改变，其中在至少一个其它块上不执行计算；仅对于一些块计算亮度和/或色度改变，其中对这些块的精确的亮度和/或色度值不执行计算；以及构造该水印的传播图，该传播图包括具有某种亮度和/或色度改变的块。水印的传播图可以存储参考帧号码、原始运动矢量和新运动矢量。可以基于对于块的运动矢量改变、帧内预测参考改变、和/或帧间预测改变来计算亮度改变。还可以使用所计算的亮度和/或色度改变来建立水印检测的检测参考值。另外的步骤可以包括：将来自列表的水印应用于视频并且滤除来自列表的不满足有效负荷约束(payload constraint)的水印。

另外，根据本发明的方法包括：访问原始视频序列；访问或生成改变列表；对于改变列表上的预期改变，评估或计算对于块的各个亮度和/或色度改变；依据各个亮度和/或色度改变中的至少一个构造差码片，该差码片包含一组受该预期改变影响的块；以及依据各个亮度和/或色度改变中的至少一个更新差码片，其中各个亮度和/或色度改变是估计并且不是精确的亮度和/或色度值。特征可以包括：在改变列表中的每个预期改变的开始处初始化差码片；在对于块的各个亮度和/或色度改变的每个亮度和/或色度评估或计算之后，更新该差码片。各个亮度和/或色度改变的估计可以基于与该预期改变相关联的运动矢量改变。使用与特定目标块邻近的相邻块中的边界像素中的亮度和/或色度改变，各个亮度和/或色度改变的估计可以基于当前块的帧内预测亮度和/或色度改变。

还提供了一种装置，其包括：用于将水印应用于视频的部件；用于预测如果嵌入水印而引入的亮度和/或色度改变的部件；用于基于预测的改变而确定水印的可接受性的部件；以及用于将可接受的水印添加到列表的部件。该装置还可以包括：用于将视频帧划分为块的部件；用于仅对于一些块计算亮度和/或色度改变的部件，其中不执行计算来产生这些块的精确的亮度和/或色度值；以及构造该水印的传播图的部件，其中该传播图可以包括具有某种亮度和/或色度改变的块，并且该传播图可以存储参考相邻块号码和预测模式；用于通过帧间预测来计算对于块的改变的部件；用于通过帧内预测来计算对于块的改变的部件；以及用于使用所计算的亮度和/或色度改变来生成水印检测的检测参考值的部件。

附图说明

现在将参考附图通过示例描述本发明。

图1表示帧内预测中涉及的相邻块。

图2是亮度评估计算的框图。

图3图示用于帧间预测块的亮度评估处理。

图4图示用于帧内预测块的亮度评估处理。

图5图示亮度评估方法的独立的版本。

图6图示将亮度评估集成到AVC_解码器/传播图工具中的实现方式。

图7图示基于AVC_解码器的传播图构造。

图8图示传播图初始化。

图9图示用于产生最终传播图列表的步骤。

图10图示传播更新处理。

图11图示对于帧内预测的传播图更新。

图12图示对于帧间/帧内预测的优化的传播图更新。

图13是传播图的图示。

图14是图示传播图构造的框图。

具体实施方式

本发明属于水印的评估和实现，并且本发明的实施例包括列表创建步骤，其后可以跟随一组列表过滤步骤。列表创建步骤的输出是可以作出的、对于观察者而言不反感的改变的列表。过滤步骤维持列表中的满足至少一个约束的改变，但满足各种约束将是优选的。最重要的约束是在水印嵌入之后，标记的图像应看上去在感受上与未标记的原始图像相同。

本发明的关键特征是：估计和/或计算由于运动矢量改变或帧内预测参考改变而引起的亮度和色度改变。在水印嵌入期间评估由修改运动矢量值而引起的改变的处理在此被称为亮度评估(LumEval)。亮度评估测量对于每个块的亮度改变量，其可以被用来评估改变，诸如水印加注应用中的保真度评价。

本发明的几个其它关键特征是：在没有充分重构修改后的亮度的情况下，获得帧间预测块的亮度评估；对于帧内预测，在每个块的亮度评估之后构造并更新码片差值，并且使用差值来构造修改后的码片；基于模式和原始/差码片来确定帧内预测块的亮度评估；以及将亮度评估应用于水印加注中的保真度评价、鲁棒性评价、和检测。

此外，本发明的特征具体地可应用于AVC/CABAC(高级视频压缩/基于上下文的自适应二进制算术编码)水印加注技术，其中，多个步骤涉及嵌入。嵌入可以包括分析步骤，其中分析视频内容以创建在嵌入中可以使用的改变的列表。分析步骤可以被粗略地描述为列表创建处理，其后跟随一组列表过滤处理。列表创建处理的输出是在没有扰乱比特流的AVC/CABAC兼容性的情况下可以实现的改变的列表。设计过滤操作以便例如移除将引入可视伪像的改变，移除将难以恢复的改变，以及产生一组与其它外部约束(诸如，有效负荷约束和其它应用约束)兼容的改变。

这里描述的至少一个实施例试图定量地识别由改变引入的亮度差。在许多方面，亮度差信息可能是关键的，所述许多方面包括以下：保真度评价；鲁棒性评价；以及检测。在保真度评价中，使用亮度差来识别将引入可视伪像的改变。这可能允许移除如果不移除则将在标记的视频中引入可视伪像的那些改变。这样的可视伪像将通常是不可接受的。关于鲁棒性评价，使用亮度差来帮助识别被预期为鲁棒性不足以使被应用于加注了水印的内容的常见处理可用(survive)的改变，以及被预期为提供良好鲁棒性的那些改变。关于检测，可以将亮度差用作水印检测期间的参考值。

在本发明的应用中，存在改变的列表，在每个改变将引入的亮度改变的方面对其进行评估。通常，在由一个改变引入的亮度改变和由另一改变引入的亮度改变之间可能相互作用。因此，独立地对待每个改变。亮度评估指示：假设没有作出其它改变，给定改变将引入的亮度改变。

用于计算两个视频序列之间的亮度差的严格方法是：生成原始视频和修改的视频两者，并且取得差。该方法通过解码修改后的H.264/AVC比特流来生成修改后的视频；典型地是计算量大的且耗存储空间的处理。此外，给定改变的列表，可以对于列表中的每个改变进行解码。这典型地要求大量开销，所述大量开销通常使得该严格方法对于具有要评估的长的修改列表的应用不可行。在至少一个实现方式中，该水印加注应用可能具有每分钟图像2000个改变的量级。其它实现方式可能具有每分钟或多或少的改变。

亮度评估算法的细节以在水印嵌入处理期间考虑帧间预测块中运动矢量值的修改而开始。这样的改变将导致对于块的像素值预测中的改变，并且因此导致重构的像素值中的改变(假设仍使用原始的残留(residual))。在许多情况下，该改变将影响重构块的亮度。

可以采用指示受到单个运动矢量的修改影响的块的传播图。一个运动矢量的改变可能影响宏块本身(帧间预测)的亮度、传播图上的帧间预测块、以及传播图上的帧内预测块。

图13(a)图示传播图的一个示例。该传播图1300与一个B码片块1310相关联，该B码片块1310的运动矢量已经被直接改变。该图中的其它块1320是将由于传播而间接改变的块。当块由于直接修改或者因为其落入另一改变的传播路径而改变时，该改变具有进一步传播到其相邻块的可能性。图13(b)图示了传播图的另一示例，其中当仅直接改变一个块1330时，四个相邻块1340的亮度值可能由于该传播而被修改。改变块的传播图P表示其亮度值由于传播也被改变的块p的集合。利用以下数据结构来表示传播图中的每个块，所述数据结构指示初始改变、当前块的预测模式、以及当前块中的改变，并且被表示为：

p＝{head_node_info，mode，cur_node_info}

“head_node”在发起改变的运动矢量的位置和替换值方面唯一地标识改变块。传播图P中的所有节点将具有相同的“head_node”。元素“mode”指示当前块的预测模式，其可以是帧内预测或帧间预测。元素“cur_node”记录关于当前块的信息。对于帧间预测块，其包含原始运动矢量和新运动矢量，而对于帧内预测块，其包含帧内预测模式和参考块。

图14示出了用于构造传播图的方法。在1410，利用改变块p来初始化传播图P。在评估框1420，作出确定以评估块p是否为空。如果块p不为空，则在框1430中检查其四个相邻块中的每一个α_i，i＝1，...，4(如图13b中所定义的)。这些检查中每项检查的目标都是确定对块p的改变是否将传播到相邻块α_i。为了这样做，解码使用与p相关联的原始值可以与改变的值进行比较。如果块α_i是帧间预测块，则在帧间预测路径1440中可以检查使用p的新运动矢量预测的运动矢量以及其它相邻块的那些。如果与原始运动矢量不同，则该改变将传播到该相邻块，并且在传播框1460中块α_i被附加到传播图P。如果α_i在帧内预测路径1450中进行帧内预测并且块p被用作预测中的参考，则该改变将传播到该相邻块，并且在框1460中块α_i被附加到传播图P。在已经检查了所有四个相邻块之后，考虑P中的下一元素。该处理重复，直至在P中不存在新元素，到达结束框1470。

现在，对于帧间预测块，可以假设访问原始运动矢量(mv__org)和修改的运动矢量(mv__new)、连同预测加权信息。将修改后的亮度表示为L_new，并且修改后的亮度为两个预测(假设双向预测)的加权和加上残留。

L_new＝w₀×MC(mv_{0_new})+w₁×MC(mv_{1_new})+residue

其中w₀和w₁分别是用于双向预测中的列表0预测和列表1预测的权重；以及MC(·)代表运动补偿的预测函数。注意，该公式具有两个运动矢量，mv_{0_new}和mv_{1_new}。这是双向预测的结果。类似地，如下地计算被表示为L_org的修改之前的亮度。

L_org＝w₀×MC(mv_{0_org})+w₁×MC(mv_{1_org)}+residue

因此，可以如下地计算被表示为ΔL的亮度改变

ΔL＝L_new-L_org

＝[w₀×MC(mv_{0_new})+w₁×MC(mv_{1_new})+residue]

-[w₀×MC(mv_{0_org})+w₁×MC(mv_{1_org})+residue]

＝w₀×[MC(mv_{0_new})-MC(mv_{0_new})]

+w₁×[MC(mv_{1_new})-MC(mv_{1_org})]

接下来，在本发明的实施例中，可以关注以下情况，其中水印加注处理仅修改两个运动矢量之一。在此情况下，mv_{_new}运动矢量之一将等于对应的mv_{_old}。ΔL的以上公式中的对应项将消失，而留下：

ΔL＝w_x×[MC(mv_{x_new})-MC(mv_{x_org})](1)

其中，下标x指示被修改的运动矢量。可以观察到在修改之前和之后仅需要计算列表x预测的运动补偿差中的亮度改变，而不是重构块中的所有像素值。该差被w_x加权的结果将是由于嵌入而引入的亮度差。

亮度改变ΔL可以从中计算表示保真度评估的多个测度(measure)中的任一个的像素块。两个示例测度是亮度差之和和最大绝对差。在至少一个实施例中，使用绝对亮度差之和。

在H.264标准(ITU-T H.264标准：Advanced video coding for generic audiovisual services(类视听服务的高级视频编码)，2005/03)中，许多帧间预测块从它们相邻块的运动矢量中导出它们的运动矢量，从而一个帧间预测块中的运动矢量的修改可能产生相邻帧间预测块的运动矢量的改变。相邻块中的该改变可能影响相邻块的亮度，并且本身可能进一步传播到其相邻的帧间预测块。

对于重构块的作为结果的像素改变还可能产生相邻帧内预测块中的像素改变。这些改变也可能进一步传播到其它的帧内预测块。

传播图指示哪些块将受到单个运动矢量的修改的影响。一个运动矢量的改变可能影响其宏块本身(帧间预测)、传播图上的帧间预测块、以及传播图上的帧内预测块的亮度。

亮度评估可以使用传播图来评估受到单个运动矢量的改变影响的所有块的亮度改变。这包括直接影响的块、以及由于传播而间接影响的所有块。根据上面公式的应用来评估传播图中任何帧间预测块的亮度改变。

现在将讨论块的帧内预测。帧内预测使用相邻块的边界像素来预测当前块的像素值。参见图1，作为在帧内预测中涉及的相邻块的示例。当帧内预测块处于传播图上时，已经改变了参考相邻块。为了确定对当前块的影响，亮度评估将需要重构对参考相邻块的边界像素的改变。

修改之前的帧内预测块的亮度被表示为L_org，并且是来自块N的帧内预测和残留之和，其中N是来自组A、B、C和D的一个或多个相邻块。

L_org＝IntraP(L_{_N_org})+residue

IntraP(·)是取决于为当前块规定的帧内预测模式的帧内预测函数。类似地，修改之后的帧内预测块的亮度被表示为L_new，被定义为：

L_new＝IntraP(L_{_N_new})+residue

并且亮度改变为：

ΔL＝L_new-L_org

＝IntraP(L_{_N_new})-IntraP(L_{_N_org})

相邻块N中的新亮度L_{_N_new}是该块的原始亮度加上改变ΔL_{_N}。如此，可以在修改之后将预测重写为：

IntraP(L_{_N_new})＝IntraP(L_{_N_org}+ΔL_N)

亮度差变为：

ΔL＝IntraP(L_{_N_org})-IntraP(L_{_N_org}+ΔL_{_N})(2)

可以看出，与帧间预测块不同，对帧内预测块的亮度评估要求来自其相邻块的亮度差ΔL_{_N}。假设按照解码顺序列出了块样式105或传播图中的块，并且按照所列出的顺序将亮度评估应用于这些块，则在亮度评估被应用于之前的块期间将已经获得当前帧内预测块要求的ΔL_{_N}。为了快速访问ΔL_{_N}，可以构造被称为“差码片”的用于每个传播图的码片。根据H.264标准(ITU-TH.264标准：Advanced video coding for generic audiovisual services，2005/03)，改变不传播通过码片的结尾。因此，亮度评估将不需要保存比码片更大的区域的块差。在来自公式(1)或公式(2)的传播图上块的亮度差ΔL被计算之后，不同的码片对其进行存储。然后可以从该差码片中得到用于将来块的ΔL_{_N}。

注意，差码片的创建不表示任何附加计算。将亮度评估应用于帧间预测块要求公式(1)中ΔL的计算。可以将该数据块保存到差码片。在对传播图的第一块应用亮度评估之前，可以首先将该差码片初始化至全部为零。类似的，将亮度评估应用于帧内预测块要求公式(2)中的ΔL的计算，并且将该数据块保存至差码片。

图2示出了亮度评估的概览。算法的输入是原始视频序列205、改变列表210、以及改变列表中每个改变的块样式105。通过获取块215馈送关于传播图中每个改变块的信息，并且将其馈送到亮度评估计算。传播图包含按照解码顺序列出的、受到一个改变影响的所有块。对于传播图上的每个块，传播图存储以下信息：如果块是帧间预测的，存储参考帧号码、原始运动矢量和新运动矢量；而如果块是帧内预测的，存储帧内预测模式和参考相邻块。对于改变列表中的每个条目，将亮度评估应用于传播图上的每个块。传播图上的第一块是其中作出了改变的帧间预测块。这在本发明中唯一为真(uniquely true)。根据之前列出的协议分析帧间预测块220和帧内预测块225。在改变列表的每个条目的开始处初始化该差码片，并且在对该改变的传播图中的每个块进行了亮度评估之后更新该差码片。

图3图示了帧间预测块的亮度评估处理。取得305原始运动矢量和修改的运动矢量两者，并且将其用于执行两个不同的运动补偿以便获得两个块预测：一个用于原始运动矢量310、一个用于修改的运动矢量315。可以输出这两个预测之间的差以用于进一步处理，并且也用于更新对应的块位置中的差码片320。

如刚提及的，亮度评估的输出是两个预测之间的差。然而，在一些应用中，该差的其它衍生物可能是有用的。例如，优选实施例计算并输出差块中的值之和以及差的绝对值之和。

图4图示了当识别405要执行的预测类型时对帧内预测块的亮度评估处理。对原始序列执行帧内预测410。在生成了修改的序列415之后，还执行修改的序列的帧内预测420。如公式(2)中所示，从原始码片和差码片导出修改的序列。另外，这两个预测的差被用来更新差码片，并且被直接输出或产生或者被用来导出输出或产出物。

列出亮度评估实现方式的两个基本版本：独立的版本、以及被集成到AVC_解码器/传播图中的版本。AVC_解码器/传播图是在AVC_解码器中建立的用于识别改变的块列表的工具。稍后在该说明书中给出该工具的更详细说明。

图5图示了亮度评估的独立的版本530。这里，编码视频505和改变列表510被馈送到AVC_解码器/传播图生成器515中。对于独立亮度评估530的另外的输入是由AVC_解码器/传播图生成器515生成的用于每个改变的传播图、以及也由AVC_解码器/传播图生成器515生成的解码的原始YUV文件520。输出535将指示输入的改变块列表的每个条目的传播图中每个块的亮度改变。

注意，独立亮度评估要求原始TUV文件作为输入。该YUV文件可能要求相当大的磁盘空间来进行存储，并且可能招致相当大量时间进行写入(在AVC_解码器/传播图中)并且然后读出(在亮度评估中)。更有效的实现方式将亮度评估集成到AVC_解码器/传播图中。这避免了对于节省解码YUV序列的需要；节省了存储空间并加速了运行时间。

图6图示了亮度评估集成到AVC_解码器/传播图工具中的实现方式。该集成亮度评估的核心实现与独立的版本相同：编码视频605和改变列表610被馈送到AVC_解码器/传播图生成器615中，AVC_解码器/传播图生成器615还生成传播图625。主要区别在于：集成版本直接从在AVC_解码器/传播图中建立的数据结构中读取改变的块信息，而不是从文件中读取改变的块信息，并且从缓冲器中而不是从文件中读取原始YUV帧620。因此，集成亮度评估630不要求任何外部输入文件。输出635与独立的版本相同。

如先前指示的，现在呈现关于帧内预测的更详细的讨论。帧内预测的宏块被编码为来自当前帧/画面中的预测与残留之和。如果一个或多个参考块处于改变的传播图上，则预测可能受到该改变的影响，在此情况下，当前块也将处于传播图上。可能存在三种类型的帧内预测：帧内_4×4、帧内_8×8、以及帧内_16×16。

在帧内_4×4模式下，对于16个4×4块中的每一个预测宏块。存在总共涉及图1所示的所有4个相邻块A、B、C、和D的8种模式(按照ITU-T Recommendation H.264|ISO/IEC 14496-10International Standard with Amendment 1中的table 8-2)。这8种模式连同所涉及的(多个)相邻块在下表1中列出(从ITU-T Recommendation H.264|ISO/IEC 14496-10International Standard with Amendment 1中的table 8-2适配而来)。在该表中，与该标准中的表8-2的区别在于：可以区分用于帧内_4×4_DC模式的三种不同情况：模式2-使用A和B两者；模式9-仅使用A；模式10-仅使用B。4×4_DC模式的第四种情况是既不使用A也不使用B，其不影响传播图并且由此可以被忽略。

表1：4×4帧内预测模式

帧内_预测模式(4×4)	名称	所涉及的相邻块
			0	帧内_4×4_垂直	B
1	帧内_4×4_水平	A
			2	帧内_4×4_DC(1)	A、B
3	帧内_4×4_对角线_下_左	B、C
			4	帧内_4×4_对角线_下_右	B、A、D
5	帧内_4×4_垂直_右	B、A、D
			6	帧内_4×4_水平_下	B、A、D

7	帧内_4×4_垂直_左	B、C
			8	帧内_4×4_水平_上	A
9	帧内_4×4_DC(2)	A
			10	帧内_4×4_DC(3)	B

在帧内_8×8模式下，对于4个8×8块中的每一个预测宏块。存在总共涉及图4所示的所有4个相邻块A、B、C、和D的8种模式(按照ITU-T Recommendation H.264|ISO/IEC 14496-10International Standard with Amendment 1中的table 8-3)。这8种模式连同所涉及的(多个)相邻块在下表2中列出(从ITU-T Recommendation H.264|ISO/IEC 14496-10International Standard with Amendment 1中的table 8-3适配而来)。类似于4×4帧内预测情况，也可以区分用于帧内_8×8_DC模式的三种不同情况。注意，由于预测之前的滤波操作，每种模式所涉及的相邻块与4×4预测不同。

表2：8×8帧内预测模式

在帧内16×16模式下，作为整体来预测宏块。存在总共涉及图4所示的3个相邻块A、B、和D的4种模式(按照ITU-T Recommendation H.264|ISO/IEC 14496-10International Standard with Amendment 1中的table8-4)。表3列出了预测模式。为了与4×4和8×8预测一致，仍使用模式2、9和10来指示DC预测的三种情况。

表3：16×16帧内预测模式

具体地，如图4所示，参考分量是相邻块A的最右列、相邻块B的最后行、相邻块C的最后行、以及相邻块D的最后(右下)像素。如果C不可用，则通过重复利用B的最后行的最右像素来替代C中的参考像素。

H.264/AVC水印加注系统生成潜在改变的列表，并且然后经过一系列从该列表中消除一些潜在改变的步骤。该列表中的每个条目表示对与B码片帧间预测宏块相关联的运动矢量的改变。改变帧间预测块的运动矢量将具有以下效果：利用与在编码期间预期的参考不同的参考来重构块，由此改变解码的像素值。该改变可能以2种方式传播：(1)如果第二块使用帧间预测编码并且从当前块预测其运动矢量，则该第二块也将使用与预期的参考不同的参考；以及(2)如果第二块使用帧内预测编码并且从当前块预测其像素值，则该第二块的重构像素将与所预期的不同。第一种类型的传播(传播到相邻运动矢量)可以再次以相同方式传播到下一组相邻块。第二种类型的传播(直接传播到像素值)仅可以进一步传播到也使用帧内预测的相邻块。

也如先前所指示的，对于解码器710，现在呈现关于基于AVC解码器的传播图构造的更详细讨论。注意，在一个码片内执行运动矢量预测和帧内预测。由此，一个运动矢量改变的传播不能传播到当前码片的外部。因此，可以逐码片地构造传播图。对于图像序列中的每个码片，标准H.264/AVC解码器循环通过三个步骤：(1)码片初始化730、(2)码片解码器740、以及(3)码片制定(setdown)750。传播图构造在此背景下发生，一次处理一个码片。

传播图构造采用原始编码视频流作为一个输入。另一输入是所有潜在修改的列表。可以将该处理描述为图7中的一系列三个步骤：(1)传播图初始化735、(2)传播图建立器745、以及(3)传播图输出755，其中最终输出被用来解码YUV以用于亮度评估。

在图8中图示了传播图初始化735，并且其被集成到H.264/AVC解码器的码片初始化处理730。该初始化从潜在修改列表中提取应用于当前B码片中的块的那些修改830，并且对于每个潜在当前块改变840创建一个传播图850。

图9中的被集成到码片解码器840中的传播图创建器在解码器处理每个宏块时，将块添加到潜在修改的传播图。由框901表示码片中所考虑的每个宏块。当解码一个块时，关于已经使用了多种不同编码情况中的哪一种作出确定。所述情况是：帧间预测、带有空间直接模式的帧间预测、以及框920中用于不同帧内预测类型921的帧内预测。图9示出了帧间预测路径905，其中在直接/跳跃判定框906中作出关于块是否以直接模式进行帧间预测的确定。如果帧间预测块不是以直接模式进行帧间预测的，则根据传播更新处理908更新传播图。此外，如果在确定框907中帧间预测块不是空间预测的，则帧间预测块将不受对相邻块的改变的影响并且将不成为任何传播图的一部分。检查所有其它块以便确定它们是否将受到之前改变的影响。由传播更新处理908检查如直接/跳跃判定框906中示出的不使用直接模式的帧间预测块，并且在图10中描述该处理。

在图10中，在框1001中首先识别相邻块。该识别基于之前描述的运动矢量预测MVp以及相邻块的可用性。这里重要的且关注的是可能影响当前MVp的确定的相邻块，并且这样的相邻块被称为所识别的相邻块。通过所有传播图列表进行采样1002以及检查相邻框1003确定所识别的这些相邻块中的哪些处于任何传播图中。如果所识别的相邻块落入一传播图中，这意味着该相邻块已经受到在该传播图的首部的潜在修改的影响。因此，该改变具有传播到当前块的可能性。如果在框1003中没有相邻块落入传播图中，则在框1002中对下一传播图进行采样。对于所识别的相邻块落入现有的传播图的每个实例，执行对存储在传播图列表中的运动矢量的取回1004。利用修改的相邻块运动矢量，执行当前块的重新计算1005。在框1006中，将当前块的该运动矢量预测与利用原始运动矢量的结果进行比较。如果它们不同，则在传播图的首部的改变将影响当前块，并且在框1007该当前块被添加到对应的传播图。

为了更新仅根据帧内预测的传播图，通过图11中描述的传播图更新处理922检查具有三种模式/类型921(即，4×4、8×8或16×16)的帧内预测块。类似于帧间预测块的检查，首先，进行当前块的相邻块的识别。如上所述，该识别基于帧内预测模式。这里，关注可能影响当前分区的像素预测的相邻块。这样的相邻块在框1101中被称为所识别的相邻块。在框1102中可以采样或采样该列表中的每个传播图，并且在框1104中对其进行检查。如果任何所识别的相邻块与一传播图重叠，则在框1106中将当前节点添加到该传播图。

图7中示出的最后步骤是码片制定850。一旦码片已经被解码，这可以是AVC解码器810的标准步骤。传播图构造的最后步骤是传播图的输出。该步骤被集成到码片制定850中。还可以输出包含像素值的可选的解码YUV文件以用于进一步分析。

重要的是注意到：在以上算法中，可能需要对于每个宏块分区遍历l个传播图的所有节点。这可能招致高的计算成本。为了加速处理，基于两个观察来公式化改进的算法。第一个观察是：当前分区的父分区(所识别的相邻块)仅可能驻留于同一行宏块中或上一行宏块中；这样，在父搜索期间，可以排除列表i中距离当前块超过一行的节点。第二个观察是：如果列表i还没有被更新整行宏块，则对可修改的块的修改的影响将不能传播到该码片中的其余块。因此，传播图i是完整的，并且不需要将来或稍后检查当前码片中的块。在图12中呈现了该修改的算法。

为了根据帧内预测和帧间预测更新传播图，图12首先以在框1201中识别可能影响当前分区的像素预测的相邻块而开始。这样的相邻块在框1201中被称为识别的相邻块。然后在框1202中采样列表中的传播图。如果在判定框1203中在宏块的最后行中不存在更新，则采样下一传播图。如果存在更新，则在框1204中执行检查。如果任何所识别的相邻块重叠或匹配当前采样的传播图i中的当前行和最后行中的块，则处理前进到框1205中的比较步骤。如果原始运动矢量和修改的运动矢量不同，则在框1206中将具有修改的运动矢量的当前节点连同来自帧内预测的更新一起添加到传播图。

总之，已经在H.264/MPEG-4AVC(AVC)标准的背景下呈现了在本申请中描述的若干种实现方式和特征。然而，这些实现方式和特征可以在另一标准(现有的或将来的)的背景下、或者在不涉及标准的背景下使用。

这里描述的实现方式可以以例如方法或处理、装置、软件程序、数据流或信号来实现。即使仅仅在单种形式的实现方式的背景下进行讨论(诸如仅仅被作为方法讨论)，所讨论的实现方式或特征也可以被以其它形式(诸如装置或程序)来实现。可以以例如适当硬件、软件和固件来实现装置。可以以例如装置(诸如例如计算机或其它处理设备)来实现该方法。另外，可以通过由处理设备或其它装置执行的指令来实现该方法，并且这样的指令可以存储在诸如CD之类的计算机可读介质上、或其它计算机可读存储设备、或集成电路上。此外，计算机可读介质可以存储由实现方式所产生的数据值。

如对于本领域技术人员应该显而易见的，实施方式还可以产生被格式化为承载可以被例如存储、部署或传输的信息的信号。该信息可以包括例如用于执行方法的指令、或由所描述的实施方式之一产生的数据。例如，信号可以被格式化为承载已加注水印的流、未加注水印的流、或水印加注信息。

本发明的实施例包括配备有硬件、固件和/或软件等的装置，其起作用为执行在本说明书中描述的各种处理步骤和处理步骤的组合。

另外，本发明的特征意图包括使用色度改变而不是亮度改变或者与色度改变的组合作为用于生成可接受改变的列表和/或评估改变或水印的度量或准则。

另外，许多实现方式可以在编码器、解码器、处理来自解码器的输出的后处理器、或向编码器提供输入的预处理器的一个或多个中实现。此外，根据该公开可以预期其它实现方式。例如，可以通过组合、删除、修改或补充所公开的实现方式的各种特征，来创建另外的实现方式。

Claims

1.一种方法，包括以下步骤：

选择可以被嵌入具有给定亮度和色度的视频图像的水印；

确定如果所述水印被嵌入视频图像中，在视频图像的给定亮度和色度的至少一个中可能出现的任何改变的定量值；

响应于所述定量值，接受或拒绝所述水印；以及

将所述水印中被接受的那些水印添加到列表。

2.如权利要求1所述的方法，其中所述视频图像包括块，并且其中该方法还包括以下步骤：

基于所述视频图像中的一些块但并非全部块，实现该确定步骤。

3.如权利要求1所述的方法，其中视频图像包括块，并且其中该方法还包括以下步骤：

通过仅评估在所述视频图像的给定亮度中可能出现的改变来修改该确定步骤；以及

基于所述视频图像中的一些块但并非全部块，实现该修改后的确定步骤。

4.如权利要求3所述的方法，还包括以下步骤：

对于所选择的水印，构造传播图；以及

在该传播图中包括具有给定亮度上的某种改变的那些块。

5.如权利要求4所述的方法，还包括：计算由于运动矢量改变而引起的给定亮度的任何改变的步骤；或者计算由于帧内预测参考改变而引起的给定亮度的任何改变的步骤。

6.如权利要求3所述的方法，还包括以下步骤：

通过计算对正在评估的块的帧间预测改变，来实现该确定步骤；

对于所选择的水印，构造传播图；

在该传播图中包括具有给定亮度上的某种改变的被评估的那些块；以及

对于所包括的那些块，存储参考帧号码、原始运动矢量和新运动矢量。

7.如权利要求3所述的方法，还包括以下步骤：

对于所选择的水印，构造传播图；

在该传播图中包括具有在给定亮度和给定色度中的任一个上的某种改变的被评估的那些块；以及

对于所包括的那些块，存储参考相邻块号码和预测模式。

8.如权利要求7所述的方法，还包括以下步骤：响应于给定亮度和给定色度中的任一个上的改变，生成用于水印检测的检测参考值。

9.如权利要求1所述的方法，还包括以下步骤：将来自列表的所接受的水印之一嵌入到所述视频图像中。

10.一种方法，包括以下步骤：

选择可以被嵌入具有给定亮度和色度的视频图像的水印；

确定如果所述水印被嵌入所述视频图像中，在所述视频图像的给定亮度和色度的至少一个中可能出现的任何改变的定量值；

响应于所述定量值，接受或拒绝所述水印；以及

将所接受的水印嵌入到视频图像中。

11.如权利要求10所述的方法，还包括以下步骤：

将列表中的水印与有效负荷约束进行比较；

从列表中移除不满足有效负荷约束的水印。

12.一种方法，包括：

评价要应用于视频的改变，所述视频被划分为块；

创建传播图，所述传播图仅捕获通过所述改变的应用将改变的、对块的特定改变；

基于亮度准则将所述改变评估为可察觉的改变或不可察觉的改变；以及

对于不可接受的改变的传播图，将该传播图存储到列表。

13.如权利要求12所述的方法，还包括：

基于使用与所述改变相关联的运动矢量改变来创建传播图。

14.如权利要求13所述的方法，其中所述改变为水印。

15.一种方法，包括：

访问原始视频序列205；

访问或生成改变列表210；

对于改变列表上的预期改变，评估或计算对于块的各个亮度和/或色度改变；

依据各个亮度和/或色度改变中的至少一个来构造差码片，该差码片包含一组受该预期改变影响的块；以及

依据各个亮度和/或色度改变中的至少一个来更新差码片。

16.如权利要求15所述的方法，其中各个亮度和/或色度改变是估计并且不是精确的亮度和/或色度值。

17.如权利要求15所述的方法，包括：

在改变列表中的每个预期改变的开始处初始化差码片；以及

在对于块的各个亮度和/或色度改变的每个亮度和/或色度评估或计算之后，更新该差码片。

18.如权利要求16所述的方法，包括：基于与该预期改变相关联的运动矢量改变，确定各个亮度和/或色度改变的估计。

19.如权利要求16所述的方法，包括：使用与特定目标块邻近的相邻块中的边界像素中的亮度和/或色度改变，通过当前块的帧内预测亮度和/或色度改变，确定各个亮度和/或色度改变的估计。