CN102132564B - 用于压缩视频的水印制作的水印选取 - Google Patents

Abstract

一种方法，包括：访问可以作为编码数据的列表中的水印的改变，所述改变具有语法元素、原始值以及候选的可替换值；为子集从该改变中确定一组遵循的改变，所述遵循的改变遵循诸如CABAC编码协议之类的编码协议；以及为子集仅选择导致以下结果的这样的遵循的改变，即，导致所述子集对于每个语法元素仅具有一个候选的可替换值并且仅导致该遵循的改变还符合至少一个性能标准。该方法可以包括：确定水印的保真度、可复原性、或鲁棒性，以及基于保真度、可复原性、或鲁棒性去除或防止水印处于子集中，其中保真度、可复原性、以及鲁棒性为性能标准。该方法可以包括：确定水印的至少两个性能值，确定该至少两个性能值的一些共同度量，以及基于相同的共同度量去除或防止水印处于子集中。

Description

用于压缩视频的水印制作的水印选取

交叉引用

本专利申请要求于2008年8月20日提交的美国临时专利申请NO.61/189,551，标题为“CHANGEABLE BLOCK SELECTION”的权益与优先权。通过引用而特意将该临时申请整体合并于此以用于所有目的。

技术领域

本发明涉及在CABAC(Context-based Adaptive Binary Arithmetic Coding，基于上下文的自适应二元算术编码)视频流中嵌入水印。

背景技术

当今，对于作为反盗版技术的数字水印制作(watermarking)的需求很强。为了使盗版者绕过水印更加困难，重要的是提出并使用许多潜在的(potential)水印。然而，重要的是让水印不干扰预期的观众的预期的观看体验。同样地，存在对于更有效率的水印制作技术的需要。同样地，本发明的目的在于生成通常与遵循(compliant)CABAC(基于上下文的自适应二元算术编码)/AVC(Advanced Video Coding，高级视频编码)的水印制作相关联的、但不产生可见的伪像的可能的改变的列表，从而最终提供用于在CABAC视频流中嵌入水印的有效的方法。

发明内容

一种方法，包括：访问可以作为编码数据流中可改变的语法元素的潜在的改变，该编码数据流可以是编码视频流；在应用该改变之前，确定该改变对于观测者的可检测性和/或可视性；在应用该改变之前，确定该改变对于水印制作检测器的可复原性；在应用该改变之前，确定该改变对于可能包括遵循标准或各种规则或约束条件的编码部件的可嵌入性；以及生成符合可检测性与可复原性的阈值标准的改变的列表。该方法可以包括：为可改变的语法元素确定特征向量，其中特征向量为可检测性、可复原性、以及可嵌入性的函数，可为特征向量设置限制，并且仅向该列表添加符合特征向量的限制的改变。该方法还可包括：建立在所述可检测性、可复原性、以及可嵌入性之间的平衡标准，并且仅添加符合该平衡标准的改变。该方法还可包括：访问被划分为区块的视频数据并且至少一个区块由以下中的至少一项来表征：应用改变之前与之后的亮度，应用改变之前与之后的视频之间的均方误差，应用改变之前以及之后的区块像素方差，或区块性。该方法还可包括以下的组合：应用该改变之前进行用于该改变的传播地图并且该传播地图用于选择要添加到列表的改变。该选择标准可包括：传播地图的尺寸；传播地图中所有区块的最大亮度改变；传播地图中所有区块的最大均方误差；传播路径中满足可检测性标准的区块数。

一种附加的方法，包括：访问可以作为编码数据的列表中的水印的改变，该改变具有语法元素、原始值以及候选的可替换值；从该改变中为子集确定一组遵循的改变，该遵循的改变遵循诸如CABAC编码协议之类的编码协议；以及为子集仅仅选择导致以下结果的遵循的改变，即，导致子集对每个语法元素仅具有一个候选的可替换值并且仅导致遵循的改变还符合至少一个性能标准。该方法可以包括：确定水印的保真度(fidelity)、可复原性、或鲁棒性(robustness)，以及基于保真度、可复原性、或鲁棒性来去除或防止水印处于该子集中，其中保真度、可复原性、以及鲁棒性是性能标准。该方法可包括为水印确定至少两个性能值，确定该至少两个性能值的一些共同的度量(metric)，以及基于一些共同的度量来去除或防止水印处于该子集中。

另一种方法，包括：访问、生成、或编译用于编码数据的列表中的改变或水印，该改变具有语法元素、原始值以及候选的可替换值；为子集从所述改变中确定一组遵循的改变，该遵循的改变遵循编码协议；以及为子集仅仅选择具有至少一个除编码协议以外的性能标准的遵循的改变。当该改变具有跨越传输流分组边界的语法元素时，编码的数据可处于传输流中并且可以去除或防止该改变处于子集中。进一步的步骤可包括在应用该改变之前生成用于该改变的传播地图；以及去除或防止改变处于具有任何落入之前所选择的改变的传播路径中的区块的子集中。该方法还可包括：确定该改变的保真度、可复原性、或鲁棒性，以及基于保真度、可复原性、或鲁棒性来去除或防止改变处于子集中，其中保真度、可复原性、以及鲁棒性是性能标准。

一种装置，包括：访问或生成编码数据(例如视频流)的列表中的诸如水印之类的改变的部件，所述改变具有语法元素、原始值以及候选的可替换值；确定部件，用于为子集从该改变中确定一组遵循的改变，该遵循的改变遵循编码协议；选择部件，用于为子集仅选择导致以下结果的遵循的改变：导致子集对于每个语法元素具有一个或更多候选的可替换值并且仅导致遵循的改变还符合至少一个性能标准。该编码协议可为CABAC编码协议。该装置还可包括：用于确定水印的保真度、可复原性、或鲁棒性的部件；以及用于基于保真度、可复原性、或鲁棒性来去除或防止水印处于子集中的部件，其中保真度、可复原性、以及鲁棒性为性能标准。另外地，该装置可包括：用于为水印确定至少两个性能值的确定部件，用于确定该至少两个性能值的一些共同的度量的部件，以及用于基于一些共同的度量来去除或防止水印处于子集中的部件。

附图说明

现在将通过参照附图的示例来描述本发明。

图1图示了选取可改变的语法元素的处理的概览。

图2提供了传播地图(propagation map)的图解。

图3图示了用于可改变的语法元素的每个候选的可替换值的选取处理的框图。

图4为图示用于最终选取步骤的实际实施方式的流程图。

具体实施方式

现在将在CABAC编码的H.264/AVC视频流的上下文中大体描述本发明的实施例。然而，实施例可以具有更广泛的应用。

改变可以是水印并且可以通过在CABAC编码的视频流中嵌入变化的数据字节来应用这些改变。该方法包括识别H.264编码的视频流中的可改变的语法元素，其可以被修改为用于水印嵌入的候选的改变列表。使用可改变的语法元素列表的子集用于水印嵌入。实施例可以包括至少处理以下问题的步骤的实施方式，即，选取将处于用于水印制作的子集中的列表的哪一个元素。

在此将描述一种用于修改CABAC编码的H.264/AVC流的方法以及一种用于生成遵循CABAC/AVC改变的列表的方法。在作为结果的列表中的每个条目识别特定的语法元素、其原始值、以及候选的可替换值。在该列表中出现的语法元素被认为是可改变的语法元素并且可以在该列表中不止一次出现，每一次具有不同的候选的可替换值。

实施例还可以包括在该列表中被选取的并用于水印制作的条目的子集的特征。子集的一种选择是为每个可改变的语法元素选取一个并且仅选取一个候选的可替换值。子集的另一种选择是为每个可改变的语法元素选取不止一个候选的可替换值，其中每个选择可表示在水印中嵌入的不同信息。然而，该列表可以包括虽然遵循CABAC与AVC、但是将不会服务于具体应用的目的的改变。

此外，当前的公开描述了在对应用进行水印制作时选择列表中的条目的子集的至少一个实施方式。执行该选择步骤以在所给定的包括高保真度、高鲁棒性、以及高容量的水印制作目标的集合中发现最优的子集。在此，选择处理或步骤被称为可改变的区块选择(Changeable Block Selection，CBS)。

转向水印制作的算法，重要地是指出其若干属性。一种属性为水印嵌入的视觉效果(impact)，即，保真度。对于许多水印制作应用，视觉效果应该尽可能地小。另一种属性为水印在嵌入后的有效性。这描述了水印检测器将能够在嵌入后立即复原水印的可能性。对于多数应用，要求非常高的有效性。如果进行水印制作的内容在嵌入与检测的时间之间遭到攻击，则许多水印制作应用要求在这样的攻击后水印数据仍然可被复原。这导致作为鲁棒性的第三种属性。最后，水印制作算法其特征可以在于可以被嵌入的数据量。该属性叫做容量。

这四种属性的性能通常依赖于应用而彼此折中(trade)。在本发明实施例中，在如图1中图示的两个步骤中可以考虑特征的折中或平衡。在识别可能的可改变的语法元素105后，第一步骤是为输入列表中的每个可改变的语法元素生成特征向量110。执行分析以估计与输入列表中每个条目相关联的保真度、有效性、以及鲁棒性。第二步骤是为输出选择改变的子集115。子集的选择基于保真度、有效性、鲁棒性、以及容量之间期望的平衡，并且得出120所选择的可改变的语法元素。

列表中的每个可改变的语法元素包括候选的可替换值的集合。可以在不干扰比特流的AVC/CABAC的遵循性的情况下将语法元素值改变为该集合中的任何值。将语法元素的值替代为候选的可替换值将改变语法元素所驻留的区块中的重构的像素值。因此，对于每个候选的可替换值，评估若干区块特征。区块特征的一些示例包括：

●在嵌入之前与之后的平均亮度；

●在原始的与水印制作后的区块之间的均方误差；

●在嵌入之前与之后的区块像素方差，；以及

●区块的相对于其邻域(neighborhood)的区块性(blockiness)。

可改变的语法元素的候选的可替换值的代换将改变语法元素驻留的目标区块(T)处的影像数据。因为在编码的视频流中呈现整个一组相互依赖性(inter-dependency)，所以除T以外的区块还可能受到该代换的影响。换言之，被引入到区块T的修改可以传播至解码序列中的其它区块。为了真正地了解(access)关于保真度、鲁棒性、有效性、以及容量的候选的改变的效果，良好的选择处理将考虑到由于传播引起的像素值改变以及对区块T的直接改变。指示受区块T的单一改变所影响的所有区块的传播地图的建立可能在确定代换的适宜性中是非常有帮助的甚至极为重要的。

图2中图示了示例传播地图或路径200，其中呈现了视频区块的7乘6矩阵205。在此，术语“传播地图”与“传播路径”可互换地使用。在该示例中，直接对区块T 210进行改变。依赖于附近区块的预测模式，该改变可以向右、向下、向下并向右、和/或向下并向左传播。该图示中，假定改变向右传播至区块A 215。区块A中的改变也可以传播。在该图示中，假定该改变传播至区块B 220与C 225。这些改变中的每个改变可以进一步传播至其它具有参考标号230的区块。传播地图200指示了所有将受到区块T的初始改变的影响的区块。这些区块是被直接改变的T区块200，被第一顺序间接改变的区块A215，被第二顺序间接改变的区块B 220以及C 225，以及进一步受影响的区块230。该示例中的其它区块235没有受到影响。

当改变影响除目标区块以外其它区块时，所考虑的特征应当评价在所有受影响的区块而不仅仅是在目标区块中的效果。因而，生成并使用传播地图以示出改变的整个效果，而不是仅仅考虑目标区块。区块特征的一些示例包括：

●传播地图的尺寸；

●传播路径中所有区块的最大亮度改变；

●传播路径中所有区块的最大均方误差；以及

●传播路径中满足可检测性测试以及保真度测试两者的区块数。

为了理解为什么传播地图的使用是重要的，考虑在选择步骤中的传播地图保真度测试可以表明，如果传播路径中的所有区块通过基于区块的保真度测试，则哪一个改变是可接受的。换言之，如果改变导致其传播路径中的任何位置的可见的伪像，则该改变将是不可接受的。

大体上，本发明的关键特征在于对候选的替换者的子集的选择。该选择处理基于上述一组特征的评估。总的处理305为依据特征值以及进行子集选择的应用需求来评估每个候选的替换者的工具。

在选择处理中考虑水印的三个应用属性。这三个应用属性为可检测性、保真度、以及鲁棒性。对于可被接受的改变，通常必须满足这些属性中的每一个属性的应用需求。

图3图示了用于可改变的语法元素的每个候选的可替换值的选择处理305的框图，其中每个区块担当滤波器，仅通过那些通过了基于相应需求的测试的候选的替换者。如上文提到的，在识别可能的可改变的语法元素后，第一步骤为对输入列表中的每个可改变的语法元素生成特征向量310。注意到，由被标记为“最终选择”330的区块所评估的候选的替换者是已经通过了保真度选择315、可检测性选择320、以及鲁棒性选择325测试的那些。可以以任何顺序执行这三种测试。

图3的测试可被应用于每个改变，每次应用一个，或可被应用于候选的替换者的列表。例如，可对每个改变单独应用全局阈值，或可配置选择处理以选择具有最优性能的改变的组。前一种方法将不能确保有多少改变通过滤波器，而后一种方法不能确保最低的性能。应用的需求将指示这两种方法中哪一个更适合。还注意到，可将不同的方法应用于图3中每个滤波器上。在优选实施例中，将初始的、保真度、鲁棒性、以及可检测性滤波单独应用于每个替换者，而最终选择作用于已经通过了前三个滤波器的改变的列表上。

保真度选择可以基于被应用于一个或多个生成的特征的简单的阈值测试。通过阈值测试的候选元素被认为具有足够高的保真度。那些没有通过一个或多个阈值测试的候选元素被假定引入了对于该应用过于剧烈的可见的伪像。从潜在的改变的列表中去除这些候选者。

在至少一个实施例中，特征向量包括传播路径中所有区块的、由改变导致的绝对亮度改变之和(区块中的所有像素上的)的最坏情况。将该特征与亮度阈值相比较。将从列表中去除任何导致其传播路径中任何位置的区块具有大于阈值的绝对亮度改变之和的候选者。

特征向量的至少一个实施例还包括传播路径中所有区块的、指示由改变引入的区块性的数量的区块性测量的最坏情况。将该特征与区块性阈值相比较。将从列表中去除任何导致其传播路径中任何位置的区块具有大于区块性阈值的区块性分数的候选者。

第三种可能的保真度测试基于传播地图的尺寸。这里假定了更大的传播地图更有可能引入可见的伪像。不需要将传播地图的尺寸列为特征，这是由于可容易地从包含传播地图的数据结构中直接获得传播地图的尺寸。将从列表中去除任何具有大于阈值的传播地图的候选者。

在至少一个实施例中，复原或鲁棒性基于进行语法元素改变的区块中的亮度改变。在其它实施例中，复原可基于在传播路径中一个或多个区块内的亮度改变。

因而，鲁棒性的简易测量是由候选的改变引入的亮度改变的量。在该简单的模型中，假定导致更高亮度改变的候选的改变将更加鲁棒。

在至少一个实施例中，特征向量包括将从候选的改变导致的亮度改变。将该值与鲁棒性阈值相比较。将从列表中去除任何其亮度改变低于鲁棒性阈值的候选者。

当复原基于整个传播路径时，可使用传播地图的尺寸来估计改变的鲁棒性。这里假定了更大的传播地图更有可能幸免于对标记后的视频的处理。将从列表中去除任何具有小于阈值的传播地图的候选者。

最终选择可基于大量不同的应用需求。应用需求的一个示例为，在传输流中，改变必须完全地驻留在单个传输流分组内。将从列表中去除将导致对跨越传输流分组边界的语法元素的修改的任何候选的改变。

在至少一个实施例中，最终选择处理检查码片(slice)中所有已经通过了所有之前测试的候选的改变。对于给定的语法元素，可能存在大量满足其它测试的可能的可替换值，但是仅可为最终输出选取一个。该选择可基于特征向量中相同的保真度以及鲁棒性特征(例如，选择具有最高保真度的值)。还可在其它两种选择处理中的任一种处理中进行该选择的这部分。

在至少一个实施例中，对落入之前选择的改变的传播路径中的任何区块没有进行改变。在最终选择处理中实施该规则，但是还可在其他位置实施。

在至少一个实施例中，如果其传播地图与之前选择的改变交叉，则不进行改变。在最终选择处理中实施该规则，但是还可在其他位置实施。

图4中图示了最终选择。这里，步骤405开始于将当前码片的数据加载至存储器，在其之后，在步骤410中访问每个可改变的宏块并且在步骤415中逐个宏块地确定当前宏块是否满足所定义的约束条件(constraint)，所述约束条件由应用、标准、特定编码器、可视性阈值、位长要求、有效载荷要求等来定义。如果不满足，则在步骤410中处理码片内的下一宏块，而如果宏块满足所定义的约束条件，则其进行至判定步骤420。在步骤420中，如果当前宏块在之前选择的输出的传播路径中，则在步骤410中处理码片中的下一宏块，而如果当前宏块不在之前所选择的输出的传播路径中，则其进行至判定步骤430，其中为当前宏块选择最优的可替换条目。在步骤430中，如果在码片中不存在进一步的宏块，则其前进至下一步骤435，而如果在码片中存在更多的宏块，则在步骤410中处理码片中的下一宏块。当不存在要处理的更多的宏块时，在步骤435中，将最终选择写入至数据输出。如果存在要评估的视频帧中的更多的码片，则其在步骤405中访问下一码片，而如果不存在进一步的码片440，则在步骤445中完成最终选择。可在H.264/MPEG-4AVC(AVC)标准的背景中使用本申请描述的若干实施方式以及特征。然而，可以在可能作为现有的或者将来的另一标准的背景中，或者在不包括标准的背景中，使用这些实施方式以及特征。从而，在此提供的是一种或多种具有特定特征与方面的实施方式。然而，所描述的实施方式的特征与方面也可被适配于其它实施方式。

可以在例如方法或处理、装置、软件程序、数据流、或信号中实施在此描述的实施方式。即便在仅仅单一形式的实施方式的背景下讨论，诸如仅作为方法进行讨论，但也可在诸如装置或程序之类的其它形式中实施所讨论的实施方式或特征。可以在合适的硬件、软件、以及固件中实施装置。可在诸如计算机或其它处理设备之类的装置中实施该方法。另外，可通过处理设备或其它装置执行的指令来实施该方法，并且可在诸如CD、或其它计算机可读存储设备之类的计算机可读介质，或集成电路上存储这样的指令。此外，计算机可读介质可以存储由实施方式产生的数据值。

对于本领域技术人员应当是显然的，实施方式还可产生被格式化的以承载可被存储或传送的信息的信号。该信息可包括用于执行方法的指令、或由所述实施方式之一产生数据。例如，信号可以被格式化以承载水印制作后的流、未经水印制作的流、保真度测量、或其它水印制作信息。

另外地，可在一个或多个编码器、解码器、来自解码器的后处理器处理输出、或至编码器的预处理器提供输入中实施许多实施方式。此外，本公开预期了其它实施方式。例如，可通过结合、删除、修改、或补充所公开的实施方式的各种特征来产生另外的实施方式。

Claims (7)

1.一种修改编码的数据流的方法，包括：

访问编码的数据流中的潜在的改变，其中，所述潜在的改变为可改变的语法元素，而所述编码的数据流为编码的视频流；

在应用所述改变之前，确定所述改变对于观测者的可检测性；

在应用所述改变之前，确定所述改变对于解码部件的可复原性；

在应用所述改变之前，确定所述改变对于编码部件的可嵌入性；

为可检测性、可复原性、以及可嵌入性生成符合阈值标准的改变列表；

为所述可改变的语法元素确定特征向量，其中，所述特征向量为所述可检测性、可复原性、以及可嵌入性的函数；

为所述特征向量设定限制，以及仅将符合所述限制的改变添加至所述列表；

建立所述可检测性、可复原性、以及可嵌入性之间的平衡标准，并且仅添加符合所述平衡标准的改变，

在应用所述改变之前生成用于所述改变的传播地图；以及

去除或防止改变处于具有落入之前的改变的传播路径中的任何区块的列表中。

2.一种修改编码的数据流的方法，包括：

访问编码的数据的列表中的改变，所述改变具有语法元素、原始值以及一个或更多候选的可替换值；

为子集从改变列表中确定一组遵循的改变，所述遵循的改变遵循编码协议；

为所述子集仅选择导致以下结果的遵循的改变，即，导致所述子集对于每个语法元素仅具有一个候选的可替换值并且仅导致遵循的改变还符合至少一个性能标准，

在应用所述改变之前生成用于所述改变的传播地图；以及

去除或防止改变处于具有落入之前的改变的传播路径中的任何区块的列表中。

3.如权利要求2所述的方法，其中所述编码协议为CABAC编码协议，所述改变为水印，并且所述编码的数据为视频流。

4.如权利要求3所述的方法，包括：

确定所述水印的保真度、可复原性、或鲁棒性，以及响应于所述保真度、可复原性、或鲁棒性而去除或防止水印处于子集中，其中保真度、可复原性、以及鲁棒性为性能标准。

5.如权利要求3所述的方法，包括：

确定至少两个用于水印的性能值；

确定所述至少两个性能值的一些共同的度量；以及

响应所述一些共同的度量，去除或防止水印处于子集中。

6.一种修改编码的数据流的方法，包括：

访问编码的数据的列表中的改变或水印，所述改变或水印具有语法元素、原始值以及一个或多个候选的可替换值；

为子集从所述改变或水印中确定一组遵循的改变或水印，所述遵循的改变或水印遵循应用要求、编码协议；

为所述子集仅选择具有除了所述编码协议以外的至少一个性能标准的遵循的改变或水印；

在传输流中提供编码的数据；

去除或防止具有跨越传输流分组边界的语法元素的改变或水印处于子集中，

在应用所述改变或水印之前生成用于所述改变或水印的传播地图；以及

去除或防止改变或水印处于具有落入之前的改变的传播路径中的任何区块的列表中。

7.如权利要求6所述的方法，包括：

确定所述改变或水印的保真度、可复原性、或鲁棒性，以及响应所述保真度、可复原性、或鲁棒性而去除或防止改变或水印处于所述子集中，其中保真度、可复原性、以及鲁棒性为性能标准。

Images