CN101479742B - 视频标记技术的有效应用 - Google Patents

Abstract

描述了如下系统和方法，其用于在第一位置转换待嵌入在媒体内容中的信息，并且在第二位置将所转换的信息嵌入到所述媒体内容中。在很多实施例中，嵌入处理比转换处理需要更少的处理器强度，并且可以通过使用现有处理机制对消费者电子设备(例如机顶盒)执行所述嵌入处理。本发明一个实施例包括：在第一位置将所述信息转换为图像；在第二位置将所述图像嵌入在所述媒体中，以实现所述媒体内容的有效标记。

Description

视频标记技术的有效应用

技术领域

本发明通常涉及对视频进行标记，更具体地说，涉及数字视频的标记技术的有效应用。

背景技术

因为数字媒体的数字表现、存储、发布和复制是廉价、易用的，并且保持了媒体的质量，所以它们已经变得非常流行。然而，例如，这些优点已经使得能够对有版权的材料进行广泛的非法发布和使用，比如通过互联网对数字图像和视频进行非授权的发布。结果，合法版权拥有者的收入被剥夺。

可以被部署为控制这种非授权的发布的一组技术包括：将不易觉察的信息嵌入在视频中。这些技术一般被称为数字水印、取证标记或视频标记，并且这些术语在本文中可互换地使用。所嵌入的信息可以用于通过安全的、不易察觉的并且强健的方式来嵌入媒体的版权所有者、发布者或接收方的身份。所述信息可以例如在由个人回放或者接收期间被嵌入，并且通过标识号来与接收的时间以及个人接收方关联。如果拷贝稍后被发现是非法发布的，则可以检索所述信息，并且可以标识负责非法发布的原始接收方。这种技术可以用于跟踪个体媒体资产拷贝，并且强制执行版权法。内容标记是数字媒体发布的重要组成部分，并且通过限制(例如通过点对点文件共享站点的)非法发布的风险使得能够对版权受保护的内容进行数字传递。因为发布可以被跟踪到最近的法定接收方，所以由于可以标识发布内容的人，因此，要承担侵犯版权的责任的风险增加。

虽然可以使用明显的并且可见的修改方式来嵌入跟踪号，但如果以不可见的方式来应用，则它们对内容的破坏更少，并且更好地确保 不被移除。

为了应用强健标记(即，在已经通过压缩、重新记录、过滤或者其它处理对内容进行修改之后，标记仍然可读)，必须应用对内容的改变，其修改实际视频、图像、或音频信号。为了使标记不易察觉，以隐藏并且轻微的方式来应用这些修改。

为了实现所需的强健性，以分布式方式来典型地应用修改，其中，大量修改散布在视频帧或时间的大的区域(即多个帧)上，或者散布在视频帧和时间两者上。通常，在变换后的域(例如频率变换或小波变换)中应用操作。这些变换允许在对于视频的修改之后保持大部分不变的域中进行不可见的标记修改，并且允许当观看媒体时对在多个帧上分布的修改进行会聚。这些变换还使得能够在变换后的域中嵌入强信号。所述信号在用于向用户呈现媒体的域中在很大程度上是不易察觉。

嵌入标记所需的修改的数量以及在对内容进行标记的域中对内容进行变换所需的计算的数量对于在需要对标记进行快速且有效的嵌入的环境中进行处理提出了挑战。这种环境的示例是采用流式传输媒体的环境，其经由网络将媒体传递给消费者电子设备。

当嵌入关于流式传输/已发送媒体的接收方的信息时，可以在接收端嵌入所述信息，从而对于每个接收方标记和发送各个流，而不会对发送方造成负担。发送方将相同媒体拷贝传递给所有接收方，并且媒体在其在接收方端被接收的时刻被标记。其后，向每一用户呈现分别标记的拷贝。在此情况下，由于接收端上的机器一般具有可用于应用标记的十分有限的处理能力，因此及时处理的限制甚至更大。这种处理能力的限制使得在如今使用的大多数分布式环境中不容许在媒体中应用包含关于接收方的信息的取证标记。

发明内容

描述了如下系统和方法，其用于在第一位置转换(render)待嵌入到媒体内容中的信息，并且在第二位置将所转换的信息嵌入到所述 媒体内容中。在很多实施例中，嵌入处理比转换处理需要更少的处理器强度，并且可以在消费者电子设备(例如机顶盒)上被执行。本发明一个实施例包括：在第一位置将所述信息转换为图像；在第二位置将所述图像嵌入在所述媒体中，以实现所述媒体内容的有效标记。

在本发明的方法的另一实施例中，将媒体内容中所嵌入的信息从频域变换为转换的图像。

在本发明的方法的另一实施例中，根据所述媒体内容的感知特性来修改所述信息。

在本发明的方法的又一实施例中，从压缩电子文件确定所述媒体内容的感知特性。

在本发明的方法的再一实施例中，所述信息包括与所述媒体内容有关的元数据。

在本发明的方法的又一实施例中，所述信息标识媒体内容回放的时间和位置。

在本发明的方法的又一实施例中，所述信息标识所述媒体内容的版权所有者或接收方。

在本发明的方法的再一实施例中，所述信息表示数据库索引。

在本发明的方法的再一实施例中，使用机顶盒的同屏显示(on-screen display)来完成所述图像的嵌入。

在本发明的方法的再一实施例中，所述第一位置是视频传递头端，所述第二位置是接收所述视频的消费者电子机顶盒。

在本发明的方法的再一实施例中，所述第一位置中所创建的图像被存储，以用于重复使用或后续使用。

本发明的实施例包括服务器，其被配置为：在第一位置转换信息，并且经由网络将转换的信息传送到连接到所述服务器的设备。此外，所述设备被配置为：在第二位置将所述图像嵌入所述媒体内容。

在本发明另一实施例中，所述网络是缆线网络，所述设备是数字机顶盒。

在本发明另一实施例中，所述服务器被配置为：从频域对将要嵌 入在所述媒体内容中的信息进行变换，以创建转换的图像。

在本发明又一实施例中，所述服务器被配置为：确定所述内容的感知特性，所述服务器被配置为：根据所述媒体内容的感知特性修改所述信息。

在本发明又一实施例中，所述服务器被配置为：从压缩电子文件确定所述媒体的感知特性。

在本发明再一实施例中，所述设备包括被配置为在输出设备上生成同屏显示的硬件，所述设备被配置为：通过将转换的信息显示为同屏显示而将转换的信息嵌入在所述媒体内容中。

在本发明的再一实施例中，所述第一位置是视频传递头端，所述第二位置是用户站点。

在本发明的再一实施例中，所述服务器被配置为：存储所转换的图像，以用于后续使用。

在本发明再一实施例中，所述设备被配置为：经由所述网络接收所述媒体内容。

附图说明

在附图中，贯穿不同的示图，相似的标号通常表示相同的部分。此外，附图并不一定是按比例的，相反，重点在于说明本发明的原理。

图1是根据本发明一个实施例的取证标记处理的示意性流程图。

图2是根据本发明一个实施例的取证标记的示意图，所述取证标记作为图像被创建，被转换为覆盖图像，并且随后被应用于视频帧，由此以所述覆盖图像来对视频帧进行标记。

具体实施方式

本发明涉及一种如下系统和方法，其将取证标记转换到基带、未压缩、空间变换图像或视频帧中，其中，以对于单个像素的修改来表示对于媒体内容(视频)的修改。随后可以通过对被转换为图像的标记与待标记图像或视频帧进行简单组合，而在不同的位置或系统中十 分有效地应用对标记的所述预处理的表现的应用。在本发明一个实施例中，经由添加操作来应用所述组合操作，在另一实施例中，经由可以基于每个像素执行的alpha混合(alpha blending)来应用所述组合操作。

在题为“Covert and Robust Mark for Media Identification”的美国专利申请No.11/489,754中描述了可以使用本发明的方法而应用的标记技术，其公开内容在此引入作为参考。

当前可用的端用户电子设备一般提供将图像组合为显示视频的有效手段。这种系统使用可用的技术在视频中显示菜单和覆盖图形。一般可以通过半透明方式来应用这些显示元素。具体地说，用于接收在网络上所传递的媒体内容的端消费者设备(比如机顶盒)提供了以此方式覆盖图形的可能性(见例如美国专利申请No.11/489,754中所描述的机顶盒)。该方法一般被称为覆盖缓冲或同屏显示。当与下面的视频显示组合时，典型地可以通过alpha混合值来调整实际操作，所述alpha混合值调整覆盖的图形的强度。所述同屏显示的普通用途是显示菜单和关于视频播放的信息，或者作为对于设备中运行的其它应用的用户接口。这种同屏显示可以用于通过允许嵌入不易察觉的取证标记信息的方式来修改媒体内容/视频。

存在将数字水印或取证跟踪信息嵌入在数字视频中的一些嵌入方法。所述方法在位置上在执行操作的空间或时间以及域中彼此不同。某些嵌入方法需要在指定的位置或按时间顺序产生操作。其它嵌入方法需要在由像素位置或特性所指定的位置处对像素进行操作。这些图像嵌入系统共有的共同特性在于，如果产生用于分析如何修改这些像素的某些前处理，则也可以通过简单地向媒体内容或视频的每一帧中的像素值进行加操作来完成对于帧的实际修改。当以此方式应用像素加操作时，可以十分有效地执行嵌入处理，因此使得环境能够通过有限处理资源来嵌入图像。

在一个实施例中，通过使用在很多机顶盒中所提供的有效图像应用方法(称为同屏显示)执行对标记进行加操作的处理，而进一步简化标记的应用。同屏显示将具有(由“alpha值”定义的)给定强度的给定的图像(在此情况下，变换后的标记)添加到视频的每一帧。

可以例如在传递内容的头端按每电影一次来执行对将要表现为图像的标记的准备。在此情况下，仅需执行一次计算，但需将数据发送到标记被嵌入的位置。或者，虽然处理资源可能是有限的，但可以在其被应用的位置进行所述准备。

用于取证标记的系统一般使用感知模型，其指示对于视频的修改更不可见的空间和时间中的位置。为了使得能够应用对视频的特性进行考虑的变形，待嵌入为标记的信息根据所发送的内容而改变。美国专利申请No.11/489,754中描述了在标记的嵌入中使用感知特性和感知模型的示例。可以通过简单的测量(例如压缩率和比特率)从已压缩的内容推导感知特性。在另一实施例中，对将要发送的视频进行一次分析，并且随电影一起存储在特定位置和帧中的感知性信息。在将电影传递给设备时，相应地对标记信息进行修改。

可以通过使用通常现有的alpha混合机制来应用被应用于根据本发明很多实施例的视频的覆盖图像，所述alpha混合机制允许以半透明方式应用图像或各个像素。在本发明一个实施例中，这种方法用于允许在嵌入标记时对于图像进行十分轻微的、不可见的操作。在另一实施例中，覆盖图像是不透明的，并且很大程度上与其正在覆盖的视频帧相同。它对于每一帧而被更新。图像与它正覆盖的视频之间的典型轻微差异构成标记。

根据本发明实施例的用于对媒体内容进行标记的系统可需要将待嵌入的信息变换到不同的域(例如频域(例如DCT、小波或快速傅立叶))。在需要变换以准备待嵌入的信息时，通常可以通过仅需要进行一次变换的方式来分离信息，并且可以将信息进行组装，以通过简单方式创建待嵌入的不同数据的变形。该修改于是通过将图像添加到视频帧而被应用在空间域中。可以通过拥有更少的处理能力的远程设备来应用该操作。

根据本发明实施例的用于对媒体内容进行标记的很多系统嵌入 独立于帧内容的静态信息。对于这些系统，可应用变换，而无需知道修改所应用的基础媒体。其它系统需要应用于实际媒体的修改，并且媒体内容根据其内容而被修改。这些系统在创建覆盖之前对内容进行分析。对视频进行分析的处理仅需要被执行一次，但其对于以不同信息所标记的每个拷贝可以应用多次。假设视频内容在短时间段上不显著改变，如果不是对每个帧而是对每N帧执行分析，则实现性能的明显增益。

参照图1，在一个实施例中，示出取证标记处理的流程图。典型压缩的原始视频内容100用于发布应该以唯一信息来最终标记的几个拷贝。为了减少发布端上的工作以及所需的发布带宽，将相同的文件以数字方式传递101到接收方的消费者电子设备145，在接收方的消费者电子设备145，它被实际地标记。在传递之前，对文件进行分析，并且确定感知模型，其标识适合于隐藏不易感知的信息的视频的位置。这对于减少在接收端处的所需的处理能力可以是有用的。当选择待嵌入的消息时105(例如当确定接收方时)，通过应用标记过程并且创建可以用于组装待嵌入的信息的组成部分来准备覆盖图像104。在从原始视频推导出的并且根据视频特性确定修改的灵敏度的感知模型103的帮助下，得出对标记进行嵌入所需的修改106。随后对该信息进行编译，以创建可以应用于视频帧中的至少一个的覆盖图像。在一个实施例中，在消费者电子设备中应用以上的标记的准备以及之后的步骤。在另一实施例中，在传输之前实现它们，并且将结果发送到消费者电子设备145。消费者电子设备将覆盖图像应用于视频帧150，以产生唯一标记的视频的组合的帧160。

参照图2，在一个实施例中，示出取证标记的示图，其被创建作为图像，被转换为覆盖图像，并且随后应用于视频帧。在该示例中，待嵌入的信息是“ABC ”201。其从预处理的标记信息被组装210为图像表现220。图像表现保存标记修改，其可以是人类可读的或机器可读的。以alpha混合参数将图像表现被转换240为覆盖图像250，alpha混合参数指示将图像220与帧260组合的强度。典型地以如下 定义的alpha混合运算来执行图像表现250与帧260的组合270，以产生标记后的视频帧280。

S_{x ， y ， f}＝I_{x ， y ， f}*α_{x ， y}+O_{x ， y ， f}*(1-α_{x ， y})

S_{x ， y ， f}是在标记的视频的帧号f中的位置x，y处的像素。

I_{x ， y}是覆盖图像的位置x，y处的像素。

α_{x ， y}是指示在位置x，y处的覆盖图像的强度的alpha值。

O_{x ， y ； f}是在原始的未标记的视频的帧号f中的位置x，y处的像素。

在某些实施例中，通过用于实施先前描述的方法的装置的形式来实现本发明的嵌入和提取。所述装置可以包括但不限于：对视频内容进行接收、解码和显示的机顶盒、VHS磁带播放器、DVD播放器、电视机、视频投影仪、相机、数码录像机、处理媒体数据的个人计算机、手持视频回放设备以及处理视频的个人管理器(参见例如美国专利申请No.11/489,754中描述的系统和机顶盒)。

在另一实施例中，通过以有形介质、盘、存储器或其它机器可读存储介质实现的程序代码的形式来实现本发明。当将程序代码加载到机器(例如计算机)或由机器来执行时，所述机器变为用于实施本发明的装置。

在其它实施例中，以程序代码的形式来实现本发明，无论所述程序代码是否存储在存储介质中，加载到机器和/或由机器来执行，或通过某种传输介质或载体(例如通过电导线或电缆、通过光纤、或经由电磁辐射)来发送。

在又一实施例中，本发明被实现为基于电路的系统。如对于本领域技术人员显而易见的那样，可以将电路元件的各种功能实现为软件程序中的处理步骤。可以在例如数字信号处理器、微控制器或通用计算机中采用所述软件。

在不脱离本发明精神和范围的情况下，本领域普通技术人员可以想到在此所描述的内容的变形、修改和其它实现方式。相应地，本发明并非仅由前述说明性描述来限定。

Claims (26)

1.一种将标记嵌入媒体内容的方法，包括：

将媒体内容传递到端消费者设备，该端消费者设备被配置成解码所述媒体内容并输出用于显示的视频帧，其中，所述端消费者设备被配置成通过alpha混合将被转换为图像的标记与待标记的视频帧进行组合，以产生组合帧，其中，所述端消费者设备被配置成输出所述组合帧，以供显示；

将所述标记转换为覆盖图像，并且利用alpha混合值对覆盖图像的强度进行调整，使得在嵌入所述标记时对视频帧的操作不可见；

利用表示组合强度的alpha混合值将被转换为覆盖图像的所述标记与待标记的所述视频帧进行组合，以通过alpha混合产生唯一标记的视频的组合帧，其中通过允许嵌入不易察觉的取证标记信息的方式来修改所述视频。

2.如权利要求1所述的方法，其中，将所述媒体内容中所嵌入的所述标记从频域变换为转换的图像。

3.如权利要求1所述的方法，其中，根据所述媒体内容的感知特性来修改所述标记。

4.如权利要求3所述的方法，其中，作为压缩文件来传递所述媒体内容，以及从压缩电子文件确定所述媒体内容的感知特性。

5.如权利要求3所述的方法，其中，所述端消费者设备确定所述媒体内容的感知模型。

6.如权利要求1所述的方法，其中，所述端消费者设备被配置成对所述标记进行转换并将所述图像嵌入所述媒体内容中。

7.如权利要求1所述的方法，其中，所述标记包括与所述媒体内容有关的元数据。

8.如权利要求1所述的方法，其中，所述标记标识媒体内容回放的时间和位置。

9.如权利要求1所述的方法，其中，所述标记标识所述媒体内容的版权拥有者或接收方。

10.如权利要求1所述的方法，其中，所述标记表示数据库索引。

11.如权利要求1所述的方法，其中，所述图像被存储，以用于重复使用或后续使用。

12.如权利要求1所述的方法，其中，在网络上传递所述媒体内容。

13.如权利要求1所述的方法，还包括：将所转换的标记显示为同屏显示。

14.如权利要求1所述的方法，其中，如下面那样实现所述alpha混合：

S_x，y，f＝I_x，y，f*α_x，y+O_x，y，f*(1-α_x，y)

其中S_x，y，f是在标记的视频的帧号f中的位置x，y处的像素；

I_x，y，f是覆盖图像的位置x，y处的像素；

O_x，y，f是在原始的未标记的视频的帧号f中的位置x，y处的像素；以及

α_x，y是指示在位置x，y处的覆盖图像的强度的alpha值。

15.一种将信息嵌入媒体内容的系统，包括：

被配置成利用同屏显示将覆盖图像嵌入媒体内容以产生组合帧的设备；

其中能够利用所述同屏显示修改所述媒体内容，使得能够通过用半透明方式以alpha值限定的强度将所述覆盖图像添加到媒体内容的每个帧，嵌入不易察觉的取证标记信息。

16.如权利要求15所述的系统，其中，所述设备是机顶盒。

17.如权利要求15所述的系统，其中，在所述媒体内容中所嵌入的所述标记信息从频域被变换为转换的图像。

18.如权利要求15所述的系统，其中：

所述设备被配置为：确定所述媒体内容的感知模型。

19.如权利要求18所述的系统，其中，

所述设备被配置为：从压缩电子文件确定所述媒体内容的感知模型。

20.如权利要求15所述的系统，其中：

所述设备包括被配置为在输出设备上生成同屏显示的硬件；

所述设备被配置为：通过将所转换的信息显示为同屏显示而将所转换的信息嵌入在所述媒体内容中。

21.如权利要求15所述的系统，其中，利用如下alpha混合运算来执行图像与帧的组合：

S_x，y，f＝I_x，y，f*α_x，y+O_x，y，f*(1-α_x，y)

其中S_x，y，f是在标记的视频的帧号f中的位置x，y处的像素；

I_x，y，f是覆盖图像的位置x，y处的像素；

O_x，y，f是在原始的未标记的视频的帧号f中的位置x，y处的像素；以及

α_x，y是指示在位置x，y处的覆盖图像的强度的alpha值。

22.一种将标记嵌入视频的方法，包括：

创建取证标记作为图像；

转换所述图像以创建覆盖图像；以及

以允许嵌入不易察觉的取证标记信息的方式来修改所述视频的帧，并且

其中，当与所述视频的帧组合时，典型地能够通过alpha混合值来调整所述修改，所述alpha混合值调整所述覆盖图像的强度。

23.如权利要求22所述的方法，其中：

使用允许以半透明方式应用图像的alpha混合机制，应用被应用于所述视频的所述覆盖图像。

24.如权利要求22所述的方法，其中

根据所述视频的感知特性来修改所述标记。

25.如权利要求24所述的方法，其中所述方法被实现为基于电路的系统，该系统具有电路元件的各种功能，并且电路元件的各种功能被实现为软件程序中的处理步骤。

26.如权利要求为23所述的方法，其中所述alpha混合机制包括以下操作：

S_x，y，f＝I_x，y，f*α_x，y+O_x，y，f*(1-α_x，y)

其中S_x，y，f是在标记的视频的帧号f中的位置x，y处的像素；

I_x，y，f是覆盖图像的位置x，y处的像素；

O_x，y，f是在原始的未标记的视频的帧号f中的位置x，y处的像素；以及

α_x，y是指示在位置x，y处的覆盖图像的强度的alpha值。