CN101031090A - 视频序列处理方法和实现该方法的装置 - Google Patents

Abstract

本发明涉及内容保护领域，具体涉及电影院中可携式摄像机获取内容且随后很快地进行非法分发，这严重地损害了内容所有者的收入。已知的是，使用颜色调制的反携带式系统会受到可携式摄像机中较低快门速度的欺骗。现今，快门速度由可携式摄像机根据所拍摄的视频源而自动确定。在自动配置中，快门速度针对运动检测或闪烁检测而进行自我调整，这两种检测都仅考虑到亮度改变。本发明提出了一种双重颜色/亮度调制，用于克服自动快门速度调整。例如，以50/60Hz来执行颜色调制，并增加了以更高的频率100/120Hz而执行的亮度调制，从而强制可携式摄像机以较高的快门速度工作。

Description

视频序列处理方法和实现该方法的装置

技术领域

本发明涉及一种对反可携式摄像机(camcorder)系统环境中的视频图像序列进行处理的方法和实现该方法的一种装置，其中所述方法用于减少电影院中的盗版行为。

背景技术

可视内容(无论是固定图像还是移动图像)通常是能够从与创作者权利相关的排他性保证中获益的创作。通常，仅在严格限定的框架内允许可视内容的复制，该框架允许给予创作者和他们的受益人酬劳。

为了确保恰当地遵守这些法规，已经开发出多个系统，用于防止非法复制或使副本的品质降到足够低，从而使副本不可用。

在这种环境下，专利申请EP 1 237 369旨在防止通过摄像机对正在放映的图像进行拷贝，例如在电影院中使用可携式摄像机进行拷贝。在这个文档中已经提出：以较高速率围绕将要显示的数值对表示反盗版消息的选定像素的亮度幅度进行时间调制，这使得反盗版消息对于人眼是不可见的，但是能够在摄像机拍摄的序列中产生伪像。这种解决方案需要以高于闪烁频率(大约50Hz)的速率进行调制，因此仅能够用于具有较高图像刷新率(至少是大约100Hz)的投影系统。

在专利申请WO 05/027529中已经提出：对像素的颜色而不是亮度进行调制。这个解决方案需要以高于色融合频率(如图1所示大约为20Hz)的速率进行调制。

下文对选定像素的颜色调制进行更加详细的描述。这个处理包括：对输入视频帧进行加倍；以人眼不可见但对摄像机的景象产生影响的方式，在修改其它两个分量(CIE1931 X和Z)的同时保持可视亮度(CIE1931 Y)不变。以人眼不可见的方式围绕将要显示的颜色值对两个颜色分量X和Z进行调制。描述了电学领域中像素颜色的每一个输入三元组R₀G₀B₀导致产生了两个输出三元组R₁G₁B₁和R₂G₂B₂，这两个输出组验证了CIE1931 XYZ颜色空间的下述公式：

$\left\{\begin{array}{c}{Y}_1=Y_2=Y_0\\ X_1+X_2=2\·X_0\\ Z_1+Z_2=2\·Z_0\end{array}\right.---\left(1\right)$

在数学上讲，关系式(1)的含义是：基于X₀和Z₀的值产生两个调制的信号X_m(t)和Z_m(t)：

$\left\{\begin{array}{c}{X}_m\left(t\right)=X_0(1+\cos \left(2\mathrm{\π}{f}_{m}t\right))\\ Z_m\left(t\right)=Z_0(1+\cos \left(2\mathrm{\π}{f}_{m}t\right))\end{array}\right.---\left(2\right)$

其中调制频率f_m等于例如48Hz，而且刷新频率f_r＝2f_m＝96Hz引入了时间离散化(n∈N t＝n/f_r)。

把f_r、f_m和t的属性应用于等式(2)，获得下面的等式：

$\left\{\begin{array}{c}{X}_m\left(t\right)=X_0(1+\cos \left(\mathrm{n\π}\right))\\ Z_m\left(t\right)=Z_0(1+\cos \left(\mathrm{n\π}\right))\end{array}\right.---\left(3\right)$

当X₁＝X_m(t)|_n＝0、X₂＝X_m(t)|_n＝1、Z₁＝Z_m(t)|_n＝0、Z₂＝Z_m(t)|_n＝1时，等式(3)与等式(1)在整个周期上(2π→n＝{0，1})的性质相同。

等式(2)描述了利用频率f_m(示例中为48Hz)的正弦载波对信号X₀和Z₀的幅度进行调制。幅度调制(AM)是模拟和数字通信中公知的技术，用于把频谱移动到较高频率上来克服信号传输问题。在这种情况下，通过增加视频信号的带宽，允许产生可携式摄像机采集中的混叠伪像。设置了附加的约束Y_m(t)＝Y₀以确保人眼不可见，其中人眼能够察觉到48Hz的亮度闪烁，但是不会察觉到颜色闪烁。

图2至4示出了通过使用可携式摄像机产生颜色伪像。这个演示仅针对数值X₀。

假定数值X₀在较短的时间段内恒定。因此，信号X₀的原始频谱可以由图2描述。幅度调制(AM)是载波信号的幅度取决于调制信号的幅度而变化的一种调制。基本的AM操作在于：把调制信号(例如X₀(t))与频率为f_m(在本示例中，f_m＝48Hz)的载波信号相乘。调制后信号X_m(t)的频谱如图3所示。时间离散化(出现在模拟和数字电影院中)导致了具有频率f_r＝96Hz的作为结果的频谱的周期化，这可以从图4的左上图和右图中看出。

由于调制和离散化操作都设法保持0-48HZ频带中(包括人眼可以察觉颜色闪烁的频带)不出现额外的频谱内容，当观看调制后的电影时，观众将不会注意到任何异常(图4的左下图)。然而，可携式摄像机将对调制后的/离散频谱进行采样，其中所使用的采样频率是f_s＝50Hz(PAL标准：每秒50个交织帧)或f_s＝60Hz(NTSC标准：每秒60个交织帧)，由于不再满足奈奎斯特-香农采样定理(f_s＜2f_m)，在这两种情况下都会产生混叠伪像。由于它们出现在0-20Hz频带内，人们将会看到这些伪像，从而干扰了非法录制视频的可视性(图4的右下图)。

然而，实际的颜色调制不足以克服近来可携式摄像机的自动快门速度设定。实际上，在可携式摄像机技术中，可视信号捕获/采样过程首先要求CCD/CMOS传感器的曝光具有特定时间量。尽管多数视频可携式摄像机所使用的快门不是机械的，还是将曝光表示为“快门速度”。曝光时间是CCD/CMOS传感器暴露在快门带来的入射光下的时间间隔，而集成时间定义为可携式摄像机的时钟被设置为捕捉并保持电荷的时钟间隔。对于CCD，当CCD被清除时开始集成。从清除结束开始计数，直到CCD开始读出为止。在频域中，可以把快门与低通滤波器进行比较，曝光时间与滤波器的截止频率直接相关。

对于新式可携式摄像机所面临的问题是，近来增加了自动快门速度调整。自动快门对亮度变化进行测量，从而对可携式摄像机自有的曝光时间重新进行调整。结果，当拍摄电影屏幕时，由于变化很少会超过48Hz(由于亮度闪烁引起双快门，模拟电影院中为48Hz，或由于运动，无闪烁数字电影院中为12Hz)，自动快门将会把曝光时间设置为缺省值1/50(PAL)或1/60(NTSC)，因而用作50/60Hz的低通滤波器并去除了颜色调制效果。

发明内容

本发明的目的是提出一种用于防止电影院中非法拷贝的方法，更具体地，提出一种用于克服近来的数字视频捕获设备中出现的自动快门速度调整。

为此，根据本发明提出了一种双重颜色/亮度调制。利用高于颜色调制载波频率的载波频率进行附加的亮度调制，将这个亮度调制应用于图像中的像素，强制数字可携式摄像机以较高的快门速度工作，而且防止自动快门配置去除颜色调制效应。

本发明涉及一种用于对视频图像序列进行处理的方法，包括：颜色调制步骤，用于围绕所述图像将要显示的颜色值对序列中至少一幅图像的第一像素组的颜色幅度进行时间调制，按照如下方式选择所述颜色调制：所述颜色调制对于人眼是不可见的，但是当数字视频捕获设备捕获所述视频图像时，所述颜色调制同时会产生由于混叠引起的伪像。根据本发明，所述方法还包括：亮度调制步骤，用于围绕所述图像将要显示的亮度值对序列中图像的第二像素组的亮度幅度进行时间调制，选择所述亮度调制步骤中的调制频率(被称作亮度调制频率)，使其实质上大于颜色调制步骤中的调制频率(被称作颜色调制频率)。

在具体操作模式下，亮度调制频率实质上等于与所述数字视频捕获设备的快门速度相关的频率，例如对于NTSC可携式摄像机是100Hz，对于PAL可携式摄像机为120Hz。

第一像素组(对其中的颜色进行调制)表示警告消息。

优选地，亮度调制应用于图像中的所有像素。在这种情况下，亮度调制频率的选择实质上可以与用于显示所述视频图像序列的显示设备的刷新频率相等，而且可以通过在每一个用于显示图像的时间段的结束处关闭显示设备来进行亮度调制。

本发明还涉及一种装置，用于显示由视频图像序列的视频信号所表示的视频图像序列，所述装置包括：

-颜色调制电路，用于围绕所述图像将要显示的颜色值对序列中每一个图像的第一像素组的颜色幅度进行时间调制，按照如下方式选择所述颜色调制：所述颜色调制对于人眼是不可见的，但是当数字视频捕获设备捕获所述视频图像时，所述颜色调制同时会产生由于混叠引起的伪像；以及

-显示电路，用于把所述调制后的图像显示在屏幕上。

根据本发明，还包括：亮度调制电路，用于围绕所述图像将要显示的亮度值对序列中每一个图像的第二像素组的亮度幅度进行时间调制，选择所述亮度调制步骤中的调制频率(被称作亮度调制频率)，使其实质上大于颜色调制步骤中的调制频率。

附图说明

附图中示出了本发明的典型实施例，并且将在下文中对典型实施例进行更加详细的说明。图中：

图1是示出了人眼对颜色闪烁的敏感度的示意图；

图2示出了调制信号的频谱；

图3示出了调制后信号的频谱；

图4示出了多个示意图，这些示意图示出了当数字可携式摄像机捕获视频序列时所产生的伪像；

图5示出了本发明方法的一种可能的电路实施方式；以及

图6示出了用于颜色调制的两个互补颜色值的选择。

具体实施方式

为了克服快门速度自我调整，提出了如下内容：除了颜色调制之外，还利用高于颜色调制频率的载波频率对图像中的某些像素的亮度进行调制。由于可携式摄像机试图把它的快门与亮度变化进行同步，所以附加的亮度调制将会强制快门减少其曝光时间(即增大快门相关滤波器的截止频率)。

亮度调制的载波频率(称作亮度调制频率)必须足够高以便增大快门带宽并确保颜色调制的完整传输，这是因为自动快门通常被构思为与这种频率进行同步。对于NTSC可携式摄像机，参考值为100Hz；对于PAL可携式摄像机，参考值为120Hz。这些快门速度设置用于避免来自50/60Hz AC供电光源(像氖管)的干扰。

例如，颜色调制频率等于50Hz且亮度调制频率等于100Hz。亮度振动把可携式摄像机的曝光时间设置为1/100。虽然与100Hz改变同步，一旦进行记录，作为结果的快门配置使另一个50Hz的颜色调制自始至终产生影响并产生颜色伪像。

与颜色调制相反，这个亮度调制并非必然需要刷新频率增大。可以通过在每一帧的结束处把屏幕照明关闭较短的时间段来应用亮度调制。由于亮度调制的目的仅是使可携式摄像机的曝光时间自我调整失效，所以亮度调制不需要应用于特定的像素。颜色调制与此不同，它应用于某些像素从而在屏幕上产生警告消息。所以，亮度调制可以应用于图像中的所有像素或一部分像素。

亮度调制能够与投影系统的刷新信号同步。可以通过在每一帧中(例如在每一帧的结束处)把图像显示关闭非常短的时间段来执行亮度调制。

图5示出了本发明方法的一种可能的电路实施方式。在例如YUV颜色空间的颜色空间中，对24fps原始视频序列进行调制，其中贯穿该序列，以50Hz(PAL)或60Hz(NTSC)或优选地在50Hz与60Hz之间变化的频率进行调制。这个颜色调制在块10中实现。然后，把调制后的序列转送到具有刷新频率120Hz(120Hz允许50Hz和60Hz的颜色调制)的投影系统20。

对于将要显示的颜色值P₀，使用等式(2)的完整表达式来计算两个颜色值P₁和P₂。如果颜色调制频率并非恰好是刷新频率的一半，例如如果颜色调制频率在50Hz和60Hz之间交替变化且刷新频率是120Hz，那么P₁或P₂每帧都发生变化。

图6示出了YUV彩色空间中与P₀(U₀，V₀)相对照的对称颜色值P₁(U₁，V₁)和P₂(U₂，V₂)。为了找出最大幅度(|U₂-U₁|，|V₂-V₁|)以创建最大反盗版效应，优选地计算P₁和P₂。可以通过下面的公式来确定给定帧t＝n/f_r的每一个点P_n(U_n，V_n)

          P_n＝P₀+(P₁-P₀)cos(2πf_mt)        (4)

由于120Hz＝5×24Hz，所以原始序列的每一个帧将用于产生5个调制后的帧。然后，利用120Hz刷新速率来投影调制后的序列，而且同步脉冲平方调制系统30在例如每一个帧的结束处，每1/120秒把投影系统关闭非常短的时间段。

Claims (12)

1.一种用于对视频图像序列进行处理的方法，包括：颜色调制步骤，用于围绕所述图像将要显示的颜色值对序列中至少一幅图像的第一像素组的颜色幅度进行时间调制，按照如下方式选择所述颜色调制：所述颜色调制对于人眼是不可见的，但是当数字视频捕获设备捕获所述视频图像时，所述颜色调制同时会产生由于混叠引起的伪像；

其特征在于，所述方法还包括：亮度调制步骤，用于围绕所述图像将要显示的亮度值对序列中所述至少一幅图像的第二像素组的亮度幅度进行时间调制，选择被称作亮度调制频率的所述亮度调制步骤中的调制频率，使所述亮度调制频率实质上大于被称作颜色调制频率的颜色调制步骤中的调制频率(fm)。

2.根据权利要求1所述的方法，其中亮度调制频率实质上等于与所述数字视频捕获设备的快门速度相关的频率。

3.根据权利要求1或2所述的方法，其中亮度调制频率实质上等于100Hz或120Hz。

4.根据权利要求1至3中任意一项所述的方法，其中第一像素组表示警告消息。

5.根据权利要求1至4中任意一项所述的方法，其中第二像素组是整个图像。

6.根据权利要求5所述的方法，其中亮度调制频率实质上等于用于显示所述视频图像序列的显示设备的刷新频率。

7.根据权利要求6所述的方法，其中通过在用于显示图像的每一个时间段的结束处，关闭显示设备来进行所述亮度调制。

8.一种装置，用于显示由视频图像序列的视频信号所表示的视频图像序列，所述装置包括：

-颜色调制电路(10)，用于围绕所述图像将要显示的颜色值对序列中每一幅图像的第一像素组的颜色幅度进行时间调制，按照如下方式选择所述颜色调制：所述颜色调制对于人眼是不可见的，但是当数字视频捕获设备捕获所述视频图像时，所述颜色调制同时会产生由于混叠引起的伪像；

-显示电路(20)，用于把所述调制后的图像显示在屏幕上；

其特征在于，所述装置还包括：亮度调制电路(30)，用于围绕所述图像将要显示的亮度值对序列中每一幅图像的第二像素组的亮度幅度进行时间调制，选择被称作亮度调制频率的所述亮度调制步骤中的调制频率，所述使亮度调制频率实质上大于颜色调制步骤中的调制频率(fm)。

9.根据权利要求8所述的装置，其中其中第一像素组表示警告消息。

10.根据权利要求8或9所述的装置，其中第二像素组是整个图像。

11.根据权利要求10所述的装置，其中显示电路(20)以刷新频率把调制后的图像显示在屏幕上，而且亮度调制频率实质上等于所述刷新频率。

12.根据权利要求11所述的装置，其中在用于显示图像的每一个时间段的结束处，所述亮度调制电路(30)关闭显示电路(20)。

Images