CN1547855A - 对视频帧的场进行相加 - Google Patents

Abstract

对于一些视频处理应用－最知名的水印检测(40)来说，必须对组成一个帧的两个隔行场(或者该场的部分)进行相加或者求平均。因为存在帧编码的DCT块，这个操作在MPEG域中并不是微不足道的。本发明提供一种不需要帧存储器或者快速逆向DCT而对场进行相加的方法和设备。为此目的，数学上要求的逆向垂直DCT(321)和加法(322)的操作与基本变换(323)相组合。选择基本变换使得所组合的操作物理地被稀疏矩阵(32)的乘法替代。所述稀疏矩阵乘法能够容易地被快速执行。逆向基本变换(35)被延迟到希望的加法(33，34)已经完成后进行。

Description

对视频帧的场进行相加

发明领域

本发明涉及一种对隔行视频帧图像中的场图像进行相加的方法和设备，该隔行视频图像帧采用通过图像变换获得的帧编码变换块的形式加以接收。

本发明还涉及一种检测在多个隔行视频帧的场中所嵌入的水印的方法和设备。

发明背景

一些视频处理应用需要对隔行视频帧的两个场进行相加或者求平均。这种应用的一个实例便是水印检测。国际专利申请WO-A-99/45705公开了一种视频加水印系统，采用该系统，相同的水印被嵌入视频信号的连续场中。这个系统的水印检测器累加大量帧的场，使得视频帧信号平均为零，然而水印在结构上添加了。

对隔行视频帧的两个场进行相加(或者求平均)在像素域中很普通，但是在数字(MPEG)域中却很重要。理由是MPEG编码器可能在编码之前已经连接了帧的场，并产生所谓的具有包含来自奇偶场信息的DCT块的frame_picture(帧_画面)。

图1和2表示一种图示本发明所要解决的问题的特性曲线。图1表示一种编码画面的MPEG模式。采用这种编码模式，已知为具有frame_encoded macroblock(帧_编码宏块)的frame_picture(帧画面)，两个场11和12通过交错两个场的行而被连接在一起，从而形成帧13。两个场都嵌入了相同的水印。然后，对该帧进行离散余弦变换(DCT)，将8×8的像素块变换为8×8的系数块。四个DCT块共同组成宏块14。每个DCT块表示来自第一场11中像素的一半和来自第二场12中像素的一半。

因为DCT是一种线性变换，所以对DCT系数进行相加的效果与对对应像素进行相加的效果相同。因此，水印检测器所执行的帧累加可以在DCT域中执行。逆向DCT可以被延迟到累加完成之后进行。然而，累加需要一个基于帧的存储器。因此，WO-A-99/45705中公开的系统的水印检测器(其中128×128的水印图案被平铺在每个场上)，要求256×128的缓冲器。

另一种相加两个场的普通方式是在对每个块到达时对其执行逆向DCT，然后将奇数行与偶数行相加，并将结果存入存储器。这个选项仅仅需要基于帧的存储器(也就是，水印检测器中的128×128缓冲器)，但是每个DCT块都需要一个快速逆向DCT变换，这从执行的观点来看上述两点都不具备吸引力。

图2表示另一种编码画面的MPEG模式。采用这种编码模式，已知为具有field_encoded macroblock(帧_编码宏块)的frame_picture(帧画面)，两个场11和12被通过从第一场11中取8条连续的行，接下来从第二场12中取同样的8条连续行而被连接在一起，从而形成帧15。该帧是被DCT-变换过的。四个DCT块共同组成宏块16。采用这个编码模式，一个宏块包含来自一个场的块以及来自另一个场的块，但是由一个DCT块表示的全部像素都来自相同的场。因为DCT是一种线性的变换，所以对DCT系数进行相加的效果与对对应像素进行相加的效果相同。因此，每个宏块16中两个垂直相邻的DCT块在DCT域中可以被相加到一起。这种操作需要一个基于场的存储器。逆向DCT可以被延迟到所有帧累加完成之后进行。然而，这种直接的解决方法却不能够容易地与上述用于对帧编码宏块的场进行相加的解决方法相组合。

实际上，MPEG帧画面包含被帧编码的宏块和被场编码的宏块的混合。宏块的大多数(70.85％)是帧编码的。在技术上最难办的情况也是最常见的。

发明内容和目的

本发明的目的在于提供一种用于对隔行视频图像帧的场进行相加的方法和设备，使用该方法和设备可以减轻上述问题。

为了实现这些和其它的目的，按照本发明的方法包含步骤，将帧编码块与表示逆向图像变换、场相加和预定基本变换的稀疏矩阵相乘，和对所述乘法的结果进行所述预定基本变换的逆变换。

本发明拓展了如下的数学理解，即逆向DCT和场相加的操作之后可以跟随一个基本上被基本变换的逆变换所取消的该基本变换。组合操作(逆向DCT，场相加，基本变换)物理地被单一的矩阵乘法所替代。选择基本变换使得所述矩阵乘法是一种与稀疏矩阵的乘法，也就是一个具有很少非零元素的矩阵。稀疏矩阵乘法被快速执行，但是比执行快速逆向DCT来说要容易得多。本方法只需要基于场的存储器。本发明其它显著的优点在于，逆向基本变换的执行可以延迟到所有帧(对于水印检测为20个左右)已经在场存储器中被累加之后进行。

附图描述

图1和2表示一种图示本发明所要解决的问题的特性曲线。

图3表示一种依照本发明累加帧编码宏块的设备的示意图。

图4表示一种依据本发明的设备的实施例的示意图，该设备用于累加帧编码块与场编码块的混合。

优选实施例描述

图3表示依据本发明的方法用于累加多个帧编码宏块的设备的示意图。该设备接收8×8的帧编码DCT块31(也就是，在图1中用14表示的宏块的块中的一个块)。DCT块与一个8×4的稀疏矩阵V₂相乘32。这个乘法产生一个8×4的中间值块，该块表示两个场的和。加法器33和存储器34对于所讨论的应用(也就是，水印检测)来说累加必须的多个中间块。当完成累加时，经过累加的块随后通过与矩阵U₀的乘法35进行一次逆向基本变换。最后，执行实际的应用(在这里指水印检测40)。

注意，图3中的累加存储器34是一个8×4的存储器(在该图中，每个元素按照实际矩阵大小的比例加以绘制，所述实际矩阵比例大小例如是，8×8，8×4或者4×4)。在实践中，需要两个存储器34，一个用于累加来自宏块中上层DCT块中的4个行，一个用于累加来自对应较低的DCT块的4个行。它们共同组成了一个基于场的存储器(也就是，在水印检测情况中的128×128缓冲器)。

如同图3中已经尝试使用虚线表示的那样，矩阵V₂表示三次数学操作的组合。第一次和第二次操作分别是两个场的逆向DCT 321和相加322。如同在绪言段落描述的那样，对每个收到的DCT块物理地执行逆向DCT是没有吸引力的。上述设备通过算术地将两个操作321和322的结果进行基本变换323而避免了这个问题。这种基本变换在图3中指示为U₀ ^-1。在本专利申请中使用的非常规符号U₀ ^-1表示基本变换本身，而符号U₀用于表示逆向基本变换。理由是基本变换323仅仅是一种数学符号，而逆向基本变换35被该设备物理地执行。

本发明还有利地使用这样一种理解，即逆向DCT 321仅仅需要在垂直方向执行。逆向的水平DCT(如果应用40需要在像素域中处理累加的场则是必要的)，可以被延迟到逆向基本变换35完成之后进行。因此，逆向DCT操作321通过将DCT块31与矩阵D₈ ^-1相乘来执行。作为后者的矩阵是已知的8点DCT的逆：

图3中的矩阵S是表示奇偶行之和的矩阵：

$S=\left[\begin{array}{cccccccc}1& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 1\end{array}\right]$

物理地替换三个矩阵D₈ ^-1，S和U₀ ^-1的矩阵V₂在数学上可以表示为：

V₂＝U₀ ^-1·S·D₈ ^-1

倘若逆向变换U₀存在，那么可以任意地选择基本变换U₀ ^-1。本发明在于选择一个基本变换以便使矩阵V₂是稀疏矩阵，也就是具有许多零值。发明人已经发现基本变换

U₀ ^-1＝D₄

是一种聪明的选择，其中D₄是4点DCT(参照方程式1)。这种选择得出以下的矩阵：

$V_2=\left[\begin{array}{cccccccc}{\mathrm{\α}}_0& 0& 0& 0& 0& 0& 0& 0\\ 0& {\mathrm{\α}}_1& 0& 0& 0& 0& 0& {\mathrm{\α}}_7\\ 0& 0& {\mathrm{\α}}_2& 0& 0& 0& {\mathrm{\α}}_6& 0\\ 0& 0& 0& {\mathrm{\α}}_3& 0& {\mathrm{\α}}_5& 0& 0\end{array}\right];{\mathrm{\α}}_k=\sqrt{2}\cos \left(\frac{\mathrm{\πk}}{16}\right)\mathrm{sgn}(4-k)----\left(2\right)$

矩阵V₂极其稀疏。与DCT块31的乘法每个DCT系数仅需要乘一次，这样就能够容易地被快速进行。可以看到，具有比这个矩阵中的非零数值还少的矩阵不存在。

如同已经在上述段落中提及的那样，MPEG的帧编码画面通常由帧编码宏块(图1)和场编码宏块(图2)的混合组成。不可能直接地将场编码块与累加在存储器34中且被V₂变换的帧编码块相加，因为它们所处的基础不同。当相同帧的不同块需要被相加到一起时，或者当多个帧需要被相加到一起时(两种情况都在绪言段落提及的水印检测器中发生)，这引起了问题。

图4表示一种依据本发明的设备的实施例的示意图，该设备被安排用来累加帧编码块与场编码块的混合。在该实施例中，场编码DCT块36通过与另一个矩阵V₁相乘37被变换，以便与V₂变换的帧编码DCT块31具有相同的基础。为了一致，矩阵V₁必须是：

$V_1=\left[\begin{array}{cc}{D}_4& O_4\\ O_4& D_4\end{array}\right]\·D_8^{-1}=\left[\begin{array}{cccccccc}0.707& 0.641& 0& -0.225& 0& 0.15& 0& -0.127\\ 0& 0.294& 0.707& 0.559& 0& -0.249& 0& 0.196\\ 0& -0.053& 0& 0.363& 0.707& 0.543& 0& -0.265\\ 0& 0.016& 0& -0.069& 0& 0.347& 0.707& 0.612\\ 0.707& -0.641& 0& 0.225& 0& -0.15& 0& 0.127\\ 0& 0.294& -0.707& 0.559& 0& -0.249& 0& 0.196\\ 0& 0.053& 0& -0.363& 0.707& -0.543& 0& 0.265\\ 0& -0.016& 0& -0.069& 0& 0.347& -0.707& 0.612\end{array}\right]----\left(3\right)$

其中D₄是4点DCT变换(参照方程式(1))，O₄是4×4的O矩阵。不幸的是，矩阵V₁并不是十分稀疏。然而，可以近似为：

$V_1=\frac{1}{\sqrt{2}}\left[\begin{array}{cccccccc}1& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 1\\ 1& -1& 0& 0& 0& 0& 0& 0\\ 0& 0& -1& 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& -1& 0& 0\\ 0& 0& 0& 0& 0& 0& -1& 1\end{array}\right]----\left(4\right)$

因为该矩阵每个DCT系数要求乘一次(所有乘法等同于符号操作)，所以在这个意义上讲，该矩阵是稀疏的。

假定DCT系数是均分分布的，使用方程式(4)中的V₁矩阵而不是使用方程式(3)中适当的定义将捕获场编码宏块中能量的85％。

发明人已经发现，通过稍微修改基本变换U₀以便使得更多的能量被捕获，就可以更好地处理上述，不过其结果是损失了一些帧编码能量。假定在帧编码宏块中要比场编码宏块中具有多得多的能量，那么相应的矩阵V₂和V₁就是：

$V_2=\left[\begin{array}{cccccccc}{a}_0{b}_0& 0& 0& 0& 0& 0& 0& 0\\ 0& a_1{b}_1& 0& 0& 0& 0& 0& a_7{b}_7\\ 0& 0& a_2{b}_2& 0& 0& 0& a_6{b}_6& 0\\ 0& 0& 0& a_3{b}_3& 0& a_5{b}_5& 0& 0\end{array}\right]$

和

$V_1=\frac{1}{\sqrt{2}}\left[\begin{array}{cccccccc}{a}_0& a_1& 0& 0& 0& 0& 0& 0\\ 0& 0& a_2& a_3& 0& 0& 0& 0\\ 0& 0& 0& 0& a_4& a_5& 0& 0\\ 0& 0& 0& 0& 0& 0& a_6& a_7\\ a_0& -a_1& 0& 0& 0& 0& 0& 0\\ 0& 0& a_2& a_1& 0& 0& 0& 0\\ 0& 0& 0& 0& a_4& -a_5& 0& 0\\ 0& 0& 0& 0& 0& 0& {-a}_6& a_7\end{array}\right]$

其中α_k与方程式(2)中的相同，a_i和b_i按照视频图像统计进行选择。在下列公式中，a_i和b_i能够针对这样的视频序列加以计算，该视频序列具有在帧编码DCT块列中第i个DCT系数的方差σ² _i和在场编码DCT块列中第i个DCT系数的方差τ_i ²：

$b_i=b_{8-i}=a_{2i}=\frac{1}{1+{\left(U_{(i+2)\mathrm{mod}4,i}\right)}^2};i=\mathrm{0,1,2,3}$

$a_{2i+1}=\frac{G_{i,i}+G_{i,(i+2)\mathrm{mod}4}{U}_{(i+2)\mathrm{mod}4,i}}{1+{\left(U_{(i+2)\mathrm{mod}4,i}\right)}^2};i=\mathrm{0,1,2,3}$

其中：

$G=\left[\begin{array}{cccc}0.9061& 0& -0.0747& 0\\ 0& 0.7911& 0& -0.0975\\ 0.2126& 0& -0.7682& 0\\ 0& 0.2778& 0& 0.8657\end{array}\right];$

$U=\left[\begin{array}{cccc}1& 0& U_{02}& 0\\ 0& 1& 0& U_{13}\\ U_{20}& 0& 1& 0\\ 0& U_{31}& 0& 1\end{array}\right];$

$U_{\mathrm{ij}}=-{\mathrm{\Γ}}_{\mathrm{ij}}+\sqrt{{\mathrm{\Γ}}_{\mathrm{ij}}^2+1};$

${\mathrm{\Γ}}_{\mathrm{ij}}=\frac{{\mathrm{\σ}}_j^2{\mathrm{\α}}_j^2+{\mathrm{\σ}}_{8-j}^2{\mathrm{\α}}_{8-j}^2+{\mathrm{\τ}}_{2j}^2+{\mathrm{\τ}}_{2j+1}^2(G_{\mathrm{jj}}^2-G_{\mathrm{ji}}^2)}{2{\mathrm{\τ}}_{2j+1}^2{G}_{\mathrm{jj}}{G}_{\mathrm{ji}}};j=i+2\mathrm{mod}4$

通常，a_i和b_i接近于1，使得这些矩阵与方程式(2)和(4)中定义的矩阵基本相同。

本发明可以概括如下。对于一些视频处理应用最知名的是水印检测(40)来说，必须对组成一个帧的两个隔行场(该场的部分)求和或者求平均。因为帧编码DCT块的存在，这个操作在MPEG域中不是微不足道的。本发明提供一种方法和设备，用于对场进行相加而无不要求帧存储器或者快速逆向DCT。为此目的，数学上要求的逆向垂直DCT(321)和相加(322)的操作与基本变换(323)相组合。选择基本变换使得被组合的操作在物理上被与稀疏矩阵(32)相乘而替代。所述稀疏矩阵乘法能够容易地被快速执行。逆向基本变换(35)被延迟到所希望的加法(33，34)已经完成之后进行。

Claims (9)

1.一种用于对隔行视频帧图像的场图像进行相加的方法，该隔行视频帧图像采用通过图像变换(DCT)获得的帧编码变换块的形式加以接收，该方法包括步骤：

将所述的变换块与表示所述图像变换的逆变换(D₈ ^-1)、场相加(S)以及预定基本变换(U₀ ^-1)的稀疏矩阵(V₂)相乘；

使已相乘过的变换块进行所述预定基本变换的逆变换(U₀)。

2.如权利要求1所述的方法，其中，所述隔行视频帧图像作为一种MPEG编码帧加以接收，所述的稀疏矩阵(V₂)基本上等于：

$V_2=\left[\begin{array}{cccccccc}{\mathrm{\α}}_0& 0& 0& 0& 0& 0& 0& 0\\ 0& {\mathrm{\α}}_1& 0& 0& 0& 0& 0& {\mathrm{\α}}_7\\ 0& 0& {\mathrm{\α}}_2& 0& 0& 0& {\mathrm{\α}}_6& 0\\ 0& 0& 0& {\mathrm{\α}}_3& 0& {\mathrm{\α}}_5& 0& 0\end{array}\right];$ ${\mathrm{\α}}_k=\sqrt{2}\cos \left(\frac{\mathrm{\πk}}{16}\right)\mathrm{sgn}(4-k),$ 并且

所述基本变换是4点离散余弦变换。

3.如权利要求1所述的方法，其中，所述隔行视频帧作为帧编码变换块和场编码变换块的混合加以接收，该方法还包括如下步骤：将场编码变换块与另一个矩阵(V₁)相乘，将相乘过的场编码变换块与已经相乘过的帧编码变换块相加。

4.如权利要求3所述的方法，其中另一个矩阵(V₁)是：

$V_1=\left[\begin{array}{cc}{D}_4& O_4\\ O_4& D_4\end{array}\right]\·{D_8}^{-1},$

其中D₄和D₈分别是4点和8点离散余弦变换。

5.如权利要求3所述的方法，其中另一个矩阵(V₁)基本上等于：

$V_1=\frac{1}{\sqrt{2}}\left[\begin{array}{cccccccc}1& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 1\\ 1& -1& 0& 0& 0& 0& 0& 0\\ 0& 0& -1& 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& -1& 0& 0\\ 0& 0& 0& 0& 0& 0& -1& 1\end{array}\right]$

6.一种用于对隔行视频帧图像(13)的场图像(11，12)进行相加的设备，该隔行帧图像采用通过图像变换DCT获得的帧编码变换块(14，31)的形式加以接收，该设备包括：

装置(32)，用于将所述变换块与表示所述图像变换的逆变换(321)、场相加(322)和预定基本变换(323)的稀疏矩阵(V₂)相乘；

装置(35)，用于使相乘过的变换块进行所述预定基本变换的逆变换(U₀)。

7.如权利要求6所述的配置，其中，所述隔行视频帧作为帧编码变换块(14，31)和场编码变换块(16，36)的混合加以接收，该设备还包括装置(37)，用于将场编码变换块与另一个矩阵(V₁)相乘，以及将相乘过的场编码变换块与相乘过的帧编码变换块相加。

8.种检测在多个隔行视频帧的场中所嵌入的水印的方法，所述隔行视频帧采用通过图像变换DCT所获得的帧编码变换块(14，31)的形式加以接收，该方法包括步骤：

将所述变换块与表示所述图像变换的逆变换(U₈ ^-1)、场相加(S)和预定基本变换(34)的稀疏矩阵(V₂)相乘；

在缓冲器(34)中空间累加(33)所述相乘过的变换块中的相应变换块；

使所述累加的相乘过的变换块进行所述预定基本变换的逆变换(U₀)；

检测所述缓冲器中的水印。

9.如权利要求8所述的方法，其中，所述隔行视频帧作为帧编码变换块和场编码变换块的混合加以接收，该方法还包括步骤：将场编码变换块与另一个矩阵(V₁)相乘，并且在所述缓冲器(34)中空间累加(33)所述相乘过的场编码变换块中的相应变换块。

Images