CN101601070B - 用于生成画面显著度图的设备和方法 - Google Patents

Abstract

本发明涉及用于为画面序列中的一个画面生成显著度图的方法，其中画面被分成多个像素块。该方法包括为每个画面块计算显著值的步骤。根据本发明，显著值等于该块的自信息，其中该自信息取决于该块的空间和时间背景。

Description

用于生成画面显著度图的设备和方法

技术领域

本发明涉及一种用于为画面序列中的一个画面生成显著度图的方法和设备。

背景技术

吸引人们注意的显著视觉特征对于包括基于内容的编码、压缩、传输/速率控制、索引、浏览、显示和呈现的视频分析和处理可以是重要而有力的提示。用于检测和提取视觉显著特征的现有技术方法主要用来处理静止的画面。少数处理画面序列的方法首先独立计算空间和时间显著值，然后以某些相当任意的方式将其组合，以便生成时空显著值。空间显著值一般基于各种视觉特征(密度、颜色、纹理等)的对比度的计算结果(采用某些探索的方式)。这些方法通常假定时间显著值与运动相关。因此，首先通过使用现有技术的运动估算方法来估计运动区域，然后计算时间显著值为估计运动区域的某些探索选择的函数。

这些方法具有很多的缺陷。首先，我们知道精确估计运动区域是很困难的任务。第二，即使有了精确的运动区域，这些运动区域和时间显著值间的关系也并非简单明了。因此，基于估计运动区域计算精确的时间显著值是很困难的。第三，假定可以正确计算空间和时间显著值，这些值的组合也并非简单明了。现有技术的方法经常以任意方式加权时间和空间显著值，以获得时空显著值的总值，该总值通常并不精确。

发明内容

本发明的目的是解决现有技术的至少一个缺陷。本发明涉及用于为画面序列中的一个画面生成显著度图的方法，其中该画面被分成多个像素块，该方法包括为画面的每一块计算显著值的步骤。根据本发明，显著值等于该块的自信息，其中自信息取决于该块的空间和时间背景。

优选地，基于观测给定了空间和时间背景的块的概率来计算自信息，该概率是观测给定了空间背景的该块的概率与观测给定了时间背景的该块的概率的乘积。

根据一个优选实施例，按如下步骤对观测给定了空间背景的块的概率进行估计：

将画面的每个块与一组K次系数相关联，其中K为正整数，通过第一预定变换对该块进行变换以生成该组系数；

对于每个k次系数，估计其在所述画面内的概率分布，k∈[1；K]；以及

计算观测给定了空间背景的该块的概率为与该块相关联的组的每个系数的概率的乘积。

优选地，第一预定变换为二维离散余弦变换。

有利地，基于观测第一卷的概率以及基于观测第二卷的概率来估计观测给定了时间背景的块的概率，定位有该块的画面称作当前画面，第一卷包括在当前画面之前的N个画面内的与当前画面内的该块协同定位的多个块，第二卷包括第一卷和当前画面内的该块，其中N为正整数。

优选地，按如下步骤对观测第一卷的概率进行估计：

将一组P次系数与每个卷相关联，其中，每个卷包括在当前画面之前的N个画面内的与当前画面中的一个块协同定位的多个块，其中，P为正整数，通过第二预定变换对所述卷进行变换以生成该组系数；

对于每个p次系数，估计其概率分布，p∈[1；P]；以及

计算观测第一卷的概率为与第一卷相关联的组的每个系数的概率的乘积。

优选地，按如下步骤对观测第二卷的概率进行估计：

将一组Q次系数与每个卷相关联，其中每个卷包括当前画面中的一个块和在当前画面之前的N个画面内与该一个块协同定位的多个块，其中Q为正整数，通过第二预定变换对所述卷进行变换以生成该组系数；

对于每个q次系数，估计其概率分布，q∈[1；Q]；以及

计算观测第二卷的概率为与第二卷相关联的组的每个系数的概率的乘积。

有利地，第二预定变换为三维离散余弦变换。

本发明还涉及用于为画面序列中的一个画面生成显著度图的设备，其中该画面被分成多个像素块，该设备包括用于为该画面中每个块计算显著值的装置，其特征在于，显著值等于该块的自信息，该自信息取决于该块的空间和时间背景。

本发明还涉及包括了用于执行如上文所述的显著度图计算方法的步骤的程序代码指令的计算机程序产品，其中程序在计算机上执行。

附图说明

随着下文对本发明的一些实施例的描述，本发明的其他特征和优点将变得显而易见，其中描述与各图有关，其中：

图1描述了被分成多个像素块的画面序列；

图2描述了根据本发明的方法的流程图；

图3描述了根据本发明的用于产生显著度图的设备的框图；

图4描述了画面序列中的一张画面；

图5描述了图4所描述的画面的时空显著度图；

图6描述了图4所描述的画面的时间显著度图；以及

图7描述了图4所描述的画面的空间显著度图

具体实施方式

根据本发明的方法包括为画面序列中的图4所示的画面生成如图5所示的时空显著度图。显著度图定义为显著特征的二维地形表示。为达到这个目标，本发明包括为画面中的每个像素块计算时空显著值。

参考图1，序列的画面F(t)被分为多个像素块，t是时间参量。n乘以m个像素的每个块B(x，y，t)称作时空事件。因此事件B(x，y，t)为位于画面F(t)中空间坐标(x，y)处的像素块。来自画面F(t)、F(t-1)，...，F(t-N+1)的N个协同定位块(即，与B(x，y，t)定位在相同空间位置(x，y)的多个块)形成表示为V(x，y，t)的时空卷(spatio-temporal volume)，其中N是预定的正整数。对于N，2帧的值是模块的精确度和复杂度间的良好折中。V(x，y，t)记录了定位在(x，y)上的块是怎样随时间演变的。

时空事件B(x，y，t)的唯一性受到其空间和时间背景的影响。如果事件在空间背景中是唯一的，那么该事件可能是显著的。相似地，如果该事件在时间背景中是唯一的，那么该事件也可能是显著的。空间背景和时间背景均影响时空事件的唯一性。因此，根据第一实施例，为画面F(t)中给定像素块B(x₀，y₀，t)计算时空显著值SSS(B(x₀，y₀，t))作为包含在给定其空间和时间背景的事件B(x₀，y₀，t)中的自信息I_st(B(x₀，y₀，t))的量。自信息I_st(B(x₀，y₀，t))表示当一个人认识到B(x₀，y₀，t)已经发生时所获得的信息的量。根据香农信息论，自信息I_st(B(x₀，y₀，t))的量定义为发生概率的正且递减函数f，例如，I_st(B(x₀，y₀，t))＝f(p(B(x₀，y₀，t)|V(x₀，y₀，t-1)，F(t)))，其中f(1)＝0，f(0)＝无穷，如果x和y为两个独立事件，则f(P(x)*P(y))＝f(P(x))+f(P(y))。f定义如下：f(x)＝log(1/x)。因此根据香农信息论，事件x的自信息I(x)与观测x的似然成反比。

因此，与决B(x₀，y₀，t)相关联的时空显著值SSS(B(x₀，y₀，t))定义如下：SSS(B(x₀，y₀，t))＝I_st(B(x₀，y₀，t))＝-log(p(B(x₀，y₀，t)|V(x₀，y₀，t-1)，F(t)))。事件B(x₀，y₀，t)的空间背景是画面F(t)。事件B(x₀，y₀，t)的时间背景是卷V(x₀，y₀，t-1)，即，与块B(x₀，y₀，t)协同定位并定位在画面F(t)之前的N个画面中的块组。如果画面F(t’)中的块与画面F(t)中的块B(x₀，y₀，t)定位在相同的位置(x₀，y₀)，那么画面F(t’)中的块与块B(x₀，y₀，t)协同定位。

为了简化对显著值的计算，假设空间和时间条件为独立的。因此，连合条件概率p(B(x₀，y₀，t)|V(x₀，y₀，t-1)，F(t))可以重写为如下：p(B(x₀，y₀，t)|V(x₀，y₀，t-1)，F(t))＝p(B(x₀，y₀，t)|V(x₀，y₀，t-1))*p(B(x₀，y₀，t)|F(t))。因此，根据图2所示的优选实施例，对与给定块B(x₀，y₀，t)相关联的时空显著值进行如下计算：

SSS(B(x₀，y₀，t))＝-log(p(B(x₀，y₀，t)|V(x₀，y₀，t-1)))-log(p(B(x₀，y₀，t)|F(t)))

图2中示出的方框是纯粹的函数实体，其不一定对应于物理分离的实体。也就是，这些方框可以以软件的形式扩展，或者在一个或多个集成电路中实施。令SSS_t(B(x₀，y₀，t))＝-log(p(B(x₀，y₀，t)|V(x₀，y₀，t-1)))以及SSS_s(B(x₀，y₀，t))＝-log(p(B(x₀，y₀，t)|F(t)))。有利地，时空事件B(x₀，y₀，t)的两个条件概率p(B(x₀，y₀，t)|V(x₀，y₀，t-1))和p(B(x₀，y₀，t)|F(t))是独立估计的。与独立计算空间和时间显著值，然后以任意方式将其组合在一起的先前方法不同，在本发明中，分解值是自然数并从关联的时空显著值中得出。因此本发明提供了更有意义的显著度图。此外，通过假定空间和时间条件的独立，计算事件B(x₀，y₀，t)的时空显著值会更快并能实现实时处理。

由卷V(x₀，y₀，t)和V(x₀，y₀，t-1)的概率估计时间条件概率p(B(x₀，y₀，t)|V(x₀，y₀，t-1))10。实际上，

$p\left(B(x_0,y_0,t)\right|V(x_0,y_0,t-1))=\frac{p(B(x_0,y_0,t),V(x_0,y_0,t-1))}{p\left(V(x_0,y_0,t-1)\right)}=\frac{p\left(V(x_0,y_0,t)\right)}{p\left(V(x_0,y_0,t-1)\right)}$ (等式1)。

为了估计p(V(x₀，y₀，t))和p(V(x₀，y₀，t-1))的概率，高维数据集V(x，y，t)被投射到不相关的向量空间。例如，如果N＝2，m＝n＝4，则V(x，y，t)∈R³²，即，至32维向量空间。令φ_k(k＝1，2，...K)为K正交变换向量空间基(vector space basis)。如果V(x，y，t)∈R³²，则K＝32。因此按如下方法估计时空概率p(V(x₀，y₀，t))：

步骤1：对于每个位置(x，y)，在向量空间基中计算V(x，y，t)的系数c_k(x，y，t)如下：c_k(x，y，t)＝φ_kV(x，y，t)

步骤2：估计c_k(x，y，t)的概率分布p_k(c)；以及

步骤3：计算概率p(v(x₀，y₀，t))如下： $p\left(V(x_0,y_0,t)\right)=\underset{k}{\mathrm{\Π}}{p}_k\left({\mathrm{\φ}}_{k}V(x_0,y_0,t)\right).$ 概率p(V(x₀，y₀，t-1))用相同方法来估计。

接着，根据(等式1)由p(V(x₀，y₀，t))和p(V(x₀，y₀，t-1))计算时间显著值SSS_t(B(x₀，y₀，t))20。时间显著度图如图6所示。

上文所描述的用于估计概率p(V(x₀，y₀，t))的方法用来估计概率p(B(x₀，y₀，t))30，空间条件概率p(B(x₀，y₀，t)|F(t))等于p(B(x₀，y₀，t))，因为只有当前帧F(t)影响时空事件B(x₀，y₀，t)的唯一性。因此，为了估计p(B(x₀，y₀，t)|F(t))，只需估计相对画面F(t)中所有事件的时空事件B(x₀，y₀，t)的概率，如下：

步骤1：对于每个位置(x，y)，计算向量空间基中B(x，y，t)的系数d_k(x，y，t)如下：d_k(x，y，t)＝φ_kB(x，y，t)

步骤2：估计d_k(x，y，t)、p_k(d)的概率分布；以及

步骤3：计算概率p(B(x₀，y₀，t))如下： $p\left(B(x_0,y_0,t)\right)=\underset{k}{\mathrm{\Π}}{p}_k\left({\mathrm{\φ}}_{k}B(x_0,y_0,t)\right).$

优选地，2D-DCT(离散余弦变换)用来计算概率p(B(x₀，y₀，t))。在16-D向量(d₀(x，y，t)，d₁(x，y，t)，....，d_K(x，y，t))中变换当前画面F(t)中的每个4x4块B(x，y，t)(步骤1)。通过计算每个维度k中的直方图来估计画面中的概率分布p_k(d)(步骤2)。最后，基于这些已估计的分布获得多重概率p(B(x₀，y₀，t))作为每个系数d_k(x，y，t)的概率p_k(φ_kB(x₀，y₀，t))的乘积。相同的方法适用于计算概率p(V(x₀，y₀，t))和概率p(V(x₀，y₀，t-1))。然而，在这种情况下使用3D-DCT代替2D-DCT。该方法从而能够对CIF格式的画面以大于每秒30张的速度进行实时处理。此外，因为该模型以信息理论为基础，所以比基于统计学和探索的现有技术的方法更有意义。例如，如果一个块的时空显著值为1而另一个块的时空显著值为2，那么在相同的情况下，第一块比第二块约重要2倍。这种结论不能通过现有技术的方法获得的时空显著度图中得出。

接着由概率p(B(x₀，y₀，t))计算空间显著值SSS_s(B(x₀，y₀，t))40如下：SSS_s(B(x₀，y₀，t))＝-log(p(B(x₀，y₀，t)))。空间显著度图如图7所示。

最后计算总的显著值SSS(B(x₀，y₀，t))为时间和空间显著值的和50。

参考图3，本发明还涉及执行之前所描述的方法的设备3。图3中仅示出了设备3的主要元件。设备3具体地包括：随机存取存储器302(RAM或类似元件)、只读存储器303(硬盘或类似元件)、诸如微处理器或类似元件的处理单元304、输入/输出接口305和人机接口306。这些元件通过地址和数据总线301连接在一起。只读存储器303包含执行根据本发明的方法的步骤10至50的算法。在启动电源时，处理单元304加载和执行这些算法的指令。随机存取存储器302具体地包含用于运行加载有设备电源和待处理画面的处理单元304的程序。输入/输出接口305具有接收输入信号(诸如画面序列)的功能并输出根据本发明的方法的步骤10至50生成的显著度图。设备的人机接口306允许操作者中断处理。计算得到的画面的显著度图存储在随机存取存储器中，接着转移到只读存储器中以便为后续处理存档。人机接口306具体地包括控制面板和显示屏。

对画面序列中的画面生成的显著度图可以有利地促进包括基于内容的编码、压缩、传输/速率控制、画面索引、浏览、显示器和视频质量估计的视频处理和分析。

Claims (7)

1.一种用于为画面序列中的一个当前画面生成显著度图的方法，所述当前画面被分成多个像素块，所述方法包括为所述画面的每个块计算显著值的步骤，其特征在于，对于当前块，所述显著值等于香农信息理论中所定义的所述当前块的自信息，所述自信息是基于观测给定了空间和时间背景的所述当前块的概率来计算的，所述概率是观测给定了空间背景的所述当前块的概率与观测给定了时间背景的所述当前块的概率的乘积。

2.根据权利要求1所述的方法，其中，按如下步骤对观测给定了空间背景的所述当前块的概率进行估计：

将所述画面的每个块与一组K次系数相关联，其中K为正整数，通过第一预定变换对所述每个块进行变换以生成该组系数；

对于每个k次系数，估计其在所述当前画面内的概率分布，k∈[1；K]；以及

计算观测给定了空间背景的所述当前块的概率为与所述当前块相关联的组的每个系数的概率的乘积，以及

其中，基于观测第一卷的概率以及基于观测第二卷的概率来估计观测给定了时间背景的所述当前块的概率，所述第一卷包括在其中定位有所述当前块的当前画面之前的N个画面内的与所述当前块协同定位的多个块，所述第二卷包括在所述当前画面之前的N个画面内的与所述当前块协同定位的多个块、以及所述当前画面内的所述当前块，其中N为正整数。

3.根据权利要求2所述的方法，其中，所述第一预定变换为二维离散余弦变换。

4.根据权利要求3所述的方法，其中，按以下步骤对观测所述第一卷的概率进行估计：

将一组P次系数与每个卷相关联，其中，所述每个卷包括在所述当前画面之前的N个画面内的与所述当前画面中的一个块协同定位的多个块，其中，P为正整数，通过第二预定变换对所述每个卷进行变换以生成所述的一组P次系数；

对于每个p次系数，估计其概率分布，p∈[1；P]；以及

计算观测所述第一卷的概率为与所述第一卷相关联的组的每个系数的概率的乘积。

5.根据权利要求3所述的方法，其中，按如下步骤对观测所述第二卷的概率进行估计：

将一组Q次系数与每个卷相关联，其中所述每个卷包括所述当前画面中的一个块和在所述当前画面之前的N个画面内与所述一个块协同定位的多个块，其中Q为正整数，通过第二预定变换对所述每个卷进行变换以生成所述的一组Q次系数；

对于每个q次系数，估计其概率分布，q∈[1；Q]；以及

计算观测所述第二卷的概率为与所述第二卷相关联的组的每个系数的概率的乘积。

6.根据权利要求4或5所述的方法，其中，所述第二预定变换为三维离散余弦变换。

7.一种用于为画面序列中的当前画面生成显著度图的设备，所述当前画面被分成多个像素块，所述设备包括用于为所述画面的每个块计算显著值的装置，其特征在于，对于当前块，所述显著值等于香农信息理论中所定义的所述当前块的自信息，所述自信息是基于观测给定了空间和时间背景的所述当前块的概率来计算的，所述概率是观测给定了空间背景的所述当前块的概率与观测给定了时间背景的所述当前块的概率的乘积。

Images