CN103793925B - 融合时空特征的视频图像视觉显著程度检测方法 - Google Patents

Abstract

本发明涉及一种融合时空特征的视频图像视觉显著程度检测方法，包括：将输入图像切分成图像块，并进行向量化；对所有向量通过主成分分析进行降维；计算每个图像块与其它所有图像块的不相似度，再结合图像块之间的距离计算得到每个图像块的视觉显著性程度，得到空间特征显著图；对空间特征显著图施加中央偏置；计算每个图像块的运动矢量，并结合前两帧的运动矢量提取当前图像块的运动特征，得到时间特征显著图；融合空间和时间特征显著图得到时空特征显著图，进行平滑后得到最终反映图像上各个区域显著程度的结果图像。本发明采用融合时空特征的显著图，能够更准确地预测视频中不同区域的显著程度。

Description

融合时空特征的视频图像视觉显著程度检测方法

技术领域

本发明涉及视频图像处理中的局部区域分析，特别涉及一种融合时空特征的视觉显著程度检测方法。

背景技术

现代高速计算机的计算能力已达到惊人的程度，但计算机视觉系统却无法指导诸如过马路之类对人来说非常简单的视觉任务。这主要是因为同样面对海量的视觉信息输入，人眼可以在短时间内有选择地关注视觉场景中的显著变化区域，并进行分析判断，从而适应环境的变化。而计算机视觉系统只会不加选择地平等对待视觉场景中的各个区域，在无法理解场景变化的同时还会造成计算瓶颈。如果我们把人类视觉视觉系统的选择性注意功能引入到计算机视觉系统中，势必会提升现有计算机图像分析效率。

视频的视觉显著性区域检测有着广泛的应用，如视频压缩。当我们需要对一部视频进行压缩时，总希望保持视频中有意义的内容有较低的压缩率，而只是对那些不重要的背景区域进行较高的压缩率。如果使用某一个设备自动实现上述功能，就需要首先对视频中每一帧的各个区域的视觉显著程度进行判断从而确定视频中有意义的内容。

在有关视觉显著性程度检测的文献中，视觉显著区域通常被定义为那些在一幅图像或视频中某一帧中具有全局稀有性的局部图像块。这种定义的一种常见实现方法是：把图像或视频帧切分成若干个图像块，然后计算每个图像块相对其它所有图像块的不相似度，最后那些具有较高不相似度的图像块被认为是比较显著的区域。其中不相似度的比较方法可以是比较两个图像块在颜色、朝向、纹理、运动等特征上的对比度。还有一种定义认为与邻域对比比较大的区域是比较显著的区域。这种定义的实现方式和上述全局稀有性定义的主要区别在于每个图像块和它周围的图像块比较不相似度，而不是和当前图像中的所有图像块。

总体来说，上述两种方法主要考察的是图像块之间的不相似程度，但实际上图像块之间的距离也和视觉显著性程度有直接的关系。对人类知觉组织原则的相关研究表明，一幅图像中的显著区域会以比较紧凑的方式出现在图像中。也就是说，在一幅图像中，如果一个局部图像块和距离它比较近的那些图像块比较相似，那么这个图像块就越可能是显著的。如果两个图像块之间的距离比较大，那么即使它们比较相似，这两个图像块对于对方显著性程度的贡献也要下降。因此在一幅图像中，一个图像块对于另一个图像块在视觉显著性上的贡献随它们之间的不相似度增大而增大，随它们之间的距离增大而下降。

同时，对人类视觉系统的相关研究表明，在观察视觉场景时，人眼具有中央偏置特性。利用视点跟踪仪记录的人眼观察大量图像的视点分布统计结果也显示，即使个别图像在该图像的边缘区域具有比较显著的内容，但总体上来看，人眼对图像中一个区域的平均关注程度随该区域与图像中央区域的距离增大而下降。

申请号为201010522415.7的专利公开了一种图像中不同区域视觉显著程度的检测方法，它使用外观、位置和与中心的距离作为特征来衡量每个图像块的显著程度，但该检测方法仅仅考虑了每两个图像块间的空间特征差异，忽视了它们之间的运动特征差异。事实上，当人们观看视频时，运动特征也是吸引人眼注意的一个关键的因素，人类视觉系统分配大量资源用于运动感知，同时，人眼也能持续跟踪目标物体。因此，当衡量视频中图像块的显著性时，运动特征差异也是必须要考虑的。

发明内容

针对现有技术存在的上述问题，本发明提出了一种基于运动特征差异的图像不同区域视觉显著性的检测方法，在获得空间特征显著图的基础上，通过提取图像块间的运动特征得到时间特征显著图，融合空间特征显著图和时间特征显著图得到时空特征显著图，能够更准确地预测视频中不同区域的显著程度。

一种融合时空特征的视频图像视觉显著程度检测方法，包括以下步骤：

步骤1，将输入视频帧切分成不重叠的图像块，并将每个图像块向量化，每个图像块对应一个向量。

步骤2，对步骤1所得到的向量通过主成分分析（PCA）方法进行降维，降低当前帧中的噪声和冗余信息。

步骤3，利用步骤2得到的降维后的向量，计算每个图像块与其它所有图像块的不相似度，再结合图像块之间的距离计算得到每个图像块的视觉显著性程度，得到空间特征显著图。

步骤4，对于步骤3所得到的空间特征显著图施加中央偏置，得到施加中央偏置后的空间特征特征显著图。

步骤5，根据“块匹配”法计算每个图像块的运动矢量，并结合前两帧的运动矢量提取当前图像块的运动特征，从而得到时间特征显著图。

步骤6，融合步骤4和步骤5所得到的两个显著图，得到时空特征显著图。通过二维高斯平滑算子进行平滑，得到最终反映图像上各个区域显著程度的结果图像。

本发明的方法具有以下优点：

1.本发明在获得空间特征显著图的基础上，通过提取图像块间的运动特征得到时间特征显著图，融合空间特征显著图和时间特征显著图得到时空特征显著图，能够更准确地预测视频中不同区域的显著程度。

2.与传统方法相比，本发明不必提取颜色、朝向、纹理等视觉特征，省去了特征选择的步骤。

附图说明

图1为本发明所涉及方法的流程图；

图2为本发明实施例得到的的时间特征显著图，（a）为原始图像，（b）为原始图像的时间特征显著图。

具体实施方式

下面结合具体实施方式对本发明做进一步的说明。

本发明所述方法的流程图如图1所示，包括以下步骤：

步骤1，将输入图像切分成图像块，并进行向量化。

假设输入的视频帧是一幅3通道彩色图像I，其宽和高分别为W、H。

步骤1.1，将图像I按照从左至右从上至下的顺序切分成不重叠的L个图像块p_i，i＝1,2,...,L，每个图像块都是一个方块，宽和高都是k，k<W，k<H，每个图像块中的像素个数是k²，图像I可以切分出的图像块总数L＝(W/k)·(H/k)。当图像的宽和高不是k的整数倍时，先对图像进行缩放，保证图像的宽和高是k的整数倍。

步骤1.2，将每个图像块p_i向量化为列向量f_i，对于3通道彩色图像I，每个图像块所对应的列向量f_i的长度是3k²。

步骤2，对步骤1所得到的所有向量通过主成分分析进行降维。

步骤2.1，计算步骤1所得到的所有向量的均值向量

$\stackrel{-}{f}=\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}{f}_i---\left(1\right)$

步骤2.2，构成样本矩阵A：

$A=[(f_1-\stackrel{-}{f}),(f_2-\stackrel{-}{f}),...,(f_N-\stackrel{-}{f})]---\left(2\right)$

步骤2.3，计算样本矩阵A的散度矩阵：

$G=\frac{1}{L^2}\&CenterDot;\left(A^{T}A\right)---\left(3\right)$

式中，G为L×L散度矩阵。

步骤2.4，计算散度矩阵G的特征值和特征向量，挑选最大的d个特征值所对应的特征向量X₁,X₂,...,X_d构成矩阵U：

U＝[X₁X₂…X_d]^T（4）

式中，U为d×L矩阵。

步骤3，利用步骤2得到的降维后的向量，计算每个图像块与其它所有图像块的不相似度，再结合图像块之间的距离计算得到每个图像块的视觉显著性程度，得到空间特征显著图。

步骤3.1，计算每个图像块p_i的视觉显著性程度：

M_i＝max_j{ω_ij}(j＝1,...,L)（6）

D＝max{W,H}（7）

${\mathrm{\&omega;}}_{\mathrm{ij}}=\sqrt{{(x_{\mathrm{pi}}-x_{\mathrm{pj}})}^2+{(y_{\mathrm{pi}}-y_{\mathrm{pj}})}^2}---\left(9\right)$

其中，表示图像块p_i和p_j之间的不相似度，ω_ij表示图像块p_i和p_j之间的距离，u_mn表示矩阵U第m行第n列的元素，(x_pi,y_pi)、(x_pj,y_pj)分别代表图块p_i和p_j在原图像I上的中心点坐标。

步骤3.2，将所有图像块的视觉显著性程度取值按照原图像I上各图像块之间的位置关系组织成二维形式，构成空间特征显著图SalMap。

空间特征显著图SalMap是一个J行N列的灰度图，J＝H/k，N＝W/k。SalMap上第i行第j列的元素对应原图像I上切分出的图像块p_(i-1)·N+j的显著程度取值为：

SalMap(i,j)＝Sal_(i-1)·N+j(i＝1,..,J,j＝1,...,N)（10）

步骤4，对于步骤3所得到的空间特征显著图施加中央偏置，得到施加中央偏置后的空间特征显著图。

步骤4.1，生成距离图DistMap和人眼平均关注程度权值图AttWeiMap。

距离图DistMap的计算公式为：

$\mathrm{DistMap}(i,j)=\sqrt{{(i-(J+1)/2)}^2+{(j-(N+1)/2)}^2}(i=1,...,J,j=1,...,N)---\left(11\right)$

人眼平均关注程度权值图AttWeiMap的计算公式为：

$\mathrm{AttWeiMap}(i,j)=1-\frac{\mathrm{DistMap}(i,j)-\min \left\{\mathrm{DistMap}\right\}}{\max \left\{\mathrm{DistMap}\right\}-\min \left\{\mathrm{DistMap}\right\}}(i=1,..,J,j=1,...,N)---\left(12\right)$

式中，max{DistMap}、min{DistMap}分别表示距离图上的最大值和最小值。

距离图DistMap和人眼平均关注程度权值图AttWeiMap与空间特征显著图SalMap的大小相同。

步骤4.2，将空间特征显著图与人眼平均关注程度权值图进行点对点乘法，得到施加中央偏置后的空间特征显著图SalMap'，计算方法为：

SalMap'(i,j)＝SalMap(i,j)·AttWeiMap(i,j)(i＝1,..,J,j＝1,...,N)（13）

步骤5，根据“块匹配”法计算每个图像块的运动矢量，并结合前两帧的运动矢量提取当前图像块的运动特征，从而得到时间特征显著图。

步骤5.1，根据“块匹配”法计算当前块的运动矢量。

根据“三步搜索法”在上一帧中搜索具有最小匹配误差的图像块，最小匹配误差为：

MSE＝Σ|f_t-1(x+V_x(t),y+V_y(t))-f_t(x,y)|（14）

式中，MSE为最小匹配误差，f_t-1、f_t表示前一帧和当前帧，t为帧的序号，x、y是当前块水平和垂直方向的位置，f_t(x,y)是当前帧在位置(x,y)处的图像块所对应的三通道RGB矩阵，V_x(t)、V_y(t)是上一帧中具有最小匹配误差的图像块的水平和垂直方向偏移量，组成当前块的运动矢量(V_x(t),V_y(t))。

步骤5.2，生成时间特征显著图。

（1）将当前块的运动矢量的水平和垂直位移量合并成一个分量V(t)：

$V\left(t\right)=\sqrt{V_x{\left(t\right)}^2+V_y{\left(t\right)}^2}---\left(15\right)$

（2）从当前块的分量V(t)中减去前三帧中对应位置的三个图像块的分量的平均值，得到当前块的运动特征；对于视频前三帧中的图像块，从当前块的分量V(t)减去前面所有帧中对应位置的图像块的分量的平均值，得到时间特征显著图，计算公式为：

$\mathrm{SV}(i,j,t)=\left\{\begin{array}{c}{V}_{\mathrm{ij}}\left(t\right)-\left(\underset{k=0}{\overset{t-1}{\mathrm{\&Sigma;}}}{V}_{\mathrm{ij}}\left(k\right)\right)/3,\mathrm{if}0<t\&le;3\\ V_{\mathrm{ij}}\left(t\right)-\left(\underset{k=t-3}{\overset{t-1}{\mathrm{\&Sigma;}}}{V}_{\mathrm{ij}}\left(k\right)\right)/3,\mathrm{ift}>3\end{array}\right.---\left(16\right)$

如图2所示，（a）为原始图像，（b）为原始图像的时间特征显著图。

步骤6，融合步骤4和步骤5得到的两个显著图，得到时空特征显著图。通过二维高斯平滑算子进行平滑，得到最终反映图像上各个区域显著程度的结果图像。时空特征显著图的计算公式为：

Saliency(i,j,t)＝NOR[SalMap'(i,j)]+α·NOR[(SalMap'(i,j))·SV(i,j,t)^β](17)

式中，NOR(·)是归一化操作运算符，α、β为常数，本发明中取α＝0.2，β＝3。

最终得到的结果图上数值越大的区域越显著。

到此为止已经实现了输入视频中每一帧上各区域视觉显著性程度计算。在此基础上还可以根据具体应用对所得到的结果图做进一步处理，如将最终得到的结果图扩大到与原始输入图像同样大小，或者通过设定阈值将结果图变换为二值图像。

为了测试本发明对于视频中各区域视觉显著性程度的检测效果，应用本发明及本领域常用的经典方法对Itti等人公开的视频库进行测试。该视频库中共有100个视频片段，根据有无运动目标和场景切换分为三个子测试库，分别为ORIG-M、ORIG-N和MTV。其中，子测试库ORIG-M中的视频是有运动目标的单一场景，共包含30个视频；子测试库ORIG-N中的视频是无运动目标的单一场景，共包含20个视频；子测试库MTV中的视频是多场景，共包含50个视频。该视频库涵盖的主题包括户外运动、电子游戏、体育比赛、电视新闻等。每段视频的平均长度大约15秒，所有视频片段的总长度是25分钟。每段视频都配有眼动仪记录的人眼真实视点，记录每名被试在每个视频帧上的一个视点。共有7名被试参与了视点采集实验，每个视频片段只由7人中的一部分人观看。

在测试视频库上分别运行本发明和其它显著性检测方法，得到视频库上每个视频的每一帧对应的反映图像上各区域显著程度的图像。应用Itti等人公开的视频显著性检测程序，根据度量人眼真实视点周围的显著值分布和随机选择区域的显著值分布的Kullback-Leibler距离（以下简称KL距离）评价各种方法的有效性，KL距离越大说明该注意选择算法越能有效区分视点和随机选择区域。

将本发明所述方法与本领域以下经典方法进行了对比：

1.美国Itti实验室成员Itti提出的基于特征整合理论的方法Itti’98；

2.美国Itti实验室成员Itti提出的基于贝叶斯惊奇的方法Itti’05；

3.美国加州理工学院HouXiaodi提出的基于幅度谱残差的方法SR；

4.中国复旦大学GuoChenlei提出的基于相位谱残差的方法PQFT；

5.北京工业大学申请号为201010522415.7的专利提出的检测方法SWD。

利用KL距离所得的测试结果表明，在子测试库ORIG-M和MTV中，本发明所述方法的测试结果比上述5种方法的测试结果都要好；在子测试库ORIG-N中，本发明所述方法的测试结果仅次于SWD方法，比其它4种方法的结果都要好；如表1所示。

表1在测试视频库上不同方法的KL值

Claims (2)

1.一种融合时空特征的视频图像视觉显著程度检测方法，其特征在于包括以下步骤：

步骤1，将输入图像切分成图像块，并进行向量化；

步骤1.1，将图像I按照从左至右从上至下的顺序切分成不重叠的L个图像块p_i，i＝1,2,...,L，每个图像块都是一个方块，宽和高都是k，k<W，k<H，W、H分别为图像I的宽和高，每个图像块中的像素个数是k²，图像I可以切分出的图像块总数L＝(W/k)·(H/k)；当图像的宽和高不是k的整数倍时，先对图像进行缩放，保证图像的宽和高是k的整数倍；

步骤1.2，将每个图像块p_i向量化为列向量f_i，对于3通道彩色图像I，每个图像块所对应的列向量f_i的长度是3k²；

步骤2，对步骤1所得到的所有向量通过主成分分析进行降维；

步骤2.1，计算步骤1所得到的所有向量的均值向量

$\stackrel{\&OverBar;}{f}=\underset{i=1}{\overset{L}{\&Sigma;}}{f}_i$

步骤2.2，构成样本矩阵A：

$A=\&lsqb;(f_1-\stackrel{\&OverBar;}{f}),(f_2-\stackrel{\&OverBar;}{f}),...,(f_L-\stackrel{\&OverBar;}{f})\&rsqb;$

步骤2.3，计算样本矩阵A的散度矩阵：

$G=\frac{1}{L^2}\&CenterDot;\left(A^{T}A\right)$

式中，G为L×L散度矩阵；

步骤2.4，计算散度矩阵G的特征值和特征向量，挑选最大的d个特征值所对应的特征向量X₁,X₂,...,X_d构成矩阵U：

U＝[X₁X₂…X_d]^T

式中，U为d×L矩阵；

步骤3，利用步骤2得到的降维后的向量，计算每个图像块与其它所有图像块的不相似度，再结合图像块之间的距离计算得到每个图像块的视觉显著性程度，得到空间特征显著图；

步骤3.1，计算每个图像块p_i的视觉显著性程度，公式如下：

M_i＝max_j{ω_ij}(j＝1,...,L)

D＝max{W,H}

${\mathrm{\&omega;}}_{ij}=\sqrt{{(x_{pi}-x_{pj})}^2+{(y_{pi}-y_{pj})}^2}$

其中，表示图像块p_i和p_j之间的不相似度，ω_ij表示图像块p_i和p_j之间的距离，u_mn表示矩阵U第m行第n列的元素，(x_pi,y_pi)、(x_pj,y_pj)分别代表图块p_i和p_j在原图像I上的中心点坐标；

步骤3.2，将所有图像块的视觉显著性程度取值按照原图像I上各图像块之间的位置关系组织成二维形式，构成空间特征显著图SalMap；

空间特征显著图SalMap是一个J行N列的灰度图，J＝H/k，N＝W/k；SalMap上第i行第j列的元素对应原图像I上切分出的图像块p_(i-1)·N+j的显著程度取值为：

SalMap(i,j)＝Sal_(i-1)·N+j(i＝1,..,J,j＝1,...,N)

步骤4，对于步骤3所得到的空间特征显著图施加中央偏置，得到施加中央偏置后的空间特征显著图；

步骤4.1，生成距离图DistMap和人眼平均关注程度权值图AttWeiMap；

距离图DistMap的计算公式为：

$DistMap(i,j)=\sqrt{{(i-(J+1)/2)}^2+{(j-(N+1)/2)}^2},(i=1,\mathrm{..},J,j=1,...,N)$

人眼平均关注程度权值图AttWeiMap的计算公式为：

$AttWeiMap(i,j)=1-\frac{DistMap(i,j)-\min \left\{DistMap\right\}}{max\left\{DistMap\right\}-\min \left\{DistMap\right\}},(i=1,\mathrm{..},J,j=1,...,N)$

式中，max{DistMap}、min{DistMap}分别表示距离图上的最大值和最小值；

距离图DistMap和人眼平均关注程度权值图AttWeiMap与空间特征显著图SalMap的大小相同；

步骤4.2，将空间特征显著图与人眼平均关注程度权值图进行点对点乘法，得到施加中央偏置后的空间特征显著图SalMap'，计算方法为：

SalMap'(i,j)＝SalMap(i,j)·AttWeiMap(i,j)(ii＝1,..,J,j＝1,...,N)

步骤5，根据“块匹配”法计算每个图像块的运动矢量，并结合前三帧的运动矢量提取当前图像块的运动特征，得到时间特征显著图；

步骤6，融合步骤4和步骤5得到的两个显著图，得到时空特征显著图；通过二维高斯平滑算子进行平滑，得到最终反映图像上各个区域显著程度的结果图像；

所述步骤5生成时间特征显著图的方法还包括以下步骤：

步骤5.1，根据“块匹配”法计算当前块的运动矢量；

根据“三步搜索法”在上一帧中搜索具有最小匹配误差的图像块，最小匹配误差为：

MSE＝Σ|f_t-1(x+V_x(t),y+V_y(t))-f_t(x,y)|

式中，MSE为最小匹配误差，f_t-1、f_t表示前一帧和当前帧，t为帧的序号，x、y是当前块水平和垂直方向的位置，f_t(x,y)是当前帧在位置(x,y)处的图像块所对应的3通道RGB矩阵，V_x(t)、V_y(t)是上一帧中具有最小匹配误差的图像块的水平和垂直方向偏移量，组成当前块的运动矢量(V_x(t),V_y(t))；

步骤5.2，生成时间特征显著图；

(1)将当前块的运动矢量的水平和垂直位移量合并成一个分量V(t)：

$V\left(t\right)=\sqrt{V_x{\left(t\right)}^2+V_y{\left(t\right)}^2}$

(2)从当前块的分量V(t)中减去前三帧中对应位置的三个图像块的分量的平均值，得到当前块的运动特征；对于视频前三帧中的图像块，从当前块的分量V(t)减去前面所有帧中对应位置的图像块的分量的平均值，得到时间特征显著图，计算公式为：

$SV\left(i,j,t\right)=\left\{\begin{array}{ccc}{V}_{ij}\left(t\right)-\left(\underset{k=0}{\overset{t-1}{\&Sigma;}}{V}_{ij}\left(k\right)\right)/3,& if& 0<t\&le;3\\ V_{ij}\left(t\right)-\left(\underset{k=t-3}{\overset{t-1}{\&Sigma;}}{V}_{ij}\left(k\right)\right)/3,& if& t>3\end{array}\right..$

2.根据权利要求1所述的一种融合时空特征的视频图像视觉显著程度检测方法，其特征在于，所述步骤6生成时空特征显著图的计算公式为：

Saliency(i,j,t)＝NOR[SalMap'(i,j)]+αNOR[(SalMap'(i,j))·SV(i,j,t)^β]

式中，NOR(·)是归一化操作运算符，α、β为常数，取α＝0.2，β＝3。