CN104869421A - 基于全局运动估计的视频显著性检测方法 - Google Patents

Abstract

本发明涉及一种基于全局运动估计的视频显著性检测方法，其特点是包括以下步骤：提取压缩码流中空域特征和时域特征，利用二维高斯权重函数和空域特征得到空域显著性图；利用级联结构滤除属于全局运动的背景运动矢量，基于剩余运动矢量得到粗略时域显著性图，并根据宏块信息对粗略时域显著性图进行优化；根据人眼视觉特性和时空域显著性图的特征自适应融合时域和空域显著性图像得到图像显著区域。本发明设计合理，其在空域显著性及时域显著性检测中考虑的特征种类齐全，使得最终显著性图更加符合人眼的主观感知质量，其鲁棒性高，不依赖于视频内容变化，有较强的可扩展性，如加入其他特征也可用本发明的融合方式。

Description

基于全局运动估计的视频显著性检测方法

技术领域

本发明属于视频检测技术领域，具体涉及一种基于全局运动估计的视频显著性检测方法。

背景技术

随着互联网技术和通信技术的蓬勃发展，人们日常生活中获取和交流的信息越来越多。这些信息包含文本、图像、音频和视频等，由于视频含有信息量大和内容丰富，因此视频成为主要的信息载体。而如此庞大的信息在传输和存储时会受到带宽和容量限制，因此需要根据信息受体人眼的视觉特性对其进行处理，提取出人眼关注的部分。视频显著性检测就是根据人眼视觉特性对视频信息分析的重要机制，其在视频处理中可用于物体检测、目标跟踪、视频编码等。

人眼视觉注意机制可分为自底向上和自顶向下两种，自底向上的机制是数据驱动的，即没有任何先验知识，仅由低层信息(如亮度、色度和对比度等)得到，而自顶向下的机制是任务驱动，需要有一定先验知识。由于低层信息获得较为容易且一般缺乏先验知识，故现有视频显著性检测大多基于自底向上的视觉机制。

视频显著性检测按其特征来源可分为压缩域和非压缩域方法。现有的视频显著性检测模型大多是在非压缩域实现的，如Itti等(Laurent Itti,ChristofKoch,and Ernst Niebur,“A model of saliency-based visual attention forrapid scene analysis,”IEEE Transactions on pattern analysis and machineintelligence,vol.20,no.11,pp.1254–1259,1998.)提出的基于灵长类早期视觉系统的显著性检测模型，Harel(Jonathan Harel,Christof Koch,and Pietro Perona,“Graph-based visual saliency,”in Advances in neuralinformation processing systems,2006,pp.545–552.)提出的基于图论的方法，Guo等(Chenlei Guo and Liming Zhang,“A novel multiresolutionspatiotemporal saliency detection model and its applications in imageand video compression,”Image Processing,IEEE Transactions on,vol.19,no.1,pp.185–198,2010.)提出的基于相位的显著性检测模型。这些模型所提取的信息均来自于未压缩的像素域，像素域中包含大量视频信息如亮度、色度、纹理等，因此在像素域中需要高计算复杂度获取显著性图。再者，视频传输和存储都是压缩后的码流，压缩视频应用广泛主要得益于减小存储空间和提升传输速度，因此压缩域视频显著性检测更有利于应用到实时处理场景中。

压缩域视频显著性检测主要利用离散余弦变换(DCT)系数和运动矢量(MVs)计算每个块的显著性大小。Muthuswamy等(Karthik Muthuswamy and Deepu Rajan,“Salient motion detection in compressed domain,”IEEE SignalProcessing Letters,vol.20,pp.996–999,2013.)提出一种双层结构算法用于辨别显著性运动，但是没有解决多种特征条件下显著性图的融合问题。Fang(Yuming Fang,Zhou Wang,and Weisi Lin,“Video saliencyincorporating spatiotemporal cues and uncertainty weighting,”inMultimedia and Expo(ICME),2013IEEE International Conference on.IEEE,2013,pp.1–6.)等提出基于局部不确定性度量的自适应融合方法能取得较好的检测效果，但是该方法在计算权重时需预先知道真实显著性图，该因素阻碍了此法的实际应用，且该方法不适用于视频中存在全局运动的场景。

综上所述，现有的视频显著性检测方法中，压缩域方法较少，未考虑全局运动对检测结果的影响，且多种特征下显著性图融合技术不够完善，不能充分发挥每种特征条件下检测结果的优势。如何去除全局运动的影响和多特征显著性图自适应融合是视频显著性检测中迫切需要解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种设计合理、主观视觉效果好且能够准确检测视频显著性区域的基于全局运动估计的视频显著性检测方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于全局运动估计的视频显著性检测方法，包括以下步骤：

步骤1、提取压缩码流中空域特征和时域特征，利用二维高斯权重函数和空域特征得到空域显著性图；

步骤2、利用级联结构滤除属于全局运动的背景运动矢量，基于剩余运动矢量得到粗略时域显著性图，并根据宏块信息对粗略时域显著性图进行优化；

步骤3、根据人眼视觉特性和时空域显著性图的特征自适应融合时域和空域显著性图像得到图像显著区域。

而且，步骤1所述的时域特征包括对应时域特征的运动矢量，所述空域特征包括以下五个分量：

(1)、亮度特征L，对应于亮度的直流分量；

(2)、色度特征C₁，对应于色度C_b的直流分量；

(3)、色度特征C₂，对应于色度C_r的直流分量；

(4)、结构特征T，对应于亮度的所有交流分量的和；

(5)、边缘特征E，对应于亮度中与直流分量最接近的两个交流分量的和。

而且，步骤1所述利用二维高斯函数和空域特征得到空域显著性图的具体方法包括以下步骤：

⑴针对每种特征f∈{L,C₁,C₂,T,E}，计算当前块与相邻块绝对特征对比度

$D_{\mathrm{ij}}^f=|f_i-f_j|$

式中，f_i和f_j分别表示当前块和相邻块的特征值；

⑵利用二维高斯权重函数计算每个相邻块对应的权重：

$w_{\mathrm{ij}}=\frac{1}{2{\mathrm{\π\σ}}_x{\mathrm{\σ}}_y}{e}^{-\frac{d_{\mathrm{xij}}^2}{2{\mathrm{\σ}}_x^2}-\frac{d_{\mathrm{yij}}^2}{2{\mathrm{\σ}}_y^2}}$

式中，d_xij和d_yij分别表示当前块和相邻块在水平和垂直方向上的空间距离，σ_x和σ_y分别表征二维高斯函数水平和垂直方向上的标准差；

⑶计算第i个块在特征f下的显著性值：

$S_i^f=\underset{j\≠i}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{D}_{\mathrm{ij}}^f$

⑷将空域特征五个分量下的显著性值融合成空域显著性图：

$S_s=\frac{1}{K}\mathrm{\ΣN}\left(S^f\right)$

式中，S_s表示对应视频每一帧的整体空域显著性，K是特征的数目(K＝5)，N()是归一化操作，每种空域特征分量下的显著性值归一化至[0,1]，减小其绝对数值大小的影响。

而且，步骤2所述利用级联结构滤除属于全局运动的背景运动矢量得到粗略时域显著性图的方法包括如下步骤：

⑴将视频帧划分成统一大小4×4的块，获取每个块的运动矢量；

⑵显著性区域出现在图像边缘概率低，因此移除边缘块；

⑶级联结构第一级，比较当前块和其水平垂直方向上运动矢量平均相对差值RD_mag：

$D_{\mathrm{mag}}=|\mathrm{MV}\·\left[\begin{array}{ccc}0& 1/4& 0\\ -1/4& 1& -1/4\\ 0& -1/4& 0\end{array}\right]|$

RD_mag＝D_mag/|MV₅|

式中MV表示当前块运动矢量MV₅和其相邻8个块的运动矢量组成的矩阵，(·)表示矩阵对应元素相乘再求和，将每个块的RD_mag与给定阈值比较，低于阈值的块被认为是具有全局运动的背景块予以移除；

⑷级联结构第二级，比较当前块和其对角线方向上运动矢量平均相对差，设定一个比较阈值，低于阈值的块被认为是具有全局运动的背景块予以移除；

⑸经上述步骤后剩余块的运动矢量用于粗略计算每个块的时域显著性值：

$S_i=N\left(\right|{\mathrm{MV}}_x^i|+|{\mathrm{MV}}_y^i\left|\right)$

式中和分别表示当前块i运动矢量的水平和垂直分量。

而且，所述步骤2根据宏块信息对粗略时域显著性图进行优化按如下数学模型进行：

S_t＝S_iMF_i

式中MF_i表示当前块所对应宏块的编码信息，如对应宏块是inter模式，则取值为1，如为intra或skip模式则取值为0，通过宏块编码信息MF_i对时域显著性值S_i进行修正得到优化后的时域显著性值S_t。

而且，步骤3所述自适应融合时域和空域显著性图像得到图像显著区域通过如下数学模型进行：

$S=\frac{{\mathrm{\μ}}_s}{{\mathrm{\σ}}_s}{S}_s+\frac{{\mathrm{\μ}}_t}{{\mathrm{\σ}}_t}{S}_t$

式中S_s和S_t分别表示空域和时域显著性值，μ和σ表示显著性平均值和标准差，如果μ大，σ小，则其所占权重大，反之则小。

本发明的优点和积极效果是：

本发明设计合理，其在空域显著性检测中，充分考虑到视频尺寸的影响，利用二维高斯函数作为绝对特征差的权重提升空域检测性能，在时域方面，利用基于全局运动估计的方法滤除属于背景的运动矢量，剩余运动矢量用于形成粗略时域显著性图，考虑宏块编码信息，对时域显著性检测结果进行优化，最终根据时域和空域显著性图的内容自适应融合以形成最终显著性图；同时，本发明考虑特征种类齐全，包括亮度、色度、结构、边缘和运动矢量，使得最终显著性图更加符合人眼的主观感知质量。本发明鲁棒性高，不依赖于视频内容变化，有较强的可扩展性，如加入其他特征也可用本发明的融合方式。

附图说明

图1是本发明基于全局运动估计的视频显著性检测整体框架图；

图2是实施例给出的视频帧；

图3是图2的空域显著性图；

图4a是第一级级联结构中比较的运动矢量位置；

图4b是第二级级联结构中比较的运动矢量位置；

图5是图2的时域显著性图；

图6是自适应融合后的显著性图。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

一种基于全局运动估计的视频显著性检测方法，如图1所示，包括以下步骤：

步骤1、提取压缩码流中空域特征和时域特征，利用二维高斯权重函数和空域特征以得到空域显著性图。

在本步骤中，原始视频经过H.264测试版本18.5(JM18.5)压缩，每帧图像划分成(4×4)尺寸的块，对于CIF序列，每帧可分为88×72个块，提取每块对应的运动矢量及DCT系数，运动矢量代表时域信息，每个块DCT系数包括一个直流分量DC和十五个交流分量(AC₁～AC₁₅)，从DCT系数中的各分量提取所需要的空域特征。包括对应于亮度直流分量的亮度特征L；对应于色度C_b直流分量的色度特征C₁；对应于色度C_r直流分量的色度特征C₂；对应于亮度所有交流分量求和得到结构特征T，即对应于亮度中与直流分量空间距离最接近的两个交流分量求和得边缘特征E，即E＝AC₁+AC₄。本实施例随机选取Stefan序列中某一帧，原视频帧如图2所示。

利用二维高斯函数和空域特征得到空域显著性图，具体过程包括如下步骤：

(1)、针对每种特征f∈{L,C₁,C₂,T,E}，计算当前块i与相邻块之间绝对特征对比度

$D_{\mathrm{ij}}^f=|f_i-f_j|$

式中，f_i和f_j分别表示当前块和相邻块的特征值。考虑到算法的有效性及运行速度，在本实施例中相邻块为当前块的8邻域块。

(2)、由于不同位置的相邻块对当前块产生影响不同，利用二维高斯权重函数计算每个相邻块对应的权重：

$w_{\mathrm{ij}}=\frac{1}{2{\mathrm{\π\σ}}_x{\mathrm{\σ}}_y}{e}^{-\frac{d_{\mathrm{xij}}^2}{2{\mathrm{\σ}}_x^2}-\frac{d_{\mathrm{yij}}^2}{2{\mathrm{\σ}}_y^2}}$

式中，d_xij和d_yij分别表示当前块和相邻块在水平和垂直方向上的空间距离，σ_x和σ_y分别表征二维高斯函数水平和垂直方向上的标准差，其取值应该考虑视频分辨率，对于本实施例中CIF(352×288)序列，经仿真测试，取值为σ_x＝5,σ_y＝4。由于图像一般不为方形，应区别对待水平和垂直方向上的影响，考虑到图像分辨率，将水平和垂直方向上的标准差设置为不同值。

(3)、计算第i个块在特征f下的显著性值：

$S_i^f=\underset{j\≠i}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{D}_{\mathrm{ij}}^f$

(4)、将五种特征下的显著性值融合成空域显著性图：

$S_s=\frac{1}{K}\mathrm{\ΣN}\left(S^f\right)$

式中，S_s表示对应视频每一帧的整体空域显著性值，K是特征的数目，N()是归一化操作，每种特征下的显著性值归一化至[0,1]，减小其绝对数值大小的影响。本实施例中考虑空域中五种特征，即K＝5，实际应用中可根据具体场景选择特征种类及数目，对K值作相应调整。由S_s可得到实施例的空域显著性图像，如图3所示。

步骤2、利用级联结构滤除属于全局运动的背景运动矢量，基于剩余运动矢量得到粗略时域显著性图，根据宏块信息对其进行优化。

在本步骤中，基于全局运动估计的级联结构对运动矢量滤波过程如下：

(1)、将视频帧划分成统一大小(4×4)的块，获取每个块的运动矢量，如当前块在编码时划分在宏块(16×16)中，则可直接用原宏块的运动矢量替代，即宏块中16个子块所取运动矢量值相同；

(2)、由于显著性区域出现在图像边缘概率低，对图像最边缘的块予以移除；

(3)、级联结构第一级，如图4a所示，比较当前块和其水平垂直方向上四个块的运动矢量平均相对差值RD_mag：

$D_{\mathrm{mag}}=|\mathrm{MV}\·\left[\begin{array}{ccc}0& 1/4& 0\\ -1/4& 1& -1/4\\ 0& -1/4& 0\end{array}\right]|$

RD_mag＝D_mag/|MV₅|

式中MV表示当前块运动矢量(MV₅)和其相邻8个块的运动矢量组成的矩阵，(·)表示矩阵对应元素相乘再求和，将每个块的RD_mag与给定阈值比较，本实施例中选择第一级阈值为0.1，阈值取值为实验仿真结果，低于阈值的块被认为是具有全局运动的背景块予以移除；

(4)、级联结构第二级，如图4b所示，比较当前块和其对角线方向上四个块的运动矢量平均相对差值：

$D_{\mathrm{mag}}=|\mathrm{MV}\·\left[\begin{array}{ccc}-1/4& 0& -1/4\\ 0& 1& 0\\ -1/4& 0& -1/4\end{array}\right]|$

RD_mag＝D_mag/|MV₅|

将每个块的RD_mag与给定阈值比较，本实施例中选择第二级阈值为0.15，阈值取值为实验仿真结果，低于阈值的块被认为是具有全局运动的背景块予以移除；

(5)经上述步骤后，剩余块的运动矢量用于粗略计算每个块的时域显著性值：

$S_i=N\left(\right|{\mathrm{MV}}_x^i|+|{\mathrm{MV}}_y^i\left|\right)$

式中和分别表示当前块i运动矢量的水平和垂直分量，为和空域显著性值保持一致，此处也采用归一化操作。由此得到的时域显著性图中仍有一些奇异点，可根据宏块信息对时域显著性图通过下式进行优化：

S_t＝S_iMF_i

式中MF_i表示当前块所对应宏块的编码信息，如对应宏块是inter模式，则取值为1，如为intra或skip模式则取值为0，通过宏块编码信息MF_i对时域显著性值S_i进行修正得到优化后的时域显著性值S_t。时域显著性图如图5所示。

步骤3、根据人眼视觉特性和时空域显著性图的特征自适应融合时域和空域显著性图像以得到图像显著区域。

在本步骤中，自适应融合时域和空域显著性图像以得到图像显著区域通过下式进行：

$S=\frac{{\mathrm{\μ}}_s}{{\mathrm{\σ}}_s}{S}_s+\frac{{\mathrm{\μ}}_t}{{\mathrm{\σ}}_t}{S}_t$

式中S_s和S_t分别表示空域和时域显著性值，μ和σ表示显著性平均值和标准差，以μ_s和σ_s为例，其计算方式如下式：

${\mathrm{\μ}}_s=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{S}_s^i$

${\mathrm{\σ}}_s=\sqrt{\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(S_s^i-{\mathrm{\μ}}_s)}^2}$

式中N表示显著图中块划分个数，表示空域显著图中第i个块的显著性值，如空域或时域显著性值普遍较大(μ大)，值分布集中(σ小)，则其所占权重大，反之则小。最终形成的时空域显著性图如图6所示。

下面按照本发明的方法进行实验，用于说明本发明的实验效果。

测试环境：Visual Studio 2013，MATLAB 2013b

测试序列：所选测试序列和其对应标准显著性图(groundtruth)来自SFU数据库(Hadi Hadizadeh,Mario J Enriquez,and Ivan V Bajic,“Eye-trackingdatabase for a set of standard video sequences,”Image Processing,IEEETransactions on,vol.21,no.2,pp.898–903,2012.)，其中包含的序列如下：

表一测试序列

序列名	帧数/帧率/分辨率	序列名	帧数/帧率/分辨率
				Foreman	300/30/352×288	Soccer	300/30/352×288
Bus	150/30/352×288	Stefan	90/30/352×288
				City	300/30/352×288	Mobile	300/30/352×288
Crew	300/30/352×288	Harbor	300/30/352×288
				FlowerGarden	250/30/352×288	Hall	300/30/352×288
Mother	300/30/352×288	Tempete	260/30/352×288

测试指标：

(1)、ROC曲线是TPR随FPR变化的曲线，其中TPR表示将groundtruth中显著性点检测为显著性点的比例，FPR表示将非显著性点检测为显著性点的比例，AUC值表示ROC曲线覆盖下的面积。曲线下覆盖面积越大，表示视频显著性检测模型越好；

(2)、另一个有效度量显著性检测的客观指标是F-measure，首先定义Num(TP)表示正确检测显著性的点数，Num(FP)表示将非显著性点检测为显著性点的数目，Num(FN)表示将显著性点检测为非显著性点的数目，则显著性图的精确率和召回率可按下式计算：

$\mathrm{precision}=\frac{\mathrm{Num}\left(\mathrm{TP}\right)}{\mathrm{Num}\left(\mathrm{TP}\right)+\mathrm{Num}\left(\mathrm{FP}\right)}$

$\mathrm{recall}=\frac{\mathrm{Num}\left(\mathrm{TP}\right)}{\mathrm{Num}\left(\mathrm{TP}\right)+\mathrm{Num}\left(\mathrm{FN}\right)}$

综合考虑精确率和召回率，按下式得到F-measure值：

$F-\mathrm{measure}=2\×\frac{\mathrm{precision}\×\mathrm{recall}}{\mathrm{precision}+\mathrm{recall}}$

F-measure值越接近于1，表示显著性检测效果越好。

测试结果如下：

表二各种融合方式AUC及F-measure值

融合方式	AUC	F-measure
			S	0.624	0.354
T	0.711	0.392
			NS	0.801	0.441
NM	0.763	0.410
			NP	0.817	0.511
UW	0.841	0.456
			Proposed	0.942	0.647

表二中以Stefan序列为例比较本文的融合方式和其他融合方式对显著性检测的影响，其中S和T分别表示原始未融合的空域和时域显著性图；NS表示求和的融合方式，即每个块的显著性由S和T中值相加得到；NM表示每个块的显著性由S和T中较大值决定的融合方式；NP表示求积的融合方式，即每个块的显著性值为S和T中对应值的乘积；UW为Fang所提出的不确定性度量融合方式。由表可看出本发明中的显著性融合方式优于所比较的其他融合方式，其原因主要是本发明的融合方式充分考虑了时空域显著性图的特性，根据其整体显著性值及方差自适应调整权重。

表三不同显著性检测方法客观质量比较

显著性检测方法	AUC	F-measure
			MVE	0.709	0.438
TPA	0.733	0.430
			SSD	0.728	0.417
UW	0.746	0.443
			Proposed	0.873	0.625

表三是对SFU中所有视频测试的平均结果，其中MVE是一种基于运动矢量熵的显著性检测方法，TPA是利用双层结构分析视频显著性的方法，SSD是基于时空域的方法，UW是基于不确定性度量的方法。实验结果中UW方法的效果普遍好于另外三种比较的方法，这是因为其在计算权重时利用ground truth，但在实际情况中往往无法预先获知真实显著性图。从结果可以看出，本发明的显著性检测结果优于其他比较方法，对于存在全局运动的视频序列，基于全局运动估计的级连结构能较好滤除背景运动矢量，提高时域显著性检测精确度。对于其他序列，二维高斯权重函数保证了空域显著性图的效果，宏块信息可用于修正时域显著性图，再者，自适应融合方式能将时空域的显著性特性在最终融合的图上很好地体现出来。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (6)

1.一种基于全局运动估计的视频显著性检测方法，其特征在于包括以下步骤：

步骤1、提取压缩码流中空域特征和时域特征，利用二维高斯权重函数和空域特征得到空域显著性图；

步骤2、利用级联结构滤除属于全局运动的背景运动矢量，基于剩余运动矢量得到粗略时域显著性图，并根据宏块信息对粗略时域显著性图进行优化；

步骤3、根据人眼视觉特性和时空域显著性图的特征自适应融合时域和空域显著性图像得到图像显著区域。

2.根据权利要求1所述的基于全局运动估计的视频显著性检测方法，其特征在于：步骤1所述的时域特征包括对应时域特征的运动矢量，所述空域特征包括以下五个分量：

(1)、亮度特征L，对应于亮度的直流分量；

(2)、色度特征C₁，对应于色度C_b的直流分量；

(3)、色度特征C₂，对应于色度C_r的直流分量；

(4)、结构特征T，对应于亮度的所有交流分量的和；

(5)、边缘特征E，对应于亮度中与直流分量最接近的两个交流分量的和。

3.根据权利要求1所述的基于全局运动估计的视频显著性检测方法，其特征在于：步骤1所述利用二维高斯函数和空域特征得到空域显著性图的具体方法包括以下步骤：

⑴针对每种特征f∈{L,C₁,C₂,T,E}，计算当前块与相邻块绝对特征对比度

$D_{\mathrm{ij}}^f=|f_i-f_j|$

式中，f_i和f_j分别表示当前块和相邻块的特征值；

⑵利用二维高斯权重函数计算每个相邻块对应的权重：

$w_{\mathrm{ij}}=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_x{\mathrm{\σ}}_y}{e}^{-\frac{d_{\mathrm{xij}}^2}{2{\mathrm{\σ}}_x^2}-\frac{d_{\mathrm{yij}}^2}{2{\mathrm{\σ}}_y^2}}$

式中，d_xij和d_yij分别表示当前块和相邻块在水平和垂直方向上的空间距离，σ_x和σ_y分别表征二维高斯函数水平和垂直方向上的标准差；

⑶计算第i个块在特征f下的显著性值：

$S_i^f=\underset{j\≠i}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{D}_{\mathrm{ij}}^f$

⑷将空域特征五个分量下的显著性值融合成空域显著性图：

$S_s=\frac{1}{K}\mathrm{\Σ}\left(S^f\right)$

式中，S_s表示对应视频每一帧的整体空域显著性，K是特征的数目(K＝5)，N()是归一化操作，每种空域特征分量下的显著性值归一化至[0,1]，减小其绝对数值大小的影响。

4.根据权利要求1所述的基于全局运动估计的视频显著性检测方法，其特征在于：步骤2所述利用级联结构滤除属于全局运动的背景运动矢量得到粗略时域显著性图的方法包括如下步骤：

⑴将视频帧划分成统一大小4×4的块，获取每个块的运动矢量；

⑵显著性区域出现在图像边缘概率低，因此移除边缘块；

⑶级联结构第一级，比较当前块和其水平垂直方向上运动矢量平均相对差值RD_mag：

$D_{\mathrm{mag}}=|\mathrm{MV}\·\left[\begin{array}{ccc}0& -1/4& 0\\ -1/4& 1& -1/4\\ 0& -1/4& 0\end{array}\right]|$

RD_mag＝D_mag/|MV₅|

式中MV表示当前块运动矢量MV₅和其相邻8个块的运动矢量组成的矩阵，(·)表示矩阵对应元素相乘再求和，将每个块的RD_mag与给定阈值比较，低于阈值的块被认为是具有全局运动的背景块予以移除；

⑷级联结构第二级，比较当前块和其对角线方向上运动矢量平均相对差，设定一个比较阈值，低于阈值的块被认为是具有全局运动的背景块予以移除；

⑸经上述步骤后剩余块的运动矢量用于粗略计算每个块的时域显著性值：

$S_i=N\left(\right|{\mathrm{MV}}_x^i|+|{\mathrm{MV}}_y^i\left|\right)$

式中和分别表示当前块i运动矢量的水平和垂直分量。

5.根据权利要求1所述的基于全局运动估计的视频显著性检测方法，其特征在于：所述步骤2根据宏块信息对粗略时域显著性图进行优化按如下数学模型进行：

S_t＝S_iMF_i

式中MF_i表示当前块所对应宏块的编码信息，如对应宏块是inter模式，则取值为1，如为intra或skip模式则取值为0，通过宏块编码信息MF_i对时域显著性值S_i进行修正得到优化后的时域显著性值S_t。

6.根据权利要求1所述的基于全局运动估计的视频显著性检测方法，其特征在于：步骤3所述自适应融合时域和空域显著性图像得到图像显著区域通过如下数学模型进行：

$S=\frac{{\mathrm{\μ}}_s}{{\mathrm{\σ}}_s}{S}_s+\frac{{\mathrm{\μ}}_t}{{\mathrm{\σ}}_t}{S}_t$

式中S_s和S_t分别表示空域和时域显著性值，μ和σ表示显著性平均值和标准差，如果μ大，σ小，则其所占权重大，反之则小。