CN102831621A - 一种基于频谱分析的视频显著性处理方法 - Google Patents

Abstract

本发明涉及一种基于频谱分析的视频显著性处理方法。利用运动信息特征提取视频关键帧的方法对输入视频提取关键帧，获得视频关键帧序列；然后提取视频关键帧灰度图像序列和视频关键帧运动信息特征图序列，然后计算两者的Renyi熵，并以此Renyi熵度量空域显著图中显著点的分布并将结果作为空域显著图显著值；最后线性融合视频关键帧空域显著图显著值和时域显著值，得到视频关键帧整体显著值。本发明充分利用了视频关键帧频域的幅度谱和相位谱所携带的显著性信息，计算量小，效果突出；用Renyi熵度量显著图中显著点的分布，并将结果作为显著图的显著值很好的解决了显著图的整体显著性度量问题。本方法可以应用于各类军用或民用的视频分析处理系统。

Description

一种基于频谱分析的视频显著性处理方法

技术领域

本发明涉及一种基于频谱分析的视频显著性处理方法，可以应用于各类军用或民用的视频分析处理系统。

背景技术

数字成像技术的发展给我们带来了丰富的视频资源，但它同时也带来了视频数据量的急剧增大和如何有效处理的问题。视频显著性分析技术能够帮助人们从大量视觉信息中迅速找到感兴趣的内容，忽略次要内容，降低信息处理的计算量，是有效处理海量视频数据的途径之一。

传统的视频显著性计算模型很多，但这些模型大多依赖视频场景的特定特征，模型复杂，计算量大，通用性不强。最近也有人提出了基于频谱分析的视频显著性计算模型，这些模型不依赖特定特征，通用性强，计算量小，但其往往只考虑了频谱中的幅度谱或相位谱中一方面信息，且视频显著性通常是以视频帧的显著图形式给出，应用不方便。考虑到频谱中的幅度谱和相位谱都含有丰富的显著性信息，Renyi熵可以很好的度量显著点的空间分布，因此有必要结合频域中的幅度谱、相位谱和Renyi熵，进行新的视频显著性计算模型的研究。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于频谱分析的视频显著性处理方法。

技术方案

一种基于频谱分析的视频显著性处理方法，其特征在于步骤如下：

步骤1视频预处理：对输入的视频利用基于运动特征提取视频关键帧的方法提取输入视频的关键帧，得到视频关键帧序列{I(v)|v＝1,…,N}；其中：I(v)表示第v个视频关键帧，N表示视频关键帧的总数；

步骤2计算空域显著性和时域显著性：

计算空域显著性：利用线性变换的方法，将视频关键帧序列{I(v)|v＝1,…,N}的灰度范围映射到一个一致的灰度区间[0,1]或[0,255]，得到变换后的视频关键帧序列{I_g(v)|v＝1,…,N}，其中I_g(v)表示第v个视频关键帧灰度变换后的结果，N表示视频关键帧的总数；然后按照下述步骤对灰度变换后的视频关键帧I_g(v)提取空域显著图：

步骤a₁：对I_g(v)进行傅立叶变换得到幅度谱信息A_g(v)＝amplitude(F[I_g(v)])和相位谱信息P_g(v)＝angle(F[I_g(v)])；其中：F[I_g(v)]表示对I_g(v)做二维傅立叶变换，amplitude表示对F[I_g(v)]进行取幅度谱运算，A_g(v)为视频关键帧I_g(v)的傅立叶变换的幅度谱；angle表示对F[I_g(v)]进行取相位谱运算，P_g(v)为视频关键帧I_g(v)的傅立叶变换的相位谱；

步骤b₂：将幅度谱A_g(v)均匀划分为M²个子频带，再利用公式

对每一子频带的幅度谱和全局的相位谱进行傅立叶反变换；其中：F^-1表示二维傅立叶反变换；

表示第i个子频带的幅度谱；

表示由第i个子频带得到的显著图；C_i表示第i个子频带显著图的归一化因子；

步骤c₃：计算视频关键帧I(v)的空域显著图其中：w_i表示第i个子频带显著图的权重；S_g(v)表示由第v个视频关键帧I_g(v)计算得到的空域显著图；

步骤d₄：将步骤c得到的空域显著图S_g(v)转化为二值图像S_bg(v)，转化的分割阈值采用动态阈值，二值图像S_bg(v)中灰度值为1的点为显著点；利用公式 ${\hat{H}}_S\left(v\right)=-\log \left\{\frac{1}{L^2}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j\∈\mathrm{\Γ}\left(i\right)}{\mathrm{\Σ}}G(y_i-y_j,{\mathrm{\Σ}}_i+{\mathrm{\Σ}}_j)\right\}$ 计算二值图像S_bg(v)中显著点的Renyi熵，以Renyi熵的熵值为空域显著值；其中：L表示S_bg(v)中显著点的个数，y_i和y_j分别表示显著图中显著点i和j的位置坐标，G(y_i-y_j,∑_i+∑_j)表示显著点y_i与八邻域内显著点y_j的混合高斯分布， $\mathrm{\Σi}=\left(\begin{array}{cc}{{\mathrm{\σ}}_i}^2& 0\\ 0& {{\mathrm{\σ}}_i}^2\end{array}\right),$ ${\mathrm{\σ}}_i=\frac{1}{4}\sqrt{\frac{1}{L}},\mathrm{\Σj}=\left(\begin{array}{cc}{{\mathrm{\σ}}_j}^2& 0\\ 0& {{\mathrm{\σ}}_j}^2\end{array}\right),$ ${\mathrm{\σ}}_j=\frac{1}{4}\sqrt{\frac{1}{L}},{\hat{H}}_S\left(v\right)$ 表示第v个关键帧的空域显著值，v＝1，...,N，N为关键帧的数目；

计算时域显著性：利用公式

计算视频关键帧序列

的运动信息特征图序列{I_m(v)|v＝4,…,N}；其中：I_t(v)＝r(v)+g(v)+b(v)，τ是系数，r(v)，g(v)，b(v)表示是I(v)的RGB三个颜色通道，I_m(v)表示第v个视频关键帧的运动信息特征图；然后按照下述步骤提取I_m(v)的时域显著图：

步骤a₂：对I_m(v)进行傅立叶变换，得到I_m(v)的幅度谱信息A_m(v)＝amplitude(F[I_m(v)])和相位谱信息P_m(v)＝angle(F[I_m(v)])；其中：F[I_m(v)]表示对I_m(v)做二维傅立叶变换，amplitude表示对F[I_m(v)]进行取幅度谱运算，A_m(v)为第v个视频关键帧的运动信息特征图的傅立叶变换的幅度谱；angle表示对F[I_m(v)]进行取相位谱运算，P_m(v)为第v个视频关键帧的运动信息特征图的傅立叶变换的相位谱；

步骤b₂：将幅度谱A_m(v)均匀划分为M²个子频带，再利用公式

对每一子频带的幅度谱和全局的相位谱进行傅立叶反变换；其中：F^-1表示二维傅立叶反变换；表示第i个子频带的幅度谱；表示由第i个子频带得到的显著图；C_i表示第i个子频带显著图的归一化因子；

步骤c₂：计算视频关键帧I(v)的时域显著图

其中：w_i表示第i个子频带显著图的权重；S_m(v)表示第v个视频关键帧的运动信息特征图计算得到的时域显著图；

步骤d₂：将步骤d中计算得到的显著图S_m(v)转化为二值图像S_bm(v),分割阈值采用动态阈值，二值图像S_bm(v)中灰度值为1的点为显著点；利用公式 ${\hat{H}}_T\left(v\right)=-\log \left\{\frac{1}{L^2}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j\∈\mathrm{\Γ}\left(i\right)}{\mathrm{\Σ}}G(y_i-y_j,{\mathrm{\Σ}}_i+{\mathrm{\Σ}}_j)\right\}$ 计算二值图像S_bm(v)中显著点的Renyi熵，以Renyi熵的数值作为时域显著值；其中：L表示显著图S_bm(v)中显著点的个数，y_i和y_j分别表示显著图中显著点i和j的位置坐标信息，G(y_i-y_j,∑_i+∑_j)表示显著点y_i与八邻域内显著点y_j的混合高斯分布， $\mathrm{\Σi}=\left(\begin{array}{cc}{{\mathrm{\σ}}_i}^2& 0\\ 0& {{\mathrm{\σ}}_i}^2\end{array}\right),$ ${\mathrm{\σ}}_i=\frac{1}{4}\sqrt{\frac{1}{L}},$ $\mathrm{\Σj}=\left(\begin{array}{cc}{{\mathrm{\σ}}_j}^2& 0\\ 0& {{\mathrm{\σ}}_j}^2\end{array}\right),$

第v个关键帧的时域显著值，v＝4，...,N，N为关键帧的数目；

步骤3：利用公式 $S\left(v\right)=\left\{\begin{array}{c}{\hat{H}}_S\left(v\right),(v=\mathrm{1,2,3})\\ \mathrm{\α}{\hat{H}}_S\left(v\right)+(1-\mathrm{\α}){\hat{H}}_T\left(v\right),(v>=4)\end{array}\right.$ 融合视频关键帧空域显著性和时域显著性，得到视频关键帧I(v)的整体显著值S(v)：其中：α是空域显著性结果所占权重，α＝0.7，视频关键帧显著值序列{S(v)|v＝1,…,N}为输入视频的显著性。

所述步骤1中基于运动特征提取视频关键帧的方法如下：

步骤a：利用光流法计算得到每一帧的光流场分量o_x(i,j,t)和o_y(i,j,t)，其中，o_x(i,j,t)是视频第t帧图像在像素i，j的光流场的x方向成分分量；o_y(i,j,t)是视频第t帧图像在像素i，j的光流场的y方向成分分量；

步骤b：将视频每一帧的每个像素的光流分量的幅值利用公式：

加和得到每一帧的运动信息大小的衡量标准；

步骤c：选择M(t)相对于t中两个极大值之间的极小值点作为关键帧。

所述动态阈值的设定为：将显著图中的灰度值依照从大至小排序得到一个排序序列，自大向小方向取第5%的点的灰度值为动态阈值。

所述第i个子频带显著图的权重w_i＝1。

所述步骤b₁和步骤b₂中的M＝10。

所述τ＝3。

有益效果

本发明提出的一种基于频谱分析的视频显著性处理方法，在空域和时域内分别进行频域分析，充分考虑了幅度谱显著性信息和相位谱显著性信息以及视频在时域和空域两种空间内的显著性信息，且计算量小；利用Renyi熵度量显著图的显著点分布，并用熵值作为显著性值，解决了如何度量显著图的整体显著性的问题。因此，将视频场景图片放在频域内分析，并用Renyi熵计算显著值可以更好的度量视频显著性。

附图说明

图1：本发明方法的基本流程图；

图2：使用本方法进行视频显著性分析，得到视频显著性曲线的例子；

（a）本文所选用的视频数据提取的部分关键帧缩略图；

（b）部分视频帧得到的显著性曲线比较；

（c）不同算法计算时间比较。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：酷睿双核E7500，主频2.93G，2GB内存、集成显卡计算机，运行的软件环境是：Matlab R2011b和Windows XP。我们用Matlab软件实现了本发明提出的方法。视频数据是2011年4月12日湖人和马刺比赛的视频，WMV格式，585MB大小，整段视频持续的时间是1小时28分26秒，视频分辨率为480×320，视频帧率24fps。

本发明具体实施如下：

1视频预处理：对输入视频利用下述步骤提取输入视频的关键帧：

步骤a：利用光流法计算得到每一帧的光流场分量o_x(i,j,t)和o_y(i,j,t)，其中，o_x(i,j,t)是视频第t帧图像在像素i，j的光流场的x方向成分分量；o_y(i,j,t)是视频第t帧图像在像素i，j的光流场的y方向成分分量；

步骤b：将视频每一帧的每个像素的光流分量的幅值利用公式：加和得到每一帧的运动信息大小的衡量标准；

步骤c：选择M(t)对t曲线中两个极大值之间的极小值点作为关键帧。

由上述步骤得到输入视频的视频关键帧序列{I(v)|v＝1,…,10614}，其中I(v)表示第v个视频关键帧，10614表示视频关键帧的总数。

2空域显著性计算：利用线性变换的方法，将视频关键帧序列{I(v)|v＝1,…,10614}的灰度范围映射到一个一致的灰度区间[0,1]。设原始图像的灰度区间为[a₁,a₂]，则灰度调整公式为：

$\tilde{a}=\frac{a-a_1}{a_2-a_1}---\left(1\right)$

其中：a和分别为灰度调整前后像素的灰度值。调整灰度后，得到视频关键帧序列{I_g(v)|v＝1,…,10614}，其中I_g(v)表示第v个视频关键帧灰度变换后的结果。然后按照下述步骤对灰度变换后的视频关键帧I_g(v)提取空域显著图：

步骤a₁：对I_g(v)进行傅立叶变换，得到幅度谱信息和相位谱信息：

A_g(v)＝amplitude(F[I_g(v)])                                (2)

P_g(v)＝angle(F[I_g(v)])                                     (3)

其中：F[I_g(v)]表示对I_g(v)做二维傅立叶变换，amplitude表示对F[I_g(v)]进行取幅度谱运算，A_g(v)为视频关键帧I_g(v)的傅立叶变换的幅度谱。angle表示对F[I_g(v)]进行取相位谱运算，P_g(v)为视频关键帧I_g(v)的傅立叶变换的相位谱。

步骤b₁：将幅度谱A_g(v)均匀划分为M²个子频带，再利用公式(4)对每一子频带的幅度谱和全局的相位谱进行傅立叶反变换：

$S_g^i\left(v\right)=\frac{1}{C_i}{F}^{-1}[A_g^i\left(v\right)\·\exp (i*P_g\left(v\right))]---\left(4\right)$

其中：F^-1表示二维傅立叶反变换；表示第i个子频带的幅度谱；

表示由第i个子频带得到的显著图；C_i表示第i个子频带显著图的归一化因子，用以保证的值在[0,1]之间；M取固定值M＝10。

步骤c₁：计算视频关键帧I(v)的空域显著图：

$S_g\left(v\right)=\underset{i=1}{\overset{M^2}{\mathrm{\Σ}}}{w}_i{S}_g^i\left(v\right)---\left(5\right)$

其中：w_i表示第i个子频带显著图的权重，这里取所有的w_i取w_i＝1；S_g(v)表示由第v个视频关键帧I_g(v)计算得到的空域显著图。

步骤d₁：将步骤c中计算得到的显著图S_g(v)转化为二值图像S_bg(v)，分割阈值采用动态阈值；动态阈值设定为显著图中像素灰度值大小排序后前5%的点的灰度值；二值图像S_bg(v)中值为1的点为显著点；利用公式(6)计算二值图像S_bg(v)中显著点的Renyi熵，熵值作为空域显著值：

${\hat{H}}_S\left(v\right)=-\log \left\{\frac{1}{L^2}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j\∈\mathrm{\Γ}\left(i\right)}{\mathrm{\Σ}}G(y_i-y_j,{\mathrm{\Σ}}_i+{\mathrm{\Σ}}_j)\right\}---\left(6\right)$

其中L表示S_bg(v)中显著点的个数，y_i和y_j分别表示显著图中显著点i和j的位置坐标，G(y_i-y_j,∑_i+∑_j)表示显著点y_i与八邻域内显著点y_j的混合高斯分布， $\mathrm{\Σi}=\left(\begin{array}{cc}{{\mathrm{\σ}}_i}^2& 0\\ 0& {{\mathrm{\σ}}_i}^2\end{array}\right),$ ${\mathrm{\σ}}_i=\frac{1}{4}\sqrt{\frac{1}{L}},$ $\mathrm{\Σj}=\left(\begin{array}{cc}{{\mathrm{\σ}}_j}^2& 0\\ 0& {{\mathrm{\σ}}_j}^2\end{array}\right),$ ${\mathrm{\σ}}_j=\frac{1}{4}\sqrt{\frac{1}{L}},$

表示第v个关键帧的空域显著值，v＝1，...,10614。

时域显著性计算：

利用公式(7)计算视频关键帧I(v)的运动信息特征图序列{I_m(v)|v＝4,…,10614}：

I_m(v)＝|I_t(v)-I_t(v-τ)|                            (7)

其中，I_t(v)＝r(v)+g(v)+b(v)，τ是系数，通常设定为τ＝3，g(v)，b(v)分别是I(v)的RGB三个颜色通道，I_m(v)表示第v个视频关键帧的运动信息特征图；然后按照下述步骤提取I_m(v)的时域显著图：

步骤a₂：对I_m(v)进行傅立叶变换，得到I_m(v)的幅度谱信息和相位谱信息：

A_m(v)＝amplitude(F[I_m(v)])                        (8)

P_m(v)＝angle(F[I_m(v)])                            (9)

其中：F[I_m(v)]表示对I_m(v)做二维傅立叶变换，amplitude表示对F[I_m(v)]进行取幅度谱运算，A_m(v)为第v个视频关键帧的运动信息特征图的傅立叶变换的幅度谱。angle表示对F[I_m(v)]进行取相位谱运算，P_m(v)为第v个视频关键帧的运动信息特征图的傅立叶变换的相位谱。

步骤b₂：将幅度谱A_m(v)均匀划分为M²个子频带，再利用公式(10)对每一子频带的幅度谱和全局的相位谱进行傅立叶反变换：

$S_m^i\left(v\right)=\frac{1}{C_i}{F}^{-1}[A_m^i\left(v\right)\·\exp (i*P_m\left(v\right))]---\left(10\right)$

其中：F^-1表示二维傅立叶反变换；

表示第i个子频带的幅度谱；表示由第i个子频带得到的显著图；C_i表示第i个子频带显著图的归一化因子，用以保证

的值在[0,1]之间；M取固定值M＝10。

步骤c₂：计算视频关键帧I(v)的时域显著图：

$S_m\left(v\right)=\underset{i=1}{\overset{M^2}{\mathrm{\Σ}}}{w}_i{S}_m^i\left(v\right)---\left(11\right)$

其中：w_i表示第i个子频带显著图的权重，这里统一设置为w_i＝1；S_m(v)表示第v个视频关键帧的运动信息特征图计算得到的时域显著图。

步骤d₂：将步骤c中计算得到的显著图S_m(v)转化为二值图像S_bm(v),分割阈值采用动态阈值，动态阈值设定为显著图中像素灰度值大小排序后前5%的点的灰度值；二值图像S_bm(v)中值为1的点为显著点；利用公式(12)计算二值图像S_bm(v)中显著点的Renyi熵，熵值作为时域显著值阈值：

${\hat{H}}_T\left(v\right)=-\log \left\{\frac{1}{L^2}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j\∈\mathrm{\Γ}\left(i\right)}{\mathrm{\Σ}}G(y_i-y_j,{\mathrm{\Σ}}_i+{\mathrm{\Σ}}_j)\right\}---\left(12\right)$

其中：L表示显著图S_bm(v)中显著点的个数，y_i和y_j分别表示显著图中显著点i和j的位置坐标信息，G(y_i-y_j,∑_i+∑_j)表示显著点y_i与八邻域内显著点y_j的混合高斯分布， $\mathrm{\Σi}=\left(\begin{array}{cc}{{\mathrm{\σ}}_i}^2& 0\\ 0& {{\mathrm{\σ}}_i}^2\end{array}\right),$ ${\mathrm{\σ}}_i=\frac{1}{4}\sqrt{\frac{1}{L}},$ $\mathrm{\Σj}=\left(\begin{array}{cc}{{\mathrm{\σ}}_j}^2& 0\\ 0& {{\mathrm{\σ}}_j}^2\end{array}\right),$ ${\mathrm{\σ}}_j=\frac{1}{4}\sqrt{\frac{1}{L}},$

第v个关键帧的时域显著值，v＝4，...,10614。

4利用公式(13)融合空域显著性和时域显著性的结果，得到视频关键帧I(v)的整体显著值：

$S\left(v\right)=\left\{\begin{array}{c}{\hat{H}}_S\left(v\right),(v=\mathrm{1,2,3})\\ \mathrm{\α}{\hat{H}}_S\left(v\right)+(1-\mathrm{\α}){\hat{H}}_T\left(v\right),(v=1,...,10614)\end{array}\right.---\left(13\right)$

其中：α是空域显著性结果所占权重，α＝0.7，S(v)为视频关键帧I(v)的整体显著值，视频关键帧显著值序列{S(v)|v＝1,…,10614}为输入视频的显著性。

图2为本方法采用的视频数据处理成关键帧后的部分结果，以及本发明方法的结果和现有比较成熟的Surprise模型计算结果的对比。从图（b）中可以看出，本发明提出的方法得到的视频显著性曲线视频关键帧之间的差异比较明显，较准确的刻画了视频显著性曲线走势；从图（c）中可以看出，本发明提出的方法比传统的Surprise模型计算视频显著性的时间大大缩短，明显提升了计算效率。

Claims (6)

1.一种基于频谱分析的视频显著性处理方法，其特征在于步骤如下：

步骤1视频预处理：对输入的视频利用基于运动特征提取视频关键帧的方法提取输入视频的关键帧，得到视频关键帧序列{I(v)|v＝1,…,N}；其中：I(v)表示第v个视频关键帧，N表示视频关键帧的总数；

步骤2计算空域显著性和时域显著性：

计算空域显著性：利用线性变换的方法，将视频关键帧序列{I(v)|v＝1,…,N}的灰度范围映射到一个一致的灰度区间[0,1]或[0,255]，得到变换后的视频关键帧序列{I_g(v)|v＝1,…,N}，其中I_g(v)表示第v个视频关键帧灰度变换后的结果，N表示视频关键帧的总数；然后按照下述步骤对灰度变换后的视频关键帧I_g(v)提取空域显著图：

步骤a₁：对I_g(v)进行傅立叶变换得到幅度谱信息A_g(v)＝amplitude(F[I_g(v)])和相位谱信息P_g(v)＝angle(F[I_g(v)])；其中：F[I_g(v)]表示对I_g(v)做二维傅立叶变换，amplitude表示对F[I_g(v)]进行取幅度谱运算，A_g(v)为视频关键帧I_g(v)的傅立叶变换的幅度谱；angle表示对F[I_g(v)]进行取相位谱运算，P_g(v)为视频关键帧I_g(v)的傅立叶变换的相位谱；

步骤b₂：将幅度谱A_g(v)均匀划分为M²个子频带，再利用公式

对每一子频带的幅度谱和全局的相位谱进行傅立叶反变换；其中：F^-1表示二维傅立叶反变换；

表示第i个子频带的幅度谱；

表示由第i个子频带得到的显著图；C_i表示第i个子频带显著图的归一化因子；

步骤c₃：计算视频关键帧I(v)的空域显著图其中：w_i表示第i个子频带显著图的权重；S_g(v)表示由第v个视频关键帧I_g(v)计算得到的空域显著图；

步骤d₄：将步骤c得到的空域显著图S_g(v)转化为二值图像S_bg(v)，转化的分割阈值采用动态阈值，二值图像S_bg(v)中灰度值为1的点为显著点；利用公式 ${\hat{H}}_S\left(v\right)=-\log \left\{\frac{1}{L^2}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j\∈\mathrm{\Γ}\left(i\right)}{\mathrm{\Σ}}G(y_i-y_j,{\mathrm{\Σ}}_i+{\mathrm{\Σ}}_j)\right\}$ 计算二值图像S_bg(v)中显著点的Renyi熵，以Renyi熵的熵值为空域显著值；其中：L表示S_bg(v)中显著点的个数，y_i和y_j分别表示显著图中显著点i和j的位置坐标，G(y_i-y_j,∑_i+∑_j)表示显著点y_i与八邻域内显著点y_j的混合高斯分布， $\mathrm{\Σi}=\left(\begin{array}{cc}{{\mathrm{\σ}}_i}^2& 0\\ 0& {{\mathrm{\σ}}_i}^2\end{array}\right),$ ${\mathrm{\σ}}_i=\frac{1}{4}\sqrt{\frac{1}{L}},$ $\mathrm{\Σj}=\left(\begin{array}{cc}{{\mathrm{\σ}}_j}^2& 0\\ 0& {{\mathrm{\σ}}_j}^2\end{array}\right),$ ${\mathrm{\σ}}_j=\frac{1}{4}\sqrt{\frac{1}{L}},{\hat{H}}_S\left(v\right)$ 表示第v个关键帧的空域显著值，v＝1，...,N，N为关键帧的数目；

计算时域显著性：利用公式

计算视频关键帧序列

的运动信息特征图序列{I_m(v)|v＝4,…,N}；其中：I_t(v)＝r(v)+g(v)+b(v)，τ是系数，r(v)，g(v)，b(v)表示是I(v)的RGB三个颜色通道，I_m(v)表示第v个视频关键帧的运动信息特征图；然后按照下述步骤提取I_m(v)的时域显著图：

步骤a₂：对I_m(v)进行傅立叶变换，得到I_m(v)的幅度谱信息A_m(v)＝amplitude(F[I_m(v)])和相位谱信息P_m(v)＝angle(F[I_m(v)])；其中：F[I_m(v)]表示对I_m(v)做二维傅立叶变换，amplitude表示对F[I_m(v)]进行取幅度谱运算，A_m(v)为第v个视频关键帧的运动信息特征图的傅立叶变换的幅度谱；angle表示对F[I_m(v)]进行取相位谱运算，P_m(v)为第v个视频关键帧的运动信息特征图的傅立叶变换的相位谱；

步骤b₂：将幅度谱A_m(v)均匀划分为M²个子频带，再利用公式对每一子频带的幅度谱和全局的相位谱进行傅立叶反变换；其中：F^-1表示二维傅立叶反变换；

表示第i个子频带的幅度谱；

表示由第i个子频带得到的显著图；C_i表示第i个子频带显著图的归一化因子；

步骤c₂：计算视频关键帧I(v)的时域显著图

其中：w_i表示第i个子频带显著图的权重；S_m(v)表示第v个视频关键帧的运动信息特征图计算得到的时域显著图；

步骤d₂：将步骤d中计算得到的显著图S_m(v)转化为二值图像S_bm(v),分割阈值采用动态阈值，二值图像S_bm(v)中灰度值为1的点为显著点；利用公式 ${\hat{H}}_T\left(v\right)=-\log \left\{\frac{1}{L^2}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}\underset{j\∈\mathrm{\Γ}\left(i\right)}{\mathrm{\Σ}}G(y_i-y_j,{\mathrm{\Σ}}_i+{\mathrm{\Σ}}_j)\right\}$ 计算二值图像S_bm(v)中显著点的Renyi熵，以Renyi熵的数值作为时域显著值；其中：L表示显著图S_bm(v)中显著点的个数，y_i和y_j分别表示显著图中显著点i和j的位置坐标信息，G(y_i-y_j,∑_i+∑_j)表示显著点y_i与八邻域内显著点y_j的混合高斯分布， $\mathrm{\Σi}=\left(\begin{array}{cc}{{\mathrm{\σ}}_i}^2& 0\\ 0& {{\mathrm{\σ}}_i}^2\end{array}\right),$ ${\mathrm{\σ}}_i=\frac{1}{4}\sqrt{\frac{1}{L}},$ $\mathrm{\Σj}=\left(\begin{array}{cc}{{\mathrm{\σ}}_j}^2& 0\\ 0& {{\mathrm{\σ}}_j}^2\end{array}\right),$

第v个关键帧的时域显著值，v＝4，...,N，N为关键帧的数目；

步骤3：利用公式 $S\left(v\right)=\left\{\begin{array}{c}{\hat{H}}_S\left(v\right),(v=\mathrm{1,2,3})\\ \mathrm{\α}{\hat{H}}_S\left(v\right)+(1-\mathrm{\α}){\hat{H}}_T\left(v\right),(v>=4)\end{array}\right.$ 融合视频关键帧空域显著性和时域显著性，得到视频关键帧I(v)的整体显著值S(v)：其中：α是空域显著性结果所占权重，α＝0.7，视频关键帧显著值序列{S(v)|v＝1,…,N}为输入视频的显著性。

2.根据权利要求1所述基于频谱分析的视频显著性处理方法，其特征在于：所述步骤1中基于运动特征提取视频关键帧的方法如下：

步骤a：利用光流法计算得到每一帧的光流场分量o_x(i,j,t)和o_y(i,j,t)，其中，o_x(i,j,t)是视频第t帧图像在像素i，j的光流场的x方向成分分量；o_y(i,j,t)是视频第t帧图像在像素i，j的光流场的y方向成分分量；

步骤b：将视频每一帧的每个像素的光流分量的幅值利用公式：

加和得到每一帧的运动信息大小的衡量标准；

步骤c：选择M(t)相对于t中两个极大值之间的极小值点作为关键帧。

3.根据权利要求1所述基于频谱分析的视频显著性处理方法，其特征在于：所述动态阈值的设定为：将显著图中的灰度值依照从大至小排序得到一个排序序列，自大向小方向取第5%的点的灰度值为动态阈值。

4.根据权利要求1所述基于频谱分析的视频显著性处理方法，其特征在于：所述第i个子频带显著图的权重w_i＝1。

5.根据权利要求1所述基于频谱分析的视频显著性处理方法，其特征在于：所述步骤b₁和步骤b₂中的M＝10。

6.根据权利要求1所述基于频谱分析的视频显著性处理方法，其特征在于：所述τ＝3。

Images