CN107194948A - 基于集成式预测与时空域传播的视频显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于集成式预测与时空域传播的视频显著性检测方法。（1）、对于视频的当前帧，构建以当前帧为中心的局部时域窗口；（2）、利用光流算法计算所需的光流场（运动矢量场）；然后进行超像素分割；最后提取区域特征；（3）、利用当前帧的前两帧信息（包括对应的显著性图），获取集成式显著性预测模型，并对当前帧进行显著性预测；（4）、利用前两帧信息对当前帧进行前向时域传播；利用前两帧信息作用于当前帧的后两帧，获取对应的粗略时空显著性图，并基于此对当前帧进行后向时域传播；（5）、空域传播，得到对应于当前帧的时空显著性图。该方法于无约束视频的结果表明能够均匀点亮、凸显显著性运动物体，同时有效的抑制背景。

Description

基于集成式预测与时空域传播的视频显著性检测方法

技术领域

本发明涉及图像、视频处理技术领域，具体地说是涉及一种基于集成式预测与时空域传播的视频显著性检测方法。

背景技术

随着具有拍照录像功能的可穿戴设备、智能手机与平板电脑的普及，视频信息的获取和存储变得越来越容易，人们可以随意拍摄不同时长的视频信息，如此视频数量急剧增多，其中不乏大量的无约束视频，这也对图像视频处理等研究领域带来了新的挑战。近年来，研究表明人类的视觉系统能够快速的从复杂场景中定位出最吸引眼球的物体，而如何利用计算机技术模拟人眼视觉机制并用于提取图像、视频中的人眼感兴趣区域亦成为当前研究热点，在过去的几十年中，研究人员提出了众多的显著性模型，并应用到很多领域，如内容感知的图像/视频缩放、图像/视频分割、基于感兴趣区域的图像/视频压缩编码、图像/视频质量评价等。与此同时，我们亦要注意到视频序列，尤其是无约束视频中，包含大量复杂的场景信息，而这无疑进一步增加了研究难度。2014年，Liu等人提出的基于超像素区域的时空显著性检测方法，首先通过基于对比度框架分别得到时域显著性图和空域显著性图，然后通过提出的一种自适应的线性融合方法生成时空显著性图。但是，对于复杂视频帧来说，经常出现物体与周围背景较相似或者由运动引起的模糊，如此，基于中心-周围差异的对比度框架的显著性计算方法常常失效。2015年，Wang等人通过计算时空显著性图作为后续视频中显著对象分割的先验信息，其时空显著性图是建立在超像素区域的图结构基础之上，利用测地距离得到时空显著性图。这里，该超像素图结构是以帧内超像素区域的边界以及相邻帧之间运动边界为边界构造出来的。经过分析可以发现，有些视频帧中，物体可能位于图像的边界，此时该类图结构可能会失效；且寻找时域邻域时，仅采用覆盖、交叠的方式获取，这对于非刚性形变物体而言，亦是常常失效的。2016年，Liu等人提出了基于超像素级图结构及时空传播的显著性模型，用于获取无约束视频中的时空显著性图。该算法中采用的运动显著性度量作为初始显著性图，但对于复杂场景等无约束视频常常失效。综上所述，现有的时空显著性模型不能有效的凸显显著的运动对象和抑制背景，特别是无约束视频，这也阻碍了视频显著性检测方法的广泛应用。

发明内容

本发明的目的在于针对已有技术中存在的缺陷，提出一种基于集成式预测与时空域传播的视频显著性检测方法。该方法能够均匀点亮、凸显视频中的显著性运动对象，同时较好的抑制背景，从而能够有效的进行视频显著性检测。

为了达到上述目的，本发明采用的技术方案如下：

一种基于集成式预测与时空域传播的视频显著性检测方法，其特征在于该方法的具体步骤如下：

a.输入视频的每一帧，对于视频的当前帧，构建以当前帧为中心的局部时域窗口WT_t；

b.利用光流算法计算所需的光流场，即运动矢量场；然后进行超像素分割；最后提取区域特征；

c.利用当前帧的前两帧信息获取集成式显著性预测模型，并对当前帧进行显著性预测；

d.首先对当前帧进行前向时域传播；然后利用当前帧的前两帧信息作用于当前帧的后两帧获取其对应的粗略时空显著性图，接着基于此对当前帧进行后向时域传播；最后结合当前帧的前向、后向时域传播结果及c中的预测结果，得到对应于当前帧的时域显著性图；

e.首先构建空域传播图模型；然后将步骤d所得到的结果相结合送入空域传播；最后得到对应于当前帧的时空显著性图；

f.获取当前帧的时空显著性图后，判断当前帧是否为截止帧，若是，则算法结束；否则，算法则进行至下一帧。

上述步骤a的具体步骤为：输入视频序列，将当前帧记作F_t，并将其前面两帧记为{F_t-2,F_t-1}，其后面两帧记为{F_t+1,F_t+2}，构建以当前帧F_t为中心的局部时域窗口WT_t＝{F_t-2,F_t-1,F_t,F_t+1,F_t+2}；此时当前帧F_t的前面两帧的时空显著性图已经获取，记作{SM_t-2,final，SM_t-1,final}。

上述步骤b的具体步骤为：

b-1.采用简单线性迭代聚类超像素分割算法对步骤a所得局部时域窗口WT_t中的每一视频帧进行超像素区域分割，得到一系列超像素区域 和n_t为超像素区域个数；

b-2.利用光流场估计算法LDOF，获得局部时域窗口WT_t中的每一视频帧的运动矢量场MVF_t-2,t-1，MVF_t-1,t，MVF_t+1,t+2，和MVF_t+2,t+3；

b-3.提取四类区域特征：位置特征，记为水平x₁、垂直x₂；颜色特征，即RGB颜色值对应的区域均值、方差，分别记作x₃～x₅、x₆～x₈和Lab颜色值对应的区域均值、方差x₉～x₁₁、x₁₂～x₁₄；纹理特征，即局部二值模式对应的区域均值与方差，分别记作x₁₅、x₁₆；运动特征，即运动矢量场对应的幅值、相位，亦包含区域均值与方差，记作x₁₇～x₂₀，其中x₁₇,x₁₈代表幅值的区域均值与方差，x₁₉,x₂₀代表相位的区域均值与方差。

上述步骤c中的获取集成式显著性预测模型的方法，分为训练与测试两部分，具体步骤如下：

(c-1)、采用Otsu算法对当前帧的前两帧{F_t-2,F_t-1}的显著性图{SM_t-2,final，SM_t-1,final}二值化，得到对应的二值图{BSM_t-2,final,BSM_t-1,final}；

(c-2)、对于F_t-2，其对应的超像素区域为利用下式来确定正负样本：

这里，表示任一区域i与二值图BSM_t-2,final相交后，其中的前景点个数占该区域所有像素点个数的比率；当时，标记该区域为正样本，记为当则该区域标记为负样本，记为如此形成确定性的训练样本对应的正负样本的标记为：及对应的四大类区域特征的数据为：Q表示收集的区域样本数目；

(c-3)、一般地，视频数据中背景区域数目远大于前景区域数目，为此，这里将多数类样本设定为背景样本N，少数类样本则设定为前景P；对已获取的训练样本中的负样本进行m次有放回的下采样，每次采用数目为多数类样本数目的得到一系列负样本集{N₁,N₂,...,N_m}，结合少数类样本P，构成了m个训练集集合，{{P,N₁},{P,N₂},...,{P,N_m}}；利用随机森林算法于这些训练集集合上训练，可得到m个随机森林显著性预测模型

(c-4)、重复步骤c-2和c-3，得到对应于F_t-1的随机森林显著性预测模型

(c-5)、利用{F_t-2,F_t-1}对应的显著性预测模型{M_t-1,M_t-2}，对于当前帧F_t可做如下显著性预测：

SM_t,pre即是集成式显著性预测模型的预测结果，其中X_t为当前帧F_t的区域特征。

上述步骤d中的时域传播，其具体步骤为：

(d-1)、计算当前帧F_t中的任一超像素区域中的像素点根据运动矢量场的位移MVF_t,t-1投影到前一帧F_t-1后，得到投影后的超像素区域由此可计算与F_t-1中任一区域之间的重叠度OLR_t,t-1(i,j)，即：

同样，亦可计算投影后的超像素区域与之间的空间位置距离SPD_t,t-1(i,j)：

这里，与分别表示与的中心位置；表示的运动矢量场的区域均值。结合上述二者，即可确定于F_t-1中的最匹配区域及相关集，即：

这里，为最匹配区域，表示相关集，由自身及其邻接区域构成，表示其中任一区域；然后与中所有元素的相似性，具体如下：

这里，与分别表示与中任一区域的颜色或运动特征，FeaD_t,t-1(i,j)计算的是两区域之间的特征距离；相似性w_t,t-1(i,j)则利用了二者的空间距离与特征距离，其中Z，Z₁及Z₂分别表示归一化因子；最后，在上述两步的基础上进行前向时域传播：

此即是对应于当前帧上的前向时域传播的结果。

(d-2)、利用当前帧的前两帧{F_t-2,F_t-1}对应的预测模型{M_t-1,M_t-2}对{F_t+1,F_t+2}做显著性预测：

(d-3)、利用{F_t-2,F_t-1}对{F_t+1,F_t+2}做前向传播：

如此，分别为于F_t+1与F_t+2的前向时域传播的结果；综合步骤(d-2)与(d-3)的结果步骤(6)中将叙述的空域传播，可得到对应于{F_t+1,F_t+2}的粗略时空显著性图：

这里，上式表示将步骤(d-2)的结果同步骤(d-3)前述的结果相结合；箭头即表示空域传播，得到对应于{F_t+1,F_t+2}的粗略时空显著性图

(d-4)、利用获取的对应于{F_t+1,F_t+2}的粗略时空显著性图对当前帧F_t做后向传播，其过程同步骤(d-1)：

如此，即为F_t的后向时域传播的结果。这里要注意需先求得对应的光流场MVF_t,t+1与MVF_t,t+2用于投影映射，计算公式(3)中的重叠度；

(d-5)、将步骤(c-5)中的预测结果SM_t,pre与步骤(d-1)、步骤(d-4)中的对应的前后向时域传播结果相结合，生成对应于当前帧的时域传播结果SM_t,tp：

上述步骤e中的空域传播方法，其具体步骤为：

(e-1)、分别采用Lab区域均值x＝[x₉,x₁₀,x₁₁]∈R³与运动幅值、相位之区域均值特征x＝[x₁₇,x₁₉]∈R²构建图模型；该图模型的建立可参考Lu于2013年提出的GMR模型。

(e-2)、将当前帧的时域传播结果SM_t,tp进行二值化，得到二值图BSM_t,tp，对于其任一区域若其值等于1，则为前景点；若为0，则表示背景点；利用步骤(e-1)建立的图模型进行前景点传播，即

SM_t,sp＝FQA(BSM_t,tp)+FQM(BSM_t,tp) (16)

这里FQA与FQM分别表示基于Lab外观颜色特征与运动特征建立的图模型进行的前景点传播；结合步骤d中得到的时域传播结果SM_t,tp，构成了最终的时空显著性图，即

SM_t,final＝SM_t,tp+SM_t,sp (17)

为了更进一步提升显著性图质量，对SM_t,final引入图割算法进行优化；如此，SM_t,final即是当前帧F_t对应的时空显著性图。

上述步骤f中的判断算法是否结束，具体如下：

获取当前帧F_t的时空显著性图SM_t,final后，判断当前帧是否为截止帧，若是，则算法结束；反之，则进行至下一帧：更新预测模型，具体同步骤(c-1,c-2,c-3,c-4)；获得当前帧F_t对应的预测模型接下来处理至第t+1帧，F_t+1，此时的局部时域窗口变为WT_t+1＝{F_t-1,F_t,F_t+1,F_t+2,F_t+3}，预测模型为{M_t,M_t-1}，已知帧的显著性图为{SM_t-1,final,SM_t,final}，接下重复步骤(c-5)至(e-2)；这里要注意，整个处理流程中，从第二帧开始至倒数第三帧结束，其中，第二帧与倒数第三帧的局部时域窗口仅包含三帧，其余各帧的局部时域窗口则为五帧；同时，给定第一帧对应的二值图。

本发明的基于集成式预测与时空域传播的视频显著性检测方法与现有的技术相比，具有如下优点：该发明充分利用了相邻帧或邻域帧之间的相关关系，即这些帧中的显著性物体变化相对较小；该方法引入bagging机制构建集成式预测模型，同时构建局部时域窗口的双向时域传播框架，最后辅以空域传播，能够均匀点亮视频帧中的显著性物体，有效的抑制背景，从而准确的凸显出显著性运动物体；对于无约束视频中的复杂场景，该方法亦能较好的凸显显著对象，实现视频显著性检测的目的。

附图说明

图1是本发明的基于集成式预测与时空域传播的视频显著性检测方法的流程图。

图2是本发明的基于集成式预测与时空域传播的视频显著性检测方法的示意图。

图3是本发明步骤(c)中提出的集成式预测模型示意图。

图4是本发明步骤(d-2)与(d-3)的粗略时空显著性图的获取的示意图。

图5是本发明步骤(e)的空域传播框架示意图。

图6与7是本发明的方法作用于视频的结果，这里仅取部分帧作示例。

图8，即表1是本发明步骤(2)中提取的区域特征。

具体实施方式

下面结合说明书附图对本发明的实施例作进一步详细说明。

本发明进行的仿真实验是在CPU为英特尔i7-4790k、4GHz、内存为16G的PC测试平台上编程实现。如图2所示，本发明的基于集成式预测与时空域传播的视频显著性检测方法，其具体步骤如下：

(1)、对于视频的当前帧F_t，首先构建以当前帧F_t为中心的局部时域窗口WT_t＝{F_t-2,F_t-1,F_t,F_t+1,F_t+2}，并利用LDOF光流算法计算所需的光流场(运动矢量场)；然后利用SLIC算法进行超像素分割；最后提取区域特征，如表1(即图8)所示。

(2)、首先基于前两帧{F_t-2,F_t-1}的时空显著性图{SM_t-2,final，SM_t-1,final}，按照步骤(c-1,c-2,c-3,c-4)所述，获取对应于{F_t-2,F_t-1}的集成式显著性预测模型{M_t-1,M_t-2}；然后利用(c-5)中的公式(2)对当前帧进行显著性预测，得到SM_t,pre。该部分过程如图3所示。具体的结果如图2中预测模块后的显著性图。

(3)、利用前两帧{F_t-2,F_t-1}的时空显著性图{SM_t-2,final，SM_t-1,final}向当前帧F_t做前向时域传播，具体操作参考步骤(d-1)，得到

(4)、基于{F_t-2,F_t-1}的集成式显著性预测模型{M_t-1,M_t-2}利用公式(8,9)对后两帧{F_t+1,F_t+2}做显著性预测；基于前两帧{F_t-2,F_t-1}的时空显著性图{SM_t-2,final，SM_t-1,final}对后两帧{F_t+1,F_t+2}做前向传播，具体操作参考步骤(d-1)及公式(7)；将前两者的输出送入后续步骤空域传播框架中，得到对应于{F_t+1,F_t+2}的粗略时空显著性图该部分具体如图4所示。

(5)、基于{F_t+1,F_t+2}的粗略时空显著性图对当前帧F_t做后向时域传播，具体操作参考步骤(d-1)、(d-4)及公式(14)，得到

(6)、利用公式(15)将对应于前述(2，3，5)的SM_t,pre、相加得到对应于当前帧的时域传播结果SM_t,tp，具体图示如图2中时域传播模块后的显著性图。

(7)、将SM_t,tp送入空域传播框架中，具体操作参考步骤(e)，如图5所示，得到最终的时空显著性图SM_t,final。其中，图5(a)表示前述得到的时域传播结果SM_t,tp，(b)表示对应的二值图BSM_t,tp，(c)和(d)分别表示利用基于表观图模型与运动图模型进行前景传播得到的结果，(e)表示公式(16)的结果，即初步空域传播结果SM_t,sp，(f)表示最终的时空显著性图SM_t,final。

(8)、得到对应于当前帧F_t的时空显著性图SM_t,final后，判断当前帧是否为截止帧，若是，则算法结束；否则，则利用步骤(c-2,c-3,c-4)得到对应于当前帧F_t的显著性预测模型如此处理下一帧F_t+1，同样构建局部时域窗口，更新预测模型等，具体参考步骤(f)。

利用本发明的方法，取无约束视频做仿真实验，结果如图6与图7所示，这里取部分帧作示例，其中第一列为输入视频帧，第二列为ground truth，第三列为本发明对应的结果。由前述及图6与图7可以看出，本发明基于集成式预测与时空域传播的视频显著性检测方法，以逐帧处理的方式对视频进行处理，充分利用自顶向下的算法及时域连贯性的优势，并结合有效的空域传播策略，能够均匀的点亮、凸显视频帧中的显著性运动物体，同时有效的抑制背景。

Claims (7)

1.一种基于集成式预测与时空域传播的视频显著性检测方法，其特征在于该方法的具体步骤如下：

a.输入视频的每一帧，对于视频的当前帧，构建以当前帧为中心的局部时域窗口WT_t；

b.利用光流算法计算所需的光流场，即运动矢量场；然后进行超像素分割；最后提取区域特征；

c.利用当前帧的前两帧信息获取集成式显著性预测模型，并对当前帧进行显著性预测；

d.首先对当前帧进行前向时域传播；然后利用当前帧的前两帧信息作用于当前帧的后两帧获取其对应的粗略时空显著性图，接着基于此对当前帧进行后向时域传播；最后结合当前帧的前向、后向时域传播结果及c中的预测结果，得到对应于当前帧的时域显著性图；

e.首先构建空域传播图模型；然后将步骤d所得到的结果相结合送入空域传播；最后得到对应于当前帧的时空显著性图；

f.获取当前帧的时空显著性图后，判断当前帧是否为截止帧，若是，则算法结束；否则，算法则进行至下一帧。

2.根据权利要求1所述的基于集成式预测与时空域传播的视频显著性检测方法，其特征在于所述步骤a的具体步骤为：输入视频序列，将当前帧记作F_t，并将其前面两帧记为{F_t-2,F_t-1}，其后面两帧记为{F_t+1,F_t+2}，构建以当前帧F_t为中心的局部时域窗口WT_t＝{F_t-2,F_t-1,F_t,F_t+1,F_t+2}；此时当前帧F_t的前面两帧的时空显著性图已经获取，记作{SM_t-2,final，SM_t-1,final}。

3.根据权利要求1所述的基于集成式预测与时空域传播的视频显著性检测方法，其特征在于所述步骤b的具体步骤为：

b-1.采用简单线性迭代聚类超像素分割算法对步骤a所得局部时域窗口WT_t中的每一视频帧进行超像素区域分割，得到一系列超像素区域 和n_t为超像素区域个数；

b-2.利用光流场估计算法LDOF，获得局部时域窗口WT_t中的每一视频帧的运动矢量场MVF_t-2,t-1，MVF_t-1,t，MVF_t+1,t+2，和MVF_t+2,t+3；

b-3.提取四类区域特征：位置特征，记为水平x₁、垂直x₂；颜色特征，即RGB颜色值对应的区域均值、方差，分别记作X₃～X₅、X₆～X₈和Lab颜色值对应的区域均值、方差X₉～X₁₁、X₁₂～X₁₄；纹理特征，即局部二值模式对应的区域均值与方差，分别记作x₁₅、x₁₆；运动特征，即运动矢量场对应的幅值、相位，亦包含区域均值与方差，记作x₁₇～x₂₀，其中x₁₇,x₁₈代表幅值的区域均值与方差，x₁₉,x₂₀代表相位的区域均值与方差。

4.根据权利要求1所述的基于集成式预测与时空域传播的视频显著性检测方法，其特征在于所述步骤c中的获取集成式显著性预测模型的方法，分为训练与测试两部分，具体步骤如下：

(c-1)、采用Otsu算法对当前帧的前两帧{F_t-2,F_t-1}的显著性图{SM_t-2,final，SM_t-1,final}二值化，得到对应的二值图{BSM_t-2,final,BSM_t-1,final}；

(c-2)、对于F_t-2，其对应的超像素区域为利用下式来确定正负样本：

<mrow> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>a</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mi>i</mi> </msubsup> <mo>=</mo> <mfrac> <mrow> <mo>|</mo> <msubsup> <mi>sp</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mi>i</mi> </msubsup> <mo>&amp;cap;</mo> <msub> <mi>BSM</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>2</mn> <mo>,</mo> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mo>|</mo> </mrow> <mrow> <mo>|</mo> <msubsup> <mi>sp</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mi>i</mi> </msubsup> <mo>|</mo> </mrow> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>A</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mi>i</mi> </msubsup> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <msubsup> <mi>a</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mi>i</mi> </msubsup> <mo>&amp;GreaterEqual;</mo> <mn>0.8</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <msubsup> <mi>a</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mi>i</mi> </msubsup> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

这里，表示任一区域i与二值图BSM_t-2,final相交后，其中的前景点个数占该区域所有像素点个数的比率；当时，标记该区域为正样本，记为当则该区域标记为负样本，记为如此形成确定性的训练样本对应的正负样本的标记为：及对应的四大类区域特征的数据为：Q表示收集的区域样本数目；

(c-3)、一般地，视频数据中背景区域数目远大于前景区域数目，为此，这里将多数类样本设定为背景样本N，少数类样本则设定为前景P；对已获取的训练样本中的负样本进行m次有放回的下采样，每次采用数目为多数类样本数目的得到一系列负样本集{N₁,N₂,...,N_m}，结合少数类样本P，构成了m个训练集集合，{{P,N₁},{P,N₂},...,{P,N_m}}；利用随机森林算法于这些训练集集合上训练，可得到m个随机森林显著性预测模型

(c-4)、重复步骤c-2和c-3，得到对应于F_t-1的随机森林显著性预测模型

(c-5)、利用{F_t-2,F_t-1}对应的显著性预测模型{M_t-1,M_t-2}，对于当前帧F_t可做如下显著性预测：

<mrow> <msub> <mi>SM</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>p</mi> <mi>r</mi> <mi>e</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>m</mi> </mrow> </mfrac> <mo>&amp;lsqb;</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>r</mi> <mn>1</mn> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msubsup> <mi>RF</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mrow> <mi>r</mi> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>r</mi> <mn>2</mn> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msubsup> <mi>RF</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mrow> <mi>r</mi> <mn>2</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>t</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

SM_t,pre即是集成式显著性预测模型的预测结果，其中X_t为当前帧F_t的区域特征。

5.根据权利要求1所述的基于集成式预测与时空域传播的视频显著性检测方法，其特征在于所述步骤d中的时域传播，其具体步骤为：

(d-1)、计算当前帧F_t中的任一超像素区域中的像素点根据运动矢量场的位移MVF_t,t-1投影到前一帧F_t-1后，得到投影后的超像素区域由此可计算与F_t-1中任一区域之间的重叠度OLR_t,t-1(i,j)，即：

<mrow> <msub> <mi>OLR</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>|</mo> <msub> <mi>Pr</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <msubsup> <mi>sp</mi> <mi>t</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>&amp;cap;</mo> <msubsup> <mi>sp</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>j</mi> </msubsup> <mo>|</mo> </mrow> <mrow> <mo>|</mo> <msubsup> <mi>sp</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>j</mi> </msubsup> <mo>|</mo> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

同样，亦可计算投影后的超像素区域与之间的空间位置距离SPD_t,t-1(i,j)：

<mrow> <msub> <mi>SPD</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <mo>|</mo> <msubsup> <mi>&amp;mu;</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>j</mi> </msubsup> <mo>-</mo> <mrow> <mo>(</mo> <msubsup> <mi>&amp;mu;</mi> <mi>t</mi> <mi>i</mi> </msubsup> <mo>+</mo> <msubsup> <mi>mvf</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>|</mo> <mo>|</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>

这里，与分别表示与的中心位置；表示的运动矢量场的区域均值，结合上述二者，即可确定于F_t-1中的最匹配区域及相关集，即：

<mrow> <msubsup> <mi>sp</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <msup> <mi>j</mi> <mo>*</mo> </msup> </msubsup> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi>min</mi> </mrow> <mrow> <msubsup> <mi>sp</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>j</mi> </msubsup> <mo>&amp;Element;</mo> <msub> <mi>F</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </mrow> </munder> <mo>&amp;lsqb;</mo> <msub> <mi>OLR</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <msub> <mi>SPD</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>&amp;times;</mo> <msub> <mi>SPD</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow>

<mrow> <msubsup> <mi>H</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>i</mi> </msubsup> <mo>=</mo> <mo>{</mo> <msubsup> <mi>sp</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>j</mi> </msubsup> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

这里，为最匹配区域，表示相关集，由自身及其邻接区域构成，表示其中任一区域；然后与中所有元素的相似性，具体如下：

<mrow> <msub> <mi>FeaD</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <mo>|</mo> <msubsup> <mi>X</mi> <mi>i</mi> <mi>t</mi> </msubsup> <mo>-</mo> <msubsup> <mi>X</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>j</mi> </msubsup> <mo>|</mo> <mo>|</mo> </mrow>

<mrow> <msub> <mi>w</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>Z</mi> </mfrac> <mrow> <mo>(</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mfrac> <mrow> <msub> <mi>SPD</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <msub> <mi>&amp;sigma;</mi> <mn>1</mn> </msub> </mfrac> </mrow> </msup> <mo>/</mo> <msub> <mi>Z</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mfrac> <mrow> <msub> <mi>FeaD</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> <msub> <mi>&amp;sigma;</mi> <mn>2</mn> </msub> </mfrac> </mrow> </msup> <mo>/</mo> <msub> <mi>Z</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>w</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;Element;</mo> <mo>{</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mrow> <mi>L</mi> <mi>a</mi> <mi>b</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>,</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mrow> <mi>M</mi> <mi>o</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>

这里，与分别表示与中任一区域的颜色或运动特征，FeaD_t,t-1(i,j)计算的是两区域之间的特征距离；相似性w_t,t-1(i,j)则利用了二者的空间距离与特征距离，其中Z，Z₁及Z₂分别表示归一化因子；最后，在上述两步的基础上进行前向时域传播：

<mrow> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mi>p</mi> </mrow> <mrow> <mi>i</mi> <mo>,</mo> <mi>F</mi> </mrow> </msubsup> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msubsup> <mi>H</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mi>i</mi> </msubsup> </mrow> </munder> <mo>&amp;lsqb;</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mrow> <mi>L</mi> <mi>a</mi> <mi>b</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mrow> <mi>M</mi> <mi>o</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>&amp;le;</mo> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>2</mn> <mo>,</mo> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> <mi>j</mi> </msubsup> <mo>+</mo> <mo>...</mo> </mrow> 3

<mrow> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msubsup> <mi>H</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>i</mi> </msubsup> </mrow> </munder> <mo>&amp;lsqb;</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mrow> <mi>L</mi> <mi>a</mi> <mi>b</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mrow> <mi>M</mi> <mi>o</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>&amp;CenterDot;</mo> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> <mi>j</mi> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>

此即是对应于当前帧上的前向时域传播的结果；

(d-2)、利用当前帧的前两帧{F_t-2,F_t-1}对应的预测模型{M_t-1,M_t-2}对{F_t+1,F_t+2}做显著性预测：

<mrow> <msub> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>p</mi> <mi>r</mi> <mi>e</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>m</mi> </mrow> </mfrac> <mo>&amp;lsqb;</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>r</mi> <mn>1</mn> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msubsup> <mi>RF</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mrow> <mi>r</mi> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>r</mi> <mn>2</mn> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msubsup> <mi>RF</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mrow> <mi>r</mi> <mn>2</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> <mo>,</mo> <mi>p</mi> <mi>r</mi> <mi>e</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <mi>m</mi> </mrow> </mfrac> <mo>&amp;lsqb;</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>r</mi> <mn>1</mn> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msubsup> <mi>RF</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mrow> <mi>r</mi> <mn>1</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>+</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>r</mi> <mn>2</mn> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msubsup> <mi>RF</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mrow> <mi>r</mi> <mn>2</mn> </mrow> </msubsup> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>

(d-3)、利用{F_t-2,F_t-1}对{F_t+1,F_t+2}做前向传播：

<mrow> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>t</mi> <mi>p</mi> </mrow> <mrow> <mi>i</mi> <mo>,</mo> <mi>F</mi> </mrow> </msubsup> <mo>=</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msubsup> <mi>H</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mi>i</mi> </msubsup> </mrow> </munder> <mo>&amp;lsqb;</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mrow> <mi>L</mi> <mi>a</mi> <mi>b</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mrow> <mi>M</mi> <mi>o</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>&amp;CenterDot;</mo> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>2</mn> <mo>,</mo> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> <mi>j</mi> </msubsup> <mo>+</mo> <mn>...</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msubsup> <mi>H</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>i</mi> </msubsup> </mrow> </munder> <mo>&amp;lsqb;</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mrow> <mi>L</mi> <mi>a</mi> <mi>b</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mrow> <mi>M</mi> <mi>o</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>&amp;CenterDot;</mo> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> <mi>j</mi> </msubsup> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mi>p</mi> </mrow> <mrow> <mi>i</mi> <mo>,</mo> <mi>F</mi> </mrow> </msubsup> <mo>=</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msubsup> <mi>H</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mi>i</mi> </msubsup> </mrow> </munder> <mo>&amp;lsqb;</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mrow> <mi>L</mi> <mi>a</mi> <mi>b</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>2</mn> </mrow> <mrow> <mi>M</mi> <mi>o</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>&amp;CenterDot;</mo> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>2</mn> <mo>,</mo> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> <mi>j</mi> </msubsup> <mo>+</mo> <mn>...</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msubsup> <mi>H</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>i</mi> </msubsup> </mrow> </munder> <mo>&amp;lsqb;</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mrow> <mi>L</mi> <mi>a</mi> <mi>b</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mrow> <mi>M</mi> <mi>o</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>&amp;CenterDot;</mo> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> <mi>j</mi> </msubsup> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>

如此，分别为于F_t+1与F_t+2的前向时域传播的结果；综合步骤(d-2)与(d-3)的结果步骤(6)中将叙述的空域传播，可得到对应于{F_t+1,F_t+2}的粗略时空显著性图：

<mrow> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>t</mi> <mi>p</mi> </mrow> <mo>*</mo> </msubsup> <mo>=</mo> <msub> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>p</mi> <mi>r</mi> <mi>e</mi> </mrow> </msub> <mo>+</mo> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>t</mi> <mi>p</mi> </mrow> <mi>F</mi> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>t</mi> <mi>p</mi> </mrow> <mo>*</mo> </msubsup> <mo>&amp;DoubleRightArrow;</mo> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> <mo>*</mo> </msubsup> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mi>p</mi> </mrow> <mo>*</mo> </msubsup> <mo>=</mo> <msub> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> <mo>,</mo> <mi>p</mi> <mi>r</mi> <mi>e</mi> </mrow> </msub> <mo>+</mo> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mi>p</mi> </mrow> <mi>F</mi> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> <mo>,</mo> <mi>t</mi> <mi>p</mi> </mrow> <mo>*</mo> </msubsup> <mo>&amp;DoubleRightArrow;</mo> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> <mo>,</mo> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> <mo>*</mo> </msubsup> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>

这里，上式表示将步骤(d-2)的结果同步骤(d-3)前述的结果相结合；箭头即表示空域传播，得到对应于{F_t+1,F_t+2}的粗略时空显著性图

(d-4)、利用获取的对应于{F_t+1,F_t+2}的粗略时空显著性图对当前帧F_t做后向传播，其过程同步骤(d-1)：

<mrow> <mtable> <mtr> <mtd> <mrow> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mi>p</mi> </mrow> <mrow> <mi>i</mi> <mo>,</mo> <mi>B</mi> </mrow> </msubsup> <mo>=</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msubsup> <mi>H</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> <mi>i</mi> </msubsup> </mrow> </munder> <mo>&amp;lsqb;</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>L</mi> <mi>a</mi> <mi>b</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> <mrow> <mi>M</mi> <mi>o</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>&amp;CenterDot;</mo> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> <mrow> <mo>*</mo> <mi>j</mi> </mrow> </msubsup> <mo>+</mo> <mn>...</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>&amp;Element;</mo> <msubsup> <mi>H</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>+</mo> <mn>2</mn> </mrow> <mi>i</mi> </msubsup> </mrow> </munder> <mo>&amp;lsqb;</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>+</mo> <mn>2</mn> </mrow> <mrow> <mi>L</mi> <mi>a</mi> <mi>b</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>w</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mo>+</mo> <mn>2</mn> </mrow> <mrow> <mi>M</mi> <mi>o</mi> <mi>t</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>&amp;CenterDot;</mo> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>2</mn> <mo>,</mo> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> <mrow> <mo>*</mo> <mi>j</mi> </mrow> </msubsup> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>

如此，即为F_t的后向时域传播的结果；这里要注意需先求得对应的光流场MVF_t,t+1与MVF_t,t+2用于投影映射，计算公式(3)中的重叠度；

(d-5)、将步骤(c-5)中的预测结果SM_t,pre与步骤(d-1)、步骤(d-4)中的对应的前后向时域传播结果相结合，生成对应于当前帧的时域传播结果SM_t,tp：

<mrow> <msub> <mi>SM</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mi>p</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>SM</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>p</mi> <mi>r</mi> <mi>e</mi> </mrow> </msub> <mo>+</mo> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mi>p</mi> </mrow> <mi>F</mi> </msubsup> <mo>+</mo> <msubsup> <mi>SM</mi> <mrow> <mi>t</mi> <mo>,</mo> <mi>t</mi> <mi>p</mi> </mrow> <mi>B</mi> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow>

6.根据权利要求1所述的基于集成式预测与时空域传播的视频显著性检测方法，其特征在于所述步骤e中的空域传播方法，其具体步骤为：

(e-1)、分别采用Lab区域均值x＝[x₉,x₁₀,x₁₁]∈R³与运动幅值、相位之区域均值特征x＝[x₁₇,x₁₉]∈R²构建图模型；

(e-2)、将当前帧的时域传播结果SM_t,tp进行二值化，得到二值图BSM_t,tp，对于其任一区域若其值等于1，则为前景点；若为0，则表示背景点；利用步骤(e-1)建立的图模型进行前景点传播，即

SM_t,sp＝FQA(BSM_t,tp)+FQM(BSM_t,tp) (16)

这里FQA与FQM分别表示基于Lab外观颜色特征与运动特征建立的图模型进行的前景点传播；结合步骤d中得到的时域传播结果SM_t,tp，构成了最终的时空显著性图，即

SM_t,final＝SM_t,tp+SM_t,sp (17)

为了更进一步提升显著性图质量，对SM_t,final引入图割算法进行优化；如此，SM_t,final即是当前帧F_t对应的时空显著性图。

7.根据权利要求1所述的基于集成式预测与时空域传播的视频显著性检测方法，其特征在于所述步骤f中的判断算法是否结束，具体如下：

获取当前帧F_t的时空显著性图SM_t,final后，判断当前帧是否为截止帧，若是，则算法结束；反之，则进行至下一帧：更新预测模型，具体同步骤(c-1,c-2,c-3,c-4)；获得当前帧F_t对应的预测模型接下来处理至第t+1帧，F_t+1，此时的局部时域窗口变为WT_t+1＝{F_t-1,F_t,F_t+1,F_t+2,F_t+3}，预测模型为{M_t,M_t-1}，已知帧的显著性图为{SM_t-1,final,SM_t,final}，接下重复步骤(c-5)至(e-2)；这里要注意，整个处理流程中，从第二帧开始至倒数第三帧结束，其中，第二帧与倒数第三帧的局部时域窗口仅包含三帧，其余各帧的局部时域窗口则为五帧；同时，给定第一帧对应的二值图。