CN104424642B - 一种视频显著性区域检测方法及系统 - Google Patents

Abstract

本发明实施例公开了一种视频显著性区域检测、分割方法及系统，通过分别获得像素级的静态显著性特征、局部区域级的静态显著性特征和动态显著性特征和全局级的静态显著性特征和动态显著性特征，结合所有的静态显著性特征和动态显著性特征后得到视频显著性特征，利用视频帧之间的相关性对该视频显著性特征进行调制，基于调制后的视频显著性特征，采用3D‑MRF设置视频帧的视频显著性区域，然后利用Graph‑cuts选择最优的视频显著性区域，对视频显著性区域进行分割。本发明实施例用于提高视频显著性特征的检测准确度和精确度和提高视频显著性区域分割结果在时间上的连贯性和在空间上的连续性。

Description

一种视频显著性区域检测方法及系统

技术领域

本发明涉及视频处理技术领域，具体涉及一种视频显著性区域检测、分割方法及系统。

背景技术

视频编辑是多媒体商业应用中常需要处理的问题之一，例如要改变某些图像区域的色度、亮度来增加视觉效果，或者找出可叠加内容的视频区域。视频显著性检测是检测视频中可编辑区域最直接的方式。显著性区域是指视频中携带重要内容，直接引起视觉关注的区域。检测并分割视频显著性区域后，即可对非显著性区域进行编辑处理。

目前，最常用的显著性区域检测主流方法有基于频谱的检测和基于对比度的检测。其中，基于频谱的检测是提取图像频谱中的高频部分作为显著性区域。基于对比度的检测可以分为像素级检测显著性区域、局部区域级检测显著性区域、全局级检测显著性区域；也可以是综合这三个层次的检测得到静态显著性特征，再计算动态显著性特征，进一步结合静态显著性特征和动态显著性特征得到显著性区域。

其中，在基于对比度计算静态显著性特征的方法中，首先，像素级显著性区域检测方法通常把图像映射到多尺度空间里，在每个尺度下计算每个像素点和它周围像素点平方差之和作为这个个尺度下的测量，再把不同尺度的测量相加作为像素级显著性特征；其次，局部区域级显著性检测方法通常使用方形窗口指定一个局部区域和一个环形区域，并通过这个局部区域和环形区域颜色分布的距离标注局部区域的显著性；最后，全局级检测显著性区域检测方法通常采用各个颜色在图像中散布空间的扩散程度作为测量结果。把这三种方法应用在光流场中，可以获得这三个级别的动态显著性特征。分割视频显著性区域分割时，现有方法对视频中每一视频帧用一个独立的2D条件随机场（2D conditional randomfield，2D CRF）建模，并以上述显著性检测结果作为观测，分割出显著性区域。

在实施上述现有技术的过程中，本发明发明人发现现有技术只适用于检测亮度高于周边的显著性区域，无法检测亮或暗的突变区，而且还可能出现漏检的现象，而在分割视频显著性区域时也无法保证视频显著性区域分割结果的时间连贯性。

发明内容

针对上述缺陷，本发明实施例提供了一种视频显著性区域检测、分割方法及系统，提高视频显著性区域的检测精度和分割精度，以及视频显著性区域分割结果在空间上的连续性和在时间上的连贯性。

本发明第一方面提供一种视频显著性区域检测和分割的方法，包括：

根据像素奇异性对比度获得像素级的静态显著性特征；根据局部区域内像素特征的凝聚性、相对罕见性和重要性获得局部区域级的静态显著性特征；根据视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中的概率获得全局级的静态显著性特征；

在光流场中，根据局部区域内光流强度的凝聚性、相对罕见性和重要性获得所述局部区域级的动态显著性特征；根据光流强度的全局对比度、光流强度空间分布值和光流强度在所述视频帧中的概率获得所述全局级的动态显著性特征；

结合获得的静态显著性特征和动态显著性特征获得视频显著性特征，利用相邻视频帧的外观相关性对所述视频显著性特征进行调制，以便根据调制后的视频显著性特征对视频帧中视频显著性区域进行分割。

结合第一方面，在第一种可能的实现方式中，所述根据像素奇异性对比度获得像素级的静态显著性特征，具体包括：

基于高斯核函数对视频帧进行多尺度变换得到至少两层不同尺度的图像；获取尺度变换后图像中每个像素点所对应的变换系数值，计算每个坐标位置上像素点对应的变换系数值和该像素点的8个邻域内的像素点对应的变换系数值的差值；对每个所述差值进行q方处理后求和得到中心邻域差，所述q为1或2的正整数；对每个尺度图像的所有中心邻域差求和得到奇异性对比度；对所有不同尺度图像的奇异性对比度进行插值处理后累加求和得到像素级的静态显著性特征。

结合第一方面，或第一方面的第一种可能的实现方式，在第二种可能实现的方式中，所述根据局部区域内像素特征的凝聚性、相对罕见性和重要性获得局部区域级的静态显著性特征，具体包括：

在视频帧中选取窗口型第一局部区域，并在所述第一局部区域周边选取第一环形区域，分别计算所述第一局部区域和第一环形区域内像素特征的特征分布值，再根据所述特征分布值计算所述像素特征所携带的信息；根据所述特征分布值和所述像素特征所携带的信息计算所述第一局部区域内像素特征的凝聚性的值、相对罕见性的值和重要性的值；所述像素特征的凝聚性的值与相对罕见性的值相加，再乘以所述像素特征的重要性的值获得局部区域级的静态显著性特征。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，若所述特征来自第一局部区域，则所述像素特征的凝聚性的值与相对罕见性的值相加，再乘以所述像素特征的重要性的值获得局部区域级的静态显著性特征之后还包括：

对所述局部区域级的静态显著性特征和所述特征的特征分布值进行离散近似计算，获取所述第一局部区域的显著性特征；对所述第一局部区域的显著性特征进行离散数字处理，分布到所述第一局部区域的每个像素点上。

结合第一方面或第一方面的第二种可能的实现方式，在第四种可能的实现方式中，所述根据视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中的概率获得全局级的静态显著性特征，具体包括：

计算所述视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中出现的概率；利用激活函数sigmod对颜色在所述视频帧中出现的概率进行处理，再与所述颜色全局对比度和颜色空间分布值相乘，获得所述全局级的静态显著性特征。

结合第一方面，在第五种可能的实现方式中，在光流场中，所述根据第二局部区域内光流强度的凝聚性、相对罕见性和重要性获得所述局部区域级的动态显著性特征，具体包括：在光流场中选取窗口型第二局部区域，并在所述第二局部区域周边选取第二环形区域，分别计算所述第二局部区域和第二环形区域内光流分布值，再根据所述光流分布值计算光流强度所携带的信息；根据所述光流分布值和光流强度所携带的信息计算所述第二局部区域内光流强度的凝聚性的值、相对罕见性的值和重要性的值；所述光流强度的凝聚性的值与光流强度的相对罕见性的值相加，再乘以所述光流强度的重要性的值获得局部区域级的动态显著性特征。

结合第一方面或第一方面的第五种可能的实现方式，在第六种可能的实现方式中，所述根据光流强度全局对比度、光流强度空间分布值和每种光流强度在所述视频帧中的概率获得全局级的动态显著性特征，具体包括：计算所述视频帧的光流强度全局对比度、光流强度空间分布值和每种光流强度在所述视频帧中出现的概率；利用激活函数sigmod对光流强度在所述视频帧中出现的概率进行处理，再与所述光流强度全局对比度和光流强度空间分布值相乘，获得所述全局级的动态显著性特征。

本发明第二方面提供一种视频显著性区域分割方法，包括：

获取连续三帧视频帧调制后的视频显著性特征；

对所述视频帧中像素点对应的标注变量建立3D模型，根据所述视频显著性特征，采用3D图像马尔科夫场3D-MRF设置所述标注变量的对数后验概率，所述对数后验概率用于表示所述标注变量取值属于视频显著性区域的概率；

采用Graph-cuts从3D-MRF的所述对数后验概率中求取所述标注变量的最大后验概率估计值，根据所述最大后验概率估计值得到最优视频显著性区域分割结果。

结合第二方面，在第一种可能的实现方式中，所述根据所述视频显著性特征，采用3D图像马尔科夫场3D-MRF设置所述标注变量的对数后验概率，包括：采用3D图像马尔科夫场3D-MRF，对所述视频帧每个像素点对应的标注变量进行设置；根据所述视频显著性特征，计算所述视频帧每个像素点对应的标注变量的观测概率；根据所述视频帧每个像素点对应的标注变量，计算所述标注变量的时空平滑先验概率；根据所述观测概率和时空平滑先验概率，计算所述像素点对应的标注变量的后验概率，并对所述后验概率取对数计算得到对数后验概率。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述采用Graph-cuts从3D-MRF的所述对数后验概率中求取所述标注变量的最大后验概率估计值，根据所述最大后验概率估计值进行最优视频显著性区域分割，包括：从所述对数后验概率中求取所有像素点标注变量的最大后验概率估计值；根据所述最大后验概率估计值，获得所述视频帧的最优视频显著性区域的分割结果。

本发明第三方面提供一种视频显著性区域检测系统，包括：

第一获取单元，用于根据像素奇异性对比度获得像素级的静态显著性特征；用于根据局部区域内像素特征的凝聚性、相对罕见性和重要性获得局部区域级的静态显著性特征；用于根据视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中的概率获得全局级的静态显著性特征；

第二获取单元，用于在光流场中，根据局部区域内光流强度的凝聚性、相对罕见性和重要性获得所述局部区域级的动态显著性特征；根据光流强度的全局对比度、光流强度空间分布值和光流强度在所述视频帧中的概率获得所述全局级的动态显著性特征；

第三获取单元，用于结合获得的静态显著性特征和动态显著性特征获得视频显著性特征，利用相邻视频帧的外观相关性对所述视频显著性特征进行调制，以便根据调制后的视频显著性特征对视频帧中视频显著性区域进行分割。

结合第三方面，在第一种可能的实现方式中，所述第一获取单元包括像素级获取单元，所述像素级获取单元包括：

尺度变换单元，用于基于高斯核函数对视频帧进行多尺度变换得到至少两层不同尺度的图像；

第一计算单元，获取尺度变换后图像中每个像素点所对应的变换系数值，计算每个坐标位置上像素点对应的变换系数值和该像素点的8个邻域内的像素点对应的变换系数值的差值；用于对每个所述差值进行q方处理后求和得到邻域中心差，所述q为1或2的正整数；

求和单元，用于对每个尺度图像的所有中心邻域差求和得到奇异性对比度；用于对所有不同尺度图像的奇异性对比度进行插值处理后累加求和得到像素级的静态显著性特征。

结合第三方面，在第二种可能的实现方式中，所述第一获取单元还包括第一静态获取单元，所述第一静态获取单元包括：

第二计算单元，用于在视频帧中选取窗口型第一局部区域，并在所述第一局部区域周边选取第一环形区域，分别计算所述第一局部区域和第一环形区域内像素特征的特征分布值，再根据所述特征分布值计算所述像素特征所携带的信息；用于根据所述特征分布值和所述像素特征所携带的信息计算所述第一局部区域内像素特征的凝聚性的值、相对罕见性的值和重要性的值；

第二乘积单元，用于将所述像素特征的凝聚性的值与相对罕见性的值相加，再乘以所述像素特征的重要性的值获得局部区域级的静态显著性特征。

结合第三方面，在第四种可能的实现方式中，所述第一获取单元包括第二静态获取单元，所述第二静态获取单元包括：

第三计算单元，用于计算所述视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中出现的概率；

第三乘积单元，用于利用激活函数sigmod对颜色在所述视频帧中出现的概率进行处理，再与所述颜色全局对比度和颜色空间分布值相乘，获得所述全局级的静态显著性特征。

结合第三方面，在第五种可能的实现方式中，所述第二获取单元包括第一动态获取单元，所述第一动态获取单元包括：

第四计算单元，用于在光流场中选取窗口型第二局部区域，并在所述第二局部区域周边选取第二环形区域，分别计算所述第二局部区域和第二环形区域内光流分布值，再根据所述光流分布值计算光流强度所携带的信息；和用于根据所述光流分布值和光流强度所携带的信息计算所述第二局部区域内光流强度的凝聚性的值、相对罕见性的值和重要性的值；

第四乘积单元，用于将所述光流强度的凝聚性的值与光流强度的相对罕见性的值相加，再乘以所述光流强度的重要性的值获得局部区域级的动态显著性特征。

结合第三方面，或第三方面的第五种可能的实现方式，在第六种可能的实现方式中，所述第二获取单元还包括第二动态获取单元，所述第二动态获取单元包括：

第五计算单元，用于计算所述视频帧的光流强度全局对比度、光流强度空间分布值和每种光流强度在所述视频帧中出现的概率；

第五乘积单元，用于利用激活函数sigmod对光流强度在所述视频帧中出现的概率进行处理，再与所述光流强度全局对比度和光流强度空间分布值相乘，获得所述全局级的动态显著性特征。

本发明第四方面提供一种视频显著性区域分割系统，包括：

特征获取单元，用于获取连续三帧视频帧调制后的视频显著性特征；

概率设置单元，用于对所述视频帧中像素点对应的标注变量建立3D模型，根据所述视频显著性特征，采用3D图像马尔科夫场3D-MRF设置所述标注变量的对数后验概率，所述对数后验概率用于表示所述标注变量取值属于视频显著性区域的概率；

分割单元，用于采用Graph-cuts从3D-MRF的所述对数后验概率中求取所述标注变量的最大后验概率估计值，根据所述最大后验概率估计值得到最优视频显著性区域分割结果。

结合第四方面，在第一种可能的实现方式中，所述概率设置单元包括：

设置单元，用于采用3D图像马尔科夫场3D-MRF，对所述视频帧每个像素点对应的标注变量进行设置；

观测概率计算单元，用于根据所述视频显著性特征，计算所述视频帧每个像素点对应的标注变量的观测概率；

时空平滑先验概率计算单元，用于根据所述视频帧每个像素点对应的标注变量，计算所述标注变量的时空平滑先验概率；

对数后验概率计算单元，用于根据所述观测概率和时空平滑先验概率，计算所述像素点对应的标注变量的后验概率，并对所述后验概率取对数计算得到对数后验概率。

结合第四方面的第一种可能的实现方式，在第二种可能的实现方式中，所述分割单元包括：

最大后验概率计算单元，用于从所述对数后验概率中求取所有像素点标注变量的最大后验概率估计值；

视频显著性区域分割单元，用于根据所述最大后验概率估计值，获得所述视频帧的最优视频显著性区域的分割结果。

从以上技术方案可以看出，本发明实施例具有以下优点：

在本发明实施例一方面根据像素的奇异性对比度获取像素级的静态显著性特征，能够提取到边界、颜色突变等高频细节的显著性；在局部区域级根据局部区域内像素特征的凝聚性、相对罕见性和重要性获取局部区域级的静态显著性特征，能够检测到和周边区域相比突出的局部区域，提高局部区域级的静态显著性特征的检测准确度；在全局级中根据视频帧的颜色全局对比度、颜色空间分布值和每种颜色在图像中的概率获取全局级的静态显著性特征，能够检测到视频帧上相对其它部分颜色对比鲜明的颜色区域；再次，在光流场中，利用相同的方法获取局部区域级的动态显著性特征和全局级的动态显著性特征，再将静态显著性特征和动态显著性特征进行结合得到视频显著性特征，利用视频帧之间的外观相关性对视频显著性特征进行调制，进而提高视频显著性特征的检测准确度和精确度。

本发明第二方面提出使用3D-MRF设置连续三帧视频帧的视频显著性区域，并用graph-cut求解最优视频显著性区域，提高视频显著性区域分割结果在时间上的连贯性和在空间上的连续性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频显著性区域检测方法的流程示意图；

图2为本发明实施例提供的像素级的静态显著性特征的检测方法流程示意图；

图3-a为本发明实施例提供的局部级的静态显著性特征的检测方法流程示意图；

图3-b为本发明实施例提供的局部区域级中选取检测窗口的示意图；

图3-c为本发明实施例提供的局部区域级检测结果示意图；

图4-a为本发明实施例提供的全局级的静态显著性特征的检测方法流程示意图；

图4-b为本发明实施例提供的全局级检测结果示意图；

图5-a为本发明实施例提供的局部区域级的动态显著性特征的检测方法流程示意图；

图5-b为本发明实施例提供的全局级的动态显著性特征的检测方法流程示意图；

图6为本发明实施例提供的一种视频显著性区域分割方法的流程示意图；

图7-a为本发明实施例提供的3D-MRF标注视频显著性区域的流程示意图；

图7-b为本发明实施例提供的3D-MRF视频显著性区域表示方法；

图7-c为本发明实施例提供的Graph-cuts分割视频显著性区域的流程示意图；

图8-a为本发明实施例提供的一种视频显著性区域检测系统的结构示意图；

图8-b为本发明实施例提供的一种视频显著性区域检测系统的另一结构示意图；

图8-c为本发明实施例提供的一种视频显著性区域检测系统的另一结构示意图；

图8-d为本发明实施例提供的一种视频显著性区域检测系统的另一结构示意图；

图8-e为本发明实施例提供的一种视频显著性区域检测系统的另一结构示意图；

图8-f为本发明实施例提供的一种视频显著性区域检测系统的另一结构示意图；

图9-a为本发明实施例提供的一种视频显著性区域分割系统的结构示意图；

图9-b为本发明实施例提供的一种视频显著性区域分割系统的另一结构示意图；

图9-c为本发明实施例提供的一种视频显著性区域分割系统的另一结构示意图；

图10为本发明实施例提供的一种视频显著性区域检测设备的结构示意图。

具体实施方式

下面将结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种视频显著性区域检测、分割方法及系统，应用于视频编辑，能够提高视频显著性区域检测精度，和实现最优视频显著性区域的分割，提高视频显著性区域分割结果在时间上的连贯性和在空间上的连续性。

如图1所示，本发明实施例提供一种视频显著性区域检测方法，可包括：

S110、根据像素奇异性对比度获得像素级的静态显著性特征；根据局部区域内像素特征的凝聚性、相对罕见性和重要性获得局部区域级的静态显著性特征；根据视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中的概率获得全局级的静态显著性特征；

可以理解的是，显著性是引起视觉关注的最直接的特征，是视觉系统中的直接底层刺激，进而，视频帧的显著性是和周边区域相比，内容突出的部分，往往自底向上的构成视频帧内容的重要区域，而视频显著性区域检测则是检测视频帧中关键内容最直接的方式。在视频编辑中，检测视频的显著性区域，以便对视频显著性区域之外的其他区域进行编辑，提高显著性区域之外色彩、亮度等视觉效果，可以通过像素级、局部区域级和全局级三个不同层次的检测，得到像素级的显著性特征、局部区域级的显著性特征和全局级的显著性特征，还可以结合像素级、局部区域级和全局级的显著性特征得到整个视频显著性特征。

其中，显著性特征可以按照不同场景将其分为静态显著性特征和动态显著性特征。像素级的静态显著性是基于多尺度奇异性的对比度计算的。相对于视频帧中平滑区域，奇异性对应于边界、突变和纹理，他们更易于激励视觉神经。在像素级静态显著性特征检测中，如果视频帧中像素点的奇异性相对其8个邻域的像素点的奇异性的对比度大，那么显著性就越强。另外，由于视觉系统可以在不同的尺度上感知，奇异性也可以出现在不同的尺度上，需要进行不同尺度上的奇异性对比度计算。

局部区域级的显著性是指：某个局部区域相对于他的周边环形区域有截然不同的图像特性。在本发明实施例中，局部区域及显著性满足三个性质：像素特征的凝聚性、相对罕见性和重要性。其中，像素特征的凝聚性是视频局部区域内视觉特性一致内聚的程度，即在局部区域被某种视觉特性主导的程度；像素特征的相对罕见性是被评价局部区域内的视觉特性，在其周边环形区域内罕见的程度，即局部区域的视觉特性出现在他周边环形区域内的概率较低，局部区域和环形区域的视觉特性有较大差异；像素特征的重要性是某种图像特性在局部区域和他周边环形区域的并集区域中重要的程度。

检测局部区域级的静态显著性特征即是根据上述局部区域内的像素特征的凝聚性、相对罕见性和重要性，获取和周边环形区域相比比较突出的局部区域。

颜色全局对比度指的是视频帧中某种颜色相对其他颜色的整体对比度测量，颜色空间分布值指的是某种颜色在视频帧中散布的情况；每种颜色在图像中的概率指的是拥有某种颜色的像素点占输入视频帧中所有像素点个数的比例。其中，全局级的静态显著性特征可以通过上述的颜色全局对比度、颜色空间分布值和每种颜色在视频帧中的概率来决定。

S120、在光流场中，根据第二局部区域内光流强度的凝聚性、相对罕见性和重要性获得所述局部区域级的动态显著性特征；根据光流强度的全局对比度、光流强度空间分布值和光流强度在所述视频帧中的概率获得所述全局级的动态显著性特征；

相对于局部区域级的静态显著性特征和全局级的静态显著性特征，局部区域级的动态显著性特征和全局级的动态显著性特征在光流场中检测。所谓光流场也就是在视频场景中的像素点运动场，像素点运动场中对比强的部分往往对应内容显著的部分，本发明实施例通过光流场中测量像素运动场，获得局部区域级的动态显著性特征和全局级的动态显著性特征。

具体地，局部区域级的动态显著性特征满足三个性质：光流强度的凝聚性、相对罕见性和重要性。其中，光流强度的凝聚性是局部区域内光流强度一致内聚的程度；光流强度的相对罕见性是被评价的局部区域内的光流强度，在其周边环形区域内的罕见的程度，即局部区域内的光流强度出现在他周边环形区域内的概率较低，局部区域和环形区域的光流强度有较大差异；光流强度的重要性是指光流强度在局部区域和他周边环形区域的并集区域中重要的程度。

检测局部区域级的动态显著性特征即是根据上述局部区域内的光流强度的凝聚性、相对罕见性和重要性，获取和周边环形区域相比比较突出的局部区域。

检测全局级的动态显著性特征即是根据光流强度的全局对比度、光流强度空间分布值和光流强度在所述视频帧中的概率。其中，光流强度的全局对比度指的是在视频帧中光流强度相对于整个光流场的整体对比度测量；光流强度空间分布值指的是视频帧中光流强度在光流场中分布的情况；光流强度在所述视频帧中的概率指的是光流强度在视频帧中所占的比例。

S130、结合获得的静态显著性特征和动态显著性特征获得视频显著性特征，利用相邻视频帧的外观相关性对所述视频显著性特征进行调制，以便根据调制后的视频显著性特征对视频帧中视频显著性区域进行分割。

其中，根据静态显著性特征和动态显著性特征，获得视频帧显著性特征，其中，静态显著性特征包括有像素级的静态显著性特征、局部级的静态显著性特征和全局级的静态显著性特征；动态显著性特征包括视频帧局部级的动态显著性特征和全局级的动态显著性特征，结合上述所有特征得到视频帧的显著性特征，能够提高显著性精确度。进一步，为了视频帧之间在时间上和空间上能够平滑过渡，利用视频帧之间的外观相关性调整每个图像的显著性特征。

本发明实施例中，利用像素的奇异性对比度获取到像素级的静态显著性特征，而根据局部区域像素特征的凝聚性、相对罕见性和重要性获得局部区域级的静态显著性特征，根据颜色全局对比度、颜色空间分布值和每种颜色在视频帧中的概率获得全局级的静态显著性特征，以及获得局部区域级和全局级的动态显著性特征，结合静态显著性特征和动态显著性特征，最后得到视频显著性特征，再利用视频帧的外观相关性调制视频显著性特征，能够减少视频显著性特征测量在空间分布上的误差，适用于更多场景视频编辑。

具体地，在像素级的静态显著性特征检测中，主要通过提取视频帧中边界、突变等高频细节部分的显著性特征，如图2所示，上述步骤S110中的根据像素奇异性对比度获得像素级的静态显著性特征，可包括：

S210、基于高斯核函数对视频帧进行多尺度变换得到至少两层不同尺度的图像；

其中，打开编辑窗口，获取用户指定参数，更改编辑窗口大小，加载需要编辑的视频帧，对视频帧进行尺度变换。可以理解的是，高斯Gaussian核函数是最接近人类视觉神经的核函数，本发明实施例使用基于Gaussian核函数的Laplacian塔变换对视频帧进行多尺度变换，尤其可以选用Gaussian核函数中的二阶导数，以2陪递增的方式对视频帧进行尺度变换，得到至少两层不同尺度的图像，例如，有N层图像，其中l+1层的图像的尺度为l层图像的尺度的2倍，N为正整数，l∈N，且l为大于或等于0的整数。

S220、获取尺度变换后图像中每个像素点所对应的变换系数值，计算每个坐标位置上像素点对应的变换系数值和该像素点的8个邻域内的像素点对应的变换系数值的差值；

S230、对每个所述差值进行q方处理后求和得到邻域中心差，所述q为1或2的正整数；

S240、对每个尺度图像的所有中心邻域差求和得到奇异性对比度；

S250、对所有不同尺度图像的奇异性对比度进行插值处理后累加求和得到像素级的静态显著性特征。

将视频帧变换成不同尺度图像，不同尺度图像的分辨率不同，在不同尺度图像中提取边界、突变等图像奇异性产生的显著性特征。

示例性地，在第l层图像中，对于坐标位置i的像素点x_i，在经过Laplacion变换后，其变换系数值为c_l(x_i)，而像素点x_i的8个邻域内的任一像素点x_j，在经过Laplacion变换后的变换系数值为c_l(x_j)，那么像素点x_i上的变换系数值和像素点x_j上的变换系数值之差为c_l(x_i)-c_l(x_j)，且对所求取的差值进行q方处理，获得中心邻域差(c(x_i)-c(x_j))^q，其中，q可以为正整数1也可以为正整数2。

进一步，将每个尺度图像中计算的中心邻域差累加起来得到视频帧的奇异性对比度，即∑_j∈(i)(c(x_i)-c(x_j))^q。最后将不同尺度图像再变换回原来视频帧尺度大小，相应像素点x_i也相应改变，这个过程就是插值，那么将需要用插值函数对每个尺度图像的奇异性对比度进行插值处理。当用SL_p(x_i)表示像素极的静态显著性特征，那么所述像素级的静态显著性特征的计算公式为：

（公式1）

其中，L是Laplacion变换的总层数，每一层图像的尺度不同，分辨率不同，l为L中任意一层，层数从0开始计算，L和l为大于或等于0的整数，l为大于或等于0且小于或等于L的正整数，NE(i)表示的是坐标位置i的邻域，f_l→0指：将第l层尺度大小的图像，通过插值映射到原始视频帧的大小尺度。

在像素级的静态显著性特征检测中，通过使用高斯Gaussian核函数的Laplacian塔将视频帧变换成多层不同尺度的图像，利用坐标位置i上的像素x_i在尺度变换中的变换系数值，和其它8个邻域的像素x_j在尺度变换中的变换系数值，分别求取中心邻域差，对中心邻域差进行q方处理后，把所有中心邻域差累加得到该尺度图像的奇异性对比度，再将每个尺度图像的奇异性对比度累加起来可以获得像素极的静态显著性特征。提取边界或突变的像素显著性，利用不同尺度变换下分辨率的不同，提取不同分辨率下像素级显著性，提高像素极的静态显著性特征的查全率。

如图3-a所示，局部区域级的静态显著性特征检测，利用局部区域内像素特征所满足的三个特性：凝聚性、相对罕见性和重要性，其中，上述步骤S110中的根据局部区域内像素特征的凝聚性、相对罕见性和重要性获得所述局部区域级的静态显著性特征，具体包括如下步骤：

S310、在视频帧中选取窗口型第一局部区域，并在所述第一局部区域周边选取第一环形区域，分别计算所述第一局部区域和第一环形区域内像素特征的特征分布值，再根据所述特征分布值计算所述像素特征所携带的信息；

示例性地，如图3-b所示，设置窗口区域的尺寸、长宽比的范围、窗口区域滑动的范围，并设置局部区域级的静态显著性图为零，导入视频帧。在导入的视频帧中用设定的窗口区域选取第一局部区域，并在该第一局部区域周边选取第一环形区域，即选取需要计算局部区域级的静态显著性的范围。

其中，若像素特征为I(x_i)，那么分别用P_o(I(x_i))和P_b(I(x_i))表示第一局部区域和第一环形区域的像素特征的特征分布情况，而第一局部区域的像素特征I(x_i)基于特征分布P_o(I(x_i))所携带的信息为：

Inf(I(x_i)|P_o)=-lg[P_o(I(x_i))] （公式2）

第一环形区域的像素特征I(x_i)基于特征分布p_b(x)所携带的信息为：

Inf(I(x_i)|P_b)=-lg[P_b(I(x_i))] （公式3）

可以理解的是，像素特征I(x_i)所携带的信息是I(x_i)是否不同寻常的量度，其中，如果像素特征I(x_i)的特征性质不明显，被观察到的越少，那么像素特征I(x_i)基于任一特征分布所携带的信息就会越多；如果像素特征I(x_i)的特征性质较明显，那么像素特征I(x_i)基于任一特征分布所携带的信息就越少。

S320、根据所述特征分布值和所述像素特征所携带的信息计算所述第一局部区域内像素特征的凝聚性的值、相对罕见性的值和重要性的值；

可以理解的是，基于上述对像素特征I(x_i)携带的信息的定义和像素特征的特征分布情况，本实施例进一步定义像素特征的凝聚性、相对罕见性和重要性来检测局部区域级的静态显著性特征，其中，像素特征的凝聚性指的是像素特征在第一局部区域内内聚的程度。如果凝聚性大时，所选取的第一局部区域的静态显著性特征较强，即像素特征I(x_i)在基于特征分布p_o(I(x_i))上评价时，所携带的信息较少。结合公式2，利用sigmod函数作平滑处理，可得到像素特征的凝聚性的计算公式为：

C(Mt(x_i))=sigmod(-Inf(Mt(x_i)|P_o))=sigmod(lg[P_o(Mt(x_i))]) （公式4）

另外，像素特征的相对罕见性指的是第一局部区域的像素特征I(x_i)，在第一环形区域内罕见的程度，即第一局部区域的像素特征I(x_i)出现在第一环形区域内的概率较低，第一局部区域和第一环形区域的像素特征I(x_i)有较大差异，这时，第一局部区域的像素特征I(x_i)比第一环形区域的像素特征I(x_i)更加突出，第一局部区域的像素特征I(x_i)较为明显。结合公式3，利用sigmod函数作平滑处理，可得到像素特征的相对罕见性的计算公式为：

R(Mt(x_i))=sigmod(Inf(Mt(x_i)|P_b))=sigmod(-lg[P_b(Mt(x_i))]) （公式5）

另外，像素特征的重要性指的是某一种像素特征I(x_i)在第一局部区域和第一环形区域的并集区域（由第一局部区域和第一环形区域构成的整体区域）的重要程度，其中，当像素特征I(x_i)的重要性较强时，相应地像素特征I(x_i)在该并集区域中出现的概率较大。如果像素特征I(x_i)在基于任一特征分布所携带的信息较低时，像素特征I(x_i)在视频帧中的重要性强，影响着该像素特征I(x_i)的显著性，结合公式2和3，利用sigmod函数作平滑处理，可得到像素特征的重要性的计算公式为：

（公式6）

S330、将所述像素特征的凝聚性的值与相对罕见性的值相加，再乘以所述像素特征的重要性的值获得局部区域级的静态显著性特征。

具体地，对于来自第一局部区域的像素特征I(x_i)，通过上述公式4可计算得到该像素特征I(x_i)在第一局部区域中内聚程度的值；通过公式5可计算得到出现在第一局部区域的像素特征I(x_i)，在第一环形区域的相对罕见程度的值；通过公式6可计算得到该像素特征I(x_i)在第一局部区域和第一环形区域的并集区域中的重要程度的值。基于该像素特征的凝聚性的值、相对罕见性的值和重要性的值，局部区域级的静态显著性特征可以表示为：

SL_r(I(x_i))=(C(I(x_i))+R(I(x_i)))*S(I(x_i)) （公式7）

其中，SL_r(I(x_i))表示局部区域级的静态显著性特征，利用视频帧中像素特征所特有的凝聚性、相对罕见性和重要性，能够提取和第一环形区域相比比较突出的第一局部区域，提高局部区域级的静态显著性特征的准确度。

进一步地，若结合上述公式4、5、6和7，那么局部区域级的静态显著性特征的计算公式可表示为：

（公式8）

示例性地，如图3-c所示，通过选取第一局部区域和第一环形区域，利用像素特征的凝聚性、相对罕见性和重要性检测到的局部区域级的静态显著性特征的结果示意图。

进一步地，如果像素特征I(x_i)来自于第一局部区域，而像素特征I(x_i)的特征分布为p_o(I(x_i))，通过积分计算可以得到第一局部区域的显著性特征的计算公式为：

（公式9）

其中，结合公式8和公式9，可得到：

（公式10）

进一步地，利用离散数学近似计算上述公式10的第一局部区域显著性特征，得到：

（公式11）

进而，将调制处理后的视频显著性特征分布到每一个像素点上，得到每一个像素点的显著性特征。

本实施例在检测局部区域级的静态显著性特征中，主要在视频帧中选取第一局部区域和第一环形区域，根据像素特征的特征分布和像素特征所携带的信息，进一步获得像素特征的凝聚性、相对罕见性和重要性，最后，根据像素特征的凝聚性、相对罕见性和重要性获得局部区域级的静态显著性特征。通过该方法，能够检测出显著性特征比较突出的局部区域，获得更加精确的检测结果。

如图4-a所示，检测全局级的静态显著性特征，主要结合视频帧的颜色全局对比度、颜色空间分布值和每种颜色在视频帧中的概率，其中，上述步骤S110的根据视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中的概率获得全局级的静态显著性特征，具体包括以下步骤：

S410、计算所述视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中出现的概率；

其中，全局级的静态显著性特征可以从以下三点考虑：全局颜色对比度、颜色空间分布值和每种颜色在所述视频帧中出现的概率。

S420、利用激活函数sigmod对颜色在所述视频帧中出现的概率进行处理，再与所述颜色全局对比度和颜色空间分布值相乘，获得所述全局级的静态显著性特征。

示例性地，若x_i为视频帧中的像素点，那么全局级的静态显著性特征表示为SL_g(x_i)，颜色全局对比度表示为GC(IC(x_i))，颜色空间分布值表示为SV_p(IC(x_i))，每种颜色在视频帧中出现的概率表示为P(IC(x_i))，进而全局级的静态显著性SL_g(x_i)的计算公式为：

SL_g(x_i)=sigmod(P(IC(x_i)))*SV_p(IC(x_i))*GC(IC(x_i)) （公式12）

其中，IC(x_i)为像素点x_i的颜色，那么P(IC(x_i))表示颜色IC(x_i)在视频帧出现的概率。用m表示视频帧中不同颜色的总个数，那么颜色全局对比度具体计算公式为：

（公式13）

其中，进一步地，颜色空间分布值具体计算公式为：

（公式14）

其中，

示例性地，如图4-b所示，基于全局颜色对比度、颜色空间分布值和每种颜色在所述视频帧中出现的概率检测到的全局级的静态显著性特征的检测结果示意图。

本发明实施例在检测全局级的静态显著性特征中，通过利用视频帧的颜色全局对比度、颜色空间分布值和每种颜色在视频帧中出现的概率，可以提取到视频帧中相对其它部分颜色对比鲜明的颜色区域，得到准确度较高的视频显著性区域检测结果。

另外，本发明实施例中视频帧显著性特征检测主要结合静态显著性特征和动态显著性特征。具体地，局部区域级的动态显著性特征在光流运动场中检测。如图5-a所示，上述步骤S120中的在光流场中，根据第二局部区域内光流强度的凝聚性、相对罕见性和重要性获得所述局部区域级的动态显著性特征，具体包括：

S5110、在光流场中选取窗口型第二局部区域，并选取所述第二局部区域的第二环形区域，分别计算所述第二局部区域和第二环形区域内光流分布值，再根据所述光流分布值计算光流强度所携带的信息；

在光流场中，设置窗口区域的尺寸、长宽比的范围、窗口区域滑动范围，并设置局部区域级的动态显著性图为零。利用设定的窗口区域在光流场中选取第二局部区域，并在所述第二局部区域的周边选取第二环形区域，即选取需要计算局部区域级的动态显著性的范围。

其中，若视频帧中的光流强度为Mt(x_i)，那么分别用P_o(Mt(x_i))和P_b(Mt(x_i))表示第二局部区域和第二环形区域的光流分布情况，那么结合上述公式2，第二局部区域的光流强度Mt(x_i)基于光流分布P_o(Mt(x_i))所携带的信息为：

Inf(Mt(x_i)|P_o)=-lg[P_o(Mt(x_i))] （公式15）

结合上述公式3，第二环形区域的光流强度基于光流分布P_b(Mt(x_i))所携带的信息为：

Inf(Mt(x_i)|P_b)=-lg[P_b(Mt(x_i))] （公式16）

可以理解的是，光流强度Mt(x_i)所携带的信息是Mt(x_i)是否不同寻常的量度，相似与上述提到的像素特征的情况，如果光流强度被观察到的越少，那么光流强度Mt(x_i)基于任一光流分布所携带的信息就会越多；如果光流强度Mt(x_i)能明显观察到，那么光流强度Mt(x_i)基于任一光流分布所携带的信息就会越少。

S5120、根据所述光流分布值和光流强度所携带的信息计算所述第二局部区域内光流强度的凝聚性的值、相对罕见性的值和重要性的值；

可以理解的是，基于上述对光流强度Mt(x_i)携带的信息的定义和光流分布情况，本实施例进一步定义光流强度的凝聚性、相对罕见性和重要性来检测局部区域级的动态显著性特征，其中，光流强度的凝聚性指的是光流强度在第二局部区域内内聚的程度。如果凝聚性大时，所选取的第二局部区域的动态显著性特征较强，即光流强度Mt(x_i)在基于光流分布P_o(Mt(x_i))上评价时，所携带的信息较少。对上述公式15，利用sigmod函数作平滑处理，可得到光流强度的凝聚性的计算公式为：

C(Mt(x_i))=sigmod(-Inf(Mt(x_i)|P_o))=sigmod(lg[P_o(Mt(x_i))]) （公式17）

另外，光流强度的相对罕见性指的是第二局部区域的光流强度，在第二环形区域的罕见的程度，即第二局部区域的光流强度出现在第二环形区域的概率较低，也就是第二局部区域和第二环形区域的光流强度有较大的差异，这时，第二局部区域的光流强度较为明显。对上述公式16，利用sigmod函数作平滑处理，可得到光流强度的相对罕见性的计算公式为：

R(Mt(x_i))=sigmod(Inf(Mt(x_i)|P_b))=sigmod(-lg[P_b(Mt(x_i))]) （公式18）

另外，光流强度的重要性指的是某一种光流强度Mt(x_i)在第二局部区域和第二环形区域的并集区域（由第二局部区域和第二环形区域构成的整体区域）的重要程度，其中，当光流强度Mt(x_i)的重要性较强时，相应地光流强度Mt(x_i)在该并集区域中出现的概率较大。如果光流强度Mt(x_i)在基于任一光流分布所携带的信息较低时，光流强度Mt(x_i)在光流场中的重要性强，影响着该光流强度Mt(x_i)的显著性，进而结合上述公式15和16，利用sigmod函数作平滑处理，可得到光流强度的重要性的计算公式为：

（公式19）

S5130、将所述光流强度的凝聚性的值与光流强度的相对罕见性的值相加，再乘以所述光流强度的重要性的值获得局部区域级的动态显著性特征。

具体地，对于来自第二局部区域的光流强度Mt(x_i)，通过上述公式17可计算得到该光流强度Mt(x_i)在第二局部区域中内聚程度的值；通过公式18可计算得到出现在第二局部区域的光流强度Mt(x_i)在第二环形区域的相对罕见程度的值；通过上述公式19可计算得到该光流强度Mt(x_i)在第二局部区域和第二环形区域并集区域中的重要程度的值。基于该光流强度的凝聚性的值、相对罕见性的值和重要性的值，局部区域级的动态显著性特征SL_r(Mt(x_i)可以表示为：

SL_r(Mt(x_i))=R(Mt(x_i))*S(Mt(x_i) （公式20）

在本实施例中，通过在视频帧的光流场中，选取第二局部区域和第二环形区域，根据光流强度的光流分布和光流强度所携带的信息，进一步获得光流强度的凝聚性、相对罕见性和重要性，最后，根据获得的光流强度的凝聚性、相对罕见性和重要性获得局部区域级的动态显著性特征，能够在视频帧的光流场中检测出显著性特征比较突出的局部区域，提高检测精确度。

如图5-b所示，区别于全局级的静态显著性特征的检测，利用上述公式12在视频帧的光流场中检测全局级的动态显著性特征。上述步骤S120中的在光流场中，根据光流强度的全局对比度、光流强度空间分布值和光流强度在所述视频帧中的概率获得所述全局级的动态显著性特征，具体包括：

S5210、计算所述视频帧的光流强度全局对比度、光流强度空间分布值和每种光流强度在所述视频帧中出现的概率；

其中，全局级的动态显著性特征可以从以下三点考虑：全局颜色对比度、颜色空间分布值和每种颜色在所述视频帧中出现的概率。

S5220、利用激活函数sigmod对光流强度在所述视频帧中出现的概率进行处理，再与所述光流强度全局对比度和光流强度空间分布值相乘，获得所述全局级的动态显著性特征。

示例性地，若Mt(x_i)为光流场中的光流强度，那么全局级的动态显著性特征表示为SL_g(Mt(x_i))，光流强度全局对比度表示为GC(Mt(x_i))，光流强度空间分布值表示为SV_p(Mt(x_i))，每种光流强度在视频帧中出现的概率表示为P(Mt(x_i))，进而全局级的动态显著性特征SL_g(Mt(x_i))的计算公式为：

SL_g(Mt(x_i))=sigmod(P(Mt(x_i)))*SV_p(Mt(x_i))*GC(Mt(x_i)) 公式（21）

其中，那么P(Mt(x_i))表示光流强度Mt(x_i)在视频帧出现的概率。用n表示视频帧中不同光流强度的总个数，那么光流强度全局对比度具体计算公式为：

（公式22）

其中，进一步地，颜色空间分布值具体计算公式为：

（公式23）

其中，

在本发明实施例中通过在光流场中，根据光流强度的全局对比度、光流强度空间分布值和光流强度在所述视频帧中的概率获得所述全局级的动态显著性特征，可以提取到视频帧中相对其它部分光流强度比较明显的区域，使得视频显著性特征检测结果更为精确。

综合上述公式1、8、12、20和21，视频显著性特征可以表示为：

SL_t(x_i)=SL_p(x_i)+SL_r(I(x_i))+SL_g(x_i)+SL_r(Mt(I(x_i)))+SL_g(Mt(x_i)) （公式24）

可以理解的是，前后视频帧的外观相关性强的区域往往对应语义相同的区域，它们的视频显著性特征也比较接近，因此，为了提高视频帧之间在时间上的连续性和在空间上的连贯性，本发明实施例使用外观相关性调制每个视频帧的视频显著性特征，进而可以得到：

SL(x_i)=SL_t(x_i)+{1-x²(hist[Ne_t(x_i)],hist_t-1[Ne_t-1(x_i)])}*min(SL_t(x_i),SL_t-1(x_i) （公式25）

其中，假设有视频帧hist[Net（xt）]和视频帧hist[Net-1（xt-1）]，那么x²(hist[Ne_t(x_i)],hist_t-1[Ne_t-1(x_i)])是计算两个视频帧的χ²距离。hist[Ne_t(x_i)]是获取第t帧的视频帧，Ne_t(x_i)是像素点x_i在第t视频帧的邻域。

利用视频帧的x²距离调制后的计算公式25，能够得到精确度更高的视频显著性特征，从而更加准确地检测显视频著性行区域，提高视频显著性区域的检测精度。

上述实施例提供一种视频显著性区域检测方法，检测视频帧中视频显著性特征，基于检测结果，本发明实施例还提供一种视频显著性区域分割方法，在基于视频显著性特征检测结果上进行视频显著性区域分割，如图6所示，该方法可包括：

S610、获取连续三帧视频帧调制后的视频显著性特征；

本实施例所提供的视频显著分割方法，基于视频显著性检测方法所获得的视频显著性特征检测，求解最优的视频显著性区域，进行分割，从而对视频显著性区域外的其他区域进行编辑，以调节色彩、亮度等。

S620、对所述视频帧中像素点对应的标注变量建立3D模型，根据所述视频显著性特征，采用3D图像马尔科夫场3D-MRF设置所述标注变量的对数后验概率，所述对数后验概率用于表示所述标注变量取值属于视频显著性区域的概率；

可以理解的是，图像马尔科夫场（3D Markov Random Field，简称MRF）是一个随机变量的集合，集合中变量满足马尔科夫性。在视频帧中，每个像素点有一个标注变量，表示这个像素点属于显著性区域或非显著性区域。这个标注变量被当作一个随机变量，马尔科夫性假设视频中某个像素点的标注变量和邻域内像素点的标注变量概率相关，和非邻域像素点的标注变量条件独立。MRF将视频帧中所有像素点的标注变量的一次实现叫做MRF的一个设置。这里，概率相关是指确定一个像素点的标注变量后，该像素点的邻域内的像素点的标注变量与该像素点的标注变量相同的概率很大。

3D-MRF就是将视频帧上的像素点的标注变量看作一个3D实体模型，用3D-MRF中的随机变量对每一个像素点的标注变量进行标注。3D-MRF能将临域相关性从空间相关扩展到时间空间同时相关，即一个像素点的标注变量同时和他空间的4个邻域和时间的2个邻域上的像素标注量概率相关，进而，采用3D-MRF建模像素点标注变量联合分布布进行视频显著性区域分割时，分割结果能够在空间上更连续，在时间上更连贯。

本发明实施例采用3D MRF，在基于本发明实施例所检测到的视频显著性特征上，对时空上的像素点的标注变量的分布建模，并估计标注变量的最大后验概率估计，获得最优分割。最大后验概率估计可以取负对数转化为最小能量估计，MRF的最小能量估计可以由下述Graph-cuts方法求解。

S630、采用Graph-cuts从3D-MRF的所述对数后验概率中求取所述标注变量的最大后验概率估计值，根据所述最大后验概率估计值得到最优视频显著性区域分割结果。

可以理解的是，Graph-cuts可以用来寻找MRF的最大后验概率估计值，提供求解最优视频显著性区域分割的方法。将3D-MRF转化成图，3D-MRF的最大后验概率估计可以通过求图的max-flow cut获得。在图中，图由顶点和有向边组成，顶点包括源点、终点和中间点；有向边从源点出发，经过中间点流向终点。边上的cost是该边的最大流量，一个cut可以把边割断，使没有流量可以从顶点流向终点，同时使每个中间点只与起点和终点中一个连接。这样图被cut割断后，图上的节点被分成两类，一类和源点连接，一类和终点连接。一个cut的代价是割断边的代价和，Graph-cuts可以找到最小代价的cut。这样Graph-cuts可以用来估计3D-MRF随机变量的标注变量，设置图上的中间点对应3D-MRF的标注变量，设置边的cost使每个cut的代价对应3D-MRF标注变量的设置能量，即标注变量最大后验概率的负对数。最小代价的cut把图的中间点分为两类时，3D-MRF的随机变量（标注变量）也被标注为两类，并且对应最小能量设置，即最大后验概率设置，进而Graph-cuts可以找到3D-MRF最优解。

本发明实施例通过将视频帧中像素点看作一个3D实体，每一个像素点用标注变量表示，采用3D-MRF来建模视频帧中视频显著性区域，进一步采用Graph-cuts求解最优的视频显著性区域，使得视频显著性区域分割结果在空间上更加连续，在时间上更加连贯。

进一步地，如图7-a所示，上述步骤S620具体包括：

S7210、采用3D图像马尔科夫场3D-MRF，对所述视频帧每个像素点对应的标注变量进行设置；

S7220、根据所述视频显著性特征，计算所述视频帧每个像素点对应的标注变量的观测概率；

S7230、根据所述视频帧每个像素点对应的标注变量，计算所述标注变量的时空平滑先验概率；

S7240、根据所述观测概率和时空平滑先验概率，计算所述像素点对应的标注变量的后验概率，并对所述后验概率取对数计算得到对数后验概率。

其中，上述公式25是视频显著性特征的测量公式，使用上述公式25测量的每一种视频显著性特征都作为一种独立的观测，观测概率指在假设某个像素点属于视频显著性区域，这种假设成立的概率有多大。

示例性地，如图7-b所示，将连续三帧视频帧中像素点作为一个3D实体，取中间视频帧t以及空间上邻域2个视频帧t-1和t+1，一个像素点的标注变量为用以表示第t帧坐标位置为（i，j）处的像素点是否属于显著性区域，而该像素点在时间上的4邻域的像素点的标注变量分别为该像素点在空间上的2邻域的像素点的标注变量分别是3D-MRF假设该像素点与在时间上4邻域的像素点和在空间上2邻域的像素点有更大可能取相同的显著性标注变量，属于同一种区域，从而保证视频显著性区域分割的平滑性。

具体地，标注变量可以定义为：

当时，表示第t帧在（i，j）位置处的像素点标注为视频显著性区域；

当时，表示第t帧在（i，j）位置处的像素点标注为非视频显著性区域。

进一步地，的时空平滑先验概率分别用一下公式计算：

根据的6个邻域可以计算出的6个时空平滑先验概率。

同时，按照上述公式25计算到的经过相邻视频帧相关性调制后的视频显著性特征，所述的观测概率计算如下：

若表示当标注变量标注为视频显著性区域时，标注变量的观测概率。

若表示当标注为非视频显著性区域时，标注变量的观测概率。

其中，m₀，m₁，σ₀和σ₁为相邻三帧视频帧的综合显著性测量聚类后，每个聚类的平均值和方差，即利用上述公式25计算上述相邻三帧t、t-1和t+1的视频显著性特征，后将t、t-1和t+1三帧的视频显著性特征分为两类，分别对两类视频显著性特征求取其平均值m₀和m₁，以及求取该两类视频显著性特征的方差σ₀和σ₁。

基于上述计算得到的标注量的先验概率和观测概率，标注变量的对数后验概率为：

（公式26）

其中，t1属于图7-b中t、t-1或t+1中一帧，k属于i、i-1、i+1中任一个，m属于j、j-1、j+1中人一个，进而标注变量以标注变量为中点，和标注变量共边的邻域的标注变量。是将标注变量所有的时空平滑先验概率求和后求取对数值，即对上述标注变量的6个时空平滑先验概率求和求取对数值。

3D-MRF根据上述公式26计算的所有像素点的标注变量的对数后验概率，在视频帧上标注视频显著性区域，同时，基于上述公式26计算得到的对数后验概率，采用Graph-cuts分割出最优的视频显著性区域，如图7-c所示，上述步骤S630可包括：

S7310、从所述对数后验概率中求取所有像素点标注变量的最大后验概率估计值；

S7320、根据所述最大后验概率估计值，获得所述视频帧的最优视频显著性区域的分割结果。

其中，根据公式26计算的对数后验概率，显著性区域的最优分割结果可以由下述公式求取：

（公式27）

其中，上述公式27是从由公式26中计算到的所有标注变量的对数后验概率中，选取标注变量的最大后验概率估计值，由最大后验概率估计值即可得到最优视频帧显著性区域。

本发明实施例采用3D-MRF表示视频显著性区域，无需预先训练模型即可提供最优分割，分割结果可以保持视频帧之间的在时间上的连续性和在空间上的连贯性、平滑性。

如图8-a所示，本发明实施例提供一种视频显著性区域检测系统，可包括：

第一获取单元810，用于根据像素奇异性对比度获得像素级的静态显著性特征；用于根据局部区域内像素特征的凝聚性、相对罕见性和重要性获得局部区域级的静态显著性特征；用于根据视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中的概率获得全局级的静态显著性特征；

第二获取单元820，用于在光流场中，根据局部区域内光流强度的凝聚性、相对罕见性和重要性获得所述局部区域级的动态显著性特征；根据光流强度的全局对比度、光流强度空间分布值和光流强度在所述视频帧中的概率获得所述全局级的动态显著性特征；

第三获取单元830，用于结合获得的静态显著性特征和动态显著性特征获得视频显著性特征，利用相邻视频帧的外观相关性对所述视频显著性特征进行调制，以便根据调制后的视频显著性特征对视频帧中视频显著性区域进行分割。

本发明实施例中通过第一获取单元810分别获得像素级的静态显著性特征、局部区域级的静态显著性特征和全局级的静态显著性特征，第二获取单元820获得局部区域级的动态显著性特征和全局级的动态显著性特征，然后第三获取单元830结合静态显著性特征和动态显著性特征获得视频显著性特征，根据视频帧之间的相关性对视频显著性特征进行调制，能够进一步地提高视频显著性特征的检测准确度和精确度。

如图8-b所示，上述第一获取单元810像素级获取单元840，而所述810像素级获取单元840可包括：

尺度变换单元8410，用于基于高斯核函数对视频帧进行多尺度变换得到至少两层不同尺度的图像；

第一计算单元8420，获取尺度变换后图像中每个像素点所对应的变换系数值，计算每个坐标位置上像素点对应的变换系数值和该像素点的8个邻域内的像素点对应的变换系数值的差值；用于对每个所述差值进行q方处理后求和得到中心邻域差，所述q为1或2的正整数；

求和单元8430，用于对每个尺度图像的所有中心邻域差求和得到奇异性对比度；用于对所有不同尺度图像的奇异性对比度进行插值处理后累加求和得到像素级的静态显著性特征。

在本发明实施例中，尺度变换单元8410将视频帧按照一定比例进行尺度变换，得到至少两层不同尺度的图像，之后第一计算单元8420计算图像中每个像素点对应的变换系数值，和该像素点的变换系数值和其8个邻域的变换系数值的差值，并对该差值进行q方处理得到中心邻域差，求和单元8430由中心邻域差求得每个尺度的奇异性对比度。

如图8-c所示，上述第一获取单元810还包括第一静态获取单元850，该第一静态获取单元850可包括：

第二计算单元8510，用于在视频帧中选取窗口型第一局部区域，并在所述第一局部区域周边选取第一环形区域，分别计算所述第一局部区域和第一环形区域内像素特征的特征分布值，再根据所述特征分布值计算所述像素特征所携带的信息；用于根据所述特征分布值和所述像素特征所携带的信息计算所述第一局部区域内像素特征的凝聚性的值、相对罕见性的值和重要性的值；

第二乘积单元8520，用于将所述像素特征的凝聚性的值与相对罕见性的值相加，再乘以所述像素特征的重要性的值获得局部区域级的静态显著性特征。

如图8-d所示，上述第一获取单元810还包括第二静态获取单元860，所述第二静态获取单元860包括：

第三计算单元8610，用于计算所述视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中出现的概率；

第三乘积单元8620，用于利用激活函数sigmod对颜色在所述视频帧中出现的概率进行处理，再与所述颜色全局对比度和颜色空间分布值相乘，获得所述全局级的静态显著性特征。

如图8-e所示，上述第二获取单元820还包括第一动态获取单元870，所述第一动态获取单元870包括：

第四计算单元8710，用于在光流场中选取窗口型第二局部区域，并在所述第二局部区域周边选取第二环形区域，分别计算所述第二局部区域和第二环形区域内光流分布值，再根据所述光流分布值计算光流强度所携带的信息；和用于根据所述光流分布值和光流强度所携带的信息计算所述第二局部区域内光流强度的凝聚性的值、相对罕见性的值和重要性的值；

第四乘积单元8720，用于将所述光流强度的凝聚性的值与光流强度的相对罕见性的值相加，再乘以所述光流强度的重要性的值获得局部区域级的动态显著性特征。

如图8-f所示，上述第二获取单元820还包括第二动态获取单元880，所述第二动态获取单元880包括：

第五计算单元8810，用于计算所述视频帧的光流强度全局对比度、光流强度空间分布值和每种光流强度在所述视频帧中出现的概率；

第五乘积单元8820，用于利用激活函数sigmod对光流强度在所述视频帧中出现的概率进行处理，再与所述光流强度全局对比度和光流强度空间分布值相乘，获得所述全局级的动态显著性特征。

如图9-a所示，本发明实施例提供一种视频显著性区域分割系统，可包括：

特征获取单元910，用于获取连续三帧视频帧调制后的视频显著性特征；

概率设置单元920，用于对所述视频帧中像素点对应的标注变量建立3D模型，根据所述视频显著性特征，采用3D图像马尔科夫场3D-MRF设置所述标注变量的对数后验概率，所述对数后验概率用于表示所述标注变量取值属于视频显著性区域的概率；

分割单元930，用于采用Graph-cuts从3D-MRF的所述对数后验概率中求取所述标注变量的最大后验概率估计值，根据所述最大后验概率估计值得到最优视频显著性区域分割结果。

本发明实施例中由特征获取单元910获取视频显著性特征，该视频显著性特征已利用视频帧之间的相关性进行调制，然后概率设置单元920采用3D-MRF建模视频帧中的像素点的标注变量，分割单元930采用Graph-cuts从建模中计算最大后验概率估计值的标注变量，得到最优的视频显著性区域，从而进行最优分割，以便能够对最优视频显著性区域之外的区域进行编辑。本发明实施例所提供的分割系统能够提高视频显著性区域分割结果在时间上的连贯性和在空间上的连续性。

如图9-b所示，上述概率设置单元920包括：

设置单元9210，用于采用3D图像马尔科夫场3D-MRF，对所述视频帧每个像素点对应的标注变量进行设置；

观测概率计算单元9220，用于根据所述视频显著性特征，计算所述视频帧每个像素点对应的标注变量的观测概率；

时空平滑先验概率计算单元9230，用于根据所述视频帧每个像素点对应的标注变量，计算所述标注变量的时空平滑先验概率；

对数后验概率计算单元9240，用于根据所述观测概率和时空平滑先验概率，计算所述像素点对应的标注变量的后验概率，并对所述后验概率取对数计算得到对数后验概率。

如图9-c所示，上述所述分割单元930包括：

最大后验概率计算单元9310，用于从所述对数后验概率中求取所有像素点标注变量的最大后验概率估计值；

视频显著性区域分割单元9320，用于根据所述最大后验概率估计值，获得所述视频帧的最优视频显著性区域的分割结果。

参阅图10，本发明实施例还提供一种视频显著性区域检测设备，可包括：存储器1010和至少一个处理器1020（图10中以一个处理器为例）。本发明实施例的一些实施例中，存储器1010和处理器1020可通过总线或其它方式连接，其中，图10以通过总线连接为例。

其中，处理器1020执行以下步骤：根据像素奇异性对比度获得像素级的静态显著性特征；根据局部区域内像素特征的凝聚性、相对罕见性和重要性获得局部区域级的静态显著性特征；根据视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中的概率获得全局级的静态显著性特征；在光流场中，根据局部区域内光流强度的凝聚性、相对罕见性和重要性获得所述局部区域级的动态显著性特征；根据光流强度的全局对比度、光流强度空间分布值和光流强度在所述视频帧中的概率获得所述全局级的动态显著性特征；结合获得的静态显著性特征和动态显著性特征获得视频显著性特征，利用相邻视频帧的外观相关性对所述视频显著性特征进行调制，以便根据调制后的视频显著性特征对视频帧中视频显著性区域进行分割。

在本发明一些实施例中，处理器1020还可以执行以下步骤：基于高斯核函数对视频帧进行多尺度变换得到至少两层不同尺度的图像；获取尺度变换后图像中每个像素点所对应的变换系数值，计算每个坐标位置上像素点对应的变换系数值和该像素点的8个邻域内的像素点对应的变换系数值的差值；对每个所述差值进行q方处理后求和得到中心邻域差，所述q为1或2的正整数；对每个尺度图像的所有中心邻域差求和得到奇异性对比度；对所有不同尺度图像的奇异性对比度进行插值处理后累加求和得到像素级的静态显著性特征；

或

获取连续三帧视频帧调制后的视频显著性特征；对所述视频帧中像素点对应的标注变量建立3D模型，根据所述视频显著性特征，采用3D图像马尔科夫场3D-MRF设置所述标注变量的对数后验概率，所述对数后验概率用于表示所述标注变量取值属于视频显著性区域的概率；采用Graph-cuts从3D-MRF的所述对数后验概率中求取所述标注变量的最大后验概率估计值，根据所述最大后验概率估计值得到最优视频显著性区域分割结果。

在本发明一些实施例中，处理器1020还可以执行以下步骤：在视频帧中选取窗口型第一局部区域，并在所述第一局部区域周边选取第一环形区域，分别计算所述第一局部区域和第一环形区域内像素特征的特征分布值，再根据所述特征分布值计算所述像素特征所携带的信息；根据所述特征分布值和所述像素特征所携带的信息计算所述第一局部区域内像素特征的凝聚性的值、相对罕见性的值和重要性的值；所述像素特征的凝聚性的值与相对罕见性的值相加，再乘以所述像素特征的重要性的值获得局部区域级的静态显著性特征。

在本发明一些实施例中，处理器1020还可以执行以下步骤：对所述局部区域级的静态显著性特征和所述像素特征的特征分布值进行离散近似计算，获取所述第一局部区域的显著性特征；对所述第一局部区域的显著性特征进行离散数字处理，后分布到所述第一局部区域的每个像素点上。

在本发明一些实施例中，处理器1020还可以执行以下步骤：计算所述视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中出现的概率；利用激活函数sigmod对颜色在所述视频帧中出现的概率进行处理，再与所述颜色全局对比度和颜色空间分布值相乘，获得所述全局级的静态显著性特征。

在本发明一些实施例中，处理器1020还可以执行以下步骤：在光流场中选取窗口型第二局部区域，并在所述第二局部区域周边选取第二环形区域，分别计算所述第二局部区域和第二环形区域内光流分布值，再根据所述光流分布值计算光流强度所携带的信息；根据所述光流分布值和光流强度所携带的信息计算所述第二局部区域内光流强度的凝聚性的值、相对罕见性的值和重要性的值将所述光流强度的凝聚性的值与光流强度的相对罕见性的值相加，再乘以所述光流强度的重要性的值获得局部区域级的动态显著性特征。

在本发明一些实施例中，处理器1020还可以执行以下步骤：计算所述视频帧的光流强度全局对比度、光流强度空间分布值和每种光流强度在所述视频帧中出现的概率；利用激活函数sigmod对光流强度在所述视频帧中出现的概率进行处理，再与所述光流强度全局对比度和光流强度空间分布值相乘，获得所述全局级的动态显著性特征。

在本发明一些实施例中，采用3D图像马尔科夫场3D-MRF，对所述视频帧每个像素点对应的标注变量进行设置；根据所述视频显著性特征，计算所述视频帧每个像素点对应的标注变量的观测概率；根据所述视频帧每个像素点对应的标注变量，计算所述标注变量的时空平滑先验概率；根据所述观测概率和时空平滑先验概率，计算所述像素点对应的标注变量的后验概率，并对所述后验概率取对数计算得到对数后验概率。

在本发明一些实施例中，从所述对数后验概率中求取所有像素点标注变量的最大后验概率估计值；根据所述最大后验概率估计值，获得所述视频帧的最优视频显著性区域的分割结果。

在本发明一些实施例中，存储器1010可以用来存储视频显著性特征检测结果。

在本发明一些实施例中，存储器1010可以用来存储视频帧像素点的标注变量。

在本发明一些实施例中，存储器1010还可以用来存储时空平滑先验概率、观测概率、对数后验概率。

在本发明一些实施例中，存储器1010还可以用来存储最大后验概率估计值。

在本发明一些实施例中，该视频显著性区域检测设备还可以包括输入装置和输出装置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明所提供的一种视频显著性区域检测、分割方法及系统进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (19)

1.一种视频显著性区域检测方法，其特征在于，包括:

根据像素奇异性对比度获得像素级的静态显著性特征；根据局部区域内像素特征的凝聚性、相对罕见性和重要性获得局部区域级的静态显著性特征；根据视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中的概率获得全局级的静态显著性特征；其中，相对于视频帧中平滑区域，所述奇异性对应于边界、突变和纹理；所述像素特征的凝聚性是视频局部区域内视觉特性一致内聚的程度；所述像素特征的相对罕见性是被评价局部区域内的视觉特性，在其周边环形区域内罕见的程度；所述像素特征的重要性是某种图像特性在局部区域和他周边环形区域的并集区域中重要的程度；

在光流场中，根据局部区域内光流强度的凝聚性、相对罕见性和重要性获得所述局部区域级的动态显著性特征；根据光流强度的全局对比度、光流强度空间分布值和光流强度在所述视频帧中的概率获得所述全局级的动态显著性特征；

结合获得的静态显著性特征和动态显著性特征获得视频显著性特征，利用相邻视频帧的外观相关性对所述视频显著性特征进行调制，以便根据调制后的视频显著性特征对视频帧中视频显著性区域进行分割。

2.根据权利要求1所述的方法，其特征在于，所述根据像素奇异性对比度获得像素级的静态显著性特征，具体包括：

基于高斯核函数对视频帧进行多尺度变换得到至少两层不同尺度的图像；

获取尺度变换后图像中每个像素点所对应的变换系数值，计算每个坐标位置上像素点对应的变换系数值和该像素点的8个邻域内的像素点对应的变换系数值的差值；

对每个所述差值进行q方处理后求和得到中心邻域差，所述q为1或2的正整数；

对每个尺度图像的所有中心邻域差求和得到奇异性对比度；

对所有不同尺度图像的奇异性对比度进行插值处理后累加求和得到像素级的静态显著性特征。

3.根据权利要求1或2所述的方法，其特征在于，所述根据局部区域内像素特征的凝聚性、相对罕见性和重要性获得局部区域级的静态显著性特征，具体包括：

在视频帧中选取窗口型第一局部区域，并在所述第一局部区域周边选取第一环形区域，分别计算所述第一局部区域和第一环形区域内像素特征的特征分布值，再根据所述特征分布值计算所述像素特征所携带的信息；

根据所述特征分布值和所述像素特征所携带的信息计算所述第一局部区域内像素特征的凝聚性的值、相对罕见性的值和重要性的值；

将所述像素特征的凝聚性的值与相对罕见性的值相加，再乘以所述像素特征的重要性的值获得局部区域级的静态显著性特征。

4.根据权利要求3所述的方法，其特征在于，若所述特征来自第一局部区域，则所述像素特征的凝聚性的值与相对罕见性的值相加，再乘以所述像素特征的重要性的值获得局部区域级的静态显著性特征之后还包括：

对所述局部区域级的静态显著性特征和所述像素特征的特征分布值进行离散近似计算，获取所述第一局部区域的显著性特征；

对所述第一局部区域的显著性特征进行离散数字处理，后分布到所述第一局部区域的每个像素点上。

5.根据权利要求1或2所述的方法，其特征在于，所述根据视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中的概率获得全局级的静态显著性特征，具体包括：

计算所述视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中出现的概率；

利用激活函数sigmod对颜色在所述视频帧中出现的概率进行处理，再与所述颜色全局对比度和颜色空间分布值相乘，获得所述全局级的静态显著性特征。

6.根据权利要求1所述的方法，其特征在于，在光流场中，所述根据第二局部区域内光流强度的凝聚性、相对罕见性和重要性获得所述局部区域级的动态显著性特征，具体包括：

在光流场中选取窗口型第二局部区域，并在所述第二局部区域周边选取第二环形区域，分别计算所述第二局部区域和第二环形区域内光流分布值，再根据所述光流分布值计算光流强度所携带的信息；

根据所述光流分布值和光流强度所携带的信息计算所述第二局部区域内光流强度的凝聚性的值、相对罕见性的值和重要性的值；

将所述光流强度的凝聚性的值与光流强度的相对罕见性的值相加，再乘以所述光流强度的重要性的值获得局部区域级的动态显著性特征。

7.根据权利要求1或6所述的方法，其特征在于，所述根据光流强度全局对比度、光流强度空间分布值和每种光流强度在所述视频帧中的概率获得全局级的动态显著性特征，具体包括：

计算所述视频帧的光流强度全局对比度、光流强度空间分布值和每种光流强度在所述视频帧中出现的概率；

利用激活函数sigmod对光流强度在所述视频帧中出现的概率进行处理，再与所述光流强度全局对比度和光流强度空间分布值相乘，获得所述全局级的动态显著性特征。

8.一种视频显著性区域分割方法，其特征在于，包括：

获取连续三帧视频帧调制后的视频显著性特征；所述视频帧调制后的视频显著性特征为采用权利要求1-7任一项所述的视频显著性区域检测方法得到的检测结果；

对所述视频帧中像素点对应的标注变量建立3D模型，根据所述视频显著性特征，采用3D图像马尔科夫场3D-MRF设置所述标注变量的对数后验概率，所述对数后验概率用于表示所述标注变量取值属于视频显著性区域的概率；

采用Graph-cuts从3D-MRF的所述对数后验概率中求取所述标注变量的最大后验概率估计值，根据所述最大后验概率估计值得到最优视频显著性区域分割结果。

9.根据权利要求8所述的方法，其特征在于，所述根据所述视频显著性特征，采用3D图像马尔科夫场3D-MRF设置所述标注变量的对数后验概率，包括：

采用3D图像马尔科夫场3D-MRF，对所述视频帧每个像素点对应的标注变量进行设置；

根据所述视频显著性特征，计算所述视频帧每个像素点对应的标注变量的观测概率；

根据所述视频帧每个像素点对应的标注变量，计算所述标注变量的时空平滑先验概率；

根据所述观测概率和时空平滑先验概率，计算所述像素点对应的标注变量的后验概率，并对所述后验概率取对数计算得到对数后验概率。

10.根据权利要求9所述的方法，其特征在于，所述采用Graph-cuts从3D-MRF的所述对数后验概率中求取所述标注变量的最大后验概率估计值，根据所述最大后验概率估计值进行最优视频显著性区域分割，包括：

从所述对数后验概率中求取所有像素点标注变量的最大后验概率估计值；

根据所述最大后验概率估计值，获得所述视频帧的最优视频显著性区域的分割结果。

11.一种视频显著性区域检测系统，其特征在于，包括：

第一获取单元，用于根据像素奇异性对比度获得像素级的静态显著性特征；用于根据局部区域内像素特征的凝聚性、相对罕见性和重要性获得局部区域级的静态显著性特征；用于根据视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中的概率获得全局级的静态显著性特征；其中，相对于视频帧中平滑区域，所述奇异性对应于边界、突变和纹理；所述像素特征的凝聚性是视频局部区域内视觉特性一致内聚的程度；所述像素特征的相对罕见性是被评价局部区域内的视觉特性，在其周边环形区域内罕见的程度；所述像素特征的重要性是某种图像特性在局部区域和他周边环形区域的并集区域中重要的程度；

第二获取单元，用于在光流场中，根据局部区域内光流强度的凝聚性、相对罕见性和重要性获得所述局部区域级的动态显著性特征；根据光流强度的全局对比度、光流强度空间分布值和光流强度在所述视频帧中的概率获得所述全局级的动态显著性特征；

第三获取单元，用于结合获得的静态显著性特征和动态显著性特征获得视频显著性特征，利用相邻视频帧的外观相关性对所述视频显著性特征进行调制，以便根据调制后的视频显著性特征对视频帧中视频显著性区域进行分割。

12.根据权利要求11所述的系统，其特征在于，所述第一获取单元包括像素级获取单元，所述像素级获取单元包括：

尺度变换单元，用于基于高斯核函数对视频帧进行多尺度变换得到至少两层不同尺度的图像；

第一计算单元，获取尺度变换后图像中每个像素点所对应的变换系数值，计算每个坐标位置上像素点对应的变换系数值和该像素点的8个邻域内的像素点对应的变换系数值的差值；用于对每个所述差值进行q方处理后求和得到中心邻域差，所述q为1或2的正整数；

求和单元，用于对每个尺度图像的所有中心邻域差求和得到奇异性对比度；和用于对所有不同尺度图像的奇异性对比度进行插值处理后累加求和得到像素级的静态显著性特征。

13.根据权利要求11所述的系统，其特征在于，所述第一获取单元还包括第一静态获取单元，所述第一静态获取单元包括：

第二计算单元，用于在视频帧中选取窗口型第一局部区域，并在所述第一局部区域周边选取第一环形区域，分别计算所述第一局部区域和第一环形区域内像素特征的特征分布值，再根据所述特征分布值计算所述像素特征所携带的信息；和用于根据所述特征分布值和所述像素特征所携带的信息计算所述第一局部区域内像素特征的凝聚性的值、相对罕见性的值和重要性的值；

第二乘积单元，用于将所述像素特征的凝聚性的值与相对罕见性的值相加，再乘以所述像素特征的重要性的值获得第一局部区域级的静态显著性特征。

14.根据权利要求11所述的系统，其特征在于，所述第一获取单元包括第二静态获取单元，所述第二静态获取单元包括：

第三计算单元，用于计算所述视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中出现的概率；

第三乘积单元，用于利用激活函数sigmod对颜色在所述视频帧中出现的概率进行处理，再与所述颜色全局对比度和颜色空间分布值相乘，获得所述全局级的静态显著性特征。

15.根据权利要求11所述的系统，其特征在于，所述第二获取单元包括第一动态获取单元，所述第一动态获取单元包括：

第四计算单元，用于在光流场中选取窗口型第二局部区域，并在所述第二局部区域周边选取第二环形区域，分别计算所述第二局部区域和第二环形区域内光流分布值，再根据所述光流分布值计算光流强度所携带的信息；和用于根据所述光流分布值和光流强度所携带的信息计算所述第二局部区域内光流强度的凝聚性的值、相对罕见性的值和重要性的值；

第四乘积单元，用于将所述光流强度的凝聚性的值与光流强度的相对罕见性的值相加，再乘以所述光流强度的重要性的值获得局部区域级的动态显著性特征。

16.根据权利要求11或15所述的系统，其特征在于，所述第二获取单元还包括第二动态获取单元，所述第二动态获取单元包括：

第五计算单元，用于计算所述视频帧的光流强度全局对比度、光流强度空间分布值和每种光流强度在所述视频帧中出现的概率；

第五乘积单元，用于利用激活函数sigmod对光流强度在所述视频帧中出现的概率进行处理，再与所述光流强度全局对比度和光流强度空间分布值相乘，获得所述全局级的动态显著性特征。

17.一种视频显著性区域分割系统，其特征在于，包括：

特征获取单元，用于获取连续三帧视频帧调制后的视频显著性特征；所述视频帧调制后的视频显著性特征为采用权利要求11-16任一项所述的视频显著性区域检测系统得到的检测结果；

概率设置单元，用于对所述视频帧中像素点对应的标注变量建立3D模型，根据所述视频显著性特征，采用3D图像马尔科夫场3D-MRF设置所述标注变量的对数后验概率，所述对数后验概率用于表示所述标注变量取值属于视频显著性区域的概率；

分割单元，用于采用Graph-cuts从3D-MRF的所述对数后验概率中求取所述标注变量的最大后验概率估计值，根据所述最大后验概率估计值得到最优视频显著性区域分割结果。

18.根据权利要求17所述的系统，其特征在于，所述概率设置单元包括：

设置单元，用于采用3D图像马尔科夫场3D-MRF，对所述视频帧每个像素点对应的标注变量进行设置；

观测概率计算单元，用于根据所述视频显著性特征，计算所述视频帧每个像素点对应的标注变量的观测概率；

时空平滑先验概率计算单元，用于根据所述视频帧每个像素点对应的标注变量，计算所述标注变量的时空平滑先验概率；

对数后验概率计算单元，用于根据所述观测概率和时空平滑先验概率，计算所述像素点对应的标注变量的后验概率，并对所述后验概率取对数计算得到对数后验概率。

19.根据权利要求18所述的系统，其特征在于，所述分割单元包括：

最大后验概率计算单元，用于从所述对数后验概率中求取所有像素点标注变量的最大后验概率估计值；

视频显著性区域分割单元，用于根据所述最大后验概率估计值，获得所述视频帧的最优视频显著性区域的分割结果。