CN104869421B - 基于全局运动估计的视频显著性检测方法 - Google Patents
基于全局运动估计的视频显著性检测方法 Download PDFInfo
- Publication number
- CN104869421B CN104869421B CN201510301092.1A CN201510301092A CN104869421B CN 104869421 B CN104869421 B CN 104869421B CN 201510301092 A CN201510301092 A CN 201510301092A CN 104869421 B CN104869421 B CN 104869421B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- block
- feature
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种基于全局运动估计的视频显著性检测方法,其特点是包括以下步骤:提取压缩码流中空域特征和时域特征,利用二维高斯权重函数和空域特征得到空域显著性图;利用级联结构滤除属于全局运动的背景运动矢量,基于剩余运动矢量得到粗略时域显著性图,并根据宏块信息对粗略时域显著性图进行优化;根据人眼视觉特性和时空域显著性图的特征自适应融合时域和空域显著性图像得到图像显著区域。本发明设计合理,其在空域显著性及时域显著性检测中考虑的特征种类齐全,使得最终显著性图更加符合人眼的主观感知质量,其鲁棒性高,不依赖于视频内容变化,有较强的可扩展性,如加入其他特征也可用本发明的融合方式。
Description
技术领域
本发明属于视频检测技术领域,具体涉及一种基于全局运动估计的视频显著性检测方法。
背景技术
随着互联网技术和通信技术的蓬勃发展,人们日常生活中获取和交流的信息越来越多。这些信息包含文本、图像、音频和视频等,由于视频含有信息量大和内容丰富,因此视频成为主要的信息载体。而如此庞大的信息在传输和存储时会受到带宽和容量限制,因此需要根据信息受体人眼的视觉特性对其进行处理,提取出人眼关注的部分。视频显著性检测就是根据人眼视觉特性对视频信息分析的重要机制,其在视频处理中可用于物体检测、目标跟踪、视频编码等。
人眼视觉注意机制可分为自底向上和自顶向下两种,自底向上的机制是数据驱动的,即没有任何先验知识,仅由低层信息(如亮度、色度和对比度等)得到,而自顶向下的机制是任务驱动,需要有一定先验知识。由于低层信息获得较为容易且一般缺乏先验知识,故现有视频显著性检测大多基于自底向上的视觉机制。
视频显著性检测按其特征来源可分为压缩域和非压缩域方法。现有的视频显著性检测模型大多是在非压缩域实现的,如Itti等(Laurent Itti,Christof Koch,and ErnstNiebur,“A model of saliency-based visual attention for rapid scene analysis,”IEEE Transactions on pattern analysis and machine intelligence,vol.20,no.11,pp.1254–1259,1998.)提出的基于灵长类早期视觉系统的显著性检测模型,Harel(Jonathan Harel,Christof Koch,and Pietro Perona,“Graph-based visualsaliency,”in Advances in neural information processing systems,2006,pp.545–552.)提出的基于图论的方法,Guo等(Chenlei Guo and Liming Zhang,“A novelmultiresolution spatiotemporal saliency detection model and its applicationsin image and video compression,”Image Processing,IEEE Transactions on,vol.19,no.1,pp.185–198,2010.)提出的基于相位的显著性检测模型。这些模型所提取的信息均来自于未压缩的像素域,像素域中包含大量视频信息如亮度、色度、纹理等,因此在像素域中需要高计算复杂度获取显著性图。再者,视频传输和存储都是压缩后的码流,压缩视频应用广泛主要得益于减小存储空间和提升传输速度,因此压缩域视频显著性检测更有利于应用到实时处理场景中。
压缩域视频显著性检测主要利用离散余弦变换(DCT)系数和运动矢量(MVs)计算每个块的显著性大小。Muthuswamy等(Karthik Muthuswamy and Deepu Rajan,“Salientmotion detection in compressed domain,”IEEE Signal Processing Letters,vol.20,pp.996–999,2013.)提出一种双层结构算法用于辨别显著性运动,但是没有解决多种特征条件下显著性图的融合问题。Fang(Yuming Fang,Zhou Wang,and Weisi Lin,“Videosaliency incorporating spatiotemporal cues and uncertainty weighting,”inMultimedia and Expo(ICME),2013IEEE International Conference on.IEEE,2013,pp.1–6.)等提出基于局部不确定性度量的自适应融合方法能取得较好的检测效果,但是该方法在计算权重时需预先知道真实显著性图,该因素阻碍了此法的实际应用,且该方法不适用于视频中存在全局运动的场景。
综上所述,现有的视频显著性检测方法中,压缩域方法较少,未考虑全局运动对检测结果的影响,且多种特征下显著性图融合技术不够完善,不能充分发挥每种特征条件下检测结果的优势。如何去除全局运动的影响和多特征显著性图自适应融合是视频显著性检测中迫切需要解决的问题。
发明内容
本发明的目的在于克服现有技术的不足,提供一种设计合理、主观视觉效果好且能够准确检测视频显著性区域的基于全局运动估计的视频显著性检测方法。
本发明解决其技术问题是采取以下技术方案实现的:
一种基于全局运动估计的视频显著性检测方法,包括以下步骤:
步骤1、提取压缩码流中空域特征和时域特征,利用二维高斯权重函数和空域特征得到空域显著性图;
步骤2、利用级联结构滤除属于全局运动的背景运动矢量,基于剩余运动矢量得到粗略时域显著性图,并根据宏块信息对粗略时域显著性图进行优化;
步骤3、根据人眼视觉特性和时空域显著性图的特征自适应融合时域和空域显著性图像得到图像显著区域。
而且,步骤1所述的时域特征包括对应时域特征的运动矢量,所述空域特征包括以下五个分量:
(1)、亮度特征L,对应于亮度的直流分量;
(2)、色度特征C1,对应于色度Cb的直流分量;
(3)、色度特征C2,对应于色度Cr的直流分量;
(4)、结构特征T,对应于亮度的所有交流分量的和;
(5)、边缘特征E,对应于亮度中与直流分量最接近的两个交流分量的和。
而且,步骤1所述利用二维高斯函数和空域特征得到空域显著性图的具体方法包括以下步骤:
⑴针对每种特征f∈{L,C1,C2,T,E},计算当前块与相邻块绝对特征对比度
式中,fi和fj分别表示当前块和相邻块的特征值;
⑵利用二维高斯权重函数计算每个相邻块对应的权重:
式中,dxij和dyij分别表示当前块和相邻块在水平和垂直方向上的空间距离,σx和σy分别表征二维高斯函数水平和垂直方向上的标准差;
⑶计算第i个块在特征f下的显著性值:
⑷将空域特征五个分量下的显著性值融合成空域显著性图:
式中,Ss表示对应视频每一帧的整体空域显著性,K是特征的数目(K=5),N()是归一化操作,每种空域特征分量下的显著性值归一化至[0,1],减小其绝对数值大小的影响。
而且,步骤2所述利用级联结构滤除属于全局运动的背景运动矢量得到粗略时域显著性图的方法包括如下步骤:
⑴将视频帧划分成统一大小4×4的块,获取每个块的运动矢量;
⑵显著性区域出现在图像边缘概率低,因此移除边缘块;
⑶级联结构第一级,比较当前块和其水平垂直方向上运动矢量平均相对差值RDmag:
RDmag=Dmag/|MV5|
式中MV表示当前块运动矢量MV5和其相邻8个块的运动矢量组成的矩阵,(·)表示矩阵对应元素相乘再求和,将每个块的RDmag与给定阈值比较,低于阈值的块被认为是具有全局运动的背景块予以移除;
⑷级联结构第二级,比较当前块和其对角线方向上运动矢量平均相对差,设定一个比较阈值,低于阈值的块被认为是具有全局运动的背景块予以移除;
⑸经上述步骤后剩余块的运动矢量用于粗略计算每个块的时域显著性值:
式中和分别表示当前块i运动矢量的水平和垂直分量。
而且,所述步骤2根据宏块信息对粗略时域显著性图进行优化按如下数学模型进行:
St=SiMFi
式中MFi表示当前块所对应宏块的编码信息,如对应宏块是inter模式,则取值为1,如为intra或skip模式则取值为0,通过宏块编码信息MFi对时域显著性值Si进行修正得到优化后的时域显著性值St。
而且,步骤3所述自适应融合时域和空域显著性图像得到图像显著区域通过如下数学模型进行:
式中Ss和St分别表示空域和时域显著性值,μ和σ表示显著性平均值和标准差,如果μ大,σ小,则其所占权重大,反之则小。
本发明的优点和积极效果是:
本发明设计合理,其在空域显著性检测中,充分考虑到视频尺寸的影响,利用二维高斯函数作为绝对特征差的权重提升空域检测性能,在时域方面,利用基于全局运动估计的方法滤除属于背景的运动矢量,剩余运动矢量用于形成粗略时域显著性图,考虑宏块编码信息,对时域显著性检测结果进行优化,最终根据时域和空域显著性图的内容自适应融合以形成最终显著性图;同时,本发明考虑特征种类齐全,包括亮度、色度、结构、边缘和运动矢量,使得最终显著性图更加符合人眼的主观感知质量。本发明鲁棒性高,不依赖于视频内容变化,有较强的可扩展性,如加入其他特征也可用本发明的融合方式。
附图说明
图1是本发明基于全局运动估计的视频显著性检测整体框架图;
图2是实施例给出的视频帧;
图3是图2的空域显著性图;
图4a是第一级级联结构中比较的运动矢量位置;
图4b是第二级级联结构中比较的运动矢量位置;
图5是图2的时域显著性图;
图6是自适应融合后的显著性图。
具体实施方式
以下结合附图对本发明实施例做进一步详述:
一种基于全局运动估计的视频显著性检测方法,如图1所示,包括以下步骤:
步骤1、提取压缩码流中空域特征和时域特征,利用二维高斯权重函数和空域特征以得到空域显著性图。
在本步骤中,原始视频经过H.264测试版本18.5(JM18.5)压缩,每帧图像划分成(4×4)尺寸的块,对于CIF序列,每帧可分为88×72个块,提取每块对应的运动矢量及DCT系数,运动矢量代表时域信息,每个块DCT系数包括一个直流分量DC和十五个交流分量(AC1~AC15),从DCT系数中的各分量提取所需要的空域特征。包括对应于亮度直流分量的亮度特征L;对应于色度Cb直流分量的色度特征C1;对应于色度Cr直流分量的色度特征C2;对应于亮度所有交流分量求和得到结构特征T,即对应于亮度中与直流分量空间距离最接近的两个交流分量求和得边缘特征E,即E=AC1+AC4。本实施例随机选取Stefan序列中某一帧,原视频帧如图2所示。
利用二维高斯函数和空域特征得到空域显著性图,具体过程包括如下步骤:
(1)、针对每种特征f∈{L,C1,C2,T,E},计算当前块i与相邻块之间绝对特征对比度
式中,fi和fj分别表示当前块和相邻块的特征值。考虑到算法的有效性及运行速度,在本实施例中相邻块为当前块的8邻域块。
(2)、由于不同位置的相邻块对当前块产生影响不同,利用二维高斯权重函数计算每个相邻块对应的权重:
式中,dxij和dyij分别表示当前块和相邻块在水平和垂直方向上的空间距离,σx和σy分别表征二维高斯函数水平和垂直方向上的标准差,其取值应该考虑视频分辨率,对于本实施例中CIF(352×288)序列,经仿真测试,取值为σx=5,σy=4。由于图像一般不为方形,应区别对待水平和垂直方向上的影响,考虑到图像分辨率,将水平和垂直方向上的标准差设置为不同值。
(3)、计算第i个块在特征f下的显著性值:
(4)、将五种特征下的显著性值融合成空域显著性图:
式中,Ss表示对应视频每一帧的整体空域显著性值,K是特征的数目,N()是归一化操作,每种特征下的显著性值归一化至[0,1],减小其绝对数值大小的影响。本实施例中考虑空域中五种特征,即K=5,实际应用中可根据具体场景选择特征种类及数目,对K值作相应调整。由Ss可得到实施例的空域显著性图像,如图3所示。
步骤2、利用级联结构滤除属于全局运动的背景运动矢量,基于剩余运动矢量得到粗略时域显著性图,根据宏块信息对其进行优化。
在本步骤中,基于全局运动估计的级联结构对运动矢量滤波过程如下:
(1)、将视频帧划分成统一大小(4×4)的块,获取每个块的运动矢量,如当前块在编码时划分在宏块(16×16)中,则可直接用原宏块的运动矢量替代,即宏块中16个子块所取运动矢量值相同;
(2)、由于显著性区域出现在图像边缘概率低,对图像最边缘的块予以移除;
(3)、级联结构第一级,如图4a所示,比较当前块和其水平垂直方向上四个块的运动矢量平均相对差值RDmag:
RDmag=Dmag/|MV5|
式中MV表示当前块运动矢量(MV5)和其相邻8个块的运动矢量组成的矩阵,(·)表示矩阵对应元素相乘再求和,将每个块的RDmag与给定阈值比较,本实施例中选择第一级阈值为0.1,阈值取值为实验仿真结果,低于阈值的块被认为是具有全局运动的背景块予以移除;
(4)、级联结构第二级,如图4b所示,比较当前块和其对角线方向上四个块的运动矢量平均相对差值:
RDmag=Dmag/|MV5|
将每个块的RDmag与给定阈值比较,本实施例中选择第二级阈值为0.15,阈值取值为实验仿真结果,低于阈值的块被认为是具有全局运动的背景块予以移除;
(5)经上述步骤后,剩余块的运动矢量用于粗略计算每个块的时域显著性值:
式中和分别表示当前块i运动矢量的水平和垂直分量,为和空域显著性值保持一致,此处也采用归一化操作。由此得到的时域显著性图中仍有一些奇异点,可根据宏块信息对时域显著性图通过下式进行优化:
St=SiMFi
式中MFi表示当前块所对应宏块的编码信息,如对应宏块是inter模式,则取值为1,如为intra或skip模式则取值为0,通过宏块编码信息MFi对时域显著性值Si进行修正得到优化后的时域显著性值St。时域显著性图如图5所示。
步骤3、根据人眼视觉特性和时空域显著性图的特征自适应融合时域和空域显著性图像以得到图像显著区域。
在本步骤中,自适应融合时域和空域显著性图像以得到图像显著区域通过下式进行:
式中Ss和St分别表示空域和时域显著性值,μ和σ表示显著性平均值和标准差,以μs和σs为例,其计算方式如下式:
式中N表示显著图中块划分个数,表示空域显著图中第i个块的显著性值,如空域或时域显著性值普遍较大(μ大),值分布集中(σ小),则其所占权重大,反之则小。最终形成的时空域显著性图如图6所示。
下面按照本发明的方法进行实验,用于说明本发明的实验效果。
测试环境:Visual Studio 2013,MATLAB 2013b
测试序列:所选测试序列和其对应标准显著性图(groundtruth)来自SFU数据库(Hadi Hadizadeh,Mario J Enriquez,and Ivan V Bajic,“Eye-tracking database fora set of standard video sequences,”Image Processing,IEEE Transactions on,vol.21,no.2,pp.898–903,2012.),其中包含的序列如下:
表一测试序列
序列名 | 帧数/帧率/分辨率 | 序列名 | 帧数/帧率/分辨率 |
Foreman | 300/30/352×288 | Soccer | 300/30/352×288 |
Bus | 150/30/352×288 | Stefan | 90/30/352×288 |
City | 300/30/352×288 | Mobile | 300/30/352×288 |
Crew | 300/30/352×288 | Harbor | 300/30/352×288 |
FlowerGarden | 250/30/352×288 | Hall | 300/30/352×288 |
Mother | 300/30/352×288 | Tempete | 260/30/352×288 |
测试指标:
(1)、ROC曲线是TPR随FPR变化的曲线,其中TPR表示将groundtruth中显著性点检测为显著性点的比例,FPR表示将非显著性点检测为显著性点的比例,AUC值表示ROC曲线覆盖下的面积。曲线下覆盖面积越大,表示视频显著性检测模型越好;
(2)、另一个有效度量显著性检测的客观指标是F-measure,首先定义Num(TP)表示正确检测显著性的点数,Num(FP)表示将非显著性点检测为显著性点的数目,Num(FN)表示将显著性点检测为非显著性点的数目,则显著性图的精确率和召回率可按下式计算:
综合考虑精确率和召回率,按下式得到F-measure值:
F-measure值越接近于1,表示显著性检测效果越好。
测试结果如下:
表二各种融合方式AUC及F-measure值
融合方式 | AUC | F-measure |
S | 0.624 | 0.354 |
T | 0.711 | 0.392 |
NS | 0.801 | 0.441 |
NM | 0.763 | 0.410 |
NP | 0.817 | 0.511 |
UW | 0.841 | 0.456 |
Proposed | 0.942 | 0.647 |
表二中以Stefan序列为例比较本文的融合方式和其他融合方式对显著性检测的影响,其中S和T分别表示原始未融合的空域和时域显著性图;NS表示求和的融合方式,即每个块的显著性由S和T中值相加得到;NM表示每个块的显著性由S和T中较大值决定的融合方式;NP表示求积的融合方式,即每个块的显著性值为S和T中对应值的乘积;UW为Fang所提出的不确定性度量融合方式。由表可看出本发明中的显著性融合方式优于所比较的其他融合方式,其原因主要是本发明的融合方式充分考虑了时空域显著性图的特性,根据其整体显著性值及方差自适应调整权重。
表三不同显著性检测方法客观质量比较
显著性检测方法 | AUC | F-measure |
MVE | 0.709 | 0.438 |
TPA | 0.733 | 0.430 |
SSD | 0.728 | 0.417 |
UW | 0.746 | 0.443 |
Proposed | 0.873 | 0.625 |
表三是对SFU中所有视频测试的平均结果,其中MVE是一种基于运动矢量熵的显著性检测方法,TPA是利用双层结构分析视频显著性的方法,SSD是基于时空域的方法,UW是基于不确定性度量的方法。实验结果中UW方法的效果普遍好于另外三种比较的方法,这是因为其在计算权重时利用ground truth,但在实际情况中往往无法预先获知真实显著性图。从结果可以看出,本发明的显著性检测结果优于其他比较方法,对于存在全局运动的视频序列,基于全局运动估计的级连结构能较好滤除背景运动矢量,提高时域显著性检测精确度。对于其他序列,二维高斯权重函数保证了空域显著性图的效果,宏块信息可用于修正时域显著性图,再者,自适应融合方式能将时空域的显著性特性在最终融合的图上很好地体现出来。
需要强调的是,本发明所述的实施例是说明性的,而不是限定性的,因此本发明包括并不限于具体实施方式中所述的实施例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,同样属于本发明保护的范围。
Claims (5)
1.一种基于全局运动估计的视频显著性检测方法,其特征在于包括以下步骤:
步骤1、提取压缩码流中空域特征和时域特征,利用二维高斯权重函数和空域特征得到空域显著性图;
步骤2、利用级联结构滤除属于全局运动的背景运动矢量,基于剩余运动矢量得到粗略时域显著性图,并根据宏块信息对粗略时域显著性图进行优化;
步骤3、根据人眼视觉特性和时空域显著性图的特征自适应融合时域和空域显著性图像得到图像显著区域;
在步骤2中,得到粗略时域显著性图的方法包括如下步骤:
⑴将视频帧划分成统一大小4×4的块,获取每个块的运动矢量;
⑵显著性区域出现在图像边缘概率低,因此移除边缘块;
⑶级联结构第一级,比较当前块和其水平垂直方向上运动矢量平均相对差值RDmag:
<mrow>
<msub>
<mi>D</mi>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>g</mi>
</mrow>
</msub>
<mo>=</mo>
<mrow>
<mo>|</mo>
<mrow>
<mi>M</mi>
<mi>V</mi>
<mo>&CenterDot;</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
<mo>/</mo>
<mn>4</mn>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
<mo>/</mo>
<mn>4</mn>
</mrow>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
<mo>/</mo>
<mn>4</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
<mo>/</mo>
<mn>4</mn>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mo>|</mo>
</mrow>
</mrow>
RDmag=Dmag/|MV5|
式中MV表示当前块运动矢量MV5和其相邻8个块的运动矢量组成的矩阵,·表示矩阵对应元素相乘再求和,将每个块的RDmag与给定阈值比较,低于阈值的块被认为是具有全局运动的背景块予以移除;
⑷级联结构第二级,比较当前块和其对角线方向上运动矢量平均相对差,设定一个比较阈值,低于阈值的块被认为是具有全局运动的背景块予以移除;
⑸经上述步骤后剩余块的运动矢量用于粗略计算每个块的时域显著性值:
<mrow>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mo>|</mo>
<msubsup>
<mi>MV</mi>
<mi>x</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<mo>+</mo>
<mo>|</mo>
<msubsup>
<mi>MV</mi>
<mi>y</mi>
<mi>i</mi>
</msubsup>
<mo>|</mo>
<mo>)</mo>
</mrow>
</mrow>
式中和分别表示当前块i运动矢量的水平和垂直分量,N()是归一化操作。
2.根据权利要求1所述的基于全局运动估计的视频显著性检测方法,其特征在于:步骤1所述的时域特征包括对应时域特征的运动矢量,所述空域特征包括以下五个分量:
(1)、亮度特征L,对应于亮度的直流分量;
(2)、色度特征C1,对应于色度Cb的直流分量;
(3)、色度特征C2,对应于色度Cr的直流分量;
(4)、结构特征T,对应于亮度的所有交流分量的和;
(5)、边缘特征E,对应于亮度中与直流分量最接近的两个交流分量的和。
3.根据权利要求1所述的基于全局运动估计的视频显著性检测方法,其特征在于:步骤1所述利用二维高斯函数和空域特征得到空域显著性图的具体方法包括以下步骤:
⑴针对每种特征f∈{L,C1,C2,T,E},计算当前块与相邻块绝对特征对比度
<mrow>
<msubsup>
<mi>D</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>f</mi>
</msubsup>
<mo>=</mo>
<mo>|</mo>
<msub>
<mi>f</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
</mrow>
式中,fi和fj分别表示当前块和相邻块的特征值;L表示亮度直流分量的亮度特征;C1表示色度Cb直流分量的色度特征;C2表示色度Cr直流分量的色度特征;T表示亮度所有交流分量求和得到结构特征;E表示亮度中与直流分量空间距离最接近的两个交流分量求和得边缘特征;
⑵利用二维高斯权重函数计算每个相邻块对应的权重:
<mrow>
<msub>
<mi>w</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<msub>
<mi>&pi;&sigma;</mi>
<mi>x</mi>
</msub>
<msub>
<mi>&sigma;</mi>
<mi>y</mi>
</msub>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<msubsup>
<mi>d</mi>
<mrow>
<mi>x</mi>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&sigma;</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
<mo>-</mo>
<mfrac>
<msubsup>
<mi>d</mi>
<mrow>
<mi>y</mi>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&sigma;</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
</mrow>
</msup>
</mrow>
式中,dxij和dyij分别表示当前块和相邻块在水平和垂直方向上的空间距离,σx和σy分别表征二维高斯函数水平和垂直方向上的标准差;
⑶计算第i个块在特征f下的显著性值:
<mrow>
<msubsup>
<mi>S</mi>
<mi>i</mi>
<mi>f</mi>
</msubsup>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>&NotEqual;</mo>
<mi>i</mi>
</mrow>
</munder>
<msub>
<mi>w</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<msubsup>
<mi>D</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mi>f</mi>
</msubsup>
</mrow>
⑷将空域特征五个分量下的显著性值融合成空域显著性图:
<mrow>
<msub>
<mi>S</mi>
<mi>s</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>K</mi>
</mfrac>
<mo>&Sigma;</mo>
<mi>N</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>S</mi>
<mi>f</mi>
</msup>
<mo>)</mo>
</mrow>
</mrow>
式中,Ss表示对应视频每一帧的整体空域显著性,K是特征的数目,K=5,N()是归一化操作,每种空域特征分量下的显著性值归一化至[0,1],减小其绝对数值大小的影响。
4.根据权利要求1所述的基于全局运动估计的视频显著性检测方法,其特征在于:所述步骤2根据宏块信息对粗略时域显著性图进行优化按如下数学模型进行:
St=SiMFi
式中MFi表示当前块所对应宏块的编码信息,如对应宏块是inter模式,则取值为1,如为intra或skip模式则取值为0,通过宏块编码信息MFi对时域显著性值Si进行修正得到优化后的时域显著性值St。
5.根据权利要求1所述的基于全局运动估计的视频显著性检测方法,其特征在于:步骤3所述自适应融合时域和空域显著性图像得到图像显著区域通过如下数学模型进行:
<mrow>
<mi>S</mi>
<mo>=</mo>
<mfrac>
<msub>
<mi>&mu;</mi>
<mi>s</mi>
</msub>
<msub>
<mi>&sigma;</mi>
<mi>s</mi>
</msub>
</mfrac>
<msub>
<mi>S</mi>
<mi>s</mi>
</msub>
<mo>+</mo>
<mfrac>
<msub>
<mi>&mu;</mi>
<mi>t</mi>
</msub>
<msub>
<mi>&sigma;</mi>
<mi>t</mi>
</msub>
</mfrac>
<msub>
<mi>S</mi>
<mi>t</mi>
</msub>
</mrow>
式中Ss和St分别表示空域和时域显著性值,μ和σ表示显著性平均值和标准差,如果μ大,σ小,则其所占权重大,反之则小。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510301092.1A CN104869421B (zh) | 2015-06-04 | 2015-06-04 | 基于全局运动估计的视频显著性检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510301092.1A CN104869421B (zh) | 2015-06-04 | 2015-06-04 | 基于全局运动估计的视频显著性检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104869421A CN104869421A (zh) | 2015-08-26 |
CN104869421B true CN104869421B (zh) | 2017-11-24 |
Family
ID=53914863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510301092.1A Active CN104869421B (zh) | 2015-06-04 | 2015-06-04 | 基于全局运动估计的视频显著性检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104869421B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105491370B (zh) * | 2015-11-19 | 2020-09-22 | 国家新闻出版广电总局广播科学研究院 | 基于图的协同低高级特征的视频显著性检测方法 |
CN105472380A (zh) * | 2015-11-19 | 2016-04-06 | 国家新闻出版广电总局广播科学研究院 | 基于蚁群的压缩域显著性检测算法 |
CN107392917B (zh) * | 2017-06-09 | 2021-09-28 | 深圳大学 | 一种基于时空约束的视频显著性检测方法及系统 |
CN107767400B (zh) * | 2017-06-23 | 2021-07-20 | 北京理工大学 | 基于层次化显著性分析的遥感图像序列动目标检测方法 |
CN107767418A (zh) * | 2017-10-25 | 2018-03-06 | 梧州学院 | 一种低倍显微物镜识别与定位方法 |
CN109309834B (zh) * | 2018-11-21 | 2021-01-05 | 北京航空航天大学 | 基于卷积神经网络和hevc压缩域显著信息的视频压缩方法 |
CN109451316B (zh) * | 2018-11-21 | 2020-11-24 | 北京航空航天大学 | 一种基于cu显著性的qp选择算法 |
CN109741300B (zh) * | 2018-12-18 | 2022-08-12 | 南京邮电大学 | 一种适用于视频编码的图像显著性快速检测方法和装置 |
CN113933985B (zh) * | 2021-10-26 | 2023-09-12 | 梧州学院 | 一种生物显微镜的光路对准方法 |
CN114640850B (zh) * | 2022-02-28 | 2024-06-18 | 上海顺久电子科技有限公司 | 视频图像的运动估计方法、显示设备和芯片 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102568006A (zh) * | 2011-03-02 | 2012-07-11 | 上海大学 | 一种基于视频中物体运动特征的视觉显著性算法 |
CN102831621A (zh) * | 2012-08-09 | 2012-12-19 | 西北工业大学 | 一种基于频谱分析的视频显著性处理方法 |
CN103065326A (zh) * | 2012-12-26 | 2013-04-24 | 西安理工大学 | 基于时-空多尺度运动注意力分析的目标检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8013895B2 (en) * | 2006-08-07 | 2011-09-06 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Optical motion sensing |
-
2015
- 2015-06-04 CN CN201510301092.1A patent/CN104869421B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102568006A (zh) * | 2011-03-02 | 2012-07-11 | 上海大学 | 一种基于视频中物体运动特征的视觉显著性算法 |
CN102831621A (zh) * | 2012-08-09 | 2012-12-19 | 西北工业大学 | 一种基于频谱分析的视频显著性处理方法 |
CN103065326A (zh) * | 2012-12-26 | 2013-04-24 | 西安理工大学 | 基于时-空多尺度运动注意力分析的目标检测方法 |
Non-Patent Citations (1)
Title |
---|
A Video Saliency Detection Model in Compressed Domain;Fang Y et al.;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20130716;第24卷(第1期);27-38 * |
Also Published As
Publication number | Publication date |
---|---|
CN104869421A (zh) | 2015-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104869421B (zh) | 基于全局运动估计的视频显著性检测方法 | |
Moorthy et al. | Efficient motion weighted spatio-temporal video SSIM index | |
Wang et al. | Novel spatio-temporal structural information based video quality metric | |
CN104243973B (zh) | 基于感兴趣区域的视频感知质量无参考客观评价方法 | |
CN102663747B (zh) | 一种基于视觉感知的立体图像客观质量评价方法 | |
CN103778636B (zh) | 一种用于无参考图像质量评价的特征构建方法 | |
CN104023225B (zh) | 基于空时域自然场景统计特征的无参考视频质量评估方法 | |
CN105338343A (zh) | 一种基于双目感知的无参考立体图像质量评价方法 | |
CN101825581A (zh) | 一种基于模型的pcb缺陷检测方法 | |
CN107360435B (zh) | 块效应检测方法、块噪声滤除方法及装置 | |
Hou et al. | Welding image edge detection and identification research based on canny operator | |
Lu et al. | A spatiotemporal model of video quality assessment via 3D gradient differencing | |
CN104574424B (zh) | 基于多分辨率dct边缘梯度统计的无参照图像模糊度评价方法 | |
CN104243970A (zh) | 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法 | |
Tian et al. | SC-IQA: Shift compensation based image quality assessment for DIBR-synthesized views | |
Lin et al. | Recent advances and challenges of visual signal quality assessment | |
CN106791876A (zh) | 一种基于3d‑hevc的深度图快速帧内预测方法 | |
Wang et al. | Blind quality assessment for 3D-synthesized images by measuring geometric distortions and image complexity | |
CN107016443A (zh) | 一种基于机器视觉的负样本采集方法 | |
Wu et al. | Saliency change based reduced reference image quality assessment | |
CN106375773B (zh) | 基于动态阈值的帧复制粘贴篡改检测方法 | |
Cai et al. | Image Blur Assessment with Feature Points. | |
Fang et al. | A spatial-temporal weighted method for asymmetrically distorted stereo video quality assessment | |
Wan et al. | A video forensic technique for detecting frame integrity using human visual system-inspired measure | |
Chu et al. | No-reference video quality assessment by a cascade combination of neural networks and regression model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |