CN105491370B - 基于图的协同低高级特征的视频显著性检测方法 - Google Patents

基于图的协同低高级特征的视频显著性检测方法 Download PDF

Info

Publication number
CN105491370B
CN105491370B CN201510799543.9A CN201510799543A CN105491370B CN 105491370 B CN105491370 B CN 105491370B CN 201510799543 A CN201510799543 A CN 201510799543A CN 105491370 B CN105491370 B CN 105491370B
Authority
CN
China
Prior art keywords
motion
matrix
video
spatial
restart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510799543.9A
Other languages
English (en)
Other versions
CN105491370A (zh
Inventor
高冉
郭晓强
付光涛
李小雨
周芸
涂钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Academy of Broadcasting Science of SAPPRFT
Original Assignee
Academy of Broadcasting Science of SAPPRFT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Academy of Broadcasting Science of SAPPRFT filed Critical Academy of Broadcasting Science of SAPPRFT
Priority to CN201510799543.9A priority Critical patent/CN105491370B/zh
Publication of CN105491370A publication Critical patent/CN105491370A/zh
Application granted granted Critical
Publication of CN105491370B publication Critical patent/CN105491370B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于图的协同低高级特征的视频显著性检测方法，属于视频检测技术领域，其技术特点是：使用改进的随机行走算法模拟人眼运动进行视频显著性检测。该方法从视频流中提取低级特征与高级特征，以超像素为基本单元，利用低级特征获得空域转移概率矩阵和时域重启矩阵，以边界优先作为一种高级特征获得基于边界先验的的重启矩阵。将两种重启矩阵与空域转移概率矩阵相结合到重启性随机行走算法的框架中获得时空域显著性图。本文将算法在两个公开数据库上进行了测试，实验结果表明该方法优于其它显著性检测算法。本发明设计合理，利用低级特征和高级特征构建重启性随机行走的框架，获得了与人眼注意机制高度相符的显著性检测结果。

Description

基于图的协同低高级特征的视频显著性检测方法
技术领域
本发明属于视频检测技术领域，尤其是一种基于图的协同低高级特征的视频显著性检测方法
背景技术
人类视觉注意机制是指人类在观察周围场景时会将注意力集中在一个或者几个比较显著的区域，而忽略其他相对不显著的区域，这样人类可以将有限的资源优先应用到最有价值的那部分信息上。视觉显著性检测模型的研究是受人类视觉注意机制的启发，通过建立模型模拟来仿真人类视觉机理，达到快速有效地检测视频或图像中人眼感兴趣关注点的目的。现有的显著性检测模型可分为显著物体检测模型和预测人眼关注点模型。研究者们将视觉注意模型又分为自底向上的视觉注意模型和自顶向下的视觉注意模型。本发明旨在建立一个自底向上的预测人眼关注点的模型。
自底向下视觉注意模型的显著性检测模型大多是基于中心邻域对比原则的。Itti等人(N.E.Itti L,Koch C.A model of saliency-based visual attention for rapidscene analysis[C]//Pattern Analysis and Machine Intelligence,1998IEEETransactions on,1254–1259.)提出基于中心-邻域环绕算子的显著性模型，其利用输入图像的亮度，颜色，方向等特征计算局部对比作为显著性值。Bruce等人(N.D.Bruce andJ.K.Tsotsos,“Saliency,attention,and visual search:An information theoreticapproach,”Journal of Vision,vol.9,no.3,p.5,2009.)提出基于香农信息论的局部特征自信息建模的方法。Gorferman等人(S.Goferman,L.Zelnik-Manor,and A.Tal,“Context-aware saliency detection,”Pattern Analysis and Machine Intelligence,IEEETransactions on,vol.34,no.10,pp.1915–1926,2012.)结合局部特征和全局特征进行显著性检测。但是基于对比的显著性检测方法通常会突出显著性区域的边缘，而不是整个显著性区域。Harel等人(J.Harel,C.Koch,and P.Perona,“Graph-based visual saliency,”in Advances in neural information processing systems,2006,pp.545–552.)提出了基于马尔科夫链的视觉显著性模型，保留了更多显著性区域的信息。Jiang等人(B.Jiang,L.Zhang,H.Lu,C.Yang,and M.-H.Yang,“Saliency detection via absorbing markovchain,”in Computer Vision(ICCV),2013 IEEE International Conference on.IEEE,2013,pp.1665–1672.)利用吸收马尔科夫链的性质计算转移结点被边界吸收结点被吸收的概率作为显著性值。然而，上述提到的显著性检测模型都是只利用了空域特征的图像显著性检测模型，不能很好地应用到视频显著性检测中。针对传统显著性检测算法的不足，Kim等人(H.Kim,Y.Kim,J.-Y.Sim,and C.-S.Kim,“Spatiotemporal saliency detection forvideo sequences based on random walk with restart,”2015.)提出了一种基于重启型随机游走的视频显著性检测模型，该模型综合了视频的空域特征和时域特征进行显著性检测，但是检测结果对于复杂背景下的视频较为敏感，并且这一模型的是基于像素计算的，时间复杂度很高。通过以上分析，全局考虑视觉特征，提高检测准确度，有效抑制背景噪声，降低时间复杂度是视频显著性检测中迫切需要解决的问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种设计合理、检测结果背景噪声低，时间复杂度低的能准确预测人眼关注点的基图的协同低高级特征的视频显著性检测方法。
本发明解决现有的技术问题是采取以下技术方案实现的：
一种基于图的协同低高级特征的视频显著性检测方法，包括以下步骤：
步骤1、将输入视频帧分割成超像素，在超像素分割的基础上，为每一视频帧构建图；
步骤2、提取时域特征和空域特征作为低级特征，利用从视频YUV文件中提取的空域特征获得空域转移概率矩阵，利用从压缩码流中提取的运动矢量获得一致性运动和突发性运动作为时域特征，基于随机游走模型获得时域重启概率分布矩阵；
步骤3、利用背景先验作为高级特征，基于背景先验，利用马尔科夫吸收链获得基于背景先验的显著图；
步骤4、依据人眼视觉特征，将基于背景先验的显著图作为一个重要的重启概率分布矩阵，修正以时域显著图作为重启矩阵，以空域特征构建空域转移概率矩阵的重启型随机游走模型，基于修正的重启型随机游走模型计算显著性值。
而且，所述步骤1将输入视频帧分割成超像素，在超像素分割的基础上，为每一视频帧构建图：使用SLIC算法将视频的每一帧分割成N个超像素，为每一帧构建一个图G(V,E)，其中v∈V,e∈E，以超像素点作为节点，以超像素块之间的特征对比度作为节点间边的权重。
而且，所述的提取时域特征和空域特征作为低级特征，利用从视频YUV文件中提取的空域特征获得空域转移概率矩阵，利用从压缩码流中提取的运动矢量获得一致性运动和突发性运动作为时域特征，基于随机游走模型获得时域重启概率分布矩阵包含以下步骤：
(1)、从视频序列的YUV文件中提取YUV特征，Y是亮度分量，U,V是色度分量；Y,U,V作为空域特征用于获得空域转移概率，转移概率作为图模型的边界Ei,j，计算公式如下：
Figure GDA0002380411070000031
其中，wspatial(i,j)表示超像素i和超像素j之间的权重，||*||表示特征之间的对比度，Fi和Fj分别表示超像素i和超像素j特征值的平均值；dij为超像素i和超像素j之间的欧氏距离，
Figure GDA0002380411070000032
视频序列的分辨率为H*W；
(2)、将求得的wspatial(i,j)组成N*N的空域转移矩阵Wspatial，
Wspatial(j,i)＝wspatial(i,j)
对角矩阵D是各行所有边界权重的和，即D＝diag(∑jwspatial(i,j))，则空域转移矩阵Pspatial由下式计算得到：
Pspatial＝WspatialD-1
(3)、从H.264压缩比特流中提取运动矢量作为运动特征，运动矢量是一个二维的矢量，表示为
Figure GDA0002380411070000033
这里
Figure GDA0002380411070000034
为了获得更准确的时域显著检测结果，定义两种运动特征，分别为突发性运动和一致性运动，以视频中第t帧为例说明两种运动，突发性运动是不考虑人眼视觉特性，只考虑压缩码流中表示的发生在视频当前帧t帧的运动，它的值直接取当前帧的运动矢量，即
Figure GDA0002380411070000041
一致性运动是考虑了人眼视觉特征，由于人眼的视觉暂留机制，人眼关注的运动区域会受到先前帧的影响，表示在当前帧的前几帧中也出现的运动，它的值由前几帧的运动矢量和上一帧的时空域显著值的和求得，即
Figure GDA0002380411070000042
时域特征结合突发性运动和一致性运动求得，
Figure GDA0002380411070000043
获得运动特征后，其作为时域特征用于获得时域转移概率，转移概率作为图模型的边界Ei,j，计算公式如下：
Figure GDA0002380411070000044
其中，wmotion(i,j)表示超像素i和超像素j之间的权重，||*||表示特征之间的对比度，Mi和Mj分别表示超像素i和超像素j特征值的平均值；dij为超像素i和超像素j之间的欧氏距离，
Figure GDA0002380411070000045
视频序列的分辨率为H*W；
(4)、将求得的wmotion(i,j)组成N*N的空域转移矩阵Wmotion，
Wmotion(j,i)＝wmotion(i,j)
对角矩阵D是各行所有边界权重的和，即D＝diag(∑jwmotion(i,j))，则空域转移矩阵Pmotion由下式计算得到：
Pmotion＝WmotionD-1
根据获得的空域转移矩阵Pmotion，利用随机游走模型获得空域平衡分布；随机游走模型可以模拟人眼视觉神经元相互沟通的特点，随机游走者的运动满足马尔科夫链的性质，一个遍历的马尔科夫链从任意状态出发，在经过一段时间后会到达一个平衡状态，该状态的分布成为平稳分布；时域平衡分布依据运动特征对比度构造的随机游走模型的转移概率矩阵经迭代计算获得，公式如下所示：
πtemporal＝Pmotionπtemporal
最后，对πtemporal归进行一化获得时域显著图Stemporal。
而且，所述步骤3：利用背景先验作为高级特征，基于背景先验，利用马尔科夫吸收链获得基于背景先验的显著图包含以下步骤：
(1)、假设图像的边界为背景，显著目标很少占据图像的边缘；对于视频中的一帧，用图像边界作为背景吸收结点在构建的图G(V,E)上构建一条吸收马尔科夫链，超像素节点i和超像素节点j之间的权重定义为
Figure GDA0002380411070000051
式中，||*||表示特征之间的对比度，Fi和Fj分别表示超像素i和超像素j空域特征值的平均值；σ是一个常数，取σ2为0.05，节点之间权重越大，表示节点之间连接越紧密，权重越小，表示节点几乎不连接；
(2)、每个转移状态的显著值被定义为吸收链从该状态出发，被吸收进所有吸收结点之前，停留在所有转移状态的期望数目的时间；我们给节点重新排列，使得转移结点在吸收节点之前，然后定义一个关联矩阵A＝(aij)，表示节点之间的相关性，aij表示转移结点i和吸收节点j间的权重值；
吸收马尔科夫链的概率转移矩阵被定义为
Figure GDA0002380411070000052
其中，Q＝WabsorbingD-1,R＝AD-1，对角矩阵D是各行所有边界权重的和，即D＝diag(∑jw(i,j))，I为单位矩阵；由Pabsorbing可得到基础矩阵N,
N＝(I-Q)-1＝I+Q+Q2+...
基础矩阵N中的元素nij表示从转移节点Si开始到转移节点Sj的期望时间；
(3)、对于马尔科夫链中的每一个转移节点，最终都会被吸收节点吸收，通过基础矩阵，可以得到每个转移节点被吸收到每个吸收节点的吸收概率:
B＝N×R
其中，Bij表示转移节点i被吸收到吸收节点j的吸收概率，并且，B的每一行求和等于1，对于马尔科夫链中的每个转移节点，吸收概率表示了转移节点和吸收节点之间的关系；
(4)、最后，基于背景先验的每一个超像素节点的显著值通过下式计算得到：
Figure GDA0002380411070000061
式中，
Figure GDA0002380411070000062
表示超像素点i和背景之间的差异；吸收概率值以降序排列后选择前80％获得bs(i)以消除一些异常的背景结点对显著结果的影响，提高了检测的准确度；(xc，yc)是输入图像的中心超像素点的坐标，(xi，yi)是超像素点i的坐标，σx和σy分别取值为H/6和W/6。
而且，所述步骤4：依据人眼视觉特征，将基于背景先验的显著图作为一个重要的重启概率分布矩阵，修正以时域显著图作为重启矩阵，以空域特征构建空域转移概率矩阵的重启型随机游走模型，基于修正的重启型随机游走模型计算显著性值；最终的时空显著图分布π由重启型随机游走模型计算得到，该模型可表示为：
π＝(1-ρ1-ρ2)Pspatialπ+ρ1r1+ρ2r2
其中，π表示最终的时空显著图分布，r1表示时域显著分布，r2表示基于背景先验的显著分布，Pspatial表示空域转移矩阵；1-ρ1-ρ2表示返回概率；最终的显著图S由时空显著图分布π归一化得到，公式为：
Figure GDA0002380411070000063
本发明的优点和积极效果是：
本发明设计合理，其利用重启型随机游走模型可以有效模拟人眼视觉神经元相互沟通的特点，综合考虑包括时空域信息的低级特征和背景先验的高级特征，根据压缩码流中提取的运动矢量获得突发性运动和一致性运动作为运动特征，以运动特征对比度构造的随机游走模型的转移概率矩阵经迭代计算获得时域显著性图，进而获得时域重启矩阵；根据人眼视觉特性，将图像边界大多为边界这一高级先验知识考虑在内，利用马尔科夫链获得基于背景先验的重启转移矩阵，利用修正的重启型随机游走模型综合考虑时空域特征和背景先验很好地抑制了背景噪声，准确预测人眼关注点。同时，该方法以超像素为基本处理单元，有效地降低了时间复杂度，同时，本发明具有良好的鲁棒性以及较强的可扩展性。
附图说明
图1是实验结果对比图，包括不同序列使用不同显著性检测方法获得的显著性图。
图2是不同算法所获得的显著性图的ROC曲线对比图。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种基于图的协同低高级特征的视频显著性检测方法，包含以下步骤：
步骤1、将输入视频帧分割成超像素，在超像素分割的基础上，为每一视频帧构建图包含以下步骤：
(1)、使用SLIC算法将视频的每一帧分割成N(N＝250)个超像素，以超像素点作为节点，为每一帧构建一个图G(V,E)，其中v∈V,e∈E，以超像素作为显著性检测的基本单元以降低计算复杂度；
(2)、根据像素块之间的特征的对比度确定边的权重，构建图模型，在建立的图模型上用重启型随机游走模型模拟人眼在视频上的运动，通过计算随机游走者在每个结点停留的概率确定显著性值，从而达到预测人眼关注点的目的。
步骤2、提取时域特征和空域特征作为低级特征，利用从视频YUV文件中提取的空域特征获得空域转移概率矩阵，利用从压缩码流中提取的运动矢量获得一致性运动和突发性运动作为时域特征，基于随机游走模型获得时域重启概率分布矩阵包含以下步骤：
(1)、从视频序列的YUV文件中提取YUV特征，Y是亮度分量，U,V是色度分量。Y,U,V作为空域特征用于获得空域转移概率，转移概率作为图模型的边界Ei,j，计算公式如下：
Figure GDA0002380411070000081
其中，wspatial(i,j)表示超像素i和超像素j之间的权重，||*||表示特征之间的对比度，Fi和Fj分别表示超像素i和超像素j特征值的平均值；dij为超像素i和超像素j之间的欧氏距离，
Figure GDA0002380411070000082
视频序列的分辨率为H*W；
(2)、将求得的wspatial(i,j)组成N*N的空域转移矩阵Wspatial，
Wspatial(j,i)＝wspatial(i,j)
对角矩阵D是各行所有边界权重的和，即D＝diag(∑jwspatial(i,j))，则空域转移矩阵Pspatial由下式计算得到：
Pspatial＝WspatialD-1
(3)、从H.264压缩比特流中提取运动矢量作为运动特征，运动矢量是一个二维的矢量，表示为
Figure GDA0002380411070000083
这里
Figure GDA0002380411070000084
为了获得更准确的时域显著检测结果，本发明中定义两种运动特征，分别为突发性运动和一致性运动。以视频中第t帧为例说明两种运动，突发性运动是不考虑人眼视觉特性，只考虑压缩码流中表示的发生在视频当前帧t帧的运动，它的值直接取当前帧的运动矢量，即
Figure GDA0002380411070000085
一致性运动是考虑了人眼视觉特征，由于人眼的视觉暂留机制，人眼关注的运动区域会受到先前帧的影响，表示在当前帧的前几帧中也出现的运动，它的值由前几帧的运动矢量和上一帧的时空域显著值的和求得，即
Figure GDA0002380411070000086
时域特征结合突发性运动和一致性运动求得，
Figure GDA0002380411070000091
获得运动特征后，其作为时域特征用于获得时域转移概率，转移概率作为图模型的边界Ei,j，计算公式如下：
Figure GDA0002380411070000092
其中，wmotion(i,j)表示超像素i和超像素j之间的权重，||*||表示特征之间的对比度，Mi和Mj分别表示超像素i和超像素j特征值的平均值；dij为超像素i和超像素j之间的欧氏距离，
Figure GDA0002380411070000093
视频序列的分辨率为H*W；
(4)、将求得的wmotion(i,j)组成N*N的空域转移矩阵Wmotion，
Wmotion(j,i)＝wmotion(i,j)
对角矩阵D是各行所有边界权重的和，即D＝diag(∑jwmotion(i,j))，则空域转移矩阵Pmotion由下式计算得到：
Pmotion＝WmotionD-1
根据获得的空域转移矩阵Pmotion，利用随机游走模型获得空域平衡分布。随机游走模型可以有效模拟人眼视觉神经元相互沟通的特点，随机游走者的运动满足马尔科夫链的性质，马尔科夫链状态在随机游走时仅取决于系统当前所处的状态和转移概率，如果一个马尔科夫链可以从任意一个状态经过若干次转移后到达另一个状态，则称这种马尔科夫链是遍历的。一个遍历的马尔科夫链从任意状态出发，在经过一定的时间后会到达一个平衡状态，该状态的分布称为平稳分布。基于此，时域平衡分布πtemporal依据运动特征对比度构造的随机游走模型的转移概率矩阵经迭代计算获得，公式如下所示：
πtemporal＝Pmotionπtemporal
最后，对πtemporal归进行一化获得时域显著图Stemporal。
步骤3、利用背景先验作为高级特征，基于背景先验，利用马尔科夫吸收链获得基于背景先验的显著图，具体包含以下步骤：
(1)、假设图像的边界为背景，显著目标很少占据图像的边缘。对于视频中的一帧，用图像边界作为背景吸收结点在构建的图G(V,E)上构建一条吸收马尔科夫链，超像素节点i和超像素节点j之间的权重定义为
Figure GDA0002380411070000101
式中，||*||表示特征之间的对比度，Fi和Fj分别表示超像素i和超像素j空域特征值的平均值；σ是一个常数，取σ2为0.05，节点之间权重越大，表示节点之间连接越紧密，权重越小，表示节点几乎不连接。
(2)、每个转移状态的显著值被定义为吸收链从该状态出发，被吸收进所有吸收结点之前，停留在所有转移状态的期望数目的时间。我们给节点重新排列，使得转移结点在吸收节点之前，然后定义一个关联矩阵A＝(aij)，表示节点之间的相关性，aij表示转移结点i和吸收节点间的权重值。
吸收马尔科夫链的概率转移矩阵被定义为
Figure GDA0002380411070000102
其中，Q＝WabsorbingD-1,R＝AD-1，对角矩阵D是各行所有边界权重的和，即D＝diag(∑jw(i,j))，I为单位矩阵。由Pabsorbing可得到基础矩阵N,
N＝(I-Q)-1＝I+Q+Q2+...
基础矩阵N中的元素nij表示从转移节点Si开始到转移节点Sj的期望时间。
(3)、对于马尔科夫链中的每一个转移节点，最终都会被吸收节点吸收，通过基础矩阵，可以得到每个转移节点被吸收到每个吸收节点的吸收概率:
B＝N×R
其中，Bij表示转移节点i被吸收到吸收节点j的吸收概率，并且，B的每一行求和等于1；对于马尔科夫链中的每个转移节点，吸收概率表示了转移节点和吸收节点之间的关系。
(4)、最后，基于背景先验的每一个超像素节点的显著值通过下式计算得到：
Figure GDA0002380411070000111
式中，
Figure GDA0002380411070000112
表示超像素点i和背景之间的差异。吸收概率值以降序排列后选择前80％获得bs(i)以消除一些异常的背景结点对显著结果的影响，提高了检测的准确度；(xc，yc)是输入图像的中心超像素点的坐标，(xi，yi)是超像素点i的坐标，σx和σy分别取值为H/6和W/6。
步骤4、依据人眼视觉特征，将基于背景先验的显著图作为一个重要的重启概率分布矩阵，修正以时域显著图作为重启矩阵，以空域特征构建空域转移概率矩阵的重启型随机游走模型，基于修正的重启型随机游走模型计算显著性值。最终的时空显著图分布π由重启型随机游走模型计算得到，该模型可表示为：
π＝(1-ρ1-ρ2)Pspatialπ+ρ1r1+ρ2r2
其中，π表示最终的时空显著图分布，r1表示时域显著分布，r2表示基于背景先验的显著分布，Pspatial表示空域转移矩阵。1-ρ1-ρ2表示返回概率。最终的显著图S由时空显著图分布π归一化得到，公式为：
Figure GDA0002380411070000113
下面按照本发明的方法进行实验，说明本发明的实验效果。
测试环境：Visual Studio 2013，MATLAB 2013b
测试序列：所选测试序列和其对应标准显著性图(Ground Truth)来自SFU数据库(Hadi Hadizadeh,Mario J Enriquez,and Ivan V Bajic,“Eye-tracking database fora set of standard video sequences,”Image Processing,IEEE Transactions on,vol.21,no.2,pp.898–903,2012.)和CRCNS数据库(L.Itti and P.Baldi,“A principledapproach to detecting surprising events in video,”in Computer Vision andPattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on,vol.1.IEEE,2005,pp.631–637)，其中包含的序列如下：
表一测试序列1(SFU数据库)
序列名 帧数/帧率/分辨率 序列名 帧数/帧率/分辨率
Foreman 300/30/ Soccer 300/30/
Bus 150/30/ Stefan 90/30/
City 300/30/ Mobile 300/30/
Crew 300/30/ Harbour 300/30/
Garden 250/30/ Hall 300/30/
Mother 300/30/ Tempete 260/30/
表二测试序列2(CRCNS数据库)
序列名 帧数/帧率/分辨率 序列名 帧数/帧率/分辨率
beverly01 300/30/ beverly03 300/30/
gamecube02 300/30/ gamecube04 300/30/
gamecube06 300/30/ gamecube13 300/30/
gamecube18 300/30/ gamecube23 300/30/
mtvclip01 300/30/ mtvclip05 300/30/
mtvclip06 300/30/ mtvclip07 300/30/
mtvclip08 300/30/ mtvclip09 300/30/
测试指标：
(1)、本文使用了两种评价指标，分别为AUC和sAUC，其中AUC为ROC曲线下覆盖的面积。ROC曲线是TPR随FPR变化的曲线，其中TPR表示将groundtruth中显著性点检测为显著性点的比例，FPR表示将非显著性点检测为显著性点的比例，AUC值越大，表示视频显著性检测模型越好；
(2)、由于一些模型广泛使用中心偏置的原则，导致实验结果对数据库的依赖性非常强。sAUC即一种为了消除中心偏置而提出的评价指标(D.Parkhurst,K.Law,andE.Niebur,“Modeling the role of salience in the allocation of overt visualattention,”Vision research,vol.42,no.1,pp.107–123,2002)，该指标的计算采用非均匀的方式选择非显著点，从而消除中心偏置的影响。
比较方法：本发明与现存的几种显著性检测算法进行对比，有GBVS(J.Harel,C.Koch,and P.Perona,“Graph-based visual saliency,”in Advances in neuralinformation processing systems,2006,pp.545–552.)，AIM(N.D.Bruce andJ.K.Tsotsos,“Saliency,attention,and visual search:An information theoreticapproach,”Journal of Vision,vol.9,no.3,p.5,2009.)，CA(S.Goferman,L.Zelnik-Manor,and A.Tal,“Context-aware saliency detection,”Pattern Analysis andMachine Intelligence,IEEE Transactions on,vol.34,no.10,pp.1915–1926,2012.)，AMC(B.Jiang,L.Zhang,H.Lu,C.Yang,and M.-H.Yang,“Saliency detection viaabsorbing markov chain,”in Computer Vision(ICCV),2013IEEE InternationalConference on.IEEE,2013,pp.1665–1672.)，RWR(H.Kim,Y.Kim,J.-Y.Sim,and C.-S.Kim,“Spatiotemporal saliency detection for video sequences based on random walkwith restart,”2015.)。
测试结果如下：
表三GBVS，CA，AIM，RWR，AMC方法以及本文算法的平均测试结果
方法 AUC sAUC 平均计算时间
GBVS 0.832 0.618 3.92s
AIM 0.675 0.579 16.44s
CA 0.735 0.634 67.32s
AMC 0.818 0.565 1.58s
RWR 0.707 0.559 14.94s
本文算法 0.873 0.666 3.92s
表三是对SFU和CRCNS中所有视频测试的平均结果，可以看出本文方法在AUC和sAUC分数上相比其他方法均有明显提高，这说明本文方法所产生的显著性图可以更好的预测人眼关注点。另外，ROC曲线如图二所示，本文算法计算获得的曲线相比其他算法的曲线更靠近左上，说明本文的显著性检测算法不仅更正确的预测了显著性区域，同时能够有效降低背景噪声。另外，由于采用了超像素分割，本文算法所用的平均计算时间大大降低，算法的效率比其他算法更高。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (4)

1.基于图的协同低高级特征的视频显著性检测方法，其特征在于，包括以下步骤：
步骤1、将输入视频帧分割成超像素，在超像素分割的基础上，为每一视频帧构建图；
步骤2、提取时域特征和空域特征作为低级特征，利用从视频YUV文件中提取的空域特征获得空域转移概率矩阵，利用从压缩码流中提取的运动矢量获得一致性运动和突发性运动作为时域特征，基于随机游走模型获得时域重启概率分布矩阵；
步骤3、利用背景先验作为高级特征，基于背景先验，利用马尔科夫吸收链获得基于背景先验的显著图；
步骤4、依据人眼视觉特征，将基于背景先验的显著图作为一个重要的重启概率分布矩阵，修正以时域显著图作为重启矩阵，以空域特征构建空域转移概率矩阵的重启型随机游走模型，基于修正的重启型随机游走模型计算显著性值。
2.根据权利要求1所述的基于图的协同低高级特征的视频显著性检测方法，其特征在于：所述步骤1将输入视频帧分割成超像素，在超像素分割的基础上，为每一视频帧构建图：使用SLIC算法将视频的每一帧分割成N个超像素，为每一帧构建一个图G(V,E)，以超像素点作为节点，以超像素块之间的特征对比度作为节点间边的权重。
3.根据权利要求1所述的基于图的协同低高级特征的视频显著性检测方法，其特征在于：所述的提取时域特征和空域特征作为低级特征，利用从视频YUV文件中提取的空域特征获得空域转移概率矩阵，利用从压缩码流中提取的运动矢量获得一致性运动和突发性运动作为时域特征，基于随机游走模型获得时域重启概率分布矩阵包含以下步骤：
(1)、从视频序列的YUV文件中提取YUV特征，Y是亮度分量，U,V是色度分量；Y,U,V作为空域特征用于获得空域转移概率，转移概率作为图模型的边界Ei,j，计算公式如下：
Figure FDA0002587615320000011
其中，wspatial(i,j)表示超像素i和超像素j之间的权重，||*||表示特征之间的对比度，Fi和Fj分别表示超像素i和超像素j特征值的平均值；dij为超像素i和超像素j之间的欧氏距离，
Figure FDA0002587615320000021
视频序列的分辨率为H*W；
(2)、将求得的wspatial(i,j)组成N*N的空域转移矩阵Wspatial，
Wspatial(j,i)＝wspatial(i,j)
对角矩阵D是各行所有边界权重的和，即D＝diag(∑jwspatial(i,j))，则空域转移矩阵Pspatial由下式计算得到：
Pspatial＝WspatialD-1
(3)、从H.264压缩比特流中提取运动矢量作为运动特征，运动矢量是一个二维的矢量，表示为
Figure FDA0002587615320000022
这里
Figure FDA0002587615320000023
为了获得更准确的时域显著检测结果，定义两种运动特征，分别为突发性运动和一致性运动，以视频中第t帧为例说明两种运动，突发性运动是不考虑人眼视觉特性，只考虑压缩码流中表示的发生在视频当前帧t帧的运动，它的值直接取当前帧的运动矢量，即
Figure FDA0002587615320000024
一致性运动是考虑了人眼视觉特征，由于人眼的视觉暂留机制，人眼关注的运动区域会受到先前帧的影响，表示在当前帧的前几帧中也出现的运动，它的值由前几帧的运动矢量和上一帧的时空域显著值的和求得，即
Figure FDA0002587615320000025
时域特征结合突发性运动和一致性运动求得，
Figure FDA0002587615320000026
获得运动特征后，其作为时域特征用于获得时域转移概率，转移概率作为图模型的边界Ei,j，计算公式如下：
Figure FDA0002587615320000027
其中，wmotion(i,j)表示超像素i和超像素j之间的权重，||*||表示特征之间的对比度，Mi和Mj分别表示超像素i和超像素j特征值的平均值；dij为超像素i和超像素j之间的欧氏距离，
Figure FDA0002587615320000031
视频序列的分辨率为H*W；
(4)、将求得的wmotion(i,j)组成N*N的空域转移矩阵Wmotion，
Wmotion(j,i)＝wmotion(i,j)
对角矩阵D是各行所有边界权重的和，即D＝diag(∑jwmotion(i,j))，则空域转移矩阵Pmotion由下式计算得到：
Pmotion＝WmotionD-1
根据获得的空域转移矩阵Pmotion，利用随机游走模型获得空域平衡分布；随机游走模型可以模拟人眼视觉神经元相互沟通的特点，随机游走者的运动满足马尔科夫链的性质，一个遍历的马尔科夫链从任意状态出发，在经过一段时间后会到达一个平衡状态，该状态的分布成为平稳分布；时域平衡分布依据运动特征对比度构造的随机游走模型的转移概率矩阵经迭代计算获得，公式如下所示：
πtemporal＝Pmotionπtemporal
最后，对πtemporal归进行一化获得时域显著图Stemporal。
4.根据权利要求1所述的基于图的协同低高级特征的视频显著性检测方法，其特征在于：所述步骤4：依据人眼视觉特征，将基于背景先验的显著图作为一个重要的重启概率分布矩阵，修正以时域显著图作为重启矩阵，以空域特征构建空域转移概率矩阵的重启型随机游走模型，基于修正的重启型随机游走模型计算显著性值；最终的时空显著图分布π由重启型随机游走模型计算得到，该模型可表示为：
π＝(1-ρ1-ρ2)Pspatialπ+ρ1r1+ρ2r2
其中，π表示最终的时空显著图分布，r1表示时域显著分布，r2表示基于背景先验的显著分布，Pspatial表示空域转移矩阵；1-ρ1-ρ2表示返回概率；最终的显著图S由时空显著图分布π归一化得到，公式为：
Figure FDA0002587615320000041
CN201510799543.9A 2015-11-19 2015-11-19 基于图的协同低高级特征的视频显著性检测方法 Expired - Fee Related CN105491370B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510799543.9A CN105491370B (zh) 2015-11-19 2015-11-19 基于图的协同低高级特征的视频显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510799543.9A CN105491370B (zh) 2015-11-19 2015-11-19 基于图的协同低高级特征的视频显著性检测方法

Publications (2)

Publication Number Publication Date
CN105491370A CN105491370A (zh) 2016-04-13
CN105491370B true CN105491370B (zh) 2020-09-22

Family

ID=55678044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510799543.9A Expired - Fee Related CN105491370B (zh) 2015-11-19 2015-11-19 基于图的协同低高级特征的视频显著性检测方法

Country Status (1)

Country Link
CN (1) CN105491370B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767400B (zh) * 2017-06-23 2021-07-20 北京理工大学 基于层次化显著性分析的遥感图像序列动目标检测方法
US10037610B1 (en) * 2017-10-03 2018-07-31 StradVision, Inc. Method for tracking and segmenting a target object in an image using Markov Chain, and device using the same
CN109191485B (zh) * 2018-08-29 2020-05-22 西安交通大学 一种基于多层超图模型的多视频目标协同分割方法
CN111310768B (zh) * 2020-01-20 2023-04-18 安徽大学 基于鲁棒性背景先验和全局信息的显著性目标检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477633A (zh) * 2009-01-21 2009-07-08 北京大学 自动估计图像和视频的视觉显著度的方法
JP2011039778A (ja) * 2009-08-11 2011-02-24 Nippon Hoso Kyokai <Nhk> 動画像コンテンツ評価装置およびコンピュータプログラム
CN102831621A (zh) * 2012-08-09 2012-12-19 西北工业大学 一种基于频谱分析的视频显著性处理方法
CN103747240A (zh) * 2013-12-25 2014-04-23 浙江大学 融合颜色和运动信息的视觉显著性滤波方法
CN104680546A (zh) * 2015-03-12 2015-06-03 安徽大学 一种图像显著目标检测方法
CN104869421A (zh) * 2015-06-04 2015-08-26 北京牡丹电子集团有限责任公司数字电视技术中心 基于全局运动估计的视频显著性检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477633A (zh) * 2009-01-21 2009-07-08 北京大学 自动估计图像和视频的视觉显著度的方法
JP2011039778A (ja) * 2009-08-11 2011-02-24 Nippon Hoso Kyokai <Nhk> 動画像コンテンツ評価装置およびコンピュータプログラム
CN102831621A (zh) * 2012-08-09 2012-12-19 西北工业大学 一种基于频谱分析的视频显著性处理方法
CN103747240A (zh) * 2013-12-25 2014-04-23 浙江大学 融合颜色和运动信息的视觉显著性滤波方法
CN104680546A (zh) * 2015-03-12 2015-06-03 安徽大学 一种图像显著目标检测方法
CN104869421A (zh) * 2015-06-04 2015-08-26 北京牡丹电子集团有限责任公司数字电视技术中心 基于全局运动估计的视频显著性检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Saliency Detection via Absorbing Markov Chain;Bowen Jiang，et al.;《2013 IEEE International Conference on Computer Vision》;20131208;全文 *
SLIC Superpixels Compared;R.Achanta，et al.;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20121111;全文 *

Also Published As

Publication number Publication date
CN105491370A (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
Oneata et al. Spatio-temporal object detection proposals
Hoiem et al. Geometric context from a single image
CN107481279B (zh) 一种单目视频深度图计算方法
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN109544592B (zh) 针对相机移动的运动目标检测算法
CN105491370B (zh) 基于图的协同低高级特征的视频显著性检测方法
CN104391879B (zh) 层次聚类的方法及装置
JP2014164656A (ja) 画像処理方法およびプログラム
CN112232134A (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
Diaz et al. Detecting dynamic objects with multi-view background subtraction
Wang et al. Video anomaly detection method based on future frame prediction and attention mechanism
Guo et al. Video object extraction based on spatiotemporal consistency saliency detection
CN113591545B (zh) 一种基于深度学习的多级特征提取网络行人再识别方法
Gao et al. Occluded person re-identification based on feature fusion and sparse reconstruction
CN115115847B (zh) 三维稀疏重建方法、装置及电子装置
Wang et al. Virtual reality scene construction based on multimodal video scene segmentation algorithm
Wei et al. Graph-theoretic spatiotemporal context modeling for video saliency detection
Geng et al. A novel color image segmentation algorithm based on JSEG and Normalized Cuts
CN110751034B (zh) 行人行为识别方法及终端设备
Yu et al. Modeling clutter perception using parametric proto-object partitioning
Mao Real-time small-size pixel target perception algorithm based on embedded system for smart city
Luo et al. Real-time pedestrian detection method based on improved YOLOv3
Zhang et al. Integral channel features for particle filter based object tracking
Gonzalez-Huitron et al. Jaccard distance as similarity measure for disparity map estimation
CN106093940A (zh) 合成孔径雷达图像序列生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200922

Termination date: 20211119