CN105224914A - 一种基于图的无约束视频中显著物体检测方法 - Google Patents

Abstract

本发明公开了一种基于图的无约束视频中显著性检测方法，其具体步骤如下：(1)输入原始视频帧序列，对其中的第；(2)将整个视频帧分割成超像素区域；(3)利用稠密光流法算法，得到中像素点的运动矢量场，分别提取超像素区域级,全局运动直方图；(4)构建无向有权图，分别计算超像素区域到虚拟背景节点的最短路径，将路径中节点之间边的权重进行累加，当作超像素区域的运动显著性值，生成当前帧的运动显著性图，并且根据二值化后的显著性图，重新估计背景的运动直方图，更新超像素区域的显著性值；该发明基于图的方法并且进行迭代估计背景的运动的进行显著性检测，能够更准确、完整地检测视频中的显著对象。

Description

一种基于图的无约束视频中显著物体检测方法

技术领域

本发明涉及图像，视频处理技术领域，具体地说是涉及一种基于图的无约束视频中显著物体检测方法。

背景技术

人类的视觉系统能够从复杂的环境中快速准确地定位人眼感兴趣的区域，并做出相应的反应，而在计算机视觉研究领域，通过模拟人眼的视觉注意机制，从数字图像/视频中准确地提取关键区域，是视觉显著性模型研究的重要内容。根据心理学以及人类视觉的研究，在大多数情况下，人眼在观察一幅图像时，不会在整个图像上平均分配注意力，而是会将注意力集中在图像中的某个对象。显著性检测的目的是提取出图像/视频中最吸引人注意的显著部分，并利用一张灰度图(即，显著性图)来表示各个像素点的显著程度。显著性检测广泛用于基于内容的图像/视频缩放，图像/视频编码，图像/视频分割。Huang等人在2014年8月出版的CircuitsandSystemsforVideoTechnology期刊上发表的“通过消除全局相机运动进行视频显著性检测”方法，通过提取视频帧内的特征点，在多帧图像中进行特征点的跟踪，形成特征点轨迹，利用速度，加速度描述的特点，同时利用支持向量机(SVM)对轨迹进行分类，得到显著性的轨迹，然后将轨迹的显著性值扩散到点的周围，最终得到视频的运动显著性图；该方法设计的点轨迹模型，容易受到视频本身质量的影响，同是对于快速运动的物体，无法做到特征点的准确匹配，做到后续步骤失效，生成错误的显著性图。Huang等人在2014年9月出版的CircuitsandSystemsforVideoTechnology期刊上发表的“基于超像素的时空显著性检测”方法，通过分别计算得到空域显著性图，时域显著性图，通过自适合的融合方法，生成时空显著性图，该方法的具体步骤如下：

(1)将视频帧分割成超像素区域，提取超像素区域级的，全局的运动直方图，以及像素区域级的，全局的颜色直方图；

(2)根据步骤(1)中得到的运动直方图，分别计算每个超像素区域与全局运动直方图运动差异，利用前后帧的相关性，进行时域显著性的预测与调整，得到超像素级时域显著性图；

(3)根据步骤(1)中得到的颜色直方图，分别计算每个超像素区域与全局颜色直方图颜色差异，得到颜色全局对比度图，颜色空间稀疏性图，将两者相乘得到，超像素级空域显著性图；

(4)分别将步骤(3)，步骤(4)得到的超像素级时域，空域显著性进行细化，得到像素级的时域，空域显著性图。

(5)根据时域，空域显著性图的相互一致性特征，自适合地将两者进行线性融合，得到最终的时空显著性图。

但是上述方法存在的不足是，两种方法模型的对运动复杂的视频不具有鲁棒性，能造成误检测。综上所述，现有的视频显著对象的检测方法，不能准确、完整地提取无约束的视频序列中的显著性图，这影响了视频显著性模型的广泛应用。

发明内容

本发明的目的在于针对已有技术中存在的缺陷，提出一种基于图的无约束视频的显著性检测方法，该方法能够较为准确、完整地检测出无约束视频序列中的显著对象。

为了达到上述目的，本发明采用的技术方案如下：

一种基于图的无约束视频中显著物体检测方法，具体步骤如下：

(1)、输入原始视频帧序列，对其中的第t帧记为F_t；

(2)、利用超像素区域分割方法，将整个视频帧F_t分割成n_t个超像素区域，记为sp_t,i(i＝1,...,n_t)；

(3)、利用稠密光流法算法，得到视频帧F_t的像素点的运动矢量场，对于超像素区域sp_t,i(i＝1,...,n_t)，分别提取超像素区域级的运动直方图，记为同理，提取当前帧全局运动直方图

(4)、构建一个无向有权图G_t＝(V_t，E_t)，分别计算超像素区域到虚拟背景节点B_t的最短路径，将此最短路径中节点之间边的权重进行累加，当作超像素区域的运动显著性值，生成当前帧的运动显著性图，并且根据二值化的运动显著性图，重新估计背景的运动直方图，更新超像素区域的运动显著性值，其中，V_t表示由视频帧内所有的超像素区域sp_t,i(i＝1,...,n_t)抽象成的图节点集合，E_t表示图中节点与节点之间边的集合。

上述步骤(2)中的超像素区域分割方法，具体步骤如下：

(2-1)、对于视频帧F_t，其宽度记为w，长度记为h，设定w×h大小的视频帧F_t要分割的区域个数为： $n_t=\sqrt{w\·h/400};$

(2-2)、利用简单线性迭代聚类算法，即SLIC，根据步骤(2-1)设定的超像素区域个数n_t，最终将视频F_t聚类成n_t个超像素区域。

上述步骤(3)中的提取超像素级的运动直方图的方法，具体步骤如下：

(3-1)、对于视频帧F_t，参照其前一帧F_t-1，利用稠密光流场估计算法LDOF，得到视频帧F_t中每个像素点相对应于前一帧F_t-1的每个像素点运动矢量，把所有的运动矢量保存到w×h的矩阵里，得到视频帧F_t的运动矢量场MVF_t,t-1；

(3-2)、基于视频帧F_t的运动矢量场MVF_t,t-1以及超像素区域sp_t,i(i＝1,...,n_t)，分别提取每个超像素区域的运动直方图，具体为，将运动矢量场的运动方向在[-π,π]范围内均匀地量化成b_M＝8个间隔，分别统计超像素区域内所有像素点的运动矢量场方向在每个间隔出现的频率，得到超像素级的运动直方图最终归一化使得同时，按照计算超像素区域运动直方图的方法，统计视频帧F_t内所有的像素点出现的频率，记为全局运动直方图用于表示视频帧背景区域的运动模式。

上述步骤(4)中的通过构造无向有权图进行显著性计算的方法，具体步骤如下：

(4-1)、图的构建：对于视频帧F_t，其无向有权图记为G_t＝(V_t，E_t)^，其中，V_t表示由视频帧内所有的超像素区域sp_t,i(i＝1,...,n_t)抽象成的图节点集合，E_t表示图中节点与节点之间边的集合，本模型定义了三种类型的边：相邻节点之间构成的边，视频帧四周边界超像素区域之间构成的边，视频帧四周边界超像素区域与虚拟背景节点之间构成的边；

(4-2)、边的权重定义：由于本模型定义了三种类型的边，对于相邻节点之间构成的边，视频帧四周边界超像素区域之间构成的边权重定义为，任意相互连接的超像素区域sp_t,i，sp_t,j的运动直方图之间的卡方距离，其计算公式如下：

${\mathrm{\ω}}_a(v_{t,i},v_{t,j})=\exp \[\mathrm{\λ}\·{\mathrm{\χ}}^2(H_{t,i}^M,H_{t,j}^M)\]---\left(1\right)$

任意与虚拟背景节点B_t相互连接的边界超像素区域sp_t,i的边的权重，其计算公式如下：

${\mathrm{\ω}}_b(v_{t,i},b_t)=\exp \[\mathrm{\λ}\·{\mathrm{\χ}}^2(H_{t,i}^M,H_{t,0}^M)\]---\left(2\right)$

虚拟背景节点的运动信息由全局运动直主图表示，公式(3)，公式(4)中的λ因子设定为0.1；

(4-3)、最短路径的搜索：通过步骤(4-1)和(4-2)构建了无向有权图G_t＝(V_t，E_t)，利用Dijkstra最短路径算法，搜索出每个超像素区域到虚拟背景节点的最短路径，并且将路径上的边的权重进行累加，当作该超像素区域的运动显著性值M_t(i)，运动显著值由公式(5)计算得到，其中，运动显著性值M_t(i)越大，说明超像素区域与虚拟背景节点之间有运动差异越大，超像素区域越显著；

$M_t\left(i\right)=\underset{u_1=v_{t,i},u_2,...,u_{m-1},u_m=B_t}{min}\[\underset{k=1}{\overset{m-2}{\Σ}}{\mathrm{\ω}}_a(u_k,u_{k+1})+{\mathrm{\ω}}_b(u_{m-1},u_m)\]---\left(6\right)$

(4-4)、图结构的迭代调整：为了更加准确地估计出虚拟背景节点的运动直方图，在本模型中，根据前后两次调整过程中变化程度作为迭代终止与否的条件，进下如下的迭代过程：首先，根据当前虚拟背景节点的运动直方图以及图结构，对计算得到的运动显著性图利用自适合的二值化算法OTSU进行二值化分割，去除前景超像素区域，利用步骤(3)中所述的运动直方图估计方法，重新计算得到虚拟背景节点的运动直方图；其次，比较前后两次虚拟背景节点的运动方图的L₁-norm距离，若两者的距离小于0.01则终止迭代过程，当前运动显著性图作为最终结果输出；反之，重复步骤(4-2)，(4-3)，(4-4)。

本发明的基于图的视频的显著性检测方法与现有的技术相比，具有如下优点：

该发明基于图的方法并且进行迭代估计背景的运动的进行显著性检测，能够更准确、完整地检测视频中的显著对象。

附图说明

图1是本发明的基于图的视频的显著性检测方法的流程图。

图2是本发明步骤(1)输入视频序列中的抽取一帧原始图像。

图3是本发明步骤(2)对一帧原始图像进行超像素区域分割后的输出结果。

图4是本发明步骤(3)对一帧原始图像进行光流运动矢量场估计后可视化的输出结果。

图5是本发明步骤(4)构建图时定义的三种边的示意图。

图6是本发明步骤(4)迭代计算视频帧的运动显著性的迭代次数与结果。

具体实施方式

下面结合说明书附图对本发明的实施例作进一步详细说明。

本发明进行的仿真实验是在CPU为3.4GHz、内存为8G的PC测试平台上编程实现。

如图1所示，本发明的基于图的视频的显著性检测方法，其具体步骤如下：

(1)、输入原始视频帧序列，对其中的第t帧记为F_t，如图2所示；

(2)、利用超像素区域分割方法，将整个视频帧F_t分割成n_t个超像素区域，记为sp_t,i(i＝1,...,n_t)；

(2-1)、对于视频帧F_t，其宽度记为w，长度记为h，设定w×h大小的视频帧F_t要分割的区域个数为： $n_t=\sqrt{w\·h/400};$

(2-2)、利用简单线性迭代聚类算法(SLIC)，根据步骤(2-1)设定的超像素区域个数n_t，最终将视频F_t聚类成n_t个超像素区域，如图3所示。

(3)、利用稠密光流法算法，得到视频帧F_t的像素点的运动矢量场，利用图4可视化视频帧F_t的运动矢量场,颜色越艳丽的区域，运动幅值越大。像素区域sp_t,i(i＝1,...,n_t)，分别提取超像素区域级的运动直方图，记为同理，提取当前帧全局运动直方图

(3-1)、对于视频帧F_t，参照其前一帧F_t-1，利用稠密光流场估计算法LDOF，得到视频帧F_t中每个像素点相对应于前一帧F_t-1的每个像素点运动矢量，把所有的运动矢量保存到w×h的矩阵里，得到视频帧F_t的运动矢量场MVF_t,t-1；

(3-2)、基于视频帧F_t的运动矢量场MVF_t,t-1以及超像素区域sp_t,i(i＝1,...,n_t)，分别提取每个超像素区域的运动直方图，具体为，将运动矢量场的运动方向在[-π,π]范围内均匀地量化成b_M＝8个间隔(bin)，分别统计超像素区域内所有像素点的运动矢量场方向在每个间隔(bin)出现的频率，得到超像素级的运动直方图最终归一化使得同时，按照计算超像素区域运动直方图的方法，统计视频帧F_t内所有的像素点出现的频率，记为全局运动直方图用于表示视频帧背景区域的运动模式。

(4)、构建一个无向有权图G_t＝(V_t，E_t)，分别计算超像素区域到虚拟背景节点B_t的最短路径，将此最短路径中节点之间边的权重进行累加，当作超像素区域的运动显著性值，生成当前帧的运动显著性图，并且根据二值化的运动显著性图，重新估计背景的运动直方图，更新超像素区域的运动显著性值；

(4-1)、图的构建。对于视频帧F_t，其无向有权图记为G_t＝(V_t,E_t)，其中，V_t表示由视频帧内所有的超像素区域sp_t,i(i＝1,...,n_t)抽象成的图节点集合，E_t表示图中节点与节点之间边的集合，本模型定义了三种类型的边，如图5所示,相邻节点之间构成的边(图中蓝色线段)，视频帧四周边界超像素区域之间构成的边(图中红色线段)，视频帧四周边界超像素区域与虚拟背景节点之间构成的边(图中绿色线段)；

(4-2)、边的权重定义。由于本模型定义了三种类型的边，对于相邻节点之间构成的边，视频帧四周边界超像素区域之间构成的边权重定义为，任意相互连接的超像素区域sp_t,i，sp_t,j的运动直方图之间的卡方距离，其计算公式如下：

${\mathrm{\ω}}_a(v_{t,i},v_{t,j})=\exp \[\mathrm{\λ}\·{\mathrm{\χ}}^2(H_{t,i}^M,H_{t,j}^M)\]---\left(7\right)$

任意与虚拟背景节点B_t相互连接的边界超像素区域sp_t,i的边的权重，其计算公式如下：

${\mathrm{\ω}}_b(v_{t,i},b_t)=\exp \[\mathrm{\λ}\·{\mathrm{\χ}}^2(H_{t,i}^M,H_{t,0}^M)\]---\left(8\right)$

虚拟背景节点的运动信息由全局运动直主图表示，公式(1)，公式(2)中的λ因子设定为0.1。

(4-3)、最短路径的搜索。通过(4-1)，(4-2)构建了无向有权图G_t＝(V_t,E_t)，利用Dijkstra最短路径算法，搜索出每个超像素区域到虚拟背景节点的最短路径，并且将路径上的边的权重进行累加，当作该超像素区域的运动显著性值M_t(i)，运动显著值由公式(3)计算得到。其中，运动显著性值M_t(i)越大，说明超像素区域与虚拟背景节点之间有运动差异越大，超像素区域越显著。

$M_t\left(i\right)=\underset{u_1=v_{t,i},u_2,...,u_{m-1},u_m=B_t}{min}\[\underset{k=1}{\overset{m-2}{\Σ}}{\mathrm{\ω}}_a(u_k,u_{k+1})+{\mathrm{\ω}}_b(u_{m-1},u_m)\]---\left(9\right)$

(4-4)、图结构的迭代调整。为了更加准确地估计出虚拟背景节点的运动直方图，在本模型中，根据前后两次调整过程中变化程度作为迭代终止与否的条件，进下如下的迭代过程。首先，根据当前虚拟背景节点的运动直方图以及图结构，对计算得到的运动显著性图利用自适合的二值化算法OTSU进行二值化分割，去除前景超像素区域，利用步骤(3)中所述的运动直方图估计方法，重新计算得到虚拟背景节点的运动直方图；其次，比较前后两次虚拟背景节点的运动方图的L₁-norm距离，若两者的距离小于0.01则终止迭代过程，当前运动显著性图作为最终结果输出；反之，重复步骤(4-2)，(4-3)，(4-4)。

从图6仿真实验结果可以看出，本发明的方法利用的基于图方法并且进行迭代估计背景的运动的进行显著性检测，能够不断的调整背景节点的运动信息，并且逐步得到准确，完整的运动显著性图。

Claims (4)

1.一种基于图的无约束视频中显著物体检测方法，其特征在于，具体步骤如下：

(1)、输入原始视频帧序列，对其中的第t帧记为F_t；

(2)、利用超像素区域分割方法，将整个视频帧F_t分割成n_t个超像素区域，记为sp_t,i(i＝1,...,n_t)；

(3)、利用稠密光流法算法，得到视频帧F_t的像素点的运动矢量场，对于超像素区域sp_t,i(i＝1,...,n_t)，分别提取超像素区域级的运动直方图，记为同理，提取当前帧全局运动直方图

(4)、构建一个无向有权图G_t＝(V_t,E_t)，分别计算超像素区域到虚拟背景节点B_t的最短路径，将此最短路径中节点之间边的权重进行累加，当作超像素区域的运动显著性值，生成当前帧的运动显著性图，并且根据二值化的运动显著性图，重新估计背景的运动直方图，更新超像素区域的运动显著性值，其中，V_t表示由视频帧内所有的超像素区域sp_t,i(i＝1,...,n_t)抽象成的图节点集合，E_t表示图中节点与节点之间边的集合。

2.根据权利要求1所述的基于图的无约束视频中显著物体检测方法，其特征在于，所述步骤(2)中的超像素区域分割方法，具体步骤如下：

(2-1)、对于视频帧F_t，其宽度记为w，长度记为h，设定w×h大小的视频帧F_t要分割的区域个数为： $n_t=\sqrt{w\·h/400};$

(2-2)、利用简单线性迭代聚类算法，即SLIC，根据步骤(2-1)设定的超像素区域个数n_t，最终将视频F_t聚类成n_t个超像素区域。

3.根据权利要求1所述的基于图的无约束视频中显著物体检测方法，其特征在于，所述步骤(3)中的提取超像素级的运动直方图的方法，具体步骤如下：

(3-1)、对于视频帧F_t，参照其前一帧F_t-1，利用稠密光流场估计算法LDOF，得到视频帧F_t中每个像素点相对应于前一帧F_t-1的每个像素点运动矢量，把所有的运动矢量保存到w×h的矩阵里，得到视频帧F_t的运动矢量场MVF_t,t-1；

(3-2)、基于视频帧F_t的运动矢量场MVF_t,t-1以及超像素区域sp_t,i(i＝1,...,n_t)，分别提取每个超像素区域的运动直方图，具体为，将运动矢量场的运动方向在[-π,π]范围内均匀地量化成b_M＝8个间隔，分别统计超像素区域内所有像素点的运动矢量场方向在每个间隔出现的频率，得到超像素级的运动直方图最终归一化使得同时，按照计算超像素区域运动直方图的方法，统计视频帧F_t内所有的像素点出现的频率，记为全局运动直方图用于表示视频帧背景区域的运动模式。

4.根据权利要求1所述的基于图的无约束视频中显著物体检测方法，其特征在于，所述步骤(4)中的通过构造无向有权图进行显著性计算的方法，具体步骤如下：

(4-1)、图的构建：对于视频帧F_t，其无向有权图记为G_t＝(V_t,E_t)，其中，V_t表示由视频帧内所有的超像素区域sp_t,i(i＝1,...,n_t)抽象成的图节点集合，E_t表示图中节点与节点之间边的集合，本模型定义了三种类型的边：相邻节点之间构成的边，视频帧四周边界超像素区域之间构成的边，视频帧四周边界超像素区域与虚拟背景节点之间构成的边；

(4-2)、边的权重定义：由于本模型定义了三种类型的边，对于相邻节点之间构成的边，视频帧四周边界超像素区域之间构成的边权重定义为，任意相互连接的超像素区域sp_t,i，sp_t,j的运动直方图之间的卡方距离，其计算公式如下：

${\mathrm{\ω}}_a(v_{t,i},v_{t,j})=\exp \[\mathrm{\λ}\·{\mathrm{\χ}}^2(H_{t,i}^M,H_{t,j}^M)\]---\left(1\right)$

任意与虚拟背景节点B_t相互连接的边界超像素区域sp_t,i的边的权重，其计算公式如下：

${\mathrm{\ω}}_b(v_{t,i},b_t)=\exp \[\mathrm{\λ}\·{\mathrm{\χ}}^2(H_{t,i}^M,H_{t,0}^M)\]---\left(2\right)$

虚拟背景节点的运动信息由全局运动直主图表示，公式(3)，公式(4)中的λ因子设定为0.1；

(4-3)、最短路径的搜索：通过步骤(4-1)和(4-2)构建了无向有权图G_t＝(V_t,E_t)，利用Dijkstra最短路径算法，搜索出每个超像素区域到虚拟背景节点的最短路径，并且将路径上的边的权重进行累加，当作该超像素区域的运动显著性值M_t(i)，运动显著值由公式(5)计算得到，其中，运动显著性值M_t(i)越大，说明超像素区域与虚拟背景节点之间有运动差异越大，超像素区域越显著；

$M_t\left(i\right)=\underset{u_1=v_{t,i},u_2,...,u_{m-1},u_m=B_t}{min}\[\underset{k=1}{\overset{m-2}{\Σ}}{\mathrm{\ω}}_a(u_k,u_{k+1})+{\mathrm{\ω}}_b(u_{m-1},u_m)\]---\left(6\right)$

(4-4)、图结构的迭代调整：为了更加准确地估计出虚拟背景节点的运动直方图，在本模型中，根据前后两次调整过程中变化程度作为迭代终止与否的条件，进下如下的迭代过程：首先，根据当前虚拟背景节点的运动直方图以及图结构，对计算得到的运动显著性图利用自适合的二值化算法OTSU进行二值化分割，去除前景超像素区域，利用步骤(3)中所述的运动直方图估计方法，重新计算得到虚拟背景节点的运动直方图；其次，比较前后两次虚拟背景节点的运动方图的L₁-norm距离，若两者的距离小于0.01则终止迭代过程，当前运动显著性图作为最终结果输出；反之，重复步骤(4-2)，(4-3)，(4-4)。