CN104952083A - 一种基于显著性目标背景建模的视频显著性检测算法 - Google Patents

Abstract

本发明公开了一种基于显著性目标背景建模的视频显著性检测算法，包括：步骤1，对初始帧(当前帧)进行静态图像显著性检测，获取其显著图，根据显著图获取残余背景；步骤2，对残余背景图像中像素值为0的像素点进行相似性填充获取初始帧背景模型；步骤3，根据初始背景模型，对下一帧利用背景减除法减去初始背景模型得到下一帧显著区域，且对该显著区域进行信息冗余度判别，如果冗余度较小，则认为该显著区域正确，如果显著区域冗余较高则需重新对当前帧按照步骤1和步骤2所述方法重新进行背景建模。最后，依次循环得到最终显著视频。该算法无需对视频中每一帧进行背景建模，因此会有较快计算速度。

Description

一种基于显著性目标背景建模的视频显著性检测算法

技术领域

本发明涉及计算机视觉与多媒体处理技术领域，具体涉及一种基于显著性目标背景建模的视频显著性检测算法。

背景技术

近年来，随着基于内容的视频重定位研究的发展，要求重定位后的视频能够适应多种屏幕尺寸显示，并且要尽可能多的保留视频中的重要信息。这些基于内容的视频重定位技术中，如何快速、准确的检测出视觉显著性区域，仍然是一个亟待解决的具有挑战性的问题。

传统的基于背景建模的视频显著性方法如混合高斯模型背景建模法和基于四元数傅里叶变换视频目标检测算法需要结合视频中初始多帧图像进行背景建模，因此无法对初始几帧图像进行检测，且由于其加入帧间相关信息，会存在建模复杂度高的缺点。未引入每一帧显著图质量判定规则，因此显著视频质量无法有效的保证。

因此，提出一种基于显著性目标背景建模的视频显著性检测算法，已成为本领域目前亟待解决的技术问题之一。

发明内容

本发明提出了一种基于显著性目标背景建模的视频显著性检测算法。其目的在于通过静态图像显著图快速获取视频背景模型，根据视频背景模型利用背景减除法获取显著视频。

本发明的目的是通过下述技术方案来实现的。

一种基于显著性目标背景建模的视频显著性检测算法，包括以下步骤：

步骤1，用静态图像显著性检测方法进行显著性目标检测，得到初始帧显著图，根据初始帧显著图提取显著目标并获取残余背景图像；

步骤2，根据残余背景图像进行背景建模，对残余背景图像中像素值为0的像素点进行相似性填充，获取初始帧背景模型；

步骤3，进行视频显著性检测：根据初始帧背景模型，对下一帧利用背景减除法减去初始背景模型得到下一帧显著区域，且对该显著区域进行信息冗余度判别；如果冗余度较小，则认为该显著区域正确；如果显著区域冗余较高，则重复步骤1-步骤2重新进行背景建模；最后，依次循环得到最终显著视频。

优选地，步骤1进一步包括，对初始帧图像I用静态图像显著性检测方法进行显著性目标检测，得到初始帧显著图I_s，对显著图进行简单阈值分割，得到显著图的二值图像：

${I_s}^{\′}(i,j)=\{\begin{array}{cc}1,& if{I_s}^{\′}(i,j)>T;\\ 0,& others;\end{array}---\left(1\right)$

式中：I_s′为显著图的二值图像，T为阈值；

利用显著图的二值图像对原始图像中目标进行提取得到目标图像：

I_o＝I_s′.*I    (2)

式中：I_o为所得目标图像，根据目标图像获取残余背景图像：

I_b′＝I-I_o    (3)

式中：I_b′为残余背景图像，对残余背景中像素值为0的位置进行填充，得到初始帧背景模型。

优选地，步骤2进一步包括，对残余背景图像中像素值为0的像素点进行相似性填充，获取初始帧背景模型，当该点位于图像四个顶点时，向周围两个方向寻找不为0的像素点，进行计算填充。

优选地，步骤2进一步包括，对残余背景图像中像素值为0的像素点进行相似性填充，获取初始帧背景模型，当该点位于图像边界但不在顶点时，向周围三个方向寻找不为0的像素点，进行计算填充。

优选地，步骤2进一步包括，对残余背景图像中像素值为0的像素点进行相似性填充，获取初始帧背景模型，当该点位于图像中心区域时，向周围四个方向寻找不为0的像素点，进行计算填充。

进一步地，向周围方向寻找不为0的像素点，进行计算填充方法如下：

1)选中待填充像素p₀其空间坐标记为(x₀,y₀)，以p₀为起始点向周围方向逐层寻找值不为0的像素点，当在某一层寻找到值不为0的像素点时结束寻找，记像素值不为0的点为p₁,p₂,...,p_n坐 标分别为(x₁,y₁),(x₂,y₂),...,(x,_ny)_n，分别计算p₀到各个点的欧氏距离：

$s_n=\sqrt{{(x_n-x_0)}^2+{(y_n-y_0)}^2}---\left(4\right)$

式中：s_n为p₁,p₂,...,p_n到p₀点的欧氏距离；

2)从中挑选出离待填充像素欧氏距离最近的像素点，记为p_k(k≤n)，并对p₀进行填充：

${p_0}^{\′}=\frac{{\mathrm{\Σ}}_1^K{p}_k}{K}---\left(5\right)$

式中：p₀′为计所得待填充位置像素值，K为离待填充像素欧氏距离最近的不为0像素点的个数；

3)按照上述方式对残余背景图像I_b′中所有为0的像素点进行填充后，得到最终的背景模型I_b。

优选地，步骤3进一步包括，进行视频显著性检测：包括下述步骤：

1)输入视频第n帧，记为F_n(n＝1,2,...,n)，初始帧F₁背景模型记为B₁，第n帧背景模型记为B_n，第一帧图像的显著图由静态图像显著性检测所得记为F′_s1；

第2帧图像显著图F′_s2由下式得到：

F′_s2＝|F₂-B₁|    (6)

因此，第n帧图像其显著图：

F′_sn＝|F_n-B_n-1|    (7)

第n帧背景模型B_n：

$B_n=\{\begin{array}{cc}{B}_{n-1},& if{H}_{2D}\left(F_{sn}\right)<T;\\ B_{n-new},& others;\end{array}---\left(8\right)$

式中，H_2D(F_sn)为第n帧显著图的2-D熵；

公式(8)中求第n帧显著图的2-D熵H_2D(F_sn)，如果其2-D熵小于所设定阈值T，则认为第n帧图像背景较前一帧变化不大，其背景能够用前一帧背景替代，无需重新建模；相反，如果其2-D大于等于所设阈值，则认为其背景较前一帧变化大，则需重新对背景模型进行更新，记更新后的背景模型为B_n-new做为第n帧背景，结合公式(7)获取每一帧的显著图组成显著视频V_s。

本发明结合背景减除法，提出了一种基于显著性目标背景建模的视频显著性检测算法。与传 统算法相比，本发明所提方法，无需结合帧间信息进行背景建模，因此可以对每一帧视频图像进行显著性检测。且背景建模只需在空域中对残余背景填充，因此计算复杂度较低。此外，由于加入冗余度判别且无需对视频每一帧都进行背景建模，因此会具有较快的计算速度和计算精度。

本发明算法能够清楚的检测出视频中的运动对象。在对背景变化不大的视频序列，一个背景模型就可以完成对多帧图像的检测，从而节省了时间。在背景变化较大情况下即H_2D＞T时能够自动完成背景更新，从而使得检测结果更加精准有效。

附图说明

图1为本发明的流程；

图2(a)-图2(f)为本发明背景建模过程；

图3为本发明背景建模算法示意图；

图4(a)-图4(d)为本发明所提背景建模结果示例；

图5为同一背景模型下显著视频2-D熵变化情况；

图6为本发明所提算法对视频序列的检测结果示例。

具体实施方式

下面结合附图及具体实施方式进一步说明本发明。

本发明一种基于显著性目标背景建模的视频显著性检测算法如图1所示，其重要步骤介绍如下：

1、获取初始帧(当前帧)残余背景

对初始帧(当前帧)图像I)(输入图像图(2a))用静态图像显著性检测方法进行显著性目标检测，得到初始帧显著图I_s如图2(b)所示，对显著图进行简单阈值(T∈[0,255])分割，得到显著图的二值图像：

${I_s}^{\&prime;}(i,j)=\{\begin{array}{cc}1,& if{I_s}^{\&prime;}(i,j)>T;\\ 0,& others;\end{array}---\left(1\right)$

式中：I_s′为显著图的二值图像，T为阈值，如图2(c)所示。利用显著图的二值图像对原始图像中目标进行提取得到目标图像：

I_o＝I_s′.*I    (2)

式中：I_o为所得目标图像，如图2(d)所示。根据目标图像获取残余背景图像：

I_b′＝I-I_o    (3)

式中：I_b′为残余背景图像如图2(e)所示。对残余背景中像素值为0的位置进行填充，得到初始帧背景模型，如图2(f)所示。

2残余背景填充 

建立背景模型关键是要对残余背景图像I_b′中像素点为0的元素进行填充，使得其更加接近真实背景。本发明提出一种基于周围像素均值替代的背景填充方法，图3为本发明所提残余背景填充算法示意图。具体实施如下：

对残余背景图像I_b′中某一像素值为0的点，可分为以下三种情况进行填充：当该点位于图像四个顶点时，向周围两个方向寻找不为0的像素点，进行计算填充；当该点位于图像边界但不在顶点时，向周围三个方向寻找不为0的像素点，进行计算填充；当该点位于图像中心区域时，向周围四个方向寻找不为0的像素点，进行计算填充。下面以第三种情况为例，详细介绍残余背景填充方法。

如图3中选中待填充像素p₀其空间坐标记为(x₀,y₀)，以p₀为起始点向周围四个方向逐层寻找值不为0的像素点，当在某一层找到值不为0的像素点时结束找寻。记像素值不为0的点为p₁,p₂,...,p_n坐标分别为(x₁,y₁),(x₂,y₂),...,(x,_n y)_n，分别计算p₀到各个点的欧氏距离：

$s_n=\sqrt{{(x_n-x_0)}^2+{(y_n-y_0)}^2}---\left(4\right)$

式中：s_n为p₁,p₂,...,p_n到p₀点的欧氏距离。从中挑选出离待填充像素欧氏距离最近的像素点，记为p_k(k≤n)，并对p₀进行填充：

${p_0}^{\&prime;}=\frac{{\mathrm{\&Sigma;}}_1^K{p}_k}{K}---\left(5\right)$

式中：p₀′为计所得待填充位置像素值，K为离待填充像素欧氏距离最近的不为0像素点的个数；

按照上述方式对残余背景图像I_b′中所有为0的像素点进行填充后，得到最终的背景模型 I_b。图4为本文所提背景建模结果示例，其中图4(a)为输入视频帧，图4(b)为静态图像显著性检测结果，图4(c)为所获取的残余背景图像，图4(d)为所建立的背景模型。

3视频显著性检测

本发明所提视频显著性检测方法，先对初始帧建立背景模型，再利用背景减除法检测视频中的显著目标。

输入视频第n帧记为F_n(n＝1,2,...,n)，初始帧F₁背景模型记为B₁，第n帧背景模型记为B_n，第一帧图像的显著图由第三章所提算法所得记为F′_s1。第2帧图像显著图F′_s2由下式得到：

F′_s2＝|F₂-B₁|    (6)

因此，对第n帧图像其显著图：

F′_sn＝|F_n-B_n-1|    (7)

由于视频背景是在不断变化的，因此需要对背景模型进行实时更新。这里本发明将视频背景分为两类即：(1)较前一帧变化小的背景，对于此类背景在进行显著性检测时本发明用前一帧背景作为当前帧背景；(2)较前一帧变化大的背景，对于此类背景，在显著性检测时需要用上述背景建模法重新建立背景模型。为了区分这两类背景本发明设计如下算法:

$B_n=\{\begin{array}{cc}{B}_{n-1},& if{H}_{2D}\left(F_{sn}\right)<T;\\ B_{n-new},& others;\end{array}---\left(8\right)$

公式(8)中求第n帧显著图的2-D熵H_2D(F_sn)，如果其2-D熵小于所设定阈值T，则认为第n帧图像背景较前一帧变化不大，其背景可以用前一帧背景替代，无需重新建模。相反，如果其2-D大于等于所设阈值，则认为其背景较前一帧变化大，则需重新对背景模型进行更新，记更新后的背景模型为B_n-new做为第n帧背景。结合公式(7)获取每一帧的显著图组成显著视频V_s。

从图5中可以看出在相同背景模型下对不同帧(第1帧-8帧)，由于其背景变化，其2-D熵也在变化，当背景与初始背景差异度较大情况下，显著图中信息冗余度就越高，2-D熵值就越大。换而言之，显著图中包含背景信息越多2-D熵就越大。因此，可以使用这一指标来判断是否需要对背景更新。在本发明公式(8)中取阈值T＝H_2D(F_s0)+6，其他经验阈值皆可。如果显著图的熵值大于这一阈值则需重新对背景建模。

图6为本发明所提算法对一视频序列的检测结果，可以看到本发明算法能够清楚的检测出视 频中的运动对象。在对背景变化不大的视频序列如第1帧到第11帧，一个背景模型就可以完成对多帧图像的检测，从而节省了时间。在背景变化较大情况下即H_2D＞T时如第12帧能够自动完成背景更新，从而使得检测结果更加精准有效。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于显著性目标背景建模的视频显著性检测算法，其特征在于，包括以下步骤：

步骤1，用静态图像显著性检测方法进行显著性目标检测，得到初始帧显著图，根据初始帧显著图提取显著目标并获取残余背景图像；

步骤2，根据残余背景图像进行背景建模，对残余背景图像中目标区域即像素值为0的像素点进行相似性填充，获取初始帧背景模型；

步骤3，进行视频显著性检测：根据初始帧背景模型，对下一帧利用背景减除法减去初始背景模型得到下一帧显著区域，且对该显著区域进行信息冗余度判别；如果冗余度较小，则认为该显著区域正确；如果显著区域冗余较高，则重复步骤1-步骤2重新进行背景建模；最后，依次循环得到最终显著视频。

2.根据权利要求1所述的方法，其特征在于：步骤1中，对初始帧图像I用静态图像显著性检测方法进行显著性目标检测，得到初始帧显著图I_s，对显著图进行简单阈值分割，得到显著图的二值图像：

${I_s}^{\&prime;}(i,j)=\left\{\begin{array}{cc}1,& \mathrm{if}{I_s}^{\&prime;}(i,j)>T;\\ 0,& \mathrm{others};\end{array}\right.---\left(1\right)$

式中：I_s′为显著图的二值图像，T为阈值；

利用显著图的二值图像对原始图像中目标进行提取得到目标图像：

I_o＝I_s′.*I   (2)

式中：I_o为所得目标图像，根据目标图像获取残余背景图像：

I_b′＝I-I_o   (3)

式中：I_b′为残余背景图像，对残余背景中目标区域即像素值为0的位置进行填充，得到初始帧背景模型。

3.根据权利要求1所述的方法，其特征在于：步骤2中，对残余背景图像中像素值为0的像素点进行相似性填充，获取初始帧背景模型，当该点位于图像四个顶点时，向周围两个方向寻找不为0的像素点，进行计算填充。

4.根据权利要求1所述的方法，其特征在于：步骤2中，对残余背景图像中像素值为0的像素点进行相似性填充，获取初始帧背景模型，当该点位于图像边界但不在顶点时，向周围三个方向寻找不为0的像素点，进行计算填充。

5.根据权利要求1所述的方法，其特征在于：步骤2中，对残余背景图像中像素值为0的像素点进行相似性填充，获取初始帧背景模型，当该点位于图像中心区域时，向周围四个方向寻找不为0的像素点，进行计算填充。

6.根据权利要求3-5任一项所述的方法，其特征在于：向周围方向寻找不为0的像素点，进行计算填充方法如下：

1)选中待填充像素p₀其空间坐标记为(x₀,y₀)，以p₀为起始点向周围方向逐层寻找值不为0的像素点，当在某一层寻找到值不为0的像素点时，结束寻找，记该像素值不为0的点为p₁,p₂,...,p_n，坐标分别为分别计算p₀到各个点的欧氏距离：

$s_n=\sqrt{{(x_n-x_0)}^2+{(y_n-y_0)}^2}---\left(4\right)$

式中：s_n为p₁,p₂,...,p_n到p₀点的欧氏距离；

2)从中挑选出离待填充像素欧氏距离最近的像素点，记为p_k(k≤n)，并对p₀进行填充：

${p_0}^{\&prime;}=\frac{{\mathrm{\&Sigma;}}_1^K{p}_k}{K}---\left(5\right)$

式中：p₀′为计所得待填充位置像素值，K为离待填充像素欧氏距离最近的不为0像素点的个数；

3)按照上述方式对残余背景图像I_b′中所有为0的像素点进行填充后，得到最终的背景模型I_b。

7.根据权利要求1所述的方法，其特征在于：步骤3中，进行视频显著性检测：包括下述步骤：

1)输入视频第n帧，记为F_n(n＝1,2,...,n)，初始帧F₁背景模型记为B₁，第n帧背景模型记为B_n，第一帧图像的显著图静态显著性检测所得记为F′_s1；

第2帧图像显著图F′_s2由下式得到：

F′_s2＝|F₂-B₁|   (6)

因此，第n帧图像其显著图：

F′_sn＝|F_n-B_n-1|   (7)

第n帧背景模型B_n：

$B_n=\left\{\begin{array}{cc}{B}_{n-1},& \mathrm{if}{H}_{2D}\left(F_{\mathrm{sn}}\right)<T;\\ B_{n-\mathrm{new},}& \mathrm{others};\end{array}\right.---\left(8\right)$

式中，H_2D(F_sn)为第n帧显著图的2-D熵；

公式(8)中求第n帧显著图的2-D熵H_2D(F_sn)，如果其2-D熵小于所设定阈值T，则认为第n帧图像背景较前一帧变化不大，其背景能够用前一帧背景替代，无需重新建模；相反，如果其2-D熵大于等于所设阈值，则认为其背景较前一帧变化大，则需重新对背景模型进行更新，记更新后的背景模型为B_n-new做为第n帧背景，结合公式(7)获取每一帧的显著图组成显著视频V_s。