CN105427292A - 一种基于视频的显著目标检测方法 - Google Patents

Abstract

本发明公开了一种基于视频的显著目标检测方法，该方法包括以下步骤：对图片进行超像素分割，并利用光流信息和颜色信息，得到初步的显著目标检测区域；利用梯度信息，获取图片背景信息；融合初步目标检测区域和背景剪除，得到最终的显著目标区域。本发明在像素级别结合了统计运动信息即光流信息以及静态信息即颜色和梯度信息来检测像素之间的相似性，结果融合了前景线索以及背景线索，最终达到视频中检测显著目标的目的。

Description

一种基于视频的显著目标检测方法

技术领域

本发明涉及一种基于视频的显著目标检测方法，尤其涉及一种基于前景检测和背景减除的视频显著目标检测方法，属于图像处理技术领域。

背景技术

显著目标检测在计算机视觉领域是非常重要的。由于安保需要，视频中的安全性检测越来越被人们所关注。在视频中，检测显著物体以获得人们感兴趣的信息变得尤为重要。在视频监控系统中，显著目标即画面中第一眼就吸引人们注意的物体。显著物体检测就是为了在图片或者视频中通过算法找到这样的物体以代替人类视觉功能，以便为后续的更高层次的视频检测工作做准备。

近年来，许多显著检测方法关注在静态图像中检测前景，并取得了非常好的效果。但是只有少部分学者关注在视频中的显著目标检测。为了提取视频中的显著目标，许多方法利用了颜色以及光流信息。但是，由于场景光照变化和背景动态变化，这些方法存在一些问题，例如：目标物体轮廓缺失或不准确等。为了解决上述问题，许多学者提出了显著物体检测算法包括前景和背景分割算法、获得约束边框算法以及对每个像素进行显著可能性估计的算法。例如：对背景检测并去除的方法，以凸显目标物体，即用高斯混合模型或核密度估计来检测背景并进行剪除来获得显著区域。但是，这些技术忽略了像素间的运动信息。最近的研究例如在图片中检测并凸显显著物体，然后进行背景剪除，取得了较好的效果。其他检测方法例如在单个图片中基于图结构化的的显著检测技术也取得了非常好的检测结果。但是这些技术仅仅在静态图片中检测显著物体，没有考虑视频中上下文信息。而本发明能够很好地解决上面的问题。

发明内容

本发明目的在于解决了现有视频显著目标检测方法的不足，提供一种基于视频的显著目标检测方法，该方法在像素级别结合了统计运动信息即光流信息以及静态信息，即颜色和梯度信息来检测像素之间的相似性，结果融合了前景线索以及背景线索，最终达到视频中检测显著目标的目的。

本发明解决其技术问题所采取的技术方案是：本发明是基于视频显著目标检测的方法，该方法包括以下步骤：

步骤1：在图片超像素分割的基础上，分别计算每个超像素的光流信息以构成超像素的平均光流直方图，并结合基于超像素颜色信息的滤波策略，得到初步的显著目标检测区域；

步骤2：依据梯度信息，采用接缝裁剪算法，从目标边界的顶(左)边到底(右)边依次进行垂直(水平)方向搜索，找到每个像素耗费能量最小的接缝，并连接所有能量耗费最小的接缝，以获得背景信息；

步骤3：融合初步目标检测区域和背景剪除，得到最终的显著目标区域。

本发明上述步骤1的超像素分割，包括：

对视频帧图片进行超像素分割。超像素是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。本发明利用简单线性迭代聚类法方法进行超像素分割。与传统的超像素分割方法相比，此法具有速度快、效果好等优点。此法将K均值方法应用于超像素分割，主要有两个特点：(1)限制搜索区域到正比于超像素尺寸的区域内以减少距离计算量。(2)在控制超像素的尺寸和紧密度的同时结合颜色和空间临近信息来衡量超像素之间区别。得到超像素分割的图片后，本发明进行初步显著目标检测。

本发明上述步骤3的初步目标检测是提取物体光流信息，包括：利用了超像素的光流平均直方图特征。光流平均直方图特征提取如下：假设(u_j,v_j)是一个特定帧中像素I_j的前向光流，那么对于特定超像素r_i，光流平均直方图(MHOF)定义为下公式:

$h_i\left(k\right)=\underset{I_j\∈r_i}{\Σ}\sqrt{u_j^2+v_j^2}{\mathrm{\δ}}_k(u_j,v_j)/S_{r_i}$

其中，对于超像素r_i，h_i(k)是直方图h_i的第k个方向槽的能量。δ_k(u_j,v_j)是一个二值化功能，如果输入(u_j,v_j)被量化到第k个方向则为1，否则为0。在本发明中，本发明将方向量化到9个槽。由于不同超像素的大小可能不同，本发明通过除以S_ri进行平均操作，即除以超像素的总面积。

本发明图片的背景信息提取包括：

采用接缝焊接(seamcarving)技术。此技术的目的是通过从边界的顶(左)到底(右)搜索垂直(水平)的，拥有最小接缝消耗的接缝来得到背景区域。本发明为每个像素找到接缝，并且这个接缝始于固定边界像素到此像素。

为了最小化接缝耗费，本发明定义了一个能量函数Δ，由下面公式所示。其定义为由Sobel算子提取的显著目标图片的梯度图：

$\mathrm{\Δ}=\left|\frac{\∂D_f}{\∂x}\right|+\left|\frac{\∂D_f}{\∂y}\right|$

本发明接下来将详述如何为每个像素找到它的相关接缝。本发明搜索最优接缝，即搜索最小化焊接耗费的接缝。

以顶部边界为例，搜索步骤如下：从第二行到最后一行穿过图片，并为每个像素(i,j)的可能连接的所有接缝计算最小累积能量CE₁:

CE₁(i,j)＝Δ(i,j)+min(CE₁(i-1,j-1),CE₁(i-1,j),CE₁(i-1,j+1))

其中，i表示行，j表示列。在第一行时，CE₁与Δ相等。由于CE₁(i,j)是累积方式而得的，所以它是从固定的顶部边界像素到像素(i,j)的最小焊接消耗。

由于目标物体的边界梯度值较高，所以路径必须穿过物体边界并最终达到图像边缘的目标物体像素的接缝耗费将大大提升。所以，像素到底部、左边、右边的边界的接缝耗费可由同样的方式得到。因此，本发明得到了CE₂，CE₃，CE₄。最后的背景抑制图由下面公式得出：

CE_b(i,j)＝min(CE₁(i,j),CE₂(i,j),CE₃(i,j),CE₄(i,j))

对于每个像素，选择它的四个相关接缝耗费的最小值作为最后的背景剪除图。

本发明上述步骤3具体包括如下各子步骤：

所述的初步目标检测，由下式得出：

Sal(i,j)＝D_f(i,j)×D_b(i,j)

其中，Sal标准化到[0,1]范围。结合步骤在背景剪除方面有很重要的影响。上述的非线性结合能很好的抑制背景，但是仍可能出现显著物体凸显失败的情况。所以本发明再次引入滤波策略：

$R\left(ri\right)=\frac{1}{{\mathrm{Nor}}_2}\underset{j}{\Σ}{e}^{-{\mathrm{\β}}_2\left|\right|Sal\left(r_i\right)-Sal\left(r_j\right)|{|}_2}\×Sal\left(r_j\right)$

其中，Sal(r_i),Sal(r_j)是超像素r_i和r_j的平均显著值，作为一个标准化规则。

有益效果：

1、本发明能够更加精确地检测出显著目标，在像素级别结合了统计运动信息，即光流信息以及静态信息即颜色和梯度信息来检测像素之间的相似性，结果融合了前景线索以及背景线索，最终达到视频中检测显著目标的目的。

2、本发明具有速度快、效果好优点，该方法将K均值方法应用于超像素分割，有两个特点：(1)限制搜索区域到正比于超像素尺寸的区域内以减少距离计算量。(2)在控制超像素的尺寸和紧密度的同时结合颜色和空间临近信息来衡量超像素之间区别，得到超像素分割的图片后，再进行初步显著目标检测。

3、本发明根据前景以及背景的特点进行目标检测。首先对图片进行超像素分割，并将显著检测分成两部分，即先突出前景然后进行背景剪除。

4、本发明在像素级别结合了统计运动信息即光流信息以及静态信息即颜色和梯度信息来检测像素之间的相似性，结果融合了前景线索以及背景线索，最终达到视频中检测显著目标的目的。

5、本发明实现了像素级检测显著，在目标图像中，其背景往往表现出部分或全局的连通性，其前景具有一致性。

附图说明

图1为本发明的方法流程图。

图2(a)为原图像，图2(b)为分割后的图像。

图3为基于光流平均直方图的显著性目标检测结果示意图。

图4为基于梯度信息的背景提取结果示意图。

图5为优化的显著性目标检测结果示意图。

具体实施方式

下面结合说明书附图对本发明创造作进一步的详细说明。

本发明提供了一种基于视频的显著目标检测方法，其实现过程为：首先，对图片进行超像素分割，并利用光流信息和颜色信息，得到初步的显著目标检测区域；然后，根据梯度信息，获取图片背景信息；最后，融合初步目标检测区域和背景剪除，得到最终的显著目标区域。

本发明的基于视频的显著目标检测方法的一个优选实施方式，具体包括以下步骤：

步骤1：对图片进行超像素分割，并利用光流信息和颜色信息，得到初步的显著目标检测区域。

1、超像素分割

首先，对视频帧图片进行超像素分割。超像素是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。本发明利用简单线性迭代聚类法方法进行超像素分割。与传统的超像素分割方法相比，此法具有速度快、效果好等优点。此方法将K均值方法应用于超像素分割，主要有两个特点：(1)限制搜索区域到正比于超像素尺寸的区域内以减少距离计算量。(2)在控制超像素的尺寸和紧密度的同时结合颜色和空间临近信息来衡量超像素之间区别。

图2显示了超像素分割后的结果对比图。从图中可见超像素的边缘大体等同于目标物体边缘。超像素分割后，本发明提出一种基于统计光流信息的特征即光流平均直方图。由于前景物体普遍具有一致性，所以利用此特征可检测出目标物体的像素之间的相似性。由于人类视觉感知易受显著物体的运动所影响，所以本发明利用运动信息来描述显著目标。

2、初步的显著目标检测

在每个超像素中，本发明首先计算出稠密光流。即对每个像素点都计算其光流信息[10]。其次本发明利用了超像素的光流平均直方图特征。光流平均直方图特征提取如下：假设(u_j,v_j)是一个特定帧中像素I_j的前向光流，那么对于特定超像素r_i，光流平均直方图(MHOF)定义为公式1：

$h_i\left(k\right)=\underset{I_j\∈r_i}{\Σ}\sqrt{u_j^2+v_j^2}{\mathrm{\δ}}_k(u_j,v_j)/S_{r_i}$ 公式1

其中，对于超像素r_i，h_i(k)是直方图h_i的第k个方向槽的能量。δ_k(u_j,v_j)是一个二值化功能，如果输入(u_j,v_j)被量化到第k个方向则为1，否则为0。在本发明中，本发明将方向量化到9个槽。由于不同超像素的大小可能不同，本发明通过除以Sri进行平均操作，即除以超像素的总面积。

光流平均直方图的作用可以理解为在每个超像素中捕获平均统计性运动信息。由于光流平均直方图能使相反方向的光流相互抵消，所以它优于平均光流向量(∑_ju_j/|r_i|,∑_jv_j/|r_i|)，这是因为由于目标的运动，光流幅值的梯度不一定总是与超像素分割的边界一致。本发明同时使用了方向和幅值信息，因而更加准确地描述了目标物体。根据光流平均直方图的思想，特征差异包含运动信息的超像素显著值由公式2定义：

$D_c\left(r_i\right)=\frac{\left|\right|h_i-h_j|{|}_2}{max\left|\right|h_p-h_q|{|}_2}$ 公式2

公式3利用了χ²距离来衡量方向槽的差异性，并通过在每项除以全局最大值来标准化。r_p,r_q为两个临近超像素。图3显示本发明检测结果图，可见光流平均直方图在衡量运动差异时更加优秀。

步骤2：根据梯度信息，获取图片背景信息。

当目标突出后，本发明关注背景抑制。为了更好地找到背景，首先本发明将边界的像素视为背景。下面的方法采用接缝焊接技术。此技术的目的是通过从边界的顶(左)到底(右)搜索垂直(水平)的，拥有最小接缝消耗的接缝来得到背景区域。本发明为每个像素找到接缝，并且这个接缝始于固定边界像素到此像素。

为了最小化接缝耗费，本发明定义了一个能量函数Δ，由公式3所示。其定义为由Sobel算子提取的显著目标图片的梯度图：

$\mathrm{\Δ}=\left|\frac{\∂D_f}{\∂x}\right|+\left|\frac{\∂D_f}{\∂y}\right|$ 公式3

本发明接下来将详述如何为每个像素找到它的相关接缝。以顶部边界为例，搜索步骤如下：从第二行到最后一行穿过图片，并为每个像素(i,j)的可能连接的所有接缝计算最小累积能量CE₁:

CE₁(i,j)＝Δ(i,j)+min(CE₁(i-1,j-1),CE₁(i-1,j),CE₁(i-1,j+1))公式4

其中，i表示行，j表示列。在第一行时，CE₁与Δ相等。由于CE₁(i,j)是累积方式而得的，所以它是从固定的顶部边界像素到像素(i,j)的最小焊接消耗。

由于目标物体的边界梯度值较高，所以路径必须穿过物体边界并最终达到图像边缘的目标物体像素的接缝耗费将大大提升。所以，像素到底部、左边、右边的边界的接缝耗费可由同样的方式得到。因此，本发明得到了CE₂，CE₃，CE₄。最后的背景抑制图由公式5得出：

CE_b(i,j)＝min(CE₁(i,j),CE₂(i,j),CE₃(i,j),CE₄(i,j))公式5

对于每个像素，选择它的四个相关接缝耗费的最小值作为最后的背景剪除图，如图3所示。

步骤3：最后显著目标检测包括以下步骤：

基于前面两种方法，本发明的目标显著检测由下式得出：

Sal(i,j)＝D_f(i,j)×D_b(i,j)公式6

其中，Sal标准化到[0,1]范围。由图4所示，结合步骤在背景剪除方面有很重要的影响。上述的非线性结合能很好的抑制背景，但是仍可能出现显著物体凸显失败的情况。所以本发明再次引入滤波策略：

$R\left(ri\right)=\frac{1}{{\mathrm{Nor}}_2}\underset{j}{\Σ}{e}^{-{\mathrm{\β}}_2\left|\right|Sal\left(r_1\right)-Sal\left(r_j\right)|{|}_2}\×Sal\left(r_j\right)$ 公式7

其中，Sal(r_i),Sal(r_j)是超像素r_i和r_j的平均显著值，作为一个标准化规则。

在滤波后，图5显示了一个更满意的显著检测结果，实验证明，它既能凸显显著物体，又能很好的抑制背景。

相比现有的各种视频摘要提取方法，本发明在像素级别结合了统计运动信息即光流信息以及静态信息即颜色和梯度信息来检测像素之间的相似性，结果融合了前景线索以及背景线索，最终达到视频中检测显著目标的目的。与其他方法相比，本发明可以更加精确地检测出显著目标。

Claims (5)

1.一种基于视频的显著目标检测方法，其特征在于，包括如下步骤：

步骤1：在图片超像素分割的基础上，分别计算每个超像素的光流信息以构成超像素的平均光流直方图，并结合基于超像素颜色信息的滤波策略，得到初步的显著目标检测区域；

步骤2：依据梯度信息，采用接缝裁剪算法，从目标边界的顶(左)边到底(右)边依次进行垂直(水平)方向搜索，找到每个像素耗费能量最小的接缝，并连接所有能量耗费最小的接缝，以获得背景信息；

步骤3：融合初步目标检测区域和背景剪除，得到最终的显著目标区域。

2.根据权利要求1所述基于视频的显著目标检测方法，其特征在于，所述步骤1的显著目标检测是对图片进行超像素分割，包括：对视频帧图片进行超像素分割，超像素是由一系列位置相邻且颜色、亮度、纹理特征相似的像素点组成的小区域，这些小区域大多保留了进一步进行图像分割的有效信息，且不会破坏图像中物体的边界信息，利用简单线性迭代聚类法，进行超像素分割。

3.根据权利要求1所述基于视频的显著目标检测方法，其特征在于，所述步骤3的初步目标检测包括提取物体光流信息：利用了超像素的光流平均直方图特征，光流平均直方图特征提取如下：假设(u_j,v_j)是一个特定帧中像素I_j的前向光流，那么对于特定超像素r_i，光流平均直方图(MHOF)定义为公式2为：

$h_i\left(k\right)=\underset{I_j\∈r_i}{\Σ}\sqrt{u_j^2+v_j^2}{\mathrm{\δ}}_k(u_j,v_j)/S_{r_i}$

其中，对于超像素r_i，h_i(k)是直方图h_i的第k个方向槽的能量，δ_k(u_j,v_j)是一个二值化功能，如果输入(u_j,v_j)被量化到第k个方向则为1，否则为0；将方向量化到9个槽，由于不同超像素的大小可能不同，该方法通过除以Sri进行平均操作，即除以超像素的总面积。

4.根据权利要求1所述的一种基于视频的显著目标检测方法，其特征在于，所述图片的背景信息提取步骤包括：

采用接缝焊接(seamcarving)技术，通过从边界的顶(左)到底(右)搜索垂直(水平)的，拥有最小接缝消耗的接缝来得到背景区域，为每个像素找到接缝，并且这个接缝始于固定边界像素到此像素；

定义一个能量函数Δ，由公式5所示，其定义为由Sobel算子提取的显著目标图片的梯度图：

$\mathrm{\Δ}=\left|\frac{\∂D_f}{\∂x}\right|+\left|\frac{\∂D_f}{\∂y}\right|$

将详述如何为每个像素找到它的相关接缝，搜索最优接缝，即搜索最小化焊接耗费的接缝；

若是顶部边界，搜索步骤包括：从第二行到最后一行穿过图片，并为每个像素(i,j)的可能连接的所有接缝计算最小累积能量CE₁:

CE₁(i,j)＝Δ(i,j)+min(CE₁(i-1,j-1),CE₁(i-1,j),CE₁(i-1,j+1))

其中，i表示行，j表示列，在第一行时，CE₁与Δ相等，由于CE₁(i,j)是累积方式而得的，所以它是从固定的顶部边界像素到像素(i,j)的最小焊接消耗；

由于目标物体的边界梯度值较高，所以路径必须穿过物体边界并最终达到图像边缘的目标物体像素的接缝耗费将大大提升，所以，像素到底部、左边、右边的边界的接缝耗费可由同样的方式得到，因此本发明得到了CE₂，CE₃，CE₄，最后的背景抑制图由下面公式得出：

CE_b(i,j)＝min(CE₁(i,j),CE₂(i,j),CE₃(i,j),CE₄(i,j))

对于每个像素，选择它的四个相关接缝耗费的最小值作为最后的背景剪除图。

5.根据权利要求1所述基于视频的显著目标检测方法，其特征在于，所述步骤3包括如下步骤：

所述的初步目标检测，由下式得出：

Sal(i,j)＝D_f(i,j)×D_b(i,j)

其中，Sal标准化到[0,1]范围，结合在背景剪除方面有很重要的影响，上述的非线性结合能抑制背景，但是仍可能出现显著物体凸显失败的情况，再次引入滤波策略：

$R\left(ri\right)=\frac{1}{{\mathrm{Nor}}_2}\underset{j}{\Σ}{e}^{-{\mathrm{\β}}_2\left|\right|Sal\left(r_i\right)-Sal\left(r_j\right)|{|}_2}\×Sal\left(r_j\right)$

其中，Sal(r_i),Sal(r_j)是超像素r_i和r_j的平均显著值，作为一个标准化规则。