CN106503683A - 一种基于动态注意中心的视频显著目标检测方法 - Google Patents

Abstract

本发明涉及一种基于动态注意中心的视频显著目标检测方法，包括初步时、空域显著目标检测，基于动态注意中心的时、空域显著目标检测结果优化，和时、空域显著目标检测结果融合三个阶段。初步时、空域显著目标检测是基于全局对比度方法获得初步的时域显著目标检测结果。利用不同目标块与注意中心的距离权重值作为约束项来抑制背景区域对显著目标检测结果的干扰。时、空域显著目标检测结果融合为利用图像的运动一致性与距离程度作为时空域显著目标结果在融合中所占比例的指标，达到维持显著目标检测结果在时空上的一致性。本发明可以实现对视频中的显著目标进行准确检测，从而有效解决背景技术提到的问题，是视频显著目标识别后续应用的基础工作。

Description

一种基于动态注意中心的视频显著目标检测方法

技术领域

本发明属于计算机视觉技术领域，特别是涉及一种基于动态注意中心的视频显著目标检测方法。

背景技术

人类的视觉系统具有非凡的能力在大量的视觉信息中来定位和聚焦感兴趣的区域或目标，这在计算机视觉领域内被称为显著目标检测。图像和视频的显着的目标检测在图像理解中起着至关重要的作用，有利于大幅度减少需要处理的视觉冗余信息。显著目标检测作为预处理过程被应用于多项领域当中。在计算机视觉和计算机图形学中,包括目标检测与识别、图像和视频压缩、图像检索、图像分割等。此外,在机器人学当中,显著目标检测也有广泛应用,如机器人定位,机器人导航,人机交互等。

人类视觉注意机制一般分为两种方式：一种是快速的，自底向上的，显著性驱动的，与具体任务无关的方式和一种速度较慢的，自顶向下的，人类意志控制的，依赖于具体任务的方式。自底向上的方式是有图像的地层特征信息驱动的，如颜色，梯度，边缘和边界等。然而自顶向下的方式是由主观因素，如年龄，文化和受经验指导的关注力等因素驱动的，这种方式因为其极高的复杂度和认知心理学发展的局限性获得较少的关注。因此，目前主流的视频显著目标检测方法是自底向上，由底层特征驱动的。

人们普遍认为，人类的视觉系统总是优先响应高对比度刺激的区域。在静态图像的显著目标检测中，基于对比度的模型已被证明是非常有效的。考虑到运动是影响视频显著目标检测的主要因素，许多研究者通过扩展现有的使用在图像上的空间域显著目标检测模型，附加利用时间域的特征来检测时空融合的显著目标。现有技术提出了一种时空域显著目标检测模型，该模型利用一个像素与图像中其他像素间的运动和颜色对比度来定义该像素的显著度。现有技术检测三种影响视觉注意的信息：对比度，空间信息，和全局对应性以获得集群性的显著目标。现有技术利用了多种底层特征的区域对比度获得区域的时空显著度，以此从高帧率的输入视频中合成一个低帧率的视频。

现有的基于图像底层特征对比度的视频显著目标检测方法中，空域特征和运动特征被联合使用进行逐帧的显著性计算。然而，在复杂场景下，背景干扰成为准确的检测出的显着目标的一个重要的障碍。背景可能会被检测为显著目标或者相邻帧中的检测到的显着目标在时间轴上是不一致的，这显然与客观规律相矛盾。因此抑制背景区域对显著目标检测准确性的干扰，提高显著目标的时空域一致性变得尤为重要，迫切需要相应的解决方法。

发明内容

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种基于动态注意中心的视频显著目标检测方法，其特征在于，包括：

步骤1，初步时、空域显著目标检测，并得到检测结果，包括：对输入视频源逐帧进行图像分割，获得图像分割成数个目标块后的分割结果；使用输入视频源连续两帧之间的光流信息，获得图像中每个像素的运动矢量；利用图像分割的结果和每个像素的运动矢量可以得到一个目标块的运动矢量；利用每一个目标块的运动矢量与其余目标块的运动矢量的全局对比度来获取初步的时域显著目标，并使用归一化的距离权重值来约束距离较远的目标块的影响；利用每一个目标块与其余目标块的颜色全局对比度来获取初步的时域显著目标，同样使用归一化的距离权重值来约束距离较远的目标块的影响；

步骤2，针对步骤1得到的时、空域显著目标检测结果进行优化，包括：获取前一帧图像检测的显著目标的中心位置作为当前一帧图像的注意中心；计算当前目标块的中心与当前帧的注意中心之间的归一化距离作为距离权重值；利用这一距离权重值，对获得的初步时、空域显著目标检测结果进行优化，得到优化后的时、空域显著目标检测结果；

步骤3，针对步骤2中得到的优化结果进行时、空域显著目标检测结果融合，包括：计算每一个像素归一化后的运动矢量的梯度幅值；根据获得的梯度幅值统计整幅图像内运动矢量梯度幅值的总和，利用高斯函数计算时域显著度图在时、空域显著目标融合中所占有的比例系数；利用获得的比例系数，对步骤2获得的优化后的时、空域显著目标检测结果进行线性融合，获得最终的显著目标检测结果。

在上述的一种基于动态注意中心的视频显著目标检测方法，所述步骤1具体包括以下子步骤：

步骤1.1：对输入视频源逐帧进行图像分割，获得图像分割成数个目标块后的分割结果；

步骤1.2：使用输入视频源连续两帧之间的光流信息，获得图像中每个像素的运动矢量；

步骤1.3：利用图像分割的结果和每个像素的运动矢量可以得到一个目标块的运动矢量；

步骤1.4：利用每一个目标块的运动矢量与其余目标块的运动矢量的全局对比度来获取初步的时域显著目标，并使用归一化的距离权重值来约束距离较远的目标块的影响；

步骤1.5：利用每一个目标块与其余目标块的颜色全局对比度来获取初步的时域显著目标，同样使用归一化的距离权重值来约束距离较远的目标块的影响。

在上述的一种基于动态注意中心的视频显著目标检测方法，所述步骤2具体包括以下子步骤：

步骤2.1：获取前一帧图像检测的显著目标的中心位置作为当前一帧图像的注意中心；

步骤2.2：计算当前目标块的中心与当前帧的注意中心之间的归一化距离作为距离权重值；

步骤2.3：利用这一距离权重值，对上述步骤1.4和步骤1.5获得初步时、空域显著目标检测结果进行优化，得到优化后的时、空域显著目标检测结果。

在上述的一种基于动态注意中心的视频显著目标检测方法，所述步骤3具体包括以下子步骤：

步骤3.1：计算每一个像素归一化后的运动矢量的梯度幅值；

步骤3.2：根据步骤3.1获得的梯度幅值统计整幅图像内运动矢量梯度幅值的总和，利用高斯函数计算时域显著度图在时、空域显著目标融合中所占有的比例系数；

步骤3.3：利用步骤3.2获得的比例系数，对步骤2.3获得的优化后的时、空域显著目标检测结果进行线性融合，获得最终的显著目标检测结果。

在上述的一种基于动态注意中心的视频显著目标检测方法，所述步骤1.3中，目标块的运动矢量用表示，其获得过程如公式(1)所示：

其中

代表第k个目标块所包含的所有像素的运动矢量的平均运动矢量，n代表第k个目标块所包含的像素数目，

w_v(o_k)代表第k个目标块所归一化的运动矢量方差；

步骤1.4中，目标块的运动矢量用S′_t(o_k)表示，其获得过程如公式(4)所示：

其中代表归一化后的距离权重值，以消除距离较远的目标块对当前目标块的显著度值计算的影响；D_t(o_k，o_i))代表归一化后的两个目标块中心之间的距离；w_v(o_k)代表目标块内像素的个数以增强较大目标块的运动对比度。

在上述的一种基于动态注意中心的视频显著目标检测方法，步骤2.2中，距离权重值用w_t(o_k，n)表示，其获得过程如公式(5)所示：

其中d_k(o_k，o′_k)是当前帧图像的视觉注意中心与目标块中心之间的距离；因此距离注意中心较近的目标块将获得较大的w_t(o_k，n)值，而距离注意中心较远的目标块将获得较小的w_t(o_k，n)值。

在上述的一种基于动态注意中心的视频显著目标检测方法，步骤2.3中，改进后的时域显著目标检测结果用S_t(o_k)表示，其获得过程如公式(6)所示：

S_t(o_k)＝w_t(o_k，n)S′_t(o_k) (6)

改进后的空域显著目标检测结果用S_s(o_k)表示，其获得过程如公式(7)所示：

S_s(o_k)＝w_t(o_k，n)S′_s(o_k) (7)

根据权利要求3所述的时、空域显著目标检测结果融合，其特征在于：

步骤3.1中，像素归一化后的运动矢量的梯度幅值用M(x，y)表示，其获得过程如公式(8)所示：

其中I_m(x，y)代表像素的归一化运动矢量的模长。

在上述的一种基于动态注意中心的视频显著目标检测方法，步骤3.2中，时域显著度检测结果在时、空域显著目标融合中所占有的比例系数用λ表示，其获得过程如公式(9)所示：

其中μ代表合理的一幅图像的梯度幅度的总值，σ代表收敛率；空域显著度检测结果在时、空域显著目标融合中所占有的比例系数用1-λ表示。

在上述的一种基于动态注意中心的视频显著目标检测方法，步骤3.3中，最终的显著目标检测结果用S(I)表示，其获得过程如公式(10)所示：

S(I)＝λS_t(I)+(1-λ)S_s(I) (10)

其中S_t(I)是步骤2.3中获得的改进后的时域显著目标检测结果，λ是步骤3.2中获得的时域显著目标检测结果在最终的显著目标检测结果中所占的比例，S_s(I)是步骤2.3中获得的改进后的空域显著目标检测结果，1-λ是步骤3.2中获得的时域显著目标检测结果在最终的显著目标检测结果中所占的比例。

因此，本发明具有如下优点：本发明可以实现对视频中的显著目标的准确检测，有效抑制背景的干扰，在检测结果上体现了较高的时空一致性。从而有效解决背景技术提到的问题，是视频显著目标提取后续应用的基础工作。

附图说明

图1是本发明实施例的基于动态注意中心的视频显著目标检测流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供本一种基于动态注意中心的视频显著目标检测方法分为初步时、空域显著目标检测，基于动态注意中心的时、空域显著目标检测结果优化和时、空域显著目标融合三个阶段；

本实施例的初步时、空域显著目标检测阶段，其具体实现包括以下子步骤：

步骤1.1：对输入视频源逐帧进行图像分割，获得图像分割成数个目标块后的分割结果；

步骤1.2：使用输入视频源连续两帧之间的光流信息，获得图像中每个像素的运动矢量；

步骤1.3：利用图像分割的结果和每个像素的运动矢量可以得到一个目标块的运动矢量。目标块的运动矢量用表示，其获得过程如公式(1)所示：

其中

代表第k个目标块所包含的所有像素的运动矢量的平均运动矢量，n代表第k个目标块所包含的像素数目，

w_v(o_k)代表第k个目标块所归一化的运动矢量方差；

步骤1.4：利用每一个目标块的运动矢量与其余目标块的运动矢量的全局对比度来获取初步的时域显著目标，并使用归一化的距离权重值来约束距离较远的目标块的影响。目标块的运动矢量用S′_t(o_k)表示，其获得过程如公式(4)所示：

其中代表归一化后的距离权重值，以消除距离较远的目标块对当前目标块的显著度值计算的影响。D_t(o_k，o_i))代表归一化后的两个目标块中心之间的距离。w_v(o_k)代表目标块内像素的个数以增强较大目标块的运动对比度；

步骤1.5：利用每一个目标块与其余目标块的颜色全局对比度来获取初步的时域显著目标，同样使用归一化的距离权重值来约束距离较远的目标块的影响；

本实施例的基于动态注意中心的时、空域显著目标检测结果优化阶段，其具体实现包括以下子步骤：

步骤2.1：获取前一帧图像检测的显著目标的中心位置作为当前一帧图像的注意中心；

步骤2.2：计算当前目标块的中心与当前帧的注意中心之间的归一化距离作为距离权重值。距离权重值用w_t(o_k，n)表示，其获得过程如公式(5)所示：

其中d_k(o_k，o′_k)是当前帧图像的视觉注意中心与目标块中心之间的距离。因此距离注意中心较近的目标块将获得较大的w_t(o_k，n)值，而距离注意中心较远的目标块将获得较小的w_t(o_k，n)值；

步骤2.3：利用这一距离权重值，对上述步骤1.4和步骤1.5获得初步时、空域显著目标检测结果进行优化，得到优化后的时、空域显著目标检测结果。改进后的时域显著目标检测结果用S_t(o_k)表示，其获得过程如公式(6)所示：S_t(o_k)＝w_t(o_k，n)S′_t(o_k)(6)改进后的空域显著目标检测结果用S_s(o_k)表示，其获得过程如公式(7)所示：

S_s(o_k)＝w_t(o_k，n)S′_s(o_k) (7)；

本实施例的时、空域显著目标检测结果融合阶段，其具体实现包括以下子步骤：

步骤3.1：计算每一个像素归一化后的运动矢量的梯度幅值。像素归一化后的运动矢量的梯度幅值用M(x，y)表示，其获得过程如公式(8)所示：

其中I_m(x，y)代表像素的归一化运动矢量的模长；

步骤3.2：根据步骤3.1获得的梯度幅值统计整幅图像内运动矢量梯度幅值的总和，利用高斯函数计算时域显著度图在时、空域显著目标融合中所占有的比例系数。时域显著度检测结果在时、空域显著目标融合中所占有的比例系数用λ表示，其获得过程如公式(9)所示：

其中μ代表合理的一幅图像的梯度幅度的总值，σ代表收敛率。空域显著度检测结果在时、空域显著目标融合中所占有的比例系数用1-λ表示；

步骤3.3：利用步骤3.2获得的比例系数，对步骤2.3获得的优化后的时、空域显著目标检测结果进行线性融合，获得最终的显著目标检测结果。最终的显著目标检测结果用S(I)表示，其获得过程如公式(10)所示：

S(I)＝λS_t(I)+(1-λ)S_s(I) (10)

其中S_t(I)是步骤2.3中获得的改进后的时域显著目标检测结果，λ是步骤3.2中获得的时域显著目标检测结果在最终的显著目标检测结果中所占的比例，S_s(I)是步骤2.3中获得的改进后的空域显著目标检测结果，1-λ是步骤3.2中获得的时域显著目标检测结果在最终的显著目标检测结果中所占的比例。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于动态注意中心的视频显著目标检测方法，其特征在于，包括：

步骤1，初步时、空域显著目标检测，并得到检测结果，包括：对输入视频源逐帧进行图像分割，获得图像分割成数个目标块后的分割结果；使用输入视频源连续两帧之间的光流信息，获得图像中每个像素的运动矢量；利用图像分割的结果和每个像素的运动矢量可以得到一个目标块的运动矢量；利用每一个目标块的运动矢量与其余目标块的运动矢量的全局对比度来获取初步的时域显著目标，并使用归一化的距离权重值来约束距离较远的目标块的影响；利用每一个目标块与其余目标块的颜色全局对比度来获取初步的时域显著目标，同样使用归一化的距离权重值来约束距离较远的目标块的影响；

步骤2，针对步骤1得到的时、空域显著目标检测结果进行优化，包括：获取前一帧图像检测的显著目标的中心位置作为当前一帧图像的注意中心；计算当前目标块的中心与当前帧的注意中心之间的归一化距离作为距离权重值；利用这一距离权重值，对获得的初步时、空域显著目标检测结果进行优化，得到优化后的时、空域显著目标检测结果；

步骤3，针对步骤2中得到的优化结果进行时、空域显著目标检测结果融合，包括：计算每一个像素归一化后的运动矢量的梯度幅值；根据获得的梯度幅值统计整幅图像内运动矢量梯度幅值的总和，利用高斯函数计算时域显著度图在时、空域显著目标融合中所占有的比例系数；利用获得的比例系数，对步骤2获得的优化后的时、空域显著目标检测结果进行线性融合，获得最终的显著目标检测结果。

2.根据权利要求1所述的一种基于动态注意中心的视频显著目标检测方法，其特征在于，所述步骤1具体包括以下子步骤：

步骤1.1：对输入视频源逐帧进行图像分割，获得图像分割成数个目标块后的分割结果；

步骤1.2：使用输入视频源连续两帧之间的光流信息，获得图像中每个像素的运动矢量；

步骤1.3：利用图像分割的结果和每个像素的运动矢量可以得到一个目标块的运动矢量；

步骤1.4：利用每一个目标块的运动矢量与其余目标块的运动矢量的全局对比度来获取初步的时域显著目标，并使用归一化的距离权重值来约束距离较远的目标块的影响；

步骤1.5：利用每一个目标块与其余目标块的颜色全局对比度来获取初步的时域显著目标，同样使用归一化的距离权重值来约束距离较远的目标块的影响。

3.根据权利要求1所述的一种基于动态注意中心的视频显著目标检测方法，其特征在于，所述步骤2具体包括以下子步骤：

步骤2.1：获取前一帧图像检测的显著目标的中心位置作为当前一帧图像的注意中心；

步骤2.2：计算当前目标块的中心与当前帧的注意中心之间的归一化距离作为距离权重值；

步骤2.3：利用这一距离权重值，对上述步骤1.4和步骤1.5获得初步时、空域显著目标检测结果进行优化，得到优化后的时、空域显著目标检测结果。

4.根据权利要求1所述的一种基于动态注意中心的视频显著目标检测方法，其特征在于，所述步骤3具体包括以下子步骤：

步骤3.1：计算每一个像素归一化后的运动矢量的梯度幅值；

步骤3.2：根据步骤3.1获得的梯度幅值统计整幅图像内运动矢量梯度幅值的总和，利用高斯函数计算时域显著度图在时、空域显著目标融合中所占有的比例系数；

步骤3.3：利用步骤3.2获得的比例系数，对步骤2.3获得的优化后的时、空域显著目标检测结果进行线性融合，获得最终的显著目标检测结果。

5.根据权利要求1所述的一种基于动态注意中心的视频显著目标检测方法，其特征在于，所述步骤1.3中，目标块的运动矢量用表示，其获得过程如公式(1)所示：

$\stackrel{\→}{v}\left(o_k\right)=w_v\left(o_k\right)\stackrel{\→}{m_a}\left(o_k\right)---\left(1\right)$

其中

代表第k个目标块所包含的所有像素的运动矢量的平均运动矢量，n代表第k个目标块所包含的像素数目，

$w_v\left(o_k\right)=\exp (-\mathrm{\σ}\frac{{\mathrm{\Σ}}_{p_i\∈o_k}|\stackrel{\→}{m_i}\left(p_i\right)-\stackrel{\→}{m_a}\left(o_k\right){|}^2}{n})---\left(3\right)$

w_v(o_k)代表第k个目标块所归一化的运动矢量方差；

步骤1.4中，目标块的运动矢量用S′_t(o_k)表示，其获得过程如公式(4)所示：

$S_t^{\′}\left(o_k\right)={\mathrm{\Σ}}_{o_k\≠o_i}\exp (-\frac{D_t(o_k,o_i)}{{\mathrm{\σ}}^2})w_v\left(o_k\right)w\left(o_i\right)|\stackrel{\→}{v}\left(o_k\right)-\stackrel{\→}{v}\left(o_i\right){|}^2---\left(4\right)$ 其中代表归一化后的距离权重值，以消除距离较远的目标块对当前目标块的显著度值计算的影响；D_t(o_k，o_i))代表归一化后的两个目标块中心之间的距离；w_v(o_k)代表目标块内像素的个数以增强较大目标块的运动对比度。

6.根据权利要求1所述的一种基于动态注意中心的视频显著目标检测方法，其特征在于，步骤2.2中，距离权重值用w_t(o_k，n)表示，其获得过程如公式(5)所示：

$w_t(o_k,n)=\exp (-\frac{d_k^2(o_k,o_k^{\′})}{{\mathrm{\σ}}^2})---\left(5\right)$

其中d_k(o_k，o′_k)是当前帧图像的视觉注意中心与目标块中心之间的距离；因此距离注意中心较近的目标块将获得较大的w_t(o_k，n)值，而距离注意中心较远的目标块将获得较小的w_t(o_k，n)值。

7.根据权利要求1所述的一种基于动态注意中心的视频显著目标检测方法，其特征在于，步骤2.3中，改进后的时域显著目标检测结果用S_t(o_k)表示，其获得过程如公式(6)所示：

S_t(o_k)＝w_t(o_k，n)S′_t(o_k) (6)

改进后的空域显著目标检测结果用S_s(o_k)表示，其获得过程如公式(7)所示：

S_s(o_k)＝w_t(o_k，n)S′_s(o_k) (7)

根据权利要求3所述的时、空域显著目标检测结果融合，其特征在于：

步骤3.1中，像素归一化后的运动矢量的梯度幅值用M(x，y)表示，其获得过程如公式(8)所示：

$M(x,y)=mag(\▿I_m(x,y\left)\right)---\left(8\right)$

其中代表像素的归一化运动矢量的模长。

8.根据权利要求1所述的一种基于动态注意中心的视频显著目标检测方法，其特征在于，步骤3.2中，时域显著度检测结果在时、空域显著目标融合中所占有的比例系数用λ表示，其获得过程如公式(9)所示：

$\mathrm{\λ}=\exp (-\frac{{\left(\mathrm{\Σ}M\right(x,y)-\mathrm{\μ})}^2}{{\mathrm{\σ}}^2})---\left(9\right)$

其中μ代表合理的一幅图像的梯度幅度的总值，σ代表收敛率；空域显著度检测结果在时、空域显著目标融合中所占有的比例系数用1-λ表示。

9.根据权利要求1所述的一种基于动态注意中心的视频显著目标检测方法，其特征在于，步骤3.3中，最终的显著目标检测结果用S(I)表示，其获得过程如公式(10)所示：

S(I)＝λS_t(I)+(1-λ)S_s(I) (10)

其中S_t(I)是步骤2.3中获得的改进后的时域显著目标检测结果，λ是步骤

3.2中获得的时域显著目标检测结果在最终的显著目标检测结果中所占的比例，S_s(I)是步骤2.3中获得的改进后的空域显著目标检测结果，1-λ是步骤3.2中获得的时域显著目标检测结果在最终的显著目标检测结果中所占的比例。