CN102110297B - 一种基于累积光流和双背景滤波的移动物体的探测方法 - Google Patents

Abstract

本发明涉及一种基于累积光流和双背景滤波的移动物体的探测方法。其方法步骤是：第一步，光流检测，根据光流限制条件，计算相邻帧间的每个像素点的光流信息，得到有运动趋势的像素点；第二步，双背景滤波检测，首先通过对光流信息的累积得到前背景光流信息和后背景光流信息，然后进行双背景光流信息滤除，通过比较前五帧背景光流积累和后三帧前景光流积累从而有效分离背景噪声和前景运动信息。本发明可以消除帧间稳定性的信息并在同时保留了帧间随机性的信息，而且此方法不需要学习背景模型并可以快速适应图像的变化，具有很高的抗干扰性和识别准确率，同时相对于其它实现相同功能的识别算法，它具有更少的运算量和更快的运行时间。

Description

一种基于累积光流和双背景滤波的移动物体的探测方法

技术领域

本发明属于智能视频分析领域，特别是指一种基于累积光流和双背景滤波的移动物体的探测方法。

背景技术

在近几年中，物体移动探测技术引起了很多计算机视觉学者们的广泛关注，主要是因为其在众多领域里的具有发展前途的应用，尤其是在视频监控领域。但是此项技术仍然处在早期的发展阶段，仍然需要在各个方面得到提高以适应各种复杂的环境条件。

目前已经有一些移动物体探测的算法被提出，在它们当中有两种具有代表性的方法，它们分别是背景差法和光流法。

背景差法是最常用的方法，它通常应用在静止的背景环境下，其原理是用一个背景模型当作参考，来与当前帧图像进行比较，以探测到前景运动信息。背景差法快速、简单，但此方法在应用时需要有固定，静止的背景。

光流法是一种运动补偿的方法，它用来估计在相邻两帧内象素点的运动趋势，它可以应用在背景信息变化的环境下。其原理是假设相应的象素点在连续两帧内的运动不超过一定的象素距离以计算出它的运动趋势。光流法相对于背景差法要复杂一些，但它可以很准确的探测到物体运动而不需要考虑背景模型。

发明内容

本发明的目的在于提供一种基于累积光流和双背景滤波的移动物体的探测方法，它可达到很高的抗干扰性和识别准确率，同时相对于其它实现相同功能的识别算法，它具有更少的运算量和更快的运行时间。

本发明的技术方案是：

一种基于累积光流和双背景滤波的移动物体的探测方法，其方法步骤是：

第一步：采用光流法对运动物体图像进行光流检测，用来得到有运动趋势的像素点，建立光流模型，得到前景运动的光流信息，该步骤具体为：

根据光流限制条件，对于每个像素点进行光流计算：利用sobel算子分别计算每个像素点在x横向方向，y纵向方向和t时间方向上的梯度值，通过光流计算公式得到每个像素点的光流数值；并通过光流阈值的设定，得到有运动趋势的像素点；

所谓光流限制条件，就是假设运动图像函数f(x，y，t)是关于变量x，y和t的连续函数。设物体成像点在时刻t，位置(x，y)的强度值f(x，y，t)。如果用u(x，y)和v(x，y)表示图像在该点的水平和垂直速度分量，则在时刻t+dt，图像点从(x，y)移动到位置(x+dx，y+dy)，强度值f(x+dx，y+dy，t+dt)，其中dx＝udt，dy＝vdt，分别表示水平和垂直方向上的位移。根据运动物体图像像素强度守恒原理，对于同一个目标点来说，可以认为在时刻t+dt，图像点(x+dx，y+dy)的强度f(x+dx，y+dy，t+dt)应当与在时刻t，图像点(x，y)的强度f(x，y，t)相等，即：

f(x，y，t)＝f(x+dx，y+dy，t+dt)

根据函数f(x，y，t)中变量x，y和t的连续性，可将上式右边在(x，y，t)作泰勒级数展开，略去高阶项并同时除以dt可得到：

$\frac{\∂f}{\∂x}\frac{\mathrm{dx}}{\mathrm{dt}}+\frac{\∂f}{\∂y}\frac{\mathrm{dy}}{\mathrm{dt}}+\frac{\∂f}{\∂t}=0$

上式就是基本的光流限制条件约束方程，它反映了运动图像时间梯度与空间梯度之间的时空微分关系，表示图像强度对时间变化率等于强度的空间变化率与运动速度的乘积。

第二步：双背景滤波，用来分离背景噪声和前景运动信息，该步骤具体为：

通过光流累积得到后背景光流信息和前背景光流信息，共积累前后十帧光流信息，将前五帧光流信息进行累积作为后背景光流信息并存在A⁵累积矩阵中；将后三帧光流信息进行累积作为前景光流信息并存在A³累积矩阵中；然后进行双背景滤波，通过比较前五帧背景光流积累和后三帧前景光流积累，将这两部分相互重合的部分滤除，剩下的部分就是真正的有运动趋势的光流信息；

第三步：对A⁵、A³累积矩阵进行更新，将两个累积矩阵全部清零，随着新的视频帧的输入，以上三个步骤重复进行。

本发明的优点在于：本发明结合了光流检测法和双背景滤波法，利用光流累积的方法，并结合双背景滤波，可以消除帧间稳定性的信息并在同时保留了帧间随机性的信息，而且此方法不需要学习背景模型并可以快速适应图像的变化，具有很高的抗干扰性和识别准确率，同时相对于其它实现相同功能的识别算法，它具有更少的运算量和更快的运行时间。

附图说明

图1为本发明的工作流程示意图。

图2为本发明所述的sobel算子意图。

图3为本发明所述的双背景滤波示意图。

具体实施方式

下面就结合说明书附图及对本发明作进一步的说明。

本发明是一种基于累积光流和双背景滤波移动物体的探测方法，该方法的工作流程图如图1、图2、图3所示。

第一步：采用光流法对运动物体图像进行光流检测，用来得到有运动趋势的像素点，建立光流模型，得到前景运动的光流信息。该步骤具体为：根据光流限制条件，将某帧256级灰度图像在时间t时某象素点(x，y)的灰度值设为I(x，y，t)，对于每个像素点的光流计算公式如下：

$\left[\begin{array}{c}{V}_x\\ V_y\end{array}\right]={\left[\begin{array}{cc}\mathrm{\Σ}{I}_x^2& \mathrm{\Σ}{I}_x{I}_y\\ \mathrm{\Σ}{I}_x{I}_y& \mathrm{\Σ}{I}_y^2\end{array}\right]}^{-1}\left[\begin{array}{c}-\mathrm{\Σ}{I}_x{I}_t\\ -\mathrm{\Σ}{I}_y{I}_t\end{array}\right]$

其中Vx和Vy是像素点在x和y方向上的光流值，Ix，Iy和It分别为像素点在x，y和t方向上的梯度值，这里利用sobel算子分别计算在x方向，y方向和t方向上的梯度值，sobel算子如图2所示：

Soble算子是图像处理中的算子之一，主要用作边缘检测。在技术上，它是一离散性差分算子，用来运算图像亮度函数的梯度之近似值。该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以C代表当前时刻t的原始图像，Ix及Iy用公式计算如下：

$I_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]*\mathrm{Cand}$ $I_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]*C$

其中t方向的梯度计算需要相邻两帧图像的信息，It用公式计算如下：

$I_t=\left[\begin{array}{ccc}-1& -2& -1\\ -2& -4& -2\\ -1& -2& -1\end{array}\right]*C_{t-1}+\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]*C_t$

为了使像素的光流值得以显示，设定光流阈值，凡是计算出来的光流值大于此值的时候将其显示出来，用到的公式如下：

$F_n(x,y)=\left\{\begin{array}{cc}255& \mathrm{if}{F}_n(x,y)>T\\ 0& \mathrm{Otherwise}\end{array}\right.$

$F_n(x,y)=\sqrt{V_x^2+V_y^2}$

其中Fn(x，y)为像素点的光流显示值，T为光流阈值，凡是光流值大于光流阈值的像素点显示为白色，否则显示为黑色，这里取光流阈值为0.1。

第二步：双背景滤波，用来分离背景噪声和前景运动信息，该步骤具体为：进行双背景滤波检测。通过第一步叙述的方法，即光流累积得到后背景光流信息和前背景光流信息，共积累前后十帧光流信息，首先将前五帧光流信息进行累积作为后背景光流信息，设A⁵为累积矩阵，定义为与视频帧一样大小的且初始值设为零，用来计算矩阵的公式如下：

$A^5(i,j)=\left\{\begin{array}{ccc}{A}^5(i,j)+1& \mathrm{if}& F_k(i,j)=255\\ A^5(i,j)& \mathrm{if}& F_k(i,j)=0\end{array}\right.k=\mathrm{1,2,3,4,5}$

然后把后三帧光流信息进行累积作为前景光流信息，设A³为累积矩阵，用来计算矩阵的公式如下：

$A^3(i,j)=\left\{\begin{array}{ccc}{A}^3(i,j)+1& \mathrm{if}& F_k(i,j)=255\\ A^3(i,j)& \mathrm{if}& F_k(i,j)=0\end{array}\right.k=\mathrm{8,9,10}$

然后，通过比较前五帧背景光流积累和后三帧前景光流积累，将这两部分相互重合的部分滤除，剩下的部分就是真正的有运动趋势的光流信息，整个过程如图3所示：

用来提取运动光流的公式如下：

$B(i,j)=\left\{\begin{array}{ccc}0& \mathrm{if}& A^5(i,j)>0\mathrm{and}{A}^3(i,j)>0\\ 255& \mathrm{if}& A^5(i,j)=0\mathrm{and}{A}^3(i,j)>0\end{array}\right.$

其中B(i，j)为像素点的光流显示值，255为白色，0为黑色。

第三部是对A⁵、A³累积矩阵进行更新，将两个累积矩阵全部清零，随着新的视频帧的输入，两个累积矩阵A⁵和A³全部至为零。

随着新的视频帧的输入，以上所有步骤重复进行。

本发明中是结合了光流检测法和双背景滤波法，并提取了光流检测法的优点与双背景滤波法综合应用，光流法用来探测最初的可能移动区域并建立了背景和前景的光流模型；双背景滤波法通过干扰和实际运动的物理特性来区分开背景干扰和前景运动信息以克服环境变化产生的影响。

以本发明应用在TI最近推出的达芬奇产品线的最新数字信号处理器TMS320DM647为例，可以大大提升了DSP智能视频能力，在它的支持下，基于这些DSP的NVR与DVR等高级摄像头系统可实现视频内容分析功能，允许在整体网络视频监控系统中集成更高的灵活性、可升级性以及智能性。由于本发明具有对视频处理实时性高的优势，即对每帧的消耗时间能控制在4ms/帧，可以很好的实现在一颗主频720M的DM647芯片上进行8路实时视频智能功能的任务，降低了DVR的BOM成本，并使DVR设计方案更便于实现简约化。

本发明具有很好的抗干扰性强的功能，针对目前市面上大量使用的低成本摄像头，采用本发明的技术方案，可以有效的去除摄像头的工程噪音，保证探测质量，还可以针对目前对于智能功能配套高级摄像头的要求，可以在不进行摄像头升级的基础上完成智能功能，从而大幅度降低了使用成本。

Claims (3)

1.一种基于累积光流和双背景滤波的移动物体的探测方法，其特征在于：该方法步骤是：

第一步：采用光流法对运动物体图像进行光流检测，用来得到有运动趋势的像素点，建立光流模型，得到前景运动的光流信息，该步骤具体为：

根据光流限制条件，对于每个像素点进行光流计算：利用sobel算子分别计算每个像素点在x横向方向，y纵向方向和t时间方向上的梯度值，通过光流计算公式得到每个像素点的光流数值；并通过光流阈值的设定，得到有运动趋势的像素点；

第二步：双背景滤波，用来分离背景噪声和前景运动信息，该步骤具体为：

通过光流累积得到后背景光流信息和前背景光流信息：共积累前后十帧光流信息，将前五帧光流信息进行累积作为后背景光流信息并存在A⁵累积矩阵中，将后三帧光流信息进行累积作为前景光流信息并存在A³累积矩阵中；然后进行双背景滤波：通过比较前五帧背景光流积累和后三帧前景光流积累，将这两部分相互重合的部分滤除，剩下的部分就是真正的有运动趋势的光流信息；

第三步：对A⁵、A³累积矩阵进行更新：将两个累积矩阵全部清零，随着新的视频帧的输入，以上三个步骤重复进行。

2.根据权利要求1所述的一种基于累积光流和双背景滤波的移动物体的探测方法，其特征在于：其中所述利用sobel算子分别计算每个像素点在x横向方向，y纵向方向和t时间方向上的梯度值，通过光流计算公式得到每个像素点的光流数值的步骤具体为：将某帧256级灰度图像在时间t时某象素点(x，y)的灰度值设为I(x，y，t)，对于每个像素点的光流计算公式如下：

$\left[\begin{array}{c}{V}_x\\ V_y\end{array}\right]={\left[\begin{array}{cc}\mathrm{\Σ}{I}_x^2& \mathrm{\Σ}{I}_x{I}_y\\ \mathrm{\Σ}{I}_x{I}_y& \mathrm{\Σ}{I}_y^2\end{array}\right]}^{-1}\left[\begin{array}{c}-\mathrm{\Σ}{I}_x{I}_t\\ -\mathrm{\Σ}{I}_y{I}_t\end{array}\right]$

其中Vx和Vy是像素点在x和y方向上的光流值，Ix，Iy和It分别为像素点在x，y和t方向上的梯度值，利用sobel算子分别计算在x方向，y方向和t方向上的梯度值。

3.根据权利要求1或2所述的一种基于累积光流和双背景滤波的移动物体的探测方法，其特征在于：所述的光流限制条件是运动物体图像像素强度守恒原理，对于同一个目标点来说，在时刻t+dt图像点(x+dx，y+dy)的强度f(x+dx，y+dy，t+dt)应当与在时刻t图像点(x，y)的强度f(x，y，t)相等。

Images