CN104408742A - 一种基于空间-时间频谱联合分析的运动目标检测方法 - Google Patents

Abstract

本发明公开一种基于空间-时间频谱联合分析的运动目标检测方法。针对视频序列，该方法主要包括单帧图像像素间空间频谱分析及连续多帧图像对应像素点时间序列时间频谱分析。其中对单帧静态图像的空间频谱分析能够检测出图像像素间信息的突变，从而得到有可能包含运动目标的候选图像区域，以此作为运动目标的候选区域。进而在初步得到的候选区域中，对连续多帧图像对应像素点所组成的时间序列的时间频谱进行分析。该分析能够检测同一像素点在时间上的突变，以此检测出候选区域中所包含的运动目标。最终实现对场景运动目标的检测。本发明能够稳定、可靠地用于复杂场景中的运动目标运动检测，且运算效率较高。

Description

一种基于空间-时间频谱联合分析的运动目标检测方法

技术领域

本发明涉及一种基于空间-时间频谱联合分析的运动目标检测方法，尤其涉及一种运动目标检测方法，属于计算机视觉技术领域。

背景技术

运动目标检测作为计算机视觉领域的研究热点，在智能视频监控、图像检索、运动分析等众多领域都均有着十分广泛的应用。近年来，随着运动特征提取及目标检测技术的发展，业已形成多种运动目标检测方法，主要包括帧间差分法、背景差分法、光流法等。帧间差分法的基本原理是对视频图像序列中连续两帧图像作“减法”运算，通过图像像素点间的一对一比较实现运动信息的提取及运动目标检测。不同于帧间差分法，背景差分法首先以更加抽象的数学模型对图像背景信息进行形式化建模。在此基础上通过滤波技术实现对运动目标的准确检测。因此，如何对背景图像准确的建模是该方法的核心，主要包括统计平均、核密度估计、高斯混合模型(GMM)、压缩感知、码本模型(Coodbook)等建模方法。不同于前二种方法，光流法以图像中各像素点灰度值的瞬时变化率(光流)为基础，根据光流的差异区分目标和背景。

对于运动目标检测研究，文献[1]提出了一种基于Harris角点匹配的补偿HS光流法(CHS)。该算法能够很好的求解对大位移刚性物体的光流计算，从而实现对运动目标的检测。文献[2]将五帧差分法和背景相减法结合实现动态场景中的运动目标检测。文献[3]基于高斯混合模型的遗传K均值算法进行运动目标检测。根据遗传K均值算法在时间轴上将图像像素进行聚类，实现对背景的分类，从而实现运动目标检测。文献[4]在图像显著性提取过程中添加了一个差分通道提取多帧图像间的运动特征，该方法能够实现对运动目标的检测。文献[5]将静态显著图与动态显著图相互融合，在静态显著图上加入了方向特征从而实现对运动目标的检测。上述研究均能在一定程度上实现对运动目标的检测，为运动目标检测方法研究奠定了基础。但这些工作多是在图像的空域、时域中所进行的研究背景噪声及静态目标对运动目标检测的干扰较大。

目前，通过图像频域中的计算实现运动目标检测的相关方法较少，更没有采用空间-时间频谱联合分析的运动目标检测方法。采用频谱分析实现运动目标检测方法的技术优势在于能够有效抑制空域或时间域中所包含的噪声。且由于仅需要傅里叶变换的支持及简单的线性计算，基于空间-时间频谱联合分析的运动目标检测算法的运算复杂度较低。鉴于此，本发明通过空间频谱分析首先提取可能包含运动目标的候选区域，随后在候选区域中通过时间频谱分析获取候选区域中的运动信息，以确定运动目标的图像区域，实现运动目标检测。

参考文献：

[1]Lu Ziyun,Liu Wei.The Compensated HS Optical Flow Estimation Based onMatching Harris Corner Points[C]//International Conference on Electrical andControl Engineering,2010.

[2]Huijuan Zhang,Hanmei Zhang,A Moving Target Detection AlgorithmBased on Dynamic Scenes[C]//The 8th International Conference on ComputerScience&Education,2013.

[3]Duan Xiuman,Sun Guoxia,Yang Tao.Moving target detection based onGenetic K-means Algorithm[C]//International Conference on CommunicationTechnology(ICCT):IEEE,2011.

[4]GUO Chenlei,MA QI,ZHANG Liming.Spatio-temporal saliency detectionusing phase spectrum of quaternion Fourier transform[C]//Conference on ComputerVision and Pattern Recognition.Alaska:IEEE,2008:1-8.

[5]肖利梅，曹洁，李策，基于多尺度相位谱的显著性运动目标检测[J].兰州理工大学学报，2011。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于空间-时间频谱联合分析的运动目标检测方法，通过提出视频连续帧图像时间频谱分析方法，获取对应像素点的时变信息。进而同静态单帧图像空间频谱分析方法相结合，将其作为时间频谱分析的前端处理环节，以空间频谱分析获取运动目标的候选图像区域，从而减少后端时间频谱分析所需的计算量。两种频谱分析方法的结合能够以较小的计算复杂度为代价准确实现运动目标检测。

技术方案：一种基于空间-时间频谱联合分析的运动目标检测方法，包括：

首先将单帧图像视为静态的样本，采用空间傅里叶变换的计算方法获取该图像的空间频谱信息；

随后，在此基础上进一步提取该图像的空间频谱所对应的相位谱；

随后，采用空间反傅里叶变换仅对相位谱进行反变换，获得图像中像素在空间上的突变，形成运动目标的特征图像。

随后，采用高斯滤波器对所形成的特征图进行平滑并进行二值化处理，以形成候选运动目标模板图像，其中强度值饱和的区域对应于候选运动目标区域。

随后，将候选运动目标模板图像同原始图像相互点乘，所得图像中非零区域中的图像信息即为候选运动目标图像信息。

至此，完成对视频序列图像的空间频谱分析。在候选目标区域中包含有静态目标区域，运动目标区域及背景中同邻域差异较大的噪声区域。

将视频帧图像视为时间上连续的时变样本。在每帧图像中的候选运动目标区域中，针对每一个空间位置，将像素组成在时间上连续的序列。采用时间傅里叶变换的计算方法获取该位置像素序列的时间频谱信息。

随后，在上述步骤的基础上进一步提取该频谱所对应的相位谱。

随后，对该相位谱进行滤波，计算其波动幅度。设置阈值，若其波动幅度大于阈值则对应于该位置像素在时间上发生突变，该像素属于运动目标区域。反之，则认为该位置像素在时间上并没有发生变化，不属于运动目标。将属于运动目标区域的像素值设置为1其余设置为0，以此作为运动目标的模板图像。

最后，将运动目标模板图像同原始图像相互点乘，所得图像中非零区域即为运动目标区域。

本发明采用上述技术方案，具有以下有益效果：

1、抗干扰能力强。首先采用空间频谱分析方法获取运动目标的候选区域能够有效抑制背景噪声、斑点噪声对运动目标检测的影响。随后在目标区域中所进行的时间频谱分析能够降低由于相机抖动以及光照变化对运动目标检测的干扰。此外，在空间频谱分析中所采用高斯滤波及时间频谱分析中所采用阈值滤波能够抑制图像像素在时间及空间上较小的变化，突出视频图像空间和时间上的突变。这种滤波能够降低视频图像帧在空间和时间上较小变化对运动目标检测的干扰。

2、目标运动检测精度高。同常用的运动特征提取相比，采用所提出的视频图像时间序列时间频谱分析方法将视频序列视为一个整体。这种计算并不依赖于对视频帧的两两帧间操作，能够反映出在整个视频时间区间内该位置像素的变化，提取出视频序列中完整的目标运动信息。从而更加准确地发现运动目标，实现高精度的运动目标检测。

3、算法复杂度显著下降。在空间及时间频谱分析中所采用的空间、时间傅里叶变换及反变换，将单帧图像及连续图像帧作为一个整体计算，相比较帧图像像素点与点之间及帧与帧之间的逐一运算，算法的复杂度显著降低。此外在具体的实施中采用优化后的傅里叶变换方法能够进一步降低算法的复杂度。此外，采用空间傅里叶变换作为时间傅里叶变换的前端处理过程，能够获得运动目标的候选区域，降低后端时间傅里叶变换所输入的数据量，这种分级的策略有助于降低整体方法的计算复杂度。

附图说明

图1是本发明所提出方法的流程图；

图2是空间频谱分析得到的运动目标候选区域，其中：(a)为原始视频图像，(b)为运动目标模板图像；

图3是时间频谱分析得到的运动目标模板图像，其中：(a)为原始视频图像，(b)为运动目标模板图像。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，将单帧图像视为独立样本I(x,y)其中x＝0,1,…,M-1，y＝0,1,…,N-1，对其进行二维空间傅里叶变换：

$F(u,v)=\mathrm{FT}\left(I(x,y)\right)=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}I(x,y)e^{-\mathrm{jux}}{e}^{-\mathrm{jvy}}---\left(1\right)$

其中，j为虚部，M，N分别为图像的行数和列数，u＝0,1,…,M-1，v＝0,1,…,N-1。

采用极坐标方式对其进行表示：

F(u,v)＝|F(u,v)|e^-jφ(u,v)   (2)其中，若其实部和虚部可以表示为R(u,v)和J(u,v)，则其相位谱可表示为：

$\mathrm{\φ}(u,v)=\arctan \left[\frac{J(u,v)}{R(u,v)}\right]---\left(3\right)$

根据傅里叶变换中的相关理论及实验研究，相位谱的波动反映输入数据的变化。对应于输入图像，相位谱的波动反映像素间信息的变化。对相位谱进行快速反傅里叶变换可以获取图像中像素信息的突变区域：

$\mathrm{IFT}\left[e^{-\mathrm{j\φ}(u,v)}\right]=\frac{1}{\mathrm{MN}}\underset{u=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}{e}^{-\mathrm{j\φ}(u,v)}{e}^{j2\mathrm{\π}(\mathrm{ux}/M+\mathrm{vy}+N)}---\left(4\right)$

反傅里叶变换后得到特征图像，对其进行高斯平滑滤波及二值化后特征图中强度值为1的区域对应于原图像中所包含的运动目标候选区域，如图2所示：

SM(x,y)＝E[g(x,y)*||IFT[e^-jφ(u,v)]||²-ε]   (5)

其中，g(x,y)为高斯滤波器：

$g(x,y)={\mathrm{Ae}}^{-\frac{r^2}{{\mathrm{\σ}}^2}}---\left(6\right)$

其中，A为高斯滤波器的峰值，r为高斯滤波器的宽度，σ为高斯滤波器的方差。其中，E[·]为用于二值化的阶跃函数，ε为阶跃函数的阈值。将标定目标候选区域的模板图像同输入图像进行乘法操作，所得到图像K(x,y)其中的非零区域中所包含的图像信息即为候选的运动目标图像信息：

K(x,y)＝SM(x,y)I(x,y)   (7)

如图1所示，将表征候选目标区域的图像K(x,y)视为时间上连续的时变样本K_t(x,y)，t＝0,1,…,T-1。假定考察τ时刻所对应视频图像中的运动目标0≤τ≤T-1，则K_τ(x,y)中的非零像素区域对应于该时刻视频帧中的候选运动目标区域，对于其中每个像素点(x_τ′,y_τ′)均将其在上扩展为在时间t＝0,1,…,T-1上扩展的序列。可表示为

[I₀(x_τ′,y_τ′),…,I_τ(x_τ′,y_τ′),…,I_T-1(x_τ′,y_τ′)]   (8)在此以灰度图像为例，则[I₀(x_τ′,y_τ′),…,I_τ(x_τ′,y_τ′),…,I_T-1(x_τ′,y_τ′)]为一维的样本序列，表示τ时刻视频图像帧运动目标候选区域中位置为(x_τ′,y_τ′)的像素在0,1,…,T-1时刻的灰度值。对其进行时间傅里叶变换：

$Y\left(k\right)=\underset{t=0}{\overset{T-1}{\mathrm{\Σ}}}{I}_t(x_{\mathrm{\τ}}^{\′},y_{\mathrm{\τ}}^{\′})e^{-j2\mathrm{\πkt}/T}---\left(9\right)$

采用极坐标方式对其进行表示：

其中，若其实部和虚部可以表示为R(w)和J(w)，则其相位谱可表示为：

根据傅里叶变换中的相关理论及实验研究，相位谱的波动反映输入数据的变化。对应于位置(x_τ′,y_τ′)的像素在0,1,…,T-1上的时间序列，相位谱的波动反映时间上连续视频帧像素随时间的变化。当波动幅度大于一定的阈值时说明该位置像素在时间上发生突变，该位置像素属于运动目标区域，据此可建立模板图像β(x,y)，如图3所示：

其中ζ为用于计算相位谱波动幅度的阈值，通常0≤ζ≤150，在本实例中设置ζ＝80。将该运动目标模板图像同原始输入图像在空间域中进行相乘可得运动目标区域，其中，非零的区域即为运动目标区域，非零区域中像素的信息为运动目标信息：

I(x,y)β(x,y)   (13)。

Claims (5)

1.一种基于空间-时间频谱联合分析的运动目标检测方法，其特征在于，对视频序列中的连续帧图像，将其作为一个独立的静态样本进行空间频谱分析也将其作为时间上连续的时变样本进行时间频谱分析，以实现运动目标检测，包括：

首先对单帧图像进行空间傅里叶变换，在其基础上提取图像的相位谱；通过这种操作能够提取单帧图像中像素间的突变信息；

然后，采用空间反傅里叶变换仅对相位谱进行反变换，获得单帧图像中像素间的突变信息，得到特征图像；采用高斯滤波及阈值滤波技术对特征图像进行处理，获得标定候选运动目标区域的二值化模板图像；

然后，将候选运动目标模板图像同原始图像点乘，在候选运动目标区域中包含有静态目标图像信息，运动目标图像信息及背景中同邻域差异较大的噪声信息；

随后，对候选运动目标区域中对应像素点在时间轴上的序列进行时间傅里叶变换，在其基础上提取对应像素点时间序列的相位谱并对其进行阈值滤波；通过滤波能够提取出该相位谱的波动幅度，当波动幅度大于一定阈值时说明该位置像素点信息在时间上发生突变，对应于运动目标区域；将对应于运动目标区域的像素点的灰度值设置为1，其余为0，从而构建运动目标的模板图像；

最后，将运动目标模板图像同原始图像点乘，其中非零区域即为运动目标所在区域，非零区域中所包含的信息为运动目标所对应的图像信息。

2.如权利要求1所述的基于空间-时间频谱联合分析的运动目标检测方法，其特征在于：对运动目标候选图像区域中对应像素点时间序列的时间傅里叶变换，其输入为运动目标候选图像区域对应像素点在时间上顺序组成的序列。

3.如权利要求1所述的基于空间-时间频谱联合分析的运动目标检测方法，其特征在于：将单帧图像视为独立样本I(x,y)，其中x＝0,1,…,M-1，y＝0,1,…,N-1，对其进行二维空间傅里叶变换：

$F(u,v)=\mathrm{FT}\left(I(x,y)\right)=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}I(x,y)e^{-\mathrm{jux}}{e}^{-\mathrm{jvy}}---\left(1\right)$

其中，u＝0,1,…,M-1，v＝0,1,…,N-1；

采用极坐标方式对其进行表示：

F(u,v)＝|F(u,v)|e^-jφ(u,v)   (2)

其中，若其实部和虚部可以表示为R(u,v)和J(u,v)，则其相位谱可表示为：

$\mathrm{\φ}(u,v)=\arctan \left[\frac{J(u,v)}{R(u,v)}\right]---\left(3\right).$

4.如权利要求3所述的基于空间-时间频谱联合分析的运动目标检测方法，其特征在于：对相位谱进行快速反傅里叶变换可以获取图像中像素信息的突变区域：

$\mathrm{IFT}\left[e^{-\mathrm{j\φ}(u,v)}\right]=\frac{1}{\mathrm{MN}}\underset{u=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}{e}^{-\mathrm{j\φ}(u,v)}{e}^{j2\mathrm{\π}(\mathrm{ux}/M+\mathrm{vy}/N)}---\left(4\right)$

反傅里叶变换后得到特征图像，对其进行高斯平滑滤波及二值化后得到模板图像，模板图像中强度值为1的区域对应于原图像中所包含的候选运动目标区域：

SM(x,y)＝E[g(x,y)*||IFT[e^-jφ(u,v)]||²-ε]   (5)

其中，g(x,y)为高斯滤波器：

$g(x,y)={\mathrm{Ae}}^{-\frac{r^2}{{\mathrm{\σ}}^2}}---\left(6\right)$

其中，A为高斯滤波器的峰值，r为高斯滤波器的宽度，σ为高斯滤波器的方差。其中，E[·]为用于二值化的阶跃函数，ε为阶跃函数的阈值；将该特征图同输入图像进行乘法操作，所得到图像K(x,y)其中的非零区域即为候选的运动目标区域：

K(x,y)＝SM(x,y)I(x,y)   (7)。

5.如权利要求2所述的基于空间-时间频谱联合分析的运动目标检测方法，其特征在于：对应于位置(x′_τ,y′_τ)的像素在0,1,…,T-1上的时间序列，相位谱的波动反映时间上连续视频帧像素随时间的变化，当波动幅度大于一定的阈值时说明该位置像素在时间上发生突变，该位置像素属于运动目标区域，据此可建立模板图像β(x,y)：

其中为用于计算相位谱波动幅度的阈值，将该模板图像同原始输入图像在空间域中进行相乘可得运动目标区域，其中，非零的区域即为运动目标区域，非零区域中像素的信息为运动目标信息：

I(x,y)β(x,y)   (13)。