CN102044080B - 一种运动物体检测方法和装置 - Google Patents

Abstract

本发明公开了一种运动物体检测方法，包括：将视频文件扩展为在空间与时间维度上分布的三维数据结构，并将具有方向选择性的滤波器扩展到第三维；基于所述三维环境用所述滤波器的虚部对视频体元进行滤波，以检测出视频文件中的运动物体。本发明还同时公开了运动物体检测装置，采用本发明能够提高检测效果和适应性。

Description

一种运动物体检测方法和装置

技术领域

本发明涉及检测技术，具体涉及一种运动物体检测方法和装置。

背景技术

到目前为止，已经有许多运动目标检测方法被相继提出来，这些方法如果按照具体实施过程来划分，主要有帧间差分法、光流法、背景建模等方法。帧间差分法是基于运动图像序列中，相邻两帧图像间具有强相关性而提出的检测方法。这种检测方法对光照变化不敏感，非常适合于动态变化的环境，而且运算简单，检测速度快，目标定位准确，适用于实时性要求较高的应用环境。但它不能检测出静止或运动速度过慢的物体，对于高速运动的物体又会使得分割区域远远大于真实目标，其分割区域与目标运动速度相关；并且如果物体内部的灰度比较均匀，相邻帧差可能在目标重叠部分形成较大空洞，严重时造成分割结果不连通，不利于进一步的物体分析与识别。

光流场法的基本思想是：在空间中，运动可以用运动场描述，从而空间中的运动场转移到图像上就表示为光流场(Optical Flow Field)。在比较理想的情况下，光流场法能够检测独立运动的对象，不需要预先知道场景的任何信息，可以很精确地计算出运动物体的速度，并且可用于摄像机运动的情况。但光流法存在下面的缺点：有时即使没有发生运动，在外部照明发生变化时，也可以观测到光流；另外，在缺乏足够的灰度等级变化的区域，实际运动也往往观测不到。

背景生成法是目前运动分割中最常用的一种方法，在实际应用中，需要采用一定的算法进行背景模型的动态更新。对于背景的生成问题，常用的方法主要有：基于统计的背景模型、基于卡尔曼滤波的背景模型、基于高斯分布的背景模型等。目前人们大都致力于研究如何实现背景图像的生成和自适应更新，使背景能够不断接近理想状态，以期减少场景变化对视频图像检测分割的影响。这种方法对于复杂背景下的运动物体检测效果较好，一般能够提供最完整的特征数据，计算量小，实用价值大。缺点是背景更新速度会直接影响检测效果，且受光线等外界条件的影响较大。

可见，目前的运动物体检测方法容易受背景等外界环境影响，适应性差；并且，有些情况下检测能力及准确度较低，检测效果不佳。

发明内容

有鉴于此，本发明的主要目的在于提供一种运动物体检测方法和装置，以提高检测效果和适应性。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种运动物体检测方法，包括：

将视频文件扩展为在空间与时间维度上分布的视频体元，并将具有方向选择性的滤波器扩展到第三维；

基于所述在空间与时间维度上分布的三维环境用所述滤波器的虚部对视频体元进行滤波，以检测出视频文件中的运动物体，包括：构造视频体元、2D预处理滤波以及3D Gabor滤波；

其中，所述构造视频体元包括：按镜头发生转换的位置为分割点，将视频分割成连续的三维视频体元；

所述2D预处理滤波包括：采用2D Gabor滤波器对视频中的每一帧图像提取边缘特征；

所述3D Gabor滤波包括：将2D预处理滤波后所得的视频体元进行卷积滤波，由此来检测运动物体信息。

上述方案中，基于所述三维环境进行滤波之前，进一步进行预处理滤波性质的边缘特征提取，将所提取的边缘特征作为基于所述三维环境进行滤波的基础。

上述方案中，所述边缘特征提取的方法为：应用具有方向性的边缘检测算子提取边缘特征。

上述方案中，基于所述三维环境进行滤波，以检测出运动物体的过程包括：将滤波算子与视频体元进行3D卷积滤波，令得到的新视频体元为仅在运动物体边缘显示高亮的运动显著性视频。

上述方案中，所述滤波器为3D Gabor滤波器，所述滤波的方式为卷积滤波。

本发明还提供一种运动物体检测装置，包括三维扩展单元、滤波检测单元；其中，

所述三维扩展单元，用于将视频文件扩展为在空间与时间维度上分布的视频体元，并将具有方向选择性的滤波器扩展到第三维，还将上述涉及三维的扩展情况通知给滤波检测单元；

所述滤波检测单元，用于基于所述在空间与时间维度上分布的三维环境用所述滤波器的虚部对视频体元进行滤波，以检测出视频文件中的运动物体，包括：构造视频体元、2D预处理滤波以及3D Gabor滤波；其中，

所述滤波检测单元，用于在进行所述构造视频体元时，按镜头发生转换的位置为分割点，将视频分割成连续的三维视频体元；以及，

在进行所述2D预处理滤波时，采用2D Gabor滤波器对视频中的每一帧图像提取边缘特征；以及，

在进行所述3D Gabor滤波时，将2D预处理滤波后所得的视频体元进行卷积滤波，由此来检测运动物体信息。

上述方案中，该装置进一步包括预处理滤波单元，用于：在基于所述三维环境进行滤波之前，进一步进行预处理滤波性质的边缘特征提取，将所提取的边缘特征作为基于所述三维环境进行滤波的基础。

上述方案中，所述预处理滤波单元进行边缘特征提取时，具体用于：应用具有方向性的边缘检测算子提取边缘特征。

上述方案中，所述滤波检测单元基于所述三维环境进行滤波，以检测出运动物体时，用于：将滤波算子与视频体元进行3D卷积滤波，令得到的新视频体元为仅在运动物体边缘显示高亮的运动显著性视频。

本发明所提供的运动物体检测方法和装置，通过将视频文件扩展为在空间与时间维度上分布的三维数据结构，将具有方向选择性的滤波器扩展到第三维；之后，基于所述三维环境用所述滤波器的虚部对视频体元进行滤波，以检测出视频文件中的运动物体，如此，能有效提高检测效果和适应性。

附图说明

图1为本发明实施例的运动物体检测流程图；

图2为2D Gabor滤波模板示意图；

图3为3D Gabor滤波器频率响应示意图；

图4为本发明的运动物体检测流程简图；

图5为本发明实施例的运动物体检测装置图；

图6a～6c为本发明与帧间差分方法的检测效果对比示意图；

图7a～7d为本发明与背景生成方法的检测效果对比示意图。

具体实施方式

总体而言，可以将视频序列看作是视频体元（Video-Volume），使其具有3D特性，并对其进行3D形态下的操作，包括3D高斯滤波及金字塔分解以及3D形态学操作等，以提取其中运动物体的运动方向特征，以此作为确定视频文件中运动显著性区域所在位置的依据之一。需要说明的是，三维视频体元的特征提取思想对于运动目标检测方法的革新具有积极的推动意义。而随着计算机视觉以及视频分析技术的进一步发展，运动目标检测面临着许多新的应用，引入新的理念来进一步完善原有的运动目标检测方法已经显得非常必要。

针对传统运动物体检测方法检测效果不佳、适应性较差等缺点，可以将视频文件看作分别在空间与时间维度上分布的三维数据结构，并把具有方向选择性的Gabor滤波器扩展到第三维；并且，利用时空滤波思想将所述Gabor滤波器虚部与视频体元进行卷积滤波，从而检测出视频文件中的运动物体。

由于3D Gabor滤波器在三维空间具有很强的方向选择性，利用此特性就可以有效的将时空域呈现不同角度分布状态的运动物体与静止背景区分开来。另外，由于三维数据滤波同时考虑了相邻多帧的信息，可以更为全面的提取运动特征。

当然，在实际应用中，可以应用的滤波器有多种，并具体的滤波方式也可以多种多样，而不是仅限于Gabor滤波器和卷积滤波。下面，仅以Gabor滤波器和卷积滤波为例，对本发明的具体应用进行描述。

首先，可以构建视频体元，经过2D预处理滤波边缘提取之后，利用3D Gabor滤波将其中运动物体信息检测出来。具体实施过程如图1所示：整个过程包括构造视频体元、2D预处理滤波以及3D Gabor滤波三个主要步骤。

一、构造视频体元

对于任意输入的视频文件，处理的第一步都是将其进行视频解码，还原成一帧接一帧的图像即视频序列。接下来需要对整个视频序列采取基于连续镜头的分割，也就是以镜头发生转换的位置作为分割点，保证分割后每一段视频序列相邻帧的内容变化都是连续的。同时，对原视频进行分割也是出于运行系统缓存限制的需要，可以根据具体存储空间的大小，将以上分割后的序列进行再分割，使得缓存可以容纳下任意一段序列。因此视频序列就可以被当作在空间维度用（x、y）轴表示、在时间维度用t表示的三维视频体元。具体而言，空间维度的x与y轴分别指向原视频帧的宽与长，时间维度的t轴与视频帧相互垂直，并指向视频帧序号递增的方向。在视频体元中，最小单位可以称为体素（voxel）。相对于传统的2D图像帧表达法而言，视频体元的表达法具有更为丰富的组织构造与信息量，因而是更为完整的视频分析方法。

二、预处理滤波

在3D Gabor滤波提取运动物体之前，可以对每一帧图像进行旨在提取边缘特征的2D Gabor滤波操作。在此需要指出，并非只有2D Gabor滤波器适合此操作，任何具有方向性的边缘检测算子都可以用来提取边缘特征（例如sobel、prewitts等）。选用2D Gabor滤波器的理由在于其可多尺度表达以及丰富的方向选择特性。

具体实施过程中，利用如式（1）表示的2D Gabor滤波器虚部来定义滤波算子：

2D Gabor滤波器包含频率值F₁和方向角

两个可调控参数。二者可以任意选择。本发明实施过程中令F₁=π/40，

算子大小为3×3，故σ=1。得到的滤波模板如图2所示。

三、3D Gabor滤波

3D Gabor滤波器是对二维情况的直接扩展，其引入的第三维信息将会有益于3D视频体元的处理与分析。其定义由下式给出：

$g(x,y,t)=\hat{g}(x,y,t)\exp \left[j2\mathrm{\π}(u_{0}x+v_{0}y+w_{0}t)\right]$

其中 $\hat{g}(x,y,t)=\frac{1}{{\left(2\mathrm{\π}\right)}^{3/2}{\mathrm{\σ}}^3}\exp [-\frac{(x^2+y^2+t^2)}{\left({2\mathrm{\σ}}^2\right)}]---\left(2\right)$

将上式的频率响应（频谱）从笛卡尔坐标系转换至球面坐标系，可以得到3D Gabor滤波器的另一种表现形式：

3D Gabor滤波器包含三个可调控参数：频率值以及两个方向角。其中，频率值与第二个方向角分别用F₂和

表示，以和2D情况下的F₁和

相区别。

3D情况下的滤波仍然选取Gabor滤波器的虚部,表达式如式（4）：

其频率响应为：

$H\left(\stackrel{\→}{u}\right)=\left|\hat{I}\left(\stackrel{\→}{u}\right)\right|=\left|\frac{K}{2j\left|\right|A\left|\right|}(\mathrm{\ω}\left(A^{-T}(\stackrel{\→}{u}-{\stackrel{\→}{u}}_0)\right)-\mathrm{\ω}\left(A^{-T}(\stackrel{\→}{u}+{\stackrel{\→}{u}}_0)\right))\right|$

由此可见，3D Gabor滤波器虚部在频域范围内是一个三维带通滤波器，并且只有在中心频率点处

处具有最大响应。在图3所示的坐标系中，θ、F₂、

直接决定了滤波器的通带范围。其中θ为主轴距离w轴的方向角，

为投影到u-v平面后距离u轴的方向角，F₂为中心频率点处距离原点的距离。

接下来，3D Gabor滤波器将与经过2D Gabor预处理滤波的视频体元进行卷积滤波，由此来检测运动物体信息。在实际操作中，滤波算子越大，参与计算的相邻帧数据就越多，从而检测效果就越好，同时计算量也会显著加大。综合考虑计算量和检测效果，可以使用7×7×7大小的滤波算子，定义该算子中心为滤波器中心。滤波器可操控参数共有三个，分别是：中心频率F₂、方向角θ与以及σ值。三个参数的选择依据如下：

a、中心频率F₂

F₂值对应中心频率点与原点距离。简言之较大的F₂值对应较为高频的信息。当检测运动物体基本轮廓时，F₂值的选取根据所选择的测试视频而不同，任意一个测试视频都会对应一个测试效果最好的F₂值，具体的取值需要多次实验，通过比较检测结果来得出。

b、方向角θ

由于空间频率域坐标轴u、v、w轴分别对应时空域的x、y、t轴。高时间频率的分量（w值比较大）表示视频中运动激烈的部分，低时间频率的分量表示变化缓慢的部分。根据式（5）中θ角越小则中心频率点坐标（u,v,w）中对应的w值越大的原则，θ角在接近0时，针对运动信息的检测效果最佳。

c、方向角

由于实际检测中θ往往取值较小，因此根据（5）式中的原则，

角的影响可以忽略。实施过程中

角与角均可取π/4。

d、σ值

σ值对应带通滤波器的通带范围即带宽，二者存在下式所述关系：

$\mathrm{\σ}=\sqrt{2\ln 2\left(\frac{2^{\mathrm{\ψ}}+1}{2^{\mathrm{\ψ}}-1}\right)};---\left(6\right)$

其中，ψ为倍频程代表的半波带宽。

实际计算过程中，过大的σ值带来了较大的计算负担，因此可以统一选取σ值为3。

将所述滤波算子与每一帧都经过边缘提取的视频体元进行3D卷积滤波，通过对以上三个参数进行适当的调整，使其具有最佳的滤波特性，从而令得到的新视频体元为仅在运动物体边缘显示高亮的运动显著性视频。

由以上描述可见，本发明运动物体检测的操作思路可以表示如图4所示。参见图4，图4为本发明的运动物体检测流程简图，该流程包括以下步骤：

步骤410：将视频文件扩展为在空间与时间维度上分布的三维数据结构，并将具有方向选择性的滤波器扩展到第三维。

步骤420：基于所述三维环境用所述滤波器的虚部对视频体元进行滤波，以检测出视频文件中的运动物体。

为了保证以上技术描述以及上述操作思路能够顺利实现，可以进行如图5所示的设置。参见图5，图5为本发明实施例的运动物体检测装置图，该装置包括相连的三维扩展单元、滤波检测单元。

实际应用时，三维扩展单元能够将视频文件扩展为在空间与时间维度上分布的三维数据结构，并将具有方向选择性的滤波器扩展到第三维，还可以将上述涉及三维的扩展情况通知给滤波检测单元；由滤波检测单元基于所述三维环境用所述滤波器的虚部对视频体元进行滤波，以检测出视频文件中的运动物体。

效果分析

一、与帧间差分方法对比

帧间差分法是较为常用且最易于实现的一种运动物体检测方法，其通过比较相邻帧间信息差异来判断运动区域的思想也广泛应用到后续的运动物体检测方法中（比如光流法、运动矢量法等）。本发明与帧间差分法的对比检测效果如图6所示。其中，图6a为原始视频帧，图6b为帧间差分检测效果，图6c为本发明检测效果。

通过对比分析可以发现，本发明很好地将运动物体提取出来（如图6（c）），而帧间差分却提取失败（如图6（b））。图6（b）中，第一幅图没有检测出任何物体，通过对比原始视频帧中对应图像（图6（a））可以发现，由于行人运动具有周期性，此时刚好其肢体运动幅度较小，从而造成相邻帧间差异不大，故并未检测出任何信息。同时帧间差分法的检测结果中对静止背景抑制并不完全，存在很多噪点。

二、与背景生成方法对比

背景生成法是目前运动物体检测方法中具有代表性的一类方法，并且在检测效果与算法适应性上都有良好表现，因此选用该方法与本发明进行比较。本发明与背景生成方法的对比检测效果如图7所示。其中，图7a为原始视频帧，图7b为背景生成法产生的对应背景，图7c为背景生成方法结果，图7d为本发明检测效果。背景生成法估计背景图像的常见方法有统计平均法和IIR滤波器法。前者适应于场景内物体滞留时间较小、物体出现不频繁的情况；而后者的应用范围更广，因而选择IIR滤波器法为对比对象。其计算公式为：

B_k=(1-α)B_k+αf_k    （7）

其中，Bk为生成的背景图像，fk为当前视频帧,α为更新速率（即累积器忘掉前面帧的速率）。

需要说明的是，背景生成法产生的对应背景中，方框内为叠加到背景图像上的运动物体；背景生成方法结果中，方框内为错检出的运动物体。

通过对比分析可以发现，本发明很好地将运动物体提取出来(图7(d))，而背景生成法的检测结果中不仅存在明显的噪点，而且在背景区域错检出运动物体(图7(c))。

综上所述可见，无论是方法还是装置，本发明的运动物体检测技术均具有以下优点：

a、具有更好的噪声抑制能力，原因在于本发明方法使用了Gabor滤波器，其本身具有的高斯外包络在卷积滤波过程中相当于自动完成高斯平滑，抑制了噪声对检测结果的影响。

b、本发明方法对相邻帧间的关联程度敏感性较低，只要运动物体的运动趋势存在，在运动速度比较慢的情况下也能将运动物体检测出来。

c、本发明方法不依赖于对背景的预测，直接对原始视频数据卷积滤波求取运动信息，所以很好地将运动物体检测出来，检测的正确率比较高。

因此，本发明所提供的运动物体检测方法和装置，能够有效提高检测效果和适应性。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种运动物体检测方法，其特征在于，该方法包括：

将视频文件扩展为在空间与时间维度上分布的视频体元，并将具有方向选择性的滤波器扩展到第三维；

基于所述在空间与时间维度上分布的三维环境用所述滤波器的虚部对视频体元进行滤波，以检测出视频文件中的运动物体，包括：构造视频体元、2D预处理滤波以及3D Gabor滤波；

其中，所述构造视频体元包括：按镜头发生转换的位置为分割点，将视频分割成连续的三维视频体元；具体而言，将输入的视频文件解码还原成视频序列，并分割成在空间维度用(X、Y)轴表示、在时间维度用t表示的三维视频体元；

所述2D预处理滤波包括：采用2D Gabor滤波器对视频中的每一帧图像提取边缘特征；

所述3D Gabor滤波包括：将2D预处理滤波后所得的视频体元进行卷积滤波，由此来检测运动物体信息；具体而言，基于中心频率、方向角、带通滤波器的带宽，由3D Gabor滤波器将滤波算子与经过2D预处理滤波的视频体元进行卷积滤波，令得到的新视频体元为仅在运动物体边缘显示高亮的运动显著性视频；其中，中心频率对应中心频率点与原点距离，方向角为3D Gabor滤波的主轴距离3D Gabor滤波的时间轴w轴的方向角。

2.根据权利要求1所述的方法，其特征在于，基于所述三维环境进行滤波之前，进一步进行预处理滤波性质的边缘特征提取，将所提取的边缘特征作为基于所述三维环境进行滤波的基础。

3.根据权利要求2所述的方法，其特征在于，所述边缘特征提取的方法为：

应用具有方向性的边缘检测算子提取边缘特征。

4.一种运动物体检测装置，其特征在于，该装置包括三维扩展单元、滤波检测单元；其中，

所述三维扩展单元，用于将视频文件扩展为在空间与时间维度上分布的视频体元，并将具有方向选择性的滤波器扩展到第三维，还将上述涉及三维的扩展情况通知给滤波检测单元；

所述滤波检测单元，用于基于所述在空间与时间维度上分布的三维环境用所述滤波器的虚部对视频体元进行滤波，以检测出视频文件中的运动物体，包括：构造视频体元、2D预处理滤波以及3D Gabor滤波；其中，

所述滤波检测单元，用于在进行所述构造视频体元时，按镜头发生转换的位置为分割点，将视频分割成连续的三维视频体元；具体而言，将输入的视频文件解码还原成视频序列，并分割成在空间维度用(X、Y)轴表示、在时间维度用t表示的三维视频体元；以及，

在进行所述2D预处理滤波时，采用2D Gabor滤波器对视频中的每一帧图像提取边缘特征；以及，

在进行所述3D Gabor滤波时，将2D预处理滤波后所得的视频体元进行卷积滤波，由此来检测运动物体信息；具体而言，基于中心频率、方向角、带通滤波器的带宽，由3D Gabor滤波器将滤波算子与经过2D预处理滤波的视频体元进行卷积滤波，令得到的新视频体元为仅在运动物体边缘显示高亮的运动显著性视频；其中，中心频率对应中心频率点与原点距离，方向角为3D Gabor滤波的主轴距离3D Gabor滤波的时间轴w轴的方向角。

5.根据权利要求4所述的装置，其特征在于，该装置进一步包括预处理滤波单元，用于：

在基于所述三维环境进行滤波之前，进一步进行预处理滤波性质的边缘特征提取，将所提取的边缘特征作为基于所述三维环境进行滤波的基础。

6.根据权利要求5所述的装置，其特征在于，所述预处理滤波单元进行边缘特征提取时，具体用于：

应用具有方向性的边缘检测算子提取边缘特征。

Images