CN101950423B - 一种运动方向异常物体检测方法和装置 - Google Patents

Abstract

本发明公开了一种运动方向异常物体检测方法和装置，均可获取空间导数及时间导数，将二者融合以得到运动方向特征图；并能够基于运动区域面积作为比较依据进行归一化，合并各个方位的运动方向特征图，得到最终的运动方向显著图。本发明方法和装置，结构简单，计算量明显减小；依赖面积比较的归一化算法比目前依赖极值的归一化算法检测效果更好，且更符合运动方向异常的定义；对于自然场景及非自然场景的检测成功率都明显高于现有技术，具备持续跟踪运动方向异常物体的能力。显然，本发明的运动方向异常物体检测方法和装置，能够减少计算量，提高算法可靠性及检测效果。

Description

一种运动方向异常物体检测方法和装置

技术领域

本发明涉及检测技术，具体涉及一种运动方向异常物体检测方法和装置。

背景技术

运动方向异常检测是视频监控领域对于运动状态异常物体的自动监控的重要研究内容，在交通监控领域的应用正逐步得到人们的重视，实现对于车辆出现逆行、非正常转向等违反交通规则行为的自动化监控将会大大提高交通监管部门的执行效率，有效杜绝类似违规行为的再出现。

现有的运动方向异常检测方法能够通过提取场景中各运动物体的运动方向特征，并将所提取的运动方向特征进行相互比较，确定各个运动方向中最具有显著性的方向，最后把按照此方向运动的物体检测出来。该方法在提取了方向特征图之后，直接引入视觉注意模型求取运动方向显著图。由于该模型主要针对静态图像计算感兴趣区域，所提特征也是亮度、方向、颜色等针对静态图像的特征；其所依赖的以实现中央邻域差分来提取相应特征为目的的多尺度表达，在提取运动特征时显得多余且大大增加了计算量。另外该方法所使用的融合方法也是已有的归一化算子：针对一幅特征图，计算其灰度最大值M，以及其余所有极大值的平均值最后整幅特征图乘以

这个算子是为了抑制那些不同区域之间反差较小的特征图，而增强那些不同区域之间反差较大的特征图的影响力。该算子针对静态图像的特征有效，但对于运动方向特征图，由于不同方向对应的特征图仅在按照该方向运动的物体区域有响应，且不同区域的响应差别不大；因此如果运用极值来衡量显著性，则很容易造成本应赋予高权重的特征图权重反而降低，进而造成误检测。同时特征提取过程中产生的伪极值点也会影响检测效果。

发明内容

有鉴于此，本发明的主要目的在于提供一种运动方向异常物体检测方法和装置，以减少计算量，提高算法可靠性及检测效果。

为达到上述目的，本发明的技术方案是这样实现的：

一种运动方向异常物体检测方法，该方法包括：

获取空间导数及时间导数，将二者融合以得到运动方向特征图；

基于运动区域面积作为比较依据进行归一化，合并各个方位的运动方向特征图，得到最终的运动方向显著图；

其中，所述获取空间导数及时间导数，将二者融合以得到运动方向特征图的过程包括：

求取包括了运动物体与静止背景的边缘的特定方向的边缘，得到空间导数；利用相邻帧间进行差分，将运动物体和静止边缘加以区别，得到时间导数；

根据空间导数与时间导数得到沿不同方位的运动边缘，将包含所述运动边缘的图像作为以运动方向为特征的运动方向特征图，并在不同方位分别计算运动方向的正负性，得到相应的正负方向的运动方向特征图。

进行所述归一化的过程包括：将同一方位得到的正负运动方向特征图进行归一化融合： $M_d(t,\mathrm{\θ})=N\left(M_{+}(t,\mathrm{\θ})\right)\⊕N(M\_(t,\mathrm{\θ}));$

上式中的

为融合加法，用于将相同大小图像的对应像素点灰度值相加；N(.)为归一化算子，t代表时间，θ＝{0°，45°，90°，135°}；M_d(t，θ)为融合后的运动方向特征图，M₊(t，θ)和M_-(t，θ)则分别为正负方向的运动方向特征图。

所述将同一方位得到的正负运动方向特征图进行归一化融合的过程包括：

根据帧间差分得到的时间导数图，计算所述时间导数图中产生响应的面积，将计算所得的面积定义为运动区域面积：计算响应区域的质心以及距离该质心最远的区域之间的最远距离，以质心为圆心，所述最远距离为半径R，计算圆的面积S₁＝π·R²，以此面积作为运动区域面积；

以与计算S1相同的方法计算特定方向的运动方向特征图内的运动区域面积S2；

定义运动方向特征图的权重

即运动区域小于总运动区域的

时认为该运动方向具有显著性；反之则不具有显著性。

所述合并各个方位的运动方向特征图，得到最终的运动方向显著图的过程包括：将运动方向特征图相互比较，找到运动方向特征图中运动区域最小的运动方向特征图，并定义该运动方向特征图的运动区域面积，由此得到各运动方向特征图的权重为最小运动区域面积和运动区域最小的所述运动方向特征图的运动区域面积的比值；

将经过不同方位归一化处理的运动方向特征图融合，得到最终的运动方向显著图。

一种运动方向异常物体检测装置，该装置包括特征提取单元、归一化单元、总体融合单元；其中，

所述特征提取单元，用于获取空间导数及时间导数，将二者融合以得到运动方向特征图；

所述归一化单元，用于基于运动区域面积作为比较依据进行归一化；

所述总体融合单元，用于合并各个方位的运动方向特征图，得到最终的运动方向显著图；

其中，所述特征提取单元在获取空间导数及时间导数，将二者融合以得到运动方向特征图时，用于：

求取包括了运动物体与静止背景的边缘的特定方向的边缘，得到空间导数；利用相邻帧间进行差分，将运动物体和静止边缘加以区别，得到时间导数；

根据空间导数与时间导数得到沿不同方向的运动边缘，将包含所述运动边缘的图像作为以运动方向为特征的运动方向特征图，并在不同方位分别计算运动方向的正负性，得到相应的正负方向的运动方向特征图。

所述归一化单元进行所述归一化时，用于：将同一方位得到的正负运动方向特征图进行归一化融合： $M_d(t,\mathrm{\θ})=N\left(M_{+}(t,\mathrm{\θ})\right)\⊕N(M\_(t,\mathrm{\θ}));$

上式中的

为融合加法，用于将相同大小图像的对应像素点灰度值相加；N(.)为归一化算子，t代表时间，θ＝{0°，45°，90°，135°}；M_d(t，θ)为融合后的运动方向特征图，M₊(t，θ)和M_-(t，θ)则分别为正负方向的运动方向特征图。

所述归一化单元对同一方位得到的正负运动方向特征图进行归一化融合时，用于：根据帧间差分得到的时间导数图，计算所述时间导数图中产生响应的面积，将计算所得的面积定义为运动区域面积：计算响应区域的质心以及距离该质心最远的区域之间的最远距离，以质心为圆心，所述最远距离为半径R，计算圆的面积S₁＝π·R²，以此面积作为运动区域面积；

以与计算S1相同的方法计算特定方向的运动方向特征图内的运动区域面积S2；

定义运动方向特征图的权重

即运动区域小于总运动区域的时认为该运动方向具有显著性；反之则不具有显著性。

所述总体融合单元在合并各个方位的运动方向特征图，得到最终的运动方向显著图时，用于：将运动方向特征图相互比较，找到运动方向特征图中运动区域最小的运动方向特征图，并定义该运动方向特征图的运动区域面积，由此得到各运动方向特征图的权重为最小运动区域面积和运动区域最小的所述运动方向特征图的运动区域面积的比值；

将经过不同方位归一化处理的运动方向特征图融合，得到最终的运动方向显著图。

本发明的运动方向异常物体检测方法和装置，能够减少计算量，提高算法可靠性及检测效果。

附图说明

图1为本发明一实施例的运动方向异常物体检测示意图；

图2为本发明的运动方向异常物体检测流程简图；

图3为本发明一实施例的运动方向异常物体检测装置图；

图4为本发明一实施例的运动方向异常物体检测效果对比示意图；

图5为本发明另一实施例的运动方向异常物体检测效果对比示意图。

具体实施方式

总体而言，可以摒弃目前的多尺度表达内容，仅在原尺度上进行计算，以此达到减小计算量的目的；并且，可以基于运动区域面积作为比较依据进行特征图归一化处理，避免了极值检测归一化方法中的伪极值点所带来的不利影响，更加符合全局异常检测中检测运动方向最为与众不同的物体的目的，而且也更能满足生理学关于人眼视觉注意机制的定义。如：用单一尺度代替多尺度表达，并提出一种新颖的归一化算法，还运用视觉注意的思想完成对视频中具有不同运动方向的运动物体的比较、并继而提取运动方向与众不同物体的任务。

参见图1，图1为本发明一实施例的运动方向异常物体检测示意图，图1所示的运动方向异常物体检测过程包括特征提取阶段和特征融合阶段。其中，特征提取阶段包括：通过Gabor滤波分别在(0°，45°，90°，135°)进行边缘提取以求取空间导数的过程，以及在相邻帧间进行差分以求取时间导数的过程，以及将二者(求取的空间导数和求取的时间导数)融合并在相应的正负方向上求取运动方向特征图的过程。特征融合阶段包括利用新提出的归一化算子在正负方向上完成归一化的过程，以及总体对各方位进行归一化的过程，以及按照特征融合策略合并各个方位的运动方向特征图，并得到最终的运动方向显著图的过程。

下面对上述的特征提取以及特征融合进行详细描述。

特征提取：

目前应用视觉注意模型针对静态图像提取方向特征时，对于4个不同的方位(0°，45°，90°，135°)各生成一幅方向特征图，在特征图中只有沿特定方向分布的物体信息才得以保留。而本发明可以针对8个不同运动方向(0°，45°，90°，135°，180°，225°，270°，315°)各生成相应的运动方向特征图，特征图中将只保留沿相应方向运动的物体信息。

1、空间导数

求取空间导数时可以利用Gabor滤波器的虚部对原序列图像进行滤波，利用Gabor滤波器的方向特性，求取特定方位(0°，45°，90°，135°)的边缘(同时包括了运动物体与静止背景的边缘)：

M_s(t，θ)＝Im{O_c(t，θ)}；θ＝{0°，45°，90°，135°}；

上式中，t代表时间，Im代表虚部；如以下公式中出现相同符号，则代表相同含义不再赘述。

2、时间导数

求取时间导数时可以利用相邻帧间进行差分，将运动物体和静止边缘加以区别：

M_t(t)＝M(t+1)-M(t)。

3、运动边缘

根据时变边缘理论，将空间导数与时间导数相乘，就可以得到沿不同方向的运动边缘。按照视觉注意模型框架，所得到的包含运动边缘的图像可以作为以运动方向为特征的特征图：

M(t，θ)＝M_s(t，θ)·M_t(t)；

接下来在(0°，45°，90°，135°)四个方位分别计算运动方向的正负性，若该方向M(t，θ)为正，则：

$M_{+}(t,\mathrm{\θ})=\sqrt{M(t,\mathrm{\θ})};$

若M(t，θ)为负，则

其他为零。由此在原方位的基础上得到相应的正负方向特征图，从而使运动方向特征图数量达到8个，覆盖8个可能的运动方位(0°，45°，90°，135°，180°，225°，270°，315°)。

特征融合：

特征融合阶段的目的在于：比较先前的8个运动方向特征图，根据特征图中运动物体的多少或者运动区域的大小赋予各特征图不同的权重。分配权重高低的原则在于：包含较多运动物体或者较大运动区域的方向特征图权重较低；而包含较少运动物体或者较小运动区域的方向特征图权重较高。

1、正负方向归一化

特征融合的第一阶段是将同一方位得到的正负运动方向特征图进行归一化融合：

$M_d(t,\mathrm{\θ})=N\left(M_{+}(t,\mathrm{\θ})\right)\⊕N(M\_(t,\mathrm{\θ}));$

上式中的为融合加法，用于将相同大小图像的对应像素点灰度值相加；N(.)为本步骤的归一化算子，其具体实现过程如下：

(1)根据帧间差分得到的时间导数图，计算其中产生响应的面积，将计算所得的面积定义为运动区域面积：计算响应区域的质心以及距离该质心最远的区域之间的距离(作为最远距离)，以质心为圆心，所述最远距离为半径R，计算圆的面积S₁＝π·R²，以此面积作为运动区域面积；

(2)以与计算S1相同的方法计算特定方向特征图内的运动区域面积S2；

(3)定义特征图的权重

即运动区域小于总运动区域的

时认为该运动方向具有显著性；反之则不具有显著性。之所以选择

这个比值来衡量显著性，其依据在于：将整幅输入图像作为视场时，可以用图像的长或宽的六分之一为半径的圆来划定显著区域；而视场理论上应该为圆形，因此把矩形图像的内切圆作为实际视场，可以得出显著区域面积和实际视场大小的比值为1∶9。在此以2的幂级数表示，取近似为1∶8。

2、总体融合

特征融合的第二阶段是在第一阶段融合完成的基础上，针对得到的4幅方向特征图进行总体融合得到最终的运动方向显著图。此阶段的操作策略与上一阶段不同，由于本阶段接收的特征图是经过归一化融合处理的，因此没有必要再将其和差分结果做比较。因此直接将方向特征图相互比较，找到4幅特征图中运动区域最小的特征图，定义其运动区域面积S_min＝min(S₁，S₂，S₃，S₄)。由此得到各运动方向特征图的权重为最小运动区域面积和其自身运动区域面积的比值，即w_n＝S_min/S_n。

最后将经过不同方位归一化处理的运动方向特征图融合，得到最终的运动方向显著图：

$\stackrel{\‾}{M}\left(t\right)=\underset{\mathrm{\θ}=(0,\frac{\mathrm{\π}}{4},\frac{\mathrm{\π}}{2},\mathrm{\π})}{\mathrm{\Σ}}N\left(M_o(t,\mathrm{\θ})\right);$

运动方向显著图原则上应该仅在运动方向具有显著性的物体所在区域具有响应，实际情况下允许其他区域也有少许响应，但应该以运动方向显著性区域为主体，该区域亮度以及响应面积都明显区别于其他区域。

由以上所述技术内容可见，本发明的运动方向异常物体检测思路可以表示如图2所示。参见图2，图2为本发明的运动方向异常物体检测流程简图，该流程包括以下步骤：

步骤210：获取空间导数及时间导数，将二者融合以得到运动方向特征图。

步骤220：基于运动区域面积作为比较依据进行归一化，合并各个方位的运动方向特征图，得到最终的运动方向显著图。

为了保证上述操作能够顺利实现，可以进行如图3所示的设置。参见图3，图3为本发明一实施例的运动方向异常物体检测装置图，该装置包括相连的特征提取单元、归一化单元、总体融合单元。

具体应用时，特征提取单元能够进行前述的特征提取操作，如：获取空间导数及时间导数，将二者融合以得到运动方向特征图，并将运动方向特征图等特征提取结果发送给归一化单元。由归一化单元对收到的特征提取结果进行前述的正负方向归一化，并将归一化结果发送给总体融合单元；由总体融合单元根据收到的归一化结果进行前述的总体融合，如：将来自归一化单元的方向特征图相互比较，找到4幅特征图中运动区域最小的特征图，得到w_n＝S_min/S_n；最后将经过不同方位归一化处理的运动方向特征图融合，得到最终的运动方向显著图。

在实际应用时，将本发明与现有技术的运动方向异常物体检测效果对比，可以得到如图4、图5所示的结果。

图4中，a1、a2为原始视频截图，图中的所有方块从上往下运动，圆块的运动轨迹与其他方块显著不同，因此圆块为待检测的运动方向异常物体；b1、b2为本发明方法对应检测结果，图中仅保留圆块信息，可以很方便的对其进行定位；c1、c2为现有技术方法检测结果，其默认亮度最高的区域为运动方向异常物体所在区域，其中c1检测错误，定位区域并非圆块所在区域，c2中同时存在两个独立的高亮区域，造成混淆错误，系统无法确定运动方向异常物体所在区域。

经过对比，图4中的本发明方法检测成功率为90％，而现有技术方法检测成功率仅为50％。

图5中，a1、a2为原始视频截图，图中右拐的白色货车具有与其他车辆都不同的运动方向，因此该货车为待检测的运动方向异常物体；b1、b2为本发明方法对应检测结果，图中绝大部分白色像素点聚集于白色货车所在区域，很方便就可以对该运动方向异常物体进行定位；c1、c2为现有技术方法检测结果，图中高亮的区域分布杂乱，无法确定运动方向异常物体所在的区域。

经过对比，图5中的本发明方法检测成功率为71％，而现有技术方法检测成功率仅为45％。

本发明要求灰度值非零的像素绝大部分应该分布在显著性物体区域，否则检测失败。而两个检测视频的显著性物体分别是曲线运动的圆块，右转的白色货车。

综上所述可见，无论是方法还是装置，本发明的运动方向异常物体检测技术具有以下优点：

1、结构简单，计算量明显减小；

2、本发明的依赖面积比较的归一化算法比目前依赖极值的归一化算法检测效果更好，且更符合运动方向异常的定义；

3、对于自然场景及非自然场景的检测成功率都明显高于现有技术，具备持续跟踪运动方向异常物体的能力。

显然，本发明的运动方向异常物体检测方法和装置，能够减少计算量，提高算法可靠性及检测效果。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种运动方向异常物体检测方法，其特征在于，该方法包括：

获取空间导数及时间导数，将二者融合以得到运动方向特征图；

基于运动区域面积作为比较依据进行归一化，合并各个方位的运动方向特征图，得到最终的运动方向显著图；

其中，所述获取空间导数及时间导数，将二者融合以得到运动方向特征图的过程包括：

求取包括了运动物体与静止背景的边缘的特定方向的边缘，得到空间导数；利用相邻帧间进行差分，将运动物体和静止边缘加以区别，得到时间导数；

根据空间导数与时间导数得到沿不同方位的运动边缘，将包含所述运动边缘的图像作为以运动方向为特征的运动方向特征图，并在不同方位分别计算运动方向的正负性，得到相应的正负方向的运动方向特征图。

2.根据权利要求1所述的方法，其特征在于，进行所述归一化的过程包括：

将同一方位得到的正负运动方向特征图进行归一化融合：

$M_d(t,\mathrm{\θ})=N\left(M_{+}(t,\mathrm{\θ})\right)\⊕N(M\_(t,\mathrm{\θ}));$

上式中的

为融合加法，用于将相同大小图像的对应像素点灰度值相加；N(.)为归一化算子，t代表时间，θ＝{0°，45°，90°，135°}；M_d(t，θ)为融合后的运动方向特征图，M₊(t，θ)和M_-(t，θ)则分别为正负方向的运动方向特征图。

3.根据权利要求2所述的方法，其特征在于，所述将同一方位得到的正负运动方向特征图进行归一化融合的过程包括：

根据帧间差分得到的时间导数图，计算所述时间导数图中产生响应的面积，将计算所得的面积定义为运动区域面积：计算响应区域的质心以及距离该质心最远的区域之间的最远距离，以质心为圆心，所述最远距离为半径R，计算圆的面积S₁＝π·R²，以此面积作为运动区域面积；

以与计算S1相同的方法计算特定方向的运动方向特征图内的运动区域面积S2；

定义运动方向特征图的权重

即运动区域小于总运动区域的

时认为该运动方向具有显著性；反之则不具有显著性。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述合并各个方位的运动方向特征图，得到最终的运动方向显著图的过程包括：

将运动方向特征图相互比较，找到运动方向特征图中运动区域最小的运动方向特征图，并定义该运动方向特征图的运动区域面积，由此得到各运动方向特征图的权重为最小运动区域面积和运动区域最小的所述运动方向特征图的运动区域面积的比值；

将经过不同方位归一化处理的运动方向特征图融合，得到最终的运动方向显著图。

5.一种运动方向异常物体检测装置，其特征在于，该装置包括特征提取单元、归一化单元、总体融合单元；其中，

所述特征提取单元，用于获取空间导数及时间导数，将二者融合以得到运动方向特征图；

所述归一化单元，用于基于运动区域面积作为比较依据进行归一化；

所述总体融合单元，用于合并各个方位的运动方向特征图，得到最终的运动方向显著图；

其中，所述特征提取单元在获取空间导数及时间导数，将二者融合以得到运动方向特征图时，用于：

求取包括了运动物体与静止背景的边缘的特定方向的边缘，得到空间导数；利用相邻帧间进行差分，将运动物体和静止边缘加以区别，得到时间导数；

根据空间导数与时间导数得到沿不同方向的运动边缘，将包含所述运动边缘的图像作为以运动方向为特征的运动方向特征图，并在不同方位分别计算运动方向的正负性，得到相应的正负方向的运动方向特征图。

6.根据权利要求5所述的装置，其特征在于，所述归一化单元进行所述归一化时，用于：

将同一方位得到的正负运动方向特征图进行归一化融合：

$M_d(t,\mathrm{\θ})=N\left(M_{+}(t,\mathrm{\θ})\right)\⊕N(M\_(t,\mathrm{\θ}));$

上式中的

为融合加法，用于将相同大小图像的对应像素点灰度值相加；N(.)为归一化算子，t代表时间，θ＝{0°，45°，90°，135°}；M_d(t，θ)为融合后的运动方向特征图，M₊(t，θ)和M_-(t，θ)则分别为正负方向的运动方向特征图。

7.根据权利要求6所述的装置，其特征在于，所述归一化单元对同一方位得到的正负运动方向特征图进行归一化融合时，用于：

根据帧间差分得到的时间导数图，计算所述时间导数图中产生响应的面积，将计算所得的面积定义为运动区域面积：计算响应区域的质心以及距离该质心最远的区域之间的最远距离，以质心为圆心，所述最远距离为半径R，计算圆的面积S₁＝π·R²，以此面积作为运动区域面积；

以与计算S1相同的方法计算特定方向的运动方向特征图内的运动区域面积S2；

定义运动方向特征图的权重即运动区域小于总运动区域的

时认为该运动方向具有显著性；反之则不具有显著性。

8.根据权利要求5至7任一项所述的装置，其特征在于，所述总体融合单元在合并各个方位的运动方向特征图，得到最终的运动方向显著图时，用于：

将运动方向特征图相互比较，找到运动方向特征图中运动区域最小的运动方向特征图，并定义该运动方向特征图的运动区域面积，由此得到各运动方向特征图的权重为最小运动区域面积和运动区域最小的所述运动方向特征图的运动区域面积的比值；

将经过不同方位归一化处理的运动方向特征图融合，得到最终的运动方向显著图。

Images