CN103473533B - 视频运动对象异常行为自动检测方法 - Google Patents

Abstract

本发明涉及一种视频运动对象异常行为自动检测方法。它是根据拉格朗日粒子动态系统中粒子的流动反映视频运动对象的运动状态，运动对象的异常行为与其正常行为在运动幅度和运动方向上存在差异，通过比较相邻两帧视频图像中的运动幅度和运动方向的变化，实现视频运动对象异常行为的自动检测。本发明方法不需要对运动对象进行跟踪、无需预先采集运动对象异常行为样本进行训练，可在多种条件下，实现视频运动对象异常行为的自动检测。

Description

视频运动对象异常行为自动检测方法

技术领域

本发明涉及一种视频运动对象异常行为自动检测方法，用于公共安全与防范以及视频数字图像分析与理解。属于智能信息处理技术领域。

背景技术

随着城镇人口的快速增长及城镇环境的日益复杂，群体性事件、骚乱、恐怖袭击等城镇突发社会安全事件，严重影响着城镇公共安全。建设和谐、平安社会，己成为当今国际社会的一个重要课题。

近年来，通过对特定场景中停留或经过的目标实时监视，并根据观察到的图像信息，对运动对象行为进行语义分析与理解的智能视觉监控技术已引起国内外学者的广泛关注。实现视频图像序列中的异常行为自动检测，迄今为止仍是一项极具挑战性的工作。一方面，异常行为的定义存在很多分歧，尚未也很难制定统一的规范。其中，部分学者将很少发生或持续时间很短的行为称之为异常行为，如跌倒或者碰撞等；部分学者则预先定义一系列正常行为，若发现与所有正常行为不匹配的行为则判定为异常行为；另一方面，视频序列中的异常行为种类繁多，且随着时间推移，异常行为也将发生变化，转变为正常行为。目前，异常行为检测方法主要分为两类：一是基于运动对象的跟踪，通过不断检测运动对象的运动轨迹，进行异常行为检测。该类方法异常行为检测效果在很大程度上依赖于运动对象跟踪的结果，由于实际场景复杂多变且存在不同程度的互遮挡与自遮挡，导致有效的运动对象跟踪困难，异常行为检测结果不理想。二是基于学习训练，通过预先采集运动对象异常行为视频序列，建立异常行为样本库，通过对未知视频序列进行检测并匹配对比，确定是否为异常行为。由于异常行为种类繁多，且随时间推移不断发生变化，导致运动对象异常行为样本采集困难，异常行为检测结果鲁棒性低。

发明内容

本发明的目的在于针对目前运动对象异常行为检测方法结果明显受外界环境影响，异常行为检测结果鲁棒性低等问题，提供一种改进的视频运动对象异常行为自动检测方法。它是根据拉格朗日粒子动态系统中粒子的流动反映视频运动对象的运动状态，运动对象的异常行为与其正常行为在运动幅度和运动方向上存在差异，实现视频运动对象异常行为的自动检测，提高视频运动对象异常行为检测的灵活性和有效性。

为达到上述目的，本发明的构思是：采用光流法检测运动对象，建立光流场, 通过引入拉格朗日粒子动态系统，粒子随运动对象的移动光流场随之流动，形成动态粒子流，利用动态粒子流描述视频图像中运动对象的运动状态；根据运动对象异常行为与其正常行为在运动幅度和运动方向上存在差异，通过比较相邻两帧视频图像中的运动幅度和运动方向的变化，实现视频运动对象异常行为的自动检测。

为了达到上述的目的，本发明采用下述技术方案：

一种视频运动对象异常行为自动检测方法，其特征在于根据拉格朗日粒子动态系统中粒子的流动反映视频运动对象的运动状态，运动对象的异常行为与其正常行为在运动幅度和运动方向上存在差异，自动检测视频运动对象异常行为，具体步骤如下：

1)启动视频采集系统：采集视频图像；

2)运动光流场计算；

3)粒子动态系统构造；

4)动态粒子更新；

5)运动特征提取；

6)异常行为检测；

上述步骤2)运动光流场计算的具体操作步骤如下：

(1)由摄像机采集的连续相邻两帧图像，计算光流场F(u,v)：

其中，OF(*)为光流计算函数，I _t 和I _t-1分别为摄像机t时刻和 t-1时刻采集的相邻两帧图像的灰度值。

(2)获取稳定光流场：将步骤(1)中的光流场的幅度值大于阈值T _F 的所有像素的光流场，确定为稳定光流场F _T ：

其中，|*|为幅度值计算符，T _F 为阈值；

上述步骤3) 粒子动态系统构造的具体操作步骤如下：将一幅大小为M × N的图像，均匀划分为S等份，构成M/S × N/S个网格；在这些网格的中心位置，设置初始值为零的粒子；粒子在运动对象的影响下随光流场流动，生成动态粒子流；计算粒子P在t+1时刻所处位置：

其中，分别表示初始时刻为，初始位置为处的粒子P经过t时刻后在x、y方向上的空间坐标，F _T (u , t)，F _T (v , t)分别为光流场在t时刻x和y方向上的运动速度；

上述步骤4)动态粒子更新的具体操作步骤如下：根据步骤3)获取的粒子在当前时刻t所处的位置，判断其所属网格；分别统计M/S × N/S个网格中每一个网格所包含的粒子数量D _b ；若某网格中的粒子数量D _b 为零，则在该网格的中心位置，设置值为零的粒子；

上述步骤5)运动特征提取的具体操作步骤如下：

(1)运动幅度和梯度方向计算：根据步骤3)所确定的粒子在t时刻所处位置，分别统计粒子经过一段时间T后分别在x方向和y方向上的运动幅度A _x 、A _y ，按下式计算粒子的运动幅度A和梯度方向O：

(2)方向直方图计算：将梯度方向O的取值范围平均分成Z等份，进行直方图统计，获取方向直方图O _T ；

上述步骤6)异常行为检测的具体操作步骤如下：根据步骤5)所确定的粒子的运动幅度和方向直方图，分别计算当前时刻t和上一时刻t-1图像中的全部粒子的运动幅度A的均值A _t 、A _t-1的绝对值差D _A ：D _A =｜A _t -A _t-1｜，以及当前时刻t和上一时刻t-1图像中的全部粒子的方向直方图O _T 的均值O _Tt 、O _Tt-1的绝对值差D _T ：D _T =｜O _Tt -O _Tt-1|，将满足下式的当前时刻t所获取的图像中的运动对象所表现的行为确定为异常行为：

其中，“|”为“逻辑或”操作符， M _a 、M _o 分别为阈值。

本发明的原理如下：

在本发明的技术方案中，将运动对象视为非周期动态系统，其表现为一个随时间变化的流场，根据流场中动态粒子提供的运动特征分析运动对象行为差异，并采用判别的方式检测异常运动行为。

在拉格朗日粒子动态系统中，粒子P的流动受光流场F(u , v)影响。由于在实际场景中会存在噪声扰动，导致光流场不稳定，从而也影响粒子P的流动，因此，需对光流场F(u , v)进行噪声压制：

以得到稳定的光流场F _T (u , v)。

粒子P随光流场F _T (u , v)的运动计算公式如下：

其中，分别表示初始时刻为，初始位置为处的粒子P经过t时刻后在x、y方向上的空间坐标，F _T (u,t)，F _T (v,t)分别为光流场在t时刻x和y方向上的运动速度。

在粒子随光流场流动时，需不断检测上述均匀划分的网格中是否存在粒子，对于不存在粒子的网格需要补充动态粒子，以保证所捕获的场景图像中所有网格均可以有效捕获运动信息。利用粒子在t时刻与t+T时刻所处位置的变化，得到在时间T内粒子的运动幅度A，计算公式如下：

其中，A _X 和A _y 分别为粒子在x和y方向上的运动幅度。

根据粒子在x和y方向上的运动幅度A_x和A_y，计算粒子的运动方向，并按运动方向大小，平均划分为Z个方向单元，进行直方图统计，获取方向直方图：

O _T = H(arctan(A _y /A _x ), Z)

其中，H为直方图统计运算符，Z为方向单元数。

根据所确定的粒子的运动幅度和方向直方图，分别计算当前时刻t和上一时刻t-1图像中的全部粒子的运动幅度A的均值A _t 、A _t-1的绝对值差D _A ：D _A =｜A _t -A _t-1｜，以及当前时刻t和上一时刻t-1图像中的全部粒子的方向直方图O _T 的均值O _Tt 、O _Tt-1的绝对值差D _T ：D _T =｜O _Tt -O _Tt-1｜，将满足下式的当前时刻t所获取的图像中的运动对象所表现的行为确定为异常行为：

其中，“|”为“逻辑或”操作符， M _a 、M _o 分别为阈值。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：本发明通过引入拉格朗日粒子动态系统，利用动态系统中粒子的流动可有效反映视频运动对象的运动状态，从而可提取稳定的视频运动对象的运动特征，根据运动对象的异常行为与其正常行为在运动幅度和运动方向上存在差异，自动检测视频运动对象是否存在异常行为，解决了现有方法在视频运动对象异常行为时，受限于特定条件或环境，以及对动态场景变化敏感、噪声干扰大、异常行为检测结果不理想的不足；提高了视频运动对象异常行为检测的鲁棒性，可适应多种复杂环境条件下视频运动对象异常行为的自动检测。本发明的方法简便、灵活、易实现。

附图说明

图1是本发明方法的操作程序框图。

图2是本发明一个实施例的原始某帧图像。

图3是图2示例的从原始视频序列相邻帧计算的光流场图像。

图4是图3示例所对应的一帧粒子流图像。

图5中图4示例所对应的动态粒子更新图像。

图6是本发明一个实施例的一帧异常行为检测结果图像。

具体实施方式

本发明的优选实施例结合附图详述如下：

实施例一：

参见图1，本视频运动对象异常行为自动检测方法，其特征在于根据拉格朗日粒子动态系统中粒子的流动反映视频运动对象的运动状态，运动对象的异常行为与其正常行为在运动幅度和运动方向上存在差异，自动检测视频运动对象异常行为；具体步骤如下：

1)启动视频采集系统：采集视频图像；

2)运动光流场计算；

3)粒子动态系统构造；

4)动态粒子更新；

5)运动特征提取；

6)异常行为检测；

所述步骤2)运动光流场计算的具体操作步骤如下：

(1)由摄像机采集的连续相邻两帧图像，计算光流场F(u,v)：

其中，OF(*)为光流计算函数，I _t 和I _t-1分别为摄像机t时刻和 t-1时刻采集的相邻两帧图像的灰度值。

(2)获取稳定光流场：将步骤(1)中的光流场的幅度值大于阈值T _F 的所有像素的光流场，确定为稳定光流场F _T ：

其中，|*|为幅度值计算符，T _F 为阈值；

所述步骤3) 粒子动态系统构造的具体操作步骤如下：将一幅大小为M × N的图像，均匀划分为S等份，构成M/S × N/S个网格；在这些网格的中心位置，设置初始值为零的粒子；粒子在运动对象的影响下随光流场流动，生成动态粒子流；计算粒子P在t+1时刻所处位置：

其中，分别表示初始时刻为，初始位置为处的粒子P经过t时刻后在x、y方向上的空间坐标，F _T (u , t)，F _T (v , t)分别为光流场在t时刻x和y方向上的运动速度；

所述步骤4)动态粒子更新的具体操作步骤如下：根据步骤3)获取的粒子在当前时刻t所处的位置，判断其所属网格；分别统计M/S × N/S个网格中每一个网格所包含的粒子数量D _b ；若某网格中的粒子数量D _b 为零，则在该网格的中心位置，设置值为零的粒子；

所述步骤5)运动特征提取的具体操作步骤如下：

(1)运动幅度和梯度方向计算：根据步骤3)所确定的粒子在t时刻所处位置，分别统计粒子经过一段时间T后分别在x方向和y方向上的运动幅度A _x 、A _y ，按下式计算粒子的运动幅度A和梯度方向O：

(2)方向直方图计算：将梯度方向O的取值范围平均分成Z等份，进行直方图统计，获取方向直方图O _T ；

所述步骤6)异常行为检测的具体操作步骤如下：根据步骤5)所确定的粒子的运动幅度和方向直方图，分别计算当前时刻t和上一时刻t-1图像中的全部粒子的运动幅度A的均值A _t 、A _t-1的绝对值差D _A ：D _A =｜A _t -A _t-1｜，以及当前时刻t和上一时刻t-1图像中的全部粒子的方向直方图O _T 的均值O _Tt 、O _Tt-1的绝对值差D _T ：D _T =｜O _Tt -O _Tt-1|，将满足下式的当前时刻t所获取的图像中的运动对象所表现的行为确定为异常行为：

其中，“|”为“逻辑或”操作符， M _a 、M _o 分别为阈值。

实施例二：

本实施例是：操作程序如图1所示，本例的原始一帧图像如图2所示，对图2所示的视频图像序列，引入拉格朗日粒子动态系统，利用动态流场描述运动对象的运动行为，提取运动特征，根据运动对象的异常行为与其正常行为在运动幅度和运动方向上存在差异，通过比较相邻两帧视频图像中的运动幅度和运动方向的变化，进行运动对象异常行为的自动检测，具体步骤如下：

(1)启动视频采集系统：采集视频图像；

(2)运动光流场计算：由摄像机采集的连续相邻两帧图像，计算光流场F(u,v)，并将光流场幅度不小于1，即满足的所有像素的光流场，确定为稳定光流场，如图3所示；

(3)粒子动态系统构造：对图3所示的大小为384×288的图像，均匀划分为16等分，即划分为24×18个网格，在这些网格的中心位置，散布初始值为0的粒子，粒子在运动对象的影响下随光流场进行流动，生成动态粒子流，如图4所示；

(4)动态粒子更新：对图4所示动态粒子流图像进行统计24×18个网格中的粒子数量，找出粒子数量为0的网格，在该网格的中心位置设置值为0的粒子，如图5所示；

(5)运动特征提取：计算粒子经过1秒以后，在x方向和y方向上的运动幅度A _x 和A _y ，计算粒子的运动幅度A：，和梯度方向O：；将梯度方向O的取值范围平均分成16等份，进行直方图统计，获取方向直方图O _T ；

(6)异常运动行为检测：分别计算当前时刻t和上一时刻t-1图像中的全部粒子的运动幅度A的均值A _t 、A _t-1的绝对值差D _A ：D _A =｜A _t -A _t-1｜，以及当前时刻t和上一时刻t-1图像中的全部粒子的方向直方图O _T 的均值O _Tt 、O _Tt-1的绝对值差D _T ：D _T =｜O _Tt - O _Tt-1｜，将满足下式的当前时刻t所获取的图像中的运动对象所表现的行为确定为异常行为，如图6所示；

。

Claims (1)

1.一种视频运动对象异常行为自动检测方法，其特征在于根据拉格朗日粒子动态系统中粒子的流动反映视频运动对象的运动状态，运动对象的异常行为与其正常行为在运动幅度和运动方向上存在差异，自动检测视频运动对象异常行为；具体步骤如下：

1)启动视频采集系统：采集视频图像；

2)运动光流场计算；

3)粒子动态系统构造；

4)动态粒子更新；

5)运动特征提取；

6)异常行为检测；

所述步骤2)运动光流场计算的具体操作步骤如下：

(1)由摄像机采集的连续相邻两帧图像，计算光流场F(u,v)：

其中，OF(*)为光流计算函数，I _t 和I _t-1分别为摄像机t时刻和 t-1时刻采集的相邻两帧图像的灰度值；

(2)获取稳定光流场：将步骤(1)中的光流场的幅度值大于阈值T _F 的所有像素的光流场，确定为稳定光流场F _T ：

其中，|*|为幅度值计算符，T _F 为阈值；

所述步骤3) 粒子动态系统构造的具体操作步骤如下：将一幅大小为M × N的图像，均匀划分为S等份，构成M/S × N/S个网格；在这些网格的中心位置，设置初始值为零的粒子；粒子在运动对象的影响下随光流场流动，生成动态粒子流；计算粒子P在t+1时刻所处位置：

其中，分别表示初始时刻为，初始位置为处的粒子P经过t时刻后在x、y方向上的空间坐标，F _T (u , t)，F _T (v , t)分别为光流场在t时刻x和y方向上的运动速度；

所述步骤4)动态粒子更新的具体操作步骤如下：根据步骤3)获取的粒子在当前时刻t所处的位置，判断其所属网格；分别统计M/S × N/S个网格中每一个网格所包含的粒子数量D _b ；若某网格中的粒子数量D _b 为零，则在该网格的中心位置，设置值为零的粒子；

所述步骤5)运动特征提取的具体操作步骤如下：

(1)运动幅度和梯度方向计算：根据步骤3)所确定的粒子在t时刻所处位置，分别统计粒子经过一段时间T后分别在x方向和y方向上的运动幅度A _x 、A _y ，按下式计算粒子的运动幅度A和梯度方向O：

(2)方向直方图计算：将梯度方向O的取值范围平均分成Z等份，进行直方图统计，获取方向直方图O _T ；

所述步骤6)异常行为检测的具体操作步骤如下：根据步骤5)所确定的粒子的运动幅度和方向直方图，分别计算当前时刻t和上一时刻t-1图像中的全部粒子的运动幅度A的均值A _t 、A _t-1的绝对值差D _A ：D _A =｜A _t -A _t-1｜，以及当前时刻t和上一时刻t-1图像中的全部粒子的方向直方图O _T 的均值O _Tt 、O _Tt-1的绝对值差D _T ：D _T =｜O _Tt -O _Tt-1|，将满足下式的当前时刻t所获取的图像中的运动对象所表现的行为确定为异常行为：

其中，“|”为“逻辑或”操作符， M _a 、M _o 分别为阈值。