CN113011367A - 一种基于目标轨迹的异常行为分析方法 - Google Patents

Abstract

本发明公开了一种基于目标轨迹的异常行为分析方法，包括以下步骤：运动目标跟踪：将视频输入系统，系统对视频进行目标检测，并对视频中目标进行运动目标跟踪，得到视频序列中运动目标在在每帧图像中的位置，进而得到目标运动轨迹；路径提取：对目标运动轨迹采用多项式拟合方法进行预处理，并采用聚类算法进行聚类，将聚类后得到的数据进行建模，提取得到场景路径；行为分析：通过输入待判定的运动模式与正常行为模型进行匹配，根据匹配情况得到行为分析结果；本发明通过获取运动对象的轨迹，进一步对运动对象的行为、活动的理解和预测的分方法，解决传统视频监控系统判断可疑事件的发生主要依赖于人工的问题。

Description

一种基于目标轨迹的异常行为分析方法

技术领域

本发明涉及一种异常行为分析的研究领域，特别涉及一种基于目标轨迹的异常行为分析方法。

背景技术

随着信息技术的发展，运动目标的视觉行为分析是计算机视觉领域中近年来备受关注的前沿研究，它以摄像机拍摄得到的包含运动目标的序列图像为研究对象，以运动目标的行为分析以及理解为研究目标的，对序列图像的运动目标进行运动检测、识别、跟踪和行为理解。行为理解是运动目标的视觉行为分析的根本目的之一。

采用运动轨迹表示运动行为的方法，涉及运动检测和分割、目标定位和识别即目标跟踪等问题；而行为分析和理解有涉及特征组合、机器学习、统计建模和语义理解等问题。运动目标行为分析的很多研究成果可以借鉴到其他领域。

由于社会信息数字化的快速发展，摄像头等监控设备数量也急剧增加，而工作人员可以从视频设备中获取海量的视频数据，这些海量的视频监控数据中都包含着大量的信息，可以用来获取检测场景中的目标运动轨迹，从而对这些目标轨迹进行行为分析并对异常检测以及对目标行为进行预测。

在视频监控技术发展的初期都是由工作人员对获取的数据进行观测，由于数据量非常庞大，使用人力检测显然是非常不合理的，不仅浪费人力并且容易出现疏漏。目前轨迹提取的系统有很多,而具体对轨迹分析的检测运动目标的行为的方法研究较少,因此智能视频监控技术已经成为一种必然趋势。

智能视频监控技术的研究目标主要分为以下两个方面:对人、物的识别和处理以及对人、物的运动轨迹的识别和处理。对人、物的识别和处理的研究方向包括:视频目标检测、视频目标跟踪等:对人、物的运动轨迹进行识别和处理的研究方向包括人群行为分析、异常轨迹检测以及轨迹预测等。

公共安全问题是全世界关注的焦点，在交通问题中，中国年交通事故死亡九万人,所占总死亡人数的百分比为1.5％。国外的交通事故致死率大大低于我国，而运用计算机视觉技术检测、跟踪运动对象，对运动对象的行为、活动进行分析、理解和预测，发现危险性的行为或非正常事件时进行自动提示和报警，且进行后续的跟踪，以降低异常事件风险或减少危害。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于目标轨迹的异常行为分析方法，即提出通过获取运动对象的轨迹，进一步对运动对象的行为、活动的理解和预测的分析方法。

本发明的目的通过以下的技术方案实现：

一种基于目标轨迹的异常行为分析方法，包括以下步骤：

运动目标跟踪：将视频输入系统，系统对视频进行目标检测，并对视频中目标通过自适应特征提取图像，再通过跟踪算法计算提取每帧图像的估计位置，并通过估计位置获取目标在每帧图像中的最终位置，得到视频序列中运动目标在在每帧图像中的位置，进而得到目标运动轨迹；

路径提取：对目标运动轨迹采用多项式拟合方法进行预处理，并采用聚类算法进行聚类，将聚类后得到的数据进行建模，提取得到场景路径；

行为分析：通过提取输入视频中目标的运动模式与正常行为模型进行匹配，根据匹配情况得到行为分析结果，对异常行为进行分析识别。

进一步地，所述目标检测采用背景减除法。

进一步地，所述目标跟踪，具体为：通过自适应特征提取图像，通过Mean Shift跟踪算法计算提取每帧图像的估计位置，并以估计位置的平均值作为目标在每帧图像中的最终位置。

进一步地，所述目标运动轨迹根据目标跟踪的带视频序列中目标在每帧图像中的位置通过以下矢量序列来表示：

F＝{f₁,…,f_t,…,f_T}

f_T＝[x_t,y_t,u_t,v_t]^T

其中，目标在每一帧的最终位置为(x,y)，及在每一帧的速度(u,v)，f_T表示在t时刻目标位置(x,y)和速度(u,v)的描述参数。

进一步地，所述预处理，具体为：对目标运动轨迹采用最小乘法多项式拟合方法进行预处理；在视频图像序列中，目标的运动轨迹用关于时间的函数来描述，并且能利用目标在一段时间内的图像帧中出现的位置坐标建立一个多项式函数去逼近目标的运动轨迹，然后使用最小二乘法，在最小方差估计的框架中求出目标位置的预测值。

进一步地，所述采用聚类算法进行聚类，并采用混合聚类算法进行聚类，具体为：

将轨迹数据集进行凝聚层次聚类，获取K个继群数据；

计算K个集群数据的集群中心，并将其作为K-means算法的初始聚类中心点；

使用K-means算法聚类，直至收敛。

进一步地，所述将聚类得到的数据进行建模，将聚类后得到的各个集群中心进行建模，具体为：利用高斯模型对路径进行建模，其中，路径两个部分：

(1)平均轨迹，平均轨迹由一系列的结点组成，这些结点通过对场景中提取出的大量的目标的轨迹进行聚类得到；

(2)包络边界，包络边界代表了轨迹样本的概率密度分布的边界，反映了每类样本关于聚类中心的偏离程度。经过聚类后得到的每类数据分布符合正态分布。

进一步地，所述通过输入待判定的运动模式与正常行为模型进行匹配，具体为：通过训练学习，提取目标的代表性行为模式及场景路径，再通过待判定的运动模式和正常行为模式比较判断目标行为是否异常，进而进行正常行为和异常行为的分类。

进一步地，所述异常行为包含徘徊、异常停止和逆行行为，具体如下：

所述的异常停止行为的识别：

异常停止是指目标违反某种准则的停止，根据前后连续n帧图像序列中目标的位移来判断；若目标在n帧连续图像中位移由突然变小至没有明显的变化则认为目标有异常停止行为，公式如下：

其中，s_t表示目标经过相邻帧图像时所移动的距离，i＝1,2,...,n；d表示目标经过相邻帧图像所移动的距离差的均值；

设定T作为判断目标停止的阈值，若d≤T，判断目标异常停止，反之则为正常；

所述的逆行行为的识别：

首先提取目标的代表性行为模式及场景路径，对场景正常轨迹进行方向的判断，得到路径方向，并标记此路径方向为正方向，计算目标在第t+1帧时的位置偏离在第t帧时的角度计算公式如下：

根据相邻帧间的偏角度可以判定待检测轨迹的方向，再与路径方向进行比较判断，若相反标记目标逆行，反之则正常；

所述的徘徊行为的识别：

轨迹的震荡特性是指轨迹在空间上的反复运动；

轨迹在某方向，上的运动限制在某个较窄范围的特点定义为窄幅振荡性:轨迹每次反复运动都穿越某直线两侧区域的特点定义为振荡轴对称性。

若某振荡轨迹，对x轴满足对称性，且在y轴方向满足窄幅报荡性，或者，对y轴满足对称性，且在x轴方向满足窄幅振荡性，则称该轨迹为律倒轨迹，称观测目标产生了徘徊行为；

进一步地，所述徘徊行为的检测要分为三个阶段来实现：

第一阶段是检测轨迹在x轴与y轴方向是否出现振荡；

第二阶段是检测轨迹是否满足振荡对称性；

第三阶段检测轨迹是否满足窄幅振荡性；

x轴与y轴中只要有一个检测出目标的推徊行为，则判定，目标产生徘徊行为。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明采用了基于自适应特征的Mean Shift算法，对视点、遮挡和非刚性引起的目标外形变化不敏感，并且跟踪效果良好。采用最小二乘多项式曲线拟合方法对轨迹进行预处理，有较好的聚类效果。

2、本发明分析了基于目标轨迹的行为有的实际应用价值，研究了几种基于目标运动轨迹的异常行为分析方法，介绍了轨迹分析对目标的异常事件检测中的应用，包括逆行、异常停止、徘徊等异常行为。

附图说明

图1是本发明所述一种基于目标轨迹的异常行为分析方法流程图。

图2是本发明所述实施例中混合聚类算法流程图。

图3是本发明所述实施例中建立的场景模型图。

图4是本发明所述实施例中异常行为检测流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

一种基于目标轨迹的异常行为分析方法，如图1所示，包括以下步骤：

运动目标跟踪：将视频输入系统，系统对视频进行目标检测，并对视频中目标通过自适应特征提取图像，再通过跟踪算法计算提取每帧图像的估计位置，并通过估计位置获取目标在每帧图像中的最终位置，得到视频序列中运动目标在在每帧图像中的位置，进而得到目标运动轨迹；

路径提取：对目标运动轨迹采用多项式拟合方法进行预处理，并采用聚类算法进行聚类，将聚类后得到的数据进行建模，提取得到场景路径；

行为分析：通过提取输入视频中目标的运动模式与正常行为模型进行匹配，根据匹配情况得到行为分析结果，对异常行为进行分析识别。

具体如下：

步骤S1、运动目标跟踪：输入视频，进行目标检测，再实现目标跟踪，得到视频序列中目标在每帧图像中的位置，从而组成目标的运动轨迹；在本发明中，目标检测运用背景减除法，通过自适应特征提取图像，选取的每帧图像应用Mean Shift跟踪算法得到估计位置，以其平均位置作为目标在每帧图像中的最终位置。

基于自适应特征选取的Mean Shift跟踪算法步骤如下：

(1)对视频序列进行自适应特征选取，得到49种经过排序的权重图像，选取前N个方差最大的权重图像作为自适应特征；

(2)对这N个权重图像进行Mean Shift迭代过程，且此过程在当前帧收敛于N个估计得到的2D坐标位置，表示为{(x₁,y₁),(x₂,y₂),...,(x_N,y_N)}；

(3)将得到的N个2D坐标进行怕平均，得到目标在每一帧中的最终位置，表示为(x,y)，且x＝median(x₁,x₂,...,x_N)，y＝median(y₁,y₂,...,y_N)。

根据目标跟踪得到视频序列中目标在每帧图像中的位置，由此目标的轨迹以如下的矢量序列来表示：

F＝{f₁,…,f_t,…,f_T}

f_T＝[x_t,y_t,u_t,v_t]^T

其中，f_T表示在t时刻目标位置(x,y)和速度(u,v)的描述参数。

步骤S2、路径提取：对目标运动轨迹采用多项式拟合方法进行预处理，并采用混合聚类算法进行聚类，再将聚类后所得到的各个集群中心进行建模，提取出场景路径；对目标轨迹进行预处理：找出各定点(x_i,y_i)的举例平方和为最小的曲线y＝p(x)，使用多项式拟合求取运动轨迹，即求

使得D最小。

本发明中用于轨迹聚类得混合聚类算法流程如图2，主要步骤如下：

(1)将轨迹数据集进行凝聚层次聚类，获取K个继群数据；

(2)计算K个集群数据的集群中心，并将其作为K-means算法的初始聚类中心点；

(3)使用K-means算法聚类，直至收敛。

本发明用一个空间模型对图像中得路径进行建模，如图3所示。场景模型包含两个部分：

(1)平均轨迹，它由一系列的结点组成，这些结点可以通过对场景中提取出的大量的目标的轨迹进行聚类得到。

(2)包络边界，它代表了轨迹样本的概率密度分布的边界，反映了每类样本关于聚类中心的偏离程度。经过聚类后得到的每类数据分布符合正态分布，本发明用高斯模型对每类数据进行建模。

步骤S3、行为分析：通过输入待判定的运动模式与正常行为模式模式匹配，来进行徘徊，逆行，异常停止等行为的识别。本发明方法异常行为检测流程图，如图4所示，假设目标在视频序列第t帧和第t+1帧的坐标位置分别为(x_t,y_t)和(x_t+1,y_t+1)，具体分析算法如下：

逆行行为检测算法：

(1)提取目标的代表性行为模式及场景路径；

(2)计算目标在第t+1帧时的位置偏离在第t帧时的角度θ,得到路径方向，并标记此路径方向为正方向；

(3)根据相邻帧间的偏角度可以判定待检测轨迹的方向，再与路径方向进行比较判断，若相反标记目标逆行，反之则正常。

异常停止行为检测算法

(1)设定T作为判断目标停止的阈值；

(2)计算目标经过相邻帧图像所移动的距离差的均值d；

(3)若d≤T，判断目标异常停止，反之则为正常。

徘徊行为检测算法

(1)p＝0(正向移动计数)，n＝0(逆向移动计数)，N＝0(振荡计数):

(2)如果目标沿x轴正向运动，则正向移动计数p加I；否则，目标沿x轴负向运动，则负向移动计数n加1；

(3)如果目标转向，则判断正向或负向移动距离λ，若λ＜λ_M，则振荡计数N加1:

(4)如果振荡计数N连续增加至N＝N_M,则判定轨迹出现振荡。记录y轴方向振荡幅度Δy及转向区间

(5)如果

且Δy＜y_M即振荡轨迹满足对称性及窄幅振荡性，则判定目标产生徘徊行为；

(6)如果t＝t_m,那么该轨迹不是振荡轨迹，算法结束，否则转(2)。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于目标轨迹的异常行为分析方法，其特征在于，包括以下步骤：

运动目标跟踪：将视频输入系统，系统对视频进行目标检测，并对视频中目标通过自适应特征提取图像，再通过跟踪算法计算提取每帧图像的估计位置，并通过估计位置获取目标在每帧图像中的最终位置，得到视频序列中运动目标在在每帧图像中的位置，进而得到目标运动轨迹；

路径提取：对目标运动轨迹采用多项式拟合方法进行预处理，并采用聚类算法进行聚类，将聚类后得到的数据进行建模，提取得到场景路径；

行为分析：通过提取输入视频中目标的运动模式与正常行为模型进行匹配，根据匹配情况得到行为分析结果，对异常行为进行分析识别。

2.根据权利要求1所述的一种基于目标轨迹的异常行为分析方法，其特征在于，所述目标检测采用背景减除法。

3.根据权利要求2所述的一种基于目标轨迹的异常行为分析方法，其特征在于，所述目标跟踪，具体为：通过自适应特征提取图像，通过Mean Shift跟踪算法计算提取每帧图像的估计位置，并以估计位置的平均值作为目标在每帧图像中的最终位置。

4.根据权利要求1所述的一种基于目标轨迹的异常行为分析方法，其特征在于，所述目标运动轨迹根据目标跟踪的带视频序列中目标在每帧图像中的位置通过以下矢量序列来表示：

F＝{f₁,…,f_t,…,f_T}

f_T＝[x_t,y_t,u_t,v_t]^T

其中，目标在每一帧的最终位置为(x,y)，及在每一帧的速度(u,v)，f_T表示在t时刻目标位置(x,y)和速度(u,v)的描述参数。

5.根据权利要求1所述的一种基于目标轨迹的异常行为分析方法，其特征在于，所述预处理，具体为：对目标运动轨迹采用最小乘法多项式拟合方法进行预处理；在视频图像序列中，目标的运动轨迹用关于时间的函数来描述，并且能利用目标在一段时间内的图像帧中出现的位置坐标建立一个多项式函数去逼近目标的运动轨迹，然后使用最小二乘法，在最小方差估计的框架中求出目标位置的预测值。

6.根据权利要求1所述的一种基于目标轨迹的异常行为分析方法，其特征在于，所述采用聚类算法进行聚类，并采用混合聚类算法进行聚类，具体为：

将轨迹数据集进行凝聚层次聚类，获取K个继群数据；

计算K个集群数据的集群中心，并将其作为K-means算法的初始聚类中心点；

使用K-means算法聚类，直至收敛。

7.根据权利要求1所述的一种基于目标轨迹的异常行为分析方法，其特征在于，所述将聚类得到的数据进行建模，将聚类后得到的各个集群中心进行建模，具体为：利用高斯模型对路径进行建模，其中，路径两个部分：

(1)平均轨迹，平均轨迹由一系列的结点组成，这些结点通过对场景中提取出的大量的目标的轨迹进行聚类得到；

(2)包络边界，包络边界代表了轨迹样本的概率密度分布的边界，反映了每类样本关于聚类中心的偏离程度；经过聚类后得到的每类数据分布符合正态分布。

8.根据权利要求1所述的一种基于目标轨迹的异常行为分析方法，其特征在于，所述通过输入待判定的运动模式与正常行为模型进行匹配，具体为：通过训练学习，提取目标的代表性行为模式及场景路径，再通过待判定的运动模式和正常行为模式比较判断目标行为是否异常，进而进行正常行为和异常行为的分类。

9.根据权利要求8所述的一种基于目标轨迹的异常行为分析方法，其特征在于，所述异常行为包含徘徊、异常停止和逆行行为，具体如下：

所述的异常停止行为的识别：

异常停止是指目标违反某种准则的停止，根据前后连续n帧图像序列中目标的位移来判断；若目标在n帧连续图像中位移由突然变小至没有明显的变化则认为目标有异常停止行为，公式如下：

其中，s_t表示目标经过相邻帧图像时所移动的距离，i＝1,2,...,n；d表示目标经过相邻帧图像所移动的距离差的均值；

设定T作为判断目标停止的阈值，若d≤T，判断目标异常停止，反之则为正常；

所述的逆行行为的识别：

首先提取目标的代表性行为模式及场景路径，对场景正常轨迹进行方向的判断，得到路径方向，并标记此路径方向为正方向，计算目标在第t+1帧时的位置偏离在第t帧时的角度计算公式如下：

根据相邻帧间的偏角度可以判定待检测轨迹的方向，再与路径方向进行比较判断，若相反标记目标逆行，反之则正常；

所述的徘徊行为的识别：

轨迹的震荡特性是指轨迹在空间上的反复运动；

轨迹在某方向，上的运动限制在某个较窄范围的特点定义为窄幅振荡性:轨迹每次反复运动都穿越某直线两侧区域的特点定义为振荡轴对称性；

若某振荡轨迹，对x轴满足对称性，且在y轴方向满足窄幅报荡性，或者，对y轴满足对称性，且在x轴方向满足窄幅振荡性，则称该轨迹为律倒轨迹，称观测目标产生了徘徊行为。

10.根据权利要求8所述的一种基于目标轨迹的异常行为分析方法，其特征在于，所述徘徊行为的检测要分为三个阶段来实现：

第一阶段是检测轨迹在x轴与y轴方向是否出现振荡；

第二阶段是检测轨迹是否满足振荡对称性；

第三阶段检测轨迹是否满足窄幅振荡性；

x轴与y轴中只要有一个检测出目标的推徊行为，则判定，目标产生徘徊行为。

Images