CN103942533A - 一种基于视频监控系统的城市交通违规行为检测方法 - Google Patents

Abstract

本发明公开了一种基于视频监控系统的城市交通违规行为检测方法，包括以下步骤：轨迹提取即检测视频运动目标并进行目标跟踪提取目标轨迹；轨迹结构化即分割轨迹段，对轨迹段进行结构化，用四个结构特征表示；轨迹相似度计算即分别计算轨迹段的四个结构特征所对应的特征距离，通过加权和计算轨迹间的相对相似度，计算轨迹间的相似度；轨迹聚类与建模即根据轨迹间的相似度构造相似度矩阵并对轨迹聚类，将聚类后的轨迹建为高斯模型组合，属于同一类的轨迹建立为同一组高斯模型；异常检测即计算待测轨迹属于每个模型的概率，根据最大概率是否大于预设阈值判断异常。本发明基于视频监控系统进行交通违规行为检测，提高了检测的效率、准确度和违规行为类别。

Description

一种基于视频监控系统的城市交通违规行为检测方法

技术领域

本发明属于机器视觉行为分析领域，具体的说是涉及一种基于视频监控系统的城市交通违规行为检测方法。 

背景技术

截至2012年底中国汽车保有量已超过1.2亿辆，车辆数量的急剧增长致使交通违法行为增多，道路上交通事故频发，造成了大量的人员伤亡和巨额的经济损失。当前，交通管理部门利用视频监控系统能够自动检测车辆的部分交通违章行为，如超速行驶、违章停车和逆向行驶等。但是对于违章变道等其他违章行为，以及其他交通参与者的异常行为，包括行人或者自行车出现在机动车道、行人横穿马路等可能引发交通事故的违规行为，现有的视频监控系统尚未包含检测和识别这类行为的技术。 

视频运动目标的运动轨迹是目标行为最直观的体现，通过分析交通场景内交通参与者的轨迹，可以获取交通场景信息，同时检测交通参与者的异常行为。然而，在目前的基于轨迹的异常行为检测方法在中，大部分是将轨迹视为简单的时空点集，忽略了轨迹内部所包含的丰富信息，从而导致场景分析效果不佳，难以用于实际应用。 

发明内容

针对现有技术存在的不足，本发明目的是提供一种基于视频监控系统的城市交通违规行为检测方法，能够提高城市交通违规行为的检测效率和准确度。 

为了实现上述目的，本发明是通过如下的技术方案来实现： 

本发明的一种基于视频监控系统的城市交通违规行为检测方法，包括以下几个步骤： 

(1)、轨迹提取：利用背景差分法检测视频运动目标，并利用卡尔曼滤波进行目标跟踪，提取目标轨迹； 

(2)、轨迹结构化：根据轨迹转角分割轨迹段，对所述轨迹段进行结构化，用四个结构特征表示，所述四个结构特征分别为位置特征、速度特征、方向特征和转角特征； 

(3)、轨迹相似度计算：分别计算轨迹段的四个结构特征所对应的特征距离，通过加权和计算轨迹间的相对相似度，进而计算轨迹间的相似度； 

(4)、轨迹聚类与建模：根据轨迹间的相似度构造相似度矩阵，利用谱聚类方法对轨迹聚类，谱聚类过程中用到了K-means聚类方法，将聚类后的轨迹建为一系列高斯模型的组合，属于同一类的轨迹建立为同一组高斯模型； 

(5)、异常检测：利用贝叶斯决策理论，计算待测轨迹属于每个轨迹类的概率，根据最大概率是否大于预设阈值判断异常。 

步骤(1)中，轨迹提取具体包括以下几个步骤： 

(1A)、利用背景差分法检测视频运动目标，设当前帧的图像为F_i(x,y),背景图像为B_i(x,y)，则当前帧的目标二值图像为  $P_i(x,y)=\left\{\begin{array}{c}1,|F_i-B_i|\≥\mathrm{\δ}\\ 0,\mathrm{else}\end{array}\right.,$ 其中δ为设定的阈值，(x,y)表示像素点坐标，用外接矩形标定二值图像连通域，视为运动目标的区域信息； 

(2A)、提取运动目标特征信息，即外接矩形的长L、宽W和质心(x,y)，其中质心用外接矩形几何中心表示； 

(3A)、对每个目标利用卡尔曼滤波进行目标跟踪，提取目标轨迹。 

步骤(3A)中，利用所述卡尔曼滤波进行目标跟踪具体包括以下几个步骤： 

(1B)、定义状态向量s_k＝(x_k,y_k,L_k,W_k,Δx_k,Δy_k,ΔL_k,ΔW_k)^T和观测向量z_k＝(x_k,y_k,W_k,L_k)^T，其中T表示转置，(x_k,y_k)为运动目标的坐标，L_k、W_k分别为目标外接矩形的长和宽，Δx_k,Δy_k,ΔL_k,ΔW_k分别为对应变量的变化量，定义状态方程s_k＝A_ks_k-1+w_k和观测方程z_k＝H_kz_k-1+v_k，其中 $A_k=\left[\begin{array}{cccccccc}1& 0& 0& 0& 1& 0& 0& 0\\ 0& 1& 0& 0& 0& 1& 0& 0\\ 0& 0& 1& 0& 0& 0& 1& 0\\ 0& 0& 0& 1& 0& 0& 0& 1\\ 0& 0& 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 0& 0& 1\end{array}\right]$ 为状态转移矩阵， $H_k=\left[\begin{array}{cccccccc}1& 0& 0& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0\\ 0& 0& 0& 1& 0& 0& 0& 0\end{array}\right]$ 为观测矩阵，w_k和v_k为互不相关的高斯白噪声，它们的协方差矩阵分别为Q和R； 

(2B)、初始化阶段：初始化状态估计量s_0|0和误差协方差P_0|0； 

(3B)、估计阶段：设前一帧的目标i的状态估计值s_k-1|k-1和后验误差协方差P_k-1|k-1，根据状态先验估计公式s_k|k-1＝A_ks_k-1|k-1估计当前帧的状态预测值，根据先验误差协方差计算公式计算当前帧的先验误差协方差； 

(4B)、匹配阶段：将相邻帧的目标的质心和外接矩形面积进行匹配，找出当前帧所有目标中与目标i的预测值s_k|k-1最匹配的目标，即为目标i在当前帧的匹配目标； 

(5B)、更新阶段：如果目标i在当前帧存在匹配目标，则更新卡尔曼滤波器，包括更新卡尔曼系数状态后验估计值s_k|k＝s_k|k-1+K_k(z_k-H_ks_k|k-1)和后验误差协方差P_k|k＝(1-K_kH_k)P_k|k-1，并记录下当前帧的目标信息； 

(6B)、重复步骤(3B)到(5B)，直到完成所有的视频运动目标轨迹提取。 

步骤(2)中，所述轨迹结构化具体包括以下几个步骤： 

(1C)、轨迹分段：计算每个轨迹点的转角θ，设置转角阈值ω＞0，对满足|θ|＞ω的轨迹点作为分段点，将轨迹划分为轨迹段； 

(2C)、对每个轨迹段，用四个结构特征描述，即： 

(a1)位置特征：由轨迹段的点的坐标表示Position＝{(x₁，y₁)，(x₂，y₂)，...，(x_Ns，y_Ns)}，Ns为轨迹段内轨迹点数； 

(b1)速度特征：假设在两个轨迹点之间目标做匀速直线运动，两个轨迹点间的速度由其平均速度表示，即其中t_i表示轨迹点(x_i,y_i)的采样时刻，则轨迹段速度特征由速度最大 值、平均值和最小值表示，即Speed＝{V_max，V_avg，V_min}； 

(c1)方向特征：对轨迹段内的轨迹点线性拟合，方向特征由拟合直线内的两个点的方向向量表示，即Direction＝(x_t+1-x_t,y_t+1-y_t)，其中，(x_t,y_t)为t时刻拟合直线上点的坐标； 

(d1)转角特征：轨迹段的转角特征是轨迹转角的累加量，即 

$\mathrm{Turn}=\left\{\begin{array}{cc}\underset{i=1}{\overset{\mathrm{Ns}-2}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_i& ,\underset{i=1}{\overset{\mathrm{Ns}-2}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_i>0\\ 2\mathrm{\&pi;}+\underset{i=1}{\overset{\mathrm{Ns}-2}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_i& ,\underset{i=1}{\overset{\mathrm{Ns}-2}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_i<0\end{array}\right.;$

步骤(3)中，轨迹相似度计算具体包括以下几个步骤： 

(1D)、计算轨迹段的四个特征距离，分别对应于四个结构特征，计算方法具体包括以下几个步骤： 

(a2)位置距离：PD(TS_i,TS_j)＝max(h(TS_i,TS_j),h(TS_j,TS_i))，其中 为轨迹段TS_i，TS_j之间的单向Hausdoff距离，其中||P_i-P_j||表示轨迹点P_i与P_j之间的欧式距离； 

(b2)速度距离： 

$\mathrm{SD}({\mathrm{TS}}_i,{\mathrm{TS}}_j)=\frac{1}{3}(S_{\max }({\mathrm{TS}}_i,{\mathrm{TS}}_j)+S_{\mathrm{avg}}({\mathrm{TS}}_i,{\mathrm{TS}}_j)+S_{\min }({\mathrm{TS}}_i,{\mathrm{TS}}_j)),$ 其中，S_max(TS_i,TS_j)＝|V_max(TS_i)-V_max(TS_j)|，即轨迹段间最大速度的差的绝对值，同理，S_avg和S_min分别表示平均速度、最小速度的差异的绝对值。； 

(c2)方向距离：轨迹段间的方向距离由两个方向向量之间的夹角表示， $\mathrm{DD}({\mathrm{TS}}_i,{\mathrm{TS}}_j)=\frac{1}{\mathrm{\&pi;}}<\mathrm{Direction}\left({\mathrm{TS}}_i\right),\mathrm{Direction}\left({\mathrm{TS}}_j\right)>;$

(d2)转角距离： $\mathrm{TD}({\mathrm{TS}}_i,{\mathrm{TS}}_j)=\left\{\begin{array}{cc}\frac{1}{\mathrm{\&pi;}}\mathrm{\&Delta;}& ,\mathrm{\&Delta;}<\mathrm{\&pi;}\\ \frac{1}{\mathrm{\&pi;}}(2\mathrm{\&pi;}-\mathrm{\&Delta;})& ,\mathrm{\&Delta;}>\mathrm{\&pi;}\end{array}\right.,$ 其中 Δ＝|Turn(TS_i)-Turn(TS_j)|； 

(2D)、计算轨迹段距离：轨迹段距离由四个特征距离的加权和衡量，即Dist＝PD×ω_P+SD×ω_S+DD×ω_D+TD×ω_T，其中

(3D)、计算轨迹相似度： $S({\mathrm{TR}}_i,{\mathrm{TR}}_j)=1-\underset{s=1}{\overset{C}{\mathrm{\&Sigma;}}}{W}_s\&times;{\mathrm{Dist}}_s({\mathrm{TR}}_{i,s},{\mathrm{TR}}_{j,s}),$ 其中W_s为轨迹段权重，C为轨迹分段数。 

步骤(4)中，轨迹聚类与建模具体包括以下几个步骤： 

(1E)、根据步骤(3D)得到的轨迹相似度，构造相似度矩阵W，其中 $W_{\mathrm{ij}}=\left\{\begin{array}{cc}S({\mathrm{TR}}_i,{\mathrm{TR}}_j)& ,i\&NotEqual;j\\ 0& ,i=j\end{array}\right.;$

(2E)、计算W的每一列元素的和，作为对角矩阵D_N×N的对角线上的元素，并令L＝D-W； 

(3E)、利用特征值分解，求出L的前K个最大的特征值以及对应的特征向量

(4E)、把这K个特征向量按照其对应的特征值从小到大顺序排列，组成M×K的矩阵Y，将Y中的每一行看作K维空间R^K中的一个向量，用K-means算法(1E～5E过程既是谱聚类过程，K-means是谱聚类中的一步)，进行聚类； 

(5E)、如果矩阵Y中的第i行属于第j类，则轨迹TR_i就属于第j类； 

(6E)、将每一类轨迹建模为一系列高斯分布的组合其中C_i为聚类中心I_i的轨迹分段数，利用每一类中的轨迹段信息可以获得其对应的高斯分布即 ${\mathrm{\&mu;}}_{i,s}=\frac{1}{M_i}\underset{j=1}{\overset{M_i}{\mathrm{\&Sigma;}}}{\mathrm{TS}}_{i,s,j},$ ${\mathrm{\&Sigma;}}_{i,s}=\frac{1}{M_i}\underset{j=1}{\overset{M_i}{\mathrm{\&Sigma;}}}{({\mathrm{TS}}_{i,s,j}-{\mathrm{\&mu;}}_{i,s})}^T({\mathrm{TS}}_{i,s,j}-{\mathrm{\&mu;}}_{i,s}),$ 轨迹段TS服从高斯分布 的概率密度函数为 

步骤(5)中，所述异常检测具体包括以下几个步骤： 

(1F)、待测轨迹的某一轨迹段属于轨迹段模型的概率由最大后验概率表示，即其中p(θ_i)为每一个轨迹聚类出现的概率； 

(2F)、计算待测轨迹属于每个轨迹类的概率， 比较最大概率值与预设概率阈值，若最大概率值小于预设概率阈值，则判断为异常并报警，否则为正常。 

本发明基于视频监控系统进行城市交通违规行为检测，避免了通过人工检测而产生的效率低、劳动力需求及由于工作人员疲劳等产生误判等问题，提高了检测的效率和准确度；本发明利用视频中城市交通参与者的轨迹作为基本特征进行检测违规行为，轨迹信息容易获取，并将轨迹信息进行结构化，充分挖掘了轨迹所蕴含的信息，提高了检测的准确率和违规行为类别。 

附图说明

图1为本发明的基于视频监控系统的城市交通违规行为检测流程图； 

图2为本发明的异常行为检测支持模块实现过程； 

图3为本发明中卡尔曼滤波的估计与更新流程图； 

图4为本发明中轨迹转角示意图； 

图5为本发明中的硬件逻辑框图。 

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。 

参见图5，是实现本发明的硬件逻辑框图，按照空间分布可以分为监控现场和控制中心两部分，监控现场即城市交通视频监控现场，分布于城市交通道路各处的摄像头通过监控网络连接到控制中心，为控制中心提供交通现场待测视频。控制中心围主要由以下几个部分组成：一个德州仪器TI OMAP4460处理器，一个SD卡，一个FLASH芯片和一个显示器。TI OMAP4460是一个电源效率和高性能达到平衡的系统芯片，内置一个基于TI的C64x系列DSP和具有对称多处理(SMP)功能的双核ARM Cortex-A9MP内核。可插拔的SD卡用于存储训练视频，训练过程结束后可将SD卡取出，以便于下次训练其他交通场景。 

参见图1所示，基于视频监控系统的城市交通违规行为检测方法主要包含训练和测试两个部分，具体过程如下 

(1)、训练和测试部分都需要利用轨迹提取模块提取视频运动目标轨迹。目前有多种运动目标轨迹提取方法，主要包含目标的检测与 跟踪。本发明利用背景差分法检测视频运动目标，并利用卡尔曼滤波进行目标跟踪，目标的外接矩形的质心作为目标轨迹点。 

(2)、在获得训练和测试轨迹后，利用轨迹结构化模块根据轨迹转角分割轨迹段，对轨迹段进行结构化，用4个结构特征表示，即位置特征、速度特征、方向特征和转角特征。对结构化后的训练轨迹继续计算其相似度，而结构化后的测试轨迹用与最后的异常检测部分。 

(3)、利用轨迹相似度计算模块分别计算轨迹段的4个结构特征所对应的特征距离，通过加权和计算轨迹间的相对相似度，进而计算轨迹间的相似度。 

(4)、利用轨迹聚类模块，根据轨迹间的相似度构造相似度矩阵，利用谱聚类方法对轨迹聚类，谱聚类过程中用到了K-means聚类方法，将聚类后的轨迹建为一系列(本领域存在按模型组合的方式建模)高斯模型的组合，属于同一类的轨迹建立为同一组高斯模型。 

(5)、利用异常检测模块，根据贝叶斯决策理论，计算待测轨迹属于每个轨迹类的概率，根据最大概率是否大于预设阈值判断异常。 

参见图2，说明各个模块的具体实现过程如下： 

1、轨迹提取模块 

(1)、利用背景差分法检测运动目标，设当前帧的图像为F_i(x,y),背景图像为B_i(x,y)，则当前帧的目标二值图像为  $P_i(x,y)=\left\{\begin{array}{c}1,|F_i-B_i|\&GreaterEqual;\mathrm{\&delta;}\\ 0,\mathrm{else}\end{array}\right.,$ 其中δ为设定的阈值，(x,y)表示像素点坐标。用外接矩形标定二值图像连通域，视为运动目标的区域信息； 

(2)、提取运动目标特征信息，即外接矩形的长L、宽W和质心 (x,y)，其中质心用外接矩形几何中心表示； 

(3)、对每个目标利用卡尔曼滤波进行目标跟踪，提取目标轨迹。其中，参见图3，利用卡尔曼滤波进行目标跟踪的具体过程如下： 

(a)、定义状态向量s_k＝(x_k,y_k,L_k,W_k,Δx_k,Δy_k,ΔL_k,ΔW_k)^T和观测向量z_k＝(x_k,y_k,W_k,L_k)^T，其中T表示转置，(x_k,y_k)为运动目标的坐标，L_k、W_k分别为目标外接矩形的长和宽，Δx_k,Δy_k,ΔL_k,ΔW_k分别为对应变量的变化量，定义状态方程s_k＝A_ks_k-1+w_k和观测方程z_k＝H_kz_k-1+v_k，其中 $A_k=\left[\begin{array}{cccccccc}1& 0& 0& 0& 1& 0& 0& 0\\ 0& 1& 0& 0& 0& 1& 0& 0\\ 0& 0& 1& 0& 0& 0& 1& 0\\ 0& 0& 0& 1& 0& 0& 0& 1\\ 0& 0& 0& 0& 1& 0& 0& 0\\ 0& 0& 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 0& 0& 1\end{array}\right]$ 为状态转移矩阵， $H_k=\left[\begin{array}{cccccccc}1& 0& 0& 0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0\\ 0& 0& 0& 1& 0& 0& 0& 0\end{array}\right]$ 为观测矩阵，w_k和v_k为互不相关的高斯白噪声，它们的协方差矩阵分别为Q和R； 

(b)、初始化阶段：初始化状态估计量s_0|0和误差协方差P_0|0； 

(c)、估计阶段：设前一帧的目标i的状态估计值s_k-1|k-1和后验误差协方差P_k-1|k-1，根据状态先验估计公式s_k|k-1＝A_ks_k-1|k-1估计当前帧的状态预测值，根据先验误差协方差计算公式计算当前帧的先验误差协方差； 

(d)、匹配阶段：由于短时间内目标位置和形状变化不大，将相邻帧的目标的质心和外接矩形面积进行匹配，找出当前帧所有目标中与目标i的预测值s_k|k-1最匹配的目标，即为目标i在当前帧的匹配目标； 

(e)、更新阶段：如果目标i在当前帧存在匹配目标，则更新卡 尔曼滤波器，包括更新卡尔曼系数状态后验估计s_k|k＝s_k|k-1+K_k(z_k-H_ks_k|k-1)和后验误差协方差P_k|k＝(1-K_kH_k)P_k|k-1，并记录下当前帧的目标信息； 

(f)、重复步骤(3)到(5)，直到完成所有的视频运动目标轨迹提取。 

2、轨迹结构化模块 

(1)、轨迹分段：参见图4，计算每个轨迹点的转角θ，设置转角阈值ω＞0，对满足|θ|＞ω的轨迹点作为分段点，将轨迹划分为轨迹段； 

(2)、对每个轨迹段，用4个结构特征描述，即： 

(a)位置特征：由轨迹段的点的坐标表示Position＝{(x₁，y₁)，(x₂，y₂)，...，(x_Ns，y_Ns)}。Ns为轨迹段内轨迹点数； 

(b)速度特征：假设在两个轨迹点之间目标做匀速直线运动，两个轨迹点间的速度由其平均速度表示，即其中t_i表示轨迹点(x_i,y_i)的采样时刻，则轨迹段速度特征由速度最大值、平均值和最小值表示，即Speed＝{V_max，V_avg，V_min}； 

(c)方向特征：对轨迹段内的轨迹点线性拟合，方向特征由拟合直线内的两个点的方向向量表示，即Direction＝(x_t+1-x_t,y_t+1-y_t)，其中，(x_t,y_t)为t时刻拟合直线上点的坐标； 

(d)转角特征：轨迹段的转角特征是轨迹转角的累加量，即 

$\mathrm{Turn}=\left\{\begin{array}{cc}\underset{i=1}{\overset{\mathrm{Ns}-2}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_i& ,\underset{i=1}{\overset{\mathrm{Ns}-2}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_i>0\\ 2\mathrm{\&pi;}+\underset{i=1}{\overset{\mathrm{Ns}-2}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_i& ,\underset{i=1}{\overset{\mathrm{Ns}-2}{\mathrm{\&Sigma;}}}{\mathrm{\&theta;}}_i<0\end{array}\right.;$

3、轨迹相似度计算模块分 

1)、计算轨迹段的4个特征距离，分别对应于4个结构特征，包括 

(a)位置距离：PD(TS_i,TS_j)＝max(h(TS_i,TS_j),h(TS_j,TS_i))，其中 为轨迹段TS_i，TS_j之间的单向Hausdoff距离，其中||P_i-P_j||表示轨迹点Pi与P_j之间的欧式距离； 

(b2)速度距离： 

$\mathrm{SD}({\mathrm{TS}}_i,{\mathrm{TS}}_j)=\frac{1}{3}(S_{\max }({\mathrm{TS}}_i,{\mathrm{TS}}_j)+S_{\mathrm{avg}}({\mathrm{TS}}_i,{\mathrm{TS}}_j)+S_{\min }({\mathrm{TS}}_i,{\mathrm{TS}}_j)),$ 其中，S_max(TS_i,TS_j)＝|V_max(TS_i)-V_max(TS_j)|，即轨迹段间最大速度的差的绝对值。同理，S_avg和S_min分别表示平均速度、最小速度的差异的绝对值。； 

(c)方向距离：轨迹段间的方向距离由两个方向向量之间的夹角表示， $\mathrm{DD}({\mathrm{TS}}_i,{\mathrm{TS}}_j)=\frac{1}{\mathrm{\&pi;}}<\mathrm{Direction}\left({\mathrm{TS}}_i\right),\mathrm{Direction}\left({\mathrm{TS}}_j\right)>;$

(d)转角距离： $\mathrm{TD}({\mathrm{TS}}_i,{\mathrm{TS}}_j)=\left\{\begin{array}{cc}\frac{1}{\mathrm{\&pi;}}\mathrm{\&Delta;}& ,\mathrm{\&Delta;}<\mathrm{\&pi;}\\ \frac{1}{\mathrm{\&pi;}}(2\mathrm{\&pi;}-\mathrm{\&Delta;})& ,\mathrm{\&Delta;}>\mathrm{\&pi;}\end{array}\right.,$ 其中Δ＝|Turn(TS_i)-Turn(TS_j)|； 

(2)、计算轨迹段距离：轨迹段距离由4个特征距离的加权和衡量，即Dist＝PD×ω_P+SD×ω_S+DD×ω_D+TD×ω_T，其中

(3)、计算轨迹相似度： $S({\mathrm{TR}}_i,{\mathrm{TR}}_j)=1-\underset{s=1}{\overset{C}{\mathrm{\&Sigma;}}}{W}_s\&times;{\mathrm{Dist}}_s({\mathrm{TR}}_{i,s},{\mathrm{TR}}_{j,s}),$ 其 中W_s为轨迹段权重，C为轨迹分段数。 

4、轨迹聚类模块 

(1)、根据权利要求(5)的轨迹相似度，构造相似度矩阵W，其中 $W_{\mathrm{ij}}=\left\{\begin{array}{cc}S({\mathrm{TR}}_i,{\mathrm{TR}}_j)& ,i\&NotEqual;j\\ 0& ,i=j\end{array}\right.;$

(2)、计算W的每一列元素的和，作为对角矩阵D_N×N的对角线上的元素，并令L＝D-W； 

(3)、利用特征值分解，求出L的前K个最大的特征值以及对应的特征向量

(4)、把这K个特征向量按照其对应的特征值从小到大顺序排列，组成M×K的矩阵Y，将Y中的每一行看作K维空间R^K中的一个向量，用传统聚类算法聚成K类，本专利用K-means算法进行聚类； 

(5)、如果矩阵Y中的第i行属于第j类，则轨迹TR_i就属于第j类； 

(6)、将每一类轨迹建模为一系列高斯分布的组合其中C_i为聚类中心I_i的轨迹分段数。利用每一类中的轨迹段信息可以获得其对应的高斯分布即 ${\mathrm{\&mu;}}_{i,s}=\frac{1}{M_i}\underset{j=1}{\overset{M_i}{\mathrm{\&Sigma;}}}{\mathrm{TS}}_{i,s,j},$ ${\mathrm{\&Sigma;}}_{i,s}=\frac{1}{M_i}\underset{j=1}{\overset{M_i}{\mathrm{\&Sigma;}}}{({\mathrm{TS}}_{i,s,j}-{\mathrm{\&mu;}}_{i,s})}^T({\mathrm{TS}}_{i,s,j}-{\mathrm{\&mu;}}_{i,s}),$ 轨迹段TS服从高斯分布 的概率密度函数为 

5、异常检测模块 

(1)、待测轨迹的某一轨迹段属于轨迹段模型的概率由最大后验概率表示，即其中p(θ_i)为每一个轨迹聚类出现的概率； 

(2)、计算待测轨迹属于每个轨迹类的概率， 比较最大概率值与预设概率阈值，所预设的概率阈值为95％，若最大概率值小于95％，则判断为异常并报警，否则为正常。 

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。 

Claims (7)

1.一种基于视频监控系统的城市交通违规行为检测方法，其特征在于，包括以下几个步骤： 

(1)、轨迹提取：利用背景差分法检测视频运动目标，并利用卡尔曼滤波进行目标跟踪，提取目标轨迹； 

(2)、轨迹结构化：根据轨迹转角分割轨迹段，对所述轨迹段进行结构化，用四个结构特征表示，所述四个结构特征分别为位置特征、速度特征、方向特征和转角特征； 

(3)、轨迹相似度计算：分别计算轨迹段的四个结构特征所对应的特征距离，通过加权和计算轨迹间的相对相似度，进而计算轨迹间的相似度； 

(4)、轨迹聚类与建模：根据轨迹间的相似度构造相似度矩阵，利用谱聚类方法对轨迹聚类，将聚类后的轨迹建为一系列高斯模型的组合，属于同一类的轨迹建立为同一组高斯模型； 

(5)、异常检测：利用贝叶斯决策理论，计算待测轨迹属于每个轨迹类的概率，根据最大概率是否大于预设阈值判断异常。 

2.根据权利要求1所述的基于视频监控系统的城市交通违规行为检测方法，其特征在于，步骤(1)中，所述轨迹提取具体包括以下几个步骤： 

(1A)、利用背景差分法检测视频运动目标，设当前帧的图像为F_i(x,y),背景图像为B_i(x,y)，则当前帧的目标二值图像为 其中δ为设定的阈值，(x,y)表示像素点坐标，用外接矩形标定二值图像连通域，视为运动目标的区域信息； 

(2A)、提取运动目标特征信息，即外接矩形的长L、宽W和质心(x,y)，其中质心用外接矩形几何中心表示； 

(3A)、对每个目标利用卡尔曼滤波进行目标跟踪，提取目标轨迹。 

3.根据权利要求2所述的基于视频监控系统的城市交通违规行为检测方法，其特征在于，步骤(3A)中，利用所述卡尔曼滤波进行目标跟踪具体包括以下几个步骤： 

(1B)、定义状态向量s_k＝(x_k,y_k,L_k,W_k,Δx_k,Δy_k,ΔL_k,ΔW_k)^T和观测向量z_k＝(x_k,y_k,W_k,L_k)^T，其中T表示转置，(x_k,y_k)为运动目标的坐标，L_k、W_k分别为目标外接矩形的长和宽，Δx_k,Δy_k,ΔL_k,ΔW_k分别为对应变量的变化量，定义状态方程s_k＝A_ks_k-1+w_k和观测方程z_k＝H_kz_k-1+v_k，其中为状态转移矩阵，为观测矩阵，w_k和v_k为互不相关的高斯白噪声，它们的协方差矩阵分别为Q和R； 

(2B)、初始化阶段：初始化状态估计量s_0|0和误差协方差P_0|0； 

(3B)、估计阶段：设前一帧的目标i的状态估计值s_k-1|k-1和后验误差协方差P_k-1|k-1，根据状态先验估计公式s_k|k-1＝A_ks_k-1|k-1估计当前帧 的状态预测值，根据先验误差协方差计算公式计算当前帧的先验误差协方差； 

(4B)、匹配阶段：将相邻帧的目标的质心和外接矩形面积进行匹配，找出当前帧所有目标中与目标i的预测值s_k|k-1最匹配的目标，即为目标i在当前帧的匹配目标； 

(5B)、更新阶段：如果目标i在当前帧存在匹配目标，则更新卡尔曼滤波器，包括更新卡尔曼系数状态后验估计值s_k|k＝s_k|k-1+K_k(z_k-H_ks_k|k-1)和后验误差协方差P_k|k＝(1-K_kH_k)P_k|k-1，并记录下当前帧的目标信息； 

(6B)、重复步骤(3B)到(5B)，直到完成所有的视频运动目标轨迹提取。 

4.根据权利要求3所述的基于视频监控系统的城市交通违规行为检测方法，其特征在于，步骤(2)中，所述轨迹结构化具体包括以下几个步骤： 

(1C)、轨迹分段：计算每个轨迹点的转角θ，设置转角阈值ω＞0，对满足|θ|＞ω的轨迹点作为分段点，将轨迹划分为多个轨迹段； 

(2C)、对每个轨迹段，用四个结构特征描述，即： 

(a1)位置特征：由轨迹段的点的坐标表示Position＝{(x₁，y₁)，(x₂，y₂)，...，(x_Ns，y_Ns)}，Ns为轨迹段内轨迹点数； 

(b1)速度特征：假设在两个轨迹点之间目标做匀速直线运动，两个轨迹点间的速度由其平均速度表示，即其中t_i表示轨迹点(x_i,y_i)的采样时刻，则轨迹段速度特征由速度最大 值、平均值和最小值表示，即Speed＝{V_max，V_avg，V_min}； 

(c1)方向特征：对轨迹段内的轨迹点线性拟合，方向特征由拟合直线内的两个点的方向向量表示，即Direction＝(x_t+1-x_t,y_t+1-y_t)，其中，(x_t,y_t)为t时刻拟合直线上点的坐标； 

(d1)转角特征：轨迹段的转角特征是轨迹转角的累加量，即 

5.根据权利要求4所述的基于视频监控系统的城市交通违规行为检测方法，其特征在于，步骤(3)中，轨迹相似度计算具体包括以下几个步骤： 

(1D)、计算轨迹段的四个特征距离，分别对应于四个结构特征，计算方法具体包括以下几个步骤： 

(a2)位置距离：PD(TS_i,TS_j)＝max(h(TS_i,TS_j),h(TS_j,TS_i))，其中 为轨迹段TS_i，TS_j之间的单向Hausdoff距离，其中||P_i-P_j||表示轨迹点P_i与P_j之间的欧式距离； 

(b2)速度距离： 

其中，S_max(TS_i,TS_j)＝|V_max(TS_i)-V_max(TS_j)|，即轨迹段间最大速度的差的绝对值，同理，S_avg和S_min分别表示平均速度、最小速度的差异的绝对值。； 

(c2)方向距离：轨迹段间的方向距离由两个方向向量之间的夹角表示，

(d2)转角距离：其中Δ＝|Turn(TS_i)-Turn(TS_j)|； 

(2D)、计算轨迹段距离：轨迹段距离由四个特征距离的加权和衡量，即Dist＝PD×ω_P+SD×ω_S+DD×ω_D+TD×ω_T，其中

(3D)、计算轨迹相似度：其中W_s为轨迹段权重，C为轨迹分段数。 

6.根据权利要求5所述的基于视频监控系统的城市交通违规行为检测方法，其特征在于，步骤(4)中，轨迹聚类与建模具体包括以下几个步骤： 

(1E)、根据步骤(3D)得到的轨迹相似度，构造相似度矩阵W，其中

(2E)、计算W的每一列元素的和，作为对角矩阵D_N×N的对角线上的元素，并令L＝D-W； 

(3E)、利用特征值分解，求出L的前K个最大的特征值以及对应的特征向量

(4E)、把这K个特征向量按照其对应的特征值从小到大顺序排列，组成M×K的矩阵Y，将Y中的每一行看作K维空间R^K中的一个向量，用K-means算法进行聚类； 

(5E)、如果矩阵Y中的第i行属于第j类，则轨迹TR_i就属于第j类； 

(6E)、将每一类轨迹建模为一系列高斯分布的组合其中C_i为聚类中心I_i的轨迹分段数，利用每一类中的轨迹段信息可以获得其对应的高斯分布即 轨迹段TS服从高斯分布 的概率密度函数为 

7.根据权利要求6所述的基于视频监控系统的城市交通违规行为检测方法，其特征在于，步骤(5)中，所述异常检测具体包括以下几个步骤： 

(1F)、待测轨迹的某一轨迹段属于轨迹段模型的概率由最大后验概率表示，即其中p(θ_i)为每一个轨迹聚类出现的概率； 

(2F)、计算待测轨迹属于每个轨迹类的概率， 比较最大概率值与预设概率阈值，若最大概率值小于预设概率阈值，则判断为异常并报警，否则为正常。