CN102629384A - 视频监控中异常行为的检测方法 - Google Patents

Abstract

本发明为视频监控中异常行为的检测方法，解决已有检测方法考虑因素单一，极易发生误报的问题。包括如下步骤：a、读取视频图像帧，将视频图像转换为灰度图像；b、检测灰度图像中的运动目标；c、对运动目标进行跟踪，确定分析运动目标；d、计算分析运动目标帧间变化熵值并同时进行运动目标特征点提取，计算各特征点的运动速度大小和方向，计算运动目标的运动能量；e、根据运动目标帧间变化熵值和运动能量进行打斗决策，如果发生打斗，则报警。

Description

视频监控中异常行为的检测方法

技术领域：

本发明属于视频监控技术领域，尤其涉及一种运动目标行为分析中的异常行为的检测方法。

背景技术：

智能视频监控包括目标检测、目标分类、目标跟踪以及目标行为分析与理解等内容，目标异常行为检测是运动目标行为分析与理解的重要内容之一。与常规行为相比，抢劫，打斗，追逐等特定场合下目标的异常行为，往往表现为突发性大、运动幅度强、不可预知、运动方向不一致的不规则行为。

传统的视频监控系统中，通常是在目标异常行为发生后，通过录像回放来人工观察和检查目标异常行为，这种方式不但效率低下，而且无法实时报告异常行为。

现在的智能视频监控系统中，关于异常行为的检测，有基于跟踪的异常行为辨识，有基于学习的异常行为辨识以及基于能量的群体异常行为辨识。专利US2007/0121999A1提出了一种异常人群行为检测方法，该方法通过对视频场景中的目标进行检测、跟踪，对跟踪起来的运动区域计算帧间的变化熵值，以此来判断打斗事件的发生，但是这种方法对于转身等情况也极易发生误报，干扰较大。基于学习的异常行为辨识主要是通过对各种异常行为，如跑步，跳跃，倒地等行为特征的学习，建立异常行为模型，进而判断异常事件的发生，这种方法需要经过大量的学习，相对来说适用于跑步、跳跃、倒地等异常行为，而由于打斗异常行为发生的突发性，无序性，毫无规则性，该方法在检测打斗行为时，鲁棒性较低。Tian Cao，XinyuWu等提取了一种基于运动能量的异常行为检测方法，该方法通过在运动检测的基础上，对运动的目标提取特征点，并对特征点进行跟踪，建立了帧间的统计方向直方图，当打斗事件发生时，其各方向的分布较为均匀，而不是单纯地分布在某几个方向上，以此来计算运动能量。但是这种方法与场景的复杂程度有关，在人较多的场合，即使没发生打斗，也很容易发生报警。

发明内容：

本发明的目的是提供一种鲁棒性高的视频监控中异常行为的检测方法。

本发明包括如下步骤：

1.读取视频图像帧，将视频图像转换为灰度图像，

2.检测灰度图像中的运动目标，

3.对运动目标进行跟踪，确定分析运动目标，

4.计算分析运动目标帧间变化熵值，并同时进行运动目标特征点提取，计算各特征点的运动速度大小和方向，计算分析运动目标的运动能量，

5.根据分析运动目标帧间变化熵值和运动能量进行打斗决策，如发生打斗，则报警。

在步骤2中，对灰度图像进行学习，建立单高斯背景模型，然后使用背景减法提取出灰度图像中的运动目标。

执行步骤3的流程如下：

(1)对当前帧第n个运动目标和上一帧的所有运动目标进行位置和面积匹配，当前帧第n个运动目标与上一帧第m个运动目标的中心点的位置差T(m)和目标面积差A(m)分别为：

$T\left(m\right)=\sqrt{{(p_n-x_m)}^2+{(q_n-y_m)}^2},$

A(m)＝|Q_n-S_m|，

其中，n，m分别为当前帧灰度图像和上一帧灰度图像中运动目标的编号，按照从左到右，从上到下的顺序排列，n＝1，2，...，N，m＝1，2，...，M，上一帧灰度图像第m个运动目标中心点位置为[x_m，y_m]，面积为S_m，当前帧第n个运动目标中心点位置为[p_n，q_n]，面积为Q_n，取n＝1，遍历m的全部取值，计算使得T(m)最小的m值J₁，

选取运动目标中心位置和面积帧间变化阈值th₁，th₂；

当T(J₁)≤th₁且A(J₁)≤th₂，则表示当前帧第一个运动目标在上一帧匹配的运动目标为第J₁个，

当T(J₁)＞th₁或A(J₁)＞th₂，则将J₁置为0，表示当前帧出现了新的运动目标；

(2)将n依次加1，重复上述过程，找出当前帧所有运动目标与上一帧匹配的运动目标J₁，J₂，...，J_N，如果其中不包括从1到M的某值K，则表明上一帧第K个运动目标丢失；

(3)重复过程(1)，(2)，依次对当前帧灰度图像以上的连续的H帧灰度图像的运动目标跟踪，H为5到10之间的任意整数，如果某运动目标连续有H帧未发生运动目标丢失，则将当前帧灰度图像的该运动目标作为分析运动目标。

在步骤4中，对分析运动目标进行帧间灰度值变化统计，得到分析运动目标的帧间变化熵值E₁，

$E_1=\frac{1}{W_1\·H_1}\underset{i=1}{\overset{W_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{H_1}{\mathrm{\Σ}}}{M}_1[i,j],$

其中， $M_1[i,j]=\left\{\begin{array}{c}1,\left|R_t\right[i,j]-R_{t-1}[i,j\left]\right|\&GreaterEqual;{\mathrm{th}}_3\\ 0,\left|R_t\right[i,j]-R_{t-1}[i,j\left]\right|<{\mathrm{th}}_3\end{array}\right.,$ th₃为帧间差分阈值，W₁，H₁分别为分析运动目标在当前帧所在区域的宽度，高度，R_t[i，j]为分析运动目标在当前帧所在区域水平第i个垂直第j个像素点的灰度值，R_t-1[i，j]为分析运动目标在上一帧所在区域水平第i个垂直第j个像素点的灰度值。

在步骤4中，计算分析运动目标运动能量的过程如下：

(1)采用网格形式在分析运动目标图像上扫描，扫描间距为5个像素点，每扫描一次取一个像素点，当其二值化像素点为255时，提取该点为特征点；

(2)使用光流法对连续三帧灰度图像的特征点进行跟踪，计算每两帧灰度图像间特征点的速度方向和速度大小得到第一、二速度方向θ₁[n]，θ₂[n]和第一、二速度大小v₁[n]，v₂[n]；

(3)计算分析运动目标的运动能量E₂，用A₁表示当前帧分析运动目标每个特征点的最大第一速度大小对应的第一速度方向，以A₁为基准角度，计算当前帧分析运动目标每个特征点的第一速度方向与A₁的差值Δθ₁[n]，计算当前帧分析运动目标每个特征点的第一速度方向与上一帧相匹配点的第二速度方向的角度差异Δθ₂[n]，n为分析运动目标特征点的编号，n＝1，2，...，N，分析运动目标的运动能量为：

$E_2=\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}({(\frac{\mathrm{\&Delta;}{\mathrm{\&theta;}}_2\left(n\right)}{\mathrm{\&pi;}}\&CenterDot;10)}^2+{(\frac{\left|\mathrm{\&Delta;}{\mathrm{\&theta;}}_1\right[n\left]\right|}{\mathrm{\&pi;}}\&CenterDot;10)}^2)\&CenterDot;v_1{\left[n\right]}^2,$

其中，v₁[n]为第n个特征点的速度大小。

在步骤5中，当E₁＞th₄且E₂＞th₅时，th₄为打斗熵值阈值，th₅为打斗能量阈值，则判定分析运动目标发生了打斗行为，发生报警，并将该分析运动目标在原彩色视频图像中的位置标记出来，上传接警中心，否则，重复步骤3-5。

本发明综合考虑运动目标的帧间变化熵值和运动能量，在场景复杂的情况下，也不会发生误报警，报警成功率高。

附图说明：

图1是本发明提供的异常行为检测方法所述系统的结构框图。

图2是本发明提供的异常行为检测方法的总体流程图。

图3是本发明提供的异常行为检测方法中运动目标跟踪的流程图。

图4是本发明对帧间匹配的目标区域进行扩充的示意图。

具体实施方式：

本发明提供了一种视频监控中的异常行为检测方法，该方法的系统结构框图如图1所示，包括视频采集单元、异常行为分析单元以及报警单元。

视频采集单元的主要功能是通过通用模拟摄像头对监控场景进行拍摄并获取模拟视频图像，然后通过通用的视频采集卡转换为数字图像数据。这里对摄像头的安装高度和角度是有一定要求的，摄像头的安装要使得整个人体都出现在视频画面中，摄像机的架设要使得视频画面中能完整显示人体的全身信息。

异常行为分析单元的主要功能是对送入的彩色数字图像数据转换为灰度图像，然后在灰度图像上检测是否有异常行为发生。如果有异常行为发生，则提取异常行为目标的位置，并在原彩色图像的相应位置处将该异常行为目标标记出来。

如果在异常行为分析单元检测到有异常行为发生，则发生报警，并将有异常行为标记的图像上传报警单元。

本发明提供了一种视频监控中的异常行为检测方法，该方法如图2所示，具体包括如下步骤：

一、将彩色图像转换为灰度图像s1

本发明中提到的异常行为检测方法的每个步骤都是在灰度图像基础上进行的，所以首先要将获得的彩色图像转换为灰度图像；

二、运动目标检测s2

对步骤一获得的灰度图像中进行运动目标检测，运动目标检测的方法有背景减法、帧间差分法，时间统计法和光流法，在本发明实施例，以背景减法为例进行说明，背景减法实施的关键在于背景模型的建立，背景模型建立的方法有很多，有单高斯背景模型法和混合高斯背景模型法，在本发明实施例中，以单高斯背景模型法为例进行介绍，通过一段时间的灰度图像学习，建立了单高斯背景模型，然后使用背景减法提取出灰度图像中的运动目标区域，完成运动目标检测，具体为：

1.单高斯背景模型建立

在场景中无运动的行人或车辆时，对之后的连续20帧灰度图像进行学习，建立单高斯背景模型，单高斯背景模型建立的关键是均值和方差的建立。

首先，对均值和方差进行初始化，μ₀[i，j]表示灰度图像水平第i个像素点，垂直第j个像素点的初始背景模型均值，σ₀[i，j]表示灰度图像水平第i个像素点，垂直第j个像素点的初始背景模型标准方差，计算公式为：

μ₀[i，j]＝a，i＝1，2，...，W₀，j＝1，2，...，H₀       (1-1)

σ₀[i，j]＝b，i＝1，2，...，W₀，j＝1，2，...，H₀       (1-2)

其中，W₀表示灰度图像的宽度，H₀表示灰度图像的高度，在本发明实施例中，a＝10，b＝15。

在以后的每帧中，完成对背景模型的更新，背景模型的更新就是对背景模型均值和方差的更新。如果当前图像为第t帧，则上一帧图像为第t-1帧，则上二帧图像为第t-2帧，且t为大于2的正整数，用μ_t[i，j]表示当前帧灰度图像水平第i个像素点，垂直第j个像素点的背景模型均值，μ_t-1[i，j]代表上一帧灰度图像水平第i个像素点，垂直第j个像素点的背景模型均值，I_t[i，j]表示当前帧灰度图像水平第i个像素点，垂直第j个像素点的灰度值，背景模型均值μ_t[i，j]的更新方法如下：

${\mathrm{\&mu;}}_t[i,j]=\left\{\begin{array}{c}{\mathrm{\&mu;}}_{t-1}[i,j]+1,I_t[i,j]>{\mathrm{\&mu;}}_{t-1}[i,j]\\ {\mathrm{\&mu;}}_{t-1}[i,j],I_t[i,j]={\mathrm{\&mu;}}_{t-1}[i,j]\\ {\mathrm{\&mu;}}_{t-1}[i,j]-1,I_t[i,j]<{\mathrm{\&mu;}}_{t-1}[i,j]\end{array}\right.,$ i＝1，2，...，W₀，j＝1，2，...，H₀(2-1)

用σ_t[i，j]表示当前帧灰度图像水平第i个像素点，垂直第j个像素点的背景模型标准方差，σ_t-1[i，j]代表上一帧灰度图像水平第i个像素点，垂直第j个像素点的背景模型标准方差，背景模型标准方差的更新方法如下：

${\mathrm{\&sigma;}}_t[i,j]=\left\{\begin{array}{c}{\mathrm{\&sigma;}}_{t-1}[i,j]+1,\left({\mathrm{\&mu;}}_t\right[i,j]-I_t[i,j\left]\right)>3{\mathrm{\&sigma;}}_{t-1}[i,j]\\ {\mathrm{\&sigma;}}_{t-1}[i,j],\left({\mathrm{\&mu;}}_t\right[i,j]-I_t[i,j\left]\right)=3{\mathrm{\&sigma;}}_{t-1}[i,j]\\ {\mathrm{\&sigma;}}_{t-1}[i,j]-1,\left({\mathrm{\&mu;}}_t\right[i,j]-I_t[i,j\left]\right)<3{\mathrm{\&sigma;}}_{t-1}[i,j]\end{array}\right.$ i＝1，2，...，W₀ j＝1，2，...，H₀    (2-2)

2.背景减法提取运动目标区域

在背景模型建立完成后，将以后每帧灰度图像的各个像素点与背景模型对应位置的均值μ_t[i，j]相减，根据结果对灰度图像进行二值化，完成运动目标区域的提取。

用B_t[i，j]表示当前帧灰度图像水平第i个像素点，垂直第j个像素点的二值化像素点值，B_t[i，j]的计算方法如公式(3)所示。

$B_t[i,j]=\left\{\begin{array}{c}255,\left|{\mathrm{\&mu;}}_t\right[i,j]-I_t[i,j\left]\right|>=3{\mathrm{\&sigma;}}_t[i,j]\\ 0,\left|{\mathrm{\&mu;}}_t\right[i,j]-I_t[i,j\left]\right|<3{\mathrm{\&sigma;}}_t[i,j]\end{array}\right.,$ i＝1，2，...，W₀，j＝1，2，...，H₀    (3)

当B_t[i，j]＝255时，表示当前帧灰度图像的水平i个像素点，垂直第j个像素点为目标点，当B_t[i，j]＝0时，表示当前帧灰度图像的水平i个像素点，垂直第j个像素点为背景点。当遍历完当前帧灰度图像的所有像素点，计算得到所有像素点的二值化值后，通过标记操作，完成运动目标的提取，各个运动目标用矩形区域表示。

三、运动目标跟踪s3

运动目标在视频中出现，不可能一晃而过。因此，在步骤二的基础上，对检测出来的运动目标进行跟踪，以排除瞬时出现的目标造成的干扰，具体实现过程如图3所示。

假设上一帧灰度图像中检测到有M个运动目标，当前帧灰度图像中检测到N个运动目标，n，m为变量，分别为当前帧和上一帧灰度图像中运动目标的标号，在视频图像上按照从左到右，从上到下的顺序排序，n＝1，2，...，N，m＝1，2，...，M，上一帧第m个运动目标中心点位置为[x_m，y_m]，面积为S_m，当前帧第n个运动目标中心点位置为[p_n，q_n]，面积为Q_n。

1.面积和位置匹配

(1)对当前帧灰度图像的第n个运动目标，与上一帧灰度图像的所有运动目标进行位置和面积匹配。当前帧第n个运动目标与上一帧第m个运动目标中心点的位置差T(m)和目标间面积差A(m)分别为：

$T\left(m\right)=\sqrt{{(p_n-x_m)}^2+{(q_n-y_m)}^2}---(4-1)$

A(m)＝|Q_n-S_m|        (4-2)

取n＝1，遍历m的全部取值，计算使得位置匹配参数T(m)最小的m值，记为表示当前帧第一个运动目标的最佳匹配为上一帧第J₁个运动目标，如果T(J₁)≤th₁且A(J₁)≤th₂，th₁为运动目标中心位置帧间变化的阈值，在本发明实施例中th₁＝20，th₂为运动目标面积帧间变化阈值，在本发明实施例中th₂＝100，则表示当前帧第一个运动目标能在上一帧灰度图像中找到匹配的运动目标为第J₁个，如果T(J₁)＞th₁或A(J₁)＞th₂，将J₁置0，即J₁＝0，则表示当前帧第一个运动目标与上一帧的任何运动目标都不匹配，为新出现的运动目标；

(2)n依次加1，从n＝2直到n＝N，重复步骤(1)，找出当前帧所有匹配的运动目标J₂，J₃，...，J_N，如果J₁，J₂，...，J_N不包括从1到M的某个值K，则表明上一帧第K个运动目标丢失；

(3)依次类推，重复上述步骤(1)，(2)，对以下各帧灰度图像的所有运动目标进行位置和面积匹配。

2.跟踪分析

如果某运动目标连续有H帧匹配成功而未发生运动目标丢失的情况，则将当前帧灰度图像的该运动目标作为分析运动目标，H为5到10之间的任意整数，在本发明实施例中，H＝8。

四、计算分析运动目标帧间变化熵值s4

在步骤三的基础上，对分析运动目标进行帧间灰度变化统计，得到分析运动目标的运动熵值。

将分析运动目标在当前帧和上一帧所在位置处的区域按照图4所示的方式进行扩充，左右边界扩充

的目标区域宽度，上下边界扩充

的目标区域高度，并保证扩充后帧间区域大小相同。假设分析运动目标在当前帧左上角的位置为[x₀，y₀]，右上角的位置为[x₁，y₀]，左下角的位置为[x₀，y₁]，右下角的位置为[x₁，y₁]，分析运动目标在上一帧左上角的位置为[x₂，y₂]，右上角的位置为[x₃，y₂]，左下角的位置为[x₂，y₃]，右下角的位置为[x₃，y₃]，则扩充后分析运动目标在当前帧所在区域的左上角位置为 $[x_0-\frac{x_1-x_0}{4},y_0-\frac{y_1-y_0}{4}],$ 右上角位置为 $[x_1+\frac{x_1-x_0}{4},y_0-\frac{y_1-y_0}{4}],$ 左下角位置为 $[x_0-\frac{x_1-x_0}{4},y_1+\frac{y_1-y_0}{4}],$ 右下角位置为 $[x_1+\frac{x_1-x_0}{4},y_1+\frac{y_1-y_0}{4}],$ 扩充后分析运动目标在上一帧所在区域的左上角位置为 $[x_2-\frac{x_1-x_0}{4},y_2-\frac{y_1-y_0}{4}],$ 右上角位置为 $[x_2+\frac{5(x_1-x_0)}{4},y_2-\frac{y_1-y_0}{4}],$ 左下角位置为 $[x_2-\frac{x_1-x_0}{4},y_2+\frac{5(y_1-y_0)}{4}],$ 右下角位置为 $[x_2+\frac{5(x_1-x_0)}{4},y_2+\frac{5(y_1-y_0)}{4}],$ 其中位置坐标均为整数。

然后计算两目标区域的匹配熵值，用E₁表示分析运动目标在帧间的变化熵值，R_t[i，j]为分析运动目标在当前帧图像中所在区域水平第i个垂直第j个像素点的灰度值，R_t-1[i，j]为分析运动目标在上一帧图像中所在区域水平第i个垂直第j个像素点的灰度值，M_t[i，j]表示分析运动目标在当前帧图像中所在区域与上一帧图像中所在区域水平第i个垂直第j个像素点的差分值，熵值的计算方法如下：

$E_1=\frac{1}{W_1\&CenterDot;H_1}\underset{i=1}{\overset{W_1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_1}{\mathrm{\&Sigma;}}}{M}_1[i,j]---\left(5\right)$

其中， $M_t[i,j]=\left\{\begin{array}{c}1,\left|R_t\right[i,j]-R_{t-1}[i,j\left]\right|\&GreaterEqual;{\mathrm{th}}_3\\ 0,\left|R_t\right[i,j]-R_{t-1}[i,j\left]\right|<{\mathrm{th}}_3\end{array}\right.,$ W₁表示分析运动目标在当前帧图像中所在区域的宽度，H₁表示分析运动目标在当前帧图像中所在区域的高度，th₃为帧间差分阈值，在本发明实施例中，th₃＝15。

五、对分析运动目标进行特征点提取，并计算各特征点的运动速度大小和速度方向s5

1.采用网格形式在分析运动目标图像上选取特征点

采用基于网格的方法，按照从左到右，从上到下的顺序扫描分析运动目标图像，水平和垂直扫描距离都为5个像素点，每扫描一次取1个像素点，当且仅当该像素点的二值化像素点值为255时，该点被提取为特征点。

2.使用光流法对连续三帧的特征点进行跟踪，计算每两帧间特征点的速度方向和大小

首先计算连续三帧灰度图像的各层金字塔图像和金字塔梯度图像，在得到连续三帧的金字塔图像和金字塔梯度图像后，使用KLT方法对分析运动目标的每个特征点在帧间进行跟踪，进而计算得到分析运动目标各特征点的运动速度大小和方向，具体为：

(1)计算连续三帧灰度图像的各层金字塔图像和金字塔梯度图像

计算当前帧，上一帧和上二帧灰度图像的各层金字塔图像和金字塔梯度图像，在本发明实施例中，选择两层金字塔，下面以当前帧灰度图像的金字塔图像和金字塔梯度图像计算方法为例进行说明，具体可为：

a.对当前帧灰度图像做高斯平滑

在当前帧灰度图像上，将高斯算子作为平滑模板，按照从左到右，从上到下的顺序依次平移平滑模板各像素点[i，j]处，为防止越界，不处理最上，最下，最左，最右四边的图像元素，计算平滑模板与像素点[i，j]领域灰度值的加权，其中各加权值对应平滑模板的各对应位置处的值，得到各像素点平滑后的值，在本发明实施例中，采用的高斯算子为 $H=\left[\begin{array}{ccc}\frac{1}{16}& \frac{1}{8}& \frac{1}{16}\\ \frac{1}{8}& \frac{1}{4}& \frac{1}{8}\\ \frac{1}{16}& \frac{1}{8}& \frac{1}{16}\end{array}\right],$ 用S_t[i，j]表示对当前帧灰度图像做高斯平滑后水平第i个垂直第j个像素点的值，称为高斯平滑图像，计算公式为：

其中，H[k，l]表示上面提到的高斯算子第k行第l列的值，i＝2，3，...，W₀-1，j＝2，3，...，H₀-1，

为向下取整运算符，表示不大于 $\frac{1}{16}\left(\begin{array}{c}2I[i-1,j]+4I[i,j]+2I[i+1,j]\\ +I[i-1,j-1]+2I[i-1,j]+I[i-1,j+1]\\ +I[i+1,j-1]+2I[i+1,j]+I[i+1,j+1]\end{array}\right)$ 的最大整数；

高斯平滑图像四边界的像素值值都为0，S_t[1，j]＝0，j＝1，2，...，H₀表示高斯平滑图像第一列的值为0，S_t[W₀，j]＝0，j＝1，2，...，H₀表示高斯平滑图像最后一列的值为0，S_t[i，1]＝0，i＝1，2，...，W₀表示高斯平滑图像第一行的值为0，S_t[i，H₀]＝0，i＝1，2，...，W₀表示高斯平滑图像最后一行的值为0。

b.计算两层金字塔图像

用P₁[i，j]表示第一层金字塔图像各像素点的值，P₂[i，j]表示第二层金字塔图像各像素点的值，计算方法如下：

P₁[i，j]＝S[i，j]，i＝1，2，...，W₀，j＝1，2，...，H₀          (7-1)

P₂[i，j]＝S[i′，j′]，

其中，i′＝i*4-2，j′＝j*4-2；

c.对两层金字塔图像应用梯度运算算子计算金字塔水平梯度图像和金字塔垂直梯度图像

在第一层金字塔和第二层金字塔图像上，将水平梯度算子和垂直梯度算子作为运算模板，按照从左到右，从上到下的顺序依次平移运算模板到各像素点[i，j]处，为防止越界，不处理最上，最下，最左，最右四边的图像元素，计算运算模板与像素点[i，j]领域灰度值的加权，其中各加权值对应运算模板的各对应位置处的值，得到各像素点的金字塔水平梯度图像和金字塔垂直梯度像素，用G₁[i，j]表示金字塔水平梯度图像水平第i个垂直第j个像素点的值，用G₂[i，j]表示金字塔垂直梯度图像水平第i个垂直第j个像素点的值，W₂，H₂表示金字塔水平梯度图像和垂直梯度图像的宽度和高度，

在本发明实施例中，采用的水平梯度算子为 $M_1=\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right]$ 和垂直梯度算子为 $M_2=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right],$ G₁[i，j]和G₂[i，j]计算公式为：

$G_1[i,j]=\underset{k=1}{\overset{3}{\mathrm{\&Sigma;}}}\underset{l=1}{\overset{3}{\mathrm{\&Sigma;}}}{P}_1[i-2+k,j-2+l]M_1[k,l]---(8-1)$

$G_2[i,j]=\underset{k=1}{\overset{3}{\mathrm{\&Sigma;}}}\underset{l=1}{\overset{3}{\mathrm{\&Sigma;}}}{P}_1[i-2+k,j-2+l]M_2[k,l]---(8-2)$

其中，i＝1，2，...，W₀，j＝1，2，...，H₀，M₁[k，l]表示上面提到的水平梯度算子第k行第l列的值，M₂[k，l]表示上面提到的垂直梯度算子第k行第l列的值；

$G_1[i^{\&prime;},j^{\&prime;}]=\underset{k=1}{\overset{3}{\mathrm{\&Sigma;}}}\underset{l=1}{\overset{3}{\mathrm{\&Sigma;}}}{P}_2[i-2+k,j-2+l]M_1[k,l]---(8-3)$

$G_1[i^{\&prime;},j^{\&prime;}]=\underset{k=1}{\overset{3}{\mathrm{\&Sigma;}}}\underset{l=1}{\overset{3}{\mathrm{\&Sigma;}}}{P}_2[i-2+k,j-2+l]M_2[k,l]---(8-4)$

其中，

i′＝i+W₀，j′＝j+H₀；

对上一帧灰度图像重复步骤a，b，c可得到上一帧的第一层金字塔图像P₁₀[i，j]，上一帧的第二层金字塔图像P₂₀[i，j]，上一帧的金字塔水平梯度图像G₁₀[i，j]和上一帧的金字塔垂直梯度图像G₂₀[i，j]，对上二帧灰度图像重复步骤a，b，c可得到上二帧的第一层金字塔图像P₁₁[i，j]，上一帧的第二层金字塔图像P₂₁[i，j]，上二帧的金字塔水平梯度图像G₁₁[i，j]和上二帧的金字塔垂直梯度图像G₂₁[i，j]。

(2)在得到连续三帧的金字塔图像和金字塔梯度图像后，使用KLT方法对分析运动目标的特征点在上一帧和上二帧，当前帧和上一帧帧间进行跟踪。

假设分析运动目标第一个特征点在上二帧灰度图像中的坐标为[x₀，y₀]，则该特征点在上一帧灰度图像中的坐标计算方法如下：

a.从最顶层金字塔图像开始，因为总共有两层金字塔，所有从第二层金字塔图像开始计算偏移，在以该特征点在第二层金字塔上对应的点为中心的7×7的区域内分别计算第二层金字塔图像差异，第二层金字塔水平梯度图像差异和第二层金字塔垂直梯度图像差异。

用[x₁，y₁]表示搜索点的坐标，[a，b]表示第二层金字塔图像的搜索点的水平权值和垂直权值，用d[w][h]表示水平偏移为w垂直偏移为h时第二层金字塔图像的差异，g_x[w][h]表示水平偏移为w垂直偏移为h时第二层金字塔水平梯度图像差异，g_y[w][h]表示水平偏移为w垂直偏移为h时第二层金字塔水平梯度图像差异，w，h为变量，取w＝1，h＝1时，

$a=\frac{x_0}{4}-3-x_1,$ $b=\frac{y_0}{4}-3-y_1,$ 在7×7的区域内计算第二层金字塔图像差异，

$d\left[1\right]\left[1\right]=\left(\begin{array}{c}(1-a)(1-b)\&CenterDot;P_{21}[x_1,y_1]+a(1-b)\&CenterDot;P_{21}[x_1+1,y_1]\\ +(1-a)b\&CenterDot;P_{21}[x_1,y_1+1]+\mathrm{ab}\&CenterDot;P_{21}[x_1+1,y_1+1]\end{array}\right)$ (9)

$-\left(\begin{array}{c}(1-a)(1-b)\&CenterDot;P_{20}[x_1,y_1]+a(1-b)\&CenterDot;P_{20}[x_1+1,y_1]\\ +(1-a)b\&CenterDot;P_{20}[x_1,y_1+1]+\mathrm{ab}\&CenterDot;P_{20}[x_1+1,y_1+1]\end{array}\right)$

在7×7的区域内计算第二层金字塔水平梯度图像差异，

$g_x\left[1\right]\left[1\right]=\left(\begin{array}{c}(1-a)(1-b)\&CenterDot;G_{11}[x_1+W_0,y_1+H_0]+a(1-b)\&CenterDot;G_{11}[x_1+W_0+1,y_1+H_0]\\ +(1-a)b\&CenterDot;G_{11}[x_1+W_0,y_1+H_0+1]+\mathrm{ab}\&CenterDot;G_{11}[x_1+W_0+1,y_1+H_0+1]\end{array}\right)$

(10)

$-\left(\begin{array}{c}(1-a)(1-b)\&CenterDot;G_{10}[x_1+W_0,y_1+H_0]+a(1-b)\&CenterDot;G_{10}[x_1+W_0+1,y_1+H_0]\\ +(1-a)b\&CenterDot;G_{10}[x_1+W_0,y_1+H_0+1]+\mathrm{ab}\&CenterDot;G_{10}[x_1+W_0+1,y_1+H_0+1]\end{array}\right)$

在7×7的区域内计算第2层金字塔垂直梯度图像差异，

$g_y\left[1\right]\left[1\right]=\left(\begin{array}{c}(1-a)(1-b)\&CenterDot;G_{21}[x_1+W_0,y_1+H_0]+a(1-b)\&CenterDot;G_{21}[x_1+W_0+1,y_1+H_0]\\ +(1-a)b\&CenterDot;G_{21}[x_1+W_0,y_1+H_0+1]+\mathrm{ab}\&CenterDot;G_{21}[x_1+W_0+1,y_1+H_0+1]\end{array}\right)$

(11)

$-\left(\begin{array}{c}(1-a)(1-b)\&CenterDot;G_{20}[x_1+W_0,y_1+H_0]+a(1-b)\&CenterDot;G_{20}[x_1+W_0+1,y_1+H_0]\\ +(1-a)b\&CenterDot;G_{20}[x_1+W_0,y_1+H_0+1]+\mathrm{ab}\&CenterDot;G_{20}[x_1+W_0+1,y_1+H_0+1]\end{array}\right)$

w依次加1，从w＝2到w＝7，此时

$a=\frac{x_0}{4}+w-4-x_1,$ $b=\frac{y_0}{4}-3-y_1,$ 用公式(8)(9)(10)的方法分别得到d[w][1]，g_x[w][1]，g_y[w][1]，w＝2，...，7，

依次类推，w，h遍历1到7的所有取值，可得到7×7区域内所有的d[w][h]，g_x[w][h]，g_y[w][h]值，

此时，

$a=\frac{x_0}{4}+w-4-x_1,$ $b=\frac{y_0}{4}+h-4-y_1,$

w＝1，2，...，7，h＝1，2，...，7；

b.计算第2层金字塔位移

用Δx₁表示上二帧和上一帧第二层金字塔上的水平位移，用Δx₁表示上二帧和上一帧第二层金字塔上的垂直位移，

$\mathrm{\&Delta;}{x}_1=\frac{g_{\mathrm{yy}}\&CenterDot;e_x-g_{\mathrm{xy}}\&CenterDot;e_y}{g_{\mathrm{xx}}\&CenterDot;g_{\mathrm{yy}}-g_{\mathrm{xy}}\&CenterDot;g_{\mathrm{xy}}}---(12-1)$

$\mathrm{\&Delta;}{y}_1=\frac{g_{\mathrm{xx}}\&CenterDot;e_y-g_{\mathrm{xy}}\&CenterDot;e_x}{g_{\mathrm{xx}}\&CenterDot;g_{\mathrm{yy}}-g_{\mathrm{xy}}\&CenterDot;g_{\mathrm{xy}}}---(12-2)$

其中 $g_{\mathrm{xx}}=\underset{w=1}{\overset{7}{\mathrm{\&Sigma;}}}\underset{h=1}{\overset{7}{\mathrm{\&Sigma;}}}{\left(g_x\right[w\left]\right[h\left]\right)}^2,$ $g_{\mathrm{yy}}=\underset{w=1}{\overset{7}{\mathrm{\&Sigma;}}}\underset{h=1}{\overset{7}{\mathrm{\&Sigma;}}}{\left(g_y\right[w\left]\right[h\left]\right)}^2,$ $g_{\mathrm{xy}}=\underset{w=1}{\overset{7}{\mathrm{\&Sigma;}}}\underset{h=1}{\overset{7}{\mathrm{\&Sigma;}}}{g}_x\left[w\right]\left[h\right]\&CenterDot;g_y\left[w\right]\left[h\right]$

$,$ $e_x=\underset{w=1}{\overset{7}{\mathrm{\&Sigma;}}}\underset{h=1}{\overset{7}{\mathrm{\&Sigma;}}}{g}_x\left[w\right]\left[h\right]\&CenterDot;d\left[w\right]\left[h\right],$ $e_y=\underset{w=1}{\overset{7}{\mathrm{\&Sigma;}}}\underset{h=1}{\overset{7}{\mathrm{\&Sigma;}}}{g}_y\left[w\right]\left[h\right]\&CenterDot;d\left[w\right]\left[h\right];$

c.在以该特征点在第一层金字塔上对应的点为中心的7×7的区域内分别计算第一层金字塔图像差异，第一层金字塔水平梯度图像差异和第一层金字塔垂直梯度图像差异。

用[x₂，y₂]表示上二帧第一层金字塔图像搜索点的坐标，[a₁，b₁]表示上二帧第一层金字塔图像的搜索点的水平权值和垂直权值，[x₃，y₃]表示上一帧第一层金字塔图像搜索点的坐标，[a₂，b₂]表示上一帧第一层金字塔图像的搜索点的水平权值和垂直权值，用d′[w][h]表示水平偏移为w垂直偏移为h时第一层金字塔图像的差异，g′_x[w][h]表示水平偏移为w垂直偏移为h时第一层金字塔水平梯度图像差异，g′_y[w][h]表示水平偏移为w垂直偏移为h时第一层金字塔水平梯度图像差异，w为变量，h为变量，遍历方法与步骤a相同，在7×7的区域内计算第1层金字塔图像差异，

$d^{\&prime;}\left[w\right]\left[h\right]=\left(\begin{array}{c}(1-a_1)(1-b_1)\&CenterDot;P_{11}[x_2,y_2]+a_1(1-b_1)\&CenterDot;P_{11}[x_2+1,y_2]\\ +(1-a_1)b_1\&CenterDot;P_{11}[x_2,y_2+1]+a_1{b}_1\&CenterDot;P_{21}[x_2+1,y_2+1]\end{array}\right)$

(13)

$-\left(\begin{array}{c}(1-a_2)(1-b_2)\&CenterDot;P_{10}[x_3,y_3]+a_2(1-b_2)\&CenterDot;P_{10}[x_3+1,y_3]\\ +(1-a_2)b_2\&CenterDot;P_{10}[x_3,y_3+1]+a_2{b}_2\&CenterDot;P_{10}[x_3+1,y_3+1]\end{array}\right)$

其中，

$a_1=4\&times;\frac{x_0}{4}+w-4-x_2,$ $b_1=4\&times;\frac{y_0}{4}+h-4-y_2$

$a_2=4\&times;(\frac{x_0}{4}+\mathrm{\&Delta;}{x}_1)+w-4-x_3,$ $b_2=4\&times;(\frac{y_0}{4}+\mathrm{\&Delta;}{y}_1)+h-4-y_3$

在7×7的区域内计算金字塔水平梯度图像差异，

${g^{\&prime;}}_x\left[w\right]\left[h\right]=\left(\begin{array}{c}(1-a_1)(1-b_1)\&CenterDot;G_{11}[x_2,y_2]+a_1(1-b_1)\&CenterDot;G_{11}[x_2+1,y_2]\\ +(1-a_1)b_1\&CenterDot;G_{11}[x_2,y_2+1]+a_1{b}_1\&CenterDot;G_{11}[x_2+1,y_2+1]\end{array}\right)$

(14)

$-\left(\begin{array}{c}(1-a_2)(1-b_2)\&CenterDot;G_{10}[x_3,y_3]+a_2(1-b_2)\&CenterDot;G_{10}[x_3+1,y_3]\\ +(1-a_2)b_2\&CenterDot;G_{10}[x_3,y_3+1]+a_2{b}_2\&CenterDot;G_{10}[x_3+1,y_3+1]\end{array}\right)$

在7×7的区域内计算金字塔垂直梯度图像差异，

${g^{\&prime;}}_y\left[w\right]\left[h\right]=\left(\begin{array}{c}(1-a_1)(1-b_1)\&CenterDot;G_{21}[x_2,y_2]+a_1(1-b_1)\&CenterDot;G_{21}[x_2+1,y_2]\\ +(1-a_1)b_1\&CenterDot;G_{21}[x_2,y_2+1]+a_1{b}_1\&CenterDot;G_{21}[x_2+1,y_2+1]\end{array}\right)$

(15)

$-\left(\begin{array}{c}(1-a_2)(1-b_2)\&CenterDot;G_{20}[x_3,y_3]+a_2(1-b_2)\&CenterDot;G_{20}[x_3+1,y_3]\\ +(1-a_2)b_2\&CenterDot;G_{20}[x_3,y_3+1]+a_2{b}_2\&CenterDot;G_{20}[x_3+1,y_3+1]\end{array}\right)$

d.计算第一层金字塔位移

用Δx表示第一层金字塔上的水平位移，用Δy表示第一层金字塔上的垂直位移，

$\mathrm{\&Delta;}x=\frac{{g^{\&prime;}}_{\mathrm{yy}}\&CenterDot;{e^{\&prime;}}_x-{g^{\&prime;}}_{\mathrm{xy}}\&CenterDot;{e^{\&prime;}}_y}{{g^{\&prime;}}_{\mathrm{xx}}\&CenterDot;{g^{\&prime;}}_{\mathrm{yy}}-{g^{\&prime;}}_{\mathrm{xy}}\&CenterDot;{g^{\&prime;}}_{\mathrm{xy}}}---(16-1)$

$\mathrm{\&Delta;}y=\frac{g_{\mathrm{xx}}\&CenterDot;e_y-g_{\mathrm{xy}}\&CenterDot;e_x}{g_{\mathrm{xx}}\&CenterDot;g_{\mathrm{yy}}-g_{\mathrm{xy}}\&CenterDot;g_{\mathrm{xy}}}---(16-2)$

其中 ${g^{\&prime;}}_{\mathrm{xx}}=\underset{w=1}{\overset{7}{\mathrm{\&Sigma;}}}\underset{h=1}{\overset{7}{\mathrm{\&Sigma;}}}{\left({g^{\&prime;}}_x\right[w\left]\right[h\left]\right)}^2,$ ${g^{\&prime;}}_{\mathrm{yy}}=\underset{w=1}{\overset{7}{\mathrm{\&Sigma;}}}\underset{h=1}{\overset{7}{\mathrm{\&Sigma;}}}{\left({g^{\&prime;}}_y\right[w\left]\right[h\left]\right)}^2,$ ${g^{\&prime;}}_{\mathrm{xy}}=\underset{w=1}{\overset{7}{\mathrm{\&Sigma;}}}\underset{h=1}{\overset{7}{\mathrm{\&Sigma;}}}{g^{\&prime;}}_x\left[w\right]\left[h\right]\&CenterDot;{g^{\&prime;}}_y\left[w\right]\left[h\right]$ $,$ ${g^{\&prime;}}_x=\underset{w=1}{\overset{7}{\mathrm{\&Sigma;}}}\underset{h=1}{\overset{7}{\mathrm{\&Sigma;}}}{g^{\&prime;}}_x\left[w\right]\left[h\right]\&CenterDot;d\left[w\right]\left[h\right],$ ${e^{\&prime;}}_y=\underset{w=1}{\overset{7}{\mathrm{\&Sigma;}}}\underset{h=1}{\overset{7}{\mathrm{\&Sigma;}}}{g^{\&prime;}}_y\left[w\right]\left[h\right]\&CenterDot;d^{\&prime;}\left[w\right]\left[h\right]$

由此可以得到分析运动目标的第一个特征点在上一帧的坐标[x₀+Δx，y₀+Δy]，依次类推，按照步骤a，b，c，d同样可以完成在上一帧和当前帧特征点坐标的匹配，完成分析目标各特征点在三帧间的跟踪。

(3)根据KLT跟踪的结果，对分析运动目标特征点帧间的信息进行计算，进而计算特征点的运动速度大小和方向

n为变量，是分析运动目标特征点的编号，按照从左到右，从上到下的顺序进行编号，假设分析运动目标共有N个特征点，则n＝1，2，...，N，取n＝1时，对分析运动目标第1个特征点进行分析，用x₀表示分析运动目标第1个特征点在当前帧的横坐标，x₁表示该特征点上一帧对应的横坐标，x₂表示该特征点上二帧对应的横坐标，y₀表示分析运动目标第1个特征点在当前帧的纵坐标，y₁表示该特征点上一帧对应的纵坐标，y₂表示该特征点上二帧对应的纵坐标，该特征点帧间第一水平位置差异Δx₁[1]和第一垂直位置差异Δy₁[1]的计算公式如下：

$\left\{\begin{array}{c}\mathrm{\&Delta;}{y}_1\left[1\right]=y_0-y_1\\ \mathrm{\&Delta;}{x}_1\left[1\right]=x_0-x_1\end{array}\right.---\left(17\right)$

则该特征点的第一速度大小v₁[1]的计算公式如下：

$v_1\left[1\right]=\sqrt{\mathrm{\&Delta;}{x}_1{\left[1\right]}^2+\mathrm{\&Delta;}{y}_1{\left[1\right]}^2}---\left(18\right)$

该特征点的第一速度方向θ₁[1]的计算公式如下：

按照公式(16)(17)(18)的方法在上一帧和上二帧各特征点的位置之间进行计算可以得到该特征点的第二速度大小v₂[1]和第二速度方向θ₂[1]。

依次类推，n依次加1，从n＝2直到n＝N，可以得到分许运动目标各特征点的第一运动速度大小为v₁[n]，第一运动速度方向θ₁[n]，第二运动速度大小为v₂[n]，第二运动速度方向θ₂[n]。

(4)在步骤(3)的基础上，当v₁[n]＜2或者v₂[n]＜2时，表明该特征点在帧间运动速度较小，将该特征点删除，即使得v₁[n]＝0，v₂[n]＝0。

六、计算分析运动目标的运动能量s6

计算当前帧分析运动目标的每个特征点中最大速度对应的角度作为基准角度，并计算每个特征点速度方向与基准角度的差异。

1.用A₁表示当前帧分析运动目标每个特征点的最大速度对应的角度，计算公式为：

$A_1={\mathrm{\&theta;}}_1\underset{n=\mathrm{1,2},,N}{\left[\arg \max \left(v_1\right[n\left]\right)\right]}---\left(20\right)$

2.将该角度A₁作为基准角度，计算当前帧分析运动目标每个特征点的速度方向与基准角度的差值Δθ₁[n]：

Δθ₁[n]＝θ₁[n]-A₁，n＝1，2，...，N  (21)

3.计算当前帧分析运动目标的每个特征点与上一帧的帧间角度差异Δθ₂[n]：

Δθ₂[n]＝θ₁[n]-θ₂[n]，n＝1，2，...，N  (22)

4.根据分析运动目标各特征点的帧间角度差异和当前角度差异，计算该分析运动目标的运动能量E₂，能量的计算如下：

$E_2=\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}({(\frac{\mathrm{\&Delta;}{\mathrm{\&theta;}}_2\left(n\right)}{\mathrm{\&pi;}}\&CenterDot;10)}^2+{(\frac{\left|\mathrm{\&Delta;}{\mathrm{\&theta;}}_1\right[n\left]\right|}{\mathrm{\&pi;}}\&CenterDot;10)}^2)\&CenterDot;v_1{\left[n\right]}^2---\left(23\right)$

七、打斗决策s7

根据步骤四和步骤六的结果综合判断视频中是否发生了打斗行为，当分析运动目标的区域熵值E₁满足E₁＞th₄，并且分析运动目标的运动能量E₂满足E₂＞th₅时，th₄为打斗熵值阈值，th₅为打斗能量阈值，在本发明实施例中，th₄＝0.2，th₅＝200，表明该分析运动目标发生打斗行为，发生报警，并将该分析运动目标在原彩色视频图像中的位置标记出来，上传接警中心，否则，将灰度图像中跟踪起来的下一个运动目标作为分析运动目标，重复步骤四到七。

通过本发明，能够将视频中出现的打斗行为快速鲁棒地鉴别出来并报警，预防罪案发生。

Claims (6)

1.视频监控中异常行为的检测方法，包括如下步骤：

(1)读取视频图像帧，将视频图像转换为灰度图像，

(2)检测灰度图像中的运动目标，

(3)对运动目标进行跟踪，确定分析运动目标，

(4)计算分析运动目标帧间变化熵值，并同时进行运动目标特征点提取，计算各特征点的运动速度大小和方向，计算分析运动目标的运动能量，

(5)根据分析运动目标帧间变化熵值和运动能量进行打斗决策，如发生打斗，则报警。

2.根据权利要求1所述的方法，其特征在于步骤(2)中对灰度图像学习，建立单高斯背景模型，然后使用背景减法提取出灰度图像中的运动目标。

3.根据权利要求1所述的方法，其特征在于步骤(3)的过程如下：

(1)对当前帧第n个运动目标和上一帧的所有运动目标进行位置和面积匹配，当前帧第n个运动目标与上一帧第m个运动目标的中心点的位置差T(m)和面积差A(m)分别为：

$T\left(m\right)=\sqrt{{(p_n-x_m)}^2+{(q_n-y_m)}^2},$

A(m)＝|Q_n-S_m|，

其中，n，m分别为当前帧灰度图像和上一帧灰度图像中运动目标的编号，按照从左到右，从上到下的顺序排列，n＝1，2，...，N，m＝1，2，...，M，上一帧灰度图像第m个运动目标中心点位置为[x_m，y_m]，面积为S_m，当前帧第n个运动目标中心点位置为[p_n，q_n]，面积为Q_n，取n＝1，遍历m的全部取值，计算使得T(m)最小的m值J₁，

选取运动目标中心位置和面积帧间变化阈值th₁，th₂，

当T(J₁)≤th₁且A(J₁)≤th₂，则表示当前帧第一个运动目标在上一帧匹配的运动目标为第J₁个，

当T(J₁)＞th₁或A(J₁)＞th₂，则将J₁置为0，表示当前帧出现了新的运动目标；(1)将n依次加1，重复上述过程，找出当前帧所有运动目标与上一帧匹配的运动目标J₁，J₂，...，J_N，如果其中不包括从1到M的某值K，则表明上一帧第K个运动目标丢失；

(2)重复过程(1)，(2)，依次对当前帧灰度图像以上的连续的H帧灰度图像的运动目标跟踪，H为5到10之间的任意整数，如果某运动目标连续有H帧未发生运动目标丢失，则将当前帧灰度图像的该运动目标作为分析运动目标。

4.根据权利要求1所述的方法，其特征在于步骤(4)中对分析运动目标进行帧间灰度值变化统计，得到分析运动目标的帧间变化熵值E₁，

$E_1=\frac{1}{W_1\&CenterDot;H_1}\underset{i=1}{\overset{W_1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{H_1}{\mathrm{\&Sigma;}}}{M}_1[i,j],$

其中， $M_1[i,j]=\left\{\begin{array}{c}1,\left|R_t\right[i,j]-R_{t-1}[i,j\left]\right|\&GreaterEqual;{\mathrm{th}}_3\\ 0,\left|R_t\right[i,j]-R_{t-1}[i,j\left]\right|<{\mathrm{th}}_3\end{array}\right.,$ th₃为帧间差分阈值，W₁，H₁分别为分析运动目标在当前帧所在区域的宽度，高度，R_t[i，j]为分析运动目标在当前帧所在区域水平第i个垂直第j个像素点的灰度值，R_t-1[i，j]为分析运动目标在上一帧所在区域水平第i个垂直第j个像素点的灰度值。

5.根据权利要求1所述的方法，其特征在于步骤(4)中计算分析运动目标运动能量的过程如下：

(1)采用网格形式在分析运动目标图像上扫描，扫描间距为5个像素点，每扫描一次取一个像素点，当其二值化像素点为255时，提取该点为特征点；

(2)使用光流法对连续三帧灰度图像的特征点进行跟踪，计算每两帧灰度图像间特征点的速度方向和速度大小得到第一、二速度方向θ₁[n]，θ₂[n]和第一、二速度大小v₁[n]，v₂[n]；

(3)计算分析运动目标的运动能量E₂，用A₁表示当前帧分析运动目标每个特征点的最大第一速度大小对应的第一速度方向，以A₁为基准角度，计算当前帧分析运动目标每个特征点的第一速度方向与A₁的差值Δθ₁[2]，计算当前帧分析运动目标每个特征点的第一速度方向与上一帧相匹配点的第二速度方向的角度差异Δθ₂[n]，n为分析运动目标特征点的编号，n＝1，2，...，N，分析运动目标的运动能量为：

$E_2=\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}({(\frac{\mathrm{\&Delta;}{\mathrm{\&theta;}}_2\left(n\right)}{\mathrm{\&pi;}}\&CenterDot;10)}^2+{(\frac{\left|\mathrm{\&Delta;}{\mathrm{\&theta;}}_1\right[n\left]\right|}{\mathrm{\&pi;}}\&CenterDot;10)}^2)\&CenterDot;v_1{\left[n\right]}^2,$

其中，v₁[n]为第n个特征点的速度大小。

6.根据权利要求4和5所述的方法，其特征在于当E₁＞th₄且E₂＞th₅时，th₄为打斗熵值阈值，th₅为打斗能量阈值，时为时则判定分析运动目标发生了打斗行为，发生报警，并将该分析运动目标在原彩色视频图像中的位置标记出来，上传接警中心，否则，重复步骤(3)-(5)。

Images