CN102523370B - 基于网络传输算法的多摄像头视频异常行为检测方法 - Google Patents

Abstract

本发明提供基于网络传输算法的多摄像头视频异常行为检测方法，包括将多摄像头系统的场景进行分块，将每一分块视为节点、分块之间的行为相关性视为权边建立网络模型。由此将人的行为建模成一个网络信号传输问题，行为的异常程度取决于传输能量消耗的高低。本发明结合实际视频安防监控应用中的需求，为解决已有算法对跟踪算法的依赖程度，而提出的一种多摄像头视频异常行为检测方法，有效对多摄像头视频中的监控对象行走路线的异常行为进行检测。本发明和现有技术相比较，提出了一种更为通用的多摄像头视频检测形式，并且具有较低的复杂度，可以灵活地处理各类多摄像头配置的情形。有效识别率达到了90％左右，具有良好的应用表现。

Description

基于网络传输算法的多摄像头视频异常行为检测方法

技术领域

本发明涉及的是一种对视频中的内容进行异常行为检测的方法，具体是一种基于网络传输算法对视频中行为的异常性进行度量的方法。

背景技术

人类行为识别在视频监控和视频检索领域有着十分重要的应用。而异常行为检测在人类行为识别中有着重要的地位，在各种实际场合均有重要应用。基于网络传输算法的异常行为检测在训练中不需要大量的训练数据、在检测中具有良好的鲁棒性和柔韧性，因而具有广泛的应用。

经过对现有技术的文献检索发现，行为识别领域里已有很多不同的异常行为检测算法被提出。W.Lin,M.-T.Sun,R.Poovendran和Z.Zhang在《IEEETrans.Circuits and Systems for Video Technology,vol.18,no.8,2008》（电气电子工程师协会电路与系统期刊视频技术学报2008年18卷8号刊）第1128页到1139页上发表的“Activity Recognition using a Combination of Category Components andLocal Models for Video Surveillance”（采用分类组合和本地模型的视频监控中的行为识别）论文中提出一种基于分类组合模型的框架，该框架引入本地模型与全局模型结合以提高检测精度。H.Zhong,J.Shi和M.Visontai在《IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition,2004》（电气电子工程师协会计算机视觉与模式识别会议2004年1卷2册）第819页到826页上发表的“Detecting unusual activity in video”（视频中的异常行为检测）论文中提出一种聚类分类算法，该算法根据相似性把视频分成不同的剪辑，而相对数目比较小的剪辑则被认为是异常行为。以上算法是在单摄像头中的应用。E.E.Zelniker,S.Gong和T.Xiang在《The8th Int'l Workshop on Visual Surveillance,2008》（2008年第8届视觉监控国际研讨会）上发表的“Global abnormal behaviour detectionusing a network of CCTV cameras”（CCTV摄像头网络中的全局异常行为检测）论文中利用对人进行跟踪获得全局轨迹并聚簇，通过相似性计算与轨迹簇的偏离程度来检测异常行为。C.C.Loy,T.Xiang和S.Gong在《IEEE12th InternationalConference on Computer Vision,2009》（电气电子工程师协会2009年第12届计算机视觉国际会议）第120页至127页上发表的”Modelling activity global temporaldependencies using time delayed probabilistic graphical model”（基于时延概率的图论模型的行为全局时间依赖性建模）论文中对视频进行分块处理，然后以每块为结点转化为图论网络模型，再利用时延概率对行为的全局时间依赖性进行建模处理，实现行为识别。以上算法是在多摄像头中的应用。

这些现有技术中的算法在特定的场合有着比较出色的表现，但是作为单摄像头的算法现在已经不能胜任日益复杂的多摄像头网络的应用了。作为多摄像头的算法，E.E.Zelniker,S.Gong和T.Xiang的方法比较依赖于跟踪的精确性，一旦跟踪的精度下降、跟踪轨迹出现偏差，算法表现会大大受到影响；C.C.Loy,T.Xiang和S.Gong的方法同样依赖大量的训练数据，并且算法中受约束的图结构不能自如地应对变化的情形，这给算法的应用本身带来很大的限制。

发明内容

本发明针对现有技术的以上不足，结合实际视频安防监控应用中的需求，为解决已有算法对跟踪算法的依赖程度，提出一种基于新型网络算法的多摄像头视频异常行为检测方法，有效对多摄像头视频中的监控对象行走路线的异常行为进行检测。本发明提出一种Network-Transmission-Based/NTB（基于网络传输）算法，本算法将多摄像头系统的场景进行分块，将每一分块视为节点、将分块之间的行为相关性视为边来建立网络模型。在这个网络的构建下，人的行为被建模成了一个网络信号传输问题：如果一个信号在网络中传输能量高则被视为异常。和以往的算法相比较，本算法提出了一种更为通用的多摄像头检测形式，并且，本算法具有较低的复杂度，可以灵活地处理各类多摄像头配置的情形。

根据本发明的一个方面，提供一种基于网络传输算法的多摄像头视频异常行为检测方法，其特征在于，包括以下步骤：

第一步、将视频场景分块，然后基于分块建立网络模型，其中，将分块建模成网络的节点，将分块之间的行为相关性建模成网络的边的权值；

第二步、利用构建的传输网络，将行人的行为建模为信号在网络中的传输，其异常程度取决于传输的能量消耗高低；

第三步、利用构建的传输网络，创建正常传输路径，对正常行为的总传输能量进行定量的估计；

第四步、利用正常行为的总传输能量，用来量化行人行为的偏离正常程度，其异常程度取决于传输能量与正常行为的传输能量的偏离程度。

更为具体地，本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步：对行人进行跟踪并创建全局路径

本发明使用粒子滤波算法对摄像头场景中的行人进行跟踪，并且将不同摄像头的轨迹进行匹配，从而创建全局轨迹，即全局路径。

第二步：对多摄像头系统的场景进行分块

本发明根据全局路径，对多摄像头系统的场景进行分块。为了便于实现、降低实现复杂度，本发明采用根据场景内容手动分块的方法。分块的原则有三点：1、分块面积适中，精度不必太高；2、有明显界限的不同对象分在不同的块；3、深度不同的场景需要分在不同的块，且块间需要有缓冲块。场景分块之后，每一个分块均视作一个节点，分块之间的行为相关性视作一个边，建立起一个网络模型。

第三步：传输网络的能量计算

网络的边是由块间直接传输能量构建起来的。直接传输能量（DirectTransmission/DT energy）指的是信号s从块i不经过其他块直接传输到块j所需要的能量。直接传输能量需要能反映相应的块之间的行为相关性。意即，如果行人有较高的概率从两块之间发生行为（即从一块穿越到另一块），那么这两块之间的行为相关性也就会比较高，相应的块间的传输能量就被指定为一个较低的值。反过来，一个较低的行为相关性对应一个较高的传输能量。基于这一点，本算法采用块间行人穿越次数来量化行为相关性，并且指定一个负相关的函数映射来确定行为相关性和直接传输能量之间的关系。传输网络中的节点i和节点j之间边的权值e(i,j)即为直接传输能量，由分块之间发生穿越行为的次率决定。具体的，对于分块i和分块j之间的行为相关性，由穿越次数（cross time/CT）直接量化给定。e(i,j)与CT存在以下关系：

其中f()是一个在非负实数范围内单调递减函数，L是一个非负实数。这样就可以得到任意块之间的直接传输能量，并基于此建立起网络模型。最终得到的网络模型是一个各边权值为正的无向完全图。至此，一个行为就被建模成了一个信号在网络中的传输问题，而传输能量的高低对应了这个行为的异常与否。

第四步：正常传输路径的构建

本发明为了提高异常行为检测的可靠性和通用性，在建立了传输网络的基础上，基于修改广播增量（Modified Broadcast Incremental Power）算法，对不同的两块之间均计算出最小传输能量路径，以此构建正常传输路径。正常传输路径用来估计正常行为所需要的总传输能量。它有两方面的作用：1、由于正常传输路径在训练数据给定之后，完全是通过计算而得，由此估计出正常行为传输能量的指标，避免了行为正常和异常行为界定的主观性；2、考虑到有些属于异常的行为会在具有较高行为相关性的块间运动，比如来回走、重复曲线运动等，如果单单使用传输总能量不能将其检测为异常。而在正常传输路径的构建下，可以估计出在某两块之间正常运动的传输能量，可以将来回走、重复曲线运动等检测出来。

第五步：异常行为检测

本发明的算法在测试过程中，对每一个行为计算总传输能量，在得到总传输能量后，采用两个准则对异常行为进行检测。一是高能量准则：如果总传输能量过高，则被判定为是异常行为。算法的具体实施是设置一个阈值，当行为的总传输能量高于这个阈值，此行为被判定为异常。二是偏离正常准则：由于本算法通过构建正常传输路径可以估计出正常总传输能量的大概值，则对这个大概值的偏离程度可作为异常行为判定的指标。算法的具体实施是设置另一个阈值，当行为的总传输能量与正常传输能量的绝对差高于这个阈值，此行为被判定为异常。

本发明的原理是，将多摄像头视频场景进行分块，并按分块建立网络模型（分块对应网络的节点，分块之间的行为相关性对应网络的边），然后把行人行为建模成信号在网络中的传输能耗，根据传输能量的大小来测定行为的异常与否。这样可以将行人行为轨迹转移到网络的边的权值分布上，避免直接处理轨迹相似性，因此降低了对跟踪算法精确性的依赖。同时，由于建模成网络传输问题，本算法得以利用网络传输问题中的成熟路由算法，对信号传输的最小能耗路径进行计算，对应在行为上则是构建了正常传输路径，因此对正常行为的总传输能量可以进行一定量的估计。在对正常行为的总传输能量进行估计的基础上，本发明可以对行为进行两个准则的判定，提高了异常行为检测算法的通用性和灵活性。

本发明结合各种异常行为的特征，在网络模型的建立下，提出两种判定准则，实现了对异常行为检测的目的。在各种实验条件下，本算法对异常行为检测的虚警率、丢失率均为90%左右，具有良好的应用性。

附图说明

图1是一个双摄像头系统的分块（一个区域代表一个分块）。

图2是NTB算法框架（左边：训练过程，右边：测试过程）。

图3是实验中摄像头方位配置。

图4是部分正常行为的全局轨迹。

图5是寻找最小能量消耗的MBIP路由算法。

图6是基于MBIP算法计算出的正常路由路径。

图7是测试数据在NTB算法下计算得出的总传输能量。

具体实施方式

下面是对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施的实施环境为一个双摄像头场景的实验室，如图3所示。在这个实验室中，两个摄像头安放在靠下方的两个角落，方向正对对角线方向，因此两个摄像头的视野基本上覆盖了整个实验室，并且有少量区域是重叠的。场景入口在左上方，为正常的起点，四周分布着办公间，为正常的终点。场景中央是一个会议桌，右下角的办公间无人使用。

本实施的实验数据总共有165组，其中正常行为数据144组，异常行为数据21组。每一组数据均包括来自两个摄像头的两个视频。朝向左边的摄像头定义为Channel0/Ch0，朝向右边的摄像头定义为Channel1/Ch1。在本实施中，有三种异常行为被定义：（1）不正常路径，例如翻越障碍物（会议桌），（2）来回行走或曲线行走，（3）行走到不常用区域，例如行走到右下角办公间。

如图2所示，本实施例分为训练和测试两个部分。

在训练过程中：主要目的在于构建能量传输网络。具体包括以下步骤：

第一步、本发明先使用基于粒子滤波算法的跟踪程序对多摄像头场景的行人行为进行跟踪。跟踪程序以矩形框作为目标表示，本实施对每一个视频中的行人进行跟踪后，得到一个矩形框四维信息时间序列。在t时刻，四维信息包括矩形框左下角坐标x,y，宽w，高h。本实施使用矩形中心点作为最终表示

$\left\{\begin{array}{c}\hat{x}=x+w/2\\ \hat{y}=y+h/2\end{array}\right.$

这样将四维时间序列降维成二维时间序列，得到一条本地轨迹。

本实施将两个视频的两条本地轨迹匹配起来，构建一条全局轨迹。根据时间信息t，按时间顺序将不同视频的轨迹或承接或穿插地拼接在一起。于是，对每一组有行人的视频，均可以跟踪得到一条全局轨迹，记为T_Gi。在训练过程中，将一定数目的实验数据进行跟踪处理，得到全局轨迹簇，记为T_G，如图4所示。

第二步、针对实际的场景，本实施对双摄像头视频场景进行分块处理。为了便于实现、降低实现复杂度，本实施依据三点原则对场景进行手动分块：1、分块面积适中，精度不必太高；2、有明显界限的不同对象分在不同的块；3、深度不同的场景需要分在不同的块，且块间需要有缓冲块。

在本实施中，分块标准具体化为：1、正常行走区域和非行走区域需要分离开，比如过道和办公间要分离开，办公间之间要分离开，墙和地面要分离开等等；2、正常行走区域和异常行走区域要分离开，比如过道和会议桌要分离开等等；3、常用区域和非常用区域要分离开，比如无人使用的办公间角落要和其他区域分离开等等。

分块的结果如图1所示，不同的区域代表不同分块。左边Ch0分为26块，右边Ch1分为22块。

第三步、在分块之后，将每一分块代表一个节点、每两个分块之间均有一边建立一个初始的完全图。边的权重由分块之间的行为相关性决定。本算法以从一个分块到另一个分块发生的穿越行为次率为行为相关性的主要衡量指标。因此，本实施在训练过程中，主要记录训练数据视频中行人行为在不同分块之间的穿越次数CT。

分块之后，两个矩阵被分别建立起来，一个26×26的矩阵M0，一个22×22的矩阵M1，分别用来记录Ch0和Ch1的穿越次数。对每一条全局轨迹T_Gi，按时间t对其进行遍历，当轨迹其中某位置T_Gi(t)所在块发生变化时，即视为从一个分块穿越到了另一个分块。假设在Ch0中行人从分块i穿越到了分块j，则：

M₀(i,j)＝M₀(i,j)+1

M₀(j,i)＝M₀(j,i)+1

在这个步骤完成后，得到了两个对称的穿越次数矩阵M0和M1，然后对角结合成综合穿越次数矩阵M：

$M=\left[\begin{array}{cc}{M}_0& 0\\ 0& M_1\end{array}\right]$

并根据多摄像头场景配置，对重合区域的分块穿越次数在综合穿越矩阵M中进行修正。具体步骤是将Ch0和Ch1重合的分块视为同一个分块，在其间共享相同的穿越次数。

在得到穿越次数矩阵的基础上，计算出每个分块之间的直接传输能量DT。本算法指定一个在非负实数范围内单调递减的函数映射来确定穿越次数和直接传输能量之间的关系。在本实施中，采用反比例函数，其映射关系如下：

$E(i,j)=\left\{\begin{array}{cc}0& \mathrm{ifiandjareoverlapping}\\ \frac{1}{\mathrm{CT}}& \mathrm{ifiandjareadjacen}\tan \mathrm{dCT}\≠0\\ L_1& \mathrm{ifiandjareadjacen}\tan \mathrm{dCT}=0\\ L_2& \mathrm{ifiandjarenotdajacent}\end{array}\right.$

其中，E(i,j)是分块i和分块j之间的直接传输能量，L₁和L₂是两个定值，其中L₂>L₁>1。这样就可以计算出一个直接传输能量矩阵ME，其中ME(i,j)=E(i,j)。然后以分块作为节点、将直接传输能量ME(i,j)作为分块i与分块j之间边的权值，将能量传输网络建立起来，记为G(n,e)，其中n是节点，e为权边。该网络为一个各边权值为正的无向完全图。

在测试过程中，具体包括以下步骤：

第一步、与训练过程的第一步相同，进行跟踪得到全局轨迹。对每一个测试数据，本实施使用基于粒子滤波算法的跟踪程序对多摄像头场景的行人行为进行跟踪，将两个摄像头视频的轨迹匹配并拼接，得到全局轨迹。

第二步、计算测试数据行人行为的总传输能量。对于每一个测试数据的全局轨迹T_Gi，按时间t对其进行遍历，当轨迹其中某位置T_Gi(t)所在块发生变化时，即视为从一个分块穿越到了另一个分块。令总传输能量为E，每一步假设行人从分块i穿越到了分块j，则：

E＝E+ME(i,j)

最终得到总传输能量E。

第三步、对于每一个训练数据的全局轨迹，计算正常传输路径的传输能量Emin。本算法根据已有的广播增量（Broadcast Incremental Power/BIP）算法，针对具体情况进行一定修改，得到修改广播增量（Modified Broadcast IncrementalPower/MBIP）算法，如图5所示。在训练得到传输网络的基础上，计算出分块之间最小消耗路径。对于每一个测试数据的全局轨迹T_Gi，输入轨迹的起始点所在分块e和q，计算得到正常传输路径的最小消耗路径Emin=E(e,q)。

第四步、利用本算法提出两种检测准则对测试数据的行人行为进行检测判定。一个是高能量准则，一个是偏离正常准则。这两个准则只要满足一个，即被判定为是异常行为。这两个准则综合起来可被表示为：

The current activity(e,q)is abnormal if:

E_c(u,q)>Th₁ or |E_c(u,q)-E_min(u,q)|>Th₂

其中(u,q)是当前行为的轨迹，u为起始块，q为当前块。E_c(e,q)是当前行为的总传输能量，E_min(u,q)是正常传输路径所需能量。Th₁和Th₂是两个阈值，其中Th₁是一个固定的值，Th₂由下式决定：

Th₂＝max(α·|E_c(u,_q)-E_min(u,q)|,T)

其中α是一个比例参数，T是给定的Th₂的下限。

实施结果

依据上述步骤，对已有的视频数据集进行实施。本实施的实验数据总共有165组，其中正常行为数据144组，异常行为数据21组。实施过程中，将已有数据按训练数据占75%，测试数据占25%进行测试。测试数据正常行为的正确识别率为91.18%，异常行为的正确识别率为84.13%。

所有试验均在PC计算机上实现，该PC计算机的主要参数为：中央处理器Intel(R)Pentium(R)4CPU3.20GHz，内存1GB。

Claims (7)

1.一种基于网络传输算法的多摄像头视频异常行为检测方法，其特征在于，包括以下步骤：

第一步、将视频场景分块，然后基于分块建立网络模型，其中，将分块建模成网络的节点，将分块之间的行为相关性建模成网络的边的权值；

第二步、利用构建的传输网络，将行人的行为建模为信号在网络中的传输，其异常程度取决于传输的能量消耗高低；

第三步、利用构建的传输网络，创建正常传输路径，对正常行为的总传输能量进行定量的估计；

第四步、利用正常行为的总传输能量，用来量化行人行为的偏离正常程度，其异常程度取决于传输能量与正常行为的传输能量的偏离程度；

在所述第一步中：所述的分块之间的行为相关性建模成网络的边的权值的步骤中：对于节点i和节点j之间边的权值e(i,j)，其意义为传输能量消耗，由分块之间发生穿越行为的次率决定；

对于节点i和节点j之间的行为相关性，由穿越次数CT直接量化给定，其中，e(i,j)与CT存在以下关系：

其中f()是一个在非负实数范围内单调递减函数，L是一个非负实数。

2.根据权利要求1所述的基于网络传输算法的多摄像头视频异常行为检测方法，其特征在于，在所述第一步中：所述的分块直接建模成网络的节点n。

3.根据权利要求1所述的基于网络传输算法的多摄像头视频异常行为检测方法，其特征在于，在所述第二步中：在测试过程中对异常行为进行检测采用如下准则：

高能量准则：对每一个行为计算总传输能量，在得到总传输能量后，如果总传输能量过高，则被判定为是异常行为。

4.根据权利要求3所述的基于网络传输算法的多摄像头视频异常行为检测方法，其特征在于，在所述第四步中：在测试过程中对异常行为进行检测采用如下准则：

偏离正常准则：设置另一个阈值，当行为的总传输能量与正常传输能量的绝对差高于这个阈值，此行为被判定为异常。

5.根据权利要求4所述的基于网络传输算法的多摄像头视频异常行为检测方法，其特征在于，所述高能量准则和偏离正常准则综合起来被表示为：

当前行为(e,q)为异常，当且仅当：

E_c(e,q)>Th₁or|E_c(e,q)-E_min(u,q)|>Th₂

其中(u,q)是当前行为的轨迹，u为起始块，q为当前块；E_c(e,q)是当前行为的总传输能量，E_min(u,q)是正常传输路径所需能量；Th₁和Th₂是两个阈值，其中Th₁是一个固定的值，Th₂由下式决定：

Th₂＝max(α·E_c(e,q)-E_min(u,q),T)

其中α是一个比例参数，T是给定的Th₂的下限。

6.根据权利要求1所述的基于网络传输算法的多摄像头视频异常行为检测方法，其特征在于，在所述第一步之前，还包括如下步骤：

对摄像头场景中的行人进行跟踪，并且将不同摄像头的轨迹进行匹配，从而创建全局路径；其中，

在所述第一步中，根据全局路径，对多摄像头系统的视频场景进行分块。

7.根据权利要求1所述的基于网络传输算法的多摄像头视频异常行为检测方法，其特征在于，将视频场景进行分块时，把有明显界限的不同对象分在不同的块，并且深度不同的场景分在不同的块，且块间有缓冲块。