CN101819627B - 一种基于空间转换的人员异常行为识别方法 - Google Patents

Abstract

本发明属于视频图像处理技术领域，特别是指一种基于空间转换的人员异常行为识别方法。其方法步骤是：背景建模，用来得到一个稳定的且能自适应环境的背景；前景提取，用来提取前景信息；利用背景建模得到的背景帧做为背景，用当前帧和其做比较，根据阈值的设定，得到相应的前景二值化图像；三维空间标定，用来将二维平面转换为三维高度空间；前景行为识别，用来判别前景信息的行为异常性。本发明具有很高的抗干扰性和识别准确率；同时相对于其它实现相同功能的识别算法，它具有更少的运算量和更快的运行时间。本发明可大幅度降低了成本。

Description

一种基于空间转换的人员异常行为识别方法

技术领域

本发明属于视频图像处理技术领域，特别是指一种基于空间转换的人员异常行为识别方法。

背景技术

目前，人体行为识别是计算机视觉领域中最活跃的研究主题之一，其核心是利用图象处理、计算机视觉、模式识别等技术从图象序列中检测、识别、跟踪人并对其行为进行理解与描述，它在高级人机交互、安全监控、视频会议、医疗诊断及基于内容的图象存储与检索等方面具有广泛的应用前景和潜在的经济价值，从而激发了国内外广大科研工作者及相关商家的浓厚兴趣。在国外欧洲和日本已经开展了大量相关项目的研究。国内也有很多厂家生产出了具有自动报警功能的监控系统，许多科研机构对该领域作了大量的研究，在人运动的视觉分析、交通行为事件分析、交通场景视觉监控和智能轮椅视觉导航等领域取得了许多科研成果。

目前已经有一些行为识别的算法被提出，主要分为两种：基于模板匹配的行为识别方法和基于概率网络的行为识别方法。

基于模板匹配的行为识别方法，又可以分为帧对帧匹配方法和融合匹配方法。

帧对帧匹配方法，是指直接用测试集的行为特征序列与参考集的行为特征序列逐帧匹配。这种算法常用动态时间规划来解决时间配准问题，是基于两个长度不同的模板之间的相似程度来进行计算的。

融合匹配方法，是指先将整个行为过程融合为一个整体模板或者若干个固定数目的模板，然后再利用这有限个模板进行匹配来识别这些固定帧数的行为。

基于概率网络的行为识别方法，又称为状态空间法，是目前使用较多的人体行为识别方法。它将人体的每个静态姿势定义为一个状态，状态之间通过转移概率来切换，一个行为序列就是这些状态之间的一次遍历。进行识别时，计算各个遍历的联合概率，据此对行为序列进行分类。基于概率网络的方法对行为序列在时间和空间上的微小变化具有较好的鲁棒性，这是它获得广泛应用的原因，缺点是计算复杂度高。目前人体行为识别中使用的概率网络方法主要有隐马尔可夫模型(HiddenMarkovModels，HMMs)和动态贝叶斯网络(Dynamic BayesianNet works，DBNs)。

发明内容

本发明的目的在于提供一种基于空间转换的人员异常行为识别方法。

在正常的视频获取过程中，设置在前端的摄像机把监控的空间画面变成一幅幅平面画面传送到后台的计算机显示屏上。当监控的空间出现异常情况，如有人员进入画面标定的区域时，普通的监控手段是自动启动现场设置的多元防侵入探头报警；继而联动DVR录像等。

本发明提供的技术方案是针对从外部图像设备捕获的图象输入到计算机后，在计算机内应用本发明提供的技术方案中的步骤和方法对该图象序列中进行检测、识别、跟踪人并对其行为进行处理，进而对发生的事件提供适时的描述和准确的理解，实现在计算机显示的视频上识别人员异常行为的目的。

本发明的技术方案是：

一种基于空间转换的人员异常行为识别方法，它包括：背景建模；前景提取；三维空间标定；前景行为识别，其方法步骤是：

步骤一：背景建模，用来得到一个稳定的且能自适应环境的背景；采用一种有时间隔的帧抽取法来建立这个模型；通过视频帧积累，并采用中值滤波方法得到背景帧；

首先确定一个时间间隔(FR)，用来抽取随机帧；然后确定一个总抽取帧数FT贮存模型所需要的帧信息；根据积累帧，将对应位置的像素点进行大小排列，从中选取出中值点作为背景帧图像，传递给下面的模块；随着视频帧的不断更新，以上计算过程重复进行，以保证每隔时间间隔(FR)都会产生一个背景帧；

步骤二：前景提取，用来提取前景信息；利用背景建模得到的背景帧做为背景，用当前帧和其做比较，根据阈值的设定，得到相应的前景二值化图像；

步骤三：三维空间标定，用来将二维平面转换为三维高度空间；

首先进行在二维平面的人员高度标定，在图像平面内选择三个不同地方，对同一个人员进行高度标定；然后进行高度平面计算，连接任意两个标定高度的相应底点和顶点，认为这两点之间的高度变化为线性的，这样两个标定高度之间就形成了一个高度面；相同的计算应用到其它两个标定位置，就形成了三个高度平面；然后再计算由这三个高度面包围形成的一个高度三维空间，这个三维高度空间是介于三个标定位置三个顶点形成的平面和其三个底点形成的平面之间的空间，即以其中一个高度面为基准，固定一个标定位置，然后将这个高度面进行旋转，由第二个标定位置旋转到第三个标定位置，所旋转出来的所有高度面即为三维高度空间的一部分；再将所得到的每一个高度面进行延伸，即可得到视频范围内的有效的三维高度空间；相同的计算应用到其它两个标定位置，就形成了一个由三个高度面旋转形成的三维高度空间；

步骤四：前景行为识别，用来判别前景信息的行为异常性；

通过三维空间标定，在一个二维平面图像中已经形成了一个具有实际高度的三维立体空间，再结合之前得到的二值化前景图像，以其底部的中心点为基准，将二值化前景图像的高度与在此位置计算得到的三维空间高度做比较，如果两个高度相符，证明此时前景人员的行为正常，一旦这两个高度相差较大时，则有可能属于异常行为。

本发明采用背景建模有如下优点：1.算法复杂度低，运算量小，易于DSP上的优化和移植；2.算法占用的内存空间小；3.算法不需要学习背景模型就可以快速适应图像的变化。针对以上3点与目前其他背景建模方法比较，如高斯建模，贝叶斯建模等，首先这些建模方法都是基于概率统计的方法，它们都会有大量的浮点运算，对于DSP上的优化的移植会非常困难；其次，它们都需要大量的内存空间用于储存数据，少则几百帧，多则上千帧，而本算法最多只用到10帧内存空间的大小，甚至更小；再有，为了适应背景的变化，其它背景建模方法需要不断的通过之前的统计计算结果学习背景信息，而本发明可根据背景的变化，即时更新，不需要学习，大大降低了算法运行的复杂度。本发明的方法符合背景建模的逻辑要求，即保证在短时间内的稳定和自动适应能力；同时又充分考虑到了算法在DSP上的优化和移植效率问题，相比较其它方法具有很大的优势。

由于本发明采用了背景建模、前景提取、三维空间标定和行为特征判别四个步骤构成的基于空间转换的视频智能分析技术解决方案，从而达到在计算机视频上识别人员异常行为的目的，可以做到不需要学习背景模型就可以快速适应图像的变化，并具有更少的运算量和更快的运行时间。特别是在三维立体空间中进行识别分析，因此具有很高的抗干扰性和识别准确率；同时相对于其它实现相同功能的识别算法，它具有更少的运算量和更快的运行时间。

由于本发明的技术方案具有的抗干扰性强的特征，针对目前市面上大量使用的低成本摄像头，采用本发明的技术方案，可有效地去除摄像头的工程噪音，保证探测质量；针对目前对于智能功能配套高级摄像头的要求，可在不进行摄像头升级的基础上完成智能功能，从而大幅度降低了使用成本。

附图说明

图1为本发明的工作流程示意图。

图2为本发明所述的背景建模示意图。

图3为本发明所述的视频帧积累示意图。

图4为本发明所述的时间中值滤波示意图。

图5为本发明所述的物体高度标定示意图。

图6为本发明所述的高度平面计算示意图。

图7为本发明所述的高度平面计算示意图。

图8为本发明所述的高度平面旋转示意图。

图9为本发明所述的高度平面延伸示意图。

图10为本发明所述的三维高度空间示意图。

图11为本发明所述的前景行为判别示意图。

具体实施方式

下面就结合说明书附图及对本发明作进一步的说明。

本发明是一种基于空间转换的人员异常行为识别方法，该方法的工作流程图，如图1所示。

步骤一：背景建模，背景模型要适应在短时间内保持一个稳定的状态，而且又要根据外部环境的变化自动调节。算法采用一种有时间隔的帧抽取法来建立这个模型，如图2所示。

通过视频帧积累，并采用中值滤波方法得到背景帧。首先要确定一个时间间隔(FR)，用来抽取随机帧，然后确定一个总抽取帧数FT贮存模型所需要的帧信息；根据这些积累帧，把对应位置的像素点进行大小排列，从中选取出中值点作为背景帧图像，传递给下面的模块；随着视频帧的不断更新，以上计算过程重复进行，以保证每隔时间间隔(FR)都会产生一个背景帧，算法中取FR＝10，FT＝10，如图3所示。

为了提取一个固定的背景信息，而且在短时间内不受物体移动的影响，对上一步中提取出来的随机帧进行相应像素点的一个时间中值滤波，如图4所示。

用公式表示为：

$I_{\mathrm{background}}(i,j)=\mathrm{median}\left(I_{\mathrm{select}}^n(i,j)\right)$ n＝1，2，K，10

其中，I_backgroung(i，j)为背景帧图像点，I_select ⁿ(i，j)为第n个被选取的视频帧图像点。

步骤二：前景提取，是利用上面模块传递进来的背景帧做背景，用当前帧和其做比较，得到前景二值化图像，用公式表示为：

$F(i,j)=\left\{\begin{array}{cc}0& \mathrm{ifabs}(I_{\mathrm{front}}(i,j)-I_{\mathrm{background}}(i,j))<T\\ 255& \mathrm{otherwise}\end{array}\right.$

其中，F(i，j)为前景二值图像点，I_front(i，j)为当前帧图像点，I_backgroung(i，j)为背景帧图像点，T为二值化阈值，算法中取值为10。

步骤三：三维空间标定，其作用是将现有的二维平面转换为一个三维空间，它主要包括三个部分：人员高度标定，高度平面计算和三维空间计算。下面分别详细说明。

a.人员高度标定，在进行二维平面转换到三维空间的过程中，首先要进行在二维平面的人员高度标定，即在图像平面内选择三个不同地方，对同一个人员进行高度标定。如图5所示。为了计算能够更加准确和合理，标定所选定的位置一定要有远近之分，且三个标定位置不能在一条直线上，最好相互之间有一定距离，成一个能尽量大的覆盖视频区域的三角形为最佳。

b.高度平面计算，进行完人员高度标定之后，要进行高度平面计算，即三个标定高度中的任何两个标定高度可以形成一个高度面，计算方法为：连接任意两个标定高度的相应底点和顶点，认为这两点之间的高度变化为线性的，这样两个标定高度之间就形成了一个高度面，如图6所示。相同的计算应用到其它两个标定位置，就形成了三个高度平面，如图7所示。

c.三维空间计算，在得到三个高度面以后，下一个步骤就是计算由这三个高度面包围形成的一个高度三维空间，这个三维高度空间是介于三个标定位置三个顶点形成的平面和其三个底点形成的平面之间的空间，计算的方法为：以其中一个高度面为基准，固定一个标定位置，然后将这个高度面进行旋转，由第二个标定位置旋转到第三个标定位置，所旋转出来的所有高度面即为三维高度空间的一部分。举例来讲，选取位置1和位置3所形成的高度面，以位置1为轴，将高度面从位置3旋转至位置2，如图8所示。再将所得到的每一个高度面进行延伸，即可得到视频范围内的有效的三维高度空间，如图9所示。相同的计算应用到其它两个标定位置，就形成了一个由三个高度面旋转形成的三维高度空间，如图10所示。

三维空间标定的思想是根据在二维平面空间得到的不同位置上的同一物体的实际高度，计算出来在其它位置上此物体的相应实际高度，这样就把原始的二维平面图像转换到了一个有实际高度的三维空间，完全符合物体在视频镜头内由于远近产生的高度变化的原理。

步骤四：前景行为识别，通过三维空间标定法，在一个二维平面图像中已经形成了一个具有实际高度的三维立体空间，这时再结合之前得到的二值化前景图像，可进行前景图像的行为识别。识别的方法是：针对得到的二值化前景图像，以其底部的中心点为基准，将二值化前景图像的高度与在此位置计算得到的人员实际高度做比较，如果两个高度相符，证明此时前景人员的行为正常，一旦这两个高度相差较大时，则有可能属于异常行为。算法中，将计算得到的三维高度进行分割，以这个高度的三分之二和三分之一作为判断标准，如果二值化前景图像的高度小于此位置的三维高度的二分之二且大于位置的三维高度的三分之一时，认为前景人员为下蹲情况。如果二值化前景图像的高度小于此位置的三维高度的三分之一时，认为前景人员为躺卧情况。如图11所示。

用公式表示为：

$\mathrm{ASignal}=\left\{\begin{array}{cc}1& \mathrm{if}(H_{\mathrm{front}}<\frac{2}{3}{H}_{3D}\mathrm{and}{H}_{\mathrm{front}}>\frac{1}{3}{H}_{3D})\\ 2& \mathrm{if}(H_{\mathrm{front}}\&le;\frac{1}{3}{H}_{3D})\end{array}\right.$

其中，ASignal表示报警信号类型，1为下蹲报警，2为躺卧报警；H_front表示前景二值化图像高度；H_3D表示相应位置的三维空间高度。

本发明公开的技术方案中具有背景建模法，前景提取法，三维立体空间标定法，前景行为分析法的综合应用，背景建模法用来形成一个稳定且自适应的背景，前景提取法用来将视频中的前景信息提取出来，三维空间标定法用来将二维平面图像转换为三维立体空间，前景行为分析法用来识别前景信息的异常性，实现了更好的识别效果。

以本发明公开的技术方案在TI最近推出的达芬奇产品线的两款新数字信号处理器-TMS320DM647和TMS320DM648应用为例，大大提升了DSP智能视频能力，在它的支持下，基于这些DSP的NVR与DVR等高级摄像头系统可实现视频内容分析功能，允许在整体网络视频监控系统中集成更高的灵活性、可升级性以及智能性。由于本发明的技术方案具有的对视频处理实时性高的优势，即对每帧的消耗时间能控制在4ms/帧，可以很好的实现在一颗主频720M的DM647芯片上进行8路实时视频智能功能的任务，降低了DVR的BOM成本，并使DVR设计方案更便于实现简约化。

Claims (1)

1.一种基于空间转换的人员异常行为识别方法，其特征在于：该方法步骤包括：

步骤一：背景建模，用来得到一个稳定的且能自适应环境的背景，所述背景建模具体包括：首先，确定一个时间间隔，用来抽取随机帧；然后积累抽取的随机帧，根据所述积累的随机帧，将其相应位置的像素点进行大小排列，从中选取中值点作为背景帧图像的像素点；

步骤二：前景提取，用来提取前景信息，所述前景提取具体包括：将当前帧像素点和由步骤一得到的背景帧像素点相减，所得到的差值和预定阈值比较，如果所述差值小于该阈值，则设当前帧像素点为0，否则，设当前帧像素点为255，由此得到前景二值化图像，用公式表示为：

$F(i,j)=\left\{\begin{array}{cc}0& \mathrm{if\; abs}(I_{\mathrm{front}}(i,j)-I_{\mathrm{background}}(i,j))<T\\ 255& \mathrm{otherwise}\end{array}\right.$

其中，F(i，j)为前景二值图像点，I_front(i，j)为当前帧图像点，I_backgroung(i，j)为背景帧图像点，T为二值化阈值；

步骤三：三维空间标定，用来将二维平面转换为三维高度空间；所述的三维空间标定具体包括：

首先，进行在二维图像中的人员高度标定，即在二维图像内选择三个不同位置，对同一个人员在三个不同位置的高度进行高度标定，形成针对同一个人的三个不同的标定高度；

然后，进行高度平面计算，连接所述三个不同的标定高度中的任意两个标定高度的相应底点和相应顶点，形成一个高度面；按照相同的高度平面计算方法总共形成三个高度面；再计算由所述三个高度面包围形成的一个三维高度空间，所述三维高度空间是介于所述三个标定位置的三个顶点所形成的平面和所述三个标定位置的三个底点所形成的平面之间的空间，所述三维高度空间的计算具体包括：首先以其中一个高度面为基准，以位于第一个标定位置的标定高度为轴，将该高度面从第二个标定位置旋转到第三个标定位置，所旋转出来的所有高度面即为三维高度空间的一部分；再将旋转得到的每一个高度面进行延伸，即可得到视频范围内的有效的三维高度空间；再分别以其它两个高度面为基准，进行相同的三维高度空间的计算，就形成一个由三个高度面旋转形成的三维高度空间；

步骤四：前景行为识别，用来判别前景信息的行为异常性；所述前景行为识别的方法是：针对得到的二值化前景图像，以其底部的中心点为基准，将二值化前景图像的高度与在此位置计算得到的人员在三维空间的实际高度做比较，如果两个高度相符，证明此时前景人员的行为正常，一旦这两个高度相差较大时，则属于异常行为。

Images